大数据平台工程师职位描述与岗位职责任职要求

篇2：资深大数据工程师职位描述与岗位职责任职要求

职位描述：

【岗位职责】：

1、参与公司数据平台架构设计，负责大数据平台和数据仓库相关建设；

2、依据公司的大数据技术发展路线，负责基于Hadoop生态系统和MPP数据库的大规模数据平台的研发及数据仓库建设，提供可靠的数据存储和访问能力；

3、负责公司大数据平台和数据仓库的搭建、开发、管理、监控和性能调优，保证集群高效稳定运行；

4、规划与开发离线数据平台系统，处理海量数据，优化存储和计算架构的性能；

5、负责数据平台技术难点攻关、技术选型评估，参与开发流程的讨论与优化；

6、参与公司数据治理策略等的制订和实施；

7、负责协助产品经理进行数据仓库相关的需求分析、建模、宽表设计等工作；

8、负责系统核心代码编写、代码审核和重构，指导和培训数据工程师、不断进行系统优化；

【任职资格】：

1、本科以上学历，5年以上大数据研发经验，带领过10人以上的大数据团队；

2、有大型分布式系统设计经验，负责过海量数据平台上高可用、高性能分布式系统的架构设计；

3、熟悉大数据开发框架，熟悉hadoop,hbase,spark等及业界主流流处理平台如，如storm,flunk,sparkstreaming等之一；

4、熟悉Greenplum等数据仓库技术，并有广泛的实践经验，具备维护和解决生产问题的能力；

5、熟悉掌握分布式存储和NoSQL数据库技术（如MonogoDB、Redis等），有实际生产项目应用经验；

6、熟练掌握java，python，scalar中的至少一种编程语言，掌握常见的数据结构，算法，了解软件工程、敏捷开发等知识，熟悉常用设计模式

7、理解SOA，微服务，中间件等PAAS相关的关键理念与技术，并对其有广泛的实践与应用经验，乐于。

8、有民航、电子商务、风控等大数据设计和从业经验者优先。

篇3：高级java开发工程师（大数据）职位描述与岗位职责任职要求

职位描述：

岗位职责：

1.负责物联网、大数据平台相关的技术研究、研发与测试等工作

2.负责基于物联网、大数据平台进行业务开发

技能要求：

1.本科以上学历，1年以上工作经验；

2.精通JAVA后台程序设计，Java基础扎实，要求掌握JVM基本原理、类加载、反射、集合、并发、IO、网络等内容；

3.对数据结构、算法有深刻理解；

4.熟悉linux开发环境，熟悉python、shell、perl中的一种；

5.有hadoop、hbase、storm、kafka等系统的源代码阅读经验者优先。

篇4：30628腾讯广告大数据后台开发高级工程师（研发中心北京）职位描述与岗位职责任职要求

职位描述：

工作职责：

负责广告在线预估服务的架构设计和开发，支持高并发，高可用，低延迟；

负责广告平台用户画像线上系统的开发和维护；

负责高可用的任务调度系统开发，支持各种离线任务的分发和调度；

任职要求：

重点大学本科以上学历，计算机相关专业；

两年以上相关工作经验，精通算法与数据结构，精通c++编程语言；

有扎实的编程功底和编码习惯，以及良好的分析解决问题能力;

熟悉机器学习框架和分布式系统，熟悉tensorflow等机器学习框架者优先;

积极主动，有责任心，勇于接受挑战。

篇5：微信支付大数据平台开发工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

岗位特色：

基于海量的微信支付用户、商户、交易和行为数据，使用业界开源的主流技术栈以及我们自研的大数据技术相结合，构建金融级的大数据平台，提供金融级数据安全保障和质量保障，为数据开发者提供工业化的数据平台服务，建立元数据管理、血缘关系、计算任务和计算资源的动态管控、全方位的数据安全风险控制，为数据分析、智慧推荐、金融风控等业务提供数据平台支撑；

工作职责：

负责微信支付大数据基础平台相关开发工作；

负责大数据采集、计算、分析处理相关开发工作；

负责大数据治理相关开发工作，提供一站式的数据平台及工具支持。

任职要求：

本科及以上学历，计算机相关专业，3年及以上开发经验；

熟悉Java、php、Shell、Python等至少三种开发语言；

有分布式系统、大数据服务、数据分析方面的开发经验者优先；

熟悉Hadoop，Spark，Storm，Flink，Kafka、Elasticsearch、Druid等平台和组件，有相关项目经验优先；

良好的沟通表达能力，执行力力强，对待工作认真严谨、高度负责。