大数据开发工程师（数仓方向）职位描述与岗位职责任职要求

篇2：机器学习大数据引擎架构师研发工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1)开发企业安全解决方案后端的大数据引擎

2)主要参与两个项目：建立profile，发现偏离profile的异常；采用supervisedmachinelearning学习后判断未知文件的属性

技能要求：

-熟练掌握SVM、randomforest等算法；具有大维度（几百几千个维度）项目经验的优先

-具有通过机器学习建立profile，通过判断profile的偏离来判断异常，并且能不断修正profile的项目经验的优先

-很强的系统架构能力，主要集中在后端服务器的分级、平行延展以及和第三方系统和数据来源的对接等方面

-具有大数据平台开发及搭建维护经验，熟悉MapReduce、Hadoop软件栈以及Spark平台经验等

-良好的团队合作精神，较强的沟通能力和学习能力

篇3：大数据工程师流式计算职位描述与岗位职责任职要求

职位描述：

岗位职责：

1.负责对核心业务数据实现数据的自动化/半自动化抽取、清洗、转化、标注等工作；

2.负责根据需求建立数据模型、进行全网数据在线抽取分析；

3.负责算法的工程化、产品化工作；关注机器学习、数据挖掘、人工智能等方向前沿研究，并能将具体场景建模后与之结合快速工程化并落地；

4.完成各种面向业务目标的数据模型的定义和应用开发规范的制定，并保证数据质量；

5.负责大数据计算平台的研发工作。

任职要求：

1.计算机、信息系统、数学或相近专业本科以上学历，4年以上软件研发经验；

2.精通Spark／Hadoop/Hive/HBase/并有实战经验；

3.有Scala,Java,Python等开发经验，精通SQL；

4.有海量在线、离线数据分析系统设计和开发经验；

5.精通主流数据挖掘算法及其原理，能根据业务场景，建立挖掘模型，选择最合适和高效的算法并实现；

6.需要有责任心,工作积极主动,思路清晰，擅长沟通、有团队合作精神。

篇4：大数据系统开发工程师职位描述与岗位职责任职要求

职位描述：

工作职责:

工作职责：

1、参与开发和维护公司的数据仓库，包括但不限于架构设计、升级改造和数据仓库模型未来规划

2、参与简历和维护数据处理系统，保证数据正确性和系统可靠性

3、探索、开发并维护数据基础设施，提供各种高效数据访问和处理工具

4、和分析师，数据科学家与工程师们密切合作，设计和开发数据仓库的架构和标准

任职资格:

任职要求：

1、熟悉大规模数据处理的技术，了解分布式计算环境的原理。

2、熟悉数据库性能基本概念如索引，分片，分区等，深入理解关系型数据库的schema设计和性能调优。

3、有熟练操作和优化SQL的经验。

4有实际部署和开发MPP平台（Greenplum,Vertica,etc）经验者优先考虑。

5、熟悉Hadoop生态圈，熟悉Hbase、Spark、Impala等开发者优先考虑。

篇5：高级大数据研发工程师（数据可视化）职位描述与岗位职责任职要求

职位描述：

岗位职责：

1.负责全公司的数据平台数据可视化研发工作

2.独立完成数据可视化研发工作

任职要求：

1.计算机、电子通信、数学、统计或者相关专业本科及以上学历

2.熟练掌握Java/Python中的一种语言

3.熟悉数据可视化开发，熟悉Echarts应用开发的优先

4.熟悉web开发，熟悉html,js,css

5.熟悉QuickBI的优先

6.具备良好的团队合作精神，工作有激情

7.对数据敏感，有产品思维的优先