大数据工程师流式计算职位描述与岗位职责任职要求
职位描述:
岗位职责:
1.负责对核心业务数据实现数据的自动化/半自动化抽取、清洗、转化、标注等工作;
2.负责根据需求建立数据模型、进行全网数据在线抽取分析;
3.负责算法的工程化、产品化工作;关注机器学习、数据挖掘、人工智能等方向前沿研究,并能将具体场景建模后与之结合快速工程化并落地;
4.完成各种面向业务目标的数据模型的定义和应用开发规范的制定,并保证数据质量;
5.负责大数据计算平台的研发工作。
任职要求:
1.计算机、信息系统、数学或相近专业本科以上学历,4年以上软件研发经验;
2.精通Spark/Hadoop/Hive/HBase/并有实战经验;
3.有Scala,Java,Python等开发经验,精通SQL;
4.有海量在线、离线数据分析系统设计和开发经验;
5.精通主流数据挖掘算法及其原理,能根据业务场景,建立挖掘模型,选择最合适和高效的算法并实现;
6.需要有责任心,工作积极主动,思路清晰,擅长沟通、有团队合作精神。
篇2:大数据系统开发工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
工作职责:
1、参与开发和维护公司的数据仓库,包括但不限于架构设计、升级改造和数据仓库模型未来规划
2、参与简历和维护数据处理系统,保证数据正确性和系统可靠性
3、探索、开发并维护数据基础设施,提供各种高效数据访问和处理工具
4、和分析师,数据科学家与工程师们密切合作,设计和开发数据仓库的架构和标准
任职资格:
任职要求:
1、熟悉大规模数据处理的技术,了解分布式计算环境的原理。
2、熟悉数据库性能基本概念如索引,分片,分区等,深入理解关系型数据库的schema设计和性能调优。
3、有熟练操作和优化SQL的经验。
4有实际部署和开发MPP平台(Greenplum,Vertica,etc)经验者优先考虑。
5、熟悉Hadoop生态圈,熟悉Hbase、Spark、Impala等开发者优先考虑。
篇3:高级大数据研发工程师(数据可视化)职位描述与岗位职责任职要求
职位描述:
岗位职责:
1.负责全公司的数据平台数据可视化研发工作
2.独立完成数据可视化研发工作
任职要求:
1.计算机、电子通信、数学、统计或者相关专业本科及以上学历
2.熟练掌握Java/Python中的一种语言
3.熟悉数据可视化开发,熟悉Echarts应用开发的优先
4.熟悉web开发,熟悉html,js,css
5.熟悉QuickBI的优先
6.具备良好的团队合作精神,工作有激情
7.对数据敏感,有产品思维的优先