大数据开发工程师（驻场开发）职位描述与岗位职责任职要求
职位描述：
岗位职责：
（1）根据业务进行数据需求的调研、设计、开发及验证工作，并持续进行数据业务的优化；
（2）负责大数据整体设计和开发工作，包括数据接入、清洗、计算、校验等数据加工流程，并沉淀文档；
（3）持续对系统的技术架构进行改进和优化，提升海量数据的查询性能和用户体验。
（4）此岗位需驻场开发半年左右（地点：新疆）
任职资格：
（1）统招本科或以上学历，计算机、数学等相关专业，工作至少3年以上；
（2）熟悉Java/Scala开发，有脚本语言（shell,python)开发经验者优先；
（3）至少熟悉一种大数据处理栈技术，如Hadoop、Spark;熟悉流计算应用开发，如sparkstreaming,flink;熟练掌握大数据生态各个工具的原理及使用，如hive,sqoop,kafka等
（4）掌握HBase、Redis、ElasticSearch等开源大数据存储技术，并能结合不同的业务场景深入使用；
（5）熟悉storm，sparkstreaming，flink，beam至少一种
（6）熟悉kafka，redis，es等相关组件
（7）对解决具有挑战性的数据问题充满激情，具有良好的分析问题和解决问题的能力，能够胜任部分数据分析，挖掘，建模工作。
篇2：大数据开发工程师（杭州）职位描述与岗位职责任职要求
职位描述：
岗位职责：
1.参与大数据精准学平台设计与研发，在大数据采集、存储、分析及应用领域都会有所涉及。
2.参与需求分析、系统架构设计、并完成需求设计相应文档的编写。
3.参与核心代码实现、系统性能优化。
4.保质保量地完成项目组分配的开发任务。
5.协助项目经理进行技术支持工作，共同解决产品研发过程遇到的技术难题。
任职要求：
1.具备3年及以上大数据系统开发经验，计算机相关专业本科及以上学历；
2.有实时流处理经验，掌握Flink、Storm等实时处理框架；
3.熟悉并会使用sparkmllib、机器学习、自然语言处理等相关技术和算法；
4.具有Hadoop/Spark，以及kafka、flume、hbase、hive、zookeeper等大数据生态圈实际开发经验。深入了解Hadoop/Spark生态圈产品的工作原理及应用场景；
5.具备较强的数据分析，问题分析，逻辑思维能力，良好的沟通，团队协作能力。
篇3：大数据开发(高级资深)工程师职位描述与岗位职责任职要求
职位描述：
工作职责：
1、基于海量数据，支持业务对数据的分析和使用：
2、支持业务处理数据的流式处理、构建数据仓库、分析用户行为等。
任职要求：
1、有扎实的编程能力，有优秀的设计和代码品位，对解决具有挑战性问题充满激情；
2、对大数据处理有丰富的经验和广阔的视野；
3、熟悉常用的开源组件：Hadoop/Hive/Spark/Storm，并了解其特性和使用场景；
4、优秀的沟通理解能力，能快速理解业务，用数据解读业务；
5、推荐或机器学习相关的开发工作优先。
篇4：中级大数据开发工程师职位描述与岗位职责任职要求
职位描述：
职责描述：
1、参与公司商业智能平台的研发工作；
2、参与公司商业智能平台的升级改造工作，包括运维工作。
任职要求：
1、正规院校本科及以上学历，软件、计算机、通信、信息安全、网络工程等相关专业；
2、良好的Java开发背景，熟悉Spring/MyBatis技术体系；
3、良好的SQL功底，熟悉MySQL或Oracle数据库；
4、熟悉Linux；
5、了解开源Pentaho产品，包括PRD、Mondrian、SaiKu、Kettle等；
6、熟悉Hadoop、Hive、HBase、Storm、Spark等大数据平台；
7、沟通能力强，有较强的学习能力，有较强的责任心与良好的团队协作能力。
篇5：高级大数据开发工程师职位描述与岗位职责任职要求
职位描述：
岗位职责：
1.基于公司大数据产品进行数据开发，包括数据的采集，清洗，预处理，存储，建模，分析挖掘等
2.根据业务用户需要分析数据，提供数据支持
3.参与公司大数据产品的运维和监控，保障数据质量和服务稳定性
任职要求：
1.具备本科以上学历,计算机,软件以及相关专业,5年以上大数据开发经验
2.熟悉数据仓库维度建模,并能根据客户需求进行数据开发,向模型更新数据
3.使用过至少一种以上的ETL工具
4.熟练掌握Java,对Hadoop相关的技术和组件(HDFS,MR,Hbase,Hive,Spark,Storm,Kafka等）有全面深入了解
5.熟练掌握Shell或者Python中的一种
6.具备Spark开发经验者优先
7.具备实时计算(Kafka+Storm/SparkStreaming)经验者优先
8.具备数据分析和数据挖掘方面经验者优先
制度专栏
