大数据工程师(ElasticsearchSpark)职位描述与岗位职责任职要求
职位描述:
岗位职责:
1、负责基于Elasticsearch的研发;
2、负责基于Spark生态系统的研发;
3、负责Elasticsearch/Spark集群调优;
4、负责对数据进行建模。
任职要求:
1、大学本科及以上学历,计算机相关专业;
2、三年以上工作经验;
3、熟练掌握Java/Scala后端开发,如多线程、网络等;
4、熟练掌握python、shell中的一种脚本语言;
5、熟悉Spark生态系统组件,如:Hadoop、Flume、Kafka、HBase、Hive、Pig、ZooKeeper;
6、熟悉Linux开发环境;
7、熟悉ElasticSearch、Lucene优先;
8、能够读懂及书写英文文档;
9、有Spark调优、统计学知识的优先考虑;
10、有机器学习经验者优先考虑;
11、对新技术有孜孜不倦的热情。
篇2:高级需求工程师(大数据方向)职位描述与岗位职责任职要求
职位描述:
职责描述:
1、主要负责大数据分析和应用相关产品的需求调研、规划与分析工作;
2、承担部分的产品宣传、演示汇报等工作;
3、完成领导交办的其他工作。
任职要求:
1、本科及以上学历,3年以上需求工作经验,数学、统计学、计算机相关专业优先;
2、对数据分析、数据挖掘、ETL等相关数据分析技巧有一定了解;
3、熟练掌握需求捕获、分析、管理相关技能;
4、熟练掌握AXURE、脑图、OFFICE等需求工作常用工具;
5、有较强的逻辑思维、文档编写、沟通协作能力,有团队意识和责任心,能够承担一定工作压力;
6、有检察院、公安、纪委监察委等行业背景优先。
篇3:大数据管理工程师职位描述与岗位职责任职要求
职位描述:
职责描述:
1、参与电子政务大数据规划,制定大数据管理方案,包括管理目标、方法策略、沟通计划等;
2、参与电子政务大数据相关管理办法制定、管理流程制定、数据元标准制定;
3、参与业务需求梳理(涵盖业务痛点、管理需要、监管要求、重要报表等)、业务系统梳理、数据资源梳理、政务信息资源梳理;
4、参与制定大数据相关系统(元数据管理工具、数据标准管理工具和数据质量管控平台)的功能需求,满足数据管理和数据质量提升的要求;?
5、参与制定电子政务大数据管理实施方案;
6、参与大数据相关宣传培训工作和持续引导,包括大数据相关管理办法、管理流程制定、数据元标准制定、数据质量整改方案等;
7、参与大数据数据项目整体推动及跨部门之间的组织协调工作;
8、参与基于政务应用场景特征的大数据应用服务工作。
任职要求:
1、信息管理与计算机科学类、电子政务类、管理类等专业
2、熟悉大数据治理方法,了解数据治理各要素,以及各要素之间的相互依赖关系
3、5年以上大数据项目管理经验(有电子政务项目经验优先)
4、具备优秀的EXCEL能力,能够处理海量条目信息,满足数据治理中间过程的文档处理要求
5、具备良好的文档规范性编撰能力
6、具备良好的学习能力、逻辑思维能力、沟通能力、团队协作能力和执行力
篇4:大数据挖掘工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责Hadoop集群的搭建及维护
2、负责多种数据源的数据采集、整合,数据清洗、导入导出等
3、负责在集群上进行代码的编程,测试和调优,实现数据挖掘算法
4、配合算法团队实现数据挖掘算法
5、配合产品研发实现数据产品落地
6、能够独立承担工作,主动了解行业需求,进行产品设计和迭代
任职要求:
1、本科或以上学历,计算机相关专业毕业;
2、两年以上大数据集群经验
3、熟练掌握Hadoop、Flume、Hbase、Hiv
4、熟练运用SQL,Spark,Scala、kafka、storm等语言
5、强烈责任心,并能承受一定的工作压力;开朗的性格,良好的沟通能力
篇5:大数据开发工程师架构师职位描述与岗位职责任职要求
职位描述:
1、8年以上后端开发经验,有大数据处理经验;有实时处理工作经历并有一定解决方案者优先;
2、熟悉大数据开源技术,包含(不限于)Hadoop/Spark/storm/Hive/Hbase/Impala/Flume/Kafka/Solr/Es分布式框架/计算/存储/检索等相关技术,并有一定的Hadoop生态系统运维经验;
3、至少掌握Java/scala/python其中一门开发语言;
4、掌握SQL,SparkSQL进行数据开发;较好的SQL性能调优经验;
5、优秀的分析、解决问题能力,充分的数据敏感度;有一定的高性能支撑经验和故障排除能力;
6、具备强烈的工作责任感,喜欢钻研,态度乐观,团队意识强。