大数据工程师(ElasticsearchSpark)职位描述与岗位职责任职要求 - 制度大全
制度大全 导航

大数据工程师(ElasticsearchSpark)职位描述与岗位职责任职要求

编辑:制度大全2020-11-07

职位描述

岗位职责

1、负责基于Elasticsearch的研发;

2、负责基于Spark生态系统的研发;

3、负责Elasticsearch/Spark集群调优;

4、负责对数据进行建模。

任职要求

1、大学本科及以上学历,计算机相关专业;

2、三年以上工作经验;

3、熟练掌握Java/Scala后端开发,如多线程、网络等;

4、熟练掌握python、shell中的一种脚本语言;

5、熟悉Spark生态系统组件,如:Hadoop、Flume、Kafka、HBase、Hive、Pig、ZooKeeper;

6、熟悉Linux开发环境;

7、熟悉ElasticSearch、Lucene优先;

8、能够读懂及书写英文文档;

9、有Spark调优、统计学知识的优先考虑;

10、有机器学习经验者优先考虑;

11、对新技术有孜孜不倦的热情。

篇2:高级需求工程师(大数据方向)职位描述与岗位职责任职要求

职位描述

职责描述

1、主要负责大数据分析和应用相关产品的需求调研、规划与分析工作;

2、承担部分的产品宣传、演示汇报等工作;

3、完成领导交办的其他工作。

任职要求

1、本科及以上学历,3年以上需求工作经验,数学、统计学、计算机相关专业优先;

2、对数据分析、数据挖掘、ETL等相关数据分析技巧有一定了解;

3、熟练掌握需求捕获、分析、管理相关技能;

4、熟练掌握AXURE、脑图、OFFICE等需求工作常用工具;

5、有较强的逻辑思维、文档编写、沟通协作能力,有团队意识和责任心,能够承担一定工作压力;

6、有检察院、公安、纪委监察委等行业背景优先。

篇3:大数据管理工程师职位描述与岗位职责任职要求

职位描述

职责描述

1、参与电子政务大数据规划,制定大数据管理方案,包括管理目标、方法策略、沟通计划等;

2、参与电子政务大数据相关管理办法制定、管理流程制定、数据元标准制定;

3、参与业务需求梳理(涵盖业务痛点、管理需要、监管要求、重要报表等)、业务系统梳理、数据资源梳理、政务信息资源梳理;

4、参与制定大数据相关系统(元数据管理工具、数据标准管理工具和数据质量管控平台)的功能需求,满足数据管理和数据质量提升的要求;?

5、参与制定电子政务大数据管理实施方案;

6、参与大数据相关宣传培训工作和持续引导,包括大数据相关管理办法、管理流程制定、数据元标准制定、数据质量整改方案等;

7、参与大数据数据项目整体推动及跨部门之间的组织协调工作;

8、参与基于政务应用场景特征的大数据应用服务工作。

任职要求

1、信息管理与计算机科学类、电子政务类、管理类等专业

2、熟悉大数据治理方法,了解数据治理各要素,以及各要素之间的相互依赖关系

3、5年以上大数据项目管理经验(有电子政务项目经验优先)

4、具备优秀的EXCEL能力,能够处理海量条目信息,满足数据治理中间过程的文档处理要求

5、具备良好的文档规范性编撰能力

6、具备良好的学习能力、逻辑思维能力、沟通能力、团队协作能力和执行力

篇4:大数据挖掘工程师职位描述与岗位职责任职要求

职位描述

工作职责

1、负责Hadoop集群的搭建及维护

2、负责多种数据源的数据采集、整合,数据清洗、导入导出等

3、负责在集群上进行代码的编程,测试和调优,实现数据挖掘算法

4、配合算法团队实现数据挖掘算法

5、配合产品研发实现数据产品落地

6、能够独立承担工作,主动了解行业需求,进行产品设计和迭代

任职要求

1、本科或以上学历,计算机相关专业毕业;

2、两年以上大数据集群经验

3、熟练掌握Hadoop、Flume、Hbase、Hiv

4、熟练运用SQL,Spark,Scala、kafka、storm等语言

5、强烈责任心,并能承受一定的工作压力;开朗的性格,良好的沟通能力

篇5:大数据开发工程师架构师职位描述与岗位职责任职要求

职位描述

1、8年以上后端开发经验,有大数据处理经验;有实时处理工作经历并有一定解决方案者优先;

2、熟悉大数据开源技术,包含(不限于)Hadoop/Spark/storm/Hive/Hbase/Impala/Flume/Kafka/Solr/Es分布式框架/计算/存储/检索等相关技术,并有一定的Hadoop生态系统运维经验;

3、至少掌握Java/scala/python其中一门开发语言;

4、掌握SQL,SparkSQL进行数据开发;较好的SQL性能调优经验;

5、优秀的分析、解决问题能力,充分的数据敏感度;有一定的高性能支撑经验和故障排除能力;

6、具备强烈的工作责任感,喜欢钻研,态度乐观,团队意识强。

制度专栏

返回顶部
触屏版电脑版

© 制度大全 qiquha.com版权所有