广告数据仓库工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、广告业务数据仓库建设和管理,包括但不限于数据质量、数据模型、数据安全相关标准的制定;
2、负责与业务团队协同规划与设计数据仓库模型,并快速实现;
3、参与数据治理工作,提升数据易用性及数据质量;
4、参与大数据应用规划、为数据挖据、应用团队提供应用指导。
任职要求:
1、本科以上学历,2年以上互联网业务数据仓库模型设计、开发经验;
2、熟练使用Hadoop及Hive,熟悉HQL、Java、Python等编程语言;
3、具有web开发经验者优先;
4、有ElasticSearch、Druid、HBase使用经验者优先。
篇2:数据仓库开发(高级)工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责今日头条的用户产品线的数据仓库架构设计、建模和ETL开发;
2、参与数据治理工作,提升数据易用性及数据质量,与数据工具团队紧密合作;
3、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。
任职要求:
1、精通数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景;
2、具备较强的编码能力,熟悉sql,python,hive,spark,kafka,storm中的多项,有至少TB以上级大数据处理经验;
3、对数据敏感,认真细致,善于从数据中发现疑点;
4、善于沟通,具备优秀的技术与业务结合能力。
篇3:资深数据仓库工程师岗位职责资深数据仓库工程师职责任职要求
资深数据仓库工程师岗位职责
资深数据仓库工程师职位描述:
1、负责数据平台架构的整体规划和设计;
2、根据上层业务逻辑整合优化平台数据流程,技术难点攻关;
3、对数据及业务开发团队提供技术支持,协助方案规划。
任职要求
1、精通数据仓库实施方法论、深入了解数据仓库体系架构,精通逻辑模型和物理模型建模、中间层模型理论以及多维模型的设计;
2、对hive、hbase、hadoop、map/reduce、spark有深入了解;
3、精通主流数据库技术(如Oracle、SQLServer、MySQL等),精通SQL,有较强的SQL编码及数据存储、性能调优经验;
4、能够对业务需求进行抽象并据此进行架构设计;
5、具有较强的沟通,表达及文档编写能力,有大数据建设经验者优先;
6、数据java开发,有相关的工作经验;
7、熟悉数据仓库相关技术,如ETL、调度相关、报表开发。
职位描述:
1、负责数据平台架构的整体规划和设计;
2、根据上层业务逻辑整合优化平台数据流程,技术难点攻关;
3、对数据及业务开发团队提供技术支持,协助方案规划。
任职要求
1、精通数据仓库实施方法论、深入了解数据仓库体系架构,精通逻辑模型和物理模型建模、中间层模型理论以及多维模型的设计;
2、对hive、hbase、hadoop、map/reduce、spark有深入了解;
3、精通主流数据库技术(如Oracle、SQLServer、MySQL等),精通SQL,有较强的SQL编码及数据存储、性能调优经验;
4、能够对业务需求进行抽象并据此进行架构设计;
5、具有较强的沟通,表达及文档编写能力,有大数据建设经验者优先;
6、数据java开发,有相关的工作经验;
7、熟悉数据仓库相关技术,如ETL、调度相关、报表开发。
篇4:数据仓库工程师岗位职责数据仓库工程师职责任职要求
数据仓库工程师岗位职责
工作内容:
1.集团大数据可视化、数据管理、元数据等核心数据平台研发;
2.负责维护和搭建高性能的Hbase/hadoop/spark/storm等离线和实时分布式计算平台,并根据系统压力提前规划并给出性能优化方案;
3.为运营决策、线上数据服务提供可靠稳定的数据服务;
4.负责开源大数据平台与产品和相关技术的追踪和研究;
职位要求:
1.计算机相关专业本科以上学历-扎实的PHP/Python/java编程能力;
2.了解OLAP、ETL、分布式数据库-具有良好的平台化思维,沟通理解能力,和团队协作精神;
具备以下经验者优先:
-熟练使用各种数理统计、数据/日志分析及可视化工具者;
-精通habse、hive、strom、zookeeper、spark等分布式开源软件,有多年实际开发和应用经验;
-具有开源项目经验者;
工作内容:
1.集团大数据可视化、数据管理、元数据等核心数据平台研发;
2.负责维护和搭建高性能的Hbase/hadoop/spark/storm等离线和实时分布式计算平台,并根据系统压力提前规划并给出性能优化方案;
3.为运营决策、线上数据服务提供可靠稳定的数据服务;
4.负责开源大数据平台与产品和相关技术的追踪和研究;
职位要求:
1.计算机相关专业本科以上学历-扎实的PHP/Python/java编程能力;
2.了解OLAP、ETL、分布式数据库-具有良好的平台化思维,沟通理解能力,和团队协作精神;
具备以下经验者优先:
-熟练使用各种数理统计、数据/日志分析及可视化工具者;
-精通habse、hive、strom、zookeeper、spark等分布式开源软件,有多年实际开发和应用经验;
-具有开源项目经验者;
篇5:BI数据仓库工程师岗位职责
BI工程师-数据仓库涂鸦智能杭州涂鸦科技有限公司,涂鸦智能,爱相机岗位职责:
1.负责业务数据调研、需求理解,数据采集方案设计及实现;
2.负责建立数据模型,根据业务设计数据主题;
3.负责数据模型的ETL编写,参与团队ETL流程的优化及解决ETL相关技术问题;
4.理解业务方的数据需求,提供面向业务的OLAP、报表、数据提取等数据服务;
任职要求:
1.本科及以上学历,计算机相关专业,2-5年企业级数据平台相关系统开发经验;
2.SQL技能娴熟,精通hive-sql,presto-sql
3.具有扎实的计算机操作系统、数据结构等编程基础,熟悉Java或scala语言;
4.有过2年以上bi项目经验,熟悉开源的bi工具如:metabase,superset,redash.有实际操作经验。
7.有良好的沟通能力,善于主动思考和行动,有极强的责任心和自驱力。