数据业务工程师岗位职责

编辑:制度大全2021-03-27

数据抓取及处理工程师-变现业务今日头条北京今日头条科技有限公司,今日头条,字节跳动,今日头条工作职责:

1、负责商业化相关的数据抓取和清洗工作;

2、推进抓取架构的完善,不断提升系统的准确性、实时性;

3、监控客户舆情及竞品投放情况。

任职要求:

1、有扎实的算法和数据结构能力;

2、熟悉爬虫原理,熟悉常见的反爬虫技术,有爬虫相关项目开发经验者优先;

3、掌握http协议,熟悉html、dom、xpath等常见的数据抽取技术;

4、有大规模数据处理、数据挖掘、信息提取等经验者优先。

篇2：广告业务数据研发工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、广告各类在线业务的离线数据加工与在线数据服务开发与维护

2、数据服务接口及产品需求研发迭代，代码review、bug修复及日常服务运维

3、针对海量数据处理和查询需求，设计适应业务变化的合理的多维数据分析系统架构，满足多样性的需求

4、海量日志清洗加工，并抽象出可以多业务复用的数据模型

任职要求：

1、熟悉Hadoop架构和工作原理，精通MapReduce编程；精通Hive，有HQL优化经验

2、有web服务开发经验，具备独立完成模块开发能力，具备大规模分布式服务设计能力和经验

3、理解基本的设计模式，能将业务需求快速理解成技术需求

4、熟练使用Mysql，熟练使用ElasticSearch、Druid者优先；熟悉其原理者优先

5、善于沟通，工作积极主动，责任心强，具备良好的团队协作能力

6、具备良好的问题分析与解决能力，有较强学习能力和逻辑思维能力