数据抓取挖掘工程师职位描述与岗位职责任职要求

篇2：数据挖掘工程师风控业务职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责字节跳动所有产品线风控基础数据挖掘和核心技术研发；

2、基于每日百亿级用户行为，分析和挖掘海量数据，发现用户行为模式与规律，提高风控业务效果；

3、分析与挖掘数据潜在关联，构建用户画像体系。

任职要求：

1、熟悉C++、JAVA、python中的一种或多种编程技术，编程能力强，熟悉大数据处理技术，善于学习应用业界领先数据架构和技术；

2、对大数据开源组件有使用经验，至少熟悉hadoop/hive/spark/flink其中一项；

3、熟悉数据挖掘算法，包括数据清洗.统计学习.分类聚类算法，并能够验证算法效果，将算法应用在风控业务中；

4、善于学习，思维活跃，善于从数据中发现.思考并解决问题；

5、有风控研发经验者优先，对风控行业有自己思考的优先。

篇3：数据抓取高级工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、参与今日头条、西瓜视频、TopBuzz、BuzzVideo等产品的全球内容接入，通过算法智能解析各语种页面结构，自适应提取页面关键信息；

2、参与全网图文、长短视频、SNS内容监控，对海量的站内外发文、用户关系分析挖掘；每日处理上亿条数据，提供几十亿内容在线服务；

3、参与通用垂直抓取平台建设，服务头条、抖音等所有业务团队，快速解决各种不同的抓取诉求，提供数据和平台支持。

任职要求：

1、具备强悍的编码能力，有扎实的数据结构和算法功底；

2、精通Python、PHP、C++、Java、Golang中的至少一门语言；

3、理解http、计算机网络，熟悉HTML、DOM、XPath等；

4、责任心强，积极主动，有良好的沟通能力和团队合作能力；

5、工作认真细致踏实，较强的学习能力、分析解决问题能力。

篇4：搜索数据挖掘高级研发工程师职位描述与岗位职责任职要求

职位描述：

岗位职责：

你将在oppo智能产品部，面向所有oppo手机用户，创造具有oppo特色的搜索产品。主要职责包括：

1，服务所有oppo手机用户，为用户创造具有oppo特色的搜索产品。

2,参与和建设搜索数据（包括QueryLog）挖掘系统；

3，建立离线数据ETL流程体系，使得整个数据流转（抽取、转换、加载）变得更加高效、便捷；

4,负责和外部合作方对接，建立起OPPO移动互联网搜索数据准入规范和相关项目核心代码研发；

5，负责建设对公司内和对公司外的数据服务系统。

能力要求：

1、2年以上相关工作经验；

2、精通C++或JAVA语言编程，熟悉Python/scala语言。

3、熟悉MapReduce和实时计算（Flink/Spark），有大规模数据分析和处理的经验；

4、对数据挖掘有浓厚的兴趣；优秀的分析问题和解决问题能力，对解决挑战性的问题充满激情；

5、有NoSQL数据库或者Hadoop/Hive等分布式计算方面背景优先；

6、有过著名搜索引擎离线或Dump相关研发工作的经验或有过开源社区代码贡献优先；

篇5：高级数据挖掘工程师职位描述与岗位职责任职要求

职位描述：

岗位职责:

1、负责构建OPPOROM、移动客户端数据分析与数据挖掘业务分析体系，负责海量运营数据的分类汇总和分析研究；

2、负责对数据信息进行深度挖掘和有效利用，充分实现数据的商业价值；

3、基于海量数据，跟踪并分析用户行为，为OPPO手机及移动互联网业务的发展及产品的设计提供支持。

任职资格:

1、计算机、数学、统计相关专业本科以上学历，5年以上相关工作经验；

2、熟悉Python、Java等语言，以及Mathout；

3、具备建立用户画像经验；

4、具备深厚数据建模（机器学习，数据挖掘，信息检索背景）和分析理论知识及经验；

5、熟悉互联网行业并且对于行业内常见的业务形态与商业模式有深入的理解，对业务变化有敏锐的洞察力

6、良好的自学及新技术研究探索能力；

7、良好的团队协作及沟通能力。

具备以下资格优先：

1、具有移动广告相关背景知识；

2、熟悉数据挖掘算法设计；

3、精通常用的数据分析工具，有大规模数据挖掘、自然语言处理、机器学习、hadoop平台经验优先。