资深爬虫工程师岗位职责及职位要求
资深爬虫工程师职位要求
1、计算机相关专业，本科及以上学历，3年以上爬虫相关工作经验；
2、对爬虫编程有强烈爱好，熟练精通掌握至少1种语言java、python，在需要的情况下能快速上手新语言切换；
3、深入理解tpc/ip、http、以及web登录认证的机制，有成功破解复杂验证码的经验；
4、有通用分布式爬虫系统架构和开发经验，能快速部署新的爬虫应用；
5、已有2年以上网络爬虫或搜索引擎工作经验，参与过大规模数据爬虫优先考虑；
6、有APP安全、逆向等领域的经验；
7、具有良好的沟通、团队协作、计划能力，有过1-2人的团队管理经验。
资深爬虫工程师岗位职责
1、建设完善分布式爬虫系统；
2、建立通用的爬虫框架，能够快速适应新的爬虫需求；
3、快速完成对目标资源的数据抓取、处理。
篇2：资深爬虫工程师职位描述与岗位职责任职要求
职位描述：
职责描述：
1.参与爬虫系统的架构设计与开发；
2.负责执行和开发分布式网络爬虫系统，进行多平台信息的抓取和分析；
3.负责网页信息和APP数据抽取、清洗、消重等工作，提升平台的抓取效率；
4.参与爬虫核心算法和策略优化，熟悉采集系统的调度策略；
5.实时监控爬虫的进度和警报反馈。
任职要求：
1.本科以上学历，3年以上爬虫开发相关经验，熟练使用Python或Java进行开发；
2.熟练使用正则表达式、csspath、xpath等，能够从结构化的和非结构化的数据中获取信息；
3.熟练使用MySQL数据库，掌握redis、mongodb、hive等常用nosql技术并具有实战经验；
4.熟悉各种抓取技术，包括代理、PhantomJS/selenium、验证码处理；
5.熟悉整个爬虫的设计及实现流程，有从事网络爬虫、网页信息抽取开发经验，熟悉反爬虫技术，有分布式爬虫架构经验；
6.具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先；
7.快速学习能力，工作积极主动，有创业热情和良好的团队协助能力；
8.需要有大量数据爬取以及高难度反爬经验，没有相关经验的勿扰。
篇3：爬虫工程师（P6P8)职位描述与岗位职责任职要求
职位描述：
岗位职责：
1.负责网络爬虫的架构设计、开发与优化；
2.负责抓取数据的清洗、落地、分析；
3.抓取策略算法的更新维护，以及确保数据抽取准确、高效。
任职要求：
1.两年及以上互联网或软件行业工作经验；
2.理解HTTP协议，熟悉HTML、DOM、XPath；
3.熟悉Linux开发环境，至少熟悉Python/Go/Java/Node.js中的一种编程语言；
4.有爬虫、信息抽取、文本分类、大数据处理相关经验优先；
5.有自然语言处理、机器学习经验优先；
6.熟悉浏览器内核、渲染机制优先；
7.工作认真，细心，有条理，积极性高；良好的沟通能力及团队合作精神。
篇4：python爬虫工程师职位描述与岗位职责任职要求
职位描述：
工作职责：
1、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作；
2、负责网页信息和APP数据抽取、清洗、消重等工作，提升平台的抓取效率；
3、参与爬虫核心算法和策略优化，熟悉采集系统的调度策略；
4、实时监控爬虫的进度和警报反馈。
任职要求：
1、有扎实的算法和数据结构能力；
2、熟悉爬虫原理，熟悉常见的反爬虫技术，有爬虫相关项目开发经验者优先；
3、掌握http协议，熟悉html、dom、xpath等常见的数据抽取技术；
4、有大规模数据处理、数据挖掘、信息提取等经验者优先。
篇5：网络爬虫工程师职位描述与岗位职责任职要求
职位描述：
职责描述：
1，负责网络爬虫系统的设计与开发
2，对爬取的网页信息进行数据抽取，清洗和去重等工作
任职要求：
1、2年及以上网络爬虫开发经验，本科及大专学历，计算机相关专业,
2、积极、沟通顺畅，工作认真负责
3、扎实的编程能力，熟悉常用算法和数据结构等基础知识
4、熟练掌握开发语言Java或C/C++，熟悉脚本语言和正则表达式
制度专栏
