高级爬虫工程师职位描述与岗位职责任职要求

篇2：爬虫工程师岗位职责

高级爬虫开发工程师职责描述:

1、负责公司产品的爬虫架构设计与开发,以及爬虫策略优化等工作;

2、根据数据产品需求,负责对网页等大规模文本数据抓取、清洗、存储等设计开发工作;

任职要求:

1、计算机、数学或统计等相关专业本科及以上学历,1年以上爬虫相关工作经验;

2、熟悉linux平台,熟练掌握Python或JAVA爬虫开发工作;

3、熟悉静态、动态网页等大规模文本数据的高效信息抽取、清洗、存储等技术;

4、有反爬相关问题处理经验,精通常用的爬虫技术及架构设计,并能快速开发实现;

5、具备良好的编程习惯和算法基础;

6、善于学习,热爱技术开发,善于团队协作,能积极主动地参与公司产品研发等相关工作。职责描述:

1、负责公司产品的爬虫架构设计与开发,以及爬虫策略优化等工作;

2、根据数据产品需求,负责对网页等大规模文本数据抓取、清洗、存储等设计开发工作;

任职要求:

1、计算机、数学或统计等相关专业本科及以上学历,1年以上爬虫相关工作经验;

2、熟悉linux平台,熟练掌握Python或JAVA爬虫开发工作;

3、熟悉静态、动态网页等大规模文本数据的高效信息抽取、清洗、存储等技术;

4、有反爬相关问题处理经验,精通常用的爬虫技术及架构设计,并能快速开发实现;

5、具备良好的编程习惯和算法基础;

6、善于学习,热爱技术开发,善于团队协作,能积极主动地参与公司产品研发等相关工作。

篇3：资深爬虫工程师岗位职责及职位要求

资深爬虫工程师职位要求

1、计算机相关专业，本科及以上学历，3年以上爬虫相关工作经验；

2、对爬虫编程有强烈爱好，熟练精通掌握至少1种语言java、python，在需要的情况下能快速上手新语言切换；

3、深入理解tpc/ip、http、以及web登录认证的机制，有成功破解复杂验证码的经验；

4、有通用分布式爬虫系统架构和开发经验，能快速部署新的爬虫应用；

5、已有2年以上网络爬虫或搜索引擎工作经验，参与过大规模数据爬虫优先考虑；

6、有APP安全、逆向等领域的经验；

7、具有良好的沟通、团队协作、计划能力，有过1-2人的团队管理经验。

资深爬虫工程师岗位职责

1、建设完善分布式爬虫系统；

2、建立通用的爬虫框架，能够快速适应新的爬虫需求；

3、快速完成对目标资源的数据抓取、处理。