爬虫工程师职位描述与岗位职责任职要求
职位描述:
职位诱惑:
全球项目、高薪资、高福利、国际团队
职位描述:
if(your_passions.includes('coding')){
switch(your_stacks){
case'Node.js':
case'Python':
case'Kubernetes':
case'Serverless':
console.log('JoinAfterShip');
break;
}
}
岗位职责
1、负责与不同物流公司的系统对接,使用各种API及爬虫技巧,抓取、分析、调度、存储数据,为公司业务提供正确稳定的数据;
2、负责系统的SLA代码维护、秩代更新,保证任务质量和交付及时性;
3、负责编写相关的技术文档、单元测试,对产品质量负责。
岗位要求
1、统招本科及以上学历,具备英语读写能力;
2、熟悉Git/GitHub,通信协议TCP/HTTP及RESTful标准;
3、一年及以上Python爬虫开发工作经验,JavaScript基础扎实,有Scrapy等使用经验;
4、有MySQL,Redis或MongoDB等相关数据库使用经验。
加分项
1、有CI/CD自动化测试经验;
2、有使用Docker、Kubernetes、AWS或GCP云计算经验;
3、有写Blog的习惯,活跃技术社区,参与开源项目等;
4、有代码洁癖,对代码精益求精,对技术有极客热情;
5、有软件著作权申请,有专利发明申请。
为什么加入我们
1、极客氛围:拥抱开源技术,实践敏捷开发;
2、最新技术:Kubernetes,Serverless,TensorFlow,Microservice;
3、特色福利:每天下午茶,学习成长基金,提供MacBookPro;
4、多元文化:团队来自全球十几个国家;
5、龙头企业:海外知名企业;
6、朝阳行业:B2B企业级系统,国际性SaaS平台。
篇2:手机应用爬虫工程师职位描述与岗位职责任职要求
职位描述:
*负责设计和开发分布式网络爬虫系统
*应用多种技术对各平台进行数据采集
*设计数据采集策略,提升数据采集效率及质量
*与各行业分析师沟通,分析项目的可行性和讨论抓取方案。
*两年以上爬虫开发相关经验,本科及以上学历,计算机相关专业为佳
*熟练掌握C#或Java开发语言为佳
*了解TCP/IP,HTTP及相关网络协议
*熟悉JS/HTML/XPATH/Json/正则表达式等网页相关技术
*熟悉分布式、多线程、缓存、消息队列等互联网技术
*熟悉手机应用的数据抓取,手机app开发经验,加/脱壳经验为佳
*良好的沟通技能,注重细节,抗压性强
*良好的英语沟通技能为佳