高级数据采集工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1.数据采集系统和分布式爬虫系统的架构设计和开发
2.对接外部数据服务商提供的数据及资讯服务,实现数据的有效沉淀,建立数据服务评估机制
3.负责大规模文本、图像、视频数据的抓取、抽取,去重、分类,垃圾过滤,质量识别等工作
4.研究各种目标网站的形态,互联网特征挖掘,发现它们的特点和规律
任职资格:
1.基本功扎实,熟练使用常用数据结构和相关算法,精通javaio、多线程、集合等
2.熟悉缓存、消息机制、并发框架,异步框架等
3.熟悉Internet基本协议(如TCP/IP.HTTP等)
4.熟悉HTML/DOM/XPATH/CSS,对DOM有一定的功底能够熟练使用页面分析工具等进行网页分析,有模拟登录,模拟浏览器、APP抓取经验优先
5.有Nutch、Heritrix、Scrapy等系统使用经验,或二次开发经验者优先
6.有基于网页结构的自动识别抽取算法,结构化结果的经验者优先
7.对有可视化采集,基于JS的自动规则生成,分布式采集的经验者优先
8.有从事舆情社交数据及热点采集分析等的工作经验者优先
篇2:数据采集工程师(核心层)职位描述与岗位职责任职要求
职位描述:
职责描述:
1.嵌入式bootloader,kernel开发;
2.工业通讯协议解析(Modbus.EtherCAT.ProfitNet等);
3.Windows/Linux平台网关应用层程序开发;
4.网关产品的软件功能测试验证;
5.工业网关产品软件SDK及Library开发。
任职要求:
1.本科(含)以上学历,熟练使用办公软件;
2.熟练运用C/C++开发语言;
3.熟悉工业现场数据传输协议;
4.熟悉Windows.Linux开发平台;
5.性格开朗,逻辑思维较强。
篇3:数据采集工程师(核心层)职位描述与岗位职责任职要求
职位描述:
职责描述:
1.负责Linux平台下应用软件开发,根据产品与项目要求,开展模块设计.编码等工作;
2.负责linux软件的交叉编译与移植;
3.参与需求分析.软件设计.开发.调试以及测试维护全过程;
4.负责协同硬件工程师或第三方方案商完成系统功能模块的联调及功能对接.接口文文件输出;
5.负责嵌入式系统软件平台搭建工作;
任职要求:
1.本科(含)以上学历,熟悉Linux开发环境,熟悉C/C++或Python等;
2.熟悉嵌入式Linux+QT应用程序图形接口开发;
3.了解网络编程.多进程,多线程,熟悉MQTT/SOCKET,TCP/IP等通讯协议;
4.有ARM.MIPS系列产品开发经验优先;
5.具有较好的沟通能力.团队合作能力;