采集工程师岗位职责任职要求
采集工程师岗位职责
岗位职责:
1、负责整理/调研互联网数据的可采集性及其可采数据范围,并运营和维护公司数据中心;
2、负责设计/调优分布式爬虫系统架构及其采集源数据库,含分布式爬虫/数据导出导入/数据传输接收等模块;
3、负责开发/维护Java爬虫和配置/维护采集脚本,进行数据的抓取/识别/解析/提取/分类/去重/清洗/关联/整合/分析/入库;
4、负责设计/调优策略和算法(如下载策略/调度算法/防屏蔽规则等),提升网页抓取的效率和质量;
5、负责日常跟踪数据抓取和传输,监控爬虫系统状态,保证数据抓取/传输的及时准确;
6、负责制定数据采集标准,编写修订相关文档,推进组内软件开发标准的建立及执行;
任职要求:
1、精通互联网数据采集,如网络爬虫技术等的机制和原理;
2、精通Python或Java,熟悉多线程编程、网络通信编程和分布式数据处理,熟悉各种常用的文本处理工具集/科学计算工具包/机器学习数据挖掘工具包;
3、精通Scrapy或其他爬虫框架源码,可搭建分布式爬虫系统,并可基于其做智能爬虫开发;
4、熟悉MySQL、Oracle、HBase等主流数据库并熟练使用其中的一种,编写SQL语句和存储过程或shell;
5、三年及以上数据采集相关工作经验,有过社交数据采集及验证码识别开发经验者优先;;
6、有过大型项目垂直搜索引擎设计或智能爬虫(机器学习)开发经验者优先.
采集工程师岗位
篇2:设备数据采集工程师职位描述与岗位职责任职要求
职位描述:
岗位职责:
1.负责工业设备组网及数据采集方案设计;
2.负责设计方案所需传感器、仪表选型,布线图、数据存储方式、数据表等详细设计;
3.负责与设备厂商、数控系统厂商进行业务协议、通信协议及接口协调;
4.负责现场数据采集相关软硬件安装调试;
5.负责和用户现场对口协调、技术指导及现场培训。
技能要求:
1.具备软件开发经验优先,熟悉SCADA(RTU、PLC)系统;
2.具备物联网、SCADA等自动化项目实施经验;
3.熟OPCDA/UA技术;
4.熟练掌握工业以太网的组网技术、熟悉上下位及现场之间的通讯规约和协议;
5.熟悉数据库和数据库前端工具的应用。
篇3:高级数据采集工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1.数据采集系统和分布式爬虫系统的架构设计和开发
2.对接外部数据服务商提供的数据及资讯服务,实现数据的有效沉淀,建立数据服务评估机制
3.负责大规模文本、图像、视频数据的抓取、抽取,去重、分类,垃圾过滤,质量识别等工作
4.研究各种目标网站的形态,互联网特征挖掘,发现它们的特点和规律
任职资格:
1.基本功扎实,熟练使用常用数据结构和相关算法,精通javaio、多线程、集合等
2.熟悉缓存、消息机制、并发框架,异步框架等
3.熟悉Internet基本协议(如TCP/IP.HTTP等)
4.熟悉HTML/DOM/XPATH/CSS,对DOM有一定的功底能够熟练使用页面分析工具等进行网页分析,有模拟登录,模拟浏览器、APP抓取经验优先
5.有Nutch、Heritrix、Scrapy等系统使用经验,或二次开发经验者优先
6.有基于网页结构的自动识别抽取算法,结构化结果的经验者优先
7.对有可视化采集,基于JS的自动规则生成,分布式采集的经验者优先
8.有从事舆情社交数据及热点采集分析等的工作经验者优先
篇4:采集软件开发工程师岗位职责
软件开发工程师-采集迁移工具和云服务1、负责信息采集、迁移工具、灾备/备份即服务(云服务)的需求分析、软件架构设计、集成架构设计与开发;
2、作为软件开发骨干,带领外包开发团队实现版本需求;
基本条件
1、本科以上,计算机科学、软件工程相关专业
2、3年以上Java开发经验,有云服务、信息采集工具开发经验优先
3、英语听说读写熟练优先
专业知识
1、精通JAVA/J2EE相关技术,熟悉Spring、Springmvc、SpringBoot、mybaits、Struts、hibernate等框架中的一两种或以上;
2、熟悉Web前台技术,熟练使用JavaScript、jQuery,HTML、css等;
3、熟悉AngularJS、easyUI、jQueryUI、BootStrap等前端开发框架一种或以上;
4、熟悉MySQL等数据库;
5、熟悉常用的缓存(Redis/Memcached)、消息(ActiveMQ/RabbitMQ/kafka)等工具平台一种或以上;
6、熟悉主流虚拟化和公有云平台优先
7、熟悉信息采集工具BMCADDM优先
8、熟悉主流灾备、备份方案和产品优先
关键技能
1、能够根据需求,确定软件或工具的功能架构、集成架构,确定需要采用的开发框架,能够评估开发工作量,并完成设计、开发和验证;
2、具有良好的沟通能力,能够带领外包团队开发实现。
其他要求
工作踏实认真,有极强的责任心和主动性,有良好的团队合作意识。
1、负责信息采集、迁移工具、灾备/备份即服务(云服务)的需求分析、软件架构设计、集成架构设计与开发;
2、作为软件开发骨干,带领外包开发团队实现版本需求;
基本条件
1、本科以上,计算机科学、软件工程相关专业
2、3年以上Java开发经验,有云服务、信息采集工具开发经验优先
3、英语听说读写熟练优先
专业知识
1、精通JAVA/J2EE相关技术,熟悉Spring、Springmvc、SpringBoot、mybaits、Struts、hibernate等框架中的一两种或以上;
2、熟悉Web前台技术,熟练使用JavaScript、jQuery,HTML、css等;
3、熟悉AngularJS、easyUI、jQueryUI、BootStrap等前端开发框架一种或以上;
4、熟悉MySQL等数据库;
5、熟悉常用的缓存(Redis/Memcached)、消息(ActiveMQ/RabbitMQ/kafka)等工具平台一种或以上;
6、熟悉主流虚拟化和公有云平台优先
7、熟悉信息采集工具BMCADDM优先
8、熟悉主流灾备、备份方案和产品优先
关键技能
1、能够根据需求,确定软件或工具的功能架构、集成架构,确定需要采用的开发框架,能够评估开发工作量,并完成设计、开发和验证;
2、具有良好的沟通能力,能够带领外包团队开发实现。
其他要求
工作踏实认真,有极强的责任心和主动性,有良好的团队合作意识。
篇5:采集系统开发工程师岗位职责
职位描述:
职位要求:
1、本科及以上学历,计算机、自动化相关专业。
2、熟悉理解Windows编程,熟练掌握C#编程,熟悉.NETFrameWork框架和工控组态软件。
3、熟练掌握Orecal、MSSQL、mysql等数据库开发技术、相关工具。
4、学习能力、接受新技术能力强,具有良好的团队精神。
5、有大型项目的开发经验者优先。
6、能承受较大工作压力,具有团队合作精神。
7、三年以上C#开发经验,有较强的编程能力。
岗位职责:
1、负责SCADA系统的底层通讯开发、测试、调试及编写相应的技术文件。
2、负责操作平台移植开发,如windows、Unix和Linux。
3、负责相关技术支持。