采集工程师岗位职责任职要求 - 制度大全
制度大全 导航

采集工程师岗位职责任职要求

编辑:制度大全2021-05-03

采集工程师岗位职责

岗位职责:

1、负责整理/调研互联网数据的可采集性及其可采数据范围,并运营和维护公司数据中心;

2、负责设计/调优分布式爬虫系统架构及其采集源数据库,含分布式爬虫/数据导出导入/数据传输接收等模块;

3、负责开发/维护Java爬虫和配置/维护采集脚本,进行数据的抓取/识别/解析/提取/分类/去重/清洗/关联/整合/分析/入库;

4、负责设计/调优策略和算法(如下载策略/调度算法/防屏蔽规则等),提升网页抓取的效率和质量;

5、负责日常跟踪数据抓取和传输,监控爬虫系统状态,保证数据抓取/传输的及时准确;

6、负责制定数据采集标准,编写修订相关文档,推进组内软件开发标准的建立及执行;

任职要求:

1、精通互联网数据采集,如网络爬虫技术等的机制和原理;

2、精通Python或Java,熟悉多线程编程、网络通信编程和分布式数据处理,熟悉各种常用的文本处理工具集/科学计算工具包/机器学习数据挖掘工具包;

3、精通Scrapy或其他爬虫框架源码,可搭建分布式爬虫系统,并可基于其做智能爬虫开发;

4、熟悉MySQL、Oracle、HBase等主流数据库并熟练使用其中的一种,编写SQL语句和存储过程或shell;

5、三年及以上数据采集相关工作经验,有过社交数据采集及验证码识别开发经验者优先;;

6、有过大型项目垂直搜索引擎设计或智能爬虫(机器学习)开发经验者优先.

采集工程师岗位

篇2:设备数据采集工程师职位描述与岗位职责任职要求

职位描述

岗位职责

1.负责工业设备组网及数据采集方案设计;

2.负责设计方案所需传感器、仪表选型,布线图、数据存储方式、数据表等详细设计;

3.负责与设备厂商、数控系统厂商进行业务协议、通信协议及接口协调;

4.负责现场数据采集相关软硬件安装调试;

5.负责和用户现场对口协调、技术指导及现场培训。

技能要求:

1.具备软件开发经验优先,熟悉SCADA(RTU、PLC)系统;

2.具备物联网、SCADA等自动化项目实施经验;

3.熟OPCDA/UA技术;

4.熟练掌握工业以太网的组网技术、熟悉上下位及现场之间的通讯规约和协议;

5.熟悉数据库和数据库前端工具的应用。

篇3:高级数据采集工程师职位描述与岗位职责任职要求

职位描述

工作职责:

1.数据采集系统和分布式爬虫系统的架构设计和开发

2.对接外部数据服务商提供的数据及资讯服务,实现数据的有效沉淀,建立数据服务评估机制

3.负责大规模文本、图像、视频数据的抓取、抽取,去重、分类,垃圾过滤,质量识别等工作

4.研究各种目标网站的形态,互联网特征挖掘,发现它们的特点和规律

任职资格:

1.基本功扎实,熟练使用常用数据结构和相关算法,精通javaio、多线程、集合等

2.熟悉缓存、消息机制、并发框架,异步框架等

3.熟悉Internet基本协议(如TCP/IP.HTTP等)

4.熟悉HTML/DOM/XPATH/CSS,对DOM有一定的功底能够熟练使用页面分析工具等进行网页分析,有模拟登录,模拟浏览器、APP抓取经验优先

5.有Nutch、Heritrix、Scrapy等系统使用经验,或二次开发经验者优先

6.有基于网页结构的自动识别抽取算法,结构化结果的经验者优先

7.对有可视化采集,基于JS的自动规则生成,分布式采集的经验者优先

8.有从事舆情社交数据及热点采集分析等的工作经验者优先

篇4:采集软件开发工程师岗位职责

软件开发工程师-采集迁移工具和云服务1、负责信息采集、迁移工具、灾备/备份即服务(云服务)的需求分析、软件架构设计、集成架构设计与开发;

2、作为软件开发骨干,带领外包开发团队实现版本需求;

基本条件

1、本科以上,计算机科学、软件工程相关专业

2、3年以上Java开发经验,有云服务、信息采集工具开发经验优先

3、英语听说读写熟练优先

专业知识

1、精通JAVA/J2EE相关技术,熟悉Spring、Springmvc、SpringBoot、mybaits、Struts、hibernate等框架中的一两种或以上;

2、熟悉Web前台技术,熟练使用JavaScript、jQuery,HTML、css等;

3、熟悉AngularJS、easyUI、jQueryUI、BootStrap等前端开发框架一种或以上;

4、熟悉MySQL等数据库;

5、熟悉常用的缓存(Redis/Memcached)、消息(ActiveMQ/RabbitMQ/kafka)等工具平台一种或以上;

6、熟悉主流虚拟化和公有云平台优先

7、熟悉信息采集工具BMCADDM优先

8、熟悉主流灾备、备份方案和产品优先

关键技能

1、能够根据需求,确定软件或工具的功能架构、集成架构,确定需要采用的开发框架,能够评估开发工作量,并完成设计、开发和验证;

2、具有良好的沟通能力,能够带领外包团队开发实现。

其他要求

工作踏实认真,有极强的责任心和主动性,有良好的团队合作意识。

1、负责信息采集、迁移工具、灾备/备份即服务(云服务)的需求分析、软件架构设计、集成架构设计与开发;

2、作为软件开发骨干,带领外包开发团队实现版本需求;

基本条件

1、本科以上,计算机科学、软件工程相关专业

2、3年以上Java开发经验,有云服务、信息采集工具开发经验优先

3、英语听说读写熟练优先

专业知识

1、精通JAVA/J2EE相关技术,熟悉Spring、Springmvc、SpringBoot、mybaits、Struts、hibernate等框架中的一两种或以上;

2、熟悉Web前台技术,熟练使用JavaScript、jQuery,HTML、css等;

3、熟悉AngularJS、easyUI、jQueryUI、BootStrap等前端开发框架一种或以上;

4、熟悉MySQL等数据库;

5、熟悉常用的缓存(Redis/Memcached)、消息(ActiveMQ/RabbitMQ/kafka)等工具平台一种或以上;

6、熟悉主流虚拟化和公有云平台优先

7、熟悉信息采集工具BMCADDM优先

8、熟悉主流灾备、备份方案和产品优先

关键技能

1、能够根据需求,确定软件或工具的功能架构、集成架构,确定需要采用的开发框架,能够评估开发工作量,并完成设计、开发和验证;

2、具有良好的沟通能力,能够带领外包团队开发实现。

其他要求

工作踏实认真,有极强的责任心和主动性,有良好的团队合作意识。

篇5:采集系统开发工程师岗位职责

职位描述:

职位要求:

1、本科及以上学历,计算机、自动化相关专业。

2、熟悉理解Windows编程,熟练掌握C#编程,熟悉.NETFrameWork框架和工控组态软件。

3、熟练掌握Orecal、MSSQL、mysql等数据库开发技术、相关工具。

4、学习能力、接受新技术能力强,具有良好的团队精神。

5、有大型项目的开发经验者优先。

6、能承受较大工作压力,具有团队合作精神。

7、三年以上C#开发经验,有较强的编程能力。

岗位职责:

1、负责SCADA系统的底层通讯开发、测试、调试及编写相应的技术文件。

2、负责操作平台移植开发,如windows、Unix和Linux。

3、负责相关技术支持。

制度专栏

返回顶部
触屏版电脑版

© 制度大全 qiquha.com版权所有