网络系统架构岗位职责
职位描述:职位描述:1、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析2、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量3、负责网页信息抽取、数据清洗等研发和优化工作4、负责抓取数据的深度提取和挖掘。任职要求:1、熟悉linux平台开发,5年以上java开发经验2、精通信息抓取和整合技术,从结构化的和非结构化的数据中获取信息,掌握正则表达式3、熟悉多线程、多进程、网络通信编程相关知识4、2年以上大规模网页爬虫开发经验熟悉js,ajax,网页消重5、能够总结分析不同网站,网页的结构特点及规律6、熟悉httpclient、htmlparser、jsoup、lucene、nutch中的一种或多种开源技术7、必须有分布式爬虫架构经验8、有通用/垂直/开放平台/app领域爬虫开发经验优先9、熟悉mysql,oracle等数据库应用,有nosql实际使用经验者优先
篇2：网络系统架构岗位职责网络系统架构职责任职要求
网络系统架构岗位职责
网络系统集成架构师世纪互联北京世纪互联宽带数据中心有限公司任职资格:任职资格:
1.良好的沟通技能,团队协作能力
2.熟悉常用的互联网开源技术,如负载均衡,反向代理,缓存,数据库,存储,CDN等
3.3年以上互联网企业运维经验,有具体项目实施经验
4.熟悉TCP/IP,网络运维,可以通过抓包分析,排查及优化网络问题
5.熟悉主流网络设备配置及调试
6.熟练使用脚本
7.思路开阔,创新能力强,对新技术持有敏感性
8.由内核编译经验优先
9.可以接受适度加班
工作职责:岗位职责:
1.基于Linux,规划整体系统平台架构设计(大数据量,高并发,高可用,灾备等),参与需求分析,技术决策
2.优化现有系统性能,解决系统核心及关键问题
3.网络优化及故障排查
4.知识库及实施文档撰写及维护
5.分配的其他任务
制度专栏
热点制度职责
