微信安全大数据工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
通过海量数据挖掘建立微信安全画像和数据仓库,协助在线策略进行安全控制
构建机器学习无监督或有监督算法模型,协助精准识别微信体系内各种恶意行为
建立大规模文本内容识别能力,包括但不限于文本分类,聚类等常见NLP任务模式
任职要求:
数学、统计、计算机、自然语言处理等相关专业硕士及以上学历;或者三年以上互联网数据分析和大数据开发相关工作经验;
熟悉经典的聚类、分类等机器学习和深度学习算法,有大规模机器学习系统开发经验优先;
熟练掌握C++/Java/Scala/Python等至少一门编程语言。
有主流大数据平台spark/hadoop/flink/storm等平台开发经验,熟悉分布式计算原理优先
篇2:大数据架构资深工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、打造业界领先的存储、计算等分布式系统;
2、为海量数据和大规模业务系统提供可靠的基础设施。
任职要求:
1、掌握分布式系统原理,对存储、计算、消息队列、集群管理中的一项或多项有深入的理解和认识;
2、乐于挑战没有明显答案的问题,能快速理解业务场景,从具体问题中抽象出通用的解决方案;
3、存储方向:对HDFS,RocksDB,LevelDB,memcache,redis,MySQL,HBase,Kafka的一项或多项有经验者优先;
4、计算方向:对Spark,MapReduce,Storm,Hive,Presto,Impala的一项或多项有经验者优先;
5、集群管理方向:对YARN,Mesos的一项或多项有经验者优先;
6、向开源社区贡献过patch者优先,请在简历上说明。
篇3:大数据基础架构研发工程师职位描述与岗位职责任职要求
职位描述:
职责描述:
1、负责公司内部大数据平台的选型与优化工作;
2、参与整体系统架构的规划,维护公司的大数据生产平台,不断优化系统性能;
3、开发适合公司业务的大数据框架,并协助其他部门开发与优化出高效的并行计算程序;
4、开发适合公司业务的大数据存储平台,完成PB级别的高性能存储作业。
任职要求:
1、985/211院校计算机相关专业毕业,有良好的计算机基础;
2、熟悉Java语言,熟练使用Idea或Eclipse,有第二门语言者优先(Python,C++);
3,熟悉Centos、Ubuntu、等Linux操作系统;
4,两年以上研发工作经验,有中层管理经验者优先;
5,3年以上使用Hadoop/Hbase等分布式平台经验,有过管理PB级别数据经验者优先;
6,熟悉Hadoop/Hbase的各类配置与插件开发,有过源码修改与插件开发经验者优先;
7,有过大型项目(使用人数超过100万,日均pv超过1亿)的参与经验优先。