岗位职责:
1.负责分布式数据采集系统的设计与研发工作，实施互联网相关数据的抓取和解析。
2.负责采集策略的设计与优化工作，提升网页抓取的效率和质量，解决信息精准抽取等核心技术难题；
3.分析已有采集系统的技术缺陷，对策略架构做出合理地调整和改进。
4.负责公司数据中心的运营和维护。
岗位要求：
1.计算机类及相关专业本科及以上学历；
2.精通一门以上的主流开发语言（Python、Java），熟悉常用的数据抓取策略和原理；
3.具有大规模网页爬虫开发经验优先，掌握爬虫开发原理，能够分析网站的结构特点与规律；
4.对算法设计和数据结构有深刻的理解，精通网络编程；
5.有分布式爬虫架构经验者优先；
6.强烈的责任心和良好的团队合作精神，较好的沟通能力，善于学习新知识，能承担较大的工作压力。

职位类别： JAVA

举报