岗位职责：
1、负责建立和维护开源组件相关基础数据。
2、负责网络采集数据，进行多平台信息的抓取和分析工作。
3、负责分布式爬虫的开发及架构设计。
4、参与可信开源服务平台的开发与维护。
5、与团队合作、解决复杂数据问题，提供业务洞察。
6、领导分配的其他工作。
岗位要求：
1、大学本科以上学历，计算机相关专业，必须学信网可查。
2、熟悉搜索引擎和网络爬虫相关技术，有相关爬虫系统开发经验。
3、熟悉掌握网页抓取原理及技术，熟悉网页解析过程，具备数据过滤、清洗、去重、结构化导入经验。
4、熟悉分布式爬虫应用和调度策略，掌握各类网站的反爬机制和验证码机制。
5、熟练使用mysal，redis，等数据库，有大数据处理相关开发经验优先。
6、具备良好的代码规范和文档编写能力，能够编写清晰、可维护的代码和相关技术文档