职位描述
1、遵循Robots协议，采集互联网公开的信息，满足各类业务数据需求
2、参与团队分布式爬虫采集系统的建设，优化数据调度、抓取、解析、存储全栈流程
3、帮助团队攻克各种爬虫技术难关，提升海量数据系统的抓取效果与性能
4、推动技术创新，推动相关技术在搜索场景中的业务落地并取得实际收益