职位描述
1、遵循Robots协议，采集互联网公开的信息，满足各类业务数据需求
2、参与团队分布式爬虫采集系统的建设，优化数据调度、抓取、解析、存储全栈流程
3、帮助团队攻克各种爬虫技术难关，提升海量数据系统的抓取效果与性能
4、推动技术创新，推动相关技术在搜索场景中的业务落地并取得实际收益
任职要求：
1、计算机软件或相关专业本科以上学历,接受应届生
2、熟悉网络协议（如HTTP、HTTPS）、Web抓取技术，浏览器渲染原理等
3、有实际的爬虫开发经验，熟悉Scrapy、BeautifulSoup、Selenium等爬虫框架和工具
4、熟悉常见反爬封禁策略，并具备相关的实战经验；
5、熟悉Python/Java/Go/C++其中一种语言，具备扎实的编码能力；了解MapReduce，有大数据处理经验更佳
6、思路清晰，优秀的分析问题和解决问题的能力，对解决具有挑战性问题充满激情，良好的团队合作精神具有强烈的责任心