python爬虫工程师/数据采集
【岗位职责】
1、负责爬虫系统的设计与开发；
2、设计爬虫策略，利用八爪鱼、影刀等工具有效提升网页抓取的效率和质量；
3、参与数据处理、清洗数据等工作、确保数据的安全性和完整性；
4、严格遵照采集计划和操作规范，做好任务自我管理及分配，保证采集任务交付时间和质量；
5、定期总结数据采集经验，并做内部分享。
【任职要求】
1、3年以上网络爬虫开发经验；
2、精通python爬虫开发，精通selenium框架，熟悉常见的爬虫框架和工具，如 Scrapy、BeautifulSoup等；
3、具备统筹协调能力，有较强的责任心及上进心；
4、熟悉爬虫原理、常见的反爬虫技术和cookie的登录原理；
5、熟悉常见的数据库，如redis、mongodb和mysql等其中一种或几种，有数据清洗分析的工作经验，了解大数据平台的基本原理；
6、对数据敏感，有良好的逻辑思维和数据分析能力。
熟悉反爬虫技术，能够处理JS逆向、补环境等常见问题，以及完成数据清洗。
逻辑思维强、责任心强，具备统筹能力/潜力。
6-10k，薪资可谈