基本要求：
1. 专科及以上学历，1年以上爬虫开发相关经验，熟练掌握Python
2. 熟练使用正则表达式、css path、xpath等，能够从结构化的和非结构化的数据中获取信息；
3. 掌握 web/app 常见的反爬机制，精通各种反爬破解，包括但不限于：hook、Js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能；
4. 熟练使用MySQL数据库，掌握redis、mongodb、hive等常用nosql技术并具有实战经验；
5. 熟悉各种抓取技术，包括爬虫反爬、代理、PhantomJS/selenium/Puppeteer、验证码处理；
6. 熟悉整个爬虫的设计及实现流程，有从事网络爬虫、网页信息抽取开发经验，熟悉反爬虫技术，有分布式爬虫架构经验；
7. 快速学习能力，工作积极主动，有创业热情和良好的团队协助能力。