工作职责：

1.使用爬虫技术采集指定的互联网数据；

2.对采集的数据进行清洗治理；

3 负责爬虫系统外部调用接口的实现。

任职要求：

1.本科以上学历，计算机相关专业 ，3年以上爬虫工作经验，独立设计开发爬虫系统；

2 精通Python语言，熟练掌握主流爬虫框架；熟悉常用的库requests/gevent等；

3.了解各种加密算法，能够独立解决js反爬和模拟登陆问题等问题；

4.熟练掌握正则表达式、XPath、CSS等网页信息抽取技术；

5. 熟悉常见反爬机制，验证码识别，IP代理池、应用Ip池、headers认证和cookie等；

6. 熟练使用Selenium等爬虫框架实施动态抓取；

7.熟悉熟练使用charles、fiddler等抓包工具者优先。