岗位职责：

1、负责爬虫策略和防屏蔽规则设计，后台爬虫数据存储设计以及代码实现；

2、负责网页采集任务的分析及采集方案设计及实现。

岗位要求：

1、本科及以上学历，2年以上开发工作经验，Python基础扎实；

2、熟悉多线程、多进程、协程开发、网络编程，精通网页抓取原理及技术的实现细节；

3、掌握HTML、CSS、JQuery、RESTful 相关技术；

4、具有良好的站点分析经验，能独立处理基于(session, cookie)、(Access Token, Token)、(selenium, splash)、(访问量, 访问频率)的反爬自主设计爬取流程；

5、熟悉基于规则的网页信息定位，精通正则表达式，xpath语法；

6、精通原生Python urllib爬取方式、精通原生Python requests爬取方式、精通框架Python scrapy的爬取方式、熟悉Python aiohttp 异步请求框架的爬取方式；

7、熟悉掌握一种或多种热门关系型数据库和非关系型数据库、熟练使用版本管理工具；

8、热爱互联网，对搜索技术和探索未知领域有浓厚兴趣；

9、能够高效地沟通，并与团队或跨团队同事有效地协作办公。