岗位职责：

1. 熟悉搜索引擎和网络爬虫相关技术,有爬虫系统开发经验；

2. 熟练掌握网页抓取原理及技术，熟悉网页解析过程，具备数据的过滤、清洗、去重、结构化导入经验；

3. 熟悉分布式爬虫应用和调度策略，掌握各类网站的反爬机制和验证码机制；

4. 熟悉TCP/IP协议及HTTP协议,了解基本的前端技术，HTML、CSS、JS、Ajax等；

5. 熟练使用mysql，mongodb等数据库，熟悉mysql的各种存储引擎，熟悉索引工作原理。

任职要求：

1. 大学本科及以上学历，计算机相关专业，基础扎实；

2. 具有Python开发工作经验，熟悉Python常用函数库和包；

3. 熟练掌握python，熟悉常用爬虫框架中的一种或多种，熟悉Scrapy、Pyspider框架中的至少一种；

4. 熟悉MySql、Redis、MongoDB等数据库，对SQL优化有一定的经验；

5.熟悉网页抓取原理及技术，熟练掌握正则表达式、XPath、CSS等网页信息抽取技术；

6.具有优秀的团队合作和沟通协作能力，善于学习，能承受较大的工作压力。