岗位职责:

1、根据公司业务需要，对指定信息源进行数据抓取；

2、研究和应对反爬策略，保证爬取的稳定性；

3、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作；

4、负责信息抽取、数据清洗等研发和优化工作；

5、负责抓取数据的解析入库，爬虫系统的监控和异常优化。

任职要求：

1、1年以上相关工作经验；

2、熟悉Python语言;

3、熟练掌握一种开源爬虫框架，如scrapy、webmagic，有研发爬虫框架经验者优先;

4、熟悉火车头软件的使用；

5、熟悉一种数据库;

6、对爬虫有浓厚的兴趣，责任感强，有较好的交流沟通能力和团队合作能力；

7、有自我学习和探索的能力，关注行业动态和技术趋势，不断提升个人技能水平