岗位职责：
1.负责新闻媒体、社交媒体平台等领域数据爬取；
2.负责爬虫代码的日常开发与维护，保证稳定性；
3.负责互联网资源清洗和结构化，网页转码，网页聚合，信息抽取，网页分类；
任职要求：
1. 3年以上爬虫开发经验，熟悉掌握 python语言，熟悉常见的爬虫库；
2. 理解html、js、css 等网页相关语言语言，能够完成数据抽取工作；
3. 掌握TCP、HTTP等网络协议的原理和细节；
4. 熟悉SSH、redis、mongodb、mysql，pg等工具的使用；
5. 熱悉Linux常用命令，独立完成日常部署更新等 ；
6. 熟悉分布式爬虫架构和基本爬虫知识。