岗位职责 :
1、负责各类社媒平台、电商平台、新闻论坛站点，pc和app端数据抓取； 2、负责对爬取的数据进行分类和解析，并维护相关数据字段标准，形成统一的结构化数据；
3、负责爬虫技术攻关和平台运维相关工作；
任职要求:
1、至少一年的分布式爬虫开发经验；
2、熟悉爬虫开发，熟练掌握HTML、DOM、XPath，熟悉fiddler、charles等抓包工具；
3、熟悉linux平台，熟练掌握Python/java/shell/http协议，掌握git、maven、svn等工具和实践，注重工程规范；
4、性格开朗、善于沟通，有良好的自我驱动学习能力，注重效率和团队意识，能配合团队按时完成交付；
5、有JS逆向或app逆向能力，能独立完成常见验证码处理的；