岗位职责：

1、负责爬虫、逆向相关技术的研究和实现工作，如小程序破解、分布式爬虫、验证码破解、反爬机制的研究等；

2、设计爬虫策略和防屏蔽规则，提升抓取的效率和质量；

3、负责公司爬虫的核心算法以及策略优化，熟悉采集系统的调度策略；

4、负责现有部分爬虫的完善、维护工作，实时监控爬虫的进度和警报反馈，提升爬虫系统稳定性、可扩展性；

5、能独立解决实际开发过程碰到的各类问题。

任职资格：

1、本科及以上学历，计算机相关专业，4年及以上爬虫逆向经验；

2、熟练使用Git、Devops等平台工具，熟悉JS逆向、验证码破解、图像识别等技术；

3、精通Python语言，具有扎实的计算机基础和编程能力，熟悉常见的算法与数据结构，具有优秀的逻辑思维能力；

4、熟悉常见的反爬机制，并对反爬具有一定的应对措施策略且有一定研究；

5、熟悉Mysql，redis，有过数据库调优和海量数据存储经验优先；

6、熟悉常用网络协议、数据存储和数据处理技术；

7、熟悉linux系统环境、命令，shell、python脚本编写；

8、对爬虫技术有钻研精神。