工作职责：

1. 负责设计和搭建高效的分布式爬虫系统；

2. 开发、维护爬虫系统，包括调度、抓取、维护、验证等爬虫工作；

3. 对不同网站的防御机制和反爬虫策略进行深入研究，提炼关键技术点。

4. 能够解决协议反爬、风控、人机识别等高级问题。

5. 负责爬虫技术难点的攻克;

任职要求：

1. 对Python和计算机网络有深入理解，能够熟练运用多线程技术，掌握主流爬中框架；

2. 精通JavaScript逆向工程、虚拟机、代码混淆、抽象语法树(AST)等技术，并有实际的JavaScript逆向和分析；

3. 熟悉常见反爬机制，验证码识别，IP代理池应用lp池、headers认证和cookie等;

4. 能够分析网络链路，并处理TLS/HTTP2等协议流量识别、IP识别问题；

5. 了解基本的机器学习算法，可解决一些基础的图像验证码识别、人机对抗等问题；

6. 熟悉Redis、MySQL、MongoDB等数据库技术，并有SQL或NOSQL数据库实践经验；

7. 熟悉wireshark tcpdump等进行流量分析，了解大部分计算机网络基本原理；

8. 了解分布式队列、中间件等基础架构组件；