• 熟悉HTTP、HTTPS原理，理解Cookie机制，能够进行请求抓包，熟悉JavaScript1。
• 精通Python语言，掌握正则表达式，熟悉HTML3。
• 有丰富的应对反爬虫的经验，例如合理使用IP池、验证码识别技术等1。
• 熟悉分布式系统，熟悉Linux平台开发，熟悉多线程多进程编程、网络编程，熟悉HTTP、TCP/UDP协议3。
• 熟悉mysql、redis、mongo等数据库的使用，熟悉至少一种消息队列，如kafka、pulsar、rocketmq3。
• 对scrapy、pyppeteer、appinum或者其他爬虫框架有研究了解3。

需要细心，具备良好的沟通和合作能力，善于学习，自我驱动