岗位职责:
1、负责日常采集需求,设计和开发分布式网络爬虫。
2、负责手机端App采集、各类web端网页内容采集等。
3、解决日常封账号、IP、过验证码等风控问题。
4、负责原型架构的测试与验证
任职要求:
1、2年及以上爬虫相关开发经验,具备web网页端、App端采集经验。
2、熟练掌握Python编程语言及常用采集工具框架,如playwright,selenium、Scrapy、BeautifulSou等。
3、熟练掌握PC/Android自动化采集技术,如uiautomator,frida注入等技术。
4、熟悉风控逆向相关技术,国内外验证码破解等;熟悉TLS 指纹、逆向、混淆、JS补环境等技术,以及各类加密算法,譬如(AES、RSA、Base64,Md5、SHA 系列等)。
5、具有良好的沟通能力、学习能力、分析解决问题能力,有较强的责任心、自驱力和成长型思维;
6、有长期规模化采集系统建设经验优先;有computer use/phone use等agent相关数据采集经验优先。