岗位要求:
1.负责设计开发爬虫系统以及优化爬虫策略,进行多平台信息的抓取和分析
2.设计爬虫策略和防屏蔽规则,完成对复杂网站和APP的信息抓取
3.参与业务功能需求探讨,数据分析处理落地,并提供后端接口
任职资格:
1.熟悉web、APP抓取原理及技术,熟悉常用的爬虫网络框架及重要组件;
2.至少熟悉Python、Nodejs、Go等一种编程语言,熟练掌握MySQL、Redis等数据库的使用
3.了解常见的反爬机制,能够破解常见的反爬机制
4.了解抓包技巧,突破抓包验证
5.具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于分析问题解决问题
加分项(非必须):
1.了解相关APP逆向技术、js逆向和相关调试工具
2.掌握软件加密解密知识
3.了解反爬虫相关技术栈
4.有机票行业相关经验优先