岗位职责
1、负责公司爬虫核心技术开发,满足公司对多源数据海量、实时、高质量采集要求
2、积极主动思考探索爬虫在实际业务中的价值,参与设计数据有效利用策略,从数据合理性、完整性角度提供建议
3、把握网络爬虫核心技术研究方向,研究优化方向,提升爬虫系统的稳定性、可扩展性
4、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量
5、负责攻克实际业务中遇到的难题
任职要求
1、统招本科以上学历,3年以上爬虫项目经验
2、有丰富的web端逆向经验,对web端环境补全,算法还原有一定经验
3、熟练使用使用 App 逆向工具frida,ida,apktool,xposed, 还原算法,java 层、so 层调用等
4、熟悉linux系统,熟悉mongodb,nosql(redis/kafka/rabbitmq),elasticsearch
5、充分的耐心以及灵活的头脑