辅助工程师获取各大平台数据算法,负责设计、开发和维护高效、稳定的爬虫系统,咱们是企业自研项目,几乎无加班情况,双休五险一金(最低基数),投递简历前请直接发送爬虫运行截图,展示作品
1、负责开发网络爬虫系统以及优化爬虫策略;
2、负责多平台信息抽取、数据清洗、入库、服务化等研发和优化工作;
3、负责网络爬虫采集规则的编写;
4、有解决复杂的反爬限制经验,能解决如图片验证码、滑块、ip限制等问题;
任职要求:
1、掌握Java/Python、Shell等脚本语言,熟悉linux的基本操作,掌握常用的爬虫框架,例如requests,bs4,selenium,scrapy,appinum等,
2、熟练使用抓包工具Charles、fiddler;
3、熟练使用常用的无头浏览器技术,熟练使用正则表达式、Xpath等开发常用技能
4、有基本的js逆向能力,会hook代码,跟栈,反混淆等技能
5、有大规模网页爬虫开发经验,有分布式爬虫架构经验者优先;