职位详情
爬虫工程师
1.7-2.5万
外企德科数字技术有限公司
上海
5-10年
本科
10-17
工作地址

互联宝地10

职位描述
岗位职责: 1、负责爬虫、逆向相关技术的研究和实现工作,如小程序破解、分布式爬虫、验证码破解、反爬机制的研究等; 2、设计爬虫策略和防屏蔽规则,提升抓取的效率和质量; 3、负责公司爬虫的核心算法以及策略优化,熟悉采集系统的调度策略; 4、负责现有部分爬虫的完善、维护工作,实时监控爬虫的进度和警报反馈,提升爬虫系统稳定性、可扩展性; 5、能独立解决实际开发过程碰到的各类问题。 任职资格: 1、本科及以上学历,计算机相关专业,4年及以上爬虫逆向经验; 2、熟练使用Git、Devops等平台工具,熟悉JS逆向、验证码破解、图像识别等技术; 3、精通Python语言,具有扎实的计算机基础和编程能力,熟悉常见的算法与数据结构,具有优秀的逻辑思维能力; 4、熟悉常见的反爬机制,并对反爬具有一定的应对措施策略且有一定研究; 5、熟悉Mysql,redis,有过数据库调优和海量数据存储经验优先; 6、熟悉常用网络协议、数据存储和数据处理技术; 7、熟悉linux系统环境、命令,shell、python脚本编写; 8、对爬虫技术有钻研精神。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请