职位详情
爬虫工程师
面议
中软国际
北京
3-5年
大专
07-01
工作地址

北京飔合科技有限公司

职位描述
1负责web端数据的爬取、清洗、解析、入库
2熟练掌握Python编程语言,熟悉JavaScript,熟悉fastapi后端服务构建;
3熟练使用数据库,掌握redis、pgsql、mysql等;
4.数量使用docker进行服务部署;
5熟悉各种抓取技术,包括爬虫反爬、代理、验证码处理;
6熟练使用正则表达式、xpath等,能够从结构化的和非结构化的数据中获取信息;
7掌握常见的反爬机制,精通各种反爬破解,包括但不限于:hook、Js防护、混淆、逆向分析等技能;
8参与设计与优化分布式网络爬虫系统,熟悉采集系统的调度策略,实时监控爬虫的进度和警报反馈;
9有瑞数、国密逆向经验者优先

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请