职位详情
python爬虫工程师
1.5-3万
北京法意科技有限公司
北京
3-5年
本科
12-30
工作地址

海淀文教产业园G座G101B

职位描述

岗位职责:

采用多种数据获取技术、方式, 对公开网站的数据信息及多媒体信息进行爬取,确保数据获取的效率和准确性。对抓取数据进行清洗、整理、入库;

对公司现有采集系统进行维护、优化、迭代;

负责RPA项目全周期管理(需求分析、开发、测试、部署、维护),编写技术文档,推动自动化文化落地,并与其他部门协作,提供技术支持和培训。

任职要求:

精通Python语言,代码风格良好;

掌握主流爬虫框架,熟知网页抓取原理;

熟悉反爬机制,能解决爬取过程中疑难问题 ;

熟练使用网络抓包工具,如Fiddler、Wireshark等;

熟悉Docker、Kubernetes等容器化技术,有分布式爬虫平台设计经验;

熟练操作MySQL、Redis、solr等数据库,具备数据清洗、存储和调优经验;

有RPA开发经验、提供整体RPA解决方案;

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请