职位详情
数据采集师
面议
安徽省建筑设计研究总院股份有限公司
合肥
不限
本科
06-13
工作地址

安徽省合肥市蜀山区繁华大道7699号

职位描述

任职资格:

1.计算机、统计学等相关专业,国家统招本科及以上学历;

2.熟悉Linux操作系统、关系型和非关系型数据库管理系统,熟练掌握Python、JavaScrip编程语言,具备扎实的数据结构与算法基础;

3.熟悉主流爬虫框架,熟练掌握ADSL 拨号代理、正则表达式、加解密处理、图像识别破解等多种爬虫技术;

4.熟悉主流反爬虫技术机制及其突破方案,对各类反爬手段(如账号/IP封禁机制、各类验证码、JS混淆加密、滑块验证、数据混淆等)有实际解决经验。


岗位职责:

1.负责网页及APP接口数据采集技术研发,深入发掘各类网页及APP接口特性与规律,研发高效、稳定的数据采集技术方案;

2.负责爬虫抓取策略及防屏蔽规则的设计与优化,构建反爬对抗组件库,提升数据采集的效率、成功率和数据质量;

3.参与数据层建设,专注于特定垂直领域的数据爬取工作,进行多平台信息的抓取、整合与分析;

4.负责智能采集系统的设计与开发,包括但不限于采集任务调度管理、页面智能解析与结构化信息抽取、海量数据的存储与高效读取等核心模块。


注:本岗位为子公司招聘,一经录用,将与安徽省建院数智科技有限公司签订劳动合同。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请