职位详情
大数据工程师(数据采集) (MJ000937)
2-3万·15薪
北京海博思创科技股份有限公司
北京
3-5年
本科
01-16
工作地址

中关村集成电路设计园

职位描述

岗位职责:

1、负责相关各类网站及平台的数据采集方案设计与开发,搭建高效、稳定的爬虫系统,确保数据采集的准确性、完整性和时效性;

2、​针对目标平台的反爬机制(如 JS 加密、Token 验证、验证码、IP 封禁等),进行 JS 逆向分析与破解,优化爬虫策略,解决采集过程中的技术难题;

3、重点负责相关平台的数据采集,深入理解电力行业数据结构与业务逻辑,保障行业数据的有效获取;

4、开发新的爬虫项目,监控数据采集状态,及时处理异常情况(如网站结构变更、反爬升级等),确保系统稳定运行;

5、配合项目需求,接受短期出差任务, 可完成出差期间的现场工作安排。

任职资格:​

1、本科及以上学历,计算机科学与技术、软件工程、电气等相关专业优先,1-5 年爬虫开发经验;

​2、精通 Python 编程语言,熟练使用 Scrapy、Requests、BeautifulSoup、Selenium、Playwright 等爬虫框架及工具;熟悉 HTTP/HTTPS 协议、TCP/IP 协议,能熟练分析请求头、Cookie、Session 等参数;

3、熟练掌握 JavaScript 语言,能使用 Chrome DevTools、Fiddler 等工具分析网站请求流程,破解 JS 加密、参数签名、动态 Token 等反爬措施;有过复杂网站(如电商、金融、能源类平台)JS 逆向经验者优先;

4、熟悉常见的数据库(如 MySQL、MongoDB)操作,能将采集的数据高效存储与管理;

5、接受短期出差(每年出差频次及时长根据项目需求调整),持有 C1 及以上驾驶证,驾驶技术良好优先。

6、工作认真,责任心强。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请