职位详情
高级爬虫工程师+食堂免费+周末双休
2.5-3.5万
光汇石油
深圳
3-5年
本科
04-19
工作地址

长富金茂大厦-1号楼61-65层

职位描述

公司福利:
1、足额缴纳五险一金,周末双休
2、免费提供午餐、晚餐,再也不用考虑中午吃啥
3、高楼层办公环境开阔,绝佳视野
4、全天候提供咖啡茶水等饮料
5、满一年享10天带薪年假,自行调休
6、无团建少聚餐没有应酬,工作氛围好
7、200平高空健身房,关注员工健康,省掉你的年卡钱



岗位职责:

1. 分析目标网站的结构和数据存储方式,设计合适的爬虫策略(如请求频率、数据解析方式、反反爬虫机制应对等)。

2. 编写和调试爬虫代码,使用合适的编程语言和框架(如 Python、Scrapy、Requests等)实现数据采集功能。

3. 处理国内外网站可能存在的语言、编码、法律法规等方面的差异,确保爬虫程序能够适应不同环境。

4. 监控爬虫系统的运行状态,及时发现并解决可能出现的技术问题(如服务器故障、网络异常、代码错误等)。

5. 对系统进行定期维护和优化,包括代码更新、性能调优、资源管理等,以提高系统的稳定性和效率。

职位要求:

1. 熟悉掌握Python语言,对JavaScript语言有一定了解。

2. 至少掌握Fiddler、Charles或其它抓包工具的一种。

3. 熟练掌握Xpath、CSS、正则等数据抽取语言。

4. 熟练使用MySQL、Redis,至少熟悉一种消息中间件。

5. 对常见加密算法有一定了解。

6. 对JavaScript逆向有一定了解。

7. 对常见的各类验证码识别有处理经验。

8. 代码风格良好。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请