岗位职责
1. 负责相关各类网站及平台的数据采集方案设计与开发,搭建高效、稳定的爬虫系统,确保数据采集的准确性、完整性和时效性;
2. 针对目标平台的反爬机制(如JS加密、Token验证、验证码、IP封禁等),进行JS逆向分析与破解,优化爬虫策略,解决采集过程中的技术难题;
3. 重点负责相关平台的数据采集,深入理解电力行业数据结构与业务逻辑,保障行业数据的有效获取;
4. 开发新的爬虫项目,监控数据采集状态,及时处理异常情况(如网站结构变更、反爬升级等),确保系统稳定运行;
5. 配合项目需求,接受短期出差任务,可完成出差期间的现场工作安排。
任职要求
1. 本科及以上学历,计算机科学与技术、软件工程、电气等相关专业优先,3-5年爬虫开发经验;
2. 精通Python编程语言,熟练使用Scrapy、Requests、Feapder、Playwright等爬虫框架及工具;熟悉HTTP/HTTPS协议、TCP/IP协议,能熟练分析请求头、Cookie、Session等参数;
3. 熟练掌握JavaScript语言,能使用Chrome DevTools、Fiddler等工具分析网站请求流程,破解JS加密、参数签名、动态Token等反爬措施;有过复杂网站(如电商、金融、能源类平台)JS逆向经验者优先;
4. 熟悉常见的数据库(如MySQL、MongoDB)操作,能将采集的数据高效存储与管理;