一、岗位职责​
必须熟练掌握 复杂数据爬取/JS逆向/脚本开发/高并发高可用/RPA
基于已有爬虫经验，负责合法网站的数据抓取，解决动态页面、验证码 / IP 封禁等反爬问题；​
用自动化脚本经验处理复杂页面数据提取（如嵌套、动态加载），应对页面 JS 逻辑；​
优化爬虫性能，实现高并发低资源消耗，保障抓取效率；​
对接公司后端接口：完成脚本可视化页面的账号登录、数据上传，处理接口异常；​
结合 AI 优化自动化流程（如智能处理数据），参与谷歌插件、Python 自动化脚本开发；​
维护爬虫系统稳定，制定监控和重试机制。​
二、任职要求​
核心能力（需有实际项目经验）​
3 年以上 Python 开发经验，其中 2 年 + 爬虫 + 自动化脚本相关经验，实际做过爬虫项目和自动化脚本开发，会用 Scrapy、Requests 等工具；​
懂反爬策略（如 IP 池、模拟浏览器），能独立解决爬虫中的反爬问题；​
会用自动化脚本处理复杂页面，应对 JS 加密、动态渲染场景；​
有异步编程、高并发优化经验，能控制爬虫的 CPU / 内存消耗；​
会对接 RESTful API，处理接口登录、参数校验、异常重试；​
了解如何将 AI 融入自动化流程（如 AI 辅助数据处理、脚本优化）。​
加分项​
做过谷歌浏览器插件（Chrome Extension）；​
有 Python 自动化脚本 + AI 应用的成熟案例；​
会用 Redis、MongoDB，或有分布式爬虫经验；​
会用抓包工具（Fiddler/Charles）、接口调试工具（Postman）；​
做过脚本可视化页面（如 PyQt、Streamlit）并对接过后端接口。​
软技能​
有合规意识，只做合法授权的爬虫工作；​
能独立解决技术问题，愿意调研新方法；​
能和后端团队顺畅沟通，配合推进项目；​
重视代码质量，能及时响应线上问题。