岗位职责：
负责公开数据源等定向场景的数据抓取方案设计与落地。
搭建高稳定性、高并发的爬虫体系，解决反爬机制（如验证码、IP 封锁、UA 验证、动态渲染）等核心问题，保障数据抓取效率与准确性。
优化爬虫程序性能，降低服务器资源消耗，提升数据抓取成功率与更新频率，满足业务实时性或周期性数据需求。
监控爬虫运行状态，及时处理抓取异常、数据缺失等问题，建立告警机制与故障应急预案。
岗位基本需求：
本科及以上学历，计算机科学、软件工程、数据科学等相关专业，1-3 年定向数据抓取 / 爬虫开发实战经验。
熟练掌握 Python 编程语言，精通 Scrapy、BeautifulSoup、Selenium、Playwright 等爬虫框架与工具，能独立完成复杂场景爬虫开发。
熟悉 HTTP/HTTPS 协议、Cookie/Session 机制、API 接口调用，具备模拟请求、破解简单加密参数的能力。
了解常见反爬策略及应对方案，有处理动态网页、滑块验证码、IP 池搭建、UA 池维护等实战经验者优先。