岗位职责
1. 负责针对电商平台、资讯网站、社交媒体等不同场景，设计并开发高效爬虫程序，实现数据的精准、批量抓取。
2. 应对网站反爬机制（如IP限制、验证码、动态加载等），优化爬虫稳定性，保障数据持续获取。
3. 对爬取的原始数据进行清洗、去重、格式转换，提升数据可用性，并同步至数据库（MySQL/MongoDB等）。
4. 监控爬虫运行状态，及时处理异常问题，持续优化爬虫性能（如提速、降耗）。
5. 与产品、数据分析团队协作，明确数据需求，输出符合业务标准的数据集。
任职要求
1. 本科及以上学历，计算机相关专业，3年以上爬虫开发经验。
2. 熟练掌握Python，精通Scrapy、Requests、BeautifulSoup等爬虫库，会用Selenium/Playwright处理动态页面。
3. 熟悉HTTP/HTTPS协议，能使用Fiddler/Charles抓包分析，理解Cookie、Token等验证机制。
4. 有反爬实战经验，比如搭建代理IP池、处理验证码（OCR优先）、伪装请求头等。
5. 至少熟悉一种数据库操作，了解Redis等缓存工具者优先。
6. 懂HTML/CSS/JavaScript基础，会用正则表达式，具备独立排查问题的能力。