岗位职责：
1. 负责海外电商平台数据抓取处理（采集、清洗、入库全流程）
2. 参与爬虫系统开发与优化，搭建高可用数据采集体系
3. 协调产品/运营团队推进项目落地，把控开发进度与质量
4. 编写规范技术文档，设计可复用开发模块
5. 快速适应业务需求变化，承担专项技术攻坚

6.设计智能代理池+动态IP切换策略,解决目标网站IP封锁问题,爬虫稳定性提升至99%。

7.基于Scrapy-Redis开发境外电商促销信息爬虫框架,支持Amazon、eBayShopify等20+电商平台,日均抓取数据500万+条。
任职要求：
1. 计算机相关专业
2. 精通Python，熟悉Scrapy框架及反爬破解策略
3. 具备MySQL/Redis实战经验，熟悉Linux开发环境，Scrapy-Redis+ Kafka + Spark Streaming
4. 有IP代理/验证码破解等反反爬实战能力者优先
5. 逻辑清晰+抗压强+自驱力强，具备技术文档撰写能力

6.实现Cloudflare反爬绕过,支持自动更新Cookie+UserAgent，优化数据流,入库延迟<1分钟。