爬虫工程师岗位职责：
1、负责大规模网页数据的抓取、清洗及结构化存储，保障数据质量和时效性；
2、突破各类反爬限制（如 IP 封禁、验证码、动态加载等），设计高效稳定的数据采集方案；
3、设计并优化分布式爬虫架构，提升系统并发能力和容错性；
4、维护数据采集链路，协同产品和项目团队完成数据交付与应用；
任职要求：
1、精通 Python 及 Scrapy 、Pyspider框架，熟悉常见反爬应对策略；
2、深入理解 HTTP、HTTPS 协议和前端渲染机制，能独立分析动态网页结构；
3、掌握主流数据库（ MySQL / MongoDB / Redis / HBase 等）；
4、熟悉浏览器自动化工具及JS逆向分析；
5、有分布式爬虫开发经验，熟悉任务调度与性能优化；
6、3年以上爬虫开发经验，主导过中大型爬虫项目落地；
7、有文旅文博行业数据采集经验优先。