负责各类互联网平台的数据采集，建立稳定高效的爬虫流程。

负责任务的定时执行、采集速度控制、失败重试，保证采集过程稳定可靠。

对采集到的原始数据进行清洗、结构化、去重与质量校验。

设计并维护数据库/存储模型，实现数据的入库与快照管理。

搭建日志、监控与报警体系，持续优化采集与处理流程。

熟悉 HTTP/HTTPS 协议，能够分析请求头、参数和分页规则。

熟悉使用抓包工具（Fiddler、mitmproxy、Charles），能够完成接口抓取与复现。

熟悉 JSON、Protobuf 等数据格式，具备接口解析和数据处理能力。

熟悉 PostgreSQL / MySQL，掌握常见的数据去重、快照和更新方法，了解 Redis 在缓存和限流中的应用。

具备数据清洗与质量控制经验，能够保证采集数据的准确性。

了解定时任务和调度工具（如APScheduler、Airflow），有日志和监控经验（Prometheus、Grafana、ELK）。

熟练掌握 Python 或 Node.js/TypeScript，具备并发采集经验。
有app端数据爬取者经验优先