1. 负责各类网站、App数据的爬虫系统设计与开发，包括需求分析、方案设计、代码实现及维护；
2. 针对不同网站的反爬机制（如验证码、IP封锁、UA检测等），制定有效的突破策略，保障数据爬取的稳定性和效率；
3. 优化爬虫程序的性能，解决大规模数据爬取中的并发、限流、重试等问题，提升爬取速度和成功率；
4. 对爬取的数据进行清洗、去重、格式转换等处理，确保数据质量符合业务需求；
5. 与数据分析师、后端开发等团队协作，根据业务场景输出结构化数据，支持数据分析或业务系统应用；
6. 监控爬虫运行状态，及时处理异常（如网站结构变更导致的爬取失败），持续迭代优化爬虫系统。