主要职责：
1、团队领导与管理：
负责爬虫技术团队的日常管理和项目协调。
指导团队成员进行技术难题的攻关和最佳实践的分享。
2、系统设计与实现：
设计并实现跨平台（如淘宝、天猫、京东等主流电商平台及药品平台）的数据检索系统。
确保系统的可扩展性、稳定性和高效性，满足不同平台的特定需求。
3、技术优化与创新：
不断优化爬虫算法，提高数据抓取的速度和准确性。
探索新技术和方法，以应对反爬机制和提高数据质量。
4、数据复查与监控：
建立并维护数据复查机制，确保数据的准确性和时效性。
实时监控数据状态，及时响应市场变化。
5、合规性与风险管理：
确保所有爬虫活动符合法律法规和平台政策。
评估并管理爬虫活动的法律风险和技术风险。
任职要求：
1、教育背景：计算机科学或相关领域的本科及以上学历。
2、工作经验：至少5年的软件开发经验，其中2年以上的爬虫开发经验。
3、技术能力：精通Python、Java或其他主流编程语言；熟悉HTML/CSS、JavaScript以及网络协议；了解数据库技术和大数据处理；有处理反爬机制和IP封禁的经验。
4、管理能力：具有团队管理经验，能够带领团队完成复杂的技术任务。
5、学习能力：持续关注行业动态，快速适应新技术和新环境。
6、沟通能力：良好的沟通技巧和团队合作精神，能够与跨部门有效协作。