岗位职责：
1、设计并实现高效、稳定的爬虫系统，抓取并处理海量数据；
2、维护和优化现有爬虫，确保其高效运行和数据准确性；
3、分析和解决爬虫运行中的问题，如反爬机制、IP 封禁等；
4、研究和应用新的爬虫技术和方法，提高数据抓取的效率和质量；
5、与数据分析团队合作，提供高质量的数据支持和服务；
6、编写爬虫相关的技术文档和代码注释，保证代码的可维护性和可扩展性。
任职要求：
1、大专及以上学历，计算机科学、软件工程或相关专业；
2、2 年以上 Python 开发经验，至少 2 年以上爬虫开发经验；
3、熟练使用 Scrapy、BeautifulSoup、Selenium、Requests、Playwright、DrissionPage 等爬虫框架和工具；
4、熟悉 HTML、CSS、JavaScript，能够分析和提取网页数据；
5、熟悉常见的反爬机制及应对策略，如验证码处理、动态加载、IP 封禁等；
6、熟悉数据库技术，如 MySQL、MongoDB、Redis 等，能进行数据存储和管理；
7、具有一定的 JS 逆向能力；
8、具有良好的编码习惯和文档编写能力，能够编写高质量的技术文档；
9、具有团队合作精神，良好的沟通能力和解决问题的能力；
具备大数据处理、机器学习等相关经验者优先。