岗位职责：
1.参与设计和开发高效、稳定的网络爬虫系统，从各种网站和平台抓取数据。
2.使用 Java 和 Python 编写和维护爬虫脚本，处理反爬虫机制，确保数据抓取的准确性和效率。
3.采用包括AI大模型在内的多种方式对抓取的数据进行清洗、整理和存储，并进行初步的分析和处理。
4.与团队成员合作，解决爬虫开发过程中遇到的技术难题。
5.关注爬虫技术的最新发展，并积极学习和应用新技术。
任职要求：
1.2-3年爬虫相关工作经验，计算机科学、软件工程或相关专业专科及以上学历。
2.熟练掌握 Java 和 Python 编程语言，具备良好的代码风格和文档习惯。
3.熟悉常用的爬虫框架和库，例如 Scrapy、Selenium 等。
4.了解 HTTP协议、HTML、CSS、JavaScript 等前端技术，能够分析网页结构并提取所需数据。
5.熟悉常见的反爬机制，并能够使用相应的策略进行应对。
6.熟悉使用 MySQL、Elasticsearch，了解 Linux 操作系统和常用命令。
7.具备良好的问题分析和解决能力、良好的沟通能力和团队合作精神，能够独立完成爬虫任务，能够与团队成员有效协作。
8.工作踏实、认真、负责，执行力强，能够在快节奏和高压力环境下保持高效工作，确保项目按时交付。
9.有分布式爬虫、数据清洗、数据分析等相关经验者优先。
10.有AI大模型数据清洗经验者优先。