岗位要求：

1. 负责爬虫系统的设计、开发、部署与优化，针对不同数据源（网页、APP接口、第三方平台等）制定合理的爬虫策略。

2. 解决反爬、高并发、数据抓取效率等问题；定期维护爬虫任务，确保数据抓取的稳定性、准确性和及时性。

3. 设计并实现高效、可靠的数据管道，完成数据的抓取、清洗、转换、存储、同步等全流程处理；

4. 优化数据处理链路，提升数据吞吐量和处理效率，保障数据质量，为业务系统和AI模型提供高质量的数据支撑。

5. 负责后端业务API的设计、开发、测试与上线，根据业务需求提供稳定、高效的接口服务；

6. 制定API接口规范，保障接口的安全性、可扩展性和兼容性，配合前端及其他业务模块完成接口联调。

7. 对接各类AI服务（如大模型、图像识别、自然语言处理等），完成AI服务与后端系统的集成开发；

8. 负责AI服务调用的适配、性能优化、异常处理，确保AI能力在业务场景中稳定落地应用。

9. 持续监控后端系统的运行状态，针对系统瓶颈（如数据库性能、接口响应速度、爬虫效率等）进行优化；

10. 负责线上系统故障的排查、定位与修复，保障系统稳定运行。

11. 撰写并维护技术设计文档、接口文档、开发手册等；

12. 沉淀开发经验和技术方案，参与团队技术分享，推动团队技术能力提升。

13. 配合团队协作与项目推进：参与需求评审、技术方案讨论，配合产品、前端、测试等团队完成项目研发任务；

14. 积极响应业务需求变更，保障项目按时按质交付。

岗位要求：

1. 本科及以上学历，计算机科学与技术、软件工程、信息工程等相关专业；优秀者可放宽至大专学历。

2. 3年及以上后端开发经验，至少1-2年爬虫系统、数据管道相关开发经验；

3. 有AI服务集成（如调用大模型API、部署私有化AI模型）相关经验者优先。

4. 精通至少一种后端开发语言（如Python、Java），同时熟悉Python与Java语言，熟悉主流开发框架（如Django、Flask、Spring Boot、Gin等）；

5. 熟悉爬虫技术栈，掌握requests、Scrapy、Selenium、Playwright等爬虫工具，了解常见反爬机制（如IP封禁、验证码、Cookie验证）及解决方案；

6. 熟悉数据处理相关技术，掌握ETL流程设计，了解Spark、Flink等大数据处理框架者优先；7)精通关系型数据库（如MySQL、PostgreSQL）和非关系型数据库（如MongoDB、Redis）的设计、优化与操作；

7. 了解RESTful API设计规范，具备API开发、接口鉴权、接口性能优化经验；

8. 具备良好的沟通能力、团队协作精神和责任心，能承受一定的工作压力。

9. 熟悉AI相关技术（如大模型应用、向量数据库），有AI+业务场景集成经验者优先；