岗位职责：

-- 设计、开发和维护高效稳定的爬虫系统，负责爬取日本汽车拍卖相关数据，并确保数据的准确性和完整性。

-- 负责应对各种反爬机制和IP代理限制，确保爬虫系统的持续稳定运行。

-- 设计并维护良好的数据库结构，确保数据存储和检索的高效性和可靠性。

-- 管理多个网站的爬虫任务，包括任务调度、优先级管理和异常处理等。

-- 负责项目的工程化，包括代码规范、文档管理、模块化设计等方面。

-- 与团队协作，使用Git进行版本控制和代码管理，使用Jira进行任务管理和跟踪。

-- 实现项目的持续集成和持续部署（CI/CD），确保代码质量和系统稳定性。

-- 不断优化和改进爬虫系统，提高效率和可扩展性，同时关注和采用最新的爬虫技术和工具。

岗位要求：

-- 统招本科及以上学历，计算机相关专业优先。

-- 3年以上爬虫开发经验，有大规模爬虫系统设计和实现经验者优先。

-- 精通Python等编程语言，熟悉Scrapy、BeautifulSoup等爬虫框架。

-- 熟练掌握Crawlab或类似爬虫任务管理框架。

-- 熟练掌握面向对象编程理念，熟练使用ORM模型例如SQLAlchemy。

-- 深入了解反爬机制和IP代理技术，具有应对各种反爬挑战的经验。

-- 具备良好的数据库结构设计和SQL优化能力，熟悉MySQL、MongoDB等数据库。

-- 具备项目工程化和CI/CD实施经验，能够设计和搭建自动化测试和部署流程。

-- 必须熟悉并了解数据库迁移管理。

-- 熟练使用Git进行版本控制和团队协作，熟悉Jira等项目管理工具。

-- 具备较强的团队合作和沟通能力，能够有效管理多个爬虫任务和项目进度。

-- 对工作细心负责，对代码有责任心，认可爬虫项目除数据采集外还有数据治理。对细节把控力强，单词的拼写都有很高准确率。

-- 为人谦虚好学，在业务能力上有不断精进的精神。

-- 对日本汽车行业有一定了解者优先，对爬虫技术和工具有持续学习和探索的热情。