一、岗位职责：
1.负责数据采集系统的设计、开发与维护，包括网页爬虫、API接口对接、日志采集等；
2.编写高效稳定的爬虫程序，解决反爬策略（如验证码、IP封禁、动态加密等）；
3.对采集的数据进行清洗、去重、结构化处理，确保数据质量和完整性；
4.优化数据采集流程，提升采集效率与系统性能；
5.研究新兴数据采集技术（如分布式爬虫、无头浏览器、模拟登录等）；
6.配合数据分析、算法团队提供高质量数据支持；
7.编写技术文档，维护数据采集规范及合规性。
二、任职要求：
1.三年以上数据采集或爬虫开发经验，有大规模数据采集项目经验者优先；
2.精通Python/Java等至少一门编程语言，熟悉Scrapy、BeautifulSoup、Selenium等数据采集框架；
3.熟悉HTTP/HTTPS协议、HTML/XML/JSON数据结构、XPath/正则表达式等；
4.掌握数据库技术（MySQL/PostgreSQL/MongoDB等），了解Redis等缓存工具；
5.熟悉反爬虫机制及应对策略（如代理IP池、请求头模拟、动态渲染等）；
6.了解分布式爬虫架构（如Scrapy-Redis、Celery）优先；
7.具备基本的数据清洗和ETL经验，熟悉Pandas/Numpy等工具优先。
三、福利待遇：
1、休假政策：实行周末双休，且节假日按国家法定休假；
2、五险：为每位员工入职就提供社会保险；
3、免费中餐：为每位员工提供营养搭配的免费午餐；
4、股权机制（虚拟股+实股）；
5、对赌协议机制、合伙人机制；
6、未来五年做跨境电商标杆企业。