岗位职责：
1、数据采集与处理
1.1设计并开发高效稳定的网络爬虫系统，完成多电商平台数据抓取任务；
1.2对采集到的原始数据进行清洗、去重、结构化处理，确保数据质量符合业务需求；
1.3优化数据存储方案，将处理后的数据高效入库至MySQL、MongoDB、Redis等数据库。
2、反爬策略与突破
2.1分析目标网站的反爬机制，制定针对性突破方案；
2.2运用机器学习、深度学习技术（如模拟用户行为）提升反爬能化水平；
2.3持续跟踪平台反爬策略更新，动态调整爬虫逻辑以保障数据采集稳定性。
3、系统架构与性能优化
3.1参与分布式爬虫架构设计，合理分配任务调度，提升系统扩展性与并发处理能力；
3.2监控爬虫运行状态，优化网络请求策略、资源利用率等关键指标，解决性能瓶颈问题；
3.3编写技术文档，包括系统设计、反爬策略、数据处理流程等，为团队提供技术支撑。
4、技术协作与支持
4.1与产品、业务团队紧密协作，确保爬虫系统与业务需求无缝对接；
4.2为团队提供技术指导，分享反爬经验与工具链，推动整体技术能力提升。
任职要求：
1、学历与经验
1.1本科及以上学历，计算机科学、软件工程等相关专业优先；
1.2三年以上爬虫开发经验，熟悉大规模数据采集项目全流程。
2、技术能力
2.1编程语言：精通 Python ，熟悉 Node.js 、Java 等至少一门后端语言；
2.2爬虫框架：具备框架定制能力；
2.3反爬技术：掌握 IP 代理池、验证码破解、JS逆向分析、逆向抓取等技术；
2.4数据处理：熟悉 Pandas、NumPy 等库，具备TB级数据清洗、去重、分类经验；
2.5数据库：精通 MySQL、MongoDB等数据库操作与优化，能设计高效数据存储方案。
3、软技能
3.1具备良好的逻辑思维能力与问题解决能力，能独立分析并解决复杂技术问题；
3.2拥有强烈的团队合作精神，善于沟通协作，能适应快节奏的项目开发节奏；
3.3对新技术保持好奇心，持续学习反爬策略与数据采集领域的前沿技术。【工作时间】8：30-12：00；13：30-18：00， 周末单双休；
【员工餐】中餐5荤3素1汤（伙食费150元/月），如需加班公司提供免费晚餐，早餐自理；
【员工宿舍】免费入住2人间，水电费均摊，配有卫生间、wifi、洗衣机、热水器、空调、厨房；
【福利】：五险、全勤奖、工龄工资、13薪、带薪年假、生日会、集体旅游、户外运动、下午茶、外住房补、节日礼品等。