岗位要求:
1、负责爬取电商平台、内容平台或者短视频方向的网站数据,分析链接,转码等;
2、负责研究和破解各种反爬机制，优化爬虫性能，保障爬虫的稳定性和速度;
3、负责实现数据提取、清洗、结构化、入库、统计分析等需求;
职位要求:
1、计算机、信息技术等相关专业，具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先;
2、三年以上开发经验，熟悉Linux平台,有大规模网页爬虫开发和分布式爬虫架构经验者经验优先;
3、熟悉 Python或Java，至少一种爬虫框架；
4、熟悉无头浏览器（Playwright / Puppeteer）
5、了解常用反爬方式，有实际应对措施和解决方案，包括并不限于p限制，指纹限制，数据加密，请求参数加密等:
6、有很强的分析解决问题能力;
7、强烈的责任心和良好的团队合作能力