职位描述
岗位职责:
1、负责设计和开发高效的数据爬虫系统,实现多源数据的自动化采集、清洗和存储;
2、优化爬虫性能,确保数据采集的准确性和实时性,规避反爬机制;
3、参与多平台信息的抓取和分析;
4、设计爬虫反屏蔽规则,提升网页抓取的效率和质量;
5、负责大规模爬虫系统的核心技术研究和开发;
6、参与“找家纺”商城平台的功能开发与维护,包括前后端交互(vue、react)、接口设计及数据库优化;
7、协助完成商城业务逻辑的设计与实现,提升用户体验和系统稳定性;
8、负责数据采集爬虫项目的开发与维护,优化爬取性能及采集策略;
职位要求:
1、计算机科学与技术、软件工程等相关专业本科及以上学历;
2、3年以上python爬虫开发经验,有电商平台爬取经验者优先;
3、熟悉 web/app 常见的反爬机制,精通各种反爬破解,包括但不限于:Js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能
4、熟练掌握 python编开发语言,熟悉requests/scrapy 等爬虫组件或框架,熟悉多线程编程
5、熟悉使用vue/react前端框架(作为第二语言)具备良好的前端开发能力;
6、优秀的逻辑思维能力和问题解决能力,良好的团队合作精神和沟通能力,能够快速适应变化的工作环境;
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕