职位描述
【岗位职责】
1、基于业务需求进行相关模块的后端接口开发及代码优化;
2、配合前端进行接口对接与调试;相关接口文档的规范编写;其它的一些独立的后端任务开发等;
3、设计并实现高效、稳定、可扩展的爬虫系统,确保数据的实时性与完整性;
4、深入研究各类反爬机制,开发绕过验证码、限流、IP封禁等策略,提升爬虫成功率 ;
5、实现代理池、动态 UA、Cookies 管理、Session 维持等反爬解决方案 ;
6、提升爬虫性能,优化爬取速度、数据存储结构及请求并发模型;与数据分析、产品团队合作,理解数据需求并提供高质量数据支持。
【任职要求】
1、本科以上学历,计算机、软件相关专业,三年以上相关经验;
2、熟练掌握vibe coding,能熟练使用cloude code以及其他各种AI工具进行设计、写代码等,协助加快工作效率,提升工作质量;
3、熟练掌握Python Web框架:Django、Flask、FastAPI等;
4、熟悉API接口开发以及Restful相关协议;
5、熟练使用Python技术栈:Scrapy、Playwright、Selenium、Httpx、Requests 等爬虫框架与库;
6、熟悉反爬策略,包括但不限于代理池、IP轮换、验证码识别、动态加载页面解析、JavaScript 渲染页面抓取等;
7、有丰富的绕过网页限制经验,掌握如浏览器指纹、Cookies 仿真、Session 维持、前端加密破解等技术;
8、熟悉异步编程、多进程、分布式爬虫架构,具备大规模数据爬取与存储经验。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕