职位详情
爬虫开发工程师(Java / 分布式方向)
1.2-1.6万
中科闻歌
长沙
3-5年
本科
10-01
工作地址

绿地V岛B区绿地v岛B区9栋6楼

职位描述
##岗位职责:
1.负责公司采集平台(数据采集/调度/管理等模块)的需求分析、架构设计、功能开发与持续维护优化。
2.负责部分 Java 采集/爬取相关程序的设计、开发、性能调优与问题排查。
3.参与分布式服务的设计与部署,提升系统的稳定性、扩展性与高可用能力,。
4.优化采集链路的调度策略、任务容错、队列管理、数据清洗与异常监控。
5.编写并维护高质量的技术文档、接口说明、设计文档与运维手册。
##任职要求:
1.本科及以上学历,计算机相关专业,3 年及以上 Java 后端开发经验。
2.熟悉分布式系统的设计与开发,具备服务拆分、注册发现、配置管理、负载均衡等实践经验,。
3.熟练掌握 Spring Boot/Spring Cloud 生态,熟悉 Nacos(配置中心/注册中心)等常用组件。
4.具备爬虫或调度类系统(任务调度、分布式执行、去重、限速、重试、监控)实际项目经验。
5.有完整的爬虫系统开发经验(如采集框架选型、反爬策略、代理池、抓取效率优化、数据清洗与存储)。
6.熟悉常用中间件(如 Redis、Kafka、RabbitMQ、Elasticsearch、MySQL 等),能进行性能调优与问题定位。
7.具备良好的代码规范、单元测试意识与性能监控、日志排障经验。
8.思路清晰,责任心强,具备良好的沟通协作能力与自驱力。
9.能够使用AI辅助编码,,了解常用的如Cursor等IDE工具。
## 加分项
1.熟练掌握 Python 开发,能编写高质量的 Python 爬虫/调度脚本或辅助工具。
2.了解常见爬虫框架(Scrapy、Playwright、Selenium、Colly 等)或分布式爬虫架构实践。
3.有大规模任务调度平台(如 Airfow、XXL-JOB、Flink、Kettle 等)二次开发或深度使用经验。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请