职位描述
岗位职责
1、核心数据架构与开发: 负责设计、构建和优化公司级的高可用、高扩展性实时与离线数据处理平台,承接并处理所有核心业务后端服务产生的数据;
2、数据服务与中台建设: 主导数据中台底层能力建设,开发高性能、易用的数据服务与API,将数据能力产品化,赋能给业务团队、前端应用及其他后端微服务;
3、数据仓库/数据湖规划: 主导或深度参与数据仓库的模型设计、分层优化和数据治理;探索并应用数据湖等新一代架构,提升数据管理的效率与灵活性;
4、系统深度集成与调优: 负责将大数据组件(如Flink, Kafka, Spark, ClickHouse等)与现有后端微服务生态深度整合,解决从数据采集、处理到服务化全链路的技术挑战;
5、技术规划与攻关: 定位和攻克海量数据场景下的核心技术难题,如数据一致性、低延迟高吞吐计算、资源调度优化等,并对未来技术架构进行规划;
6、公司及上级安排的其他工作事宜。
任职资格
1、本科以上学历,计算机软件或相关专业,3年以上软件和大数据开发经验;
2、精通 Java 或 Scala,对JVM、并发编程、网络通信有深刻理解;
3、熟练掌握 Spring Boot / Spring Cloud 等微服务框架,具备分布式系统设计和调试能力。;
4、精通关系型数据库(如 MySQL)和至少一种NoSQL数据库(如 Redis, MongoDB)。
5、对 Spark 或 Flink 有深入的了解和应用经验,理解其内部机制(如内存管理、任务调度),并具备性能调优能力;
6、拥有基于 Flink 或 Spark Streaming 构建实时数据管道的完整项目经验; 熟悉 Hadoop 生态核心组件(如 HDFS, YARN)的工作原理
7、精通 Kafka 的原理、使用和运维,具备集群管理经验者优先。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕