职位详情
JAVA开发工程师(数据中台)
1.2-1.6万
贵州电子商务云运营
贵阳
5-10年
本科
06-09
工作地址

贵州电商云

职位描述

岗位职责:

1. 负责公司数据产品的系统分析与设计工作,承担核心功能代码编写,开发与维护系统公用核心模块;

2. 参与公司平台实时计算引擎(Flink/Spark)系统的架构设计及开发工作,能独立完成功能模块设计及研发工作;负责Flink/Spark引擎及平台的完善和优化,从稳定性、性能和功能等多方面进行架构设计和实现;

3. 开发数据中台核心工具链(如数据集成、数据开发、数据服务化API等),提升数据开发与交付效率。

4. 与业务部门协作,理解数据需求,提供标准化数据服务与解决方案,支持数据分析、BI、AI等场景。

5. 优化数据中台架构性能,解决高并发、海量数据场景下的技术难题,保障系统稳定性和数据时效性。

6. 跟踪大数据领域前沿技术(如实时计算、湖仓一体、DataOps等),推动技术落地与创新。

任职要求:

1. 本科以上(含)学历,5年以上开发经验;除Java外有Python、Scala语言开发经验的优先考虑;

2. 具备数据平台研发经验,具备优秀的系统架构设计能力;掌握数据管道、元数据管理、数据质量等功能设计;熟悉Lambda/Kappa/湖仓一体等大数据架构;

3. 熟练掌握Spark/Flink引擎工作原理,熟悉其源码及其任务运行流程,熟悉或了解过Apach Beam;

4. 熟练掌握Flink/Spark数据开发流程和编程模型,具备实时计算任务优化经验;

5. 熟悉Hadoop生态体系(HDFS/YARN/Hive/HBase等),熟悉Dolphinscheduler的基本使用;

6. 熟悉或使用过至少一种MPP数据库(如Doris、Clickhouse等);

7. 具备良好的沟通和团队协作、逻辑思维能力、业务理解能力和业务抽象能力,做事主动积极,有技术热情和激情面对挑战。

加分项:

(1)有开源项目贡献经验(如Apache项目)。

(2)熟悉数据仓库建模及ETL开发,了解Doris、StarRocks等OLAP引擎。

(3)有团队管理经验或复杂项目推进能力。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请