1.2-1.8万
贵州电商云
岗位职责:
1. 负责公司数据产品的系统分析与设计工作,承担核心功能代码编写,开发与维护系统公用核心模块;
2. 参与公司平台实时计算引擎(Flink/Spark)系统的架构设计及开发工作,能独立完成功能模块设计及研发工作;负责Flink/Spark引擎及平台的完善和优化,从稳定性、性能和功能等多方面进行架构设计和实现;
3. 开发数据中台核心工具链(如数据集成、数据开发、数据服务化API等),提升数据开发与交付效率。
4. 与业务部门协作,理解数据需求,提供标准化数据服务与解决方案,支持数据分析、BI、AI等场景。
5. 优化数据中台架构性能,解决高并发、海量数据场景下的技术难题,保障系统稳定性和数据时效性。
6. 跟踪大数据领域前沿技术(如实时计算、湖仓一体、DataOps等),推动技术落地与创新。
任职要求:
1. 本科以上(含)学历,5年以上开发经验;除Java外有Python、Scala语言开发经验的优先考虑;
2. 具备数据平台研发经验,具备优秀的系统架构设计能力;掌握数据管道、元数据管理、数据质量等功能设计;熟悉Lambda/Kappa/湖仓一体等大数据架构;
3. 熟练掌握Spark/Flink引擎工作原理,熟悉其源码及其任务运行流程,熟悉或了解过Apach Beam;
4. 熟练掌握Flink/Spark数据开发流程和编程模型,具备实时计算任务优化经验;
5. 熟悉Hadoop生态体系(HDFS/YARN/Hive/HBase等),熟悉Dolphinscheduler的基本使用;
6. 熟悉或使用过至少一种MPP数据库(如Doris、Clickhouse等);
7. 具备良好的沟通和团队协作、逻辑思维能力、业务理解能力和业务抽象能力,做事主动积极,有技术热情和激情面对挑战。
加分项:
(1)有开源项目贡献经验(如Apache项目)。
(2)熟悉数据仓库建模及ETL开发,了解Doris、StarRocks等OLAP引擎。
(3)有团队管理经验或复杂项目推进能力。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕