职位详情
高级ETL开发工程师
1-1.5万
软通动力信息技术(集团)股份有限公司
广州
5-10年
本科
10-31
工作地址

宝地广场

职位描述

核心职责:

  1. 负责日均百亿级车辆实时数据流的处理,使用 Java 和 Flink SQL 进行实时清洗、聚合及风控判断,并将结果输出至 StarRocks、Redis 等引擎。

  2. 构建和维护车联网离线数据仓库,使用 Spark、Hive SQL 及 Hadoop 生态工具进行大规模数据 ETL 开发、性能调优与分层设计。

  3. 开发高性能数据查询接口,整合 MySQL、Redis、StarRocks 等多数据源,为业务系统提供数据服务。

  4. 设计并优化 Kafka 数据流转架构,保障数据管道稳定性,持续监控和优化数据链路性能。

职位要求:
【必备条件】

  1. 计算机相关专业本科及以上学历,5年以上大数据开发经验。

  2. 精通 Java、Flink(包括 API 与 SQL)、Spark、Hive SQL,熟悉 Hadoop 生态及相关组件。

  3. 熟练使用 MySQL、Redis、Kafka,具备 SQL 性能调优及解决数据倾斜等问题的能力。

  4. 有日均百亿级数据量的处理经验,具备车联网、物联网或类似高并发场景项目背景者优先。

【优先考虑】

  • 熟悉 Iceberg、Paimon、Doris、StarRocks 等并有优化经验。

  • 了解 Lambda 或 Kappa 架构,有实际项目落地经验。

  • 有大数据任务调度系统(如 DolphinScheduler、Airflow)经验者优先。

  • 具备前端基础,可独立完成简单数据报表开发。


以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请