etl数据开发工程师  
  7000-12000元
广州 本科
宝地广场
核心职责:
负责日均百亿级车辆实时数据流的处理,使用 Java 和 Flink SQL 进行实时清洗、聚合及风控判断,并将结果输出至 StarRocks、Redis 等引擎。
构建和维护车联网离线数据仓库,使用 Spark、Hive SQL 及 Hadoop 生态工具进行大规模数据 ETL 开发、性能调优与分层设计。
开发高性能数据查询接口,整合 MySQL、Redis、StarRocks 等多数据源,为业务系统提供数据服务。
设计并优化 Kafka 数据流转架构,保障数据管道稳定性,持续监控和优化数据链路性能。
职位要求:
【必备条件】
计算机相关专业本科及以上学历,5年以上大数据开发经验。
精通 Java、Flink(包括 API 与 SQL)、Spark、Hive SQL,熟悉 Hadoop 生态及相关组件。
熟练使用 MySQL、Redis、Kafka,具备 SQL 性能调优及解决数据倾斜等问题的能力。
有日均百亿级数据量的处理经验,具备车联网、物联网或类似高并发场景项目背景者优先。
【优先考虑】
熟悉 Iceberg、Paimon、Doris、StarRocks 等并有优化经验。
了解 Lambda 或 Kappa 架构,有实际项目落地经验。
有大数据任务调度系统(如 DolphinScheduler、Airflow)经验者优先。
具备前端基础,可独立完成简单数据报表开发。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕