ETL开发工程师
一、核心职责：
1、实时数据处理：
（1）使用 Java 编写 Flink 数据处理逻辑，熟练运用 Flink SQL 进行流式数据开发。
（2）负责处理日均百亿级别的车辆实时数据流（如车辆状态、轨迹、告警等），进行实时清洗、聚合、风控判断。
（3）将实时计算结果输出到 StarRocks、Redis 等查询引擎和缓存中，保障低延迟数据服务。
2、离线数据仓库：
（1）使用 Spark 及 Hive SQL 构建和维护车联网离线数据仓库。
（2）基 Hadoop 生态（包括 Tez 和 MapReduce 引擎）进行大规模数据的ETL开发与性能调优。
（3）了解presto、impala、hive、yarn等hadoop相关组件
（4）负责主题域模型设计、数据分层（ODS/DWD/DWS/ADS），支撑复杂的离线指标分析需求。
（5）有熟练使用调度工具的经验，熟悉各类抽数工具：sqoop、kettle、datax或者其他
3、数据服务与接口开发：
（1）使用 Java 开发高性能、高可用的数据查询接口，为前端应用、业务系统提供数据服务。
（2）整合 MySQL（元数据/业务数据）、Redis（高速缓存）、StarRocks（OLAP查询）等多种数据源，优化查询性能。
4、技术架构与优化：
（1）负责 Kafka 集群的数据流转架构设计，确保数据管道的稳定性和吞吐量。
（2）持续监控和优化整个数据链路的性能，解决生产环境中的技术难题。
二、职位要求
【必备条件】
1、经验与技能：
（1）计算机相关专业本科及以上学历，5年以上大数据开发经验。
（2）精通 Java 语言，具备良好的编程规范和工程化能力，能够编写高质量、高性能的代码。
（3）精通 Flink 实时计算框架，具有使用 Java API（非仅SQL）进行复杂业务开发的经验，同时熟练掌握 Flink SQL。
（4）精通 Spark 和 Hive SQL，有基于 Hadoop（YARN）生态进行大规模离线数据处理的实战经验，了解 Tez 和 MapReduce 引擎原理。
（5）熟练使用 MySQL、Redis，理解其核心原理与应用场景。
（6）熟练使用 Kafka，理解其架构、吞吐量与可靠性保障机制。
（7）具备优秀的 SQL 性能调优能力，能够解决数据倾斜等复杂问题。
2、项目经验：
（1）有处理日均 百亿级别 数据量的成功项目经验，具备海量数据下的系统架构设计和性能优化能力。
（2）具备车联网、物联网或类似高并发、大数据量业务场景的项目背景者优先。
【优先考虑】
3.1 对 iceberg, paimon, doris, starrocks有实际使用和性能优化经验者优先。
3.2 理解 Lambda 或 Kappa 架构，并有实际项目落地经验者优先。
3.3 有大数据平台任务调度系统（如 DolphinScheduler, Airflow）开发或管理经验者优先。
3.4 具备一定的前端知识，能够独立完成简单数据报表开发者优先。