1、实时数据处理：

（1） 使用 Java 编写 Flink 数据处理逻辑，熟练运用 Flink SQL 进行流式数据开发。

（2） 负责处理日均百亿级别的车辆实时数据流（如车辆状态、轨迹、告警等），进行实时清洗、聚合、风控判断。

（3） 将实时计算结果输出到 StarRocks、Redis 等查询引擎和缓存中，保障低延迟数据服务。

2、离线数据仓库：

（1） 使用 Spark 及 Hive SQL 构建和维护车联网离线数据仓库。

（2） 基 Hadoop 生态（包括 Tez 和 MapReduce 引擎）进行大规模数据的ETL开发与性能调优。

（3） 了解presto、impala、hive、yarn等hadoop相关组件

（4） 负责主题域模型设计、数据分层（ODS/DWD/DWS/ADS），支撑复杂的离线指标分析需求。

（5） 有熟练使用调度工具的经验，熟悉各类抽数工具：sqoop、kettle、datax或者其他

3、 数据服务与接口开发：

（1） 使用 Java 开发高性能、高可用的数据查询接口，为前端应用、业务系统提供数据服务。

（2） 整合 MySQL（元数据/业务数据）、Redis（高速缓存）、StarRocks（OLAP查询）等多种数据源，优化查询性能。

4、技术架构与优化：

（1） 负责 Kafka 集群的数据流转架构设计，确保数据管道的稳定性和吞吐量。

（2） 持续监控和优化整个数据链路的性能，解决生产环境中的技术难题。

【必备条件】

1、经验与技能：

（1） 计算机相关专业本科及以上学历，5年以上大数据开发经验。

（2） 精通 Java 语言，具备良好的编程规范和工程化能力，能够编写高质量、高性能的代码。

（3） 精通 Flink 实时计算框架，具有使用 Java API（非仅SQL）进行复杂业务开发的经验，同时熟练掌握 Flink SQL。

（4） 精通 Spark 和 Hive SQL，有基于 Hadoop（YARN）生态进行大规模离线数据处理的实战经验，了解 Tez 和 MapReduce 引擎原理。

（5） 熟练使用 MySQL、Redis，理解其核心原理与应用场景。

（6） 熟练使用 Kafka，理解其架构、吞吐量与可靠性保障机制。

（7） 具备优秀的 SQL 性能调优能力，能够解决数据倾斜等复杂问题。

2、 项目经验：

（1） 有处理日均 百亿级别 数据量的成功项目经验，具备海量数据下的系统架构设计和性能优化能力。

（2） 具备车联网、物联网或类似高并发、大数据量业务场景的项目背景者优先。

【优先考虑】

3.1 对 iceberg, paimon, doris, starrocks有实际使用和性能优化经验者优先。

3.2 理解 Lambda 或 Kappa 架构，并有实际项目落地经验者优先。

3.3 有大数据平台任务调度系统（如 DolphinScheduler, Airflow）开发或管理经验者优先。

3.4 具备一定的前端知识，能够独立完成简单数据报表开发者优先。