岗位职责：
1. 负责大数据平台开发，维护和优化，保障数据管道稳定高效运行。
2. 设计并开发数据ETL流程，处理海量数据，支持数据仓库建设，针对AI模型训练需求，优化ETL流程，增加数据标注、清洗、增广等AI预处理环节，提升数据对模型训练的适配性。
3. 参与实时计算系统开发，满足业务实时数据分析需求，协调大数据存储与AI算力资源的协同分配。
4. 与业务部门协作，理解数据需求，提供数据建模、清洗、聚合等解决方案，基于业务目标设计“数据+算力+AI”联合解决方案。
任职要求 ：
1. 编程基础：熟练使用Java/Scala/Python/SQL至少一种，熟悉算法与数据结构。
2. 大数据生态：精通Hadoop、Spark、Hive、HBase、Flink等框架，理解其底层原理；熟悉分布式计算、存储原理，掌握分布式算力与存储的协同优化方法。
3.数据仓库：熟悉维度建模、有数仓分层设计经验，具备为AI场景设计专用数据集市的能力。
4.AI与算力基础：了解大模型的训练与推理流程，熟悉AI任务对算力的核心需求；掌握至少一种AI算力优化技术（如模型量化、稀疏化、计算图剪枝），能结合大数据处理流程降低模型计算复杂度。