岗位职责：
1、 数据管道开发： 设计、开发和维护高性能、高可靠性的批流一体数据ETL/ELT管道，将来自业务数据库、日志、API等多元异构数据源的数据整合到数据仓库/数据湖中。
2、数据建模与治理： 基于Kimball或Inmon等理论，设计并实施企业级数据仓库的维度模型或数据湖的通用数据模型。负责数据血缘、数据质量监控、元数据管理和数据标准的落地。
3、平台与工具建设： 参与大数据平台（如Hadoop、Spark、Flink生态）的选型、搭建、调优和运维。开发或优化数据开发、任务调度、数据服务等内部工具。
4、性能优化： 对海量数据进行存储和计算优化，解决数据倾斜、SQL性能瓶颈等问题，保障数据任务的SLA。
5、数据服务化： 将加工后的数据（如ADS层、数据集市）通过API、数据报告、数据可视化工具等形式，高效、安全地提供给下游业务、分析师和算法团队使用。
岗位要求：
必备技能：
编程语言： 精通 SQL，熟练掌握 Python 或 Java/Scala 至少一种。
大数据技术栈： 深入理解并拥有 Hive, Spark, Flink, Hadoop 等至少一项核心框架的实战开发经验。
数据仓库理论： 熟悉数据仓库分层设计（ODS/DWD/DWS/ADS）、维度建模、缓慢变化维等核心概念。
数据库： 熟悉主流OLTP（如MySQL）和OLAP（如ClickHouse, Doris, StarRocks）数据库的使用和优化。
算法工程师