岗位职责​

ETL 架构设计与优化：负责搭建高可用、高性能的 ETL 数据处理 pipeline，主导数据抽取、清洗、转换及加载全流程设计，针对海量异构数据源（如日志、业务数据库、第三方 API 等）制定标准化处理方案，持续优化数据处理效率与准确性，解决数据一致性、冗余及延迟等核心问题。​

数据建模与数仓建设：基于业务场景构建企业级数据模型（含概念模型、逻辑模型、物理模型），设计分层数据架构（ODS、DWD、DWS、ADS），制定数据字典与元数据管理规范，支撑业务指标体系落地，确保数据资产的可复用性与扩展性，提升数仓对复杂业务分析的响应能力。​

数仓分析与指标体系搭建：深度理解业务需求，将业务问题转化为数据指标，通过多维度分析挖掘数据价值，构建动态更新的业务分析模型，为运营决策、产品优化提供数据支持，推动数据驱动的业务迭代。​

实时计算平台构建：负责实时数据处理框架（如 Flink、Spark Streaming）的选型与部署，设计低延迟的数据处理链路，支撑实时监控、实时推荐、实时风控等场景，解决流批数据一致性、状态管理、资源调度等技术难题。​

任职要求​

学历与工作经验：本科及以上学历，计算机、大数据、统计学等相关专业，5 年以上大数据开发经验，至少 3 年以上大规模数据仓库或实时计算平台搭建经验。​

ETL 与数据处理能力：精通 ETL 工具（如 DataX、Sqoop、Flume）及自定义 ETL 脚本开发，熟悉各类数据源（MySQL、Oracle、MongoDB、HBase
等）的抽取与转换逻辑，具备复杂数据清洗与质量监控经验。​

数据建模与数仓技能：掌握星型模型、雪花模型等建模方法，熟悉数据分层设计原则，熟练使用
Hive、Spark SQL 等工具进行数据开发。​

实时计算技术储备：理解 Flink/Spark Streaming 的核心原理，熟悉 Checkpoint、State 管理等机制，具备高并发、低延迟实时数据处理系统的开发与调优经验，熟悉 Kafka 等消息中间件的使用。​

推荐系统经验优先：有推荐系统算法工程化经验者优先，熟悉特征工程、模型训练与部署流程，了解协同过滤、深度学习推荐模型等算法原理优先。​

综合能力要求：具备良好的逻辑思维能力与问题解决能力，拥有较强的沟通协作能力，和团队协作精神，能够与不同部门的人员有效沟通和合作，有较强的责任心和工作主动性，能够承担工作压力，按时完成项目任务。