职位描述
1.大数据 ETL 开发与维护
(1)负责数据中台的 ETL 流程设计、开发、调度与优化,包括数据抽取(从业务库、日志、第三方接口等数据源获取数据)、清洗(处理脏数据、缺失值、重复值)、转换(格式转换、关联计算、聚合等)、加载(写入数据仓库、数据湖等目标存储)。
(2)设计 ETL 调度策略,监控任务运行状态,解决数据延迟、任务失败等问题,保障数据链路的稳定性与高效性。
2.数据仓库(数仓)建设与管理
(1)基于业务需求和数据中台架构,设计数仓分层模型(如 ODS、DWD、DWS、ADS 层),定义数据实体、维度、指标及关系,确保数据模型的规范性、可扩展性。
(2)负责数仓表结构设计、索引优化、存储策略制定,提升数据查询与计算效率,支撑业务分析和数据应用。
3.数据治理实施
(1)参与数据中台的数据治理体系建设,包括数据标准(定义核心数据资产的命名、格式、含义)、数据质量(设计质量规则,监控数据完整性、准确性、一致性,推动问题整改)、数据安全(敏感数据脱敏、访问权限控制)、元数据管理(梳理数据血缘、资产目录,提升数据可理解性)。
(2)制定数据治理流程规范,协调业务与技术团队落地执行,持续优化数据资产质量。
4.数据标签体系与用户画像构建
(1)基于业务场景(如用户运营、精准营销)设计数据标签体系,包括标签层级(基础标签、衍生标签、预测标签)、计算逻辑(如用户活跃度、消费能力标签),并开发标签计算脚本。
(2)维护标签数据的更新机制,确保标签时效性,支撑用户画像、分群分析等数据应用。
5.数据指标体系搭建与监控
(1)参与业务指标体系(如核心业务 KPI、运营指标、监控指标)的设计与定义,将指标拆解为可计算的原子指标、派生指标,形成标准化指标库。
(2)开发指标计算模型,通过数据中台工具实现指标的自动化计算、实时 / 离线更新,并对接数据看板,支撑业务监控与决策。
任职要求:
1.本科及以上学历,计算机、大数据、统计学等相关专业优先;
2.熟练掌握 Hadoop、Spark、Flink 等大数据计算框架,Hive、HBase、ClickHouse、MySQL 等数据存储技术,能独立开发 ETL 任务;
3.精通 SQL,熟悉 Python/Scala/Java 等编程语言,具备复杂数据处理逻辑的编码能力;
4.了解数据仓库建模理论(如星型模型、雪花模型)、维度建模方法,有实际数仓建设经验;
5.熟悉数据治理工具(如元数据管理平台、数据质量监控工具)或相关方法论者优先;
6.具备数据中台或大型数据项目经验,能理解业务场景并将其转化为数据模型、指标或标签体系;
7.具备较强的问题分析与解决能力、跨团队沟通能力,有项目管理或复杂流程协调经验者优先。
加分项:
有用户标签体系、画像系统、指标平台搭建经验.
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕