职位详情
数据开发工程师
1.5-1.9万
郑州海奥软件科技有限公司
上海
5-10年
本科
01-13
工作地址

漕河泾

职位描述
主要职责
(一)数据平台架构与运维
a) 参与数据平台架构设计与搭建,运用 Flink、Flink CDC、Doris 等技术实现平台高性能部署
b) 负责平台日常运维,优化数据处理流程,保障 7×24 小时数据服务可用性
c) 主导大数据技术栈(Hadoop/Spark 生态)与 MPP 数据库的集成方案设计
(二)数仓体系建设
d) 基于 Inmon/CIF 理论设计数仓分层架构(ODS/DWD/DWS/ADS),制定数据流向规范
e) 运用星型 / 雪花模型完成维度建模,处理缓慢变化维、事实表粒度设计等复杂场景
f) 主导 ETL 全流程开发,优化数据清洗、转换规则,实现跨系统数据标准化整合
(三)数据处理与价值挖掘
g) 编写复杂 SQL 脚本完成 PB 级数据清洗、聚合与多维分析,支撑业务决策报表
h) 设计实时数据链路(Kafka+Flink),实现业务指标秒级更新与异常预警
i) 基于 Doris/StarRocks 构建高速查询引擎,优化查询响应时间至毫秒级
(四)数据治理与质量管控
j) 建立数据质量监控体系,制定完整性 / 一致性 / 及时性等评估指标
k) 主导数据安全策略落地,实现敏感数据脱敏、访问权限细粒度管控
l) 编写数据字典与血缘关系文档,推动数据资产可视化管理
m)
4.
任职要求
(一)教育背景
• 计算机科学、数据科学等相关专业本科及以上学历
• 985/211 院校或海外知名高校毕业优先
(二)核心经验
• 5 年以上数据开发经验,3 年以上数仓建设主导经验
• 具备电商 / 金融 / 互联网等行业大型数仓项目落地案例
• 主导过 100 + 维度表、50 + 事实表的模型设计与优化
(三)技术技能
技能模块
具体要求
编程语言
精通 Python/Java/Scala 其中 2 门,具备分布式程序调优能力
SQL 能力
掌握窗口函数 / CTE / 执行计划分析,能优化百万级 QPS 查询
数仓建模
熟悉维度建模、三范式设计,能处理星座模型等复杂场景
实时计算
精通 Flink 流处理 API,实现端到端 Exactly-Once 语义
MPP 数据库
掌握 Doris/StarRocks 向量化执行原理,能调优高并发查询
数据治理
熟悉 DCAM 数据治理框架,有元数据管理平台搭建经验
(四)软技能
• 具备业务抽象能力,能将复杂业务场景转化为数据模型
• 拥有跨部门协作经验,主导过数据中台与业务系统对接项目
• 具备技术培训能力,能带领团队完成技术攻坚与知识沉淀
• 持有 CDA/CDP 等数据领域认证者优先

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请