职位描述
岗位职责:
1、基于业务需求与数据标准完成ODS/DWD/DWS/ADS分层与数据模型设计。
2、编写批处理与流处理作业(Spark/Flink/Hive SQL),实现清洗、聚合与指标计算。
3、构建可测试的数据开发流程,完善单元/集成测试与回归验证。
4、建立任务调度、监控与告警,持续优化性能与资源占用。
5、维护数据血缘、口径说明与数据字典,为上游与下游提供清晰接口。
6、参与评审、发布与变更管理,编写技术文档与Runbook。
技能要求:
1、精通SQL与数据建模,熟悉星型/雪花模型与宽表设计。
2、熟练掌握Spark、Flink、Hive,理解批流一体与状态一致性。
3、了解ClickHouse/Presto/Trino等交互式查询引擎的应用场景。
4、掌握数据质量、测试与指标度量的方法论与工具链。
5、熟悉调度编排(Airflow/DolphinScheduler)与版本管理(Git)。
6、具备良好的代码规范与性能优化实践,能编写高质量ETL/ELT。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕