岗位职责：
一、ETL流程设计与开发
根据业务需求设计数据抽取规则，从多源系统（如MySQL、Oracle、Hive等数据库，或API、日志文件）提取原始数据，通过清洗（去重、补全异常值）、转换（格式统一、业务逻辑计算）后加载至数据仓库或目标平台。
熟练使用ETL工具（或编程语言（Python、Shell）实现自动化脚本开发，支持离线批处理与实时数据流（如Flink/Spark Streaming）场景。
数据仓库与模型维护
参与数据仓库层级架构设计（如ODS、DWD、DWS层），定义数据血缘关系，确保数据流向清晰可追溯。
负责日常ETL作业调度与监控，配置定时任务，及时处理任务失败、数据延迟等异常。
性能优化与故障处理
分析ETL作业瓶颈，通过SQL优化、索引调整、任务并行化等方式提升数据处理效率（如减少跑批时间、降低资源占用）。
排查数据质量问题（如数据不一致、缺失），设计数据校验规则，参与数据治理（如元数据管理、数据标准制定）。
二、需求对接与数据支持
与业务部门沟通，理解数据需求，将业务逻辑转化为ETL技术方案。
为前端数据可视化（如BI工具）或数据分析团队提供干净、合规的数据集，支持业务决策。
跨团队协作与文档输出
协作完成数据平台搭建，与团队同步数据源变更（如接口调整、字段新增）。
编写ETL设计文档、测试报告、用户手册，沉淀技术方案与最佳实践，辅助团队新人培训。
任职要求：
1、本科及以上学历，计算机科学、软件工程、数学、统计学等相关专业优先；
2、精通至少一种主流关系型数据库（如Oracle、MySQL、PostgreSQL），熟悉SQL编写与优化，能独立设计数据查询、存储过程及触发器；了解NoSQL数据库（如MongoDB、Cassandra）者优先。
3、熟练掌握至少一种ETL工具（如Informatica PowerCenter、Talend、Kettle、DataStage），或具备Python、Java、Scala等编程语言开发经验，能编写自动化脚本处理数据流程。
4、3-5年以上经验，能独立完成相关数据处理工作，有相关高校业务场景数据处理工作经验优先；