岗位职责

1. 数据管道开发与优化

o 设计并维护高效稳定的数据ETL流程，实现多源数据（结构化/非结构化）的自动化采集、清洗与转换

o 优化数据加工逻辑（如字段映射、缺失值处理、性能调优），减少人工干预

o 管理数据全生命周期：从原始数据接入、分层存储到下游应用交付

2. 数据仓库与平台建设

o 构建和维护企业级数据仓库（如Hive/Redshift/BigQuery），设计分层数据模型（ODS/DWD/DWS）

o 开发数据服务API（Flask/FastAPI）支持业务系统调用，保障数据服务高可用

o 实施数据质量监控（完整性/一致性校验）及血缘追踪

3. 基础设施与工具运维

o 管理大数据集群（Hadoop/Spark/Flink）及云平台资源（AWS/GCP/Azure）

o 运维数据调度系统（Airflow/DolphinScheduler）与实时计算引擎

o 维护数据库（SQL/NoSQL）及BI工具（Tableau/Superset）的访问权限与性能

任职要求

1. 技术栈

o 精通Python/Scala/Java至少一门语言，熟悉SQL优化与分布式计算（Spark/Pandas）

o 掌握数据仓库建模理论，具备数仓建设实战经验

o 熟练使用主流大数据组件（HDFS/Hive/Kafka/Flink）

2. 平台能力

o 熟悉云计算平台（AWS S3/EMR, GCP BigQuery等）

o 有数据调度工具（Airflow/Luigi）开发运维经验

3. 工程化能力

o 擅长数据管道性能调优与故障排查

o 能通过脚本（Shell/Python）实现流程自动化

4. 业务协作

o 能快速理解业务需求并转化为数据解决方案

o 具备技术文档撰写能力，可流畅阅读英文技术资料