1、岗位职责：
负责数据抽取、清洗、转换、加载（ETL）全流程开发与优化，对接业务系统数据源（如业务库、日志、API 等），设计全量 / 增量抽取策略，定义数据清洗、脱敏、标准化规则，保障数据一致性、准确性与时效性。
维护 MySQL、Oracle、PostgreSQL 等主流关系型数据库，负责表结构设计、索引优化、SQL 查询性能调优，处理千万级以上数据量的存储与查询需求，解决数据库运维中的性能瓶颈与异常问题。
基于Hadoop 生态（HDFS、YARN）、Spark（Spark SQL/PySpark）、Hive、HBase 等大数据技术，处理 TB/PB 级海量数据，完成数据聚合、分析及业务指标计算，支撑大数据应用场景落地。
参与数据仓库搭建，结合业务需求进行数据建模（维度建模、关系建模），设计星型 / 雪花模型，划分业务主题域（如用户、订单、商品），搭建数据分层架构（ODS、DW、DM），支撑数据分析与业务决策。
编写 Shell 脚本实现 ETL 任务自动化调度、数据备份、日志清理等运维工作；使用 Python（Pandas/NumPy/PySpark）开发数据处理脚本，完成批量数据校验、异常数据修复及跨系统数据交互。
配合数据分析师、业务团队梳理数据需求，提供数据支持；监控 ETL 任务运行状态，及时排查任务失败、数据延迟等问题，建立任务监控与告警机制，保障数据链路稳定。

2. 岗位要求：
关系型数据库能力：熟练操作 MySQL、Oracle、PostgreSQL 等至少 2 种主流关系型数据库，具备复杂 SQL（多表关联、子查询、窗口函数）编写能力，掌握表结构设计、索引优化、分区表配置及数据库性能调优技巧，能处理千万级数据量的存储与查询场景。
大数据技术能力：熟悉 Hadoop 生态体系（HDFS、YARN、MapReduce），掌握 Spark（Spark SQL、PySpark）、Hive（HQL 编写、分区优化）、HBase 等大数据工具的使用，能基于大数据框架完成海量数据清洗、转换、聚合，有 TB/PB 级数据处理经验者优先。
ETL 全流程能力：精通 ETL 工艺全流程，理解数据抽取（全量 / 增量）、转换（清洗、脱敏、逻辑计算）、加载（全量覆盖 / 增量追加）的核心逻辑；熟悉至少 1 种 ETL 工具（如 Kettle、DataX、Flink CDC、Talend），能解决 ETL 过程中的数据一致性、异常重试、任务依赖等问题，有 ETL 调度工具（Airflow、Azkaban）使用经验者优先。
数据建模能力：具备基础数据建模能力，熟悉维度建模、关系建模方法论，能结合业务场景设计星型 / 雪花模型，完成业务主题域划分、指标定义及数据仓库分层（ODS→DW→DM）设计，理解业务数据与指标逻辑的对应关系。
脚本与 Linux 能力：熟练掌握 Linux 操作系统常用命令（文件管理、进程监控、权限配置、日志分析）；能独立编写 Shell 脚本实现自动化任务（如 ETL 任务调度、数据备份、批量执行 SQL）；熟练使用 Python 进行数据处理，掌握 Pandas、NumPy、PySpark 等库，能开发脚本解决数据校验、批量处理需求。
3、经验与学历要求：