岗位职责:

1、对接各类数据源，包括但不限于：
业务系统数据（如 MySQL、Oracle 等关系型数据库，MongoDB 等 NoSQL 数据库）；
日志数据（如用户行为日志、服务器日志、APP 埋点日志）；
第三方数据（如 API 接口数据、合作方数据文件）；
实时数据流（如 Kafka、RabbitMQ 等消息队列数据）；
2、处理数据中的脏数据（如缺失值、重复值、异常值），通过规则校验、逻辑判断或业务补全进行清洗；
3、参与数据仓库（DW）或数据湖（Data Lake）的设计与维护，包括分层架构（如 ODS、DWD、DWS 层）、表结构设计（如分区表、分桶表）、索引优化等；
4、设计并开发数据处理流水线（ETL/ELT 流程），使用工具（如 Airflow、Oozie、DataWorks）调度任务，确保数据按周期（如小时级、天级）或实时更新；
5、响应内部数据需求，如编写临时查询 SQL、生成数据报表，或提供标准化的数据接口（如通过 API 供业务系统调用）。

1、本科及以上学历，计算机类、电子信息类、数学类等相关专业；
2、熟悉Linux操作系统，能编写简单的Shell脚本，有一定的计算机编程能力，熟悉一门编程语言，熟悉数据库理论，能熟练的进行数据库的相关操作；
3、熟悉常用的数据挖掘相关理论知识，有动手实践者；
4、了解Hadoop，Spark的相关理论知识，有动手实践者。