岗位职责：

- 负责从多种数据源抽取数据，并进行清洗、转换和标准化处理，设计高效的数据抽取策略，确保数据完整性和准确性；

- 使用ETL工具（如Informatica、Talend、DataX等）或编程语言（Python、SQL、Spark）开发数据管道，优化ETL作业性能，解决数据处理中的性能瓶颈（如分区、并行处理、内存管理）；

- 实施数据校验规则，监控数据一致性、唯一性及合规性，开发自动化脚本或工具跟踪数据异常，生成质量报告；

- 与业务部门沟通需求，明确数据处理逻辑，编写技术文档（ETL设计、数据字典、运维手册）。

- 维护ETL任务调度（如Airflow、DolphinScheduler），处理任务失败或延迟问题，制定灾备方案，确保数据管道高可用性。

任职资格：

- 统招本科及以上学历，计算机、数学、统计学相关专业优先，3年以上ETL开发经验；

- 精通SQL（复杂查询、窗口函数、性能优化），熟悉至少一种数据库（MySQL/Oracle/PostgreSQL等）；

- 掌握Python/Java/Scala中的一种，能编写高效ETL脚本，熟悉Shell脚本更佳；

- 熟练使用ETL工具（如Informatica、SSIS、Kettle）或大数据工具（Spark、Flink、Hive）；

- 了解实时数据处理技术（如Kafka、Flink流处理）；

- 有Hadoop、Hive、HBase、Spark等组件实战经验者优先。