岗位职责：
1、核心系统研发：负责自研DAG数据流水线核心模块的维护与功能迭代，包括但不限于调度系统、任务执行引擎、元数据管理、权限控制等。
2、计算引擎集成：深度集成和优化主流大数据计算任务，特别是对Spark、SQL、DataX等任务类型进行封装、监控和性能调优。
3、云原生实践：深入研究Spark on K8S，持续优化任务在K8S集群上的执行性能、资源利用率和稳定性，解决实践中遇到的技术难题。
4、平台能力扩展：根据业务需求，设计并开发新的任务指件、数据质量监控模块、告警系统以及可视化运维工具。
任职要求：
必备要求
1、Java基础扎实：5年以上Java开发经验，深入理解JVM、多线程、IO/NIO、集合框架等，具备优秀的编码能力和良好的没计模式理解。
2、后端框架熟练：熟练使用Spring Boot/Spring Cloud等主流微服务框架，有复杂后端系统设计与开发经验 。
3、大数据生态经检；熟悉Hadoop/Spark生态，有Spark应用开发或调优经验，能够理解其基本工作原理。
4、数据库与SQL：精通SQL，熟悉MySQL/PostareSQL等至少一种关系型数据库。
5、基础运维能力：熟悉Linux操作系统，熟练使用Shell脚本，了解Docker、Kubernetes等容器化技术的基本概念和操作。
6、熟悉AI编程工具，有Vibe Coding经验。
加分项(具备以下一项或多项者优先)
1、有DophinScheduler、Airflow、Azkaban等开源工作流调度系统二次开发或使用经验。
2、有Spark on K8S的实际部署、运维或调优经验。
3、熟悉Datax等并有相关插件开发经验。
4、熟悉Prometheus/Grafana等监控体系，有平台可观测性建设经验。