1、计算机科学或相关专业本科及以上学历,5年以上工作经验(必须)。
2、至少有2年以上的Java开发经验,能够完成国产化环境安全扫描提出的组件漏洞修复上线(必须)。
3、负责过大型项目的资源评估、部署文档编写、上线方案制定及后续部署运维工作(必须)
## 主要职责
1. 平台构建与部署:
* 负责基于国产化硬件(如鲲鹏)和操作系统(如麒麟OS、欧拉)以及国产化中间件(如东方通相关组件)的环境下,完成数据平台相关产品的部署与维护。
* 负责包括但不限于 Flink, Apache Doris, 小海豚调度器(DolphinScheduler), CDC工具(如Canal, Debezium), ETL工具(如DataX, Kettle) 等组件的部署、升级和高可用集群搭建。
2. 系统运维:
* 针对国产化环境安全扫描提出的组件漏洞问题进行修复上线。
* 制定并执行运维规范、应急预案、容灾备份和恢复策略,保障数据平台SLA。
3. 数据集成与开发支持:
* CDC/ETL运维:维护和管理CDC数据捕获管道,确保数据实时、准确地从业务库同步至数据仓库。运维和优化ETL离线同步任务。
* 离线开发运维:负责 小海豚调度(DolphinScheduler) 平台的日常运维,包括工作流管理、任务排错、资源调配和性能优化。
* 实时开发运维:负责 Apache Flink 实时计算平台的运维,包括作业部署、状态管理、资源监控与调优,协助开发团队解决运行时问题。
4. 数据仓库运维:
* 负责 Apache Doris 集群的运维管理,包括节点扩容、数据备份、查询性能优化、数据规范审核及权限管理。
5. 产品部署升级方案及自动化运维:
* 平台产品的部署升级方案编写及实施落地。
* 编写自动化脚本(Shell/Python/Ansible),实现部署、监控、巡检等任务的自动化,提升运维效率。
6. 国产化适配:
* 深入研究国产化软硬件环境特性,解决数据平台组件在国产化环境中遇到的兼容性、性能及稳定性问题。
## 任职要求
1. 必备经验与技能:
* 熟悉Linux操作系统,能熟练进行网络、内存、磁盘等故障排查(必须)。
* 熟悉springboot、maven等常用开发框架及构建工具,有2年以上的Java开发经验,能够完成国产化环境安全扫描提出的组件漏洞问题进行修复上线(必须)。
* 熟练使用至少一种脚本语言,如Shell 或 Python(必须)。
* 负责过大型项目的资源评估、部署文档编写、上线方案制定及后续部署运维(必须)。
* 熟悉容器化技术(Docker, Kubernetes),有在K8s上部署运维中间件的经验(必须)。
* 具备良好的文档阅读和编写习惯,能清晰地记录问题处理过程,编写运维流程和技术方案(必须)。
2. 加分项:
* 熟悉自动化配置管理工具,如Ansible、SaltStack等。
* 有实际的国产化环境(鲲鹏/飞腾/龙芯 + 麒麟OS/统信UOS + 国产数据库及中间件) 运维部署经验者优先。
* 熟悉以下组件的部署与运维:
* 实时计算:Apache Flink,了解其核心概念(如Checkpoint, Savepoint, State)和资源管理。
* 数据仓库:Apache Doris(优先)、StarRocks之一。
* 任务调度:小海豚调度(DolphinScheduler)。
* 熟悉数据集成技术:有CDC(如Debezium, Flink CDC)和ETL(如DataX, Kettle, Seatunnel)工具的实际运维经验。
3. 软技能:
* 具备强烈的责任心和独立分析与解决复杂技术问题的能力,能承担压力。
* 良好的沟通能力和团队协作精神,能高效地与开发及业务部门协作。
特别说明:此为外包岗位,需在客户现场办公;