职位描述
一、主要职责
1.平台设计与开发:参与设计、开发和迭代部门数据平台产品,满足批处理、流计算、标品应用等多种业务场景开发。
2.核心组件研发与优化:深入研发和改进关键平台组件,如资源调度系统、模型管理服务、数据服务连接器、统一计算/查询引擎等。
3.性能与成本优化:诊断和解决集群级别性能瓶颈,通过代码优化、参数调优、调度策略改进等手段,提升资源利用效率,降低计算与存储成本。
4.稳定性保障:构建完善的平台监控、告警、故障自愈和自动化运维体系,保障数据产出的SLA,并能快速响应和修复线上故障。
5.技术前瞻与落地:跟踪数据领域前沿技术,进行技术选型、原型验证和落地推广,解决实际业务痛点。
二、必备要求
1.基础扎实:计算机相关专业本科及以上学历,扎实的计算机基础(数据结构、算法、网络、操作系统)。
2.开发能力:3年及以上数据平台开发经验,精通Java,具备优秀的编码能力和良好的设计模式思想。
3.技术深度:深度理解Hadoop(HDFS/YARN)、Flink(必须)、Spark等至少两种大数据组件的核心原理和内部机制(不仅是使用API)。有大规模集群优化经验,具备大规模数据质量及数据治理生产经验。
4.平台思维:具备产品化和平台化思维,能从全局和用户视角思考,打造稳定、易用、高效的数据产品。
5.问题解决:强烈的技术热情,出色的分析、解决复杂技术问题的能力,以及良好的团队协作精神。
三、优先考虑
1.有电信行业O域项目数据加工处理经验。
2.有开源社区贡献经历。
3.有大规模数据质量及数据治理产品开发经验。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕