1. 负责业务算法的架构支撑，实现推理模型部署的工程化能力，支持AI服务的高并发稳定运行。
2. 了解跨多卡的推理服务模式，能够高效利用GPU资源，完成大模型的推理服务部署。
3. 负责设计和推动实现对推理服务的全链路监控和诊断功能，落地监控指标，能够定位和分析推理服务性能瓶颈并进行优化。
4. 能够合理利用显存、内存、GPU、CPU等资源进行组合优化，不断降低大模型部署成本。

1. 计算机相关专业，具有良好的计算机基础理论和知识，3年以上相关工作经验。
2. 有大模型推理服务部署经验，了解Triton Server之类的推理服务框架。
3. 了解异构并行计算模式，能够利用kv cache、批量推理等技术手段提升模型推理计算效率。
4. 了解k8s资源调度的基础原理和应用。
5. 具有很强的自我学习更新能力，对算法工程相关的技术领域充满兴趣和热情，良好的学习和沟通能力，有钻研精神，用于挑战新难题和创造新思路解决问题。