职位详情
推理模型性能优化 已下线
10-15万
深圳市义方管理咨询有限公司
上海
5-10年
硕士
01-30
工作地址

张江路

职位描述
岗位职责:
• 分析深度学习网络(LLM等),优化深度学习模型以实现低延迟、高
吞吐量的推理。
• 使用 vLLM或SGlangM 等推理加速引擎部署模型
• 理解、分析、剖析和优化深度学习工作负载并在我们的硬件和软件平台上进行
深度性能。
• 与内部和外部研究人员合作,确保模型从训练到推理部署的无缝集成
任职要求:
• 计算机科学、电子工程或相关专业硕士及以上学历,博士学位优先。
• 7 年以上工作经验
• 在深度学习和神经网络方面有着扎实的背景,包括训练或推理。
• 精通AI负载性能加速方案包括并行方式、量化、压缩、投机策略、调度系统

• 熟悉主流的推理加速引擎vLLM或SGlang
• 对计算机架构有深入的理解,并熟悉加速芯片架构的基础知识。
• 具备分析、建模和优化应用程序性能的丰富经验。
• C++ 和 Python 编程技能

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

查看更多相似职位