岗位职责:

1、主导大模型在线推理系统的性能攻坚，构建多节点多GPU的分布式推理架构，实现智能请求调度算法与异构硬件的极致性能调优；

2、设计高并发场景下的负载均衡方案，构建支持动态扩展的弹性计算架构，优化推理引擎运行时环境，实现毫秒级延迟与高QPS吞吐能力。
3、负责端侧大模型量化算法的研究与开发，包括但不限于低比特量化、混合精度量化等，提升模型推理效率，降低计算资源消耗
4、 搭建和优化大模型量化工具链，实现量化流程的自动化和高效化，提高整体研发效率

1.计算机科学或人工智能相关专业，硕士（3年以上工作经验）、博士；
2.熟悉大模型MegatronLM/Deepspeed分布式训练框架，深入了解模型量化、蒸馏、剪枝等模型优化原理和策略，有文本、语音、以及多模态模型相关训练、效果调优经验优先；
3. 熟悉大模型量化的原理，包含低比特量化、混合精度量化等，熟悉常用量化算法，比如Smoothquant、GPTQ、AWQ等，熟悉端侧使用的量化工具高通（Qnn、AIMet）、联发科（Neural Pilot）；
4.具有独立开发能力以及合作开发能力，具有较强的团队精神、良好的沟通协调能力、较强的分析和解决问题的能力。