岗位职责
1.负责大语言模型(LLM)的工程化落地与高效部署，包括算法优化、分布式推理系统设计与实现；
2.优化LLM推理性能，包括量化加速、KV Cache管理、批处理优化、PD分离等技术方案
3.负责前沿异构计算、大模型推理优化、大规模训练的技术演进跟踪和落地,并构建统一的模型服务API接口，确保系统稳定性和可扩展性
岗位要求
1.2年以上相关开发经验，熟悉Go/C++/Python/Java等至少两门语言；
2.有TensorFlow、Pytorch使用或者优化经验；
3.了解GPU、CUDA、神经网络等技术，有大模型工程优化经验优先；
4.对AI底层硬软件基础设施，AI工程化和大模型推理优化感兴趣。