LLM推理优化
岗位职责：
1、负责大模型部署算法优化；
2、负责设计和优化大模型算法的推理技术，如PD分离、投机推理等；
3、负责实现大模型推理的原型系统，并结合算法和硬件优化计算效率；
4、负责大模型推理算法在实际场景中的应用和落地，提升产品和服务的智能化水平；
5、负责大模型推理算法的论文撰写和投稿。
任职要求：
1、有MLsys相关框架工具开发经验；
2、熟悉PyTorch、熟悉一些推理框架（vLLM、SGLang、MLC-LLM等）以及框架最近进展；
3、熟悉量化、投机推理、PD分离等常见LLM推理优化技术；
4、具备良好的编程能力，熟悉Python和C++；
5、有算子开发经验及熟悉CUDA、cutlass、Triton等算子开发语言工具者优先；
6、有MLsys相关会议论文发表经验或开源项目贡献经验者优先。