岗位职责

1、负责实现和优化大模型分布式训练以及在线推理系统，提升训练效率和推理性能，包括不限于：架构设计、算子开发、数据处理加速、Checkpoint保存与加载、通信优化等；

2、研究和优化大规模异构加速集群调度、存储、通信互联、监控、Profiling等组件，提升整体硬件利用效率；

3、研究并实现各种模型并行策略（DP/TP/PP/EP/CP）、混合精度、Zero、FSDP、MOE、FP8等技术，加速模型训练，优化显存开销；

4、设计和开发高效的离线、在线推理系统，优化TensorRT-LLM、ONNX-Runtime、vLLM等推理框架，加速整体推理性能；

5、关注跟进最新的AI Infra进展，并高效的将最新的技术应用到实际业务中；

任职要求

1、本科及以上学历，具有扎实的计算机基础，熟悉操作系统和网络，熟悉C/C++和Python编程语言，对数据结构&算法设计有较深刻的理解；

2、熟悉至少一种主流的深度学习框架，如Tensorflow或Pytorch；熟悉至少一种主流的模型推理框架，如TensorRT-LLM；

3、熟悉CUDA编程，掌握TensorRT、Cutlass、cuDNN等加速库，有内核级优化经验者优先；

4、具备大型分布式系统开发经验，熟悉MPI、NCCL、Megatron-LM、Deepspeed、FSDP等相关技术；

5、责任心强，思路清晰，技术视野开阔，对业界新技术敏感，喜欢钻研，具有良好的学习能力并注重团队合作；