1. 负责LLM大语言模型推理部署，以及模型服务化的工作，包括架构设计、开发和维护工作，完成模型发版交付；
2. 负责针对特定硬件环境（如云平台、边缘设备等）设计并实现高效的模型部署架构，支持大规模、高并发的在线推理服务，解决带宽和显存等瓶颈，实现推理性能优化；
2. 负责AI算法模型在不同平台上的工程化设计、实现与加速、系统集成与工程化落地；
3. 负责模型压缩和优化，熟悉模型量化、剪枝、蒸馏等优化加速方式；
5. 负责模型量化、推理、部署工具链的研发，探索和跟进不同深度学习推理加速框架；
职位要求
1. 计算机科学、人工智能等相关领域硕士及以上学历；
2. 精通C/C++、Python，熟悉容器化技术和云计算平台，对高性能计算、分布式系统有深入了解；
3. 熟悉深度学习框架，如PyTorch、Tensorflow等;
4. 熟悉llama.cpp、vLLM、deepspeed、Megatron等大模型推理框架，有docker容器化部署经验；
5. 熟悉FlashAttention、XFormer、FasterTransformer等大模型推理加速方案。
6. 加分项：熟悉cuBLAS、OpenBLAS等高性能计算库，擅长自定义算子；
7. 良好的团队沟通能力、技术攻关能力，责任心强，具备一定抗压能力。