1.负责密态计算算法底层框架的负载均衡以及pipeline设计和优化工作,包括但不限于GPU计算加速、底层框架优化、资源利用率提升等。
2.负责密态计算框架的基础功能开发,实现各种计算操作,支持常见的芯片平台;
3.通过AI基础设施和软硬协同优化,提升算法的资源使用效率;
4.负责密态算法与百卡、千卡集群训练和推理的适配工作;
5.设计大规模分布式密态训练底层架构,解决训练过程中的性能瓶颈(如通信、计算、IO),实现GPU集群算力的高效利用,提升密态大模型训练效率。
6.开发高性能密态推理服务引擎,构建高吞吐、低延迟的大模型推理服务框架,集成vLLM等先进推理优化技术,提升不同精度格式下的推理精度和效率。
7.实现GPU计算集群与资源管理,管理数千张GPU的大型异构计算集群,确保其稳定、高效运行。
任职要求
1.3年以上MLSys/LLMSys/AI Infra领域工作经验,或在学校和科研机构从事上述领域工作的博士以上学历的科研工作者;
2.熟练掌握PyTorch等主流机器学习技术框架;
3.熟悉GPU性能优化技术,具备大模型优化经验;
4.丰富的CPU、GPU、NPU调优经验;
5.熟练掌握TensoFlow、PyTorch等主流机器学习技术框架;
6.具备良好的团队协作意识和沟通能力;
7.以及对从算法到技术落地过程有整体的理解。