职位描述
一、岗位职责
1. VLA 模型研发与训练:
(1)负责 Vision-Language-Action (VLA) 模型的架构设计、预训练及微调(Fine-tuning)。探索基于 Transformer 的多模态大模型在机器人感知、决策与规划中的应用。
(2)将视觉(Vision)、语言(Language)指令映射为机器人的底层控制动作(Action),实现端到端的机器人操控。
2. 基于 NVIDIA 平台的仿真环境构建:
(1)基于 NVIDIA Isaac Sim / Isaac Lab (Orbit) / Omniverse 搭建高保真机器人仿真场景。
(2)利用 Isaac Sim 的 Replicator 生成大规模合成数据(Synthetic Data),包括语义分割、深度图及物理交互数据,用于模型训练。
3. 大规模强化学习与模仿学习:
(1)在仿真环境中利用 GPU 加速(Isaac Gym/Warp)进行大规模并行强化学习(RL)或模仿学习(Imitation Learning)训练。
(2)解决 Sim-to-Real(虚实迁移)的核心问题,通过域随机化(Domain Randomization)等技术,确保模型能成功部署到真实机器人(双足/四足/机械臂)上。
4. 部署与优化:
(1)负责模型在边缘端设备(如 NVIDIA Jetson Thor/Orin)上的量化、剪枝与实时推理优化。
(2)负责机器人底层运动控制算法与上层 VLA 模型的接口对接。
二、任职要求
1. 计算机、自动化、机器人、人工智能等相关专业。
2. 精通 Transformer 架构,熟悉主流多模态模型(如 CLIP, ViT, LLaVA, Flamingo 等)原理。
3. 熟练掌握 PyTorch 深度学习框架。有 VLA 模型(如 RT-1/RT-2, VoxPoser, Palm-E)复现或改进经验者极高优先级。
4. 熟练使用 NVIDIA Isaac Sim 或 Isaac Lab (基于 Omniverse) 进行机器人建模和环境搭建。(必须])
5. 熟悉 USD (Universal Scene Description) 文件格式及 Omniverse Kit 开发。
5. 熟悉 Python/C++ 编程,具有良好的工程落地能力。
6. 熟悉 ROS/ROS2/Openpilot 机器人操作系统,能够打通仿真与真实机器人的通讯链路。
以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕