职位详情
VLA运动控制大模型芯片算法专家
3.5-6.5万
进迭时空(杭州)科技有限公司
北京
5-10年
本科
01-31
工作地址

海淀新技术大厦8层815号

职位描述
职位描述
作为VLA运动控制大模型芯片算法专家,负责将复杂、动态的多模态VLA模型转化为稳定、实时、低功耗的芯片控制指令,需深度理解VLA模型的推理流程与运动控制环的实时性要求,进行算法-芯片的协同设计与极致优化,确保芯片在足式机器人、灵巧手或自动驾驶车辆上,能够实现前所未有的智能与灵巧度。

核心职责
1)VLA模型推理的芯片级优化:
分析并分解 视觉-语言-动作模型 在真实控制场景下的完整计算图,特别是从感知编码到动作解码(Policy Network/Trajectory Generator)的关键路径。
主导VLA模型在自研机器人计算芯片(或高性能SoC)上的 端到端部署、性能剖析与瓶颈定位。
设计和实现针对芯片硬件特性的深度优化方案,包括但不限于:多模态特征融合算子的定制化、控制策略网络(Policy)的低延迟推理优化、基于模型预测控制(MPC)或强化学习(RL)策略的专用加速。
2)实时运动控制环路与芯片的协同设计:
深入理解机器人 状态估计、运动规划、底层伺服控制 的完整控制栈及其对芯片计算(确定性时延、传感器同步、中断响应)的要求。
设计 “感知-决策-控制” 全链路的芯片内数据流与任务调度方案,确保从“看到”到“动作”的端到端延迟满足严苛的物理控制要求。
与芯片架构师协作,为 高带宽传感器接口(相机、IMU、激光雷达)、实时通信总线(EtherCAT, CAN FD) 以及 高精度定时单元 的设计提供算法输入。
3) 算法硬化与部署:
◦ 主导混合精度量化(INT8/FP16)、动态计算/稀疏化 等技术在VLA控制模型上的应用与验证,在确保控制稳定性和安全性的前提下,极致优化功耗与性能。
◦ 构建芯片上的 实时仿真或“世界模型”轻量化推理单元,用于预测动作后果,实现更安全的超前规划。

任职要求(必要条件)
1. 教育背景:机器人学、控制科学与工程、计算机科学、电子工程等相关专业硕士或博士学历。
2. 深厚的跨领域知识:
◦ 算法侧:深入理解 VLA/VLN模型、深度强化学习(DRL)、模仿学习、最优控制(如MPC)。有机器人运动控制算法(如全身控制WBC、力控)研发经验者优先。
◦ 硬件/系统侧:熟悉 机器人操作系统(ROS 2)、实时系统(RTOS)、嵌入式开发,对计算机体系结构、数据流和实时性有深刻理解。
3. 丰富的工程实践经验:
◦ 3年以上 机器人、自动驾驶或相关领域,将复杂AI/控制算法在 嵌入式平台或专用芯片 上部署与优化的经验。
◦ 精通 C/C++ 和 Python,具备强大的高性能、低延迟编程能力。
◦ 熟练掌握 PyTorch, TensorFlow 及其部署工具链(TorchScript, ONNX, TensorRT, TVM等)。
◦ 有 CUDA/OpenCL编程 或 DSP/ARM Neon汇编优化 经验,熟悉性能剖析工具(如Perf, Nsight)。
4. 项目经历:有完整的机器人或自动驾驶 感知-控制 全栈系统开发、集成与调试经验,理解系统级联调挑战。

优先考虑条件
1. 参与过 足式机器人(如波士顿动力 Atlas)、仿人机器人、自动驾驶决策规划与控制模块 的芯片级部署项目。
2. 熟悉 NVIDIA Jetson/Orin, Horizon J5, 华为Ascend等机器人/自动驾驶计算平台,并有深度优化经验。
3. 具备 芯片性能建模、功耗分析 或 软硬件协同仿真 经验。
4. 在 RSS, ICRA, IROS, CoRL 等***机器人会议发表过运动控制或具身AI相关论文。

以担保或任何理由索取财物,扣押证照,均涉嫌违法,请提高警惕

立即申请