岗位职责

1、视觉算法研发

a）. 负责机器人大模型的视觉算法开发与优化，包括但不限于目标检测、目标跟踪、图像分割、3D视觉、多模态融合等任务，提升机器人在复杂环境下的视觉感知能力。

b）. 深入研究和探索前沿的计算机视觉技术和大模型技术，将其应用于机器人视觉系统，如利用大模型的预训练能力提升视觉任务的性能和泛化能力。

c）. 结合智能体（Agent）的行为规划和决策需求，开发视觉算法以支持智能体的自主感知与交互，例如通过视觉输入理解环境状态并为智能体提供决策依据。

d）. 设计和实现高效的视觉算法框架，确保算法在机器人硬件平台上的实时性和稳定性，满足机器人在不同应用场景下的视觉需求。

2、智能体视觉感知与交互

a）. 研究和开发智能体的视觉感知模块，使其能够通过视觉输入理解环境中的物体、场景和动态变化，并与智能体的决策系统紧密集成。

b）. 设计智能体的视觉交互机制，例如通过视觉反馈实现人机交互、智能体之间的协作或与环境的动态交互，提升智能体的自主性和适应性。

c）. 与智能体的行为规划和决策模块协作，优化视觉算法以支持智能体在复杂任务中的高效执行，例如在导航、抓取、避障等任务中的视觉支持。

数据处理与标注

d）. 收集、整理和标注大量的视觉数据，构建高质量的训练数据集，为大模型的训练和优化提供支持。

e）. 分析数据集的分布和特性，进行数据增强和数据清洗，提高数据的质量和多样性，从而提升模型的鲁棒性。

3、模型训练与优化

a）. 基于大模型架构，进行视觉模型的训练和调优，包括选择合适的预训练模型、设计合理的训练策略和优化算法，以达到的需要的性能和效率。

b）. 进行模型的量化、剪枝和蒸馏等优化操作，降低模型的计算复杂度和存储需求，使其能够在资源受限的机器人硬件上高效运行。

4、系统集成与测试

a）. 将开发的视觉算法与机器人系统进行集成，确保算法能够与机器人的其他模块（运动如控制、导航、交互等）无缝协作。

b）. 设计和实施全面的测试方案，对视觉算法在不同场景下的性能进行评估和验证，包括准确性、实时性、鲁棒性等方面，并根据测试结果进行优化和改进。

5、技术支持与协作

a）. 为机器人产品的开发和生产提供技术支持，解决视觉算法相关的问题和挑战，确保产品的顺利交付和稳定运行。

b）. 与团队成员（如硬件工程师、软件工程师、产品经理等）密切合作，共同推进机器人产品的研发和优化，实现产品的其性能和用户体验。

二、任职要求

1、教育背景

计算机科学、电子信息工程、自动化、人工智能等相关专业，硕士及以上学位。

2、专业技能

a）. 熟练掌握计算机视觉的基本理论和算法，如目标检测、目标跟踪、图像分割、3D视觉等，能够独立设计和实现相关的视觉算法。

b）. 熟悉深度学习框架（如TensorFlow、PyTorch等），具备丰富的深度学习模型开发和训练经验，对大模型技术有深入的理解和实践经验。

c）. 熟悉机器人大模型的架构和应用，能够利用大模型的预训练能力提升视觉任务的性能和泛化能力。

d）. 熟悉智能体（Agent）的基本概念和架构，了解智能体的行为规划、决策机制以及与视觉感知的结合方式，能够开发支持智能体自主交互的视觉算法。

e）. 熟练掌握C++/Python等编程语言，具备良好的编程能力和代码规范，能够高效地实现和优化视觉算法。

f）. 熟悉机器人硬件平台和传感器（如摄像头、激光雷达等），能够进行视觉算法的硬件适配和优化。

3、项目经验

具备计算机视觉或机器人视觉相关项目开发经验，有成功落地的项目案例优先。