奥比中光官网消息，近期，奥比中光研发团队结合机械臂与大模型，利用语音、语言、视觉-语言大模型，辅以Orbbec Gemini 2系列深度相机的数据输入，打造出一个能够理解、执行语音任务的机械臂。该项目将基于多模态大模型的机械臂从仿真环境落地到现实世界，拓展智能机械臂应用潜能。
目前，该项目在1.0阶段打通了多模态大模型在机械臂上的应用部署baseline。奥比中光正在进一步优化多模态指令理解、多传感器融合感知、机械臂轨迹规划控制、末端抓取控制等方面，未来将推出大模型机器人控制系统，让机器人更加智能、灵活，适应更加复杂的操作场景。