8月11日消息,在世界機器人大會上,阿里達摩院宣布開源自研的 VLA 模型RynnVLA-001-7B、世界理解模型RynnEC、以及機器人上下文協(xié)議RynnRCP,推動數(shù)據(jù)、模型和機器人的兼容適配,打通具身智能開發(fā)全流程。
具身智能領域飛速發(fā)展,但仍面臨開發(fā)流程碎片化,數(shù)據(jù)、模型與機器人本體適配難等重大挑戰(zhàn)。達摩院將MCP(Model Context Protocol)理念引入具身智能,首次提出并開源了RCP(Robotics Context Protocol)協(xié)議以推動不同的數(shù)據(jù)、模型與本體之間的對接適配。達摩院打造了名為RynnRCP的一套完整的機器人服務協(xié)議和框架,能夠打通從傳感器數(shù)據(jù)采集、模型推理到機器人動作執(zhí)行的完整工作流,幫助用戶根據(jù)自身場景輕松適配。RynnRCP現(xiàn)已經(jīng)支持Pi0、GR00T N1.5等多款熱門模型以及SO-100、SO-101等多種機械臂,正持續(xù)拓展。
具體而言,RynnRCP包括RCP框架和RobotMotion兩個主要模塊。RCP框架旨在建立機器人本體與傳感器的連接,提供標準化能力接口,并實現(xiàn)不同的傳輸層和模型服務之間的兼容。RobotMotion則是具身大模型與機器人本體控制之間的橋梁,能將離散的低頻推理命令實時轉(zhuǎn)換為高頻的連續(xù)控制信號,實現(xiàn)平滑、符合物理約束的機器人運動。同時,RobotMotion還提供了一體化仿真-真機控制工具,幫助開發(fā)者快速上手,支持任務規(guī)控、仿真同步、數(shù)據(jù)采集與回放、軌跡可視化等功能,降低策略遷移難度。
大會上,達摩院還宣布開源兩款具身智能大模型。RynnVLA-001是達摩院自主研發(fā)的基于視頻生成和人體軌跡預訓練的視覺-語言-動作模型,其特點是能夠從第一人稱視角的視頻中學習人類的操作技能,隱式遷移到機器人手臂的操控上,從而讓機械臂操控更加連貫、平滑,更接近于人類動作。
世界理解模型RynnEC將多模態(tài)大語言模型引入具身世界,賦予了大模型理解物理世界的能力。該模型能夠從位置、功能、數(shù)量等11個維度全面解析場景中的物體,并在復雜的室內(nèi)環(huán)境中精準定位和分割目標物體。無需3D模型,該模型僅靠視頻序列就能建立連續(xù)的空間感知,還支持靈活交互。
此外,達摩院還在上月開源了WorldVLA模型,首次將世界模型與動作模型融合,提升了圖像與動作的理解與生成能力。相比傳統(tǒng)模型,該模型抓取成功率提高4%,視頻生成質(zhì)量顯著改善,展現(xiàn)了較好的協(xié)同性和準確性。
開源鏈接:
·機器人上下文協(xié)議RynnRCP
https://github.com/alibaba-damo-academy/RynnRCP
·視覺-語言-動作模型 RynnVLA-001
https://github.com/alibaba-damo-academy/RynnVLA-001
·世界理解模型 RynnEC
https://github.com/alibaba-damo-academy/RynnEC
·WorldVLA模型https://github.com/alibaba-damo-academy/WorldVLA
(來源:達摩院DAMO)