西雅圖人工智能研究機構(gòu)Ai2（艾倫人工智能研究所）今日宣布發(fā)布MolmoAct 7B，這是開源D空一個突破性的開源具身AI模型，通過讓機器人在執(zhí)行動作前進行"思考"，模型為機器人技術帶來了智能。讓機

　　空間推理對AI模型來說并不新鮮，器人這些模型能夠通過可視化圖像或視頻來推理世界，間″然后得出結(jié)論。規(guī)劃例如，″動用戶可以上傳圖像或視頻到OpenAI的發(fā)布ChatGPT，詢問如何組裝桌子的開源D空問題并得到答案。同樣，模型機器人AI基礎模型可以被指示拿起杯子并放到水槽里。讓機

　　"具身AI需要一個優(yōu)先考慮推理、器人透明性和開放性的間″新基礎，"首席執(zhí)行官Ali Farhadi表示。規(guī)劃"通過MolmoAct，我們不僅僅是發(fā)布一個模型；我們正在為AI的新時代奠定基礎，將強大AI模型的智能帶入物理世界。"

　　大多數(shù)機器人AI模型通過推理提供給它們的語言來運行，分解自然語言句子——比如上面的例子"拿起柜臺上的杯子放到水槽里"——并將其轉(zhuǎn)化為動作。它們通過結(jié)合從攝像頭和其他傳感器獲得的知識以及命令來做到這一點。

　　Ai2表示，MolmoAct是該公司稱為動作推理模型（ARM）的新類別AI模型中的首個，它解釋高級自然語言，然后推理出一系列物理動作計劃，以在現(xiàn)實世界中執(zhí)行這些動作。與市場上當前作為視覺語言動作基礎模型運行的機器人模型不同，ARM將指令分解為一系列航點和動作，這些航點和動作考慮了模型能夠看到的內(nèi)容。

　　"一旦它看到世界，它就會將整個世界提升到3D中，然后繪制軌跡來定義其手臂將如何在該空間中移動，"Ai2計算機視覺團隊負責人Ranjay Krishna在接受采訪時表示。"所以，它為未來做規(guī)劃。在完成規(guī)劃后，它才開始采取行動并移動關節(jié)。"

　　ARM和VLA模型都充當機器人的"大腦"，包括AI模型機器人初創(chuàng)公司Physical Intelligence的pi-zero、英偉達公司用于人形機器人的GR00T N1、學術研究人員實驗常用的70億參數(shù)開源模型OpenVLA，以及930億參數(shù)的Octo模型。參數(shù)指的是模型用來做決策和預測的內(nèi)部變量數(shù)量。MolmoAct包含70億個參數(shù)，因此名稱中有7B。

　　該公司使用256個英偉達H100圖形處理單元集群上的1800萬個樣本來訓練模型，預訓練大約在一天內(nèi)完成。微調(diào)使用64個H100大約需要2小時。相比之下，英偉達的GR00T-N2-2B使用1024個H100在6億個樣本上進行訓練，而Physical Intelligence使用9億個樣本和未披露數(shù)量的芯片訓練pi-zero。

　　"很多這些公司給你這些技術報告，但這些技術報告看起來是這樣的：它們中間有一個大黑盒，上面寫著'Transformer'，對吧？除此之外，你真的不知道發(fā)生了什么，"Krishna說。

　　與市場上許多當前模型不同，MolmoAct 7B是在大約12000個來自真實環(huán)境（如廚房和臥室）的"機器人事件"精選開放數(shù)據(jù)集上訓練的。這些演示用于映射目標導向的動作——比如整理枕頭和收拾洗衣。

　　Krishna解釋說，MolmoAct通過完全開放克服了這個行業(yè)透明度挑戰(zhàn)，提供其代碼、權重和評估，從而解決了"黑盒問題"。它既在開放數(shù)據(jù)上訓練，其內(nèi)部工作原理也是透明和公開可用的。

　　為了增加更多控制，用戶可以在執(zhí)行前預覽模型的計劃動作，其預期運動軌跡疊加在攝像頭圖像上。這些計劃可以使用自然語言或在觸摸屏上繪制修正來修改。

　　這為開發(fā)人員或機器人技術人員在家庭、醫(yī)院和倉庫等不同環(huán)境中控制機器人提供了細粒度方法。

　　Ai2表示，該公司使用SimPLER評估了MolmoAct的預訓練能力，這是一個使用一組模擬測試環(huán)境來測試常見真實世界機器人設置的基準。使用該基準，該模型實現(xiàn)了72.1%的最先進任務成功率，擊敗了來自Physical Intelligence、谷歌、微軟和英偉達的模型。

　　"MolmoAct是我們進入這個領域的第一次嘗試，表明推理模型是訓練這些大規(guī)模機器人基礎模型的正確方式，"Krishna說。"我們的使命是實現(xiàn)真實世界的應用，所以任何人都可以下載我們的模型，然后為他們的任何目的進行微調(diào)，或者嘗試開箱即用。"

　　Q&A

　　Q1：MolmoAct 7B是什么？它有什么特別之處？

　　A：MolmoAct 7B是由Ai2發(fā)布的突破性開源具身AI模型，屬于動作推理模型（ARM）新類別。它的特別之處在于能夠解釋高級自然語言，然后推理出物理動作計劃，在執(zhí)行前先進行"思考"和3D空間規(guī)劃，而不是直接執(zhí)行動作。

　　Q2：MolmoAct與其他機器人AI模型有什么區(qū)別？

　　A：與傳統(tǒng)的視覺語言動作模型不同，MolmoAct會將整個世界提升到3D空間，繪制軌跡定義手臂移動路徑，為未來做規(guī)劃后才開始行動。它還完全開源，提供代碼、權重和評估，解決了行業(yè)中的"黑盒問題"，用戶還可以預覽和修改機器人的計劃動作。

　　Q3：MolmoAct的訓練數(shù)據(jù)和性能如何？

　　A：該模型使用約12000個來自真實環(huán)境的"機器人事件"數(shù)據(jù)集訓練，在256個英偉達H100 GPU上用1800萬樣本預訓練約一天完成。在SimPLER基準測試中，它實現(xiàn)了72.1%的任務成功率，超越了Physical Intelligence、谷歌、微軟和英偉達的模型。

特別聲明：以上文章內(nèi)容僅代表作者本人觀點，不代表新浪網(wǎng)觀點或立場。如有關于作品內(nèi)容、版權或其它問題請于作品發(fā)表后的30日內(nèi)與新浪網(wǎng)聯(lián)系。

(責任編輯：熱點)