每經(jing)記(ji)者(zhe)｜鄭(zheng)雨航    每經(jing)編輯｜蘭素英 ;   

“你有沒有想過，你只需告訴(su)你的(de)家庭助理(li)機器人：‘請(qing)加熱我的(de)午餐’，它就會(hui)自己找(zhao)到微波爐。這是不是很神奇？”

近日，微軟在其官(guan)網發表了(le)一(yi)篇(pian)名為《機(ji)器人(ren) ChatGPT：設(she)計原則和模型能力（ChatGPT for Robotics：Design Principles and Model Abilities）》論文，公布了(le)他們正(zheng)在把ChatGPT應用于機(ji)器人(ren)上的(de)研究成果。

文中稱，這項研究(jiu)的(de)目(mu)標是觀察ChatGPT是否可以超越文本思(si)考(kao)，并對物理世界進行推理來幫助(zhu)完成機(ji)器(qi)人任務。人類(lei)目(mu)前仍然(ran)嚴(yan)重依賴(lai)手(shou)寫代碼來控制機(ji)器(qi)人。該(gai)團(tuan)隊(dui)一直在探(tan)索如何改(gai)變這一現實(shi)，并使用OpenAI的(de)新人工智能語言模型(xing)ChatGPT實(shi)現自然(ran)的(de)人機(ji)交互(hu)。

研究(jiu)人(ren)員(yuan)希望ChatGPT能夠幫助人(ren)們更輕松地與機器人(ren)互動(dong)，而無需學習復(fu)雜的(de)(de)編(bian)程語(yu)言或有關機器人(ren)系統(tong)的(de)(de)詳細信息。其中的(de)(de)關鍵難題就是教(jiao)ChatGPT如何(he)使用(yong)物理定律(lv)、操作環境的(de)(de)背景(jing)以及了解機器人(ren)的(de)(de)物理行為如何(he)改變世(shi)界狀態，并以此(ci)來解決指(zhi)定的(de)(de)任(ren)務(wu)。

針(zhen)對微軟的此(ci)項(xiang)研究(jiu)，倫敦(dun)大學學院（UCL）名譽教(jiao)授和計算機科學家(jia)彼得·本特利(li)博士（Dr。Peter John Bentley）在接受《每日經濟新(xin)聞》記者采訪時表(biao)示(shi)，人(ren)類(lei)在未來用AI工具如ChatGPT來控制(zhi)機器人(ren)是完(wan)全可行的路徑。

但他同時強調，就目前而言，ChatGPT還(huan)存在很多(duo)漏(lou)洞，在功能性(xing)、保障(zhang)性(xing)，以及安(an)全性(xing)上缺乏基本的(de)能力。

日前，微軟(ruan)發布了新版必應(ying)(ying)（Bing）互(hu)聯(lian)網搜(sou)索(suo)引擎和Edge瀏(liu)覽器，這些(xie)瀏(liu)覽器由ChatGPT制造商(shang)OpenAI的最新技術提供支持。圖為一名工作(zuo)人員在(zai)演示(shi)基于人工智(zhi)能的微軟(ruan)必應(ying)(ying)搜(sou)索(suo)引擎和Edge瀏(liu)覽器 視覺中國(guo)圖

ChatGPT如何控制機器人

ChatGPT是一種基(ji)于(yu)大量文(wen)本和人(ren)類交互語(yu)料庫而(er)訓練的(de)語(yu)言模型，使其能夠對各(ge)種提(ti)示和問題生成連(lian)貫且(qie)語(yu)法正(zheng)確的(de)響應。

研究(jiu)人(ren)(ren)員在該(gai)文章中表示，當(dang)前的(de)(de)機(ji)(ji)器(qi)(qi)人(ren)(ren)運(yun)轉始(shi)于工程師或(huo)技術用(yong)戶(hu)，他(ta)們需(xu)要(yao)將任(ren)務的(de)(de)要(yao)求轉換為系統代碼。工程師在機(ji)(ji)器(qi)(qi)人(ren)(ren)運(yun)轉的(de)(de)循環中，需(xu)要(yao)編寫(xie)新的(de)(de)代碼和規范來糾正機(ji)(ji)器(qi)(qi)人(ren)(ren)的(de)(de)行為。總的(de)(de)來說(shuo)，這個過程緩慢、昂貴且低效，因(yin)為不僅需(xu)要(yao)具有深(shen)厚機(ji)(ji)器(qi)(qi)人(ren)(ren)知識的(de)(de)高技能用(yong)戶(hu)，而且需(xu)要(yao)用(yong)戶(hu)參與多次交互才(cai)能使機(ji)(ji)器(qi)(qi)人(ren)(ren)正常工作。

而(er)ChatGPT解鎖(suo)了(le)一(yi)種(zhong)新的機器(qi)人范式，并允許潛(qian)在的非(fei)技(ji)術用戶在循環中，在監控機器(qi)人性能(neng)的同時向(xiang)大型語(yu)言(yan)模型（LLM）提(ti)供高級反(fan)饋。

通(tong)過遵循設(she)計(ji)(ji)者的(de)設(she)計(ji)(ji)原(yuan)則，ChatGPT 可(ke)以為機器人(ren)場景生成代(dai)碼。在無(wu)需任何微調的(de)情況下，人(ren)們就可(ke)以利用(yong)LLM的(de)知識(shi)來控制各種任務的(de)不同機器人(ren)外形。通(tong)過反復試驗，微軟的(de)研究人(ren)員(yuan)構建了(le)一種方法和設(she)計(ji)(ji)原(yuan)則，專門為機器人(ren)任務編寫提示：

首先，定(ding)義一組高(gao)級機器(qi)人 API 或函數庫。該庫可(ke)以針對特定(ding)的(de)(de)機器(qi)人類型進行設計，并且應該從機器(qi)人的(de)(de)控制棧或感知庫映射到(dao)現有的(de)(de)低層次(ci)具體實(shi)現。為高(gao)級 API 使用(yong)描(miao)述(shu)性(xing)名稱非常重要(yao)，這樣 ChatGPT 就可(ke)以推理它們的(de)(de)行為。

接下來，為 ChatGPT 編寫一個文本提示，描(miao)述任(ren)務(wu)目標，同時(shi)明確(que)說明高級庫中的(de)哪(na)些(xie)函數可用。提示還可以包含有關任(ren)務(wu)約束的(de)信息，或者 ChatGPT 應該如(ru)何(he)組(zu)織(zhi)它的(de)答案，包括使用特(te)定的(de)編程語(yu)言(yan)，或使用輔(fu)助解析(xi)組(zu)件等。

再次是，用戶通(tong)過直接檢(jian)查或(huo)使(shi)用模擬器來評估 ChatGPT 的(de)代碼輸出。如果需要，用戶使(shi)用自然(ran)語言(yan)向 ChatGPT 提(ti)供有關(guan)答案質量和安(an)全性的(de)反饋。

最(zui)后(hou)，當(dang)用(yong)戶(hu)對(dui)解決方案感到滿意時，就可以(yi)將最(zui)終的代(dai)碼部署(shu)到機(ji)器人上。

ChatGPT+機器人將帶來什么

文(wen)章中(zhong)，微軟的(de)研究(jiu)團隊(dui)展示了(le)在人(ren)(ren)(ren)們的(de)工(gong)作中(zhong)，ChatGPT解決機器人(ren)(ren)(ren)難題(ti)的(de)多個示例(li)，以(yi)及(ji)在操縱無(wu)人(ren)(ren)(ren)機和導航領域的(de)復雜機器人(ren)(ren)(ren)部署。

研究人(ren)員讓 ChatGPT 訪(fang)問控制一臺真(zhen)正的(de)無(wu)人(ren)機的(de)全部功能，事(shi)實證明，非(fei)技術用戶和(he)機器人(ren)之間可以(yi)用非(fei)常(chang)直觀且基于自(zi)然語言的(de)交流。

當(dang)用(yong)戶(hu)的(de)指(zhi)令(ling)模(mo)棱兩可時，ChatGPT會提(ti)出澄清(qing)問題(ti)，并為無人(ren)機編寫復雜的(de)代碼結構，例如(ru)飛行之字(zi)（zig-zag）圖(tu)案，以便可視化地檢查(cha)貨架；甚(shen)至還能給用(yong)戶(hu)來一張自拍。

研(yan)(yan)究人(ren)(ren)員要求 ChatGPT 編寫(xie)一(yi)個(ge)算(suan)法(fa)，讓無人(ren)(ren)機在(zai)(zai)不撞上障礙物的情況下，在(zai)(zai)空中達到目標。研(yan)(yan)究人(ren)(ren)員告訴該模型，這(zhe)架無人(ren)(ren)機有一(yi)個(ge)前向距離傳感器，ChatGPT立即為算(suan)法(fa)編碼了大部(bu)分關(guan)鍵構(gou)建(jian)塊(kuai)。

研(yan)究人(ren)(ren)員表示，這項任務(wu)需(xu)要人(ren)(ren)類進(jin)行(xing)一些(xie)對(dui)話，但ChatGPT 僅使用自然(ran)語言(yan)反饋進(jin)行(xing)本地化代碼改進(jin)的能力給他們留下(xia)了深刻的印(yin)象(xiang)。

微(wei)軟的研究人員還在模(mo)擬的工業檢測(ce)場景中使(shi)用(yong)了(le)(le)ChatGPT，并使(shi)用(yong)了(le)(le)Microsoft AirSim模(mo)擬器，該模(mo)型能夠(gou)有效地解析用(yong)戶的高級意圖和幾何線索，以準(zhun)確控制無(wu)人機。

當把ChatGPT用于機械臂的(de)操作場景時(shi)，研究者使(shi)用對話反饋來(lai)教(jiao)模(mo)型如何將最初提(ti)供的(de) API 組合成更復雜的(de)高級函(han)數(shu)，即，ChatGPT自己內部編(bian)碼的(de)函(han)數(shu)。使(shi)用基于課程的(de)策略，該模(mo)型能(neng)夠將這些學到(dao)的(de)技(ji)能(neng)邏輯地鏈(lian)接(jie)在一起，以執行堆疊塊等操作。

此外，該模(mo)型還展(zhan)示了一個(ge)有趣(qu)的(de)(de)(de)示例，即在用(yong)木塊構建微軟(ruan)logo時橋接文本域(yu)和物理域(yu)。ChatGPT不僅能(neng)夠從其(qi)內部知識庫中調用(yong)微軟(ruan)的(de)(de)(de)logo，還能(neng)夠用(yong)SVG的(de)(de)(de)代(dai)碼“繪制”這個(ge)logo，然后利用(yong)上(shang)面學(xue)到的(de)(de)(de)技能(neng)來(lai)確定現(xian)有的(de)(de)(de)機(ji)器人動作和可以(yi)組成它的(de)(de)(de)物理形式(shi)。

談(tan)及微軟在論文中的演示(shi)示(shi)例，本特(te)利博(bo)士(shi)告訴《每(mei)日經濟新聞》記(ji)者，“微軟已經展示(shi)了一些簡單的操(cao)作，ChatGPT可(ke)(ke)以(yi)(yi)用來(lai)生(sheng)成計算機代碼(ma)，這些代碼(ma)可(ke)(ke)以(yi)(yi)控制(zhi)機器人，所以(yi)(yi)用ChatGPT來(lai)控制(zhi)機器人是完全(quan)可(ke)(ke)行的方案(an)。”。

但本特利博士認(ren)為(wei)，在(zai)現(xian)階段來說，ChatGPT雖然(ran)能夠生成計算機代碼(ma)，但機器人控制(zhi)的(de)問題在(zai)于，計算機代碼(ma)可能需要為(wei)特定(ding)的(de)硬件量身定(ding)制(zhi)才(cai)能正常工(gong)作。ChatGPT目前使用的(de)是它(ta)已經學習到的(de)代碼(ma)示例(li)，它(ta)（ChatGPT）或(huo)許(xu)并(bing)不兼(jian)容最新(xin)的(de)硬件。

“所以(yi)，ChatGPT不太可能(neng)(neng)與人(ren)類開(kai)發人(ren)員(yuan)相提(ti)并論。它(ta)只(zhi)是提(ti)供(gong)了(le)一個簡單的捷徑，可以(yi)幫助人(ren)們學習(xi)基礎知識，但它(ta)缺(que)乏作為開(kai)發人(ren)員(yuan)的基本能(neng)(neng)力。”

ChatGPT輸出內容仍需評估

研究人員在(zai)該(gai)文中表示，在(zai)做某事（行(xing)動(dong)）之前能(neng)(neng)夠感知(zhi)世界是打造機器人系統的基礎。因此，他(ta)們決定測試(shi) ChatGPT 對這個概念(nian)的理解(jie)，并(bing)(bing)要求(qiu)它(ta)探索一個環境，直到(dao)找(zhao)到(dao)用戶指(zhi)定的對象(xiang)。研究者允許(xu)模型訪(fang)問對象(xiang)檢測和對象(xiang)距離 API 等功能(neng)(neng)，并(bing)(bing)驗證它(ta)生成的代碼是否成功實現了感知(zhi)-操作循環（Perception- action loops）。

在實(shi)(shi)驗(yan)(yan)角(jiao)色中，研究(jiu)者進行了額外的實(shi)(shi)驗(yan)(yan)，以(yi)評估ChatGPT是(shi)否(fou)能夠根據傳感器(qi)實(shi)(shi)時反(fan)饋決(jue)定機器(qi)人應該去哪里，而不(bu)是(shi)讓ChatGPT生成一個代碼循環來做出這些決(jue)定。有趣的是(shi)，結果驗(yan)(yan)證了人們可(ke)以(yi)在聊天的每一步提供相機圖像的文(wen)本(ben)描述，并且ChatGPT模型能夠弄清楚(chu)如何在機器(qi)人到達特定物體之前控(kong)制它。

該文稱(cheng)，微軟發布這些技(ji)術的(de)目的(de)是(shi)將機器人技(ji)術推廣(guang)到(dao)更廣(guang)泛的(de)受(shou)眾，研究人員相(xiang)信(xin)，基于(yu)語言的(de)機器人控制系統是(shi)把機器人從(cong)科學實驗室帶(dai)到(dao)日常用戶手中(zhong)的(de)基礎(chu)。

但是，微軟(ruan)的(de)研(yan)究(jiu)者也(ye)表示(shi)，ChatGPT 的(de)輸(shu)出不(bu)應該在沒有仔(zi)細分析(xi)的(de)情況下直接部署在機器(qi)人上。通(tong)過在模擬環境中獲(huo)得實驗(yan)結果，能夠在未來(lai)現實部署之前對算法進(jin)行評估，并采取必要的(de)安(an)全預防措施。

本特利博(bo)士對此(ci)表示認同，他向(xiang)《每日經濟新(xin)聞》記者(zhe)進(jin)一步解釋稱，就目前(qian)而言，ChatGPT還(huan)存(cun)在很(hen)多漏洞，在功(gong)能(neng)性(xing)、保障性(xing)，以(yi)及安全性(xing)上缺乏基本的(de)能(neng)力。

“例如(ru)，ChatGPT可以編寫計算機代碼(ma)，但它不能(neng)做(zuo)任(ren)何(he)測試，也(ye)不知道它輸出(chu)的(de)(de)(de)代碼(ma)運行起來是否有(you)效。研究人員需要更好的(de)(de)(de)反饋循環，以便(bian)測試結果在改進的(de)(de)(de)代碼(ma)中，否則ChatGPT的(de)(de)(de)輸出(chu)可能(neng)仍(reng)然是不合適(shi)的(de)(de)(de)（不安全、或不能(neng)工作）。”

封面圖片來源：視(shi)覺中國