每(mei)經(jing)記(ji)(ji)者｜蔡鼎    每(mei)經(jing)實習(xi)記(ji)(ji)者｜岳楚鵬    每(mei)經(jing)編(bian)輯｜蘭素英    

圖(tu)片來源：每(mei)日經濟(ji)新聞 資(zi)料圖(tu)

近日，據The Information報道，OpenAI的下一代旗艦模型可能不會像前面幾代產品那樣帶來巨大的飛躍。新的模(mo)型或許(xu)無法像(xiang)之(zhi)前(qian)的模(mo)型那樣(yang)耀眼。

據報道，測試代號為Orion的新模型的員工發現，盡管新模型性能超過了OpenAI現有的模型，但進步程度并不如從GPT-3到GPT-4的進步那么大。

換句話說，OpenAI改進的速度似乎正在放緩。根(gen)據一(yi)些內部員(yuan)(yuan)工(gong)的(de)(de)說法，在(zai)諸如編程這類的(de)(de)任務上Orion并不比之(zhi)前的(de)(de)模型(xing)更可靠。OpenAI 員(yuan)(yuan)工(gong)和研究(jiu)人員(yuan)(yuan)表示，GPT 研發(fa)速度放緩的(de)(de)原因(yin)之(zhi)一(yi)是高質量文本和其(qi)他數據的(de)(de)供應量在(zai)不斷(duan)減少。

為(wei)了應對這(zhe)種情(qing)況，OpenAI成立(li)了一個基礎團隊(dui)，以(yi)(yi)研究(jiu)如何在(zai)新訓練(lian)(lian)數(shu)據不斷(duan)減少的(de)(de)情(qing)況下(xia)繼續改(gai)進(jin)模型(xing)(xing)。據報(bao)道(dao)，這(zhe)些(xie)新策略包括使用AI模型(xing)(xing)生成的(de)(de)合成數(shu)據對Orion進(jin)行訓練(lian)(lian)，以(yi)(yi)及在(zai)訓練(lian)(lian)后(hou)的(de)(de)過程中對模型(xing)(xing)進(jin)行更多改(gai)進(jin)。

目前(qian)，OpenAI并未(wei)回應相(xiang)關消息的(de)評論請(qing)求。不過(guo)上個月OpenAI曾表示，“我(wo)們今年沒有(you)發(fa)布代號(hao)為Orion的(de)模(mo)型的(de)計劃。”

OpenAI下一代模型被曝質量提升不大

使用(yong)(yong)ChatGPT的(de)用(yong)(yong)戶數量正在(zai)飆升。不過，ChatGPT的(de)底層模(mo)型的(de)改(gai)進速(su)度似乎正在(zai)放緩。

OpenAI即將推出的旗艦模型Orion所面臨的挑戰顯示了OpenAI所面臨的困難。今年5月，OpenAI首席執行官奧(ao)特曼告訴員工，他預計正在訓練(lian)的Orion可能會比一年前發(fa)布的上一款模型好得多。

據(ju)The Information近日援(yuan)引知情(qing)人(ren)士透露，奧(ao)特曼(man)表示(shi)，盡管OpenAI只完(wan)(wan)成了Orion訓練過程的20%，但就(jiu)智能程度以及完(wan)(wan)成任務和回答問(wen)題的能力而言，它已經與GPT-4相(xiang)當。

然而，據一些使用或測試過Orion的OpenAI員工表示，雖然Orion的性能超過了之前的模型，但與OpenAI發布的最后兩款模型GPT-3和GPT-4之間的飛躍相比，質量的提升要小得多。

OpenAI的一些研究人員認為，在處理某些任務方面，Orion并不比之前的模型更可靠。據The Information援引OpenAI的一名員工稱，Orion在語言任務上表現更好，但在編碼等任務上可能不會勝過之前的模型。其中一位員工表(biao)示，與(yu)OpenAI最近發布(bu)的其他模型相比，Orion在數據(ju)中心(xin)運行的成本可能更高。

OpenAI研究員Noam Brown上個(ge)月在TED AI會議上表示，開(kai)發(fa)更先進的模型在財務上可能不可行。

“畢(bi)竟，我們真的要訓練耗資數千億(yi)美元(yuan)或(huo)數萬(wan)億(yi)美元(yuan)的模型嗎？”Brown說(shuo)。“在(zai)某個時候，擴展范式(shi)（Scaling paradigm）就會崩潰。”

高質量數據不足導致性能減速

Scaling laws是AI領域的一個核心假(jia)設：只要有(you)更(geng)多的數據可供(gong)學習，以及額(e)外(wai)的計算能力來促進訓練過(guo)程，大語言(yan)模型（LLM）就會繼續(xu)以相同的速度改(gai)進。

扎克伯格(ge)、奧特曼(man)等人工智能(neng)開發(fa)商的(de)首席執(zhi)行官也(ye)公(gong)開表示，他們尚未觸及傳統Scaling law的(de)極限(xian)。

這就是為什么包括OpenAI在內的公司仍花(hua)費數(shu)十億美元來建造昂貴(gui)的數(shu)據中心，以盡(jin)可能地從(cong)預訓練模型中獲取性(xing)能提升。

雖然理論上目前的(de)模(mo)型并沒(mei)有觸及Scaling law的(de)極限(xian)，但是可供使用的(de)數據來(lai)源卻快(kuai)要干(gan)涸了。

OpenAI的員工和研究人員表示，GPT模型減速的一個原因是高質量文本和其他數據的供應不足。大語言(yan)模型(xing)需(xu)要(yao)在預訓練期間處理這些數據，以理解(jie)世界和不同概念之間的關系，從(cong)而解(jie)決撰寫文章或解(jie)決編程錯誤等(deng)問(wen)題(ti)。

據The Information援引知情人士表示，過去幾年里，大語言模型在預訓練過程中使用了來自網站、書籍和其他來源的公開文本和其他數據，但模型開發人員基本上已經把這類數據資源榨干了。

圖片來源：視(shi)覺中國-VCG41N1309760279

OpenAI的應對之策：合成數據、強化學習

為了應對這種情況，OpenAI成立了一個基礎團隊，以研究如何在新訓練數據不斷減少的情況下繼續改進模型。該團隊由之前負責預訓練的Nick Ryder領導。OpenAI表示，這個團隊將研究如何應對訓練數據的匱乏，以及Scaling law還能適用多長時間。

據OpenAI的一名員工稱，Orion的訓練數據里有一部分是AI生成的合成數據。這些數據由GPT-4和最近發布的推理模型o1生成。然而，該員工表示，這種合成數據導致了一個新問題，即Orion最終可能會在某些方面與那些舊模型相似。

軟件公司Databricks的聯合創始人兼董(dong)事長Ion Stoica表示，這種合成數據可(ke)能并(bing)不(bu)能幫助AI進(jin)步。

Stoica說道：“對于常識性問題，你可以說現在我們看到的是大型語言模型性能都處于一個停滯狀態。我們需要更多的事實數據，合(he)成數據幫助(zhu)不大。”

除此之外，OpenAI的研究者們在模型訓練后階段進行了額外的改進。比如，OpenAI采用了強化學習方法，通(tong)過讓模(mo)型從大量有正解的任務(wu)中學(xue)習（比如數學(xue)或(huo)編程(cheng)問題），以此(ci)來改進它(ta)們處理特定任務(wu)的方(fang)式(shi)。

同時，OpenAI還會請人工評估員對預訓練的模型在特定的編程或問題解決任務上進行測試，并對答案進行評分。這有助于研究者調整(zheng)模型，以更(geng)好地(di)應對諸如寫作或編(bian)程等特定類型的(de)請(qing)求。這一(yi)方法，即帶(dai)人類反(fan)饋的(de)強(qiang)化學習，也有助于改進之前的(de)AI模型。

o1就是(shi)OpenAI使用(yong)這種改進手段得到(dao)的成果(guo)，o1模(mo)(mo)(mo)型在給出答案(an)前，會花更多時間來“思考”大語言模(mo)(mo)(mo)型在訓練過程中處理的數據。這意味著，即使不對底(di)層(ceng)模(mo)(mo)(mo)型進行修改，只要在回(hui)答用(yong)戶問題時提供額(e)外的計算資源，o1模(mo)(mo)(mo)型的回(hui)應質(zhi)(zhi)量就能持(chi)續(xu)提升。據知情(qing)人士透(tou)露(lu)，如(ru)果(guo)OpenAI能夠持(chi)續(xu)改進底(di)層(ceng)模(mo)(mo)(mo)型的質(zhi)(zhi)量，哪怕速度較(jiao)慢，也能顯著提升推理效果(guo)。

“這(zhe)為我們提供了一(yi)個全新的擴展維度(du)，”Brown在TED AI大(da)會上(shang)表示。研究人員可(ke)以通過將每次查詢的成本從一(yi)分(fen)錢(qian)提升(sheng)到十分(fen)錢(qian)來提高模型的響應質量。“

奧特曼同樣強(qiang)調(diao)了OpenAI推理模型的重要(yao)性，這些模型可以與LLMs結合。

奧特(te)曼在10月份一個(ge)面向應用開(kai)發者的活(huo)動中(zhong)表示：“我希望推(tui)理(li)功(gong)能(neng)(neng)能(neng)(neng)解鎖我們(men)多年來期(qi)待實現的許多功(gong)能(neng)(neng)——例如，讓這類(lei)模型有能(neng)(neng)力貢獻新的科學知識，幫助編寫更復雜(za)的代碼。”

但兩位知情(qing)員(yuan)工表示(shi)，o1模型目(mu)前的(de)價(jia)格比非推(tui)理模型高(gao)出(chu)六倍，因此(ci)它沒有廣泛的(de)客(ke)戶(hu)群。

與此同時，o1模型的安全性也被很多人詬病，《自然》雜志就曾表示，在評估過程中，他們發現o1有時會遺漏關鍵安全信息，例如未強調爆炸危險或建議不適當的(de)化學品控制方法。

值得一提的(de)(de)是，OpenAI安(an)全系(xi)統團隊負(fu)責人(ren)翁荔(li)（Lilian Weng）近日也宣(xuan)布將離開已經工作了近7年(nian)的(de)(de)OpenAI。