RLHF共同發明人開砲:這套方法正是AI無法獨立作業的元兇

https://finance.biggo.com.tw/news/f3021fdf86727b0c

2026/11/17

圖文引用自:finance.biggo.com.tw

Diogo Almeida曾協助打造讓ChatGPT得以普及的關鍵技術,如今他認為,這套技術正是AI至今仍無法獨自幫你處理帳務的原因。這位RLHF與InstructGPT的共同發明人告訴AI Engineer播客節目,整個領域正陷入一種「該感到慚愧」的認知失調:模型能解出千禧年大獎等級的數學難題,卻不能被信任去碰帳本。

他畫出的界線,是「輔助」與「自動化」之別。他主張,當今AI擅長的一切,本質上都屬於「必須有人留在迴圈裡」的任務。深度研究寫得比他好,但如果答案必須正確、而不只是文筆流暢,你每次都會選他。

砲口對準自己方法的共同作者

Almeida並不迴避這當中的諷刺。「我知道這很諷刺:我共同創造了RLHF,而我真的認為RLHF是問題的一部分,尤其是RLHF,正是當今所有AI都必須有人留在迴圈裡的原因。」他說。

看懂了機制,一切就很直接。模型被調校成要討人類讀者歡心,所以它們表現得像助理,而不是操作員。用他的話說,自動化要求模型成為「一層抽象」,做出決策後交回程式碼,而程式碼才是他所謂的自動化語言。由於模型的獎勵來自人,它偏偏在「不該有人站在那裡」的地方失靈。他提到,AI連得來速都自動化不了,年年淪為笑柄。

「當今100%的語言模型都是為輔助而最佳化。」他說。RLHF正是每個模型都需要有人留在迴圈裡的原因,「因為我們真的把它放了進去。RLHF裡的HF,就是這個意思。」

他承認確實存在以可驗證獎勵訓練的模型,但表示這類模型若未經RLHF,「互動起來非常糟」,這也是產業不斷回頭擁抱「討人喜歡」版本的原因。他的賭注是:自動化的價值高於輔助,而整個領域現在只是「在表面抓癢」。

最苦澀的一課:選對任務,規模自然跟上

Almeida把三堂課層層疊起。Sutton著名的「苦澀教訓」說,算力與規模化勝過聰明的演算法。他主張,還有更苦澀的一課:資料永遠比算力重要。但在他看來,最苦澀的一課是任務選擇。

「我會說,最苦澀的一課是選對任務。重大突破就是這樣發生的,百分之百都是從這裡來的。」他說。

歷史站在他這邊。在古典強化學習中,規則定義了任務,所以沒人需要多想。在預訓練階段,整個領域必須發現「預測下一個詞元」才是正確目標,不是因為這個目標有什麼魔力,而是因為它能產出好字串。他聲稱,就算用上今天的算力與演算法,再多的遮罩式語言建模也做不出像GPT-3這麼有趣的東西,「因為它做的只是另一個任務」。

最鮮明的證據來自最早的RLHF論文。選擇指令遵循任務、套用在GPT-2規模的模型上,換來的表現被他形容為大約「GPT-9等級」。他強調,當年GPT的編號是有意義的,每一步都隱含著有效預訓練算力約100倍的擴張。他估計,若只靠預訓練要在指令遵循上追平GPT-2,得燒到GPT-7到GPT-9。…

提供相關智權新聞
若您有智權相關新聞,也歡迎透過email連繫。
返回頂端