太平洋科技要聞

首頁 > 科技要聞 > 公司> 正文

OpenAI又上演“權(quán)力的游戲”

虎嗅網(wǎng) 整合編輯：龔震發(fā)布于：2024-05-23 15:36

偉大的技術(shù)、產(chǎn)品公司，有時會折戟于管理。就好比巔峰期的雅達(dá)利因質(zhì)量品控體系松弛而崩潰。

技術(shù)和管理到底能否兼具？類似的考題，被擺在OpenAI面前。

5月15日，GPT-4o發(fā)布后僅一天，OpenAI再次成為了萬眾矚目的焦點。不過與此前的技術(shù)突破不同，此次OpenAI的話題點在于，開始其首席科學(xué)家Ilya和超級對齊團(tuán)隊的集體出走。

此前，超級對齊團(tuán)隊曾擁有OpenAI20%的算力資源。因此難免讓人懷疑，此次OpenAI短時間、大規(guī)模的人事變動是否是其發(fā)展戰(zhàn)略變動的前哨？

分歧已久

OpenAI內(nèi)部的分歧存在已久，在去年11月的“宮斗”事件中早已公之于眾。此次Ilya Sutskever等一行人的出走，可以看作是歷史矛盾的延續(xù)。

Ilya辭職前，OpenAI內(nèi)部最大的分歧之一在于對AI安全問題的態(tài)度上。

科技巨頭和初創(chuàng)公司的互卷下，AI技術(shù)研發(fā)在快車道上一往直前，AGI時代離我們也越來越近。有人認(rèn)為“OpenAI正在訓(xùn)練更強(qiáng)大的AI系統(tǒng)，目標(biāo)是最終全面超越人類智能”。

未知的全新力量下蘊藏著未知的風(fēng)險。用前員工的一句話講，這可能是人類有史以來發(fā)生過的最好的事情，但如果我們不小心行事，也可能是最糟糕的事情。

當(dāng)前的AI監(jiān)管主要集中于“評估風(fēng)險和采取緩解措施”的組合上，這種組合很容易被大型公司鉆空子，最終反而疏于了對最需要被監(jiān)管的前型AI實驗室的監(jiān)管。超級對齊團(tuán)隊解散前，對于不同時間尺度的AI風(fēng)險，OpenAI有三個團(tuán)隊來分別應(yīng)對。

“對齊”或“超級對齊”是人工智能領(lǐng)域中使用的術(shù)語，指訓(xùn)練人工智能系統(tǒng)在人類需求和優(yōu)先事項范圍內(nèi)運行的工作。2023年6月5日，超級對齊AI團(tuán)隊首次對外宣布成立。這支團(tuán)隊的使命旨在“解決如果公司成功構(gòu)建AGI，實際上會出現(xiàn)不同類型的安全問題”——也就是AI智能水平不斷提高后未來可能出現(xiàn)的安全問題。

師從人工智能教父Geoffray Hinton的Ilya是堅持安全第一的安全派。2016年，Ilya以聯(lián)合創(chuàng)始人、研究總監(jiān)的身份加入OpenAI，并于2018年擔(dān)任首席科學(xué)家。研發(fā)期間，Ilya一直在關(guān)注AI大模型的安全問題。

Sam Altman則是商業(yè)派，致力于開發(fā)“更閃亮的產(chǎn)品”，與谷歌等競爭對手的卯足了勁較量。在他看來，AGI的安全治理問題優(yōu)先級遠(yuǎn)遠(yuǎn)不如推出“閃亮的產(chǎn)品”。雖然Altman在采訪中屢次表示對安全問題的重視，但就實際操作而言，算力資源的天平在不斷向著研發(fā)的一側(cè)傾斜。對于Altman來說，相對于未來態(tài)的安全治理，如何加足馬力在當(dāng)前的這場AI競賽中拔得頭籌顯然更為重要。

對此，OpenAI的前員工、超級對齊成員之一William Saunders在Less Wrong論壇上表示，對OpenAI能否在AGI時代負(fù)責(zé)任的行動失去了信心。

William Saunders并非個例。對OpenAI未來AGI安全部署工作的失望成為超級對其團(tuán)隊不少人離開的關(guān)鍵要素。不少人認(rèn)為，Ilya出走很可能是已經(jīng)看到了AGI的安全隱患。

OpenAI“權(quán)力的游戲”還有幾季？

在技術(shù)驅(qū)動的進(jìn)步面紗下，未來安全團(tuán)隊被迫“重組”。事實上，OpenAI在安全方面的人事一直在不斷“跳躍”。

2021年，GPT-3的團(tuán)隊負(fù)責(zé)人Dario和Daniela Amodei因“對安全研究的優(yōu)先次序”存在分歧而辭職，轉(zhuǎn)身創(chuàng)辦了Anthropic。

同年，RLHF的發(fā)明者兼安全研究主管Dr.Paul Christiano從安全團(tuán)隊中辭職，創(chuàng)辦了一個非盈利性的校準(zhǔn)研究中心。

2023年11月，OpenAI圍繞安全問題爆發(fā)宮斗，Sam Altman在被撤職100小時后重返OpenAI。

2024年，這場“權(quán)力的游戲”繼續(xù)上演。

2024年2月15日，安全研究員 William Saunders 在 EA 論壇上總結(jié)了自己在 OpenAI 作為超級對齊團(tuán)隊一部分的工作。表示已從OpenAI辭職。

3月17日，Jan Leike 離職。Jan Leike參與開發(fā)了ChatGPT的核心技術(shù)之一——人類反饋強(qiáng)化學(xué)習(xí)RLHF，在其加入OpenAI后，從代碼大模型Codex、ChatGPT的前身InstrucGPT，到ChatGPT、GPT-4，他都是重要貢獻(xiàn)者。

4月，Daniel Kokotajlo在拒絕簽署離職協(xié)議的情況下辭職，并在此后的媒體采訪中公開表示“OpenAI正在訓(xùn)練更強(qiáng)大的AI系統(tǒng)，目標(biāo)是最終全面超越人類智能。”，自己已經(jīng)“逐漸對OpenAO領(lǐng)導(dǎo)層以及他們負(fù)責(zé)地處理AGI的能力失去了信心”。

4月11日，安全團(tuán)隊的Leopold Aschenbrenner與推理團(tuán)隊的Pavel Izmailov因涉嫌信息泄密而被開除。安全研究員 Cullen O'Keefe 也離開了OpenAI。

5月15日，OpenAI的聯(lián)合創(chuàng)始人及首席科學(xué)家Ilya宣布離職，并在社交平臺X上表示自己將開啟“接下來的計劃——這個項目對我個人來說意義重大，我會在適當(dāng)?shù)臅r候分享細(xì)節(jié)。”

Ilya宣布離開幾小時后，Ilya的同事，OpenAI超級對齊團(tuán)隊聯(lián)合主管Jan Leike光速宣布辭職，在X上留下兩個字母：I resigned。Leike 自2021 年加入 OpenAI，并于2023年開始領(lǐng)導(dǎo)超級對齊團(tuán)隊。在此后幾天，Jan Leike陸續(xù)在X上揭開此次出走的“內(nèi)幕”：“我與 OpenAI 領(lǐng)導(dǎo)層在公司的核心優(yōu)先事項上存在分歧已有一段時間，直到我們最終達(dá)到了臨界點”“過去幾個月，我的團(tuán)隊一直在逆風(fēng)前行”“建造比人類更聰明的機(jī)器本質(zhì)上是一項危險的工作……但在過去的幾年里，安全文化和流程已經(jīng)讓位于閃亮的產(chǎn)品”。他認(rèn)為OpenAI“應(yīng)該把更多的精力花在為下一代模型做準(zhǔn)備上，包括安全性、監(jiān)控、準(zhǔn)備、安全、對抗魯棒性、（超級）對齊、保密性、社會影響和相關(guān)主題，這些問題很難解決，我擔(dān)心我們還沒有走上正確的軌道。”

超級對齊成員之一William Saunders，以及參與過GPT-4對抗性測試的Daniel Kokotajlo，此前兩人均已離開OpenAI。

在諸多離職的人中，Daniel Kokotajlo和Jan Leike屬于敢直接批判OpenAI在安全領(lǐng)域和發(fā)展方向存在問題的“特殊群體”。個中原因很可能是OpenAI的“封口協(xié)議”。根據(jù)OpenAI前員工Kelsey Piper 爆料，OpenAI的員工需簽署一份帶有非貶低協(xié)議的離職協(xié)議，如果拒絕簽署，其拿到的股權(quán)獲益將被取消。而Daniel Kokotajlo則拒絕簽署這一協(xié)議。

在Sutskever和Leike 退出后，OpenAI向CNN 證實，最近幾周已開始解散其超級對齊團(tuán)隊，轉(zhuǎn)而整合各個研究小組的團(tuán)隊成員。OpenAI的發(fā)言人表示，該結(jié)構(gòu)將幫助 OpenAI 更好地實現(xiàn)其超級對齊目標(biāo)。事實上，該業(yè)務(wù)線新的領(lǐng)導(dǎo)者John Schulma此前是負(fù)責(zé)OpenAI現(xiàn)有產(chǎn)品的安全問題。而將縱向超級對齊團(tuán)隊橫向合并也意味著，未來安全把關(guān)人在一定程度上的消失。

浮世新人換舊人，Sam Altman在社交平臺X上表達(dá)了對于Ilya離開的遺憾，表示“他走后的OpenAI不再和從前一樣”，但旋即又在同一條帖子宣布任命了新的首席科學(xué)家Jakub Pachoki。此外，OpenAI近日還聘請了在Google搜索廣告業(yè)務(wù)工作了多年的資深人士Shivakumar Venkataraman。

自此，OpenAI的發(fā)展戰(zhàn)略階段性地實現(xiàn)了表面一致——以“黨同伐異”的代價。

文章來源：虎嗅APP

OpenAI 管理

虎嗅網(wǎng)

原創(chuàng)欄目