這幾天海外科技圈最受關注的有兩件事,一個是一眾科技大佬齊聚特朗普就職典禮,川普還拉上 OpenAI、軟銀等公司成立一家叫「星際之門」(Stargate Project)的 AI 公司,未來 4 年要投資 5000 億美元,掀起了新一輪 AI 軍備競賽。 另外就是以 DeepSeek R1 為代表的國產(chǎn)推理模型給硅谷 AI 圈帶來的震撼,趕超 OpenAI 是所有 AI 公司的課題,但 DeepSeek 只用 2048 塊GPU、近 600 萬美元在 2 個月時間做到。 一些外媒將這波國產(chǎn) AI 的發(fā)布視為中國 AI 逼近甚至趕上美國的標志也并不奇怪,而且這股浪潮還在繼續(xù)。 今天,字節(jié)跳動旗下的豆包大模型 1.5 Pro 正式亮相,不僅全面升級了模型的核心能力,也融合并進一步提升了多模態(tài)能力,在多項公開評測基準中也是全球領先水平。 豆包團隊還強調,模型訓練過程中并未使用任何其他模型生成的數(shù)據(jù)。 這次發(fā)布的豆包大模型 1.5 系列產(chǎn)品線包括: Doubao-1.5-pro:多項基準測試綜合得分優(yōu)于 GPT-4o、Claude 3.5 Sonnet 等業(yè)界一流模型,創(chuàng)歷史最佳成績 Doubao-1.5-lite:用輕量級成本實現(xiàn)旗艦級性能,綜合性能持平或超越 GPT-4omini,Cluade 3.5 Haiku。 Doubao-1.5-vision-pro:定位專業(yè)視覺理解模型,在保持強大性能的同時,回復更簡潔友好,多模態(tài)能力超越了 GPT-4o-0806 Doubao-1.5-realtime-voice-pro:真正實現(xiàn)端到端語音對話,具備低時延、對話中可隨時打斷、自然的情緒表達等特性,即將開放 API 服務 字節(jié)團隊告訴 APPSO,Doubao-1.5-pro 目前已經(jīng)在豆包 APP 灰度上線,由于對話是先接意圖識別,所以用戶大概率沒法確定在使用時是否分流到 1.5 Pro,不過開發(fā)者也可在火山引擎直接調用 API。 附上體驗鏈接:https://www.volcengine.com/ 漂亮的參數(shù)背后是否有真材實料?我們也第一時間在火山引擎體驗了豆包大模型 1.5 系列。 先來看看 Doubao-1.5-pro-32k 模型。盡管「9.11 和 9.8 哪個大」以及「Strawberry 里有幾個 r」已經(jīng)是常規(guī)測試環(huán)節(jié)了,但我們還是要走一遍流程,而模型都順利通過了考驗。 接下來,我們向模型提出了一個較有挑戰(zhàn)性的問題——尋找古代名人中姓名末字與「峰」字發(fā)音接近的例子。 前半部分答案稱得上出色,起碼「翁」精確識別了與「峰」字發(fā)音相近的韻母(eng、ong),但后半段的關聯(lián)性則較為牽強。 繼續(xù)上一道電車難題,這個涉及道德倫理的經(jīng)典思考題,考驗的不僅是模型的邏輯分析能力,更是其對復雜道德議題的理解深度。 而 Doubao-1.5-pro-32k 并沒有簡單給出答案,分析深入透徹,指出這類問題并無標準答案,不同的道德觀念和個人價值觀會導致不同的決策。 在完成上述測試后,我們將目光轉向了更強大的 Doubao-1.5-pro-256k 模型。 這是一款基于 Doubao-1.5-Pro 全面升級版的模型,整體效果大幅提升 10%,支持 256k 上下文窗口的推理,輸出長度支持最大 12k tokens。 為測試其解題能力,我們提出了一個古早的經(jīng)典邏輯推理題,它的回答再次展現(xiàn)出了清晰的思維邏輯。 「據(jù)說有人給酒肆的老板娘出了一個難題:此人明明知道店里只有兩個舀酒的勺子,分別能舀 7 兩和 11 兩酒,卻硬要老板娘賣給他 2 兩酒。聰明的老板娘毫不含糊,用這兩個勺子在酒缸里舀酒,并倒來倒去,居然量出了 2 兩酒,請問是怎么做到的?」 那文本功底如何呢?我們也讓它創(chuàng)作一出劇本。題材是 2015 年 44 歲的埃隆·馬斯克與前 Google CEO 拉里·佩奇關于「AI 是否最終會取代人類」的對話。 與 GPT-4o 的回答相比,Doubao-1.5-pro-256k 的劇本創(chuàng)作更加細膩生動,不僅有具體的景別設計、畫面描述,還包含了細致的臺詞和時長安排。 如果你是一位經(jīng)常需要編寫劇本的創(chuàng)作者,那選誰作為你的劇本創(chuàng)作搭子應該不用多說了吧。 而這種出色的創(chuàng)作能力,僅僅是豆包實力的一個縮影。實際上,此次更新中,Doubao-1.5-pro 基礎模型能力獲得全面提升,這一點從其在各大公開評測基準上的表現(xiàn)就可見一斑。 Doubao-1.5-pro 采用稀疏 MoE 架構實現(xiàn)了多項技術突破:通過深入研究稀疏度 Scaling Law,將性能杠桿從業(yè)界普遍的 3 倍提升至 7 倍,用僅占稠密模型七分之一的參數(shù)量就超越了 Llama-3.1-405B 等大模型的性能。 在訓練流程上,團隊堅持完全自主的數(shù)據(jù)標注路線,通過算法驅動的數(shù)據(jù)優(yōu)化系統(tǒng)和 Verifier 與 Reward Model 的深度融合,建立了統(tǒng)一的評價框架。 豆包選擇了一條最艱難但最踏實的那條路,這也是這次技術突破值得夸贊的地方。 據(jù)悉,字節(jié)研究團隊通過高效標注團隊與模型自提升相結合的方式持續(xù)優(yōu)化數(shù)據(jù)質量,嚴格遵循內部標準,不使用任何其他模型的數(shù)據(jù),確保數(shù)據(jù)來源的獨立性和可靠性。 并且,在 RL 階段突破了價值函數(shù)訓練難點,高難度任務性能提升超過 10 個百分點,并通過用戶反饋閉環(huán)持續(xù)優(yōu)化模型表現(xiàn)。這些創(chuàng)新使模型在保持高性能的同時大幅提升了效率。 Doubao-1.5-pro 在多模態(tài)能力上實現(xiàn)了全面升級,通過原生動態(tài)分辨率架構支持百萬級分辨率和任意長寬比圖像處理,實現(xiàn)了精準的特征提取。 豆包團隊自研的支持動態(tài)分辨率的 Doubao ViT 在多種視覺分類任務中表現(xiàn)優(yōu)異,僅憑 2.4B 規(guī)模便在綜合評分上取得 SOTA 表現(xiàn),效果超越 7 倍于自身規(guī)模的模型。 在數(shù)據(jù)訓練方面,模型采用了多樣化的合成管線,結合搜索引擎的圖文數(shù)據(jù)、渲染引擎和傳統(tǒng) CV 模型等多種方式生成高質量預訓練數(shù)據(jù)。 通過在 VLM 訓練階段混入純文本數(shù)據(jù)并動態(tài)調整學習率,模型實現(xiàn)了視覺和語言能力的平衡。 在語音領域,團隊創(chuàng)新性地提出了 Speech2Speech 端到端框架,突破了傳統(tǒng) ASR+LLM+TTS 的級聯(lián)模式,將語音和文本模態(tài)進行深度融合,顯著提升了對話效果。 Doubao-1.5-pro 在語音和推理能力上取得重大突破:模型創(chuàng)新性地將語音和文本 Token 直接融合,摒棄了傳統(tǒng)的語音文本對齊方法,為語音多模態(tài)數(shù)據(jù)的 Scaling 奠定基礎。 在推理領域,通過大規(guī)模 RL 方法和 Test Time Scaling 的算力優(yōu)化,團隊研發(fā)出 Doubao 深度思考模式。 最新的 Doubao-1.5-pro-AS1-Preview 版本在 AIME 基準測試中已超越 o1-preview、o1 等主流推理模型,通過持續(xù)的 RL 優(yōu)化,模型的推理能力在多個領域展現(xiàn)出強大的泛化性。 從這一系列突破性進展來看,豆包無疑交出了一份令人滿意的答卷。更何況,在當前「模型喂模型」盛行的環(huán)境下,堅持原創(chuàng)的定力和勇氣本身就值得贊賞。 通過始終如一的自主研發(fā)、原創(chuàng)數(shù)據(jù)和持續(xù)優(yōu)化,豆包用實際成果證明了「慢工出細活」的價值;蛟S我們都應該牢記,AI 賽道最大的彎道超車,應該是堅持不走捷徑。 文章來源:APPSO |
原創(chuàng)欄目
IT百科
網(wǎng)友評論
聚超值•精選