多模態大模訓練

     當你把一張照片丟給豆包，它能準確描述畫面內容；在通義千問里上傳一張草圖，它能識別你畫的是什么；Kimi 分析 PDF 里的圖表時，甚至能讀出表格中的數據。

事實上，大模型的多模態能力已經成為標配。從 Qwen-VL 到 GLM-4V，幾乎所有主流模型都支持圖像輸入。

可大模型的核心——Transformer——本質上只是一個"字接字"的預測器，它只認識 Token，不認識像素。

把像素變成語言：三步架一座"橋"

核心問題只有一句話：如何讓一個只懂文本的系統，理解非文本的信息？

答案分三步：

第一步：把圖片切成小塊

模型沒有人類的全局直覺，它需要把一張完整的圖像拆解成無數個小方塊。

這個操作叫Patch Embedding。一張常見的 224×224 像素的圖片，被切成固定大小的"小塊"（通常是 16×16 像素），總共約 196 個小塊。每個小塊通過視覺編碼器（通常是 ViT 或 CNN）轉換成一個視覺向量——這個小塊的"數字簽名"。

第二步：編上位置號

模型不僅要知道每個小塊里有什么，還要知道它在圖中的位置——左上還是右下？每個小塊加上位置編碼，作用和文本位置編碼是一樣的。

第三步：把視覺向量"翻譯"成模型能懂的 Token

視覺向量的維度和文本向量的維度不同，無法直接輸入語言模型。這里需要一個投影層，把視覺向量的維度映射到語言模型熟悉的文本向量維度上——相當于把"圖片語"翻譯成了"模型語"。

經過這三步，模型終于能"看到"這張圖了——雖然它看到的不是像素，而是一串串數值構成的"影子"。

對齊：讓視覺和語言在同一個世界里對話

問題還沒結束：模型怎么知道視覺向量對應的文字是什么？

一張貓的圖片經過編碼變成 [0.12, -0.45, 0.78, ...]，而"貓"這個字的 Token 編碼是 [0.89, 0.33, -0.12, ...]——兩個數字空間不相通。

要讓"看到"和"說到"對應起來，就需要對齊（Alignment）：喂大量圖文配對數據，讓"這張圖的向量"和"描述這張圖的文字向量"在高維空間中相互靠近。

訓練時同時給模型看一張夕陽照片和文字"夕陽下的海灘"，模型會不斷調整參數，讓這兩個向量之間的數學距離越來越小。這個對齊過程需要數億對圖文數據。國內公開的圖文數據集也包含數億對高質量的圖文數據。

兩種主流架構

目前的多模態大模型分為兩大流派：

流派一：獨立視覺編碼器 + 大模型（Qwen-VL / GLM-4V）

保留一個完整的 ViT 處理圖像，再通過"連接器"把視覺信息注入語言模型。連接器可以是簡單的線性映射，也可以是復雜的 Q-Former。優點是視覺能力強，缺點是參數多、推理慢。通義千問的 Qwen2.5-VL 就屬這一派，它用動態分辨率方案——圖片越清晰，切成的 Patch 越多，細節越豐富。

流派二：原生多模態訓練方案

不保留獨立視覺編碼器，從零訓練一個能同時理解文本、圖像、音頻的統一模型。文本 Token 和視覺 Token 直接交互，沒有中間翻譯層。優勢是跨模態理解更自然，缺點是從頭訓練的費時費力。

國內兩種路線都有玩家：DeepSeek-VL2 采用類似 Qwen-VL 的架構，在文檔解析上表現優秀；智譜 GLM-4V 在中文場景的視覺識別上做過大量優化。

從圖片到視頻：難度指數級上升

一張圖 = 約 200 個 Token。一段 1 分鐘的視頻，按每秒 24 幀算 = 1440 張圖 = 近 30 萬個 Token。

這不僅讓顯存扛不住，更棘手的是時序理解——"先拿起杯子，然后喝水"——模型需要理解幀與幀之間的時間關系。

主流做法是 幀采樣：每秒抽幾幀關鍵幀，同時引入時序編碼讓模型知道幀的先后順序。即便如此，一段 10 分鐘的視頻仍需處理幾千幀，計算消耗仍然巨大。

用一個詞描述多模態大模型的現狀："剛剛夠用"。

它看得懂日常照片、能識別圖表、能理解視頻中的動作——但遇到模糊物體、復雜場景推理、或者需要精確空間關系（比如"桌面上第三個物品是什么"）時，仍然容易出錯。

行業正在關注：動態分辨率（給關鍵區域分配更多 Patch）、原生多模態訓練、多模態思維鏈、實時視頻理解。

多模態不只是給大模型裝了一雙眼睛。它改變的是模型理解世界的方式——從"只讀"到"可觀"，從"聽說"到"眼見"。

但這距離真正的"視覺理解"還有距離。今天的多模態模型看到一張圖，更多是在做"匹配"——把像素特征和它見過的文字描述做關聯。它看一張貓圖，知道這是貓，但它不懂貓為什么在笑、畫面里有什么情緒。那才是人類意義上的"看懂"。

不過這條路的盡頭很清晰：一個既能"看見"又能"理解"的模型。到那時，再回頭看"大模型只認識文字"這句話，恐怕沒人會信了。