多模态模型

笔记 / AI 原理多模态 CLIP 世界模型

让语言模型「看图」，工程起点出奇地简单：把图像编码成一批 token，和文本 token 拼在一起送进去。难点不在拼接，在对齐——让「猫」这个词和猫的像素落进同一个语义空间。视觉编码器的来历见从 CNN 到 Vision Transformer，注意力见自注意力与 Transformer。本分类全部笔记见 AI 原理。

一、为什么需要多模态

纯语言模型知道「苹果是红色圆形水果」的陈述，但从没见过苹果——它的全部世界认知都是文字转述的。接入视觉后，模型能在文本概念与视觉实在之间建立直接联系：图表读数、界面截图、公式照片、实物识别，这些「文字描述注定有损」的输入才有解。反方向同样成立：让生成模型「按文字画画」，本质也是这两种模态的对齐问题。

二、外挂式三件套

当前开源生态的主流架构是视觉编码器 + 投影层 + 语言模型：

部件	职责
视觉编码器	ViT 或 SigLIP，把图像转成 N 个视觉向量（见从 CNN 到 Vision Transformer）
投影层	一个小 MLP，把视觉向量映射到与文本 embedding 同维的空间
LLM	把视觉 token 当普通 token 处理，与文本一起做自注意力

一个关键事实藏在最后一行：LLM 并不知道哪些 token 来自图像——对它而言一切都是同一序列里的 token，多模态能力完全来自「视觉 token 恰好落在与文本语义对齐的位置上」。对齐是投影层在训练中学会的，不是架构里有什么图像专用通路。这也解释了为什么外挂式能这么便宜：LLM 权重可以完全不动（LLaVA 的初版就是冻结 LLM 只训投影层），一个 5M 参数的 MLP 接通了两个模态。

三、三条融合路线的消长

外挂式（拼接输入）——如上。训练便宜、可拆可换编码器，LLaVA、Qwen-VL 等开源主力都在这条线上；代价是「看图」与「说话」仍是两个模型的能力拼接，细粒度空间推理这类需要深度融合的任务上界受限。

交叉注意力式——Flamingo 开创：冻结 LLM，在层间插入交叉注意力层让视觉信息在生成过程中随时被查询。深度融合好于拼接，但架构改动大，2024 年后势头减弱。

原生多模态（早期融合）——从预训练第一步起就把文本、图像、音频当作同一个序列里的 token，用统一 transformer 一起训练。GPT-4o 用单一网络原生处理文本/图像/音频；Gemini 从第一代起就按多模态从头训练；Meta 的 Chameleon 则证明了早期融合（连自回归图像生成都放在同一序列里）在开放模型上可行。到 2025 年，「原生多模态」已从研究路线变成前沿模型的默认形态——事后外挂的方案在开源侧仍然主流（便宜、模块化），但能力上限的竞争在原生侧。真正的瓶颈也前移到了最底层：文本用 BPE、图像用 patch、音频用频谱 tokenizer，各切各的——统一 tokenizer 是当前多模态研究最活跃的问题之一。

四、CLIP：对比学习造出对齐空间

外挂式的视觉编码器怎么选？答案几乎都是 CLIP 家族。CLIP（2021）用四亿图文对做对比学习：双塔结构，图像塔和文本塔各自编码，训练目标只有一个——配对的图文在向量空间里靠近，不配对的远离（InfoNCE 对比损失）。

结果是两个模态共享一个语义空间，「一张猫的照片」和文本「a photo of a cat」的向量距离，可以直接当相似度用。由此解锁零样本分类：把每个候选类别写成一句模板文本（「a photo of a dog」「a photo of a plane」…），图像向量和谁最近就归谁——不需要任何下游训练标签。CLIP 因此既是早期多模态的代表作，又至今是外挂式模型的视觉前端（其改进版 SigLIP 用 sigmoid 损失替换 softmax，摆脱对批内负样本数的耦合，是当前主流选择）。

diffusion 一族的文本控制（见扩散模型）用的也是这套对齐空间——两条技术线在 CLIP 处交汇。

五、视觉 token 的二次方账单

注意力是 $O(n^2)$ （见自注意力与 Transformer），而视觉 token 很贵：ViT 处理 224px 图像产生 196 个 patch token，一张 4K 截图或一段视频按原分辨率切块轻松上千——视觉 token 数是长上下文贵三倍的原因。工程对策三类：降低切图粒度或降采样（牺牲小字细节——这正是 OCR 类任务需要高分辨率方案的原因）、把相邻视觉 token 压缩合并（pixel shuffle / token merging）、以及 Q-Former 一类的小查询网络把 N 个视觉向量压成固定的几十个「摘要 token」。视频模型则干脆靠时间维度的稀疏采样先把量降下来。

六、世界模型：多模态的下一站

当下的多模态模型本质上是「共享一个语义空间的两个感官」，离「理解物理世界如何运转」还有距离——透视、遮挡、重力、因果，这些常识在纯图文对里学不干净。世界模型路线（LeCun 是最响亮的鼓吹者）主张：让模型通过视频预测学习环境动力学——给定当前画面与动作，预测下一帧——预测误差逼着模型内化物理规律。视频生成模型（Sora 一类）被不少人视为这条路线的意外产物：能生成物理合理的长视频，说明内部学到了相当的世界动力学。这条线的成熟形态（把预测出来的世界模型当规划器用）仍在早期，但它是多模态叙事里方向感最明确的一站。