视觉指令微调的艺术：LLaVA 及其进化版本的深度剖析报告

1. 引言：打破模态的壁垒

在人工智能的发展历程中，视觉（Computer Vision, CV）与语言（Natural Language Processing, NLP）长期以来被视为两个独立的研究领域。视觉模型擅长“看”，识别图像中的像素排列并将其分类；语言模型擅长“读”与“写”，处理符号系统的逻辑与生成。然而，人类智能的本质在于多模态的融合——我们不仅看到图像，还能用语言描述它，不仅听到指令，还能在视觉场景中执行它。这种跨越感知与认知的桥梁，正是多模态大模型（Large Multimodal Models, LMMs）试图构建的圣杯。

本报告将对 LLaVA（Large Language-and-Vision Assistant）及其后续迭代版本 LLaVA-1.5 进行百科全书式的深度解读。LLaVA 不仅是一个特定的模型架构，更代表了一种通用的、低成本的、高效的视觉-语言对齐范式。对于初学者而言，理解 LLaVA 是打开多模态大模型黑盒的最佳钥匙。本报告将剥离晦涩的数学公式，从底层原理出发，通过详尽的机制拆解、数据流分析与实验论证，带领读者彻底通晓这一里程碑式的工作。

LLaVA 的核心贡献在于它证明了一个极其优雅的假设：如果我们将视觉世界“翻译”成大语言模型（LLM）能够理解的“词汇”，那么大模型本身强大的推理能力就能无缝迁移到视觉任务上。这一过程被称为“视觉指令微调”（Visual Instruction Tuning）1。不同于以往需要从头训练庞大模型的方法，LLaVA 展示了如何站在巨人（CLIP 与 Vicuna）的肩膀上，仅通过轻量级的连接层与高质量的数据，就能实现令人惊叹的多模态交互能力。

在接下来的篇幅中，我们将首先夯实理解 LLaVA 所需的理论地基，随后深入剖析 LLaVA 1.0 的架构创新，继而重点解读 LLaVA-1.5 如何通过三个简单的改进实现性能的飞跃，最后探讨该领域面临的幻觉、高分辨率适配等开放性问题。

2. 理论基石：多模态大模型的组件与原理

在深入 LLaVA 的具体设计之前，必须先理解它所依赖的三大核心组件：视觉编码器、大语言模型以及将二者连接起来的对齐机制。对于理论基础薄弱的读者，我们将采用形象的比喻来解释这些概念。

2.1 视觉编码器：让机器拥有“眼睛” (CLIP)

LLaVA 并没有自己重新发明“眼睛”，而是直接借用了 OpenAI 发布的 CLIP（Contrastive Language-Image Pre-training）模型的视觉部分。理解 CLIP 是理解 LLaVA 的第一步。

2.1.1 传统视觉模型 vs. CLIP

在 CLIP 出现之前，计算机视觉模型（如 ResNet）大多是在 ImageNet 数据集上训练的。这类模型的训练目标是“分类”——给它一张图，它输出一个标签（如“猫”、“狗”、“汽车”）。这种模型虽然能识别物体，但它不仅识别的类别有限（通常只有 1000 类），而且无法理解图像中丰富的语义关系，比如“一只猫躺在阳光下的沙发上”。

CLIP 采用了完全不同的训练逻辑，即对比学习（Contrastive Learning）。它使用了 4 亿对“图像-文本”数据（从互联网上抓取）。

训练机制：CLIP 同时训练一个图像编码器和一个文本编码器。它的目标是：给定一张图片，从一堆文本描述中找出最匹配的那一句。
结果：CLIP 的视觉编码器不再输出单纯的类别标签，而是输出一个特征向量（Feature Vector）。

2.1.2 特征向量：机器的视觉语言

什么是特征向量？我们可以将其想象为一串长长的数字列表（例如 1024 个数字）。这串数字是图像在机器眼中的“压缩摘要”。

语义空间：在 CLIP 的向量空间中，意思相近的图像和文本，其对应的向量距离非常近。例如，“宇航员”的照片向量和单词 “Astronaut” 的文本向量，在数学空间上几乎重合。
LLaVA 的选择：LLaVA-1.5 选择了 CLIP-ViT-L-336px 作为视觉编码器 1。
- ViT (Vision Transformer)：表示它使用 Transformer 架构处理图像，将图像切成小方块（Patches）进行处理，这比传统的卷积神经网络（CNN）更擅长捕捉全局关系。
- L (Large)：表示模型规模较大，参数更多，理解力更强。
- 336px：表示输入图像的分辨率为 336x336 像素。相比于标准的 224px，这能让模型看清更多细节。

底层洞察：LLaVA 之所以选择 CLIP，是因为 CLIP 已经将视觉信息“翻译”成了一种包含了丰富语义的向量。LLaVA 的任务不再是教模型“看图”，而是教模型如何把这些视觉向量“读”出来。

2.2 大语言模型：机器的“大脑” (Vicuna)

LLaVA 的“大脑”是 Vicuna，一个基于 LLaMA 微调而来的开源大语言模型。

2.2.1 自回归生成与 Token

大语言模型本质上是一个**自回归（Auto-regressive）**预测器。它的工作原理像是一个极高明的“接龙游戏玩家”：给定前面的一段话，它预测下一个最可能出现的字（Token）。

Token（词元）：LLM 处理的最小单位不是单词，而是 Token（可以是单词的一部分）。
Embedding（嵌入）：每个 Token 在进入 LLM 之前，都会被转换成一个向量（Word Embedding）。例如，单词 “Apple” 对应向量 [0.1, -0.5,...]。

2.2.2 指令微调 (Instruction Tuning)

原始的基座模型（Base Model）像 LLaMA，虽然读过很多书，但不懂得如何对话。它可能会在用户提问时继续续写问题，而不是回答问题。

指令微调通过“指令-回复”的数据对，教会模型遵循人类的指令。Vicuna 就是经过高质量对话数据微调后的 LLaMA，因此它具备了极强的对话和逻辑推理能力 3。

LLaVA 的创新点：LLaVA 思考的是，既然 LLM 能理解“文本向量”，那如果我们把“图像向量”伪装成“文本向量”喂给它，它是不是就能理解图像了？

2.3 跨模态对齐：连接视觉与语言的“视神经” (Projection)

这是 LLaVA 架构中最关键的“魔法”所在。

虽然 CLIP 输出的视觉向量蕴含了语义，但它和 LLM 理解的文本向量属于不同的“语言体系”（数学上称为不同的特征空间）。直接把 CLIP 的向量喂给 Vicuna，Vicuna 会看到一堆乱码。

我们需要一个翻译器，这就是 Projector（投影层）。

线性投影 (Linear Projection)：在 LLaVA 1.0 中，这个翻译器是一个简单的矩阵乘法。它试图寻找一个线性的变换规则，把视觉向量空间“旋转”一下，使其与文本向量空间对齐。
多层感知机 (MLP)：在 LLaVA-1.5 中，这个翻译器升级为两层 MLP。相比于线性投影，MLP 引入了非线性激活函数，能够处理更复杂的特征映射关系 1。

深度比喻：

CLIP 是眼睛，看到了世界的景象，并将其转化为电信号（视觉特征）。
Vicuna 是大脑，拥有逻辑和语言中心，但它看不见外部世界。
Projector 是视神经。它负责把眼睛传来的电信号，转换成大脑皮层能够接收和理解的生物电信号。LLaVA 的训练过程，很大程度上就是在“接通”这根视神经，并校准信号的传输。

3. LLaVA (v1) 的方法论：极简架构与数据生成

在深入 LLaVA-1.5 的改进之前，我们必须先理解 LLaVA 原版（v1）建立的范式。LLaVA 的成功并不依赖于极其复杂的网络结构设计，而是在于其独创的数据生成策略和高效的训练流水线。

3.1 核心创新：GPT-4 辅助的数据生成 (Data Generation)

在 LLaVA 诞生之前，多模态领域面临的最大瓶颈是高质量数据的匮乏。已有的数据集（如 COCO）通常只包含简单的图像描述（Caption），例如“一只狗在草地上”。这种数据无法训练出能进行多轮对话、复杂推理的助手。

如果让人工去标注“图像-多轮对话”数据，成本将是天文数字。LLaVA 团队提出了一个极具创造性的解决方案：利用纯文本的 GPT-4 来“伪造”多模态数据。

3.1.1 纯文本如何生成多模态数据？

GPT-4（当时还没开放视觉功能）看不见图，但它能看懂代码和标注。COCO 数据集中不仅有图片，还有极其详尽的标注信息：

Captions：简短的描述（如“一个穿红衣服的人”）。
Bounding Boxes：物体的坐标框（如 : Person）。
Categories：物体类别列表。

LLaVA 团队设计了精妙的 Prompt（提示词），将这些文本化的视觉信息喂给 GPT-4，让 GPT-4 “脑补”出这张图的场景，并生成三种类型的数据 1：

多轮对话 (Conversation)：
- Prompt：“设计一段两人之间的对话，讨论这张照片。照片里有[物体列表]…位置在…”。
- 产出：模仿人类用户向助手提问，助手根据坐标信息回答。例如“左上角那个人在干什么？” GPT-4 会推理出：“根据坐标，他和另一个物体（滑板）重叠，他可能在滑滑板。”
详细描述 (Detailed Description)：
- Prompt：“请极其详尽地描述这张图片，包括物体的颜色、位置、动作背景等。”
- 产出：一段数百字的丰富描述，弥补了原始 Caption 信息量不足的问题。
复杂推理 (Complex Reasoning)：
- Prompt：“基于图片内容设计一些需要逻辑推理的问题。”
- 产出：例如“为什么这辆车停下来了？”（GPT-4 根据标注中的‘红灯’或‘斑马线’推理出答案）。

底层原理分析：这种方法本质上是一种知识蒸馏 (Knowledge Distillation)。它将 GPT-4 强大的世界知识和逻辑推理能力，通过文本这一中介，转移到了多模态数据中。虽然 GPT-4 没看图，但它生成的对话在逻辑上与图片内容高度一致（因为基于 Ground Truth 标注）。这为 LLaVA 提供了 158K 条高质量的指令微调数据（LLaVA-Instruct-150K）。

3.2 训练策略：两阶段训练法

LLaVA 采用了两阶段的训练策略，这在后来的 LLaVA-1.5 中也得到了沿用。理解这两个阶段的区别对于掌握模型原理至关重要。

阶段一：特征对齐预训练 (Feature Alignment Pre-training)

目标：打通“视神经”。让 LLM 能够理解视觉特征的基本含义，而不是看到一堆乱码。
数据：CC3M 数据集过滤出的约 600K 个“图像-文本”对。这是简单的描述任务。
模型状态：
- 视觉编码器 (CLIP)：冻结 (Frozen)。不更新参数，保持其预训练好的视觉能力。
- LLM (Vicuna)：冻结 (Frozen)。不更新参数，保持其语言能力。
- 投影层 (Projector)：可训练 (Trainable)。
过程：输入图片，经过 CLIP 得到特征 $Z_v$ ，再经过投影层得到 $H_v$ 。LLM 接收 $H_v$ ，被要求输出图片的描述文本。
结果：经过这一阶段，投影层学会了将“视觉语言”翻译成“LLM 词向量”。

阶段二：视觉指令微调 (Visual Instruction Tuning)

目标：赋予模型多模态交互能力。让模型不仅能看懂图，还能根据图进行对话、推理、创作。
数据：GPT-4 生成的 LLaVA-Instruct-150K 数据。
模型状态：
- 视觉编码器 (CLIP)：冻结。
- 投影层 (Projector)：可训练。
- LLM (Vicuna)：可训练。
过程：这是真正的 Fine-tuning。LLM 的参数开始更新，以适应多模态任务的逻辑。模型学会了处理复杂的 Prompt，如“如果图里有危险，请指出来”。
结果：一个能够像 ChatGPT 一样聊天，同时又能看懂图片的 LLaVA 模型诞生了。

4. LLaVA-1.5：通过简单的改进实现 SOTA

LLaVA 1.0 虽然开创了先河，但在学术界的标准测试集（Benchmark）上，它的表现并不完美。主要问题在于它容易产生“幻觉”，且在需要简短回答的任务（如 VQA）上表现不佳，容易“话痨”。

论文《Improved Baselines with Visual Instruction Tuning》的核心贡献在于，它证明了不需要复杂的架构魔改，只需要三个极其简单的调整，就能让 LLaVA 的性能产生质的飞跃，甚至超越那些使用了十亿级训练数据的竞品（如 Qwen-VL, InstructBLIP）1。

本节将详细拆解这三大改进。

4.1 改进一：MLP 投影层 (MLP Projection)

在 LLaVA 1.0 中，连接视觉与语言的是一个简单的线性层（Linear Layer）。LLaVA-1.5 将其替换为两层多层感知机（MLP）。

4.1.1 线性 vs. 非线性：数学视角的解读

线性层：数学表达为 $y = Wx + b$ 。这相当于对特征空间进行旋转、缩放或平移。如果视觉特征空间和语言特征空间的对应关系比较简单，线性层是够用的。但实际上，视觉语义（如纹理、形状）到语言语义（如抽象概念）的映射往往是极其复杂的、非线性的。
MLP：数学表达为 $y = W_2 \cdot \sigma(W_1 x + b)$ $y = W_{2} \cdot σ (W_{1} x + b)$ ，其中 $\sigma$ $σ$ 是激活函数（如 GELU）。
- 激活函数的作用：激活函数引入了非线性。它允许模型“弯曲”特征空间，去拟合更复杂的映射关系。

4.1.2 为什么 MLP 更好？

通过引入 MLP，投影层不仅仅是简单的“翻译字典”，它变成了一个具有一定推理能力的“特征处理器”。它能够提取视觉特征中更深层次的组合关系，从而更精准地对齐到 LLM 的词嵌入空间。

实验数据显示，仅此一项改动，就能显著提升模型在多模态理解上的准确率。这告诉我们，在跨模态对齐中，连接器的表达能力（Capacity）至关重要。

4.2 改进二：高分辨率视觉输入 (Scaling to Higher Resolution)

LLaVA 1.0 使用的 CLIP 模型输入分辨率为 224x224。LLaVA-1.5 升级为 CLIP-ViT-L-336px，输入分辨率提升至 336x336 1。

4.2.1 分辨率与“视力”

224x224 的分辨率对于大模型来说相当于“高度近视”。在这个分辨率下，一张复杂的照片被压缩成非常模糊的信息，许多细节（如书上的文字、远处的小物体）会丢失。

幻觉的根源：当模型看不清时，它并不会闭嘴，而是会根据语言模型的概率习惯去“猜”。比如看到模糊的一团黑色，LLM 可能会根据上下文瞎编说“这是一只猫”。这就是**幻觉（Hallucination）**的主要来源之一。
336px 的改变：像素数量增加了 2.25 倍（ $336^2 / 224^2$ ）。这让模型能“看清”更多细节。

4.2.2 为什么不直接用超高分辨率？

既然分辨率越高越好，为什么不用 1024px？

这受限于预训练的 CLIP 模型。OpenAI 发布的 CLIP 模型最高分辨率版本就是 336px。如果强行输入更大的图片，需要对位置编码（Positional Embeddings）进行插值，这会导致性能下降，除非进行大规模的重新预训练。LLaVA-1.5 选择 336px 是在性能与训练成本之间的一个最优平衡点。

4.3 改进三：学术任务导向的数据与“格式提示” (Response Format Prompting)

这是 LLaVA-1.5 最具智慧的数据策略改进。

4.3.1 痛点：多任务平衡的困境

之前的模型（如 InstructBLIP）存在一个严重问题：过拟合。

场景：InstructBLIP 为了刷榜，使用了大量的 VQA（视觉问答）数据。VQA 数据的特点是问题很短，答案也很短（通常是一个单词，如 “Red”, “Yes”, “2”）。
后果：模型学傻了。当你像聊天一样问它“请描述这张图”时，它也只回几个词。它丧失了进行长文本生成和自然对话的能力。

4.3.2 LLaVA-1.5 的解决方案：Response Format Prompting

LLaVA-1.5 引入了大量的 VQA 数据（如 VQAv2, GQA, OKVQA）以提升学术能力，但为了防止模型变傻，它设计了特殊的格式提示。

机制：在训练 VQA 数据时，不仅仅给模型看问题，还在问题后面追加一段明确的指令后缀。
- 原始问题：“What color is the car?”
- LLaVA-1.5 输入：“What color is the car? Answer the question using a single word or phrase.”
原理：这本质上是在做条件控制（Conditional Generation）。
- 模型学会了：当看到后缀“用单词回答”时 -> 输出短答案（VQA 模式）。
- 模型学会了：当没有后缀时 -> 输出长答案（聊天模式）。

这一简单的策略，成功地让 LLaVA-1.5 既保留了 LLaVA 1.0 强大的闲聊能力，又在 VQA 等学术榜单上拿到了 SOTA 分数，完美解决了多任务冲突。

4.3.3 数据混合的艺术 (Data Mixture)

LLaVA-1.5 最终使用的微调数据量约为 665K，其构成经过了精心设计 1：

数据类型	来源数据集	数量	作用与洞察
多模态对话	LLaVA-Instruct	158K	基石。保持模型的对话交互能力和逻辑推理能力。
学术 VQA	VQAv2, GQA, OKVQA	~220K	事实性增强。提升模型对细节事实的精确回答能力，减少“废话”。
OCR (文本识别)	OCRVQA, TextCaps	~100K	文字阅读能力。让模型能读懂图片里的文字，这是很多实际应用的关键。
视觉定位	Visual Genome, RefCOCO	~130K	细粒度感知。训练模型理解“哪里有什么”，提升空间感知。
纯文本对话	ShareGPT	40K	逻辑增强。这是一项反直觉的发现：加入纯文本数据能提升多模态能力。因为多模态推理的瓶颈往往在大脑（LLM）的逻辑能力，ShareGPT 强化了大脑。

小结：LLaVA-1.5 的成功并非源于单一的黑科技，而是 MLP + 高分辨率 + 精细化数据策略的组合拳。它证明了在深度学习中，Data Quality（数据质量） 和 Architecture Design（架构设计） 的匹配度远比单纯堆砌数据量重要。

5. 实验分析与核心发现

为了达到“精读”的效果，我们不能只看结论，必须深入分析实验结果背后的含义。LLaVA-1.5 在 11 个基准测试上取得了 SOTA，这不仅仅是分数的胜利，更是方法论的胜利。

5.1 核心基准测试解读

下表总结了 LLaVA-1.5 与主要竞品（如 InstructBLIP, Qwen-VL）的对比情况：

Benchmark	描述	LLaVA-1.5 表现	深度解读
MMBench	综合能力测试（包含感知、推理、逻辑）	SOTA	证明了模型是一个“全能选手”，没有明显的短板。这得益于多样化的数据混合策略。
MME	感知与识别能力测试	大幅提升	相比 LLaVA 1.0，MME 分数几乎翻倍。这主要归功于引入了 VQA 和 OCR 数据，增强了事实性细节的捕捉。
POPE	幻觉测试（Object Hallucination）	低幻觉率	这是一个关键指标。LLaVA-1.5 极少无中生有。实验表明，高分辨率 (336px) 是降低幻觉的核心因素。
ScienceQA	科学问答（图表、公式、常识）	SOTA	证明了模型不仅能“看”，还能结合科学常识进行深度推理。ShareGPT 数据对此贡献巨大。

5.2 幻觉 (Hallucination) 的本质探讨

论文中关于幻觉的实验非常引人深思。

现象：早期的多模态模型经常会“瞎编”。比如给它一张空桌子的图，问“桌上的苹果是什么颜色？”，它可能会回答“红色”。
LLaVA 的发现：
- 很多人认为幻觉是因为训练数据里有噪音。但 LLaVA 发现，分辨率不足是更大的罪魁祸首。
- 当图像被压缩到 224px 时，很多细节模糊不清。LLM 在看不清的情况下，倾向于利用**语言先验（Language Priors）**来回答。因为它在纯文本训练中见过太多“桌子上有苹果”的句子，所以它猜测有苹果。
- 结论：治好“近视”，就能治好“幻觉”。 提升到 336px 后，模型看清了桌子是空的，自然就不瞎编了。

5.3 数据效率 (Data Efficiency) 的启示

LLaVA-1.5 只用了 1.2M 的数据进行训练。相比之下：

InstructBLIP 用了 1.29 亿 数据。
Qwen-VL 用了 14 亿 数据。
Sparkles 用了数千万数据。

LLaVA-1.5 用不到 1% 的数据量击败了对手。这一现象被称为 “Less is More”（少即是多）。

原理：大多数爬取的互联网图文对（如 LAION-5B）噪声极大，文本往往无法准确描述图片。大量低质数据反而会“污染”模型，让模型学到错误的对齐关系。
LLaVA 的策略：使用 GPT-4 生成的合成数据，虽然数量少，但信息密度极高，逻辑链条完整。这启示我们，未来的 AI 竞争可能不再是数据的比拼，而是数据合成与清洗能力的比拼。

5.4 消融实验 (Ablation Studies)

为了证明每个改进都是有效的，论文进行了消融实验（控制变量法）：

去掉 MLP，换回 Linear：性能下降明显。证明非线性映射是必要的。
降低分辨率：幻觉率飙升，细粒度识别能力下降。证明高分辨率是感知的基石。
去掉学术数据 (VQA)：MME 等感知榜单分数暴跌。证明学术数据对于纠正模型的“事实性”至关重要。

6. 前沿探索：LLaVA-HD 与高分辨率的未来

在论文的探讨部分（Discussion）及附录中，作者并未止步于 336px，而是提出了一个开放性问题：如何处理更高分辨率（如 1024x1024 或任意比例）的图像？这引出了 LLaVA-HD (High Definition) 的探索。

6.1 传统方法的局限

如果直接把一张 1000x1000 的图缩放到 336x336，会产生严重的变形和细节丢失。如果强行调整 CLIP 的参数来适应大图，需要极高的训练成本。

6.2 LLaVA-HD 的切片策略 (Grid Splitting)

LLaVA 提出了一种不需要重新预训练 CLIP 就能处理大图的机制。

机制：切片 + 全局 (Local + Global)
1. 切片 (Grid Splitting)：将一张大图切分成多个 336x336 的小图块（Patches）。例如，一张长图可以切成 2x2 或 1x3 的网格。
2. 独立编码：每个小图块被视为一张独立的图片，通过 CLIP 编码得到特征向量。
3. 全局概览 (Global Context)：除了切片，还将原图缩放成一张 336x336 的缩略图，并进行编码。
4. 拼接：将“缩略图特征”和所有“切片特征”拼接在一起，喂给 LLM。
隐喻：这就像人类看地图。
- Global：先看一眼全图，知道大概的轮廓和区域分布（缩略图）。
- Local：再拿着放大镜，一块一块地看细节（切片图）。
- 这种机制让 LLaVA 能够兼顾宏观布局和微观细节，极大地增强了对文档、图表等密集信息图像的理解能力。

7. 局限性与未来展望

即使是强大的 LLaVA-1.5，也存在其局限性，理解这些局限对于客观评估模型至关重要。

图像分辨率的计算开销：

虽然 LLaVA-HD 解决了分辨率问题，但图片切得越多，生成的 Visual Tokens 就越多。LLM 的上下文窗口是有限的，处理过长的视觉序列会显著增加推理时间和显存占用。未来的方向是如何压缩视觉 Token（如 Token Merging）。
多图理解能力 (Multi-image Understanding)：

目前的 LLaVA 主要针对单图对话。对于“比较两张图的区别”或“视频理解（多帧图像）”，LLaVA 的训练数据较少，能力相对较弱。后续的 LLaVA-NeXT 等工作正在着手解决这一问题。
特定领域的短板：

虽然 LLaVA 是通用助手，但在极度专业的领域（如复杂的医疗影像诊断、极小语种识别），其表现仍不如专用模型。这受限于预训练数据（CLIP）和微调数据的覆盖范围。

8. 总结

LLaVA 及其进化版 LLaVA-1.5 的故事，是人工智能领域化繁为简的经典案例。

它没有：重新训练昂贵的视觉编码器，也没有设计复杂的注意力机制模块（如 Q-Former）。
它做了：
1. 数据创新：利用 GPT-4 的文本推理能力，无中生有地创造了高质量的多模态指令数据，解决了“教什么”的问题。
2. 架构极简：用最简单的 MLP 将视觉与语言连接，利用高分辨率输入解决幻觉，解决了“怎么学”的问题。
3. 策略精细：通过 Response Format Prompting 解决了多任务冲突，实现了学术能力与对话能力的统一。

对于希望彻底看懂这篇论文的读者，请记住以下核心底层原理：

跨模态本质是翻译：视觉特征只是另一种语言，Projector 是翻译器。
模型能力源于数据：LLaVA 的智能很大程度上来自于 GPT-4 生成的那 158K 条高质量对话链。
感知决定认知：看不清（分辨率低）就会导致瞎想（幻觉）。

LLaVA 不仅是一个模型，它定义了开源多模态大模型的基准线（Baseline）。如今，无数的后续工作（如 BakLLaVA, LLaVA-Med, Yi-VL）都建立在 LLaVA 的代码库和方法论之上。读懂了 LLaVA，你就读懂了现代多模态大模型的半壁江山。

9. 附录：核心术语对照表

为了辅助您的学习，以下整理了文中的核心概念对照表：

英文术语	中文翻译	通俗解释
Visual Instruction Tuning	视觉指令微调	教模型“看图听话”的过程。
Vision Encoder	视觉编码器	模型的眼睛 (CLIP)，负责把图片变成数字向量。
Projector / Connector	投影层 / 连接器	视神经，负责把视觉向量翻译成语言向量。
MLP (Multilayer Perceptron)	多层感知机	一种非线性的神经网络层，比线性层更聪明。
Hallucination	幻觉	模型一本正经地胡说八道（通常因为看错或不知道）。
SOTA (State of the Art)	业界最强	当前技术水平下的最高分或最好表现。
Zero-shot	零样本	没专门学过某道题，但凭通识能力直接做出来的能力。
Ablation Study	消融实验	拆掉某个零件看看车还能不能跑，用来证明该零件的重要性。