Prism 团队投稿至凹非寺
量子位公众号 QbitAI
只要把推理和感知能力拆分，2B 大模型就能战胜 20B？！
上海 AI Lab 联合南京大学、香港中文大学等机构，共同推出了一套两阶段框架——Prism。
这一框架不仅显式地解耦了视觉语言模型（VLM）的感知和推理，还提供了一种更高效的处理视觉语言任务的方案。
最终让 2B VLM 和 ChatGPT 的组合表现出相当于 10 倍参数量 VLM 的性能。
Prism 框架架构及功能
在解决复杂的视觉语言任务时，模型的感知和推理能力至关重要。当模型在基准测试中表现不佳时，我们如何区分问题源自感知能力还是推理能力？
针对这一问题，Prism 框架将视觉语言任务处理拆分为两个独立阶段：
- 感知阶段：VLM 作为感知模块遵循指令提取输入图片的视觉信息，并以文本形式输出
- 推理阶段：LLM 作为推理模块根据提取得到的文本信息，结合输入文本生成回复
框架架构如下图所示：
Prism 框架中用于引导 VLM 生成图片描述的指令可以是问题相关的，也可以是问题无关的。
VLM 在框架中只用于视觉感知，而推理任务则由 LLM 解决。通过固定框架中的 LLM，可以测试不同 VLM 的感知能力；相对应地，通过固定 VLM 并使用不同 LLM，可以观察 VLM 的性能是否被推理能力限制。
除此以外，通过选定 VLM 和 LLM，Prism 具有解决视觉语言任务的能力。
利用 Prism，团队对现有 VLMs 的感知和推理能力进行了解耦分析，揭示了若干有趣的发现。从这些发现中汲取灵感，团队在 Prism 框架内整合了专注于感知的轻量级 VLM 和一个专注于推理的强大 LLM。
定量结果表明，这种组合在各种视觉语言任务中表现出卓越的性能和效率。
视觉语言模型感知推理解耦分析
固定 Prism 中的 LLM 为 ChatGPT-3.5 可以进行不同 VLM 感知性能的对比。考虑到对视觉输入依赖、数据泄露以及复杂性等问题的考虑，团队选择 MMStar 作为实验的基准。
实验使用了两类不同的指令。一是问题无关的通用指令，提前设定并固定；二是问题相关指令，其由问题需要关注的内容与通用指令拼接得到。问题需要关注的内容由推理模块 LLM 根据输入问题通过 few shot 输出。评估过程中最大输出长度设置为 512，并采用贪心解码策略。
不同 VLM 在两类指令上 overall 的性能表现为：
在两类指令中，GPT-4o 表现出了最强的感知能力。
在开源模型领域，InternVL-Chat-v1.5 表现最佳。在问题相关指令的结果中，InternVL-Chat-v1.5 不仅在开源模型中表现最好，还微弱领先于 GPT-4v。
细粒度分析
闭源商用模型与开源模型的感知能力比较
GPT-4o 作为闭源商用模型，在感知能力方面明显超过其他模型，并且可以熟练地处理各种感知任务。一些开源模型，例如 InternVL-Chat-v1.5 和 LLaVA-NeXT （Yi-34B），已经取得了显著的性能，接近 GPT-4v 和 GeminiPro-V 等闭源 VLM 的能力。其他开源模型由于感知能力有限，通常表现稍差。值得注意的是，MiniCPM-V-2 作为一款具有约 3B 参数的轻量级 VLM，相比某些 7B VLM 表现出更好的感知性能。
感知能力的表现与端到端的性能表现的差异
除了以端到端的方式解决视觉问题外，Prism 还提供了一个替代管道，其中 VLM 仅用于感知。这两种方法之间的区别在于推理过程：前者在 VLM 内部进行推理，而后者基于使用外部 LLM (ChatGPT)进行推理。这两种方法在 MMStar 上的比较如下图所示：
对于最先进的大规模 VLM，如 GPT-4o 和 InternVL-Chat-v1.5，它们具有出色的推理能力，使用外部 ChatGPT 进行推理可能会降低整体性能。相反，对于大多数小规模的 VLM，使用 ChatGPT 进行推理可以显著提高它们的性能，特别是在推理相关的 VQA 中，如下图所示。这一现象表明，小规模 VLM 的整体性能可能会受到语言模型的大小的严重限制。
ChatGPT 的推理能力是否限制了最先进的 VLM 呢？答案为是的。
将 GPT-4o 分别用作感知和推理模块进行解耦得到总体准确率为 61%，与端到端 GPT-4o 性能 61.6% 几乎相同。
语言模型对感知能力的影响
评估过程中观察到当使用更大的语言模型时，LLaVA-v1.5 系列没有显示出显著的改进。这表明当使用相对低分辨率的视觉主干时，感知性能可能与语言模型的大小无关。
同时，LLaVA-NeXT 系列的定量结果表明，扩大语言模型会略微增强模型感知，特别是在使用问题相关指令时。其主要原因为：更精细的表达以及更适应于指令，如下图例子所示：
消融实验
团队针对 Prism 中的通用指令，推理模块 LLM 以及 VLM 视觉编码器对感知能力的影响做了消融实验，结果如下：
- 通用指令：对人工手写、GPT 生成、思维链以及任务分解等不同类型指令的实验结果表明，即使差距并不明显，评估分析中所采用的指令是其中最有效的。
- 推理模块：比较不同的 LLM 推理模块的结果显示，ChatGPT 在推理性能上表现良好，而 GPT4 则进一步提高了性能。开源模型 Llama3-70B-Instruct 表现出与 GPT4 相当的能力，表明开源模型在视觉信息推理中的潜力
- 视觉编码器：关于 VLM 中视觉编码器对感知性能影响的实验表明，SigLip-SO400M 相比于 CLIP ViT-L/14 和 InternViT-6B 在实验基准上表现更好。
专注感知的轻量级视觉语言模型
团队从分析的结果中得到启发，使用 ALLaVA 数据训练了专注感知的轻量级VLM--PrismCaptioners，并在 Prism 框架中与强大的 LLM 进行整合。
数据与架构
数据集
PrismCaptioners 使用 ALLaVA 中的 ALLaVA-Caption-4V 和 Evol-Intruct-GPT4-Turbo-143K 作为指令调优数据。与 QA 格式的指令调优数据相比，利用描述性数据进行指令调优可以更好地训练 VLM 提取和表达视觉信息的能力。
模型架构
使用 SigLip-SO400M 作为视觉编码器，InternLM2-[1.8B/7B] 作为语言编码器，训练了两个不同尺度的视觉 captioner，称为 PrismCaptioner-[2B/7B]。
模型性能
团队在 MMStar, MMMU, MathVista，AI2D 以及后三者的子集上进行了实验。子集选取的策略类似于 MMStar。将 PrismCaptioner 作为 Prism 感知模块并接入 ChatGPT 或 Llama3 的性能表现如下表所示。公平起见，模型均使用单个图像作为输入，并将最大输出长度限制为 512。
通过 Prism 整合 VLM 与 LLM 的方式相比于基于 LLaVA 数据训练的端到端 baseline 有显著的性能提高。同时，PrismCaptioner 相比于另一开源 caption 生成模型 ShareCaptioner 也有更好的效果。
对于 7B 版本，Llama3 的接入带来大幅性能提升，使组合 PrismCaptioner-7B 的方案成为极具竞争力的视觉语言模型，特别是在 MMStar 和 MMMU 上。对于 2B 版本，接入 Prism 后，它实现了与其十倍以上大小 VLM 相当的性能水平。这表明 Prism 能够提供一个强大而高效的解决方案，例如带有 ChatGPT 的 PrismCaptioner-2B，并展现了令人印象深刻的结果。
当最大输出长度设置为 2048，并允许多张图像输入时(为每张生成描述并拼接)，接入 Llama3 的方案在 MMMU 上取得了更高的性能，在开源领域优势明显，如下表所示：
此外，Prism 允许灵活地结合多个 VLM以增强感知。例如，简单地将 GPT-4v 和 GeminiPro-V 的输出拼接起来，即可在 MMStar 基准测试中的大多数指标上显示出了显著的改进，如下图所示：
此外，他们还跟 GPT-4o 进行了一个对比，发现仍有一定的进步空间。GPT-4o 在空间感知推理方面能力更强，描述的更为详细和准确。
Prism 框架的引入为视觉语言模型的研究和应用开辟了新途径。
通过有效解耦感知和推理，Prism 不仅能够用于模型的分析和视觉语言任务的解决，还为未来的研究提供了新的方向。我们期待 Prism 在更多视觉语言任务中的应用，进一步推动这一领域的发展。
论文链接：
https://arxiv.org/abs/2406.14544
Github 链接：
