这是一篇关于 Tuna-2 (金枪鱼-2) 项目的深度分析报告。该研究由 Meta AI、香港大学及滑铁卢大学的研究团队共同完成，并作为 CVPR 2026 的亮点工作发布。

视觉编码器的终结？Tuna-2：端到端像素级多模态学习的进化

在多模态大模型（LMM）领域，主流架构（如 LLaVA、Qwen-VL）长期以来一直依赖于预训练的视觉编码器（如 CLIP、SigLIP）和 VAE（如 Stable Diffusion 核心组件）。这种“模块化组合”虽然有效，但也带来了严重的任务对齐瓶颈。

Tuna-2 的出现打破了这一现状。它证明了：直接基于像素嵌入（Pixel Embeddings）的端到端学习，不仅能处理生成，在理解任务上甚至能超越传统的编码器架构。

1. 架构演化：从复杂到极致简化

Tuna-2 的核心贡献在于对模型架构的“大手术”。研究团队通过逐步剥离传统组件，探索了视觉表征的最简路径：

为什么这样做？

1. 消除归纳偏置： 预训练编码器自带的视觉偏置有时会限制模型对未见分布的理解。
2. 完全端到端： 视觉与语言在同一个 Transformer 解码器中完成优化，消除理解与生成任务之间的“鸿沟”。

2. 核心技术创新：像素空间的炼金术

Tuna-2 并非简单地删减组件，它引入了两项关键技术来确保模型在失去编码器“拐杖”后依然强大：

像素空间流匹配 (Pixel-Space Flow Matching)

传统模型多在潜在空间（Latent Space）进行生成，而 Tuna-2 直接在像素空间运行。它采用 Rectified Flow（整流） 技术，通过线性调度构建噪声样本，实现了高保真的图像生成和精确的图像编辑。

掩码视觉特征学习 (Masking-Based Learning)

为了增强理解能力，模型在训练中会随机掩盖图像块。

• 对于生成： 这创造了一个更高难度的去噪问题，迫使模型学习深层纹理。
• 对于理解： 迫使模型在“残缺信息”下进行多模态推理，显著提升了精细视觉感知的鲁棒性。

3. 核心发现：规模化是制胜法宝

Tuna-2 的实验结果揭示了一个深刻的洞察：视觉预训练的规模（Scaling）是弥补编码器缺失的关键。

• 初期劣势，后期反超： 在预训练早期，拥有预训练编码器的模型（如 Tuna-R）收敛更快。但随着训练量级的提升，无编码器的 Tuna-2 展现出更强的后劲。
• 细粒度感知之王： 在需要极高空间分辨率的任务上（如精细物体检测、复杂场景理解），Tuna-2 的注意力图显示出比 Qwen2.5-VL 等模型更精准的区域聚焦。
• 生成与理解的统一： Tuna-2 实现了真正意义上的“同根同源”，一套权重同时搞定 4K 高清图像生成和深度语义理解。

4. 行业启示：下一代多模态模型的范式转移

Tuna-2 的成功预示着多模态领域可能迎来一次**“去中间件”**的浪潮：

1. 架构单一化： 视觉处理将不再需要专门的 CLIP-like 编码器，未来的趋势是“全 Transformer”直接吞噬原始像素。
2. 算力换性能： 虽然这种方式对视觉预训练的算力要求更高，但它释放了端到端优化的上限。
3. 统一化（Native Unified）： Tuna-2 证明了原生统一模型（Native UMMs）在性能上完全可以与专门化的模型（Understanding-only 或 Generation-only）竞争。

总结：
Tuna-2 不仅仅是一个性能更强的模型，它更像是一篇“宣言”，宣告了视觉编码器不再是多模态建模的必然选择。对于追求极致性能和简洁架构的研究者来说，**“回归像素”**正成为通往强人工智能的全新路径。

项目相关链接：

• 论文编号： arXiv:2604.24763
• 收录情况： CVPR 2026 Highlight

项目地址：https://tuna-ai.org/tuna-2/

主题授权提示：请在后台主题设置-主题授权-激活主题的正版授权，授权购买：RiTheme官网