过去两周，科技公司之间围绕 AI 模型的军备竞赛明显升温。OpenAI发布了GPT-4o ，紧接着谷歌宣布了Gemini的多项改进。随后，微软宣布了一系列Copilot+ PC以及自己的 AI 改进。
但当这一切发生时，Meta 也在处理自己的 AI 业务。该公司悄悄发布了一篇关于其在多模态 AI 领域努力的研究论文。Venture Beat发现，这篇论文显示 Meta 正在开发一种名为 Chameleon 的多模态大型语言模型。
这与 Meta AI去年夏天发布的生成式 AI 模型 CM3leon(读作 Chameleon)不同。Meta AI 在其博客文章中表示，CM3leon 模型将有助于未来 LLM 的改进。
研究论文声称，Chameleon 是最先进的，可以击败或与 Gemini、GPT-4 和 Meta 自己的 Llama-2 等其他模型相媲美。
与谷歌的 Gemini 类似，Chameleon 建立在“基于早期融合标记的混合模式”架构之上。这意味着该模型从一开始就从图像、代码、文本和其他输入的组合中进行学习，并使用该内容创建序列。
构建多模态架构的另一种方法是将多个在单一模态上训练的模型拼接在一起。这称为“后期融合”。本质上，AI 系统采用单个模型并将它们融合在一起进行推理。后期融合显然效果很好，但可能会限制 AI 整合信息的能力。
在论文中，作者表示 Chameleon 与谷歌的 Gemini 最为相似，后者的构建方式也类似。不过，研究人员表示，与 Gemini 不同的是，Chameleon 是一种端到端模型。