近日，深度学习领域的杰出研究者何恺明及其团队又放了个大招，推出其团队最新研究工作，在AI研究领域引起了广泛关注。
何恺明2024年加入麻省理工学院(MIT)，在电气工程与计算机科学系担任教职。
何恺明团队联合Google DeepMind和清华大学，首次提出了一种无需矢量量化的自回归图像生成方法，彻底颠覆了人们对自回归生成技术的认知。
3.5研究测试：hujiaoai.cn4研究测试：askmanyai.cn Claude-3研究测试：hiclaude3.com
在传统的自回归图像生成中，矢量量化一直是不可或缺的一环。然而，这种方法的局限性在于，它依赖于离散的tokenizer，这在一定程度上限制了生成图像的灵活性和多样性。
而今，何恺明团队巧妙地借鉴了扩散模型的思想，成功地将自回归模型从矢量量化的束缚中解放出来，实现了连续值生成图像的突破。
一起看看这一创新是如何提高自回归图像生成的质量和多样性的，以及是如何改变AI领域的未来走向！
论文题目: Autoregressive Image Generation without Vector Quantization论文链接: https://arxiv.org/abs/2406.11838
扩散损失引入自回归图像生成自回归模型在自然语言处理中非常成功，人们普遍认为它们需要离散表示。因此，在将自回归模型应用于图像生成等连续值领域时，研究主要集中在如何将图像数据离散化，而不是直接在连续空间上建模。
但自回归的本质在于基于前面的token作为输入来预测序列中的下一个token，不禁疑惑：难道连续的token值就不能实现上述过程了吗？
何凯明团队将扩散过程中的损失函数引入到自回归图像生成过程，引入了扩散损失（Diffusion Loss）。
自回归模型学习不同token间的关联性，而扩散过程通过损失函数学习单个token的概率分布。具体来讲，自回归模型会根据前面的token预测一个向量z作为小型去噪网络（如MLP）的条件，通过损失函数不断学习连续值x的潜在分布并从中采样。
统一自回归和掩码生成模型的创新框架何恺明团队还提出了一种统一标准自回归模型（AR）和掩码生成模型（MG）的广义自回归框架，具体表现为掩码自回归（MAR）模型。该模型利用双向注意力机制，在随机顺序下同时预测多个输出标记，同时保持自回归的特性。这一方法显著提高了生成速度。
传统的因果注意力机制，它通过限制每个标记只关注之前的标记来实现自回归。而双向注意力机制，它允许每个标记在序列中看到所有其他标记。掩码标记在中间层添加了位置嵌入，这种设置只在未知标记上计算损失，但允许序列中的标记之间进行全面的交流，从而在推理时能够逐个生成标记。同时，它还允许我们同时预测多个标记。
自回归+扩散 vs 自回归 vs 扩散作为自回归模型和扩散模型的融合，其方法极具有创新性，那与传统自回归生成和扩散生成相比，性能如何呢？
生成快且效果精相比于传统的自回归（AR）模型和扩散Transformer（DiT）模型，MAR模型在使用扩散损失后，能够更快速且更准确地生成图像。具体来说，MAR模型的生成速度小于0.3秒每张图像，且在ImageNet 256×256数据集上的FID得分小于2.0，体现了其高效性和高质量。
与领先模型相较毫不逊色不同模型规模下，经过800个周期的训练，此方案展示了良好的扩展性。与当前的领先模型相比，此方法也毫不逊色。在不使用CFG的情况下，MAR模型的FID为2.35，显著优于其他基于标记的方法。最佳条目的FID为1.55，与领先模型相比具有竞争力。
总结何恺明团队在图像生成领域的强有力结果表明，自回归模型或其拓展版本不仅仅是语言建模的有力工具，它们在其他领域也有很大的潜力。这些模型不必受限于向量量化表示，这意味着它们可以更有效地处理连续值表示的数据。
