Diffusion LLM 会不会是未来？

生成模型有很多分类，现在LLM大部分是autoregressive类的生成模型，但个人感觉diffusion类才是生成模型的未来。

一个简单的思考是，LLM现在生成的答案，一个token一个token地出来，生成出来后无法返回修改。 diffusion的话，对整个答案的token都进行修改。准确预测下一个词太难了，人类对答案都是多番修改的。

对应的例子是，最近的 diffusion world model^[1]的论文，从autoregressive transformer切换为 diffusion transformer，主要原因还是上面这个，diffusion可以一并修改多个timestep的内容，而不是逐个timestep采样，结果也是diffusion的效果更好。

从概率模型角度出发，我们最终需要的是 联合分布$p(x_0,x_1,...,x_{t-1},x_t)$p(x_0, x_1, ..., x_{t-1}, x_t) ，而不是 条件分布 $p(x_t|x_0,x_1,...,x_{t-1})$p(x_t| x_0, x_1, ..., x_{t-1}) ，这个条件分布只是为了简化问题而转换出来的。多了这一步转换，从The bitter leason^[2]来看，就是加入了人工先验，应该去除。所以，diffusion LLM的scaling law应该会比 autoregressive 版本强，语言模型从$p(x_t|x_0,x_1,...,x_{t-1})$p(x_t| x_0, x_1, ..., x_{t-1})采样太拉啦，diffusion直接从 $p(x_0,x_1,...,x_{t-1},x_t)$p(x_0, x_1, ..., x_{t-1}, x_t)采样才是未来。此外，transformer只是一种scaling比较强的网络结构，不管autoregressive还是diffusion的生成类模型都可以使用，并不局限于只能autoregressive。

其实，还有很多例子来佐证。DALLE 1 ^[3]是 autoregressive的，效果一般。 DALLE 2换成了diffusion，还额外对比了autoregressive的效果，diffusion计算效率更高且效果更好^[4]。然后，最近的图像和视频领域中效果炸裂的模型主要是基于 diffusion的，譬如SDv3^[5]和Sora^[6]。

所以，有没可能下一代LLM就是diffusion类的？

参考

1. ^Diffusion World Model https://arxiv.org/abs/2402.03570
2. ^The Bitter Lesson http://www.incompleteideas.net/IncIdeas/BitterLesson.html
3. ^Zero-Shot Text-to-Image Generation https://arxiv.org/abs/2102.12092
4. ^DALLE 2 https://cdn.openai.com/papers/dall-e-2.pdf
5. ^Stable Diffusion 3: Research Paper https://stabilityai-public-packages.s3.us-west-2.amazonaws.com/Stable+Diffusion+3+Paper.pdf
6. ^OpenAI Sora https://openai.com/sora