今天想和大家聊一聊`DiT`模型中的Cache优化
Invitation
Paitsai
114514
created:07/11/2024
Welcome to Mr.Xau's blog
Use this card to join the candyhome and participate in a pleasant discussion together .
Welcome to Akilar's candyhome,wish you a nice day .
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 丸山之上繽紛彩, 丸山彩desu!!!！
相关推荐
2025-04-23
今天想和大家谈谈`DiT`(Diffusion Transformer)
论文地址click here
DiT主要基于Vision
Transformer（ViT）架构，该架构对patches序列进行操作，DiT保留了ViT的大部分配置。为了将tranformer架构用在视觉领域上,
我们需要将图片信息进行序列化操作(patchify):
patches2tokens
原始diffusion模型中VAE加噪得到一个隐空间状态记作 ,
首先可以考虑使用一个线性嵌入层将patches转换为tokens序列,如同下图所示:
最后转换出来的tokens序列的长度由patching size
p所决定,最终得到tokens序列的长度就是 ;
DiT block architecture
原始ViT中，在patchify之后，输入tokens会直接由一系列Transformer块处理。但DiT的输入除了noise图像外，有时还会处理额外的条件信息，如noise时间步
，类标签 ，输入自然语言等。
Transformer Decoder...
2025-04-19
最近想和大家讲讲`diffusion model`!
Diffusion和图像生成的关系
谈到diffusion model那么就不得不谈及AIGC.
在过去几年里里，以Stable
Diffusion为代表的AI图像/视频生成是世界上最为火热的AI方向之一. Stable
Diffusion里的这个”Diffusion”是什么意思？其实，扩散模型(Diffusion
Model)正是Stable Diffusion中负责生成图像的模型。想要理解Stable
Diffusion的原理，就一定绕不过扩散模型的学习。
在这篇文章里，我会由浅入深地对去噪扩散概率模型（Denoising Diffusion
Probabilistic Models,...
