本周任务
熟悉并跑通VDT代码(重点关注时空mask策略)、Latte代码(重点关注多种Transformer Block)、AnimateAnyone代码(重点关注RefNet、Clip)、DiT代码。
调研数据集(从对比工作开源数据集开始,调研开源数据集、总结视频数据预处理流程)
张启元
- [x] 熟悉、测试VDT代码
- [x] 调研数据集(从对比工作开源数据集开始)
刘怀泽
吴晨宇
陈君林
李佳宸
下周任务
陈君林
- [ ] 复现DDPM,跑出结果
- [ ] 调研视频加速方法
吴晨宇
- [ ] 去深入研究一下opensora和普通的diffusion-transformer(Latte)的区别,特别是CausalVAE,是怎么实现的
- [ ] 研究的过程中可以想一想你之前提到的,controlnet怎么迁移到diffusion-transformer的架构中