上周目标

1. 编写视频生成backbone代码
2. 深入研究open-sora 的 causalVAE压缩方案
3. 调研条件控制方案

上周具体任务

Task1: 完成DiT Backbone代码

Task2: 深入研究open-sora 的 causalVAE压缩方案

本周目标

1. 收集人物数据
2. follow当前最先进的条件控制技术（ID preserve & Style transfer），把refnet先尝试迁移进来

本周具体任务

1. 确定可采用的数据集和数据规范
2. 归纳当前最先进的视频控制技术

• 《VISA-1》https://arxiv.org/pdf/2404.10667.pdf
• 《Ctrl-Adapter: An Efficient and Versatile Framework for Adapting Diverse Controls to Any Diffusion Model》https://arxiv.org/pdf/2404.09967.pdf
• 《A Recipe for Scaling up Text-to-Video Generation with Text-free Videos》https://tf-t2v.github.io/
• 《InstantStyle》https://arxiv.org/pdf/2404.02733.pdf
• 《StableIdentity: Inserting Anybody into Anywhere at First Sight》
• 《CoDeF: Content Deformation Fields for Temporally Consistent Video Processing》