Video generation models have achieved remarkable progress in the past year. The quality of AI video continues to improve, but at the cost of larger model size, increased data quantity, and greater demand for training compute. In this report, we present Open-Sora 2.0, a commercial-level video generation model trained for only $200k. With this model, we demonstrate that the cost of training a top-performing video generation model is highly controllable. We detail all techniques that contribute to this efficiency breakthrough, including data curation, model architecture, training strategy, and system optimization. According to human evaluation results and VBench scores, Open-Sora 2.0 is comparable to global leading video generation models including the open-source HunyuanVideo and the closed-source Runway Gen-3 Alpha. By making Open-Sora 2.0 fully open-source, we aim to democratize access to advanced video generation technology, fostering broader innovation and creativity in content creation. All resources are publicly available at: https://github.com/hpcaitech/Open-Sora.


翻译:过去一年中,视频生成模型取得了显著进展。AI视频质量持续提升,但代价是模型规模增大、数据量增加以及对训练算力的需求更高。本报告介绍了Open-Sora 2.0——一个仅以20万美元成本训练的商业级视频生成模型。通过该模型,我们证明训练顶级视频生成模型的成本是高度可控的。我们详细阐述了实现这一效率突破的所有技术,包括数据筛选、模型架构、训练策略与系统优化。根据人工评估结果与VBench评分,Open-Sora 2.0的性能可与全球领先的视频生成模型相媲美,包括开源的HunyuanVideo与闭源的Runway Gen-3 Alpha。通过将Open-Sora 2.0完全开源,我们旨在普及先进视频生成技术的使用,促进内容创作领域更广泛的创新与创造力。所有资源已公开于:https://github.com/hpcaitech/Open-Sora。

0
下载
关闭预览

相关内容

Sora技术深度解析,21页pdf
专知会员服务
161+阅读 · 2024年2月26日
文生视频模型Sora面世,AI生视频技术持续革新
专知会员服务
65+阅读 · 2024年2月20日
OpenAI发布文生视频模型Sora,系统报告
专知会员服务
81+阅读 · 2024年2月19日
OpenAI Sora视频生成模型技术报告中英全文
专知会员服务
115+阅读 · 2024年2月17日
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
最新内容
大模型错因诊断分析
专知会员服务
0+阅读 · 今天14:58
视频生成基础模型进展
专知会员服务
0+阅读 · 今天14:53
《军事对抗环境中移动自组网的时敏信道分配》
专知会员服务
2+阅读 · 今天14:24
《关键任务型人工智能的可靠性》
专知会员服务
2+阅读 · 今天14:16
《对流层散射系统在军事通信网络中的应用前景》
人工智能军事技术在中东地区的扩散
专知会员服务
3+阅读 · 今天5:45
《军用5G基本战术网络研究与仿真》
专知会员服务
8+阅读 · 今天5:37
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员