☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
跃问视频
阶跃星辰推出的AI视频生成工具
39 查看详情
lingen是由普林斯顿大学与meta联合开发的一种全新的文本生成视频框架。该框架采用线性复杂度的mate模块（包含ma-branch和te-branch），取代传统diffusion transformers中计算复杂的自注意力机制，从而实现在单个gpu上高效生成高分辨率、长时间段的视频内容。lingen在降低计算开销的同时保持高质量输出，在视频质量和生成效率方面均优于现有先进模型，为长视频生成及实时交互式应用提供了新方向。
LinGen的核心功能
高分辨率视频生成：支持生成如512p、1024p等高清视频，满足专业级内容创作需求。长时长视频输出：可生成分钟级别的视频，突破以往只能生成10-20秒短视频的限制。线性复杂度结构：基于MATE模块实现线性计算复杂度，显著减少资源消耗，适合在单一GPU设备上运行。优质视频表现：生成的视频在画面质量、文字匹配和帧间连贯性方面表现优异。支持实时交互生成：具备实时生成与编辑能力，适用于多种动态内容制作场景。
LinGen的技术架构
MA-branch（多尺度注意力分支）：双向Mamba2模块：采用高效的线性序列模型Mamba2，并通过双向设计捕捉序列中的前后依赖关系。Rotary Major Scan（RMS）：通过不同扫描方式（如空间行优先、列优先，时间行优先、列优先）重新排列3D视频token张量，增强局部相关性并降低延迟。Review Tokens：在处理前添加平均池化token，提供整体序列概览，强化远距离关联。TE-branch（时间注意力分支）：将3D视频token划分为窗口并在窗口内计算自注意力，TESA机制能捕捉空间邻近与时间中距token之间的联系；窗口在各层之间交替移动以扩大感受野，提升视频一致性。线性计算优化：得益于MATE模块的设计，LinGen的计算复杂度与像素数量呈线性增长，而非传统模型的二次增长，极大提升了生成效率。渐进训练策略：首先在低分辨率图像任务上预训练，随后逐步提升视频分辨率与时长进行训练；结合图文对混合训练，提高视频连贯性；最终在高质量视频数据集上微调，进一步优化输出效果。
LinGen的项目信息
项目官网：https://www.php.cn/link/407c334809565d941338efc9e3a9f687GitHub仓库：https://www.php.cn/link/3f1176741b1b079bdc7a2e7f208c902f技术论文链接：https://www.php.cn/link/4c2aeb849fab47239887f8bf9c8e6278
LinGen的应用领域
内容创作：用于快速生成电影、电视剧、广告等内容，缩短制作周期并降低成本。游戏娱乐：生成游戏过场动画和背景视频，增强视觉沉浸感。教育与培训：制作教学视频和实验演示，提高学习趣味性和互动性；为企业员工培训提供直观的学习材料。广告营销：快速生成多样化广告视频，适应不同投放场景，提升传播效率。艺术创意：作为新型创作工具，为艺术家提供灵感激发和视频艺术表达的新方式。
以上就是LinGen— Meta联合普林斯顿大学推出的文本到视频生成框架的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/114447.html
微信扫一扫 
支付宝扫一扫 
