9月19日消息，阿里开源全新动作生成模型通义万相wan2.2-animate，该模型同时支持动画和替换两种模式，输入一张角色图片和一段参考视频，可将视频角色的动作、表情迁移到图片角色中，赋予图片角色动态表现力；同时还可在保留原始视频的动作、表情及环境的基础上，将视频中的角色替换为图片中的角色。该模型支持驱动人物、动漫形象和动物照片，可应用于短视频创作、舞蹈模板生成、动漫制作等领域。
去年年初，阿里推出了animate anyone模型，基于该模型的「全民舞王」功能一度火爆全网，兵马俑、萌宠跳科目三的视频在社交平台刷屏。但此前的技术框架无法同时控制动作、表情和环境交互，生成的视频依旧存在不自然的问题。
此次，通义万相团队构建了一个涵盖说话、面部表情和身体动作的大规模人物视频数据集，并基于通义万相图生视频模型进行后训练。Wan2.2-Animate将角色信息、环境信息和动作等，规范到一种统一的表示格式，实现了单一模型同时兼容两种推理模式；针对身体运动和脸部表情，分别使用骨骼信号和隐式特征，配合动作重定向模块，实现动作和表情的精准复刻。在替换模式中，团队还设计了一个独立的光照融合LoRA，用于保证完美的光照融合效果。
实测结果显示，Wan2.2-Animate在视频生成质量、主体一致性和感知损失等关键指标上，超越了StableAnimator、LivePortrait等开源模型，是目前性能最强的动作生成模型，在人类主观评测中，Wan2.2-Animate甚至超越了以 Runway Act-two代表的闭源模型。
Animate AI
Animate AI是个一站式AI动画故事视频生成工具
85 查看详情 
自今年 2 月以来，通义万相已连续开源20多款模型，在开源社区和三方平台的下载量已超3000万，是开源社区最受欢迎的视频生成模型之一。通义万相模型家族已支持文生图、文生视频、图生视频、人声生视频和动作生成等10多种视觉创作能力。
以上就是阿里开源动作生成模型Wan2.2-Animate，可一键让照片动起来的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/227349.html
微信扫一扫 
支付宝扫一扫 
