9月19日，通义万相推出Wan2.2-Animate模型，核心能力为“上传一张人物图片+一段视频”，即可实现动作复刻与角色替换。无论是让静态角色“复刻舞蹈”，还是在影视后期中“替换主演”，均能生成电影级动态效果，适用于魔改剧情（角色剧情混搭穿越）、影视后期处理换人等创意场景。其一，采用统一模型架构，通过优化输入范式，将“图生动作”（Move模式）与“视频换人”（Mix模式）统一为共同符号表示，模型可根据输入自动切换生成模式，无需训练两个独立模型，大幅提升开发效率与资源利用率；其二，精准控制表情与肢体，将控制信号拆分为两部分 —— 身体运动借助 VitPose 提取的 2D 骨骼信号注入初始噪声潜在向量，确保动作迁移准确；面部表情则直接编码参考视频的原始人脸图像为帧级隐式潜在特征，通过时序对齐交叉注意力机制注入，避免手动关键点丢失细节，完美复刻微妙表情变化；其三，实现角色替换后的真实光影重塑，Mix模式下引入Relighting LoRA 模块，依托IC-Light合成数据训练，能在保持角色外观一致的同时，学习目标视频的环境光照与色彩色调，让新角色“融入”而非“贴上”原视频，且原生支持带运镜、镜头抖动的复杂视频；其四，开源完整工作流，涵盖模板视频处理代码（输入驱动视频输出模板文件）与模型推理代码（输入模板文件、角色图片输出视频），助力提升各类姿态驱动模型效果。目前，用户可通过通义万相官网，国内站与国际站https://wanxiang.aliyun.com在线体验，上传人物图片与视频即可生成效果。开发者可通过阿里云百炼接入API，模型开源地址则覆盖ModelScope、Hugging Face与GitHub平台，方便进一步开发与创意落地。（转载自AI普瑞斯）
扫码下载app 最新资讯实时掌握
微信好友
朋友圈
