Motionshop – 阿里推出的AI角色动画项目，可替换视频人物为3D

一、Motionshop简介与工作原理

Motionshop是阿里巴巴智能计算研究院（XR实验室和TIDE三维渲染团队）推出的一个AI角色动画框架，是一个专注于AI角色动画的网站，它提供了将用户上传视频中的人物自动检测并替换成3D卡通角色模型，从而生成有趣AI视频的创新方法。

它的工作原理如下：

• 视频处理和背景提取：利用视频处理技术从原始视频中分离出人物，留下无人的背景，这一步涉及复杂的图像分析和处理来确保背景的完整性和连贯性。例如，它需要识别出背景中的各种元素，并将人物部分准确剥离，在处理过程中要避免背景部分出现瑕疵或不协调的情况。
• 角色检测：使用基于变换器的框架紧密融合文本信息与现有封闭集检测器，实现零样本对象检测。这一检测方式较为先进，不需要依赖大量标注样本就能准确识别出要处理的角色，即使是之前未见过的对象类型，也有较高的检测能力。
• 分割与追踪：成功检测目标后，通过视频对象分割追踪方法跟踪像素级目标区域，以精确确定人物在视频中的每一个像素的位置变化等信息。
• 修补：视频中剩余的图像区域通过视频修补技术完成，包括递归流完成、图像和特征域的双域传播等，使背景图片能够完整平滑，不会因为人物的分离而出现缺口或不自然的现象。
• 姿势估计：使用姿势估计技术来分析视频中人物的动作，涉及对人体动作的捕捉和分析，采用CVFFS方法估计稳定的人体姿势，并使用SMPL人体模型表示3D人体。这样能够准确获取人物在视频中的动作姿态等关键信息。
• 3D卡通角色动画生成：根据前面估计出的姿势和动作，生成相应的3D动画人物，且要确保3D模型的动作与原视频中的人物动作相匹配。
• 光照估计：估计视频中的光照条件，并对3D模型进行相应的光照处理，让3D模型更自然地融入原视频背景。
• 高性能渲染：运用高性能光线追踪渲染器如TIDE对3D卡通角色模型进行渲染，确保其具有高度的真实感和视觉效果。
• 视频合成：最后将渲染好的3D卡通角色合成回无人背景视频中，生成最终的视频成果。

二、Motionshop的功能特点

1. 人物替换功能强大
   • Motionshop可以将视频中的真实人物替换为3D化身，这个功能十分便捷。用户只需要上传一个包含人物的视频（人物需完整，视频时长不超过15秒），系统就会自动识别视频中的人物，然后可以自动选择要替换的人物，再选择想要的虚拟角色模型并点击生成，等待约10分钟就能生成结果，操作简单易上手。
   • 它能保持视频中其他场景和人物不变，只对目标人物进行替换，例如在一个多人参加的家庭聚会视频中，能够精准地把某一个家庭成员替换为3D卡通角色，而不影响其他成员的画面，同时背景也依然保持原有的样子。
2. 高度逼真与动作同步
   • 高度逼真感是Motionshop的一大特性。它不仅能够将人物替换成3D角色，还能精确复刻原视频中人物的动作细节。无论是人物的姿态、表情还是动作的细微变化，Motionshop都能准确还原，让3D角色栩栩如生，比如人物的肢体动作、面部肌肉的活动都能很好地再现。
   • 在动作同步方面，通过复杂的技术确保3D角色的动作流畅自然，实现与原视频中人物动作的高度匹配，使得生成的视频看起来没有违和感。
3. 高效的视频处理
   • 整个视频替换过程利用高性能光线追踪渲染器TIDE，可以在几分钟内完成。相比传统的一些人物替换特效方法，它具有很大的优势。在Motionshop之前，常规的人物替换特效如果采用路径追踪渲染，效果虽然真实但效率较低；如果牺牲渲染质量使用传统实时光栅化的方案，性能虽然可以大幅提升但是渲染质量会有巨大降级，而Motionshop提供了一套极为高效的路径追踪方案，可以在提供路径追踪渲染质量的前提下，达到接近实时光栅化渲染的效率。

三、Motionshop的应用领域

1. 个人娱乐方面
   • 家庭旅行录像再创：可以把家庭旅行的录像转化为卡通动画。比如将全家去海边度假的视频，把其中的家庭成员替换成3D卡通形象，让平淡的旅行视频变得妙趣横生，增加更多趣味性，成为一个独特的家庭回忆视频，方便在家庭聚会或者社交平台上分享给亲朋好友。
   • 朋友聚会创意视频：在朋友聚会的视频里，将朋友替换成可爱的或者搞怪的3D角色模型制作成卡通形象视频。例如一场户外烧烤聚会的视频中，把其中好友变成超级英雄、动漫角色等，作为独特的具有创意性的社交分享内容，为平淡的聚会视频增添更多欢乐和创意的元素。
   • 自我形象创意转换：个体可以将自己在视频中的形象变成想要的3D角色，比如喜欢舞蹈的人能够将自己的舞蹈表演录像转化为卡通形象，为自己的表演增添创意。可以想象将自己穿着街舞服装的跳舞视频里的自己变成一个酷炫的3D卡通舞者，展示出更多不一样的风格，这些创意视频也可以分享到自己的社交账号等地方，吸引更多关注。
2. 视频内容创作领域
   • 电影与电视剧制作：在影视制作中，Motionshop提供了全新的创作思路。导演和创作者可以利用它将一些实拍场景中的人物替换为3D模型。例如在科幻电影中，如果有一些难以用真人演员表现的场景或者高危险动作场景，可以用Motionshop将实拍的演员替换为数字3D角色来实现，或者为影片增添一些奇幻元素比如将主角在某个情节中变成特定的3D卡通或虚拟形象。这样既能节省制作成本，又能创造出不同以往的视觉效果，还可能为影视作品带来一些独特的叙事张力和风格。
   • 创意短视频创作：在短视频日益火爆的当下，Motionshop可以为创作者提供更多的创意可能。创作者能够利用它轻松创作出与众不同的短视频内容。例如制作搞笑短视频时，可以快速将视频中的人物替换成夸张的3D角色，迎合短视频用户追求新奇、有趣内容的需求，吸引更多流量和粉丝的关注。同时也为这种短小精悍的视频赋予更多样化的视觉呈现效果。
   • 电商直播场景的应用潜力：在电商直播方面，Motionshop或许能够在将来发挥独特的作用。虽然目前没有大量应用实例，但可以想象，主播在展示一些商品时，可以将自己或者助手变身成与商品风格匹配的3D角色，如在售卖动漫周边产品时变成动漫角色，这样使用Motionshop转换后的形象进行直播带货，可能会提高直播的吸引力和观众的留存率，为电商直播开拓新的创意方向和营销方式。

四、Motionshop的市场评价

1. 积极的用户体验反馈
   • 对于普通用户来说，Motionshop为视频创作提供了新的思路和便捷的操作体验。很多用户无需专业的视频编辑技能就可以轻松将自己的视频进行创意转化，创造出独一无二的视频作品。比如一些短视频爱好者能够快速把自己生活中的视频进行3D人物替换，并分享到社交平台。用户在操作过程中能够体验到Motionshop的便捷性，例如整个操作流程简单，只需要按照几个简单的步骤如上传视频、选择替换人物和虚拟角色模型，然后等待较短时间就能得到结果，而且这个结果在很大程度上满足了用户期望中的创意效果，在动作、逼真度等方面表现较好，所以在普通用户群体中有一定的口碑积累。
2. 行业专家的认可
   • 在AI视频编辑和创作领域，专业人士看好Motionshop的发展潜力。首先其技术原理具有一定的创新性，像零样本对象检测等技术在人物识别和替换方面的应用体现了技术前沿性。而且从整个视频制作领域来看，Motionshop所提供的功能填补了之前部分空白，将AI、3D动画以及视频处理很好地结合起来。例如在影视制作方面，专业人士认为它可以为影视制作流程带来新的改变和优化方向，能够为特殊效果制作、角色替换和动画创作等环节提供高效和创新的解决方案，所以从行业角度受到了不少专家的肯定。
3. 市场竞争中的地位优势
   • 在目前的AI视频编辑和动画创作工具市场上，Motionshop有着自己的竞争优势。与其他类似工具相比，它在人物替换过程中对姿态动作的还原和逼真效果有独特之处。如它能够精确复刻原视频中人物的姿态、表情等细节，这是市场上部分竞争产品所不具备的能力。此外，其高性能的视频处理速度也是竞争优势之一，在保持高质量成品的前提下，能够快速生成结果，满足用户快速获取创意视频的需求。与WonderStudio相比较而言，虽然WonderStudio也具备人物替换功能，但Motionshop在一些特定功能实现的细节，如人物动作与3D角色动作匹配的精准度上有自己的特色，这使得它在市场竞争中处于相对有利的地位。