Motionshop – 阿里推出的AI角色动画项目，可替换视频人物为3D

一、Motionshop工具概述

Motionshop是一款由阿里巴巴智能计算研究院（XR实验室和TIDE三维渲染团队）推出的AI角色动画框架。它能够将视频中的人物角色替换为3D化身，同时保持视频中的其他场景和人物不变，从而为视频内容创作带来全新的可能性。

二、Motionshop工具的功能特点

（一）人物检测与角色替换

1. 自动人物检测
   • Motionshop利用先进的算法精确识别视频中的角色，采用基于变换器的框架紧密融合文本信息与现有封闭集检测器，实现零样本对象检测。这意味着它能够在不需要事先标记的情况下，准确找到视频中的人物。
   • 该功能为后续的角色替换操作奠定了良好的基础，无论是对单个人物还是场景中有多个人物的情况，都能精准定位目标人物。
2. 3D卡通角色模型替换
   • 可以把检测到的人物替换成3D卡通角色模型。在替换过程中，它不仅仅是简单的替代，还通过多个复杂的步骤来确保效果的高质量。例如，在生成3D动画人物时，会根据估计出的原视频中人物的姿势和动作，生成相应动作匹配的3D动画人物，确保3D模型的动作能够与原视频中的人物动作相契合。
   • 对于不同类型的视频内容，如家庭旅行录像、朋友聚会视频、舞蹈表演录像等，用户可以根据自己的需求将其中的人物转换为各种3D卡通角色，增加视频的趣味性、创意性和独特性。

（二）技术流程保障效果

1. 视频处理和背景提取
   • 它利用视频处理技术从原始视频中分离出人物，留下无人的背景。这个过程需要涉及复杂的图像分析和处理，目的是确保背景的完整性和连贯性。例如，在修补阶段采用递归流完成法恢复损坏的流场，并在图像域和特征域都采用双域传播法来增强全局和局部的时间一致性。
   • 视频背景的准确处理是整个效果呈现的重要一环，若背景处理不好，会使生成后的视频看起来很不自然，Motionshop通过多种技术手段避免了这种情况的发生。
2. 姿势估计与动作复刻
   • 使用CVFFS方法估计稳定的人体姿势，并采用SMPL人体模型表示3D人体，能够捕捉视频中人物的动作特征。不仅如此，Motionshop还能精确复刻原视频中人物的姿态、表情和动作，让3D角色的行为看起来更加自然逼真。这一功能使得生成的3D角色在视频中能够栩栩如生地展现与原始人物相同的行为特征，无论是细微的表情变化还是大幅度的动作都能很好地还原。
3. 光照估计与渲染
   • 为了让3D模型更自然地融入原视频背景，Motionshop会进行光照估计，根据视频中的光照条件对3D模型进行相应的光照处理。
   • 再利用高性能光线追踪渲染器如TIDE对3D卡通角色模型进行渲染，增加了逼真的效果，如运动模糊和时间抗锯齿，进一步提升了3D角色的视觉保真度。

三、Motionshop工具的使用方法

1. 上传视频
   • 首先要上传一段包含人物的视频，视频时长有限制，通常要求不超过15秒（在某些情况下是30秒内），并且要保证视频中的人物是完整的全身像。
   • 这一步是整个过程的起始点，视频的质量和内容会影响后续的操作和结果。例如，如果上传的视频中人物不完整或者视频画面模糊，可能会导致人物检测不准确或者生成的效果不理想。
2. 选择人物
   • 视频上传后，系统会自动识别视频中的运动主体人物，一般可以自动选择要替换的人物。如果有多个合适的人物目标，用户也可以进行明确的选择。这一步比较方便快捷，减少了用户手动标记人物的繁杂操作，利用人工智能算法提高了操作效率。
3. 选择虚拟角色模型并生成
   • 选择需要替换成的虚拟角色模型，然后点击生成按钮。之后就是等待结果的过程，一般需要等待10 – 20分钟就可以生成最终的视频。这一步的操作决定了最终生成的3D角色在视频中的呈现样子，为用户提供了一定的创作自由度，可以根据自己的创意和需求选择不同的虚拟角色模型。

四、Motionshop工具的应用场景

1. 个人娱乐
   • 在家庭生活场景方面，像家庭旅行录像，通过Motionshop可以将旅行录像中的自己或家人转化为卡通动画或者其他的3D角色形象。增加视频的趣味性和观赏性，使回忆更加生动有趣，分享到社交媒体等平台也能获得更多的关注和互动。
   • 对于个人的一些特殊记录，例如自己的舞蹈表演录像，利用Motionshop将舞蹈表演录像中的自己转换为卡通形象展示给粉丝，为表演增添创意，以新的形式展现自己的才艺，娱乐自己的同时也吸引更多的观众。
2. 创作领域
   • 在短视频创作领域，许多创作者经常会面临创意枯竭或者希望增加视频独特性的问题。Motionshop可以帮助他们将视频中的人物形象进行替换，创造出与众不同的视频内容。例如，制作包含奇幻元素的短视频，将主角替换为神话角色等。
   • 在电影、电视剧制作方面，Motionshop也有潜在的应用价值。它可以用于一些特效制作，例如快速将一些临时演员或者不太重要的角色替换为合适的3D角色，节省制作成本和时间，同时还可以为特殊场景创造出奇特的视觉效果，比如将演员替换为外星生物形象等。
3. 社交分享
   • 针对朋友聚会视频，制作成卡通形象视频后，作为独特的社交分享内容。这样的视频在社交平台上更容易吸引朋友的注意，并且能够传达一种轻松、有趣的氛围。
   • 在网红文化盛行的今天，网红们可以利用Motionshop快速制作出具有创意的视频内容，用于吸粉和与粉丝互动，满足社交网络对新鲜、有趣内容的持续需求。

五、Motionshop工具的优势

（一）优势

1. 功能强大且效果出色
   • 能够实现将视频中的人物替换为3D角色这一复杂操作，同时可以精确复刻原视频中人物的姿态、表情和动作，让3D角色栩栩如生。并且利用高性能光线追踪渲染器TIDE可以在很短时间内（约10分钟左右）完成整个视频替换过程，生成的视频视觉效果具有高度的逼真感和流畅自然的动作。
   • 整个技术涉及多道工序保证视频的高质量生成，从人物检测到背景处理，再到3D角色的创建和融合，每一步都有技术的支持确保最终效果的出色表现。
2. 操作简单便捷
   • 使用起来非常方便，仅需三步：上传视频、选择人物、选择虚拟角色模型并生成。用户不需要太多专业的技术知识，也不需要进行复杂的设置。其简洁的操作流程降低了使用门槛，使得普通大众都能够轻松上手，快速将自己的创意转化为有趣的视频。
3. 创意激发与内容多样性
   • 为视频内容创作提供了全新的可能性，无论是对于个人创作者还是专业的影视制作团队。它可以将现实世界中的人物与虚拟角色融合，创造出跨越现实与虚拟界限的全新视觉体验。比如将现实人物转换为超级英雄、动画角色等，可以在不同场景下创造出独特的故事内容，极大地丰富了视频创作的素材和概念 。