这项研究为个性化视频编辑领域带来了新的可能性，使得生成个性化内容变得更加简便和高效。

只要一张参考图片，任何人都可以替换成视频的主角。

‍随着扩散模型的发展，基于输入文本生成高质量的图片和视频已经成为现实，但是仅使用文本生成视觉内容的可控性有限。

为了克服这个问题，研究人员们开始探索额外的控制信号和对现有内容进行编辑的方法。这两个方向在一定程度上实现了生成过程的可控性，但仍然需要依赖文本来描述目标生成内容。

在实际应用中，我们面临着一个新的需求:如果用户想要生成的内容无法用语言描述呢?

例如，用户想生成某一个普通人的视频，但仅在输入文本中使用普通人的名字是无意义的，因为语言模型无法识别不在训练语料中的个体姓名。

针对这个问题，一种可行的解决方案是基于给定个体训练个性化的模型。

例如，DreamBooth和Dreamix通过多张图片理解个体概念，从而进行个性化的内容生成，不过这两种方法需要对每个个体分别进行学习，并且需要该个体的多张训练图片和精细化调参。

最近，来自新加坡国立大学（NUS）和华为诺亚实验室的研究者们在个性化视频编辑上取得了新的进展，通过多个集成模型的协同工作，无需对个性化概念进行额外的训练和微调，仅仅需要一张目标参考图片，就能实现对已有视频的主角替换、背景替换以及特定主角的文生视频。

相关标签： 无需微调 一张照片即可换脸 换背景 NUS等华人团队破局个性化视频生成