谷歌令人印象深刻的Lumiere向我们展示了制作人工智能短片的未来

谷歌正在利用Lumiere来尝试文本到视频的生成，这是一种新的，能够创建令人惊讶的高质量内容。

与ImagenVideo时代相比，这家科技巨头无疑已经取得了长足的进步。卢米埃尔视频中的主题不再是那些面孔融化的噩梦生物。现在事情看起来更加现实了。海龟看起来像海龟，动物的皮毛具有正确的纹理，AI剪辑中的人有真诚的微笑(大部分)。更重要的是，在其他文本到视频生成人工智能中，几乎没有出现奇怪的抖动动作。动作基本上像黄油一样流畅。GoogleResearch研究团队负责人InbarMosseri在她的YouTube频道上发布了一段视频，展示了Lumiere的功能。

Google投入了大量精力，让Lumiere的内容看起来尽可能逼真。开发团队通过实现时空U-Net架构(STUNet)来实现这一目标。STUNet背后的技术相当复杂。但正如ArsTechnica所解释的那样，它使Lumiere能够了解对象在视频中的位置、它们如何移动和变化，并同时渲染这些动作，从而实现流畅的创作。

除了文本到视频生成之外，Lumiere的工具包中还具有许多功能，包括对多模态的支持。

用户将能够将源图像或视频上传到人工智能，以便它可以根据他们的规格进行编辑。例如，您可以上传约翰内斯·维米尔(JohannesVermeer)创作的《戴珍珠耳环的女孩》的图像，并将其转换为一个短片，其中她微笑着，而不是茫然地凝视着。Lumiere还具有一种称为Cinemagraph的功能，可以为图片的突出部分添加动画效果。

谷歌通过选择一只坐在花上的蝴蝶来演示这一点。借助人工智能，输出视频中蝴蝶拍动翅膀，而周围的花朵保持静止。

当涉及到视频时，事情变得尤其令人印象深刻。视频修复是另一项功能，其功能与Cinemagraph类似，人工智能可以编辑剪辑的部分内容。女人的带图案的绿色连衣裙可以变成闪亮的金色或黑色。Lumiere更进一步，提供了用于改变视频主题的视频风格化功能。一辆在路上行驶的普通汽车可以变成完全由木头或乐高积木制成的车辆。

仍在进行中

目前尚不清楚是否有计划向公众推出Lumiere，或者谷歌是否打算将其作为一项新服务实施。

我们或许可以看到人工智能作为MagicEditor的进化出现在未来的Pixel手机上。如果您不熟悉，MagicEditor利用“AI处理智能地”更改Pixel8上照片中的空间或对象。对我们来说，视频修复似乎是这项技术的自然发展。

目前看来，该团队将把它关起来。尽管这个人工智能令人印象深刻，但它仍然存在问题。存在生涩的动画。在其他情况下，受试者的四肢会扭曲成糊状。如果想了解更多，可以在康奈尔大学的arXiv网站上找到Google关于Lumiere的研究论文。请注意：这是一本密集的读物。

请务必查看TechRadar对2024年最佳AI艺术生成器的综述。

你可能还喜欢