由Google 推出的一款生成式人工智能工具,专门设计用于基于文本提示生成高度逼真的图像和视频。它采用空间-时间 U-Net 架构,能够一次性生成整个视频的时间持续,展现真实、多样和连贯的运动。Lumiere 的主要功能包括:
文本到视频:用户可以输入文本描述,模型会根据描述生成相应的视频内容。
图像到视频:根据用户上传的单个参考图像,生成与该图像风格一致的视频。
风格化生成:通过“Stylized Generation”功能,只要输入一张图像并给出相关提示词,Lumiere 就能以该图像为基准,生成与其视觉风格相符的图片。
视频编辑和风格化转换:Lumiere 还具备强大的视频编辑能力,可以进行复杂的视频编辑和风格化转换。
此外,Lumiere 还能够复制图像的风格,并基于该图像创建一系列不同主题的视频,同时保持风格一致。它还具有视频修复功能,可以根据文本提示对现有视频的任意遮罩区域进行动画处理
体验地址:https://lumiere-video.github.io/