LatentSync是一款由字节跳动与北京交通大学联合推出的端到端唇形同步框架。它基于音频驱动的潜在扩散模型（audio-driven latent diffusion models），旨在实现无缝的时间一致性，并生成高质量的、逼真的说话视频。该框架适用于配音、虚拟头像、游戏开发等多种应用场景。

LatentSync功能

1. 端到端唇形同步：Latent Sync 无需任何中间运动表示，直接在潜在空间建模复杂的音视频关系。它能够精准地根据输入的音频生成与之匹配的唇部运动，实现唇形与语音的精准同步。
2. 高分辨率视频生成：Latent Sync 克服了传统扩散模型在像素空间进行扩散时对硬件要求高的限制，能够生成高分辨率的视频。
3. 动态逼真效果：生成的视频具有动态逼真的效果，能够捕捉到与情感语调相关的细微表情，使人物的说话更加自然生动。
4. 时间一致性增强：Latent Sync 引入了 Temporal REPresentation Alignment（TREPA）方法，通过大规模自监督视频模型提取时间表示，增强生成帧与真实帧的时间一致性，减少视频闪烁现象，使视频播放更加流畅。
5. 多语言支持：Latent Sync 支持多语言处理，适用于国际内容本地化。

官网链接：https://www.latentsync.org