研究團隊成員來自新加坡國立大學、上海AI實驗室和德克薩斯大學奧斯汀分校。

簡單來說，新算法通過調整時間注意力層輸出的一個關鍵參數(shù)，能夠在幾乎不增加推理負擔的情況下，大幅提升生成視頻的細節(jié)表現(xiàn)和時序連貫性。

Enhance-A-Video還兼容多種主流視頻生成模型，無需修改基礎架構即可直接應用。

比如CogVideoX-2B?+ Enhance-A-Video：

還有OpenSora-V1.2?+ Enhance-A-Video：

實驗結果顯示，Enhance-A-Video在提升視頻質量方面表現(xiàn)卓越，尤其是在對比度、清晰度以及細節(jié)真實性上有顯著改進。

新算法一經(jīng)發(fā)布，其強大的泛化能力也是迅速得到了社區(qū)的認可。

很多網(wǎng)友已將該算法集成到多個主流推理框架中，包括ComfyUI-Hunyuan和ComfyUI-LTX。

對比一下網(wǎng)友Kijai發(fā)布的原始混元模型和增強后的效果，可以看到模型生成畫面更加自然，動態(tài)表現(xiàn)也更加流暢：

△Comfy-UI測試結果，左邊為原始視頻，右邊為增強視頻

LTX-Video的研究人員Nir Zabari還成功將它應用到了LTXV模型中，顯著提升了生成視頻在動作一致性和細節(jié)呈現(xiàn)方面的表現(xiàn)。

這一成果表明，Enhance-A-Video不僅適用于特定模型，還能廣泛適配于不同的視頻生成框架。

研究背景：提升視頻生成質量需求強烈

近年來，以Diffusion Transformer（DiT）為代表的視頻生成技術[1]迅猛發(fā)展，能夠根據(jù)文本描述生成多樣化的視頻內容。

然而，現(xiàn)有方法仍面臨以下挑戰(zhàn)：

• 時序不連貫：幀與幀之間缺乏一致性；
• 細節(jié)模糊：畫面紋理缺乏清晰度；
• 畫面抖動：動態(tài)效果不夠穩(wěn)定。

這些問題顯著影響了生成視頻的實用性和觀看體驗，如何提升 AI 生成視頻的質量成為當前研究的關鍵問題之一。

為了解決上述問題，Enhance-A-Video應運而生。其核心原理是通過一個增強系數(shù)，優(yōu)化時間注意力的分布，從而實現(xiàn)以下優(yōu)勢：

• 高效增強：快速提升視頻質量；
• 無需訓練：可直接應用于現(xiàn)有生成模型；
• 即插即用：靈活適配多種場景和需求。

設計動機：時間注意力的優(yōu)化潛力

時間注意力（Temporal Attention）在DiT模型中負責信息的幀間傳遞，對生成視頻的連貫性和細節(jié)保留至關重要。

通過對不同DiT層的時間注意力分布進行可視化分析，研究人員發(fā)現(xiàn)：

在部分DiT層中，時間注意力的分布存在顯著差異：跨幀注意力（非對角線部分）的強度明顯低于單幀自注意力（對角線部分）。

這一現(xiàn)象可能導致幀間信息傳遞不足，進而影響視頻的一致性和細節(jié)表現(xiàn)。

基于這一觀察，作者提出了一個關鍵假設：能否通過利用時間注意力來提高視頻質量？

△不同DiT層的時間注意力分布圖

• 增大τ，生成結果更加多樣化。
• 減小τ，生成結果更連貫一致。

方法概述：無需訓練的動態(tài)增強方案

基于上述觀察與思考，作者首次發(fā)現(xiàn)時間注意力的溫度系數(shù)決定了不同幀之間的相關性強度，相關性強度越高意味著每一幀生成時，在時間上下文維度所考慮的范圍越廣。

由此想法出發(fā)，作者提出了一種調整時間注意力層輸出，無需訓練的視頻增強方法，該方法可以直接應用于現(xiàn)有的AI視頻生成模型。

△Enhance-A-Video框架圖

Enhance-A-Video的核心設計是通過動態(tài)調節(jié)時間注意力層的輸出，實現(xiàn)對幀間一致性和細節(jié)表現(xiàn)的優(yōu)化。

具體方法分為以下幾步：

1.并行增強模塊

在時間注意力層的基礎上增加一個并行分支，計算時間注意力分布圖。

輸入時間注意力層的隱藏狀態(tài)也被傳入增強模塊。

2.計算跨幀強度（CFI）

從時間注意力分布圖中提取非對角線元素的平均值，作為跨幀強度（Cross-Frame Intensity, CFI）。

3.動態(tài)增強控制

引入增強溫度參數(shù)（Enhance Temperature），將其與CFI的乘積作為增強模塊的輸出系數(shù)。

利用該系數(shù)動態(tài)調整時間注意力層輸出的特征增強強度。

通過這一策略，Enhance-A-Video 能夠高效地提升視頻的幀間一致性和細節(jié)表現(xiàn)，而無需對原始模型進行重新訓練。

為AI視頻生成技術提供新思考

這項研究提出了首個無需訓練、即插即用的AI生成視頻質量增強方法——Enhance-A-Video，針對當前生成視頻質量的關鍵問題，圍繞時間注意力機制展開創(chuàng)新設計，主要貢獻如下：

• 創(chuàng)新性方法：通過在時間注意力層計算交叉幀強度，引入增強溫度參數(shù)，提升幀間一致性與細節(jié)表現(xiàn)力。
• 高效性與通用性：無需訓練，直接適配主流視頻生成模型。
• 顯著性能提升：在HunyuanVideo等模型上解決了細節(jié)缺失和時序不一致等問題。

未來他們還會在此基礎上進一步開展工作，包括：

• 自適應增強：研究自動調節(jié)增強溫度參數(shù)機制，優(yōu)化一致性與多樣性平衡。
• 擴展適用性：優(yōu)化方法設計以適配大規(guī)模模型和多模態(tài)場景。
• 質量評價：構建更完善的視頻生成質量評價體系。

作者表示，期待本研究為AI視頻生成技術的實際應用與質量提升提供新的思路和支持！

開源代碼鏈接：https://github.com/NUS-HPC-AI-Lab/Enhance-A-Video
相關博客鏈接：https://oahzxl.github.io/Enhance_A_Video/

參考文獻：
[1]Brooks, Tim, Bill Peebles, Connor Holmes, Will DePue, Yufei Guo, Li Jing, David Schnurr, Joe Taylor, Troy Luhman, Eric Luhman, Clarence Ng, Ricky Wang and Aditya Ramesh. “Video generation models as world simulators.“ OpenAI Research (2024).
[2]Renze, Matthew and Erhan Guven. “The Effect of Sampling Temperature on Problem Solving in Large Language Models.” ArXiv abs/2402.05201 (2024).