基于深度學習的超分辨率算法，讓超高清視頻不再落伍

相信不少人都喜歡在電腦上觀看電影、動漫等視頻資源，無論是在本地觀看還是在線觀看，高清晰度，高分辨率的視頻才能帶來更好的觀看體驗。但對于那些懷舊黨來說，可能就沒那么幸運了。

在過去，受限于技術原因，很多老電影、老動漫的分辨率可能都沒有達到720P的水平，這就導致觀看體驗大打折扣，畢竟在這個4K視頻都隨處可見的年代，低分辨率的資源確實有點落伍了。

其實就算放眼到整個行業中來看，超高清內容缺乏也是產業普遍存在的痛點，渠道的不完善，拍攝、制作水平的不成熟，技術的不足都成為了阻礙行業發展的絆腳石，為了提高超高清視頻的生產能力，同時最大限度地節省成本，就需要人工智能的介入，超分辨率算法就是解決這個問題的很好途徑。

提到超分辨率算法，可能屏幕前的很多人還不太熟悉，但一提到DLSS、FSR或者Xess，游戲玩家肯定都有所耳聞，雖然他們仨涉及的技術都不太一樣，但從結果來看，這三種技術都能提高游戲分辨率，帶來更好的游戲體驗。

而今天要說的超分辨率算法，某種意義上和AMD的FSR技術可以說是相當相似。

圖像超分辨率問題研究的是在輸入一張低分辨率圖像時，如何得到一張高分辨率圖像，傳統的圖像插值算法可以在某種程度上獲得這種效果，比如最近鄰插值、雙線性插值和雙三次插值等，但是這些算法獲得的高分辨率圖像效果并不理想。

在圖像處理方面，又一個著名的算法waifu2x，它使用了SRCNN卷積神經算法，SRCNN是首個使用CNN結構(即基于深度學習)的端到端的超分辨率算法，它將整個算法流程用深度學習的方法實現了，并且效果比傳統多模塊集成的方法好。

SRCNN流程如下:首先輸入預處理。對輸入的低分辨率LR圖像使用bicubic算法進行放大，放大為目標尺寸。

那么接下來算法的目標就是將輸入的比較模糊的LR圖像，經過卷積網絡的處理，得到超分辨率SR的圖像，使它盡可能與原圖的高分辨率HR圖像相似。

而AI超分辨率技術則是圖像修復技術領域的一個方向。

動漫視頻的產出過程中往往帶有一系列數字信號處理的過程，包括鋸齒、暈輪、色塊、噪聲處理，模糊線條處理等等，在以前，視頻工作者往往需要對源進行下采樣，在母帶分辨率下對不同片段進行參數分析，并通過一系列濾鏡進行手工修復，這造成了很大的人力成本。

而今天的主角，就是B站AI實驗室開源的Real-CUGAN工具(項目地址：https://github.com/bilibili/ailab/tree/main/Real-CUGAN)，只要用了它，就可以把動畫圖像的質量提升2到4倍，而且近乎無損。

Real-CUGAN的全稱為Real Cascaded-U-Net-style Generative Adversarial Networks(真實的、級聯U-Net風格的生成對抗網絡)，使用了與Waifu2x相同的動漫網絡結構，但由于使用了新的訓練數據與訓練方法，從而形成了不同的參數和推理方式。

技術細節方面來看，Real-CUGAN會先行對動漫幀進行切塊處理，然后使用圖像質量打分模型對候選塊進行打分過濾，得到一個百萬級的高質量動漫圖像塊訓練集。

然后使用多階段降質算法，將高清圖像塊降采樣得到低質圖像，通過讓AI模型學習、優化從低質圖像到高質圖像的重建過程，訓練完畢后即可對真實的二次元低質圖像進行高清化處理。

目前Real-CUGAN支持2x\3x\4x倍超分辨率，其中2倍模型支持4種降噪強度與保守修復，3倍/4倍模型支持2種降噪強度與保守修復，同時，如果你是Windows用戶，作者還貼心地準備了Windows-GUI版本，https://github.com/Justin62628/Squirrel-RIFE/releases/tag/v0.0.3，下載后即可使用。

與Waifu2x(CUNet)和Real-ESRGAN(Anime6B)相比，Real-CUGAN的優勢還是比較明顯的，作者也進行了一波對比，結果如下：

目前B站的OGV國創劇《鎮魂街第二季》已經已經上線了經過超分的4K分辨率版本，相信在未來，更多老番的高清重置版本也會在路上，AI技術的發展，正在從各個角度提升我們的體驗。

標簽： 超分辨率 超高清視頻 游戲玩家