衡阳派盒市场营销有限公司

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

什么是基于深度學(xué)習(xí)的超分辨率

科技綠洲 ? 來源:Imagination Tech ? 作者:Imagination Tech ? 2022-05-24 09:33 ? 次閱讀

去年,我在 LinkedIn 上閱讀到一篇很有趣的文章,內(nèi)容涉及使用基于深度學(xué)習(xí)的超分辨率網(wǎng)絡(luò)來增加美國宇航局毅力號(Nasa’s Perseverance Rover)發(fā)回的圖像和視頻中包含的細微細節(jié)。這篇文章讓我回想到,我在 90 年代第一次觀看《銀翼殺手》時,基于當(dāng)時可用的技術(shù),諸如“將 15 增強到 23”之類的場景似乎如此難以置信。那時(因為《銀翼殺手》之類的電影),我正在攻讀為期三年的人工智能學(xué)位課程,我無法預(yù)測到千禧年初深度學(xué)習(xí)革命的影響。你不能添加不存在的東西,我一直對自己說。但現(xiàn)在看來,你可以——而且非常有說服力。

超分辨率如何應(yīng)用于現(xiàn)實世界?

超分辨率的應(yīng)用非常廣泛:從舊照片的懷舊修復(fù)和著色到通過對低分辨率源內(nèi)容進行上采樣來減少視頻流帶寬。正如“放大火星”(Upscaling Mars)一文的作者所解釋的那樣,升級行星探索飛行器上的攝像頭是不可行的,因此,如果需要通過提高分辨率來獲得更多細節(jié),或者甚至在機載鏡頭變得模糊或損壞的災(zāi)難性場景中,最先進的超分辨率技術(shù)可以提供巨大的價值。也有許多例子表明,很多原始圖像是黑白的或是歷史圖像視頻,隨著分辨率的提高,通過著色,它們被重新激活。

什么是基于深度學(xué)習(xí)的超分辨率?

基于深度學(xué)習(xí)的超分辨率是將學(xué)習(xí)的上采樣(up-sampling)函數(shù)應(yīng)用于圖像的過程,目的是增強圖像中現(xiàn)有的像素數(shù)據(jù)或生成合理的新像素數(shù)據(jù),從而提高圖像的分辨率。事實上,上面提到的著色示例提供了一些關(guān)于深度學(xué)習(xí)如何利用上下文關(guān)系和自然圖像的統(tǒng)計信息的見解。假設(shè)您有一個輸入面片(卷積神經(jīng)網(wǎng)絡(luò)輸入圖像的一個區(qū)域)“x”,那么在相應(yīng)的輸出面片y的顏色上存在一個條件概率分布 p( y|x ) 。

這種分布在生成輸出顏色時基本考慮了上下文關(guān)系。著色神經(jīng)網(wǎng)絡(luò)通常近似于這種分布模式:它了解到黑白輸入圖像的特定部分(面片)有可能是特定的顏色或顏色范圍,基于網(wǎng)絡(luò)訓(xùn)練時與類似輸入面片對應(yīng)的先前輸出面片。這就是黑白照片或視頻的著色方式。

超分辨率網(wǎng)絡(luò)正在以類似的方式解決一個非常類似的問題:在這種情況下,它已經(jīng)學(xué)會了根據(jù)低分辨率輸入面片x的上下文生成最有可能的高分辨率輸出面片Y。

放大圖像的功能已經(jīng)存在了一段時間,所以你可能會問,為什么我們需要另一種方法?現(xiàn)有技術(shù)包括最近鄰、雙線性和雙三次(三次卷積)上采樣,這些技術(shù)在迄今為止的大多數(shù)圖像和視頻上縮放應(yīng)用中已經(jīng)足夠了。然而,如下所示的放大輸出圖像的裁剪,突出顯示了以這種方式將圖像放大到更大分辨率時產(chǎn)生的一些不良偽影。

如上圖所示,輸出圖像的裁剪包含豹子胡須上稱為“鋸齒”的偽影,最近鄰算法也難以重建皮膚紋理,從而導(dǎo)致像素化。雙線性和雙三次算法往往會使圖像過度柔化,使其看起來失焦,缺乏細節(jié)。

這些限制,加上提高顯示分辨率能力的宏觀趨勢,在保持當(dāng)前功率預(yù)算和性能的同時,正在為該領(lǐng)域激發(fā)一些非常令人興奮的創(chuàng)新。

Visidon是一家芬蘭公司,成立于 2006 年,擅長使用基于人工智能的軟件技術(shù)來增強靜態(tài)圖像和視頻內(nèi)容。它開發(fā)了一套基于深度學(xué)習(xí)的超分辨率網(wǎng)絡(luò),可以將 1080p分辨率的圖像和視頻縮放到 4K (2160p) 和 8K (4320p) 分辨率。已經(jīng)設(shè)計和訓(xùn)練了三個基于深度學(xué)習(xí)的超分辨率網(wǎng)絡(luò)(VD1、VD2 和 VD3),每個網(wǎng)絡(luò)的目標(biāo)分別是:

快速雙三次質(zhì)量推理 (VD1)

快速且優(yōu)于雙三次質(zhì)量推理 (VD2)

靜止圖像的最高質(zhì)量超分辨率推理 (VD3)。

Imagination 如何幫助部署和加速這些算法

在60幀的情況下,使用超分辨率來提高圖像和視頻內(nèi)容的分辨率,,這需要大量計算,而這正是 Imagination 可以提供幫助的地方。我們的 IMG 4系列 AI 計算引擎采用張量分片技術(shù),旨在為基于卷積的神經(jīng)網(wǎng)絡(luò)提供低系統(tǒng)帶寬、高推理率的執(zhí)行——這是Visidon超分辨率解決方案中的主要算法。

pYYBAGKMNb2AF4Y5AABh7Gxtnkg875.png

圖1: IMG 4NX-MC8,Imagination 的可擴展多核架構(gòu)。

我們的多核架構(gòu)和獲得專利的張量分片技術(shù)相結(jié)合,可以在并行處理的同時將大量圖像和權(quán)重數(shù)據(jù)保留在芯片上,從而產(chǎn)生可擴展、強大的超分辨率性能,如下圖所示:

pYYBAGKMNcaAekXEAAB0P49t5Lw462.png

表1:IMG 4系列 NNA計算引擎上的Visidon超分辨率網(wǎng)絡(luò)性能(將 1080p 視頻轉(zhuǎn)換為 4K 分辨率)

Visidon如何衡量視覺質(zhì)量

Visidon網(wǎng)絡(luò)的質(zhì)量由專家和非專家參與者使用隨機盲評進行評估,兩組評估人員分別為七個輸出版本(三個Visidon網(wǎng)絡(luò) (VD1-3) 和lanczos4,雙三次,雙線性和最近鄰)進行評分。Visidon的VD 超分辨率網(wǎng)絡(luò)質(zhì)量與現(xiàn)有的基于非深度學(xué)習(xí)的上采樣算法的比較如下表所示:

pYYBAGKMNc6AJMsyAAAxA4GkgsU286.png

評估人員之前沒有看過網(wǎng)絡(luò)的圖像或結(jié)果,也不允許討論結(jié)果。然后將分?jǐn)?shù)標(biāo)準(zhǔn)化為 1 到 5,其中雙三次曲線的參考分?jǐn)?shù)為2。

現(xiàn)在是你一直在等待的部分——視覺效果!

現(xiàn)在讓我們來看看Visidon 的VD1、VD3 和 VD3 網(wǎng)絡(luò)的結(jié)果,它們可以通過張量分片有效地部署在Imaginations 4系列NNA上。

注:樣本圖像來自Flickr2K 數(shù)據(jù)集,可免費用于商業(yè)用途,OpenCV 庫用于 lanczos4、雙三次、雙線性以及最近鄰放大,因此可以驗證結(jié)果。

上面的圖像對比突出了Visidon的VD3超分辨率算法的卓越品質(zhì),使花朵的所有部分都清晰、無噪,尤其是花瓣細節(jié)和黃色雄蕊。雙三次算法無法充分處理邊緣,使其不會因平滑而丟失。另請參閱內(nèi)部花瓣與花的深色中心區(qū)域相交的位置。

另一個很好的例子是,通過Visidon網(wǎng)絡(luò)中的適當(dāng)銳化,樹葉和巖石定義得以保留,而這在雙三次上采樣的平滑中完全丟失了。

在這個比較中,Visidon 的VD2 網(wǎng)絡(luò)體現(xiàn)了微羽毛的細節(jié)和清晰度,考慮到輸入圖像在某些地方出現(xiàn)混疊,這令人印象深刻。VD2 網(wǎng)絡(luò)通過保留羽毛圖案的復(fù)雜性來從中恢復(fù),而雙三次算法無法做到這一點。喙部的細節(jié)和掠過它的小羽毛仍然清晰可見,沒有明顯的階梯效應(yīng)——這在雙三次輸出圖像中可以看到,盡管很微妙。

此圖像對比突出了Visidon 的VD1 網(wǎng)絡(luò)的基線目標(biāo),即在質(zhì)量上優(yōu)于雙三次上采樣,同時提供非常高的推理性能。因此,雖然 VD1 在評估中產(chǎn)生了最低的感知質(zhì)量,但其輸出比雙三次放大更清晰,可以保留了眼睛下方羽毛的細節(jié),并且爪子下方樹枝上的紋理明顯更清晰。

在這里,我們看到Visidon 的網(wǎng)絡(luò)巧妙地恢復(fù)了雙三次放大中丟失的細節(jié)。多虧了Visidon 的VD3 網(wǎng)絡(luò),原始非常模糊的原始圖像的一小部分得以精細的細節(jié)呈現(xiàn)出來。此外,請注意VD3 放大中水面的反射細節(jié)。難以置信!

結(jié)論

在計算能力可用于實時超分辨率圖像和視頻之前,現(xiàn)有算法已經(jīng)滿足了高達 1080p 分辨率的觀眾。但隨著 4K(和 8K)顯示器質(zhì)量的不斷提高,非深度學(xué)習(xí)算法的軟化并不能完全滿足新一代高分辨率觀看的需要。

因此,如果采用放大技術(shù)將低分辨率內(nèi)容傳遞到高分辨率屏幕,則必須以智能和上下文的方式保留源圖像和視頻的細節(jié),以提供最愉悅的視覺體驗。

Imagination 的 IMG 4系列NNA AI 計算引擎提高了計算能力,可以提供低功耗、低面積和系統(tǒng)帶寬可擴展的卷積神經(jīng)網(wǎng)絡(luò)加速,使其成為部署Visidon最先進的基于深度學(xué)習(xí)的超分辨率解決方案的完美平臺。

審核編輯:彭靜
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 芯片
    +關(guān)注

    關(guān)注

    456

    文章

    51188

    瀏覽量

    427288
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    31534

    瀏覽量

    270342
  • imagination
    +關(guān)注

    關(guān)注

    1

    文章

    576

    瀏覽量

    61449
收藏 人收藏

    評論

    相關(guān)推薦

    如何提高透鏡成像的分辨率

    透鏡成像分辨率是指透鏡系統(tǒng)能夠分辨的最小細節(jié)的能力。提高透鏡成像分辨率對于許多應(yīng)用領(lǐng)域,如顯微鏡、望遠鏡、相機等,都是至關(guān)重要的。以下是一些提高透鏡成像分辨率的方法: 1. 減少像差
    的頭像 發(fā)表于 12-25 16:54 ?452次閱讀

    如何選擇掃描電鏡的分辨率

    選擇掃描電鏡的分辨率需要綜合考慮多個因素。首先是研究目的。如果只是需要對樣品的大致形貌進行觀察,例如查看較大顆粒的分布或者材料表面的宏觀缺陷,較低分辨率(如3-10nm)可能就足夠了。但如果要觀察
    的頭像 發(fā)表于 12-25 14:29 ?250次閱讀
    如何選擇掃描電鏡的<b class='flag-5'>分辨率</b>?

    HDMI接口支持哪些視頻分辨率

    HDMI(High-Definition Multimedia Interface)接口支持的視頻分辨率因版本不同而有所差異。以下是HDMI接口不同版本所支持的視頻分辨率的概述: HDMI 1.4
    的頭像 發(fā)表于 11-27 14:14 ?3844次閱讀

    提高SAR ADC的分辨率

    電子發(fā)燒友網(wǎng)站提供《提高SAR ADC的分辨率.pdf》資料免費下載
    發(fā)表于 10-25 09:11 ?0次下載
    提高SAR ADC的<b class='flag-5'>分辨率</b>

    分辨率音頻和傳統(tǒng)音頻區(qū)別

    分辨率音頻通過更高的采樣和比特深度,提供了更高的音質(zhì)和更豐富的聽覺體驗,而傳統(tǒng)音頻則可能在音質(zhì)和細節(jié)上有所妥協(xié)。
    的頭像 發(fā)表于 09-04 16:20 ?848次閱讀
    高<b class='flag-5'>分辨率</b>音頻和傳統(tǒng)音頻區(qū)別

    Arm精銳超級分辨率技術(shù)解析

    近日,Arm 推出了 Arm 精銳超級分辨率技術(shù) (Arm Accuracy Super Resolution, Arm ASR),這是一款面向移動設(shè)備進行優(yōu)化升級的出色開源超級分辨率(下文簡稱“分”)解決方案。本文將為你介紹
    的頭像 發(fā)表于 09-03 11:28 ?1043次閱讀
    Arm精銳超級<b class='flag-5'>分辨率</b>技術(shù)解析

    什么是高分辨率示波器?它有哪些優(yōu)勢?

    分辨率示波器是一種在信息與系統(tǒng)科學(xué)相關(guān)工程與技術(shù)領(lǐng)域中廣泛應(yīng)用的科學(xué)儀器,其設(shè)計旨在提供更高的信號分辨率和更精細的信號分析能力。以下是對高分辨率示波器的詳細解析,包括其定義、優(yōu)勢以及可能涉及的多個方面。
    的頭像 發(fā)表于 08-08 11:49 ?1136次閱讀

    VR顯示器分辨率的選擇

    一、VR顯示器分辨率的重要性 1.1 分辨率與視覺體驗 分辨率是指顯示器上能夠顯示的像素點的數(shù)量,通常用水平像素數(shù)×垂直像素數(shù)來表示。在VR顯示器中,分辨率直接影響到用戶的視覺體驗。高
    的頭像 發(fā)表于 07-08 10:29 ?1276次閱讀

    伺服編碼器分辨率是什么意思

    伺服編碼器分辨率是指編碼器能夠檢測到的最小角度或位置變化。在伺服系統(tǒng)中,編碼器用于測量電機軸或負(fù)載的位置和速度,以實現(xiàn)精確控制。分辨率越高,編碼器能夠檢測到的最小變化越小,從而實現(xiàn)更精確的控制
    的頭像 發(fā)表于 06-17 11:16 ?1093次閱讀

    如何選擇示波器的帶寬、采樣、存儲深度、垂直分辨率

    示波器是電子工程師和技術(shù)人員在日常工作中不可或缺的工具,它能夠捕獲、顯示和分析電子信號。在選擇示波器時,我們需要考慮多個參數(shù),其中帶寬、采樣、存儲深度和垂直分辨率是四個最為關(guān)鍵的參數(shù)。本文將對這四個參數(shù)進行詳細的解讀,并提供選
    的頭像 發(fā)表于 05-13 16:26 ?3232次閱讀

    高管洞察:高分辨率音樂需要高分辨率揚聲器

    所有關(guān)于高分辨率音樂傳輸和無損音頻或空間音頻格式的討論都為時過早。很少有人能分辨出其中的區(qū)別——除非他們通過高分辨率、固態(tài)揚聲器聆聽。 作者: MIKE HOUSHOLDER,xMEMS 營銷和業(yè)務(wù)
    發(fā)表于 03-21 14:57 ?932次閱讀
    高管洞察:高<b class='flag-5'>分辨率</b>音樂需要高<b class='flag-5'>分辨率</b>揚聲器

    基于CNN的圖像分辨率示例

    考慮單個低分辨率圖像,首先使用雙三次插值將其放大到所需的大小,這是執(zhí)行的唯一預(yù)處理。將插值圖像表示為Y。我們的目標(biāo)是從Y中恢復(fù)與真實高分辨率圖像X盡可能相似的圖像F (Y) 。
    的頭像 發(fā)表于 03-11 11:40 ?762次閱讀
    基于CNN的圖像<b class='flag-5'>超</b><b class='flag-5'>分辨率</b>示例

    華為pockets屏幕分辨率是多少

    華為Pocket S的內(nèi)屏分辨率是2790×1188,外屏分辨率為340×340。該手機采用了6.9英寸的柔性O(shè)LED屏幕,支持120Hz刷新、1440Hz高頻PWM調(diào)光,色彩表現(xiàn)達到10.7億色,同時還配備了防反光納米光學(xué)膜
    的頭像 發(fā)表于 03-06 17:37 ?1260次閱讀

    EVAL_PASCO2_SENSOR為什么無法從較低的分辨率高速獲得更高的分辨率

    我有一個圖像 EVAL_PASCO2_SENSOR,支持高達 3840x2160 分辨率的超高速和高速。 我能以快的速度拍攝所有靜止畫面。 但是,當(dāng)我嘗試獲得更高分辨率(3840x2160)的靜態(tài)
    發(fā)表于 02-22 07:58

    編碼器分辨率是什么意思 編碼器分辨率和脈沖數(shù)的關(guān)系

    按照編碼器支持的分辨率可以把編碼器分成標(biāo)清編碼器、高清編碼器、全高清編碼器,分辨率越高幀率越高視頻就越清楚。 1.編碼器的分辨率是什么意思 編碼器的分辨率是指編碼器以每旋轉(zhuǎn)360度提供
    的頭像 發(fā)表于 02-21 18:07 ?4540次閱讀
    編碼器<b class='flag-5'>分辨率</b>是什么意思 編碼器<b class='flag-5'>分辨率</b>和脈沖數(shù)的關(guān)系
    高级百家乐官网桌布| 大发888娱乐城dafa888dafa8| 百家乐官网玩法的技巧| 百家乐斗地主下载| 真人百家乐官网开户须知| 百家乐伴侣破解版| 波音网百家乐官网合作| 百家乐制胜法| 百家乐官网投注之对冲投注| bbin赌场| 三公百家乐官网玩法| 大发888娱乐城官方下载安装| 金杯百家乐官网的玩法技巧和规则 | 彩会百家乐游戏| 凤翔县| 百家乐辅助器| 申博百家乐官网有假吗| 大发888认识的见解| 澳门百家乐官网官方网站| 都匀市| 飞天百家乐的玩法技巧和规则| 尊龙百家乐官网娱乐场| 六合彩资料大全| 百家乐娱乐网真人娱乐网| 百家乐官网电投软件| 乐透乐博彩论坛3d| 澳门百家乐怎么才能赢钱| 百家乐官网最新投注方法| 大发888-娱乐| 百家乐偷吗| 百家乐官网澳门规矩| 欧博娱乐| 百家乐视频游戏注册| 斗牛棋牌游戏| 申博百家乐有假吗| 跨国际百家乐官网的玩法技巧和规则| 财神娱乐城信誉| 评测百家乐官网博彩网站| 德州扑克玩法说明| 百家乐追注法| 百家乐官网过滤|