衡阳派盒市场营销有限公司

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

再度炒熱的3D音頻,次世代視聽體驗還是徒有虛名

21克888 ? 來源:電子發(fā)燒友網 ? 作者:周凱揚 ? 2020-11-25 09:05 ? 次閱讀

電子發(fā)燒友報道(文/周凱揚)伴隨著虛擬現(xiàn)實和TWS的發(fā)展,人們對于聲音的要求也在逐漸提高,普通的5.1與7.1環(huán)繞立體聲作為多揚聲器方案,已經難以滿足用戶在AR/VR、游戲和娛樂領域對“真實”的追求。演唱會、球賽和大會上的臨場感才是大家渴望的聽覺體驗,于是3D音頻這一技術又再度起死回生。

3D音頻作為人類對聲學領域的又一大探究,其實可以追溯到1881年法國工程師克萊門特·阿代爾發(fā)明的劇場電話,該裝置將不同聲道的信號通過兩個聽筒傳輸出來,營造劇場內的立體聲效。1972年,德國諾音曼公司推出了第一個商用的立體聲錄制系統(tǒng),并被廣泛應用于錄音棚,但要想營造全方位的3D音頻,這對當時的錄音設備成本和播放設備成本來說都是一大挑戰(zhàn)。而AR與VR等應用到來,對聲音的定位需求再度拔高,又讓這一技術重煥生機。

談到3D音頻,就不得不談到人對聲音位置的識別原理,人類大腦用三大方面來判別聲音位置:耳朵的形狀,每只耳朵接收聲音的時間差,以及每只耳朵間的升壓。這就引出了頭部相關傳輸函數(HRTF),一種音效定位算法。但是每個人的頭型、耳型都是獨一無二的,如果不能計算出正確的HRTF,那么聽者會對聲音的方位感到迷惑。

蘋果

Airpods Pro空間音頻 / 蘋果


蘋果在今年的Airpods Pro固件更新中加入了空間音頻功能,也是蘋果對3D音頻的首次嘗試。其實蘋果早就提供了用HRTF生成空間音頻的API,作為ARKit開發(fā)工具的一部分,而借助Airpods Pro中的加速度計和陀螺儀追蹤用戶的頭部運動,再通過定向音頻過濾器和調整每只耳朵接受的音頻頻率,有效計算出音頻該如何映射,從而創(chuàng)造出“空間音頻”的聽感。

不僅如此,蘋果的空間音頻將調用iPhone或iPad中的加速度計與陀螺儀,實時追蹤播放設備的位置,即便是轉頭或遠離,音源依然固定在播放設備的位置上。雖然空間音頻也支持5.1、7.1和杜比全景聲等立體聲格式,但是考慮到對播放內容的要求,只有特定的支持應用才能充分利用這一功能。

索尼

索尼在近期推出的PS5中同樣新增了3D音頻功能,利用全新的Tempest引擎實現(xiàn)。首席設計師Mark Cerny提到,上一代PS4提供的音頻體驗很差,只能調用AMD Jaguar內核中一小部分來提供7.1環(huán)繞聲,而PS3時代則是直接使用協(xié)處理器來實現(xiàn)。因此索尼隨后推出的PSVR中加入了定制音頻單元,支持50個優(yōu)質音源,而此次PS5的Tempest引擎更是支持上百個更高質量的音源。

Tempest其實是一個重新加工的AMD GPU計算單元,去掉了緩存,僅僅依靠直接存儲器訪問(DMA)的數據傳輸,從而充分發(fā)揮這一計算單元的矢量處理能力,正如PS3的協(xié)處理器一樣。最終實現(xiàn)的計算單元SIMD性能和帶寬已經等同于PS4上的8個Jaguar內核,如果按照與PSVR相同的算法標準來衡量的話,足以支持5000個同質量音源,但PS5更傾向于使用更復雜的算法實現(xiàn)高質量音源,況且也不需要用到如此多的音源。


不同的HRTF對比 / 索尼

而且索尼已經為上百個測試人群進行了HRTF建模,并提供5種預設方案,與此同時,用戶還可以通過應用給索尼發(fā)送雙耳的正面照片,索尼將利用神經網絡從HRTF庫中為用戶選取參數最接近的一套配置。這種參數獲取方式其實已經在索尼的另一大3D音頻服務360 Reality Audio中實現(xiàn)了,但該服務主要面向音樂應用。索尼還提到未來也許會開發(fā)一個音頻游戲,通過得分來微調HRTF,為用戶提供最契合的3D音頻體驗。

雖然不同廠商對HRTF的獲取方式不同,但要想實現(xiàn)3D音頻可沒這么簡單,同樣必不可少的還有DSP

高通

Waves旗下的Nx實現(xiàn)了一套專門用于耳機和耳塞的3D音頻方案,利用心理聲學來實現(xiàn)揚聲器級別的3D聽感體驗。Nx將利用單個IMU來執(zhí)行頭部追蹤,并借助手機設備的IMU來實現(xiàn)一套雙傳感器算法,根據移動或運動下的參考數據確保聲場位置。

Hexagon 698 DSP / 高通


但這樣的實現(xiàn)方式會消耗移動設備一定的算力,從而對電池使用時間造成影響。所以Waves與高通合作,通過高通的Hexagon DSP和硬件優(yōu)化,Waves Nx能夠有效率地運行在搭載驍龍芯片的手機上,實現(xiàn)沉浸式的音頻體驗而不會犧牲電池壽命。就拿驍龍865中的Hexagon 698 DSP來說,這一數字信號處理器只有指甲大小,卻內置4核張量加速器,可以做到每秒15萬億次的算力。

CEVA

美國廠商VisiSonics也提供了自己的3D音頻解決方案RealSpace 3D Audio,這是一套基于物理實現(xiàn)3D音頻算法的空間音頻軟件,并支持房間反射、物體遮擋和HRTF的模型創(chuàng)建。此外,RealSpace 3D Audio既可以在設備app或DSP硬件上實現(xiàn),也可以采用混合處理的方式。

RS3D在CEVA DSP上的實現(xiàn) / CEVA

在DSP端,VisiSonics與著名DSP廠商CEVA合作,借助CEVA-X2或CEVA-BX1/BX2這三款DSP,RealSpace 3D Audio可以將5.1、7.1、基于物體的音頻等立體音頻空間化,并根據CEVA的六軸傳感器FSP200獲取頭部跟蹤數據。

CEVA-X2原理圖 / CEVA


CEVA-X2是一款基于16nm工藝的10級流水線DSP,工作頻率在2Ghz,達到4.5CoreMark/MHz的得分。該處理器包含兩個標量處理單元,支持8/16/32/64位數據類型的算法和邏輯運算。正是因為擁有這樣的性能,這款DSP才用作高性能語音處理,比如多麥克風語音處理、3D音頻和高質量音頻播放等。

小結

盡管如今市面上已經涌現(xiàn)了不少3D音頻的解決方案,但其實現(xiàn)方式與兼容性都有所差距。單拿HRTF的獲取來說,借助設備端的傳感器是最簡單的方式之一,但是較差,而通過app遠程拍攝耳型與頭型的方式則需要龐大的數據庫支撐,因此往往僅對小數量的人群進行嚴格的HRTF測量,再借助計算機視覺和神經網絡來匹配。除此之外,設備端DSP的不同有時可能會對同一3D音頻方案的實現(xiàn)造成阻礙。

音源的錄制方式同樣為3D音頻的普及帶來了障礙,比如有的音頻錄制需要先交納一定的授權費用才能使用,有的3D音頻內容則只有在特定的設備上才可以進行播放。不僅如此,藍牙設備的音頻編解碼格式(APTX、LHDC)、音頻文件的格式(MPEG-H)同樣會帶來不同的3D音頻效果。如此看來,3D音頻確實可以帶來非凡的聽感體驗,但目前來看效果不一而且多數廠商各自為戰(zhàn),要想占據主流市場,仍面臨著不小的挑戰(zhàn)。

本文由電子發(fā)燒友網原創(chuàng),未經授權禁止轉載。如需轉載,請?zhí)砑游⑿盘杄lecfans999。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 蘋果
    +關注

    關注

    61

    文章

    24429

    瀏覽量

    199165
  • 3d音頻
    +關注

    關注

    0

    文章

    6

    瀏覽量

    10987
  • TWS
    TWS
    +關注

    關注

    17

    文章

    390

    瀏覽量

    39944
收藏 人收藏

    評論

    相關推薦

    uvled光固化3d打印技術

    說到UVLED光固化3D打印技術,那可是當下3D打印領域的一股清流啊!這項技術利用紫外線和光固化樹脂來制造3D打印模型,原理簡單又高效。UVLED光固化3D打印,采用的是逐層固化的方式
    的頭像 發(fā)表于 12-24 13:13 ?151次閱讀
    uvled光固化<b class='flag-5'>3d</b>打印技術

    TAS3103 EVM用于具有3D效果的數字音頻處理器

    電子發(fā)燒友網站提供《TAS3103 EVM用于具有3D效果的數字音頻處理器.pdf》資料免費下載
    發(fā)表于 12-06 14:01 ?0次下載
    TAS3103 EVM用于具有<b class='flag-5'>3D</b>效果的數字<b class='flag-5'>音頻</b>處理器

    透明塑料件噴粉3D掃描CAV全尺寸檢測逆向3D建模設計服務-CASAIM

    3D建模
    中科院廣州電子
    發(fā)布于 :2024年08月30日 10:04:53

    安寶特產品 安寶特3D Analyzer:智能的3D CAD高級分析工具

    安寶特3D Analyzer包含多種實用的3D CAD高級分析工具,包括自動比對模型、碰撞檢測、間隙檢查、壁厚檢查,以及拔模和底切分析,能夠有效提升3D CAD模型檢測分析的效率,讓模型分析變得更簡單。
    的頭像 發(fā)表于 08-07 10:13 ?394次閱讀
    安寶特產品  安寶特<b class='flag-5'>3D</b> Analyzer:智能的<b class='flag-5'>3D</b> CAD高級分析工具

    TAS3103具有3D效果的數字音頻處理器數據表

    電子發(fā)燒友網站提供《TAS3103具有3D效果的數字音頻處理器數據表.pdf》資料免費下載
    發(fā)表于 08-02 11:45 ?0次下載
    TAS3103具有<b class='flag-5'>3D</b>效果的數字<b class='flag-5'>音頻</b>處理器數據表

    廣東3D掃描鈑金件外觀尺寸測量3D偏差檢測對比解決方案CASAIM

    3D掃描
    中科院廣州電子
    發(fā)布于 :2024年07月22日 16:13:45

    歡創(chuàng)播報 騰訊元寶首發(fā)3D生成應用

    1 騰訊元寶首發(fā)3D生成應用 只需一張照片,便能迅速打造獨一無二的3D角色。7月16日,騰訊旗下大模型應用“騰訊元寶”上線了“3D角色夢工廠”玩法,騰訊元寶也是首個擁有打印級3D生成能
    的頭像 發(fā)表于 07-18 11:39 ?774次閱讀
    歡創(chuàng)播報 騰訊元寶首發(fā)<b class='flag-5'>3D</b>生成應用

    裸眼3D筆記本電腦——先進的光場裸眼3D技術

    隨著科技的不斷進步,裸眼3D技術已經不再是科幻電影中的幻想。如今,英倫科技裸眼3D筆記本電腦將這一前沿科技帶到了我們的日常生活中。無論你是專業(yè)的3D模型設計師,還是希望在視頻播放和模型
    的頭像 發(fā)表于 07-16 10:04 ?572次閱讀

    奧比中光3D相機打造高質量、低成本的3D動作捕捉與3D動畫內容生成方案

    ? 在過去幾十年里,動作捕捉(MoCap)技術經歷了顯著的發(fā)展,廣泛被應用于電影、游戲、虛擬現(xiàn)實、醫(yī)療等多個領域。近期,奧比中光合作客戶Moverse使用Orbbec Femto系列3D相機,打造出
    的頭像 發(fā)表于 06-25 16:37 ?1098次閱讀

    LG Display攜眾多次世代OLED新技術亮相2024年SID國際顯示周

    當地時間5月14日,全球規(guī)模最大的顯示行業(yè)盛會——2024年SID國際顯示周(SID Display Week 2024)在美國加利福尼亞州圣何塞開幕。作為全球領先的顯示創(chuàng)新企業(yè),LG Display攜眾多次世代OLED新技術亮相現(xiàn)場。
    的頭像 發(fā)表于 05-16 10:21 ?1251次閱讀

    ad19中3d模型不顯示?

    封裝庫導入3d模型不顯示,但導入3d模型后的封裝庫生成pcb文件時顯示3d模型,這是什么原因導致的。
    發(fā)表于 04-24 13:41

    頭盔3D掃描逆向工程3d建模抄數測繪服務-CASAIM中科廣電

    3D掃描
    中科院廣州電子
    發(fā)布于 :2024年04月12日 14:03:01

    Stability AI推出Stable Video 3D模型,可制作多視角3D視頻

    SV3D_u是Stable Video 3D的一個版本,僅需單幅圖片即可生成運動軌跡視頻,無須進行相機調整。擴充版本的SV3D_p加入了軌道視圖的特性,使其可以根據預設的相機路徑創(chuàng)建3D
    的頭像 發(fā)表于 03-21 14:57 ?1047次閱讀

    3D動畫原理:電阻

    電阻3D
    深圳崧皓電子
    發(fā)布于 :2024年03月19日 06:49:19

    裸眼3D頻頻“出圈” 電信積極布局并發(fā)力裸眼3D領域

    隨著科技的發(fā)展,現(xiàn)在3D視角已經不是新鮮事。而現(xiàn)在,裸眼3D應用則也在頻頻“出圈”。特別是在5G的助力下,裸眼3D技術應用更是成為科技圈一個熱點。
    的頭像 發(fā)表于 03-11 17:33 ?719次閱讀
    现金百家乐官网网上娱乐| 百家乐官网趋势方向| 在车库做生意风水| 百家乐必胜法| 威尼斯人娱乐城怎么样lm0| 盈得利百家乐官网娱乐城| 黎川县| 百家乐博彩吧| 百家乐桌台布| 海王星线上娱乐| 战神百家乐的玩法技巧和规则| 天玉经24山水法| 百家乐官网机械投注法| 188比分直播网| 索雷尔百家乐的玩法技巧和规则 | 678百家乐博彩娱乐场| 百家乐官网全部规则| 澳门百家乐官网家用保险柜| 真钱百家乐| 棋牌58w| 大发888真钱游戏注册| 百家乐下载免费软件| 百家乐官网平台注册 | 大发888官方游戏平台| 苹果百家乐的玩法技巧和规则| 网上百家乐哪里开户| 百家乐官网真人游戏| 博之道百家乐官网的玩法技巧和规则 | 大发888大发888娱乐城| 金杯百家乐官网的玩法技巧和规则 | 半岛棋牌游戏| 大发888怎么玩| 超级老虎机系统| 环球百家乐的玩法技巧和规则| 百家乐赌博技巧网| 视频百家乐信誉| 澳门百家乐免费开户| 博彩百家乐龙虎| 免费下百家乐赌博软件| 澳门百家乐路子分析| 投真钱百家乐必输吗|