?

從專用串行數字接口 (SDI) 的點對點連接轉到面向媒體內容交換和協作的以太網 IP 網絡，這一顛覆整個廣播媒體制作供應鏈的演進趨勢仍在繼續?，F在，不斷發展并日臻成熟的 IP 技術已可支持基于文件的視頻制作，其進步之快，已將實時視頻的制作、計時和同步囊括其中。

要滿足實時視頻的制作要求，仍需克服諸多挑戰，包括但不限于互操作性、性能、時延和連接能力。?

當前，從專有硬件轉向基于計算機的商用現貨 (COTS) 系統和設備始終保持著快速發展的態勢。IP 媒體技術涉及網絡、服務器、存儲和應用的各個方面。?

實時 IP 視頻制作已引入新的網絡設計與拓撲，以滿足通過網絡進行實時媒體傳輸的任務關鍵型要求。這些新的要求正在逐漸突破 COTS 硬件架構現有范式的限制，不斷增加的媒體處理需求也隨之而來，因此使用特定的硬件加速器非常必要。?

英特爾作為奧運會和殘奧會的官方處理器合作伙伴，與奧林匹克廣播服務公司 (OBS) 開展合作，利用可跨多個芯片平臺的多種技術和完整的軟件堆棧，共同定義了一個參考架構，解決上述全新挑戰，為實時視頻制作工作流程提供支持。

我們將展示2022年北京冬奧會期間首次試用這一全新架構的相關情況，并提供產品路線圖，以便隨著時間的推移，在未來更多活動中擴大這項新技術的使用范圍和功能。?

“英特爾與奧林匹克廣播服務公司持續開展合作，共同定義了暫用名為‘虛擬化外場轉播車(vOB)’的軟件定義外場轉播車參考架構。”?

雙方合作的目標是借助使用 COTS 硬件的通用基礎平臺，構建基于軟件的完全虛擬化架構，同時保留為慣用傳統廣播設備的廣播工程師和運營商所熟悉的用戶體驗。?

根據相關標準打造的平臺支持在同一物理平臺上部署來自一家或多家供應商的多個軟件應用。這種方法有助于實現物理硬件資源的輕松擴展，以匹配各種賽事轉播的復雜性和計算要求。?

該參考架構在2022年冬奧會冰壺比賽中進行了試點，全面反映了可供國際廣播商使用的標準廣播制作流程。?

如果您正在參與下一代媒體處理基礎設施的架構搭建、設計或選擇，請繼續閱讀，進一步了解如何利用英特爾 FPGA 實現視頻和音頻處理應用，以便在進行復雜的實時視頻制作時能夠滿足嚴苛的實時要求。

挑戰

采用 SDI 基帶路由器、同軸電纜和 BNC 連接器的傳統廣播基礎設施目前正在向使用 IP 網絡交換機和軟件定義網絡 (SDN) 控制器的以太網過渡。隨著以太網交換機支持的傳輸速度不斷升級，匯聚型無阻塞交換機和網絡吞吐量的性能也在不斷提升，為利用IP/以太網經濟高效地傳輸關鍵性廣播應用奠定了堅實的基礎。這種方法不僅仍能提供與傳統 SDI 操作相同的穩健性和穩定性，還具備更加出色的敏捷性、靈活性和可擴展性，可滿足不斷發展的媒體格式要求。

為應對這一挑戰，多家企業和機構通過合并媒體、互聯網和 IT 領域的一系列標準、規范、協議和推薦方案，共同建立了行業合作伙伴關系，并由此審批并通過了多項有關實時視頻制作的新標準。SMPTE ST-2110 Professional Media Over Managed IP Networks Suite of Standards（美國電影電視工程師協會 ST2110 經托管 IP 網絡傳輸的專業媒體的相關標準）和 AMWA NMOS（高級媒體工作流程協會的網絡媒體開放規范）是其中兩個主要標準。?

就使用 ST2110 規范的用例而言，所有媒體要素（視頻、音頻、數據、控制和同步）都需在網絡中以數據包的形式進行傳輸。?

雖然這在結構上似乎與常規的以太網網絡十分相似，但要成功地實現 ST2110 工作部署，需要注意一些特殊要求，例如流量整形和無中斷故障切換 (hitless protection switching)。?

就流程而言，管理、處理和轉換多個同步的高分辨率視頻和高質量音頻流通常是實時視頻制作流程的關鍵環節。完成此類任務需要有高性能平臺提供足夠的算力和帶寬，這樣才能夠以盡可能低的時延生成視頻結果。?

為完成上文提及的任務，可在通用 COTS 服務器中添加靈活的媒體加速器，以此提高處理能力，同時降低功耗。英特爾 FPGA可以提供強大的并行處理能力和高內存帶寬，是實現此類媒體加速器的理想選擇。在 COTS 服務器中添加靈活的媒體硬件加速器可避免對軟件負載條件的依賴，從而降低確定性時延。這種方法還能夠節省可用于用戶應用的寶貴計算資源。

由于 FPGA 能夠在數毫秒內實現現場重新編程，因此可根據具體用例定制和部署不同的音頻/視頻處理流水線，使 FPGA 成為在通用計算服務器中添加靈活的媒體加速器的理想解決方案。

解決方案

FPGA 中的 ST2110 實現

●?SDI-IP 網關

雖然現階段已能夠使用基于“全 IP”的基礎設施，但大多數系統仍需支持各種基于 SDI 的傳統設備，而將這些設備轉換為適應網絡環境的運行模式絕非易事。面臨的挑戰在于找到真正高效的方法，彌合兩種運行環境間的差距，同時保留二者的長處和優勢。?

對于 SDI 或 IP 混合演播室制作系統而言，SDI-IP 網關在不同 SDI 和 IP 矩陣間的音頻、視頻和輔助數據傳輸中發揮著至關重要的作用。它們可將一路或多路要素流聚合至 10 GbE、25 GbE 甚至更高帶寬的網段中，如 50 GbE 和 100 GbE。SDI-IP 網關還支持信號緩沖，從而確保妥善實現時間同步，并在不同的 IP 流間順暢傳輸。此外，這些網關也許還包括可節省網絡帶寬的夾層或幀內編解碼器。?

圖 1. 多通道 SDI-ST2110 網關在單個 FPGA 上的實現。

SDI-IP 網關具備連接分布式演播室或分布式設施所需的必要功能，以及跨越不同精確時間協議 (PTP) 的能力。對 SDI 或單獨的音頻流、視頻流和輔助數據進行 IP 分組基于的是 SMPTE ST 2110 標準。?

圖 1 所示為 SDI-IP 網關系統的概念示意圖。

●?ST2110 網卡 (NIC)

隨著我們轉向全 IP 部署，有關支持實時媒體傳輸的新要求也隨之出現。我們需要具有視頻感知架構的 COTS ST2110 網卡，該種網卡要能提供廣播設備所需的 24/7 可靠性和互操作性，同時仍具備 IP 基礎設施應有的靈活性和可擴展性，包括標準的網絡堆棧功能。

這些特定的網絡適配器具備完全卸載 ST2110 協議下相關操作的能力，因此使原始設備制造商 (OEM) 的軟件解決方案能夠提供可靠且可擴展的基于 COTS 系統的 10 GbE、25 GbE 和 100 GbE IP 解決方案。此類網卡實際上卸載了 ST2110 媒體傳輸所需的全部數據包處理操作，包括音頻、視頻和輔助數據，以及內置于網卡的數據冗余和數據包步調控制 (packet pacing) 功能，從而 釋放系統資源。軟件解決方案能夠在任何條件下提供有保證的窄位寬數據傳輸，且不受 CPU 負載與操作系統 (OS) 交互的影響。?

圖 2 所示為基于 FPGA 的 ST2110 網卡簡化示意圖。不同的選擇方案處理能力也不同，最高可支持 8 路 4k60 或 32 路 1080p60 媒體流的輸入和輸出，以及 100 Gbps 鏈路，且 CPU 使用率幾乎為零。?

由于這些 ST2110 網卡通常部署在支持虛擬化流程（在這些流程中，終端應用將會運行在虛擬機和/或容器內）的服務器中，因此必須支持單根 I/O 虛擬化 (SR-IOV) 的虛擬功能 (VF)。由于可以選擇在硬核芯片中，而非軟核邏輯結構中實現連接到 SR-IOV VF 的直接內存訪問 (DMA) 通道，因此可為終端應用在邏輯和功耗方面帶來多種好處。

圖 2. 基于 FPGA 的網卡（可從主機服務器 CPU 完全卸載 ST 2110 協議下的相關操作）。

面向視頻/音頻處理的 FPGA

●?視頻混合器、重放、多視圖查看器、縮放器、HDR 處理等

在為廣播設施構建解決方案或為直播活動整合各種音頻/視頻產品時，系統集成商常常需要在不同的協議之間“搭建橋梁”，或在設備之間進行視頻格式轉換。英特爾具有豐富的知識產權(IP)、參考設計和硬件，可加快解決方案的上市速度。英特爾還能夠提供專用標準產品 (ASSP) 或圖形處理單元 (GPU) 無法實現的性能、差異化功能和集成功能。?

上/下/交叉轉換器具有視頻處理和縮放功能，可在不同的色彩空間、根據不同的長寬比要求，在標清 (SD)、高清 (HD) 和 4K 之間實現格式轉換。這些轉換器適配 SDI、高清多媒體接口 (HDMI)、DisplayPort 和 IP 等不同的連接接口標準。一般來說，視頻處理卡內包含多種算法。而且這些視頻處理卡可將多通道視頻處理流水線與連接接口集成在一起，并可在制作環境中提供基于 PCIe 的流式 DMA 訪問主機處理。

圖 3. FPGA 支持全面的連接技術與視頻處理流水線的集成。

●?多通道音頻處理

英特爾?FPGA 具備出色的數字信號處理 (DSP) 性能，可滿足音頻處理、接口連接、壓縮、嵌入和轉換等多種需求。FPGA 架構固有的并行特征可同時處理多個音頻，實現資源的高效利用。英特爾?FPGA 具有出色的性能，這意味著其所支持的音頻處理能力將遠遠超過大多數應用的需求。

英特爾所提供的架構有著經濟高效、靈活多變的特性，是 ASSP 和 DSP 的理想替代方案；此外，英特爾還與合作伙伴生態系統攜手，提供音頻和語音編解碼器、回音消除器等工具。在英特爾平臺的助力下，工程師們能夠迅速將音頻功能集成到各自的產品中，實現產品差異化、增加通道密度并加快產品的上市速度。設計師能夠充分利用英特爾?FPGA 的 DSP 性能、帶寬和其他功能特性來實現片上系統設計，消除單獨使用組件來執行語音處理任務的需求，進而減少成本，特別是多通道音頻應用的成本。

?

值得注意的一點是，FPGA 能夠將連接和處理功能整合在一起。因此，整合媒體傳輸連接技術（例如 ST2110）可為特定的音頻和視頻應用帶來助益，便于高效構建小巧而可靠的解決方案。

圖 4 所示為能夠集成多個 I/O 接口功能的音頻處理卡，支持在單個設備中實現端到端的音頻解決方案。

圖 4. FPGA 支持全面的連接技術與音頻處理流水線的集成。

●?面向實時視頻制作的低時延夾層壓縮技術

采集分辨率和視頻質量在不斷提升。此外，經生成、收集和傳輸而來的大量原始數據也越來越難管理。? ? 隨著市場對更高分辨率、更高幀率和更智能的分發系統的需求不斷增長，傳輸經過壓縮的視頻正逐漸成為主流方案。? ? 如此一來，就更加需要標準化的壓縮解決方案，助力設計人員以低時延和低實現復雜性，管理更高像素、節省更多成本與電能、簡化連接，同時保證畫質和音質。? ? FPGA 架構非常適合夾層編解碼器的實現（JPEG-XS、VC-2、 SpeedHQ 等），能夠利用并行處理和自有內存，在無需外部幀緩沖的前提下，構建低時延、小巧緊湊的解決方案，可謂應對上述挑戰的理想選擇。

面向攝像應用的 FPGA

隨著成像技術在分辨率和幀率方面不斷提升，已超過高清和每秒60 幀 (60 fps) 標準并要求獲得更高的動態范圍支持，因此必須在空間受限的攝像機和攝錄機設計中進行實時圖像和視頻處理。此外還需要諸如視頻分析、元數據采集等新增功能的加入，以使工作流程更高效并實現內容創收。傳統的解決方案通常會涉及ASIC、處理器和 FPGA，這會使系統更為復雜，同時增加功耗并產生更多熱量。?

英特爾 FPGA 將可接入 4K 和 8K 傳感器的高速連接與高度靈活的圖像和視頻處理流水線集成在一起，并可在需要時添加無損或有損壓縮編碼功能（通常是無損壓縮編碼用于演播室環境，有損壓縮編碼用于電子新聞采訪攝像機的無線傳輸，以及 SD 卡或SATA 硬盤的本地存儲），同時還支持多種輸出連接標準。現在，只需一臺設備即可支持上述所有功能，大大節省了空間、降低了成本與功耗。

圖 5. 功能全面的高端攝像機可在單個 FPGA 中高效實現。

配備 4K，甚至是 8K 圖像傳感器的演播室攝像機能夠通過高帶寬電纜（12G-SDI、25/100 GbE 電纜或光纖），為演播室廣播節目和運動賽事采集和放送高清、高幀率 (HFR)、高動態范圍 (HDR) 和廣色域 (WCG) 視頻。圖 5 所示為典型的演播室攝像系統云臺。

解決方案組成部分與路線圖

英特爾 Agilex 7 FPGA 和英特爾 Agilex 5 FPGA 賦能 8K 視頻數據路徑

幾十年來，視頻分辨率不斷提高，從標清 (720x486) 到高清(1920x1080)，再到超高清 (UHD) 4K (3840x2160) 和 8K(7680x4320)，甚至更高。應對這種帶寬不斷增加的情況所需的時鐘頻率也相應提高。標清視頻的分辨率只要求像素時鐘頻率達到 27 MHz，這在今天很容易實現，但在上世紀 90 年代初剛推出時卻很難實現。高清視頻的分辨率要求時鐘頻率達到 74.25MHz 或 148.5 MHz，這在當時雖可實現但也充滿了挑戰。如今，4K 視頻的分辨率要求像素時鐘頻率達到 594 MHz，這已能在英特爾新推出的 FPGA 家族產品中實現，而 8K 視頻則需要高達2,376 MHz 的像素時鐘頻率，這么高的時鐘頻率迫使視頻工程師不得不尋找新的設計路徑。?

為達到這種高像素時鐘頻率，需對視頻 IP 核（如縮放器或色彩空間轉換器）進行重新設計，以便能在每個時鐘周期內處理更多像素。在大多數情況下，這意味著需要在 IP 核內復制整個視頻流水線。從單像素并行 (pixel-in-parallel, PIP) 處理到支持 4K視頻的雙像素并行處理，所需使用的 FPGA 資源也將翻倍。早前采用 8K 視頻設計的現有用例往往依靠類似 8 像素并行處理的技術，導致 FPGA 資源使用量明顯增加。?

英特爾 Agilex 7 FPGA 和英特爾 Agilex 5 FPGA 是基于10 納米 SuperFin 以及英特爾 7 制程工藝打造的英特爾 FPGA全新家族，相比之前的產品家族，可在更高的頻率下運行，助力FPGA 開發人員大幅降低特定邏輯功能的資源占用率和功耗。它們的時鐘頻率可達到 600 MHz，并且往往無需對現有的寄存器傳輸級 (RTL) 代碼進行大量重寫。這對視頻設計尤其有益，因為這可使幀率為 60 fps 的 4K 視頻得到單像素并行處理。

圖 6. 英特爾 Agilex 7 FPGA 和英特爾 Agilex 5 FPGA 的高性能邏輯結構支持以高時鐘頻率執行視頻處理，可優化占用面積，從而節約資源與降低功耗。

圖 7. 借助 VVP 庫，您可在英特爾 FPGA 上輕松創建復雜的視頻處理流水線。

作為視頻處理構件的 VVP

視頻與視覺處理 (VVP) 庫集合了 20 多項 IP 功能，并可支持所有英特爾 FPGA 產品。它所提供的設計理念適用于快速創建全新設計，可輕松集成自定義增值功能以及包括 HDMI、DisplayPort、12G-SDI、SMPTE 2110 和 MIPI 在內的視頻連接 IP 核。?

該庫支持多種分辨率、幀率 (fps)、位色 (bpc)（1080p/4K/8K、適用 HDR、120+ fps、16 bpc），可提供遠超大多數 ASSP 的視覺質量。

使用英特爾 OFS 與英特爾 FPGA SmartNIC N6000- PL 平臺加速虛擬化 FPGA 開發

英特爾 開放式 FPGA 堆棧（Intel Open FPGA Stack，英特爾OFS）是一種可擴展、可訪問源代碼的軟硬件基礎設施，通過Git 庫交付，支持自定義符合自身特殊要求的加速平臺解決方案。這款第二代軟硬件基礎設施可適配英特爾 Stratix 10 FPGA、英特爾 Agilex 7 FPGA 和英特爾 Agilex ５ FPGA 和未來的英特爾 FPGA 家族產品。該基礎設施僅限英特爾和精選第三方平臺使用，旨在解決與設計基于 FPGA 的加速平臺解決方案相關的挑戰。?

英特爾 OFS 為開發自定義 FPGA 平臺提供了一條高效路徑，因其能夠：

提供 FPGA 可合成代碼、仿真環境及合成或仿真腳本。

使用符合行業標準的 Arm AMBA 4 AXI 接口、工作負載示例和 AFU 仿真功能，加速工作負載開發。

利用已提交上傳至 Linux 內核的軟件驅動程序以及 OPAE 軟件和庫。

英特爾 FPGA SmartNIC N6000-PL 平臺 [此前代號為 ArrowCreek 的加速開發平臺 (ADP)] 采用雙 PCIe 卡設計，配備英特爾Agilex 7 FPGA 和英特爾 Agilex 5 FPGA，曾被原始設計制造商 (ODM) 合作伙伴和/或客戶用作針對不同市場打造的量產卡的基礎。不同設計之間的關鍵差異在于其中一款包含集成式雙端口 100 GbE 英特爾 以太網控制器 E810。

圖 8. 英特爾 OFS 提供一整套軟硬件資源，加速虛擬化 FPGA 視頻處理應用的開發。

圖 9. 英特爾 FPGA SmartNIC N6000-PL 平臺是一款即插即用的 PCIe 卡，搭載英特爾 Agilex 7 FPGA 和英特爾 Agilex5 FPGA，由英特爾 OFS 提供全面支持。

英特爾 FPGA SmartNIC N6000-PL 平臺提供了一個參考硬件平臺，使客戶在產品進入完全量產前，能夠在實際硬件中開發、調整和優化特定的工作負載。這些客戶通常處于以下情形：他們希望制造具備量產質量的卡，但在確定最終設計之前首先想優化其 IP。

圖 10. 英特爾 FPGA SmartNIC N6000-PL 平臺板卡實物圖。

英特爾 FPGA SmartNIC N6000-PL 平臺是開發平臺家族中首款覆蓋多個細分市場和多種解決方案的產品。?

英特爾 FPGA SmartNIC N6000-PL 平臺包含多種基于英特爾OFS 的 FIM 設計，適配英特爾 Agilex 7 FPGA 與英特爾Agilex 5 FPGA，可支持多種內存、以太網和 PCIe 系統配置。我們推出英特爾 OFS 的主要目的是通過提供可訪問源代碼的硬件、開源的軟件和仿真基礎設施，讓您能夠根據自身平臺應用的需求輕松進行自定義設置，進而加快產品上市。

圖 11. 英特爾 OFS 所含不同子模塊的詳細示意圖。

總結

英特爾 FPGA 可提供出色的架構、計算能力和能效，滿足實時視頻制作工作流程的多種要求。英特爾 FPGA 不僅能夠使用不同的連接技術和視頻/音頻處理構件來實現功能全面的視頻處理流水線，還能通過動態地重新配置更優的數據路徑，為低時延實現方案提供支持。英特爾可提供諸多適配組件，從芯片（英特爾Agilex 7 FPGA 和英特爾 Agilex 5 FPGA）到 IP（VVP 和連接技術），再到支持 COTS/虛擬化流程的完整平臺（英特爾?FPGA SmartNIC N6000-PL 平臺和英特爾 OFS），不一而足，滿足用戶各種需要。

編輯：黃飛

?