基于FPGA的超低時延激光多媒體終端

一作品簡介

隨著數字光處理技術(DLP)和液晶顯示器技術(LCD)的不斷發展，市場上能實現4K@60Hz超高清投影的投影機型號日漸增加，對投影儀器性能的要求也與日俱增，對投影延遲、投影亮度、投影色彩、系統可擴展性等方面提出了更高的要求。

在軍用領域中，時間就是生命，美國空軍的模擬器通用體系結構與標準(Simulator Common Architecture Requirements and Standards，SCARS)中規定戰斗機模擬訓練全任務仿真器(Full Mission Simulators, FMS)的模擬投影延時不得高于20ms；在商用領域中，時間就是金錢，金融期貨與證券交易的深度行情信息最快每250ms刷新一次，對投影系統畫面傳輸的時延要求高；在民用領域中，時間就是快樂，專業電子競技顯示儀器的視頻傳輸時延需低于16ms。

針對軍用、商用、民用三大領域對超低時延投影顯示的需求，本團隊完全獨立自主地從硬件系統、邏輯算法以及軟件代碼三方面實現了基于FPGA的超低時延超高清激光多媒體終端，同時兼顧投影亮度、投影色彩和系統可擴展性。相比于市場上4K投影時延高達40ms到200ms的投影系統，本系統4K投影時延為15.8ms；能夠支持的最高投影畫面質量為4K@60Hz；投影畫面亮度可達3500流明；畫面對比度能夠達到1000:1；系統支持USB3.0接口、千兆網口、萬兆光口等高速接口以實現硬件擴展。

圖1

二硬件設計

本系統的硬件設計有本團隊成員使用Cadence系列軟件進行EDA設計，包括原理圖庫設計、原理圖設計、PCB封裝庫設計以及PCB設計。本作品的硬件系統原理圖設計采用自頂向下的top design設計方法。最終完成了復雜的低延時激光多媒體終端硬件原理圖設計，原理圖共計58頁，部分頂層設計如圖2所示。

圖2

本作品的硬件平臺為一塊復雜的16層高密度激光多媒體顯示終端系統板，用于實現超低時延激光投影，采用Xilinx Ultrascale+系列的XCZU7EV-FFVC1156E作為核心芯片，板上掛載了6片DDR4擴展存儲資源，支持HDMI2.0與V-by-One兩種視頻輸入接口，搭載一路數字微鏡驅動接口以及一路DP1.2a視頻輸出接口；系統同時支持SATA大容量存儲設備、USB3.0接口、MIPI D-PHY攝像頭接口、千兆以太網、萬兆以太網以及光學控制接口等豐富的外設資源。

圖3

圖4

三低時延邏輯算法設計

3.1分布式離散交織顯示邏輯算法

顯示信令控制模塊是數字微鏡驅動單元中的核心模塊，而顯示信令控制模塊中最為核心的就是分布式離散交織顯示算法，該算法的示意圖如下圖所示。該算法采用不同的LFSR隨機種子優化投影顯示策略，實現了視頻數據更高效的顯示，相較于傳統的幀刷新方式，將帶寬利用率提升了74.5%。

圖5

3.2SARR邏輯算法

SARR(Self-Adjust-Rolling-Row)指自適應的滾動行緩存算法，該算法可極大降低了瞬時峰值數據帶寬。相較于市面投影儀40~200ms量級的響應處理時延，本系統的4K投影響應延時僅為15.8ms，極大緩解了傳統投影顯示延時高，投影體驗差的問題。基于SARR的低延時緩存策略貫穿在整個軟件邏輯設計之中，并且著重在數字微鏡驅動單元中的DDR4緩存單元體現，該算法的整體運行監控示意圖如圖6所示。

圖6

基于超低延時的設計需求，SARR分為了讀寫兩個部分，寫檢測部分需要監控輸入的視頻數據流、數據預處理，顏色生成等模塊的工作狀態，檢測寫部分的整體輸入速率；讀檢測部分需要基于寫入的數據速率，控制顯示信令控制的讀取速度，監控DDR4存儲模塊的讀寫狀態和DMD的數據吞吐速率，協調讀部分的讀取速率，確保讀寫指針維持偏差維持在4.167ms之內。并且，基于SARR可以使得軟件處理部分同時兼容4K@60Hz、4K@50Hz、4K@30Hz、4K@25Hz等多種顯示規格。

圖7

3.3作品創新點

3.1.1 全方面自主設計的低時延激光顯示多媒體平臺系統

本作品中的硬件、邏輯以及軟件均為本團隊成員獨立自主設計的低時延激光顯示多媒體平臺。該多媒體平臺擁有豐富的外設資源，支持HDMI2.0與V-by-One視頻輸入，能夠通過萬兆光口與千兆網口實現板級互聯實現硬件資源擴展，能夠通過更換數字微鏡子板以實現對不同型號數字微鏡芯片的驅動，多媒體終端的可擴展性和兼容性強。

本作品使用三色激光光源實現投影，使用了基于三色激光光源的RGBYCW六色顯示技術，相比較于傳統DLP投影技術中使用高壓汞燈投影以及單/雙色激光配合色輪投影的技術而言，投影亮度更高，對比度更高，色彩飽和度更高，投影畫面更加真實，對應用場合的要求更低。

3.1.2 獨創的新型投影邏輯設計架構和分布式離散交織顯示算法

本團隊從MEMS底層構建驅動應用算法，通過SARR(Self-Adjust-Rolling-Row)技術，相較于市面投影儀40~200ms量級的響應處理時延，本系統的4K投影響應延時僅為15.8ms，解決了傳統投影顯示延時高，投影體驗差的問題。

本團隊在驅動算法層面，提出了一種通過分布式離散交織顯示算法，采用不同的LFSR隨機種子優化投影顯示策略，實現了視頻數據更高效的顯示，極大降低了瞬時峰值數據帶寬，將帶寬利用率提升74.5%，抑制了偽輪廓噪聲，提高了驅動算法的效果，配合多色投影組合策略，大幅提高了投影畫面的灰度精度及亮度。

3.1.3 突破技術壁壘，推動技術創新

本作品僅使用一塊FPGA就完成了對TI數字微鏡芯片的驅動，相比較于TI傳統的“專用驅動芯片+固件程序”驅動方案，靈活性更高，成本更低，在數字微鏡驅動領域填補了我國的技術空白，對獨立生產制造數字微鏡器件具有指導意義。

本作品已申請4項發明專利，其中3項已通過授權。

●國家發明專利《一種基于FPGA的數字微鏡芯片驅動方法》，專利號：202110659960.9，已授權；

●國家發明專利《一種針對數字微鏡芯片的4K分辨率視頻圖像預處理方法》，專利號：202110617933.5，已授權；

●國家發明專利《一種基于振鏡的數字微鏡高分辨率視頻圖像投影方法》，專利號：202210737653.2，已授權；

●國家發明專利《一種基于數字微鏡的8K超高清單色顯示器》，申請號：2023104558872，已通過初步審查。

四總結

總體而言，本團隊自主設計了基于FPGA開發了超低延時激光多媒體終端系統，同步控制三色激光光源和制動器實現超低延時的超高清激光投影，可廣泛應用于軍用、商用、民用等領域，具有延時低、圖像質量高、通用性強、應用擴展性高等優勢。本作品僅使用一塊FPGA就完成了對數字微鏡驅動，相較于TI傳統的“專用驅動芯片+固件程序”驅動方案，靈活性更高，成本更低，在數字微鏡驅動領域填補了我國的技術空白，打破了TI的技術壟斷，且不受其應用限制。在國產化大形勢下，為各大投影廠商選擇國產方案提供了可定制化的超低時延多媒體終端，應用前景良好。

圖8