消化和迭代接近實(shí)時(shí)的地理空間數(shù)據(jù)的能力，將是未來多域場景中基于建模和仿真(M&S) 的任務(wù)規(guī)劃和演練解決方案的核心。在建模和仿真應(yīng)用程序中快速整合近期識別資產(chǎn)（identified assets）的能力則是一個(gè)與時(shí)間相關(guān)的瓶頸，只能通過自動(dòng)獲取及時(shí)的真實(shí)數(shù)據(jù)來解決。本文提出了一種端到端的地理空間管道，將當(dāng)前的地理數(shù)據(jù)饋送到 3D 數(shù)字孿生環(huán)境中，用于任務(wù)訓(xùn)練和模擬演練。基于全球航空數(shù)據(jù)集（RGB、NIR、SAR）的全自動(dòng)解決方案采用預(yù)先訓(xùn)練的機(jī)器學(xué)習(xí)（ML）模型來提取給定任務(wù)區(qū)域的 3D 基礎(chǔ)設(shè)施地理定位和地形數(shù)據(jù)。該技術(shù)的一個(gè)核心功能是一個(gè)集成的無代碼、可視化數(shù)據(jù)標(biāo)記工具，它使未經(jīng)人工智能與機(jī)器學(xué)習(xí)（AI/ML）培訓(xùn)的人員能夠?qū)Ξ?dāng)前圖像應(yīng)用ML分析，以識別大規(guī)模區(qū)域內(nèi)的關(guān)鍵任務(wù)對象。這些檢測到的關(guān)鍵對象會自動(dòng)輸入地理空間管道，在綜合訓(xùn)練環(huán)境中進(jìn)行地理參考和可視化表示。使用這種地理空間元宇宙方法，可以實(shí)時(shí)創(chuàng)建包含關(guān)鍵任務(wù)細(xì)節(jié)的綜合訓(xùn)練環(huán)境。因此，未來的任務(wù)規(guī)劃人員將能夠以靈活的方式定制模擬演練。

時(shí)間關(guān)鍵場景中的建模和仿真

地理空間信息既能啟用預(yù)警信號，又能提供作戰(zhàn)見解，其重要性無須贅述。本文將對另一個(gè)應(yīng)用領(lǐng)域進(jìn)行介紹，以獲取用于綜合訓(xùn)練和模擬解決方案的地理空間信息。政府（即情報(bào)界）和商業(yè)地理空間數(shù)據(jù)提供商（例如麥克薩科技(MaxarTechnologies)）為其選定的關(guān)心領(lǐng)域提供了大量接近實(shí)時(shí)的數(shù)據(jù)。例如，Maxar的衛(wèi)星艦隊(duì)可以每天提供多個(gè)重訪周期。生成的大量地理空間數(shù)據(jù)是現(xiàn)代大數(shù)據(jù)分析的一個(gè)典型應(yīng)用領(lǐng)域，其背后由先進(jìn)的機(jī)器學(xué)習(xí)模型進(jìn)行支撐。考慮到這些技術(shù)進(jìn)步，本文將展示一個(gè)端到端的地理空間平臺來消化和分析捕獲的數(shù)據(jù)（例如，通過無人機(jī)或衛(wèi)星）并輸出 3D 環(huán)境，以支持用于關(guān)鍵任務(wù)規(guī)劃和模擬演練的下一代建模和仿真（M&S）解決方案。

該平臺的核心功能是基于無代碼的人工監(jiān)督界面，可將新的素材集成到用于虛擬任務(wù)規(guī)劃和排練的3D綜合訓(xùn)練環(huán)境的創(chuàng)建中。這項(xiàng)獲得專利的創(chuàng)新使作戰(zhàn)規(guī)劃人員能夠?qū)⒎穷A(yù)定義的地理素材集成到應(yīng)用的機(jī)器學(xué)習(xí)模型的訓(xùn)練和檢測周期中。例如，如果關(guān)鍵任務(wù)是在興趣面 (AOI) 中尋找和保護(hù)水井，任務(wù)規(guī)劃者可以通過簡單地在給定地理區(qū)域提供的界面中標(biāo)記示例來將此信息添加到綜合環(huán)境中。然后，該模型將采用這些新的地理標(biāo)簽，將它們集成到其分析周期中，并將井的表示提供給 3D 綜合訓(xùn)練環(huán)境。

正如本文所示，文中所提出的解決方案可以增強(qiáng)未來建模和仿真環(huán)境的合理性和范圍。最重要的是，通過加速地理空間分析的采用周期以及真實(shí) 3D 環(huán)境的創(chuàng)建，數(shù)據(jù)采集、自動(dòng)分析和任務(wù)規(guī)劃之間的過程可能會大大增加。這將使未來的數(shù)字孿生生態(tài)系統(tǒng)能夠在海陸空網(wǎng)等所有領(lǐng)域的安全性和防御能力得到增強(qiáng)。

建模和仿真在戰(zhàn)術(shù)和作戰(zhàn)程序?qū)用婢哂杏凭玫臍v史。從早期的硬紙板立體模型到當(dāng)前的計(jì)算機(jī)模擬，提前預(yù)測和預(yù)測無法估量的事物一直是其核心需求。通常情況下，現(xiàn)代 3D 環(huán)境的地理地形和其他組件是預(yù)先建模的。其他相關(guān)的信息（例如，相關(guān)點(diǎn)的位置、關(guān)鍵基礎(chǔ)設(shè)施等）則是手動(dòng)添加或?qū)氲摹＿@種方法通常依賴于場外人員提供的情報(bào)，并且需要很長時(shí)間才能將這些數(shù)據(jù)層加入到綜合任務(wù)場景中。考慮到這些局限性和時(shí)間限制，不論是提供時(shí)間關(guān)鍵的應(yīng)用程序的解決方案，還是適時(shí)的大規(guī)模方法的解決方案，都難以實(shí)現(xiàn)。本文將提出一項(xiàng)創(chuàng)新，通過實(shí)現(xiàn)快速、自動(dòng)獲取關(guān)鍵任務(wù)資產(chǎn)，填補(bǔ)3D仿真增強(qiáng)技術(shù)的空白。

應(yīng)用于地理空間數(shù)據(jù)的機(jī)器學(xué)習(xí)能力

機(jī)器學(xué)習(xí)的進(jìn)步使遙感衛(wèi)星圖像和航拍圖像的全自動(dòng)分析成為可能。這允許國家、大陸甚至全球范圍內(nèi)大規(guī)模的信息提取，從而使M&S應(yīng)用程序能夠覆蓋比以往任何時(shí)候都更大的區(qū)域。可以說，機(jī)器學(xué)習(xí)（ML）是用來推導(dǎo)3D數(shù)字孿生的基礎(chǔ)。鑒于云計(jì)算、無服務(wù)器計(jì)算、邊緣計(jì)算等技術(shù)，M&S應(yīng)用程序不再局限于小規(guī)模場景，而是可以無縫集成整個(gè)感興趣的區(qū)域。

本章第一節(jié)主要描述了基于機(jī)器學(xué)習(xí)的分析平臺；第二節(jié)給出了從輸入圖像中提取的特征的示例。這些特征隨后被導(dǎo)入到三維建模與仿真環(huán)境中并實(shí)現(xiàn)可視化；第三節(jié)介紹了一種利用有限資源實(shí)時(shí)構(gòu)建多樣化地理典型 3D 環(huán)境的有效方法；第四節(jié)則強(qiáng)調(diào)了及時(shí)更新的重要性，以及改進(jìn)下一章中討論的標(biāo)簽和培訓(xùn)方法的必要性。

1.地理空間分析平臺架構(gòu)

圖2-1展示了云原生地理空間分析平臺的原型架構(gòu)。其核心包括用于數(shù)據(jù)管理、工作流調(diào)度、訓(xùn)練和推演的組件，以及用于數(shù)據(jù)分析和質(zhì)量保證以及標(biāo)簽的用戶界面。值得注意的是，在典型的平臺配置中，機(jī)器學(xué)習(xí)模型只是許多協(xié)調(diào)流程、功能和數(shù)據(jù)層的一個(gè)組件。使用 blob 存儲等基于云的服務(wù)，Docker (https://docker.com/) 等容器技術(shù)、Kubernetes (https://kubernetes.io/) 等編排平臺，以及 Flyte (https://flyte.org/) 等工作流引擎使處理 PB 級地理空間數(shù)據(jù)成為可能。

此類平臺的核心任務(wù)是使用機(jī)器學(xué)習(xí)模型并確保其生命周期。典型的機(jī)器學(xué)習(xí)生命周期包含數(shù)據(jù)管理（包括典型的提取/轉(zhuǎn)換/加載步驟）、模型學(xué)習(xí)（訓(xùn)練）、模型驗(yàn)證、模型部署和模型執(zhí)行。此類處理步驟（例如建筑物覆蓋區(qū)、植被遮罩、要素標(biāo)簽）的輸出通常是柵格數(shù)據(jù)（例如 GeoTiff 或 COG）、矢量數(shù)據(jù)（例如 GeoJSON 或 GeoPackage）或是可供客戶端應(yīng)用程序使用的格式（例如，USD、CDB 或 3D Tiles）。

圖2-1：基于云架構(gòu)的典型地理空間分析平臺2.提取的特征

所呈現(xiàn)的地理空間平臺包含一個(gè)數(shù)據(jù)管理解決方案，該解決方案為 PB 級地理參考數(shù)據(jù)和數(shù)十億個(gè)幾何特征的存儲和迭代而量身定制。主要流程包括將圖像（或其他類型的數(shù)據(jù)）導(dǎo)入平臺，然后運(yùn)行機(jī)器學(xué)習(xí)模型和其他算法，隨后將結(jié)果打包分發(fā)到3D建模和仿真環(huán)境中。圖 2-2 顯示了在人口密集區(qū)域進(jìn)行基礎(chǔ)設(shè)施檢測所需的一般步驟。加載輸?的圖像，檢測建筑結(jié)構(gòu)，并對每個(gè)建筑物的分割進(jìn)行分析；結(jié)果會被矢量化，隨后推導(dǎo)出占用空間以及建筑物高度。通常用于此類任務(wù)的網(wǎng)絡(luò)是卷積神經(jīng)網(wǎng)絡(luò)或框架場學(xué)習(xí)等更新的方法。

這一過程已經(jīng)在商業(yè)案例中得到驗(yàn)證。例如，這一架構(gòu)在一組共36臺虛擬機(jī)上處理伊比利亞半島（60萬平方公里）的數(shù)據(jù)僅需18小時(shí)。一般來說，具有單個(gè)圖形處理單元（GPU）的普通PC工作站可以通過本地安裝的平臺每秒分析幾平方公里的數(shù)據(jù)。

圖2-2：建筑特征提取步驟3.3D可視化與仿真

?旦從圖像中提取了特征，它們就可以在建模和仿真環(huán)境中?于可視化、分析、規(guī)劃、培訓(xùn)以及其他場景。如果雙?就數(shù)據(jù)傳輸?shù)耐?格式達(dá)成?致，那么建模和仿真應(yīng)?程序就可以完全獨(dú)?于前面所提到的地理空間分析平臺。在案例中使用了一種高度優(yōu)化的格式，可以按需進(jìn)行流式傳輸，傳輸所需的帶寬低，但產(chǎn)生的結(jié)果豐富多樣。隨附的客?端軟件可以集成到現(xiàn)成的 3D 引擎中，例如 Epic 的虛幻引擎或 Unity 的3D 引擎，以及專有渲染引擎和模擬應(yīng)?程序。

專注于建筑物和其他基礎(chǔ)設(shè)施，可以將現(xiàn)成的 3D 對象或程序生成的對象（從輸入數(shù)據(jù)派生）放入模擬環(huán)境中。第一個(gè)選項(xiàng)的缺點(diǎn)是通常只有有限數(shù)量的 3D 對象可用。雖然這些對象可能具有非常高的保真度，但它們經(jīng)常重復(fù)。程序生成的對象可以生成無限數(shù)量的符合輸入數(shù)據(jù)的獨(dú)特建筑和結(jié)構(gòu)，例如，與檢測到的占地面積、建筑高度、屋頂類型以及其他屬性相匹配的建筑。

本文提到的方法使用了一種被稱為程序語法生成器 (PGG) 的專利程序技術(shù)，該技術(shù)可以接收各種數(shù)據(jù)源，并實(shí)時(shí)生成匹配的數(shù)字孿生。除了從輸入圖像中檢測到的要素外，其他數(shù)據(jù)源可能包括數(shù)字高程模型 (DEM)、公路和鐵路網(wǎng)絡(luò)、水體和興趣點(diǎn)。數(shù)據(jù)表示非常?效，在移動(dòng)設(shè)備上即可存儲整個(gè)地球的數(shù)字孿生。PGG的靈活性是通過一種特定于領(lǐng)域的語言來實(shí)現(xiàn)的，該語言用于描述具有可塑性并可適應(yīng)輸入數(shù)據(jù)的建筑藍(lán)圖。這使得地球上的區(qū)域能夠以具有地理特征的、多樣化的方式呈現(xiàn)。

4.更新的及時(shí)性

根據(jù)使用案例可知，更新的及時(shí)性至關(guān)重要。從捕獲圖像到在模擬環(huán)境中適用，這一時(shí)間應(yīng)盡可能短。這就需要一種全自動(dòng)化的方法。

鑒于上述架構(gòu)，人們可以看到每個(gè)組件如何依次處理新圖像。當(dāng)攝取或更新大量數(shù)據(jù)時(shí)，這些步驟的順序性可能會帶來問題。雖然地理空間數(shù)據(jù)有助于輕松并行化，但問題出現(xiàn)在計(jì)劃用于計(jì)算的離散工作項(xiàng)的邊界上：后續(xù)步驟可能需要來自相鄰工作項(xiàng)的附加上下文才能正常運(yùn)行。例如，矢量化步驟需要跨越所述項(xiàng)目邊界的結(jié)構(gòu)的上下文。在傳統(tǒng)的調(diào)度框架中，最佳并行化要么需要多次計(jì)算上下文區(qū)域，這完全是不必要的付出；要么在每個(gè)步驟內(nèi)將調(diào)度簡化為簡單的并行化，按順序處理每個(gè)步驟。這樣則會不必要地延長第一次模擬結(jié)果的時(shí)間，并且可能無法最佳地使用可用的計(jì)算資源。本文在平臺上部署一種地理空間感知調(diào)度算法，該算法可以減少周轉(zhuǎn)時(shí)間，因?yàn)樗梢栽诓⑿姓{(diào)度工作項(xiàng)時(shí)考慮地理空間上下文依賴性。使用這種方法，可以立即獲得第一批結(jié)果。

這仍然存在問題：只有那些建模和仿真模型可用于檢測的特征才能自動(dòng)使用。新的特征需要漫長的訓(xùn)練過程才能生成可靠的建模和仿真模型。

接近實(shí)時(shí)的訓(xùn)練和檢測

上一章概述的方法和程序假定機(jī)器學(xué)習(xí)模型已經(jīng)針對所需的檢測類別和特征進(jìn)行了訓(xùn)練。雖然高效的模型可以提前采用（例如，通用基礎(chǔ)設(shè)施和車輛的模型），但可能需要對新類別的模型進(jìn)行專門培訓(xùn)。傳統(tǒng)的做法是先由數(shù)據(jù)分析師生成一組訓(xùn)練數(shù)據(jù)，然后對模型進(jìn)行訓(xùn)練，評估其質(zhì)量，最終將其部署到現(xiàn)場。這是一個(gè)可能涉及很多人員并花費(fèi)大量時(shí)間的過程。

1.即時(shí)反饋標(biāo)注和訓(xùn)練

本文提出的解決方案使用一種稱為“實(shí)時(shí)標(biāo)記”的技術(shù)。這種方法包含一個(gè)無代碼、可視化數(shù)據(jù)標(biāo)記工具。通過這種方法，未受過 AI/ML 培訓(xùn)的人員僅需最先進(jìn)的傳統(tǒng)方法所需的一小部分時(shí)間，就能將ML分析應(yīng)用于新的數(shù)據(jù)需求。憑借其較短的迭代時(shí)間、更少的人員需求以及與 3D 仿真環(huán)境的集成，這種方法非常適合時(shí)間緊迫的應(yīng)用程序和場景。圖 3-1 描述了與創(chuàng)建地理標(biāo)簽的經(jīng)典標(biāo)記方法相比，這種新方法的時(shí)間和資源效率。“實(shí)時(shí)標(biāo)記法”在每個(gè)標(biāo)簽花費(fèi)的時(shí)間以及相同持續(xù)時(shí)間內(nèi)創(chuàng)建的標(biāo)簽的累積數(shù)量方面明顯優(yōu)于傳統(tǒng)方法。

圖3-1：傳統(tǒng)方法與“實(shí)時(shí)標(biāo)記法”的速度和輸出比較

“實(shí)時(shí)標(biāo)記法”的可視化界面如圖3-2所示。只需幾筆，分析師就可以識別出感興趣的對象（左圖）。右圖顯示了模型的當(dāng)前推斷。分析師可以縮放和平移圖像，快速識別誤報(bào)和漏報(bào)，并添加額外的標(biāo)簽來糾正這些錯(cuò)誤。短短幾分鐘，該模型就能達(dá)到很高的準(zhǔn)確性。

圖3-2：正在運(yùn)?的“實(shí)時(shí)標(biāo)記法”UI：左邊為用戶的注釋頁面，右邊是實(shí)時(shí)訓(xùn)練模型的預(yù)測掩碼

ML 模型界面直觀，并且由于其即時(shí)的視覺反饋，易于學(xué)習(xí)和理解。ML 模型不再是黑箱，因?yàn)閿?shù)據(jù)標(biāo)記者可以看到每個(gè)標(biāo)簽如何提高（或降低）模型的檢測準(zhǔn)確性。因此，根據(jù)檢測類別、圖像質(zhì)量、所需的檢測質(zhì)量和受訓(xùn)者先前的領(lǐng)域知識，可以在幾小時(shí)到幾天的時(shí)間跨度內(nèi)為該標(biāo)記工具培訓(xùn)新的或額外的人員。根據(jù)以往的經(jīng)驗(yàn)，可以在不到兩天的時(shí)間內(nèi)讓新的數(shù)據(jù)分析師入職。加上標(biāo)記的速度提升，這種易用性可以根據(jù)需要對人員進(jìn)行臨時(shí)培訓(xùn)。較小的標(biāo)簽團(tuán)隊(duì)也意味著更容易組建團(tuán)隊(duì)并找到具有必要安全許可的成員。

2.“實(shí)時(shí)標(biāo)記法”架構(gòu)

如圖3-3所示，“實(shí)時(shí)標(biāo)記法”通過將模型分成兩個(gè)訓(xùn)練流來實(shí)現(xiàn)其即時(shí)反饋：一個(gè)全局模型，它在所有可用的訓(xùn)練數(shù)據(jù)上進(jìn)行持續(xù)訓(xùn)練，以及一個(gè)用于可視化的迭代/局部模型。迭代模型僅將當(dāng)前訓(xùn)練圖像作為輸入，具有非常高的學(xué)習(xí)率，因此放大了分析師添加的每個(gè)標(biāo)簽的影響。全局模型使用學(xué)習(xí)方式更為保守，因此能產(chǎn)生比迭代模型更高質(zhì)量的檢測。一旦滿足質(zhì)量標(biāo)準(zhǔn)，主模型就可以在同一界面內(nèi)的大面積區(qū)域運(yùn)行。

圖3-3：機(jī)器學(xué)習(xí)概念的?級?意圖3.使用接近實(shí)時(shí)對象檢測的示例場景

“實(shí)時(shí)標(biāo)記法”可以在帶有消費(fèi)級顯卡的現(xiàn)成硬件上運(yùn)行。因此，現(xiàn)場人員可以在沒有網(wǎng)絡(luò)連接到云的情況下離線使用。圖3-4描述了一個(gè)無人機(jī)拍攝的本地最新圖像的示例。該圖像被導(dǎo)入，隨后一個(gè)或兩個(gè)數(shù)據(jù)分析人員開始標(biāo)記新的檢測類別，例如運(yùn)輸卡車。很快，第一批卡車和假正例被標(biāo)記。從這里開始，“實(shí)時(shí)標(biāo)記法”指導(dǎo)標(biāo)記過程——通過為標(biāo)記提供額外的不確定結(jié)果——并在更大的區(qū)域上運(yùn)行推理，最終覆蓋整個(gè)數(shù)據(jù)。然后將所有檢測到的卡車的位置轉(zhuǎn)發(fā)到 3D 仿真環(huán)境，并將現(xiàn)成的 3D 對象放置在數(shù)字孿生環(huán)境中的給定位置。在 3D 環(huán)境中，可以可視化運(yùn)輸卡車的數(shù)量和分布，例如，模擬它們的預(yù)測路線或路徑中的障礙物。這種場景需要具有足夠的磁盤容量的單個(gè)服務(wù)器，用于存儲輸入的圖像和安裝GPU。分析師可以使用計(jì)算機(jī)工作站或筆記本電腦進(jìn)行數(shù)據(jù)輸入以及 3D建模和仿真。

圖3-4：近實(shí)時(shí)訓(xùn)練、?標(biāo)檢測和模擬的端到端?例

未來的工作

上一章中描述的方法已在多個(gè)業(yè)務(wù)案例中成功展示。當(dāng)應(yīng)用于分段要求無需標(biāo)注類別間的像素級精確邊界時(shí)，實(shí)時(shí)標(biāo)注表現(xiàn)良好。目前，帶有實(shí)例檢測的目標(biāo)檢測和分割是獨(dú)立于“實(shí)時(shí)標(biāo)記法”的單獨(dú)處理步驟。因此，未來的工作將集中于集成和增強(qiáng)實(shí)時(shí)標(biāo)記工具的目標(biāo)檢測功能，以提供更廣泛的用途。該工具的用戶界面也在不斷改進(jìn)，以獲得更好的反饋和用戶體驗(yàn)。一般來說，擬議的地理空間端到端框架需要進(jìn)一步推廣以集成到多域環(huán)境中。目前，預(yù)訓(xùn)練的ML模型專門針對地球上的地理素材。多域模擬將需要更全面的檢測能力，以涵蓋海運(yùn)等其他領(lǐng)域素材。

此外，為了與現(xiàn)有的 M&S 環(huán)境集成，需要支持 CDB 或 3D Tiles 等數(shù)據(jù)格式的導(dǎo)出。現(xiàn)有問題在于，當(dāng) 3D 對象被改變成其他格式時(shí)，自定義方法（使用 PGG）不會保留其所有屬性。此外，某些功能（如客戶端著色和分層渲染）目前無法以這些格式表示，從而導(dǎo)致視覺效果較差。

結(jié)論

本文闡述了完全集成的地理空間端到端框架對于建模與仿真即服務(wù)(MSaaS)方法的潛在作用。有了合適的基礎(chǔ)條件（計(jì)算資源、數(shù)據(jù)獲取和訪問、系統(tǒng)集成），就可以為國防和其他領(lǐng)域創(chuàng)建并即時(shí)交付及時(shí)的任務(wù)規(guī)劃場景。通過對所描述的基于ML的人工參與方法進(jìn)行改進(jìn)，未來的培訓(xùn)環(huán)境將更接近現(xiàn)實(shí)，并可為非Al專家定制。因此，縮短從數(shù)據(jù)采集、分析到任務(wù)規(guī)劃的周期將成為一個(gè)關(guān)鍵優(yōu)勢。本文所討論的技術(shù)還可能產(chǎn)生更廣泛的影響。通過使復(fù)雜的完全集成系統(tǒng)變得易于理解和管理，未來用于國防目的的數(shù)字孿生應(yīng)用程序?qū)⒏斓厣桑瑥亩鴦?chuàng)建更優(yōu)質(zhì)的任務(wù)場景。最終，實(shí)時(shí)任務(wù)和訓(xùn)練環(huán)境之間將實(shí)現(xiàn)無縫切換，甚至達(dá)到模糊真實(shí)世界作戰(zhàn)和綜合任務(wù)場景之間界限的程度。

審核編輯：郭婷