當(dāng)前學(xué)界和工業(yè)界都對(duì)多模態(tài)大模型研究熱情高漲。去年，谷歌的 Deepmind 發(fā)布了多模態(tài)視覺語(yǔ)言模型 Flamingo ，它使用單一視覺語(yǔ)言模型處理多項(xiàng)任務(wù)，在多模態(tài)大模型領(lǐng)域保持較高熱度。Flamingo 具備強(qiáng)大的多模態(tài)上下文少樣本學(xué)習(xí)能力。

Flamingo 走的技術(shù)路線是將大語(yǔ)言模型與一個(gè)預(yù)訓(xùn)練視覺編碼器結(jié)合，并插入可學(xué)習(xí)的層來捕捉跨模態(tài)依賴，其采用圖文對(duì)、圖文交錯(cuò)文檔、視頻文本對(duì)組成的多模態(tài)數(shù)據(jù)訓(xùn)練，在少樣本上下文學(xué)習(xí)方面表現(xiàn)出強(qiáng)大能力。但是，F(xiàn)lamingo 在訓(xùn)練時(shí)只使用預(yù)測(cè)下一個(gè)文本單詞作為目標(biāo)，并沒有對(duì)視覺部分施加專門的監(jiān)督信號(hào)，直接導(dǎo)致了在推理階段，其只能支持以文本作為輸出的多模態(tài)任務(wù)，大大限制了模型的能力以及應(yīng)用場(chǎng)景。

Flamingo 目前并沒有開源，今年 3 月，非盈利機(jī)構(gòu) LAION 開源了 Flamingo 模型的復(fù)現(xiàn)版本 OpenFlamingo。

近日，智源研究院「悟道?視界」研究團(tuán)隊(duì)提出了一種新的多模態(tài)大模型訓(xùn)練范式，發(fā)布并開源了首個(gè)打通從多模態(tài)輸入到多模態(tài)輸出的「全能高手」，統(tǒng)一多模態(tài)預(yù)訓(xùn)練模型 Emu 。

Emu 模型創(chuàng)造性地建立了統(tǒng)一的多模態(tài)預(yù)訓(xùn)練框架，即將圖文對(duì)、圖文交錯(cuò)文檔、視頻、視頻文本對(duì)等海量形式各異的多模態(tài)數(shù)據(jù)統(tǒng)一成圖文交錯(cuò)序列的格式，并在統(tǒng)一的學(xué)習(xí)目標(biāo)下進(jìn)行訓(xùn)練，即預(yù)測(cè)序列中的下一個(gè)元素 (所有元素，包含文本 token 和圖像 embedding)。此外，Emu 首次提出使用大量采用視頻作為圖文交錯(cuò)數(shù)據(jù)源，視頻數(shù)據(jù)相比于 Common Crawl 上的圖文交錯(cuò)文檔，視覺信號(hào)更加稠密，且圖像與文本之間的關(guān)聯(lián)也更加緊密，更加適合作為圖文交錯(cuò)數(shù)據(jù)去激發(fā)模型的多模態(tài)上下文學(xué)習(xí)能力。

論文結(jié)果顯示，Emu 超越了此前 DeepMind 的多模態(tài)大模型 Flamingo，刷新 8 項(xiàng)性能指標(biāo)。

除以文本作為輸出的任務(wù)指標(biāo)之外，Emu 模型具有更加通用的功能，能夠同時(shí)完成以圖片作為輸出的任務(wù)，如文生圖；且具備很多新型能力，如多模態(tài)上下文圖像生成。Emu 的能力覆蓋圖像與文本的生成及視頻理解。

• 論文鏈接：https://arxiv.org/pdf/2307.05222.pdf

• 模型鏈接：https://github.com/baaivision/Emu

• Demo 鏈接：https://emu.ssi.plus/

作為一種通用界面，Emu 可用于多種視覺、語(yǔ)言應(yīng)用

超越 Flamingo、Kosmos，8 項(xiàng)基準(zhǔn)測(cè)試表現(xiàn)優(yōu)異

在 8 個(gè)涵蓋多模態(tài)圖像 / 視頻和語(yǔ)言任務(wù)的基準(zhǔn)測(cè)試中，Emu 均有不俗表現(xiàn)，對(duì)比來自 DeepMind 的 Flamingo 與來自微軟的 Kosmos 亦有所超越。

Emu 在眾多常用測(cè)試基準(zhǔn)上表現(xiàn)出極強(qiáng)的零樣本性能，展現(xiàn)了模型在遇到未知任務(wù)時(shí)強(qiáng)大的泛化能力。其中，Emu 在圖像描述 COCO Caption 的 CIDEr 得分為 112.4，且模型對(duì)圖片的描述中包含豐富的世界知識(shí)。此外，Emu 在圖像問答 VQAv2 和視頻問答 MSRVTT 數(shù)據(jù)集上也展現(xiàn)了強(qiáng)勁的視覺問答功能。

同時(shí)，Emu 具備強(qiáng)大的少樣本上下文學(xué)習(xí)能力，即對(duì)于給定任務(wù)提供幾個(gè)示例樣本，模型可以進(jìn)行上下文學(xué)習(xí)從而更好地完成任務(wù)。Emu 在視覺問答數(shù)據(jù)集 VQAv2、VizWiz、MSRVTTQA 上的少樣本上下文學(xué)習(xí)表現(xiàn)突出。

全能高手：在多模態(tài)序列中進(jìn)行「圖文任意模態(tài)生成」

Emu 模型能力覆蓋圖像與文本的生成及視頻理解， 相比其他多模態(tài)模型更具通用性，能完成任意圖生文以及文生圖的多模態(tài)任務(wù)。例如，精準(zhǔn)圖像認(rèn)知、少樣本圖文推理、視頻問答、文圖生成、上下文圖像生成、圖像融合、多模態(tài)多輪對(duì)話等。

Emu 是一個(gè)基于 Transformer 的多模態(tài)基礎(chǔ)模型，可以接受并處理形式各異的多模態(tài)數(shù)據(jù)，輸出指定的多模態(tài)數(shù)據(jù)。Emu 將圖文對(duì)、圖文交錯(cuò)文檔、視頻、視頻文本對(duì)等形式各異的海量多模態(tài)數(shù)據(jù)統(tǒng)一成圖文交錯(cuò)序列的格式，并在統(tǒng)一的學(xué)習(xí)目標(biāo)下進(jìn)行訓(xùn)練，即預(yù)測(cè)序列中的下一個(gè)元素 (所有元素，包含文本 token 和圖像 embedding)。訓(xùn)練完成后，Emu 能對(duì)任意形式的多模態(tài)上下文序列進(jìn)行多模態(tài)補(bǔ)全，對(duì)圖像、文本和視頻等多種模態(tài)的數(shù)據(jù)進(jìn)行感知、推理和生成。

視頻理解、多模態(tài)上下文生成、多模態(tài)對(duì)話是 Emu 模型的技術(shù)亮點(diǎn)。

Emu 模型具有強(qiáng)大的視頻理解能力，如在下圖演示中，針對(duì)下面 “視頻中的女主人公在干什么” 這一問題，Emu 模型給出了具有精準(zhǔn)事實(shí)細(xì)節(jié)（蘋果 VR 設(shè)備）、連貫動(dòng)作描述（坐在飛機(jī)上并使用 VR 設(shè)備）、合理行動(dòng)猜測(cè)（可能在看一段視頻或 360 度視角的飛機(jī)外景象）的豐富回答。

Emu 不只能理解視頻信息，還能做到對(duì)視頻中時(shí)序信息的精細(xì)理解。例如下圖展示的奶昔制作視頻，Emu 分步且完整地描述了奶昔制作步驟。

Emu 新增了圖像融合能力，可以對(duì)輸入的圖像進(jìn)行創(chuàng)造性地融合，并生成新的圖片。例如下圖最后一行，將兩幅世界名畫作為輸入，Emu 可以生成風(fēng)格、元素類似的全新畫作：

上下文圖像生成也是一項(xiàng)全新的功能，Emu 可以將輸入的文本 - 圖片對(duì)作為 prompt，結(jié)合上下文信息進(jìn)行圖片生成。例如在下圖第一行，輸入兩張圖片，并輸入文本指令讓 Emu 生成以圖 1 的動(dòng)物為中心，但以圖 2 為風(fēng)格的圖片。依賴于強(qiáng)大的多模態(tài)上下文生成能力，Emu 可以完成相應(yīng)的指令。下圖的第二行展示了如果在 “文生圖” 時(shí)提供了 context，Emu 會(huì)結(jié)合 context 的風(fēng)格，生成油畫風(fēng)格的圖片，而相同的文本在無 context 的情況下進(jìn)行 “文生圖” 只會(huì)生成現(xiàn)實(shí)風(fēng)格的圖片：

圖像生成方面，Emu 可以根據(jù)給定的文本生成多幅語(yǔ)義相關(guān)的圖像：

Emu 可根據(jù)一張或者多張圖或視頻進(jìn)行問答和多輪對(duì)話。如下第一張圖所示，給出一張景點(diǎn)圖并詢問旅游注意事項(xiàng)，Emu 給出了 5 個(gè)要點(diǎn)，其中再就第 5 個(gè)要點(diǎn) “ safety equipment” 提問時(shí)，Emu 能夠針對(duì)這一點(diǎn)進(jìn)行更加詳細(xì)地闡述。最后，Emu 還可以根據(jù)圖片作詩(shī)。

Emu 還有一項(xiàng)突出的能力是它的世界知識(shí)更豐富。如下圖所示，給出兩張動(dòng)物的圖，詢問這兩張圖的區(qū)別，Emu 可以準(zhǔn)確描述動(dòng)物的名稱及分布地：

Emu 模型可以準(zhǔn)確識(shí)別畫作，例如下圖輸入莫奈的《日出?印象》這幅作品， Emu 不僅準(zhǔn)確回答出了作品的名字，描述了畫面信息，還給出了很多背景知識(shí)，例如這是著名印象派風(fēng)格的作品。而 mPLUG-Owl 、LLaVA 并不知道畫作的名稱，只是簡(jiǎn)單描述了畫中場(chǎng)景。InstructBLIP 給出了作品名稱和描述，但在背景知識(shí)上略遜于 Emu。

再看下圖，給出阿加莎?克里斯蒂的肖像，問題是 “說出這位女性寫的 8 本書并推薦一本給我”，Emu 正確理解了這個(gè)問題，識(shí)別出作者并列出其 8 個(gè)作品，并從中挑選了偉大的代表作推薦。LLaVA 人物識(shí)別準(zhǔn)確，只部分理解了題意，給出推薦作品，但并沒有給出 8 個(gè)代表作。mPLUG-Owl 識(shí)別出了人物 ，也是部分理解了問題，只給出了 4 部作品和一句話簡(jiǎn)介。InstructBLIP 則給出了一個(gè)錯(cuò)誤答案。

首次大量采用視頻數(shù)據(jù)，創(chuàng)新性建立統(tǒng)一的多模態(tài)學(xué)習(xí)框架

現(xiàn)有多模態(tài)領(lǐng)域的研究工作常將大語(yǔ)言模型與預(yù)訓(xùn)練視覺編碼器連接來構(gòu)建多模態(tài)大模型（LMM）。盡管現(xiàn)有的 LMMs 很有效，但主要以預(yù)測(cè)下一個(gè)文本 token 作為訓(xùn)練目標(biāo)，而對(duì)視覺模態(tài)缺乏監(jiān)督。這樣的訓(xùn)練目標(biāo)也限制了模型在推理應(yīng)用時(shí)只能輸出文本回復(fù)，而不具有生成圖片回復(fù)的能力。

此外，數(shù)據(jù)直接影響到模型的搭建，視頻數(shù)據(jù)愈來愈成為圖像信息時(shí)代的主要信息形態(tài)。帶有交錯(cuò)圖像字幕的視頻數(shù)據(jù)，相比于圖文交錯(cuò)文檔，天然包含更密集的視覺信號(hào)，且與文本編碼有更強(qiáng)的跨模態(tài)關(guān)聯(lián)性。而現(xiàn)有工作主要利用圖像 - 文本對(duì)及圖文文檔進(jìn)行訓(xùn)練，對(duì)視頻數(shù)據(jù)有所忽略。

如何把海量多模態(tài)數(shù)據(jù)包括視頻數(shù)據(jù)納入一個(gè)更加「統(tǒng)一」的多模態(tài)學(xué)習(xí)框架，從而提升多模態(tài)大模型的通用性，智源視覺團(tuán)隊(duì)解決了幾個(gè)重要問題：

• 對(duì)不同來源的多模態(tài)交錯(cuò)數(shù)據(jù)進(jìn)行處理，以自動(dòng)回歸的方式統(tǒng)一建模。

智源視覺團(tuán)隊(duì)采用的多模態(tài)交錯(cuò)數(shù)據(jù)具體包括圖像 - 文本對(duì) (LAION-2B、LAION-COCO)、交錯(cuò)圖像 - 文本數(shù)據(jù) (MMC4)、視頻 - 文本對(duì) (Webvid-10M) 和交錯(cuò)視頻 - 文本數(shù)據(jù) (YT-Storyboard-1B），將視覺表征與文本序列共同構(gòu)成多模態(tài)序列，并進(jìn)行統(tǒng)一的自回歸建模。

Emu 以自動(dòng)回歸的方式統(tǒng)一了不同模態(tài)的建模

• 特別地，Emu 首次采用了海量視頻作為圖文交錯(cuò)序列數(shù)據(jù)。

視頻訓(xùn)練數(shù)據(jù)源自研究團(tuán)隊(duì)從 YouTube 上收集的 1800 萬(wàn)個(gè)視頻（非原始視頻，故事板圖像）及其相應(yīng)的字幕，二者結(jié)合創(chuàng)造了一個(gè)按時(shí)間戳順序排序的視頻和文本的自然交錯(cuò)序列。

交錯(cuò)的視頻 - 文本數(shù)據(jù)

• 預(yù)測(cè)多模態(tài)序列的下一個(gè)元素。

模型訓(xùn)練方面，Emu 將自回歸地預(yù)測(cè)多模態(tài)序列中的下一個(gè)元素（既包含文本也包含圖像）作為統(tǒng)一的學(xué)習(xí)目標(biāo)進(jìn)行預(yù)訓(xùn)練。在這種不同形式的數(shù)據(jù)、統(tǒng)一形式的目標(biāo)下完成訓(xùn)練后。Emu 便成為了一個(gè) “通才” 模型，可以輕松應(yīng)對(duì)各種多模態(tài)任務(wù)，包括圖生文以及文生圖。