本文簡單介紹ACMMM2023錄用的論文“Relational Contrastive Learning for Scene Text Recognition”的主要工作。該論文主要研究了基于對比學習的文本識別自監(jiān)督方法。文章受到基于上下文感知方法在文字監(jiān)督學習中取得的巨大成功[1]，利用文本和背景的異質(zhì)性，將文字的上下文信息理解為文本基元的關系，為表征學習提供有效的自監(jiān)督標簽。但是由于詞匯依賴[2]，文本關系被限制在有限的數(shù)據(jù)集中，這可能導致過擬合并損害表征的魯棒性。因此，該文提出通過重排、分層和交互來豐富文本關系，并設計了一個統(tǒng)一的框架RCLSTR: Relational Contrastive Learning for Scene Text Recognition。實驗表明，該方法能夠有效提升對比學習文本識別的自監(jiān)督性能。

一、背景介紹

場景文本圖像的特點與自然圖像有很大的不同。首先，前景（文本）和背景是異構的，文本識別主要依賴于文本而不是背景。第二，大部分文本圖像通常具有從左到右的結構。第三，文本圖像包含了字符序列和多粒度的結構。先前的文本自監(jiān)督方法主要是從自然圖像遷移而來的，僅僅探索了文本的部分特點。該文章啟發(fā)于上下文感知方法在文字監(jiān)督學習中的成功應用，在自監(jiān)督對比學習中充分探索文本的特點。提出通過重排、分層和交互來豐富文本關系，從而形成更完整的對比學習機制。

如上圖所示，首先，對于“重排”，文本圖像可以被分割并重新排列成新的上下文關系，該文設計了一個重排模塊來生成新的單詞圖像，豐富了文本關系的多樣性。第二，對于“分層”，由于文本圖像中存在詞、子詞、字符等多個不同粒度的對象，提出了一種分層結構在多個層級上進行表征學習，從而豐富語義信息，增強表征的魯棒性。第三，對于“交互”，利用不同層級對象之間的交互，例如字符-子詞和子詞-詞相似度，約束不同層級上語義相似性的一致性，從而促進學習高質(zhì)量的表征。

二、方法介紹

基于MoCo[3]的框架，該文提出了用于文本識別的關系對比學習框架(RCLSTR)。如下圖所示：1、在Online分支(上半部分)中引入了一個新的重排階段，從原始分支中產(chǎn)生水平重排的圖像，稱為關系正則化模塊（Relational Regularization）。2、文章設計了一個分層結構來學習每一層內(nèi)部的關系，稱為分層關系模塊（Hierarchical Relation）。3、提出了一個跨層次關系一致性模塊（Cross-Hierarchy Relational Consistency），以便網(wǎng)絡學習層級之間的關系。

對于Relational Regularization，該文提出了一個重排模塊來生成新的文本圖像，生成的圖像包含更多的上下文關系。如下圖所示，該模塊將文本圖像水平劃分為幾個片段，然后隨機打亂，重新連接片段后生成重排后的圖像。重排后的圖像經(jīng)過Online編碼器和投影層后得到對應特征，然后將特征復位到原始圖片中的位置。

文章分別計算了原始特征和正則化特征（對應于重新排列的圖像）上的對比損失，然后將兩者求和得到：

對于Hierarchical Relation，考慮到文本在水平方向上具有不同的粒度，該文提出了一種分層的對比學習結構，通過不同粒度的池化層將特征映射到幀、子詞和詞三個層次，然后進行分層級的關系對比學習，每個層級計算對比損失（上標指代幀、子詞和詞三個層級），并求和得到：

對于Cross-Hierarchy Relational Consistency，提出一致性約束來學習相鄰層之間的關系，實現(xiàn)幀-子詞和子詞-詞之間的一致性約束。對于幀-子詞關系，由于來自相同空間位置(在同一圖像中)的幀和子詞特征在特征空間中表現(xiàn)出更高的相似性，因此將其視為正樣本對，將其他位置的特征視為負樣本對，子詞-詞之間的正負對關系類似。該模塊通過KL損失來約束相似度分布之間的一致性：

其中表示幀-子詞一致性損失，表示子詞-詞一致性損失。最后總的損失函數(shù)為正則化的多層級損失和跨層級損失求和：

三、實驗結果

表征質(zhì)量的結果如下表所示，與SeqMoCo的baseline相比，加入三個主要模塊后，基于CTC的解碼器性能平均提高了+12.38%，基于注意力的解碼器平均提高了+10.15%。同時，該表也展示了三個關鍵模塊各自的有效性。

下圖是使用t-SNE[4]將IIIT5K[5]數(shù)據(jù)集圖像特征可視化的結果，對應于SeqMoCo(Baseline)和該文的方法RCLSTR。可以看出，RCLSTR方法能更好地挖掘字符關系，對應相同類別的字符特征能夠更好地成簇。

四、總結

該工作提出了一個新的場景文本識別的關系對比學習框架(RCLSTR)。在這個框架中，通過三個模塊對文本圖像之間的關系進行了充分的探討。提出了Relational Regularization模塊，以豐富圖像內(nèi)部和圖像間的上下文關系。同時設計了用于關系對比學習的Hierarchical Relation模塊，在不同粒度上進行分層級對比學習。此外，針對場景文本圖像中不同層次的交互，設計了Cross-Hierarchy Relational Consistency模塊。實驗結果表明該方法能夠有效提升對比學習文本識別的自監(jiān)督性能。