計算機視覺：Computer Vision

一門讓計算機從圖像中提取有用信息并加以分析的科學。這些信息后續可以用于輔助一些決策或者任務，比如醫學圖像分析、工程測量、自動駕駛、機器人學等等。

計算機圖像學：Computer Graphics

通過使用數學模型和計算機算法來生成圖像。

圖像處理：Image Process

圖像數字化：

空間采樣、量化、與連通性策略是將圖像做數字化表達過程中涉及到的重要概念。

量化：將每個像素點在色彩通道內的亮度按照區間從連續分布轉化為離散分布的過程。

四連通與八連通：像素點計算領域的劃分標準。

四連通：像素四條邊相連的區域

八連通：比四連通多四個角。

距離：

歐式距離 (Euclidean) - 兩點之間的直線距離

曼哈頓距離 (City Block) - 沿著方格線行走的兩點間距（即僅水平和豎直四個方向移動）

切比雪夫距離距離 (Chess Board) - 沿著方格線及對角行走的兩點間距（即水平、豎直、以及對角八個方向移動）

一張圖片中往往有前景(foreground)和背景(background)：

確定前景和背景的連通性策略，通常有：

背景四連通、前景八連通

背景八連通、前景四連通

一般有遞歸算法、順序標記法。

遞歸算法消耗性能大：遍歷圖像中所有的像素點，遇到未標記區域編號的點即遞歸用當前的區域編號標記與之相連的所有像素點。

順序標記法：運用與像素區域連通性問題

圖像數據的收集和處理：

借助語義化分割對 UI 圖像進行處理，得到輪廓、結構、上下文等特征。

借助超級像素的方法來降低特征的數量，合并像素達到降低干擾因素的效果。

采用 OpenCV 進行測量、計算，然后用規則嘗試提取有用的特征數據，結果并不理想，它更加擅長測量和計算：需要大量的閾值約束才能達到比較好的效果：

用機器視覺的模型和算法來解決。這邊介紹 2 個模型：

MaskRCNN

2017年，Kaiming He等人提出了Mask R-CNN，是一種目標檢測和實例分割的算法

Mask R-CNN（Mask Region-based Convolutional Neural Network）是一種用于目標檢測和實例分割的深度學習模型，它是 Faster R-CNN 的擴展，同時可以生成目標的二進制掩碼（mask），因此可以實現精確的實例分割。

1、骨干網絡：Mask R-CNN通常使用骨干網絡（如 ResNet）來提取圖像特征。這些特征用于目標檢測和分割任務。

2、區域建議網絡（RPN）：RPN 用于生成候選區域，它是 Faster R-CNN 中的組件，用于確定可能包含目標的圖像區域。

3、目標檢測：Mask R-CNN 使用區域建議來檢測圖像中的目標對象，通常通過分類和回歸來確定每個目標的位置和類別。

4、實例分割：除了目標檢測，Mask R-CNN 還生成每個檢測到的目標的精確二進制掩碼。這允許對目標進行精確的像素級分割。

5、多任務學習：Mask R-CNN 采用多任務學習的方法，通過同時訓練目標檢測和實例分割任務，從而提高模型的性能。

6、ROI Pooling / ROI Align：用于從特征圖中提取每個候選區域的特征，以供后續任務使用。

7、損失函數：Mask R-CNN 使用多個損失函數，包括分類損失、回歸損失和分割損失，來訓練模型。

Yolo V3

2016年，Joseph Redmon等人提出的 YOLO 是一種單階段的目標檢測算法，突破性地實現了實時目標檢測。

實例分割（instance segmentation）是機器視覺研究中比較重要、復雜和具有挑戰性的領域之一。在機器人，自動駕駛，監視等領域均有應用。

來源：大前端視野