我感到非常困惑，我幾乎每天都在改變自己的觀點，我似乎對這個難題無法形成一種堅實固定的看法。我不是在討論目前的世界局勢，或現任美國總統，我是在討論對人類而言更加重要的一件事。更具體地來說，我在討論的是研究人員與工程師們的存在和工作，我說的是深度學習。
　　你也許會認為我的聲明有些夸張，但深度學習的出現確實引出了我們必須解決的幾個關鍵問題。在本文中，我希望揭露這一新興領域引發的沖突，這與圖像處理領域的研究者們有關。
　　首先讓我們簡要回顧一下深度學習和神經網絡的概念。神經網絡已經存在了數十年，它提出了一種通用的學習機制，原則上可用于處理任何可學習的數據集。在其前饋架構中，感知層（也就是神經元）首先對輸入內容進行加權平均，隨后進行非線性處理，如感知器（sigmoid）或 rectified-linear 曲線。人們可以訓練這種簡單的系統通過多種監督回歸和分類方法從給定數據中獲得需要的輸出。
　　這看起來很棒，但不幸的是這個概念在 20 世紀 80 代 90 年代并沒有流行起來——在那時神經網絡無法給出足夠具有競爭力的表現。此外，由于有著堅實理論基礎以及凸優化方式的支持向量機的出現，神經網絡看起來完全沒有翻身機會了。最終，神經網絡進入了漫長的低潮期，只有少部分研究者還在堅持這方面的研究：Yann LeCun（紐約大學/ Facebook）、Geoffrey Hinton（多倫多大學/谷歌）、Yoshua Bengio（蒙特利爾大學）和Jürgen Schmidhuber（瑞士人工智能實驗室/盧加諾大學）都在這一行列中。他們的努力產生了一系列重要的成果，如卷積和長短期記憶網絡，但一開始這些研究的影響有限。隨后，神經網絡突然也迎來了爆發期。
　　在 21 世紀初，一系列論文提到了這種架構的成功應用，包括幾乎所有任務的最佳運行結果。而這些應用不約而同地使用了同一種方法：多層神經網絡，這就是「深度學習」，通過大量數據用于訓練， 大量計算機集群和顯卡計算資源的使用，以及采用有效初始化和逐步隨機梯度學習的優化算法。不幸的是，所有這些偉大的成就都是建立在無法理解的基礎范式之上的。此外，從理論的角度看，深度學習在學習過程中所采用的最優化是非常不凸和難解的。
　　深度學習應用的大發展始于手寫字符識別（見下圖），隨后緩慢地進入了更具挑戰性的視覺、語音識別和自然語言處理任務中，并從此開始在任何任務里以有監督學習的形式出現。谷歌、Facebook 和微軟這樣的大公司很快意識到這一技術的潛力，它們投入了大量人力和資源來掌握這些工具，并將其投入產品中。而在學術方面，信號處理、圖像處理和計算機視覺的各類大會已經被深度學習占領，它日益增長的主導地位逐漸讓人工智能變得興盛起來。
　　
　　深度學習仍在隨著時間發展。為了簡潔起見，我們以經典的圖片去噪點任務為例（如下圖）。這些年來，研究者們發表了數千份關于此任務的論文。研究人員利用偏微分方程的工具，如各向異性擴散、全變差、能量最小化、圖像幾何解釋方法作為流型、貝特拉米流（Beltrami flow）等等，開發出了美麗而深刻的數學思想。諧波分析和近似理論同樣應用于噪點任務，引出了小波理論和稀疏表示的重大突破。其他重要的思想包括低階近似、非局部均值、貝葉斯估計和魯棒統計。因此可以認為，我們在過去三十年中獲得了豐富的圖像處理知識，而這影響了許多圖像處理任務，并穩固了其后的數學基礎。