衡阳派盒市场营销有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

淺論學習深度學習的四個步驟

ss ? 來源:網絡整理 ? 作者:工程師譚軍 ? 2018-10-07 15:19 ? 次閱讀
深度學習的概念源于人工神經網絡的研究。含多隱層的多層感知器就是一種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征,以發現數據的分布式特征表示。
深度學習的概念由Hinton等人于2006年提出。基于深度置信網絡(DBN)提出非監督貪心逐層訓練算法,為解決深層結構相關的優化難題帶來希望,隨后提出多層自動編碼器深層結構。此外Lecun等人提出的卷積神經網絡是第一個真正多層結構學習算法,它利用空間相對關系減少參數數目以提高訓練性能。 [1]
深度學習是機器學習中一種基于對數據進行表征學習的方法。觀測值(例如一幅圖像)可以使用多種方式來表示,如每個像素強度值的向量,或者更抽象地表示成一系列邊、特定形狀的區域等。而使用某些特定的表示方法更容易從實例中學習任務(例如,人臉識別或面部表情識別)。深度學習的好處是用非監督式或半監督式的特征學習和分層特征提取高效算法來替代手工獲取特征。
深度學習是機器學習研究中的一個新的領域,其動機在于建立、模擬人腦進行分析學習的神經網絡,它模仿人腦的機制來解釋數據,例如圖像,聲音和文本。 [2]
同機器學習方法一樣,深度機器學習方法也有監督學習與無監督學習之分.不同的學習框架下建立的學習模型很是不同.例如,卷積神經網絡(Convolutional neural networks,簡稱CNNs)就是一種深度的監督學習下的機器學習模型,而深度置信網(Deep Belief Nets,簡稱DBNs)就是一種無監督學習下的機器學習模型。
假設我們有一個系統S,它有n層(S1,…Sn),它的輸入是I,輸出是O,形象地表示為: I =》S1=》S2=》…。.=》Sn =》 O,如果輸出O等于輸入I,即輸入I經過這個系統變化之后沒有任何的信息損失,設處理a信息得到b,再對b處理得到c,那么可以證明:a和c的互信息不會超過a和b的互信息。這表明信息處理不會增加信息,大部分處理會丟失信息。保持了不變,這意味著輸入I經過每一層Si都沒有任何的信息損失,即在任何一層Si,它都是原有信息(即輸入I)的另外一種表示。現在回到主題Deep Learning,需要自動地學習特征,假設我們有一堆輸入I(如一堆圖像或者文本),假設設計了一個系統S(有n層),通過調整系統中參數,使得它的輸出仍然是輸入I,那么就可以自動地獲取得到輸入I的一系列層次特征,即S1,…, Sn。 [3]
對于深度學習來說,其思想就是對堆疊多個層,也就是說這一層的輸出作為下一層的輸入。通過這種方式,就可以實現對輸入信息進行分級表達了。 [3]
另外,前面是假設輸出嚴格地等于輸入,這個限制太嚴格,可以略微地放松這個限制,例如只要使得輸入與輸出的差別盡可能地小即可,這個放松會導致另外一類不同的Deep Learning方法。上述就是Deep Learning的基本思想。 [3]
把學習結構看作一個網絡,則深度學習的核心思路如下:
①無監督學習用于每一層網絡的pre-train;
②每次用無監督學習只訓練一層,將其訓練結果作為其高一層的輸入;
③用自頂而下的監督算法去調整所有層
主要技術
線性代數、概率和信息論
欠擬合、過擬合、正則化
最大似然估計和貝葉斯統計
隨機梯度下降
監督學習和無監督學習
深度前饋網絡、代價函數和反向傳播
正則化、稀疏編碼和dropout
自適應學習算法
卷積神經網絡
循環神經網絡
遞歸神經網絡
深度神經網絡和深度堆疊網絡
LSTM長短時記憶
主成分分析
正則自動編碼器
表征學習
蒙特卡洛
受限波茲曼機
深度置信網絡
softmax回歸、決策樹和聚類算法
KNN和SVM
生成對抗網絡和有向生成網絡
機器視覺和圖像識別
自然語言處理
語音識別和機器翻譯
有限馬爾科夫
動態規劃
梯度策略算法
增強學習(Q-learning)
轉折點
2006年前,嘗試訓練深度架構都失敗了:訓練一個深度有監督前饋神經網絡趨向于產生壞的結果(同時在訓練和測試誤差中),然后將其變淺為1(1或者2個隱層)。
2006年的3篇論文改變了這種狀況,由Hinton的革命性的在深度信念網(Deep Belief Networks, DBNs)上的工作所引領:
Hinton, G. E., Osindero, S. and Teh, Y.,A fast learning algorithm for deep belief nets.Neural Computation 18:1527-1554, 2006
Yoshua Bengio, Pascal Lamblin, Dan Popovici and Hugo Larochelle,Greedy LayerWise Training of Deep Networks, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems 19 (NIPS 2006), pp. 153-160, MIT Press, 2007
Marc’Aurelio Ranzato, Christopher Poultney, Sumit Chopra and Yann LeCun Efficient Learning of Sparse Representations with an Energy-Based Model, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems (NIPS 2006), MIT Press, 2007
在這三篇論文中以下主要原理被發現:
表示的無監督學習被用于(預)訓練每一層;
在一個時間里的一個層次的無監督訓練,接著之前訓練的層次。在每一層學習到的表示作為下一層的輸入;
用有監督訓練來調整所有層(加上一個或者更多的用于產生預測的附加層);
DBNs在每一層中利用用于表示的無監督學習RBMs。Bengio et al paper 探討和對比了RBMs和auto-encoders(通過一個表示的瓶頸內在層預測輸入的神經網絡)。Ranzato et al paper在一個convolutional架構的上下文中使用稀疏auto-encoders(類似于稀疏編碼)。Auto-encoders和convolutional架構將在以后的課程中講解。
從2006年以來,大量的關于深度學習的論文被發表。

步驟1.學習深度學習的基本知識

(可選的,但是建議你這樣做)

由Andrew Ng的機器學習課程開始https://www.coursera.org/learn/machine-learning.他的課程提供了一些關于各種機器學習算法的介紹,更重要的是,一般的程序/機器學習的方法,包括數據預處理,大參數調優等。

閱讀由Geoff Hinton、Yoshua Bengio和Yann LeCun寫的NIPS 2015 深度學習教材,是一個以通俗易懂的介紹。

步驟2.深入專研深度學習

我學習的偏好是觀看講座視頻,并感謝幾個優秀的網上課程,這里有我喜歡的幾個課程:

1.Deep learning at Oxford 2015,Nando de Freitas沒有過于復雜的熟練解釋基本原理。從講座9開始,如果你熟悉神經網絡并想要再深一點,他在他的例子中使用了火炬框架(Video on Youtube)。

2.Neural Network for Machine Learning :這是Geoff Hinton的課程。Hinton是一個杰出的研究者,他證明了一般的BP算法的使用并對于深度學習的發展起著至關重要的作用。我尊重他,但是我發現該課程沒有組織。更進一步的,課程會由于布置的測試陷入困境。

3.Neural Networks Class,是由Hugo Larochelle 教授:另外一個極好的課程。

4.Yaser Abu-Mostafa’s machine learing course:如果你感興趣更多的理論的話。

如果你更傾向于書籍,這里有一些極好的資源。

1.Neural Networks and Deep Learning Book,是由Michael Nielsen撰寫:在線書籍并有幾個交互式的 JavaScript元素可以玩。

2.Deep Learning Book,是由Ian Goodfellow, Yoshua Bengio和Aaron Courville撰寫:有一些密集。

步驟3.挑選一個專注領域并深入研究

確定你所熱愛的并深入研究,領域是寬廣的,所以列表是一個全面的列表。

1.計算機視覺

深度學習已經改變了這一領域。斯坦福CS231課程是我最經歷的最好課程,它教會你基礎知識和卷積,同時也幫助你在AWS上建立GPU實例,同時,也可以看由Mofstafa S,Ibrahimz制作的課程Getting Started in Computer Vision。

2.自然語言處理(NLP)

用于機器翻譯,提問和回答,以及情感分析。為了掌握這一領域,深度理解自然語言的算法和基礎計算屬性是必須的。CS224N/Ling284課程是一個很好的起步課程。CS224d:Deep Learning for Natural Language Processing,是由David Socher教授的另外一門極好的課程,回顧了所有關于自然語言的最新深度學習的研究。更細節的可以看How do I learn Natural Language Processing?

3.記憶網絡(RNN-LSTM)

最近的工作是將在LSTM復發神經的注意機制與外部可寫內存相結合,這意味著在建筑系統中有一些有趣的工作,可以被理解、存儲并在以問答的方式檢索。這個研究領域是由Dr.Yann Lecun的facebook實驗室起步的,原始文字是在arxiv上:Memory Network。這里有許多研究變體、數據集、標準等,比如,Metamind的Dynamic Memory Networks for Natural Language Processing。

4.深度強化學習

由AlphaGo出名,圍棋系統在歷史上擊敗了最強圍棋選手,David Sliver的(谷歌深度思維)視頻課程和教授Rich Stutton的書籍是很好的起步。對于關于LSTM的一般介紹可以看Christopher的文章Understand LSTM nework和Andrej karpathy的The Unreasonable Effectiveness of Recurrent Neural Networks。

5.一般模型

雖然有辨識率模型試著去檢測、區分和分類,它們最終是在一個基本層面上尋找功能分化并不理解數據。除了短期應用之外,生成模型提供了潛在的自動學習的自然特性;類別、維度或者完全不同的東西。三個常用的生成模型——Generative Adversarial Networks(GANs),

Variational Autoencoders (VAEs) 和Autoregressive models(比如像素RNN),GAN是最流行的。想進一步深入閱讀

1.Original GAN paper.

2.The Laplacian Adversarial Networks (LAPGAN) Paper.

3.The Deep Convolutional Generative Adversarial Networks (DCGAN)paper和DCGAN Code(可以被用來學習層次特征而不需要任何監督),也可以參考DCGNN used for Image Superresolution.

步驟4.建立一些東西

動手制作是成為一個專家的關鍵,試著去建立一些吸引你的并匹配你技能等級的。這里有一些建議去啟發你。

1.作為傳統,開始是從分類手寫數據庫MNIST dataset.

2.試著在數據庫ImageNet上進行人臉識別和分類,如果你一直在做這個,可以參加ImageNet Challenge 2016.

3.使用RNNs或者CNNs做一個Twitter情緒分析。

4.訓練一個神經網絡去復制著名畫家的藝術風格(A Neural Algorithm of Artistic Style)。

5.使用RNN制作音樂:Compose Music With Recurrent Neural Networks。

6.使用深度強化學習打乒乓球:Play ping-pong using Deep Reinforcement Learning。

7.使用神經網絡自拍:Use Neural Networks to Rate a selfie。

8.使用深度學習自動著色黑白照片:Automatically color Black & White pictures using Deep Learning。


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 機器學習
    +關注

    關注

    66

    文章

    8439

    瀏覽量

    133087
  • 深度學習
    +關注

    關注

    73

    文章

    5515

    瀏覽量

    121552
收藏 人收藏

    評論

    相關推薦

    學習Linux的四個步驟

    學習Linux的四個步驟解答:學習Linux的四個步驟假設你是計算機科班出身,計算機系的基本課程
    發表于 09-24 15:27

    什么是深度學習?使用FPGA進行深度學習的好處?

    上述分類之外,還被用于多項任務(下面顯示了四個示例)。在 FPGA 上進行深度學習的好處我們已經提到,許多服務和技術都使用深度學習,而 GP
    發表于 02-17 16:56

    單片機學習四個階段

    單片機學習四個階段 經常有單片機愛好者問我們,如何學習單片機?學習單片機的步驟是什么? 我們初略總結了一下,單片機
    發表于 05-17 09:02 ?1305次閱讀

    根據學習經驗以及教學經驗總結出學習單片機的4步驟

    如何學習單片機的問題,我設計的這四個步驟,并不是拍拍腦袋想出來的,而是根據很多的學習經驗以及教學經驗總結出來的一套非常科學的學習方法,下面我
    的頭像 發表于 01-18 15:10 ?4007次閱讀
    根據<b class='flag-5'>學習</b>經驗以及教學經驗總結出<b class='flag-5'>學習</b>單片機的4<b class='flag-5'>個</b><b class='flag-5'>步驟</b>

    拆解深度學習生態系的五層級

    淺談深度學習的架構,主要可分為訓練(Training)與推論(Inference)兩階段。簡單來說,就是訓練機器學習,以及讓機器展現學習
    發表于 02-09 08:48 ?3057次閱讀

    四個經典角度看機器學習的本質

    何謂“機器學習”,學界尚未有統一的定義。本文摘取Tom Mitchell、Christopher M. Bishop、去年出版的《深度學習》和側重實戰的《數據挖掘》,總結了種機器
    的頭像 發表于 02-13 09:44 ?3537次閱讀
    從<b class='flag-5'>四個</b>經典角度看機器<b class='flag-5'>學習</b>的本質

    雙目立體匹配的四個步驟解析

    雙目立體匹配可劃分為四個步驟:匹配代價計算、代價聚合、視差計算和視差優化。
    的頭像 發表于 08-31 10:08 ?5253次閱讀

    機器學習將在四個領域推動智能運輸和物流行業的革命

    亞馬遜網絡服務(AWS)看到了機器學習為運輸和物流行業推動移動革命的四個主要領域。
    的頭像 發表于 10-26 12:01 ?3176次閱讀

    構建深度學習模型的五基本步驟

    深度學習的關注度正持續上升,它是機器學習的一子領域,基于人工神經網絡的概念來執行特定任務。然而在理論上,人工神經網絡與人類大腦的運作方式并不相同,甚至都不相似!
    發表于 12-22 09:35 ?6220次閱讀

    組織成功實施人工智能的四個步驟

    人工智能和機器學習解決方案如今在各行業組織中的應用變得越來越普遍,組織可以通過四個步驟成功實施人工智能技術。
    的頭像 發表于 02-02 12:00 ?4125次閱讀

    你們知道深度學習有哪四個學習階段嗎

    DNN、CNN和RNN 數據處理 在入門級使用的數據集很小,可以放入主內存中。只需幾行代碼即可應用此類操作。在此階段數據包括Audio、Image、Time-series和Text等類型。 經典機器學習 在深入研究深度學習之前,
    的頭像 發表于 06-10 15:27 ?2541次閱讀

    什么是深度學習算法?深度學習算法的應用

    什么是深度學習算法?深度學習算法的應用 深度學習算法被認為是人工智能的核心,它是一種模仿人類大腦
    的頭像 發表于 08-17 16:03 ?2279次閱讀

    深度學習框架是什么?深度學習框架有哪些?

    深度學習框架是什么?深度學習框架有哪些?? 深度學習框架是一種軟件工具,它可以幫助開發者輕松快速
    的頭像 發表于 08-17 16:03 ?2905次閱讀

    深度學習框架和深度學習算法教程

    深度學習框架和深度學習算法教程 深度學習是機器學習
    的頭像 發表于 08-17 16:11 ?1123次閱讀

    機器學習深度學習的區別

    機器學習深度學習的區別 隨著人工智能技術的不斷發展,機器學習深度學習已經成為大家熟知的兩
    的頭像 發表于 08-17 16:11 ?4341次閱讀
    百家乐电影网| 中原百家乐的玩法技巧和规则| 海尔百家乐的玩法技巧和规则| 大发888zhldu| 百家乐官网策略与心得| bet365百科| 六合彩136| 百家乐官网3号眨眼技术| 广发百家乐官网的玩法技巧和规则 | 百家乐长龙太阳城| 大发888娱乐城客服电话| 百家乐官网娱乐城信息| 大发888充钱| 真人娱乐城源码| 濮阳市| 狮威百家乐官网的玩法技巧和规则 | 中国百家乐的玩法技巧和规则| 立即博娱乐城| 百家乐官网官网网站| 百家乐是如何骗人的| 大发888下载 17| 网上百家乐官网有没有假| 免费百家乐规律| 威尼斯人娱乐城老| 百家乐官网无敌直缆| 百家乐筛子游戏| 大发8880634| AG百家乐官网大转轮| 职业百家乐的玩法技巧和规则| 蒙特卡罗网| 三星百家乐官网的玩法技巧和规则 | 亚洲百家乐官网博彩的玩法技巧和规则| 帝王百家乐的玩法技巧和规则 | 在线百家乐下注| 阿拉善左旗| 百家乐官网算点子打法攻略| 百家乐是怎样算牌| 波音网百家乐官网合作| 百家乐单机版游戏下载| 凯旋门娱乐| 真让百家乐游戏开户|