步驟1.學習深度學習的基本知識
(可選的,但是建議你這樣做)
由Andrew Ng的機器學習課程開始https://www.coursera.org/learn/machine-learning.他的課程提供了一些關于各種機器學習算法的介紹,更重要的是,一般的程序/機器學習的方法,包括數據預處理,大參數調優等。
閱讀由Geoff Hinton、Yoshua Bengio和Yann LeCun寫的NIPS 2015 深度學習教材,是一個以通俗易懂的介紹。
步驟2.深入專研深度學習
我學習的偏好是觀看講座視頻,并感謝幾個優秀的網上課程,這里有我喜歡的幾個課程:
1.Deep learning at Oxford 2015,Nando de Freitas沒有過于復雜的熟練解釋基本原理。從講座9開始,如果你熟悉神經網絡并想要再深一點,他在他的例子中使用了火炬框架(Video on Youtube)。
2.Neural Network for Machine Learning :這是Geoff Hinton的課程。Hinton是一個杰出的研究者,他證明了一般的BP算法的使用并對于深度學習的發展起著至關重要的作用。我尊重他,但是我發現該課程沒有組織。更進一步的,課程會由于布置的測試陷入困境。
3.Neural Networks Class,是由Hugo Larochelle 教授:另外一個極好的課程。
4.Yaser Abu-Mostafa’s machine learing course:如果你感興趣更多的理論的話。
如果你更傾向于書籍,這里有一些極好的資源。
1.Neural Networks and Deep Learning Book,是由Michael Nielsen撰寫:在線書籍并有幾個交互式的 JavaScript元素可以玩。
2.Deep Learning Book,是由Ian Goodfellow, Yoshua Bengio和Aaron Courville撰寫:有一些密集。
步驟3.挑選一個專注領域并深入研究
確定你所熱愛的并深入研究,領域是寬廣的,所以列表是一個全面的列表。
1.計算機視覺
深度學習已經改變了這一領域。斯坦福CS231課程是我最經歷的最好課程,它教會你基礎知識和卷積,同時也幫助你在AWS上建立GPU實例,同時,也可以看由Mofstafa S,Ibrahimz制作的課程Getting Started in Computer Vision。
2.自然語言處理(NLP)
用于機器翻譯,提問和回答,以及情感分析。為了掌握這一領域,深度理解自然語言的算法和基礎計算屬性是必須的。CS224N/Ling284課程是一個很好的起步課程。CS224d:Deep Learning for Natural Language Processing,是由David Socher教授的另外一門極好的課程,回顧了所有關于自然語言的最新深度學習的研究。更細節的可以看How do I learn Natural Language Processing?
3.記憶網絡(RNN-LSTM)
最近的工作是將在LSTM復發神經的注意機制與外部可寫內存相結合,這意味著在建筑系統中有一些有趣的工作,可以被理解、存儲并在以問答的方式檢索。這個研究領域是由Dr.Yann Lecun的facebook實驗室起步的,原始文字是在arxiv上:Memory Network。這里有許多研究變體、數據集、標準等,比如,Metamind的Dynamic Memory Networks for Natural Language Processing。
4.深度強化學習
由AlphaGo出名,圍棋系統在歷史上擊敗了最強圍棋選手,David Sliver的(谷歌深度思維)視頻課程和教授Rich Stutton的書籍是很好的起步。對于關于LSTM的一般介紹可以看Christopher的文章Understand LSTM nework和Andrej karpathy的The Unreasonable Effectiveness of Recurrent Neural Networks。
5.一般模型
雖然有辨識率模型試著去檢測、區分和分類,它們最終是在一個基本層面上尋找功能分化并不理解數據。除了短期應用之外,生成模型提供了潛在的自動學習的自然特性;類別、維度或者完全不同的東西。三個常用的生成模型——Generative Adversarial Networks(GANs),
Variational Autoencoders (VAEs) 和Autoregressive models(比如像素RNN),GAN是最流行的。想進一步深入閱讀
1.Original GAN paper.
2.The Laplacian Adversarial Networks (LAPGAN) Paper.
3.The Deep Convolutional Generative Adversarial Networks (DCGAN)paper和DCGAN Code(可以被用來學習層次特征而不需要任何監督),也可以參考DCGNN used for Image Superresolution.
步驟4.建立一些東西
動手制作是成為一個專家的關鍵,試著去建立一些吸引你的并匹配你技能等級的。這里有一些建議去啟發你。
1.作為傳統,開始是從分類手寫數據庫MNIST dataset.
2.試著在數據庫ImageNet上進行人臉識別和分類,如果你一直在做這個,可以參加ImageNet Challenge 2016.
3.使用RNNs或者CNNs做一個Twitter情緒分析。
4.訓練一個神經網絡去復制著名畫家的藝術風格(A Neural Algorithm of Artistic Style)。
5.使用RNN制作音樂:Compose Music With Recurrent Neural Networks。
6.使用深度強化學習打乒乓球:Play ping-pong using Deep Reinforcement Learning。
7.使用神經網絡自拍:Use Neural Networks to Rate a selfie。
8.使用深度學習自動著色黑白照片:Automatically color Black & White pictures using Deep Learning。
-
機器學習
+關注
關注
66文章
8439瀏覽量
133087 -
深度學習
+關注
關注
73文章
5515瀏覽量
121552
發布評論請先 登錄
相關推薦
評論