近幾年，深度進修曾經進入必定水平的狂熱狀況，人們正試圖用這個技巧處理每個成績。但是，深度進修真是全能的嗎？瀏覽此文后，你便可以或許從深層懂得為何深度進修其實不是想象的那般“神話”了。
寫在后面
近日，在深度進修范疇涌現了一場熱鬧的爭辯。這一切都要從 Jeff Leek 在 Simply Stats 上揭橥了一篇題為《數據量不敷年夜，別玩深度進修》（Don't use deep learning your data isn't that big）的博文開端。作者 Jeff Leek 在這篇博文中指出，當樣本數據集很小時（這類情形在生物信息范疇很罕見），即便有一些層和隱蔽單位，具有較少參數的線性模子的表示是優于深度收集的。為了證實本身的論點，Leek 舉了一個基于 MNIST 數據庫停止圖象辨認的例子，分辯 0 或許 1。他還表現，當在一個應用僅僅 80 個樣本的 MNIST 數據集中停止 0 和 1 的分類時，一個簡略的線性猜測器（邏輯回歸）要比深度神經收集的猜測精確度更高。
這篇博文的揭橥惹起了范疇內的爭辯，哈佛年夜學藥學院的生物醫藥信息學專業博士后 Andrew Beam 寫了篇文章來辯駁：《就算數據不敷年夜，也能玩深度進修》（You can probably use deep learning even if your data isn't that big）。Andrew Beam 指出，即便數據集很小，一個恰當練習的深度收集也能擊敗簡略的線性模子。
現在，愈來愈多的生物信息學研討人員正在應用深度進修來處理各類各樣的成績，如許的爭辯愈演愈烈。這類炒作是真的嗎？照樣說線性模子就足夠知足我們的一切需求呢？結論自始自終——要視情形而定。在這篇文章中，作者摸索了一些機械進修的應用實例，在這些實例中應用深度進修其實不明智。而且說明了一些對深度進修的誤會，作者以為恰是這些毛病的熟悉招致深度進修沒有獲得有用地應用，這類情形關于老手來講特別輕易涌現。
打破深度進修成見
起首，我們來看看很多內行者輕易發生的成見，實際上是一些半真半假的單方面熟悉。重要有兩點，個中的一點更具技巧性，我將具體說明。
深度進修在小樣本集上也能夠獲得很好的后果
深度進修是在年夜數據的配景下火起來的（第一個谷歌年夜腦項目向深度神經收集供給了年夜量的 Youtube 視頻），自從那今后，絕年夜部門的深度進修內容都是基于年夜數據量中的龐雜算法。
但是，這類年夜數據 + 深度進修的配對不知為什么被人誤會為：深度進修不克不及運用于小樣本。假如只要幾個樣例，將其輸出具有高參數樣本比例的神經收集仿佛必定會走上過擬合的途徑。但是，僅僅斟酌給定成績的樣本容量和維度，不管有監視照樣無監視，簡直都是在真空中對數據停止建模，沒有任何的高低文。
能夠的數據情形是：你具有與成績相干的數據源，或許該范疇的專家可以供給的壯大的先驗常識，或許數據可以以異常特別的方法停止構建（例如，以圖形或圖象編碼的情勢）。一切的這些情形中，深度進修無機會成為一種可供選擇的辦法——例如，你可以編碼較年夜的相干數據集的有用表現，并將該表現運用到你的成績中。
這類典范的示例罕見于天然說話處置，你可以進修年夜型語料庫中的詞語嵌入，例如維基百科，然后將他們作為一個較小的、較窄的語料庫嵌入到一個有監視義務中。極端情形下，你可以用一套神經收集停止結合進修特點表現，這是在小樣本集中重用該表現的一種有用方法。這類辦法被稱作“一次性進修”（one-shot learning），而且曾經勝利運用到包含盤算機視覺和藥物研發在內的具有高維數據的范疇。
藥物研發中的一次性進修收集
深度進修不是一切的謎底
我聽過最多的第二個成見就是過度宣揚。很多還沒有入門該范疇的人，僅僅由于深度神經收集在其它范疇的精彩表示，就等待它也能為他們帶來神話般的表示晉升。其別人則從深度進修在圖象、音樂和說話（與人類關系親密的三種數據類型）處置范疇的使人印象深入的表示中遭到啟示，因而就腦筋發燒地鉆入該范疇，迫在眉睫地測驗考試練習最新的 GAN 構造。
固然，這類年夜肆吹噓在許多方面是真實存在的。深度進修在機械進修中的位置弗成小覷，也是數據建模辦法庫的主要對象。它的普及帶動了諸如 tensorflow 和 pytorch 等很多主要框架的成長，它們即便是在深度進修以外也是非常有效的。掉敗者突起成為超等巨星的故事鼓勵了很多研討員從新審閱之前的隱約算法，如退化算法和加強進修。
但任何情形下也不克不及以為深度進修是全能良藥。除“世界沒有收費的午飯”這點以外，深度進修模子長短常奧妙的，而且須要細心乃至異常耗時耗力的超參數搜刮、調劑，和測試（文章后續有更多講授）。除此以外，在許多情形下，從理論的角度來看，應用深度進修是沒成心義的，更簡略的模子反而能取得更好的后果。
深度進修不只僅是.fit（）
深度進修模子從機械進修的其他范疇傳來時，我以為還有別的一個方面常常被疏忽。年夜多半深度進修的教程和引見資料都將模子描寫為經由過程條理方法停止銜接的節點層構成，個中第一層是輸出，最初一層是輸入，而且你可以用某種情勢的隨機梯度降低（SGD）辦法來練習收集。有些資料會簡略引見隨機梯度降低是若何任務的，和甚么是反向流傳，但年夜部門引見重要存眷的是豐碩的神經收集類型（卷積神經收集，輪回神經收集等等）。
而優化辦法自己卻很少遭到存眷，這是很不幸的，由于深度進修為何可以或許起到很年夜的感化，絕年夜部門緣由就是這些特別的優化辦法（詳細闡述可以參考 Ferenc Huszár 的博客和博客中援用的論文）。懂得若何優化參數，和若何劃分數據，從而更有用地應用它們以便在公道時光內使收集取得優越的收斂，是相當主要的。
不外，為何隨機梯度降低如斯癥結照樣未知的，然則如今線索也正零碎涌現。我偏向于將該辦法算作是貝葉斯推理的一部門。本質上，在你停止某種情勢的數值優化時，你都邑用特定的假定和先驗來履行一些貝葉斯推理。其實有一個被稱做幾率數值盤算（probabilistic numerics）的完全研討范疇，就是從這個不雅點開端的。隨機梯度降低也是如斯，最新的研討結果注解，該進程現實上是一個馬爾科夫鏈，在特定假定下，可以看做是后向變分近似的穩態散布。
所以當你停滯隨機梯度降低，并采取終究的參數時，根本上是從這個近似散布中抽樣獲得的。我以為這個設法主意很有啟示性，由于如許一來，優化器的參數（這里是指進修率）就更成心義了。例如，當你增長隨機梯度降低的進修參數時，馬爾可夫鏈就會變得不穩固，直到它找到年夜面積采樣的部分最小值，如許一來，就增長了法式的方差。
另外一方面，假如削減進修參數，馬爾科夫鏈可以漸漸的近似到廣義極小值，直到它收斂，如許就增長了某個特定區域的偏置。而另外一個參數，隨機梯度降低的批次年夜小，也能夠掌握算法收斂的區域是甚么類型，小的批次收斂到較年夜區域，年夜的批次收斂到較小區域。
隨機梯度降低依據進修速度或批尺寸來選擇較年夜或廣義最小值
如許的龐雜性意味著深度收集的優化器異常主要：它們是模子的焦點部門，與層架構一樣主要。這一點在機械進修的很多其他模子中其實不罕見。線性模子（乃至是正則化的，像 LASSO 算法）和支撐向量機（SVM） 都是凸優化成績，沒有太多纖細差異，而且只要一個最優解。這也就是為何來自其它范疇的研討人員在應用諸如 scikit-learn 如許的對象時會覺得迷惑，由于他們發明找不到簡略地供給。fit（） 函數的 API（雖然如今有些對象，例如 skflow，試圖將簡略的收集置入。fit（） 中，我以為這有點誤導，由于深度進修的全體重點就是其靈巧性）。
甚么時刻不須要深度進修？
在甚么情形下深度進修不是最幻想的呢？在我看來，以下情形中，深度進修更多是一種障礙，而不是福音。
低預算或低投資成績
深度收集是非常靈巧的模子，有多種多樣的構造和節點模子、優化器和正則化辦法。依據運用場景，你的模子也許要有卷積層（層尺寸多寬？有無池化操作？），或許輪回構造（有無門控單位？）；收集能夠真的很深（hourglass，siamese，或其他構造？）照樣只是具有很少的幾個隱蔽層（有若干單位？）；它能夠應用整流線性單位或其他激活函數；它能夠會或能夠不會有隨機拋棄（在哪一層中？用甚么比例？），而且權重應當是正則化的（L1、L2，或許是某些更奇異的正則化辦法？）。這只是一部門列表，還有許多其他類型的節點、銜接，乃至喪失函數可以去測驗考試。
即使只是練習年夜型收集的一個實例，調劑很多超參數和摸索框架的進程也長短常耗時的。谷歌比來傳播鼓吹本身的 AutoML 辦法可以主動找到最好的架構，使人印象深入，但依然須要跨越 800 個 GPU 全天候運轉數周，這關于任何人來講簡直都是高不可攀的。癥結在于練習深度收集時，在盤算和調試部門都邑消費偉大的價值。這類消費關于很多平常猜測成績并沒成心義，而且調劑深度收集的投資報答率太低，即便是調劑小型收集。即便有足夠的預算和投資，也沒有來由不測驗考試替換辦法，哪怕作為基準測試。你能夠會欣喜地發明，線性 SVM 就夠用了。
說明和轉達模子參數或特點對普通受眾的主要性
深度收集也是很著名的黑匣子，它具有高猜測才能但可說明性缺乏。雖然比來有許多對象，諸如明顯圖（saliency maps）和激活差別（activation difference），它們對某些范疇而言長短常有效的，但它們不會完整被運用到一切的運用中。重要是，當你想要確保收集不會經由過程記住數據集或專注于特定的虛偽特點來誘騙你時，這些對象就可以很好地任務，但依然難以從每一個特點的主要性解讀出深度收集的全體決議計劃。在這個范疇，沒有甚么可以或許真正地打敗線性模子，由于進修獲得的系數與呼應有著直接的關系。當將這些說明轉達給普通受眾，而且他們須要基于此做出決議計劃時，這就顯得尤其主要。
例如，大夫須要聯合各類分歧的數據來確認診斷成果。變量和成果之間的關系越簡略、越直接，大夫就可以更好天時用，而不是低估或高估現實值。另外，有些情形下，模子（特別是深度收集）的精度其實不像可說明性那樣主要。例如，政策制訂者能夠想曉得一些生齒統計變量關于逝世亡率的影響，而且相較于猜測的精確性來講，能夠對這類關系的直接近似更有興致。在這兩種情形下，與更簡略、更容易滲入滲出的辦法比擬，深度進修處于晦氣位置。
樹立因果機制
模子可說明性的極端情形是當我們試圖樹立一個機械模子，即現實捕獲數據面前景象的模子。一個好的例子包含試圖猜想兩個份子（例如藥物、卵白質、核酸等）能否在特定的細胞情況中互相發生影響，或許假定特定的營銷戰略能否對發賣發生現實的影響。在這個范疇，依據專家看法，沒有甚么可以擊敗老式的貝葉斯辦法，它們是我們表現并揣摸因果關系的最好方法。Vicarious 有一些很好的最新研討結果，解釋為何這個更有準繩性的辦法在視頻游戲義務中比深度進修表示得更好。
進修“非構造化”特點
這能夠是具有爭議性的。我發明深度進修善于的一個范疇是為特定義務找到有效的數據表現。一個很好的例子就是上述的詞語嵌入。天然說話具有豐碩而龐雜的構造，與“高低文感知”（context-aware）收集鄰近似：每一個單詞都可以經由過程向量來表現，而這個向量可以編碼其常常涌現的文本。在 NLP 義務中應用在年夜型語料庫中進修的單詞嵌入，有時可以在另外一個語料庫的特定義務中晉升后果。但是，假如所評論辯論的語料庫是完整非構造化的，它能夠不會起就任何感化。
例如，假定你正在經由過程檢查癥結字的非構造化列表來對對象停止分類，因為癥結字不是在任何特定構造中都邑應用的（好比在一個句子中），所以單詞嵌入不會對這些情形有太年夜贊助。在這類情形下，數據是一個真實的“詞袋”（bag of words），這類表現很有能夠足以知足義務所需。與此相反的是，假如你應用預練習的話，單詞嵌入其實不是那末消耗時力，并且可以更好地捕捉癥結字的類似度。不外，我照樣情愿從“詞袋”表現開端，看看可否獲得很好的猜測成果。究竟，這個“詞袋”的每一個維度都比對應的詞嵌入槽更輕易解讀。
深度進修是將來
深度進修今朝異常火爆，資金充分，而且成長異常敏捷。當你還在瀏覽會議上揭橥的論文時，有能夠曾經有兩、三種新版本可以超出它了。這給我上述列出的幾點提出了很年夜的挑釁：深度進修在不久的未來能夠在這些情形中長短常有效的。用于說明圖象和團圓序列的深度進修模子的對象愈來愈好。比來推出的軟件，如 Edward 將貝葉斯建模和深度收集框架聯合，可以或許量化神經收集參數的不肯定性，和經由過程幾率編程和主動變分推理停止簡略單純貝葉斯推理。從久遠來看，能夠會有一個簡化的建模庫，可以或許給出深度收集具有的明顯屬性，從而削減須要測驗考試的參數空間。所以要賡續更新你的 arXiv 瀏覽內容，這篇博文的內容也許一兩個月內也會過時。
Edward 經由過程將幾率計劃與 tensorflow 聯合，將深度進修和貝葉斯的模子斟酌在內。
