摘要：認(rèn)為，深度神經(jīng)網(wǎng)絡(luò)根據(jù)一種被稱(chēng)為信息瓶頸的過(guò)程在學(xué)習(xí)，他和兩位合作者最早在年對(duì)這一過(guò)程進(jìn)行了純理論方面的描述。另外一些研究人員則持懷疑態(tài)度，認(rèn)為信息瓶頸理論不能完全解釋深學(xué)習(xí)的成功。

利用深度神經(jīng)網(wǎng)絡(luò)的機(jī)器已經(jīng)學(xué)會(huì)了交談、開(kāi)車(chē)，在玩視頻游戲和下圍棋時(shí)擊敗了世界冠軍，還能做夢(mèng)、畫(huà)畫(huà)，幫助進(jìn)行科學(xué)發(fā)現(xiàn)，但同時(shí)它們也深深地讓其發(fā)明者困惑，誰(shuí)也沒(méi)有料到所謂的“深度學(xué)習(xí)”算法能做得這么好。沒(méi)有基本的原則指引這些學(xué)習(xí)系統(tǒng)，除了一些模糊的來(lái)自人類(lèi)大腦的設(shè)計(jì)靈感（而關(guān)于這一點(diǎn)，實(shí)際上也沒(méi)有人真正懂得多少）。

像大腦一樣，深度神經(jīng)網(wǎng)絡(luò)也有很多層神經(jīng)元。當(dāng)神經(jīng)元被激活時(shí)，它會(huì)發(fā)出信號(hào)，連接上面一層的神經(jīng)元。在深度學(xué)習(xí)的過(guò)程中，網(wǎng)絡(luò)中的連接會(huì)根據(jù)需要被加強(qiáng)或減弱，從而讓網(wǎng)絡(luò)更好地根據(jù)輸入（例如一張狗的照片的像素）發(fā)送信號(hào)，信號(hào)層層向上，經(jīng)過(guò)所有相關(guān)的神經(jīng)元，這些神經(jīng)元都與“狗”這個(gè)概念的高層抽象有關(guān)。一個(gè)深度神經(jīng)網(wǎng)絡(luò)在“學(xué)習(xí)”過(guò)數(shù)以千計(jì)的狗的照片后，能像人一樣準(zhǔn)確地識(shí)別出從未見(jiàn)過(guò)的照片中的狗。

從具體個(gè)例到通用概念的飛躍，讓深度神經(jīng)網(wǎng)絡(luò)擁有了如同人類(lèi)在推理、創(chuàng)作時(shí)所展現(xiàn)出的“智能”。專(zhuān)業(yè)人員想知道，是什么賦予了神經(jīng)網(wǎng)絡(luò)泛化的能力，也想知道人類(lèi)的大腦在多大程度上也在進(jìn)行類(lèi)似的活動(dòng)。

近年來(lái)少有的干貨演講，Hinton說(shuō)他要看上10000遍才懂

上月，在柏林舉行的一場(chǎng)演講為這一疑問(wèn)提供了一個(gè)可能的回答，這場(chǎng)演講的視頻在人工智能研究人員間廣為分享。

演講中，希伯來(lái)大學(xué)的計(jì)算機(jī)科學(xué)家和神經(jīng)學(xué)家Naftali Tishby，提出了一種解釋深度學(xué)習(xí)工作原理的新理論，并給出了證據(jù)支撐。Tishby認(rèn)為，深度神經(jīng)網(wǎng)絡(luò)根據(jù)一種被稱(chēng)為“信息瓶頸”（information bottleneck）的過(guò)程在學(xué)習(xí)，他和兩位合作者最早在1999年對(duì)這一過(guò)程進(jìn)行了純理論方面的描述。

Naftali Tishby在柏林的演講《深度學(xué)習(xí)：理論、算法和應(yīng)用》，時(shí)長(zhǎng)約58分鐘。Hinton評(píng)價(jià)說(shuō)，這是近年來(lái)少有的干貨演講

信息瓶頸理論認(rèn)為，網(wǎng)絡(luò)像把信息從一個(gè)瓶頸中擠壓出去一般，去除掉那些含有無(wú)關(guān)細(xì)節(jié)的噪音輸入數(shù)據(jù)，只保留與通用概念（general concept）最相關(guān)的特征。Tishby和他的學(xué)生Ravid Shwartz-Ziv的實(shí)驗(yàn)，展示了深度學(xué)習(xí)過(guò)程中這種“擠壓”是如何發(fā)生的（至少在他們所研究的案例里）。

Tishby的發(fā)現(xiàn)在AI研究圈激起了強(qiáng)烈的反向。Google Researc的Alex Alemi說(shuō)：“我認(rèn)為信息瓶頸的想法可能在未來(lái)深度神經(jīng)網(wǎng)絡(luò)的研究中非常重要?！盇lemi已經(jīng)開(kāi)發(fā)了新的近似方法，在大規(guī)模深度神經(jīng)網(wǎng)絡(luò)中應(yīng)用信息瓶頸分析。Alemi說(shuō)，信息瓶頸可能“不僅能夠用于理解為什么神經(jīng)網(wǎng)絡(luò)有用，也是用于構(gòu)建新目標(biāo)和新網(wǎng)絡(luò)架構(gòu)的理論工具”。

另外一些研究人員則持懷疑態(tài)度，認(rèn)為信息瓶頸理論不能完全解釋深學(xué)習(xí)的成功。但是，紐約大學(xué)的粒子物理學(xué)家Kyle Cranmer——他使用機(jī)器學(xué)習(xí)來(lái)分析大型強(qiáng)子對(duì)撞機(jī)的粒子碰撞——表示，一種通用的學(xué)習(xí)原理（a general principle of learning），“聽(tīng)上去有些道理”。

深度學(xué)習(xí)先驅(qū)Geoffrey Hinton在看完Tishby的柏林演講后發(fā)電子郵件給Tishby?！斑@簡(jiǎn)直太有趣了，”Hinton寫(xiě)道：“我還得聽(tīng)上10,000次才能真正理解它，但如今聽(tīng)一個(gè)演講，里面有真正原創(chuàng)的想法，而且可能解決重大的問(wèn)題，真是非常罕見(jiàn)了?！?/p>

Tishby認(rèn)為，信息瓶頸是學(xué)習(xí)的一個(gè)基本原則，無(wú)論是算法也好，蒼蠅也罷，任何有意識(shí)的存在或突發(fā)行為的物理學(xué)計(jì)算，大家最期待的答案——“學(xué)習(xí)最重要的部分實(shí)際上是忘記”。

香農(nóng)錯(cuò)了——利用信息論，我們能夠較精確定義“相關(guān)性”

Tishby很早便開(kāi)始考慮信息瓶頸的問(wèn)題，那時(shí)候其他研究人員也才剛剛開(kāi)始醞釀深度神經(jīng)網(wǎng)絡(luò)，盡管當(dāng)時(shí)無(wú)論是信息瓶頸還是深度神經(jīng)網(wǎng)絡(luò)都還沒(méi)有得名。那是20世紀(jì)80年代，Tishby在思考人類(lèi)是如何做語(yǔ)音識(shí)別的——語(yǔ)音識(shí)別是當(dāng)時(shí)AI的一個(gè)重大挑戰(zhàn)。Tishby意識(shí)到，問(wèn)題的關(guān)鍵是相關(guān)性：說(shuō)出來(lái)的一個(gè)詞最相關(guān)的特征是什么，我們又該如何從重音、語(yǔ)調(diào)、模糊音等變量中將這個(gè)特征計(jì)算出來(lái)？在通常情況下，當(dāng)我們面對(duì)現(xiàn)實(shí)生活中汪洋大海般的數(shù)據(jù)時(shí)，哪些信號(hào)是我們會(huì)保留下來(lái)的？

“相關(guān)信息（relevant information）的概念在歷史上提到了許多次，但從來(lái)沒(méi)有被正確地形式化，”Tishby在上個(gè)月接受采訪時(shí)說(shuō)：“多年來(lái)，人們認(rèn)為信息論不是考慮相關(guān)性的正確方式，這個(gè)誤解可以一直追溯到香農(nóng)本人?！?/p>

克勞德·香農(nóng)，信息論的創(chuàng)始人，從某種程度上說(shuō)，是香農(nóng)解放了人類(lèi)對(duì)信息的研究，讓信息能夠以抽象的0、1形式和純粹的數(shù)學(xué)意義被研究。正如Tishby所說(shuō)的那樣，香農(nóng)認(rèn)為“信息并非關(guān)乎語(yǔ)義”。但是，Tishby認(rèn)為，這是不正確的。

Tishby意識(shí)到，利用信息論，“你能較精確定義‘相關(guān)’（relevant）”。

希伯來(lái)大學(xué)計(jì)算機(jī)科學(xué)家和神經(jīng)學(xué)家Naftali Tishby

假設(shè)X是一個(gè)復(fù)雜的數(shù)據(jù)集，就像一張狗的照片的像素，而Y是這些數(shù)據(jù)代表的一個(gè)更為簡(jiǎn)單的變量，比如單詞“狗”。你可以任意壓縮X而不丟失預(yù)測(cè)Y的能力，將X中所有與Y“相關(guān)”的信息捕獲下來(lái)。在他們1999年的論文中，Tishby和他的共同作者，F(xiàn)ernando Pereira（現(xiàn)在在谷歌）和William Bialek（現(xiàn)在在普林斯頓大學(xué)），將這一過(guò)程轉(zhuǎn)換成一個(gè)數(shù)學(xué)優(yōu)化問(wèn)題并且提出了數(shù)學(xué)公式。這是一個(gè)沒(méi)有殺手級(jí)應(yīng)用的核心基礎(chǔ)概念。

“我沿著這條路在各種不同的情景中思考了30年，”Tishby說(shuō)：“我的運(yùn)氣就是深度神經(jīng)網(wǎng)絡(luò)變得如此重要?！?/p>

一篇論文的驚人發(fā)現(xiàn)：深度學(xué)習(xí)與物理重整化是完全相同的過(guò)程

深度神經(jīng)網(wǎng)絡(luò)背后的概念已經(jīng)存在了幾十年，但它們?cè)谡Z(yǔ)音和圖像識(shí)別任務(wù)中的表現(xiàn)在最近幾年才開(kāi)始起飛，得益于改進(jìn)了訓(xùn)練方案和更強(qiáng)大的計(jì)算機(jī)處理器。Tishby在讀了物理學(xué)家David Schwab和Pankaj Mehta在2014年發(fā)表的一篇論文后，開(kāi)始注意到深度學(xué)習(xí)與信息瓶頸理論的關(guān)聯(lián)。

David Schwab和Pankaj Mehta兩人發(fā)現(xiàn)，Hinton發(fā)明的“深度信念網(wǎng)絡(luò)”（DBN），在一種特定的情況下，酷似物理學(xué)中的重整化（renormalization），也就是以粗粒度的方式獲取物理系統(tǒng)的細(xì)節(jié)，從而計(jì)算其整體狀態(tài)。當(dāng)Schwab和Mehta將深度信念網(wǎng)絡(luò)應(yīng)用于一個(gè)處于“臨界點(diǎn)”的磁力模型時(shí)（這時(shí)該系統(tǒng)是分形，在任意尺度都自相似），他們發(fā)現(xiàn)，網(wǎng)絡(luò)會(huì)自動(dòng)使用重整化般的過(guò)程來(lái)發(fā)現(xiàn)模型的狀態(tài)。

這一發(fā)現(xiàn)令人震驚，正如生物物理學(xué)家Ilya Nemenman當(dāng)時(shí)評(píng)論所說(shuō)的那樣，它表明了“在統(tǒng)計(jì)物理的背景下提取相關(guān)特征和在深度學(xué)習(xí)的背景下提取相關(guān)特征并不只是類(lèi)似，而是完完全全的同一個(gè)?！?/p>

物理學(xué)家David Schwab和Pankaj Mehta在2014年的論文，證明在特定情況下深度學(xué)習(xí)等同于物理中的重整化技術(shù)，這讓Tishby注意到信息瓶頸理論與深度學(xué)習(xí)之間的關(guān)聯(lián)

的問(wèn)題是，在一般情況下，現(xiàn)實(shí)世界并不是分形。Cranmer說(shuō)：“我不會(huì)說(shuō)[重整化步驟]就是深度學(xué)習(xí)在處理自然圖像時(shí)效果這么好的原因?！?/p>

但Tishby——他當(dāng)時(shí)正在接受胰腺癌化療——意識(shí)到，無(wú)論是粗粒度過(guò)程還是深度學(xué)習(xí)，都可以被一個(gè)更廣泛通用的想法所涵蓋?！皩?duì)科學(xué)和對(duì)我以前想法的思考是我的治療和康復(fù)的重要組成部分，”Tishby說(shuō)。

Naftali Tishby的學(xué)生Noga Zaslavsky（左）和Ravid Shwartz-Ziv，他們幫助開(kāi)發(fā)了深度學(xué)習(xí)信息瓶頸理論。

信息瓶頸：網(wǎng)絡(luò)在抽取相關(guān)性時(shí)的理論邊界

2015年，Tishby和他的學(xué)生Noga Zaslavsky假設(shè)深度學(xué)習(xí)是一個(gè)信息瓶頸過(guò)程，盡可能地壓縮噪聲數(shù)據(jù)，同時(shí)保留數(shù)據(jù)所代表的信息。Tishby和Shwartz-Ziv對(duì)深度神經(jīng)網(wǎng)絡(luò)的新實(shí)驗(yàn)揭示了瓶頸過(guò)程如何實(shí)際發(fā)生的。在一種情況下，研究人員使用小型神經(jīng)網(wǎng)絡(luò)，使用隨機(jī)梯度下降和BP，經(jīng)過(guò)訓(xùn)練后，能夠用1或0（也即“是狗”或“不是狗”）標(biāo)記輸入數(shù)據(jù)，并給出其282個(gè)神經(jīng)連接隨機(jī)初始強(qiáng)度，然后跟蹤了網(wǎng)絡(luò)在接收3000個(gè)樣本輸入數(shù)據(jù)集后發(fā)生了什么。

實(shí)驗(yàn)中，Tishby和Shwartz-Ziv跟蹤了每層網(wǎng)絡(luò)保留了多少輸入中的信息和輸出標(biāo)簽中的信息。結(jié)果發(fā)現(xiàn)，信息經(jīng)過(guò)逐層傳遞，最終收斂到信息瓶頸的理論邊界：也就是Tishby、Pereira和Bialek在他們1999年論文中推導(dǎo)出的理論界限，代表系統(tǒng)在抽取相關(guān)信息時(shí)能夠做到的較好的情況。在這個(gè)邊界上，網(wǎng)絡(luò)在沒(méi)有犧牲準(zhǔn)確預(yù)測(cè)標(biāo)簽?zāi)芰Φ那闆r下，盡可能地壓縮輸入。

Tishby和Shwartz-Ziv還提出了一個(gè)有趣的發(fā)現(xiàn)，即深度學(xué)習(xí)分為兩個(gè)階段：一個(gè)簡(jiǎn)短的“擬合”階段，在此期間，網(wǎng)絡(luò)學(xué)著去標(biāo)注其訓(xùn)練數(shù)據(jù)，以及一個(gè)更長(zhǎng)時(shí)間的“壓縮”階段，在這個(gè)階段網(wǎng)絡(luò)變得能夠泛化，也即標(biāo)記新的測(cè)試數(shù)據(jù)。

作者在論文中指出，他們?cè)趯?shí)驗(yàn)中首次觀察到了隨機(jī)梯度下降優(yōu)化過(guò)程中兩個(gè)獨(dú)特的階段，經(jīng)驗(yàn)誤差最小化（ERM）和表示壓縮。上圖展示了SGD過(guò)程中信息逐層傳遞收斂的情況。

在深度神經(jīng)網(wǎng)絡(luò)通過(guò)隨機(jī)梯度下降調(diào)整其連接權(quán)重的過(guò)程中，首先，網(wǎng)絡(luò)存儲(chǔ)的關(guān)于輸入的數(shù)據(jù)會(huì)大致保持恒定或者稍微增加一點(diǎn)點(diǎn)，這時(shí)網(wǎng)絡(luò)連接會(huì)進(jìn)行調(diào)整，為輸入中的模式進(jìn)行編碼，更好地?cái)M合標(biāo)簽。有一些專(zhuān)家也將這個(gè)階段與記憶進(jìn)行了類(lèi)比。

然后，學(xué)習(xí)切換到壓縮階段。網(wǎng)絡(luò)開(kāi)始扔掉一些關(guān)于輸入數(shù)據(jù)的信息，只跟蹤最強(qiáng)的特征——與輸出標(biāo)簽最相關(guān)的那些關(guān)聯(lián)（correlation）。這是因?yàn)?，在隨機(jī)梯度下降的每次迭代中，訓(xùn)練數(shù)據(jù)中或多或少的意外相關(guān)性會(huì)告訴網(wǎng)絡(luò)做不同的事情，在隨機(jī)游走（random walk）中上下?lián)軇?dòng)神經(jīng)連接的強(qiáng)度。這種隨機(jī)化與壓縮系統(tǒng)輸入數(shù)據(jù)的表示（representation）實(shí)際上是相同的?？催@個(gè)例子，一些狗的照片的背景中可能有房子，而其他的照片沒(méi)有。在網(wǎng)絡(luò)不停地訓(xùn)練過(guò)程中，它可能會(huì)“忘記”一些照片中房屋和狗之間的相關(guān)性，因?yàn)槠渌掌窒诉@一點(diǎn)。Tishby和Shwartz-Ziv認(rèn)為，正是對(duì)細(xì)節(jié)的遺忘使得系統(tǒng)能夠形成通用的概念。實(shí)際上，他們的實(shí)驗(yàn)表明，深度神經(jīng)網(wǎng)絡(luò)在壓縮階段提高了泛化性能，在標(biāo)記測(cè)試數(shù)據(jù)方面變得更好。?

信息瓶頸能否解釋所有的深度學(xué)習(xí)？

信息瓶頸是否能解釋所有深度學(xué)習(xí)，除了壓縮以外是否還有其他的泛化途徑，這些還有待觀察。一些AI專(zhuān)家認(rèn)為，Tishby的想法是近期出現(xiàn)的關(guān)于深度學(xué)習(xí)最重要的理論見(jiàn)解之一。不過(guò)，哈佛大學(xué)AI研究員和理論神經(jīng)科學(xué)家Andrew Saxe指出，某些非常大的深度神經(jīng)網(wǎng)絡(luò)似乎不需要專(zhuān)門(mén)的壓縮階段來(lái)泛化。研究人員會(huì)用一種叫做“早期停止”（early stopping）的方式進(jìn)行編程，減少訓(xùn)練，從一開(kāi)始就防止網(wǎng)絡(luò)編碼過(guò)多的相關(guān)性。

Tishby認(rèn)為，Saxe及其同事分析的網(wǎng)絡(luò)模型與標(biāo)準(zhǔn)的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)有所不同，但是即使如此，信息瓶頸的理論界限比其他方法更好地定義了這些網(wǎng)絡(luò)的泛化性能。關(guān)于瓶頸是否適用于較大神經(jīng)網(wǎng)絡(luò)，Tishby和Shwartz-Ziv的實(shí)驗(yàn)部分解決了這一問(wèn)題。在的這項(xiàng)實(shí)驗(yàn)中，Tishby他們訓(xùn)練了更大的，擁有33萬(wàn)連接的深度神經(jīng)網(wǎng)絡(luò)，識(shí)別美國(guó)國(guó)家標(biāo)準(zhǔn)和技術(shù)研究所數(shù)據(jù)庫(kù)（Modified National Institute of Standards and Technology database）中60,000張手寫(xiě)數(shù)字的圖像，這也是衡量深度學(xué)習(xí)算法性能的一個(gè)知名基準(zhǔn)。

Tishby和Shwartz-Ziv觀察到了同樣的現(xiàn)象，網(wǎng)絡(luò)收斂到了信息瓶頸的理論界限；他們也觀察到了深度學(xué)習(xí)那兩個(gè)截然不同的階段，并且與較小的網(wǎng)絡(luò)相比，大規(guī)模網(wǎng)絡(luò)在這兩個(gè)階段的轉(zhuǎn)換更加明顯。

“我現(xiàn)在完全相信這是一個(gè)普遍現(xiàn)象。”Tishby說(shuō)。

人與機(jī)器：學(xué)習(xí)過(guò)程中最重要的，是遺忘

大腦如何從我們的感官中篩選信號(hào)并將其提升到意識(shí)水平的謎團(tuán)驅(qū)使了早期AI研究者對(duì)深度神經(jīng)網(wǎng)絡(luò)的興趣，他們希望逆向設(shè)計(jì)大腦的學(xué)習(xí)規(guī)則。時(shí)至今日，AI從業(yè)者在技術(shù)進(jìn)步的狂熱中，已經(jīng)在很大程度上放棄了這一點(diǎn)，迷醉于提高性能而不考慮生物學(xué)上的合理性。不過(guò)，在他們打造的思維機(jī)器能力不斷提升的過(guò)程中，許多研究人員仍然希望，這些探索能夠揭示關(guān)于學(xué)習(xí)和智能的通用見(jiàn)解。

紐約大學(xué)心理學(xué)和數(shù)據(jù)科學(xué)助理教授Brenden Lake致力于研究人類(lèi)和機(jī)器學(xué)習(xí)的異同，他認(rèn)為T(mén)ishby的發(fā)現(xiàn)是“打開(kāi)神經(jīng)網(wǎng)絡(luò)黑匣子的重要一步”。但Lake強(qiáng)調(diào)說(shuō)，大腦代表了一個(gè)更大、更黑的黑盒子。成年人的大腦擁有860億個(gè)神經(jīng)元，之間更有數(shù)百萬(wàn)億個(gè)連接，很可能采用了眾多策略來(lái)加強(qiáng)泛化，遠(yuǎn)遠(yuǎn)超越嬰兒期發(fā)生的基本的圖像和聲音識(shí)別的學(xué)習(xí)過(guò)程，后者在很大程度上類(lèi)似當(dāng)前的深度學(xué)習(xí)。

Lake說(shuō)，Tishby觀察到的擬合和壓縮階段，似乎并不能對(duì)應(yīng)到兒童學(xué)習(xí)手寫(xiě)字符的過(guò)程中。 人類(lèi)孩子學(xué)習(xí)認(rèn)字寫(xiě)字，并不需要看數(shù)千個(gè)字符并在比較長(zhǎng)的時(shí)間中壓縮他們思維中的表示（representation）。事實(shí)上，人類(lèi)兒童可以從一個(gè)樣本中學(xué)習(xí)。Lake和他的同事構(gòu)建模型表明，大腦可能會(huì)把新的字符解構(gòu)成一系列的筆畫(huà)——以前就有的思維表示，從而將字母（letter）的概念加入到先前的知識(shí)大廈中，“而不是像標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)算法一樣，將一個(gè)字母作為像素圖案來(lái)學(xué)習(xí)，通過(guò)映射特征學(xué)習(xí)概念”。Lake說(shuō)，人類(lèi)建立了一個(gè)簡(jiǎn)單的因果模型——一個(gè)更短的泛化路徑。

這種想法可能為AI研究社區(qū)帶來(lái)啟發(fā)，進(jìn)一步推動(dòng)兩個(gè)領(lǐng)域彼此間的往來(lái)。Tishby認(rèn)為，他的信息瓶頸理論最終將被證明在兩門(mén)學(xué)科中都有用，可能在人類(lèi)學(xué)習(xí)中采取一種比AI學(xué)習(xí)更泛化的表示。信息瓶頸理論的一個(gè)直接應(yīng)用，便是更好地了解人類(lèi)神經(jīng)網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)可以解決哪些問(wèn)題。

“它給出了可以學(xué)習(xí)的問(wèn)題的完整描述，”Tishby說(shuō)：“這些都是我可以在輸入中消除噪音，而不會(huì)損害我分類(lèi)能力的問(wèn)題。例如自然視覺(jué)、語(yǔ)音識(shí)別。這些也正是我們的大腦可以應(yīng)付的問(wèn)題?！?/p>

同時(shí)，人類(lèi)神經(jīng)網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)都無(wú)法很好地解決另一些問(wèn)題，那就是每個(gè)細(xì)節(jié)都很重要，因此無(wú)法去除信息的問(wèn)題。例如，大多數(shù)人不能快速地在心里將兩個(gè)數(shù)字相乘。Tishby說(shuō)：“我們有一大堆類(lèi)似這樣的問(wèn)題，改變一個(gè)變量都會(huì)引發(fā)全局變化的邏輯問(wèn)題。例如離散問(wèn)題、加密問(wèn)題。我不認(rèn)為深度學(xué)習(xí)都幫助我破譯密碼?！?/p>

泛化——或者說(shuō)遍歷信息瓶頸——意味著舍棄一些細(xì)節(jié)。這對(duì)心算不好，但心算并不是大腦的主要任務(wù)。我們擅長(zhǎng)在人群中尋找熟悉的面孔，在嘈雜、混亂的世界中對(duì)尋找顯著信號(hào)的秩序。正如Naftali Tishby所說(shuō)，學(xué)習(xí)中最重要的，實(shí)際上是遺忘。

原文鏈接：https://www.quantamagazine.org/new-theory-cracks-open-the-black-box-of-deep-learning-20170921/

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754