L先生總是好忘事，于是他每次出門隨身帶一個筆記本，遇到事情就記在上面。可惜的是，他只有一本筆記本，很快就記滿了。于是，每次有新事情發(fā)生，他就會把原來本子上的一部分不重要的內容擦掉(遺忘)，把新接收的內容寫下來(輸入)。

　　得益于這個小本本，L先生現(xiàn)在可以回憶起半個月之前的事了。而且由于L先生閑著沒事兒就翻翻自己的筆記本，他的腦子里也開始或多或少對很久之前的事留存了一些印象。

　　以上就是“好記性不如爛筆頭”的故事，也與今天的主角Jürgen Schmidhuber和他的LSTM理論有關。

　　Jürgen Schmidhuber

　　Jürgen Schmidhuber教授是現(xiàn)代循環(huán)神經網絡技術發(fā)展中的關鍵人物之一，他幫助創(chuàng)造了名為“長短期記憶的循環(huán)神經網絡技術”(Long-Short Term Memory)，并影響了谷歌、微軟、IBM 等公司的人工智能研究。

　　Jürgen Schmidhuber 是瑞士人工智能實驗室IDSIA 的科學事務主管，同時任教于盧加諾大學和瑞士南部應用科學與藝術學院。

　　他于1987年和1991年在慕尼黑工業(yè)大學先后獲得計算機科學的學士和博士學位。自1987年以來，一直引領著自我改進式(self-improving)通用問題求解程序(problem-solver)的研究。

　　從1991年開始，他成為深度學習神經網絡領域的開拓者。Predictability Minimization(可預測性最小化)模型，簡稱PM模型，出自1992年的論文《LearningFactorial Codes by Predictability Minimization》，他是唯一作者。

　　1997 年，Schmidhuber 博士和 Sepp Hochreiter 發(fā)表了一篇技術論文，后來證明這篇論文對視覺和語音上的快速進展起到了關鍵作用。這個方法被稱長短期記憶，簡稱LSTM。

　　2009 年，Schmidhuber當選歐洲科學與藝術學院院士。他獲獎很多，包括 2013 年國際神經網絡協(xié)會的亥姆霍茲獎，以及 2016 年電氣與電子工程師協(xié)會的神經網絡先鋒獎。

　　2019年，他獨立發(fā)表了一篇綜述論文，再一次概覽了極小極大博弈，及 PM 模型與 GAN 之間的強烈聯(lián)系。他一直認為 GAN 是其 PM 模型(1992)的變體，與Goodfellow 從郵件到演講也有多次公開交流。

　　他認為：GAN可以看作是 Adversarial Curiosity (1990) 的特例，Adversarial Curiosity 基于兩個網絡之間的極小極大博弈，其中一個網絡通過其概率動作生成數(shù)據(jù)，而另一個網絡預測輸出的結果。

PM 和 GAN 的對比

　　Jürgen Schmidhuber與他的LSTM

神經網絡發(fā)展歷程

　　神經網絡最早的雛形出現(xiàn)在1943年，心理學家McCul-loch提出了模仿神經元的結構和工作原理的MP模型。20世紀50年代末，美國科學家Frank Rosenblatt提出了感知機學習，并于 1958 年正式提出了由兩層神經元組成的神經網絡，稱之為“感知器”。

　　循環(huán)神經網絡(Recurrent Neural Network，RNN)是一種用于處理序列數(shù)據(jù)的神經網絡，相比一般的神經網絡來說，它能夠處理序列變化的數(shù)據(jù)。比如某個單詞的意思會因為上文提到的內容不同而有不同的含義，RNN就能夠很好地解決這類問題。

　　RNN被頻繁用于分析預測序列數(shù)據(jù)，但研究表明，隨著時間的推移RNN會忘記之前的狀態(tài)信息，故引入了LSTM。LSTM優(yōu)勢在于它能夠解決梯度消失的問題，還可以保留誤差，用戶沿時間和層進行反向傳遞。

　　LSTM近年來在很多領域表現(xiàn)突出，被廣泛應用在機器人控制、圖像分析，文檔總結，視頻識別、手寫識別、聊天機器人、智能助手、推薦系統(tǒng)、預測疾病和股票市場等領域。如今，LSTM 原理已經成了深度學習的根基。

　　例：我們所使用的智能手機語音識別功能就來自于Jurgen的研究，如今，超過10億人可以用上IDSIA開發(fā)的算法。

　　Jürgen Schmidhuber的理想：通用人工智能

1963 年的 Jürgen 和他的父親 Johann Schmidhuber 玩象棋

　　Jürgen Schmidhuber對機器人和通用人工智能的興趣可以追溯到青少年時代。他從圖書館借閱了大量科普書籍和科幻小說—尤其喜歡奧拉夫·斯泰普爾頓的《造星主》、E·T·A·霍夫曼的《沙人》，以及史坦尼斯勞·萊姆的小說。

　　1956 年，John McCarthy(1927~2011)在達特茅斯會議上將人工智能定義為：The science and engineering of making intelligent machines.

　　在20世紀60年代，人工智能的研究更多處于理論階段，隨著近些年計算機算力極大增長，這一波技術浪潮會帶來更多垂直產業(yè)應用的落地。Schmidhuber也將目光瞄向了推動技術成果向商業(yè)轉化，繼續(xù)投注他對通用人工智能目標的遠大設想。

　　通用人工智能又稱為AGI，其可以像人類一樣應對不同層面的問題，還具有自我學習、理解復雜理念等多種能力。

　　在追求通用人工智能的道路上，最為著名的公司當屬DeepMind，該公司創(chuàng)造了AlphaGo，在2014年被谷歌收入麾下。鮮為人知的是，DeepMind四位創(chuàng)始成員中有兩位來自Schmidhuber所在的IDSIA。

　　2014 年，Schmidhuber教授參與創(chuàng)辦了人工智能公司NNAISENSE，旨在打造第一個有實用價值的通用人工智能。其愿景為“為超人感知和智能自動化打造大規(guī)模神經網絡解決方案，最終目標是推廣基于通用神經網絡的人工智能”。

　　Jürgen 認為，RNN 是打造通用人工智能的基礎，不用很多年，我們就能夠制造出基于神經網絡的 AI(NNAI)，NNAI 能夠通過逐步學習，跟一些動物一樣聰明。

　　認知智能 改變世界

　　由華院數(shù)據(jù)主辦的2019 世界人工智能大會(WAIC)“認知智能 改變世界”論壇將于8月31日上午隆重開啟，Jürgen Schmidhuber教授在本論壇也會帶來精彩的學術分享，我們誠摯歡迎您的蒞臨!華院數(shù)據(jù)微信公眾號后臺回復“報名”立即參與。

特別提醒：本網內容轉載自其他媒體，目的在于傳遞更多信息，并不代表本網贊同其觀點。其原創(chuàng)性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益，請及時聯(lián)系我們，本站將會在24小時內處理完畢。