01 程式設計和數學基礎

1.1 Python 快速入門

1.2 張量函數庫NumPy

1.3 微積分

1.4 機率基礎



02 梯度下降法

2.1 函數極值的必要條件

2.2 梯度下降法基礎

2.3 梯度下降法的參數最佳化策略

2.4 梯度驗證

2.5 分離梯度下降法與參數最佳化策略



03 線性回歸、邏輯回歸和softmax 回歸

3.1 線性回歸

3.2 資料的規範化

3.3 模型的評估

3.4 正則化

3.5 邏輯回歸

3.6 softmax 回歸

3.7 批次梯度下降法和隨機梯度下降法



04 神經網路

4.1 神經網路概述

4.2 反向求導

4.3 實現一個簡單的深度學習框架



05 改進神經網路性能的基本技巧

5.1 資料處理

5.2 參數偵錯

5.3 批次規範化

5.4 正則化

5.5 梯度爆炸和梯度消失



06 卷積神經網路

6.1 卷積入門

6.2 卷積神經網路概述

6.3 卷積的矩陣乘法

6.4 基於座標索引的快速卷積

6.5 典型卷積神經網路結構



07 循環神經網路

7.1 序列問題和模型

7.2 循環神經網路基礎

7.3 穿過時間的反向傳播

7.4 單層循環神經網路的實現

7.5 循環神經網路語言模型和文字的生成

7.6 循環神經網路中的梯度爆炸和梯度消失

7.7 長短期記憶網路

7.8 門控循環單元

7.9 循環神經網路的類別及其實現

7.10 多層循環神經網路和雙向循環神經網路

7.11 Seq2Seq 模型



08 生成模型

8.1 生成模型概述

8.2 自動編碼器

8.3 變分自動編碼器

8.4 生成對抗網路

8.5 生成對抗網路建模實例

8.6 生成對抗網路的損失函數及其機率解釋

8.7 改進的損失函數—Wasserstein GAN

8.8 深度卷積對抗網路



A 參考文獻



?

序



　　從電腦被發明以來，使機器具有類似於人類的智慧一直是電腦科學家努力的目標。從1956 年人工智慧的概念被提出以來，人工智慧研究經歷了多次起伏，從基於數理邏輯的規則推理到狀態空間搜索推理、從專家系統到統計學習、從集體智慧演算法到機器學習、從神經網路到支援向量機，不同的人工智慧技術曾各領風騷。



　　近年來，採用深度神經網路的深度學習大放異彩、突飛猛進，如AlphaGo、自動駕駛、機器翻譯、語音辨識等深度學習的成功應用，不斷吸引人們的眼光。作為機器學習的分支，深度學習使傳統的神經網路技術重回舞台中央，奠定了其在許多人工智慧技術中的領先地位。



　　深度學習沒有複雜、深奧的理論，在原理上仍然是傳統的神經網路，即用一些簡單的神經元函數組合成一個複雜的函數，並採用簡單的梯度下降法根據實際樣本資料學習神經網路中的模型參數。當然，深度學習的成功，離不開電腦硬體性能的提升（特別是平行計算性能越來越強的圖形處理器），以及越來越多的資料。



　　未來社會，人工智慧將無處不在，許多工作將被人工智慧代替已經成為共識。目前，世界主要國家紛紛制定了人工智慧戰略，中小學也開始開設人工智慧課程。借助一些深度學習平台，如TensorFlow、PyTorch、Caffe，一個小學生就可以輕鬆使用深度學習函數庫去實現人臉辨識、語音辨識等應用，所要做的工作就是直接呼叫這些平台的API、定義深度神經網路的模型結構、偵錯訓練參數。這些平台使深度學習的實現變得非常容易，使深度學習走進了尋常百姓家，使人工智慧不再神秘。從大專院校到企業，各行各業的人都在使用深度學習開展各種研究與應用。



　　?寫作背景



　　只有透徹地了解技術背後的原理，才能更進一步地應用技術。儘管網上有大量講解深度學習原理的文章，以及一些深度學習課程，但圖書仍然是系統學習深度學習的重要工具。



　　市場上的深度學習圖書：有些是針對專家或專業研究人員的偏重數學理論的圖書，這類圖書和學術論文一樣，普通讀者難以了解，且大都缺少對原理的深度剖析及程式實現，讀者即使了解了原理，也可能仍然不知道該如何去實現；有些是工具類圖書，主要介紹如何使用各種深度學習函數庫，對原理的講解非常少，讀者只能依樣畫葫蘆；有些屬於通俗讀物，對每個技術領域都淺嘗即止；還有極少的圖書，在介紹原理的同時提供程式實現過程，並盡可能避免數學公式的推導。



　　筆者認為：平台教學類圖書具有較強的時效性，而圖書的出版週期往往以年計算，讀者拿到圖書時，平台的介面可能已經發生了較大的變化，圖書的價值也就降低了；原理類別圖書應該通俗易懂，儘量避免複雜、深奧的數學推導，但完全拋棄經典高等數學，對具有高等數學知識的讀者來說，並不是一個好的選擇。市場上缺少的，正是在介紹原理的同時討論如何從底層而非呼叫深度學習庫編寫深度學習演算法的通俗易懂的圖書。



　　?本書內容



　　為了照顧沒有程式設計經驗、數學基礎不足的讀者，本書對Python 程式設計、微積分、機率等知識進行了通俗易懂的講解。在此基礎上，本書由淺入深，從最簡單的回歸模型過渡到神經網路模型，採用從問題到概念的方式剖析深度學習的基本概念和原理，既避免「長篇大論」，也不會「惜字如金」，同時用簡單的範例展現模型和演算法的核心原理。在剖析原理的基礎上，本書進一步用Python 的NumPy 函數庫從底層進行程式實現，讓讀者透徹了解相關原理和實現並得到啟發。透過閱讀本書，讀者不需要借助任何深度學習函數庫，就可以從0 開始建構屬於自己的深度學習庫。



　　本書既適合沒有任何深度學習基礎的初學者閱讀，也適合具有深度學習庫使用經驗、想了解其底層實現原理的從業人員參考。同時，本書特別適合作為大專院校的深度學習教材。