第一篇�深度學習導論

第 1 章深度學習 (Deep Learning) 導論

1-1人工智慧的三波浪潮

1-2 AI的學習地圖

1-3 TensorFlow vs. PyTorch

1-4機器學習開發流程

1-5開發環境安裝

1-6 免費雲端環境開通

?

第 2 章神經網路 (Neural Network) 原理

2-1必備的數學與統計知識

2-2萬般皆自『迴歸』起

2-3神經網路

?

第二篇�PyTorch 基礎篇

第 3 章 PyTorch 學習路徑與主要功能

3-1 PyTorch學習路徑

3-2張量運算

3-3自動微分(Automatic Differentiation)

3-4 神經層(Neural Network Layer)

3-5 總結

?

第 4 章神經網路實作

4-1撰寫第一支神經網路程式

4-2? 模型種類

4-3 神經層(Layer)

4-4 激勵函數(Activation Functions)

4-5? 損失函數(Loss Functions)

4-6? 優化器(Optimizer)

4-7? 效能衡量指標(Performance Metrics)

4-8? 超參數調校(Hyperparameter Tuning)

?

第 5 章 PyTorch 進階功能

5-1? 資料集(Dataset)及資料載入器(DataLoader)

5-2 TensorBoard

5-3 模型佈署(Deploy)與TorchServe

?

第 6 章卷積神經網路 (Convolutional Neural Network)

6-1卷積神經網路簡介

6-2卷積(Convolution)

6-3各式卷積

6-4池化層(Pooling Layer)

6-5? CNN模型實作

6-6? 影像資料增補(Data Augmentation)

6-7? 可解釋的AI(eXplainable AI, XAI)

?

第 7 章預先訓練的模型 (Pre-trained Model)

7-1? 預先訓練模型的簡介

7-2 採用完整的模型

7-3 採用部分模型

7-4 轉移學習(Transfer Learning)

7-5? Batch Normalization說明

?

第三篇�進階的影像應用

第 8 章物件偵測 (Object Detection)

8-1 圖像辨識模型的發展

8-2 滑動視窗(Sliding Window)

8-3 方向梯度直方圖(HOG）

8-4 R-CNN物件偵測

8-5? R-CNN改良

8-6 YOLO演算法簡介

8-7 YOLO測試

8-8 YOLO環境建置

8-9 YOLO模型訓練

8-10 YOLOv5模型訓練

8-11 SSD演算法

8-12 物件偵測的效能衡量指標

8-13 總結

?

第 9 章進階的影像應用

9-1? 語義分割(Semantic Segmentation)介紹

9-2? 自動編碼器(AutoEncoder)

9-3 語義分割(Semantic segmentation)實作

9-4 實例分割(Instance Segmentation)

9-5 風格轉換(Style Transfer) --人人都可以是畢卡索

9-6 臉部辨識(Facial Recognition)

9-7 光學文字辨識(OCR)

9-8 車牌辨識(ANPR)

9-9 卷積神經網路的缺點

?

第 10 章生成對抗網路 (GAN)

10-1 生成對抗網路介紹

10-2 生成對抗網路種類

10-3 DCGAN

10-4 Progressive GAN

10-5 Conditional GAN

10-6 Pix2Pix

10-7 CycleGAN

10-8 GAN挑戰

10-9 深度偽造(Deepfake)

?

第四篇�自然語言處理

第 11 章自然語言處理的介紹

11-1 詞袋(BOW)與TF-IDF

11-2 詞彙前置處理

11-3 詞向量(Word2Vec)

11-4 GloVe模型

11-5 中文處理

11-6 spaCy套件

?

第 12 章自然語言處理的演算法

12-1 循環神經網路(RNN)

12-2 PyTorch 內建文本資料集

12-3 長短期記憶網路(LSTM)

12-4自訂資料集

12-5 時間序列預測

12-6 Gate Recurrent Unit (GRU)

12-7 股價預測

12-8 注意力機制(Attention Mechanism)

12-9 Transformer架構

12-10 BERT

12-11 Transformers套件

12-12 總結

?

第 13 章聊天機器人 (ChatBot)

13-1 ChatBot類別

13-2 ChatBot設計

13-3 ChatBot實作

13-4 ChatBot工具套件

13-5 Dialogflow實作

13-6 結語

?

第 14 章語音辨識

14-1語音基本認識

14-2語音前置處理

14-3 PyTorch語音前置處理

14-4 PyTorch內建語音資料集

14-5語音深度學習應用

14-6自動語音辨識(Automatic Speech Recognition)

14-7自動語音辨識實作

14-8 結語

?

第五篇�強化學習 (Reinforcement Learning)

第 15 章強化學習

15-1 強化學習的基礎

15-2 強化學習模型

15-3 簡單的強化學習架構

15-4 Gym套件

15-5 Gym擴充功能

15-6 動態規劃(Dynamic Programming)

15-7 值循環(Value Iteration)

15-8 蒙地卡羅(Monte Carlo)

15-9 時序差分(Temporal Difference)

15-10 井字遊戲

15-11 連續型狀態變數與Deep Q-Learning演算法

15-12 Actor Critic演算法

15-13 實際應用案例

15-14 其他演算法

15-15 結論

?

第六篇�圖神經網路 (GNN)

第 16 章圖神經網路 (GNN)

16-1 圖形理論(Graph Theory)

16-2 PyTorch Geometric(PyG)

16-3 圖神經網路(GNN)

16-4 結論

?

序



為何撰寫本書



　　從事機器學習教育訓練已屆五年，其間也在『IT邦幫忙』撰寫上百篇的文章(https://ithelp.ithome.com.tw/users/20001976/articles)，從學員及讀者的回饋獲得許多寶貴意見，期望能將整個歷程集結成冊，同時，相關領域的進展也在飛速變化，過往的文章內容需要翻新，因此藉機再重整思緒，想一想如何能將演算法的原理解釋得更簡易清晰，協助讀者跨入AI的門檻，另外，也避免流於空談，盡量增加應用範例，希望能達到即學即用，不要有過多理論的探討。



　　AI是一個將資料轉化為知識的過程，演算法就是過程中的生產設備，最後產出物是模型，再將模型植入各種硬體裝置，例如電腦、手機、智慧音箱、自駕車、醫療診斷儀器、…等，這些裝置就擁有特殊專長的智慧，再進一步整合各項技術就構建出智慧製造、智慧金融、智慧交通、智慧醫療、智慧城市、智慧家庭、…等應用系統。AI的應用領域如此的廣闊，個人精力有限，當然不可能具備十八般武藝，樣樣精通，惟有從基礎紮根，再擴及有興趣的領域，因此，筆者撰寫這本書的初衷，非常單純，就是希望讀者在紮根的過程中，貢獻一點微薄的力量。



　　PyTorch vs. TensorFlow

　　深度學習的初學者常會問『應該選擇PyTorch或 TensorFlow套件』，依筆者個人看法，PyTorch、TensorFlow好比倚天劍與屠龍刀，各有擅場，兩個套件的發展方向有所不同，例如在偵錯方面，PyTorch比較容易，但TensorFlow/Keras建模、訓練、預測都只要一行程式，另外，物件偵測主流演算法YOLO，第四版以TensorFlow開發，第五版則以PyTorch開發，若我們只懂TensorFlow，那就無法使用最新版了。



　　PyTorch與TensorFlow基本設計概念是相通的，可以採用相同的approach，同時學會兩個套件，本書主要以PyTorch開發，另一本姊妹作『深度學習--最佳入門邁向AI專題實戰』，則以TensorFlow為主，兩相對照，可以發現要兼顧一點也不難，還可以比較彼此的優劣。



　　本書主要的特點

　　1.由於筆者身為統計人，希望能『以統計/數學為出發點』，介紹深度學習必備的數理基礎，但又不希望內文有太多數學公式的推導，讓離開校園已久的在職者看到一堆數學符號就心生恐懼，因此，嘗試以『程式設計取代定理證明』，縮短學習歷程，增進學習樂趣。



　　2.PyTorch版本變動快速，幾乎每一、兩個月就更新一個小版本，並且不斷的推出新擴充模組，本書期望對PyTorch主體架構作完整性的介紹外，也儘可能對最新的模組功能作深入探討。



　　3.各種演算法介紹以理解為主，輔以大量圖表說明，摒棄長篇大論。



　　4.完整的範例程式及各種演算法的延伸應用，以實用為要，希望能觸發讀者靈感，能在專案或產品內應用。



　　5.介紹日益普及的演算法與相關套件的使用，例如YOLO(物件偵測)、GAN(生成對抗網路)/DeepFake(深度偽造)、OCR(辨識圖像中的文字)、臉部辨識、BERT/Transformer、聊天機器人(ChatBot)、強化學習(Reinforcement Learning)、自動語音辨識(ASR) 、知識圖譜(Knowledge Graph)等。



　　目標對象

　　1.深度學習的入門者：必須熟悉Python程式語言及機器學習基本概念。

　　2.資料工程師：以應用系統開發為職志，希望能應用各種演算法，進行實作。

　　3.資訊工作者：希望能擴展深度學習知識領域。

　　4.從事其他領域的工作，希望能一窺深度學習奧秘者。



　　閱讀重點

　　1.第一章介紹AI的發展趨勢，鑑古知今，瞭解前兩波AI失敗的原因，比較第三波發展的差異性。

　　2.第二章介紹深度學習必備的統計/數學基礎，徹底理解神經網路求解的方法(梯度下降法)與原理。

　　3.第三章介紹PyTorch基礎功能，包括張量(Tensor)運算、自動微分、神經層及神經網路模型。

　　4.第四章開始實作，依照機器學習10項流程，以PyTorch撰寫完整的範例，包括各式的損失函數、優化器、效能衡量指標。

　　5.第五章介紹PyTorch進階功能，包括各種工具，如資料集(Dataset)及資料載入器(DataLoader)、前置處理、TensorBoard以及TorchServe佈署工具，包括Web、桌面程式。

　　6.第六~十章介紹圖像/視訊的演算法及各式應用。

　　7.第十一~十四章介紹自然語言處理、語音及各式應用。

　　8.第十五章介紹AlphaGo的基礎 -- 『強化學習』演算法。

　　9.第十六章介紹 圖神經網路(Graph Neural Network, GNN)。



　　本書範例程式碼全部收錄在github.com/mc6666/PyTorch_Book 。

　

　　致謝

　　因個人能力有限，還是有許多議題成為遺珠之憾，仍待後續的努力，過程中要感謝冠瑀在編　　輯/校正/封面構想的盡心協助，也感謝深智出版社的大力支援，使本書得以順利出版，最後要謝謝家人的默默支持。



　　內容如有疏漏、謬誤或有其他建議，歡迎來信指教(mkclearn@gmail.com)。



?