【讀書筆記】深度學習的分類

作者：洪聖哲醫師


這篇文章的內容主要抄來網路，我只是放在這裡，方便查詢。

根據之前提到 Arend Hintze 對 AI 的分類（請參考之前文章，「機器學習？深度學習？有什麼不一樣？」），AI 專家 Carlos Perez 對深度學習也提出 AI 的五個能力等級：

1. 只能分類的系統（Classification Only，C）

該等級包含全連接神經網絡（ fully connected neural network ，FCN），卷積神經網絡（convolution network，CNN）和它們之間的各種組合。這些系統輸入一個高維度向量，得到單個結果，一般是對輸入向量的分類。

2. 使用記憶分類的系統 （Classification with Memory）（CM）

這個等級包含 “C 層”網絡中整合的記憶因素。 LSTM 就是一個例子：記憶單位嵌入在 LSTM 節點中。其它類似的變形還有，神經圖靈機器（Neural Turing Machine，NMT）和 DeepMind 的可微分神經計算機（Differentiable Neural Computer，DNC）。在對行為進行計算時，這些系統會維持狀態恆定。

3. 使用知識分類的系統 （Classification with Knowledge，CK）

該等級與 CM 有些相似。但 C 層網絡能獲取的信息不是原始內存，而是符號化的知識庫（symbolic knowledge base）。事實上 Carlos Perez 就發現了三種符號化整合：1. 轉移學習方式（ transfer learning approach）、2. 自上而下方式 （Top-down approach）、3. 自下而上方式（Bottom-up approach）。

第一種方式用一個符號化系統作為正則化矩陣（regularizer）。第二種方式在神經表徵底層的最上層加入了符號化元素。第三種方式跟這相反，C 層網絡直接與符號化知識庫關聯。

4. 使用有限知識的分類 （Classification with Imperfect Knowledge，CIK）

在這個級別，系統直接建立在上一個等級 CK 之上，但是，它已能夠使用不完美的信息做推理。這類系統的代表是 Alpha Go。只是 Alpha Go 採用的不是 CK 而是 CM 級別的能力。正如 Alpha Go，這類系統能通過與自身的對抗模擬來訓練自己。

5. 能使用有限知識協作分類的系統（Collaborative Classification with Imperfect Knowledge，CCIK）

這個級別和 Arend Hintze 的“心智理論”類別十分近似，多個代理神經網絡聯合起來解決問題。這些系統被設計來完成多項目標。我們其實可以在對抗網絡中運行它的原始版本：與判別器和生成網絡一起學習歸納。在博弈論驅動的、能戰略戰術性解決多重問題的網絡上應用該概念，就能得到高度靈活的系統。但是，我們現在還達不到這個水平，前面那些級別仍需要很多研究來完善。


參考資料

1. AI 初學者入門指南：深度學習的五級分類