terasoft

Deep Learning Toolbox. 深度學習工具箱

Introduction

原類神經網路工具箱Neural Network Toolbox 更名

深度學習工具箱™提供演算法，預訓練模型和應用程式(APP)來建立，訓練，視覺化及模擬淺層和深層神經網路。您可以執行分類，迴歸，分群，降維處理，時間序列預測和動態系統建模與控制。

深度學習網路包括卷積神經網絡(ConvNets，CNN)，有向非循環圖(DAG)網絡拓撲與自動編碼器(autoencoders)，用於圖片分類，迴歸和特徵學習。對於時間序列分類和預測，此工具箱提供長短期記憶(LSTM)深度學習網路。您可針對中間層進行視覺化和活化，修改網路架構和監控訓練進度。

針對小型的訓練資料集，您可以使用遷移式學習，使用預訓練的深層網路模型(GoogLeNet，AlexNet，VGG-16和VGG-19)以及Caffe Model Zoo模型來快速應用深度學習。

為加快對大型資料集的訓練速度，您可透過電腦上的多核心處理器和GPUs(搭配平行運算工具箱使用)分配運算任務和數據，或者擴展到叢集和雲端，像是AmazonEC2®P2 GPU instances(搭配MATLAB分散式運算引擎使用)。

本工具箱使用需搭配MATLAB。建議搭配 Parallel Computing。

Key Features

提供GUI介面產生、訓練或是模擬類神經網路
提供快速的初始精靈進行契合、系統辨識和群組化
支援目前廣泛使用的監督式或是非監督式類神經網路
提供廣泛的訓練及學習函式
提供時間延遲的、非線性自回歸、層迴圈的和自訂動態的動態學習網路
提供Simulink的類神經網路模塊組
支援從類神經網路物件自動生成Simulink模組
模組化的的類網路表示方法提供無限制數量的輸入設定層、網路互連和網路結構的圖形顯示
提供前處理及後處理函式改善類神經網路訓練及效能
提供視覺化函式更容易瞭解類神經網路之效能和檢視訓練過程
搭配使用Parallel Computing Toolbox(平行運算工具箱)，可進行更快速的訓練及大量的資料數據處理

2022a

模型剪枝：建立消耗較少計算資源的壓縮版模型
MATLAB 深度學習模型中心：探索和使用預訓練的深度學習模型
部署已導入模型：支援為更多種類的 Keras和ONNX內建層產生程式碼
新增實驗管理器批量測試：在遠端電腦叢集上同時執行多個實驗（需要 MATLAB Parallel Server）
1D卷積網路：建立和訓練1D轉置卷積網路用於序列與時間序列資料

2021b

一維卷積網路：為序列和時間序列資料建立和訓練網路
深度網路設計器(Deep Network Designer)：將經過訓練的網路匯出到Simulink
類神經網路常微分方程：使用 dlode45 計算非剛性常微分方程的深度學習解

2021a

實驗管理器：使用預配置的範本以減少編碼的工作量，並使用自訂訓練迴圈進行訓練
TensorFlow 導入器：將順序(sequential)API 和功能(functional)API 模型導入 MATLAB

2020b

影像分類和網路預測模塊組：在 Simulink中模擬深度學習模型並產生程式碼
新增Experiment Manager APP：可同時訓練多個深度學習網路，並使用貝葉斯最佳化來調校超參數。
Deep Network Designer APP：為影像分類、語義分割、多重輸入、記憶體不足、影像輸入到影像輸出迴歸和其他工作流程訓練網路

2020a

實驗管理員(Experiment Manager)應用程式：可管理多個深度學習實驗，追蹤訓練參數，分析並比較結果和程式碼。
深度網路設計器(Deep Network Designer)應用程式：可以互動方式訓練網路以進行影像分類，產生用於訓練的 MATLAB程式碼以及存取預訓練模型

2019b

更靈活地展開訓練：使用自動微分、共用權重、客製損失函數和自訂訓練迴圈建構進階深度學習架構。
新增深度學習網路：建構生成式對抗網路(GANs)、孿生神經網路、變分自動編碼器和注意網路(attention networks)
多輸入-多輸出網路：現可使用多輸入-多輸出方式來訓練網路
支援ONNX架構：現可以將包含 CNN 和 LSTM 層的網路以及包含 3-D CNN層的網路匯出成為 ONNX 格式。

2019a

3D立體資料：在3D影像資料上訓練深度學習網路
新增深度網路設計器(Deep Network Designer)：建立應用於電腦視覺、訊號和文字的網路，並在此MATLAB app中產生 MATLAB程式碼。
加入循環網路(Recurrent Networks)：結合LSTM和卷積層來用以進行影片分類和姿勢辨識。
ONNX的輸出：支援 LSTM 網路和電腦視覺系統工具箱的模型

2018b

Deep Network Designer 應用程式(MATLAB APP)：可讓您輕鬆編輯和建構深度網路。
支援ONNX 框架：現可使用ONNX 模型格式導入和匯出模型，並與其他深度學習框架交互運作。
新增網路分析器：在訓練之前，視覺化、分析和在網路架構中查找問題。

2018a

現在提供可匯入TensorFlow®-Keras設計出的深度學習層及網路的支援套件
加入長短期記憶(LSTM)網路功能以解決迴歸問題以及可使用文本分析工具箱進行文字分類。
加入Adam, RMSProp 最佳化方法以及gradient clipping功能以改善訓練網路效果。
利用多個GPU加速有向非循環圖(DAG)網路訓練速度，新增計算DAG中間層的活化結果

2017b

使用卷積神經網路（CNN），長短期記憶（LSTM）網路（用於時間序列分類）和自動編碼器（用於特徵學習）進行深度學習。
採用複雜架構-有向非循環圖（DAG）網路進行深度學習。
使用預先訓練的CNN模型（GoogLeNet，AlexNet，vgg16，vgg19）和來自Caffe Model Zoo的模型進行轉移學習
在電腦上使用CPUs或多個GPU，叢集和雲端（包括AmazonEC2®P2）進行訓練和預測。
非監督式學習演算法，包括自組織映像和競爭層
監督式學習演算法，包括多層，徑向基底，學習式向量量化（LVQ），時間延遲，非線性自我迴歸（NARX）和遞迴類神經網路（RNN）
備有資料擬合，模式辨別和集群的應用程式(APP)。

2017a

新增迴歸式卷積神經網路訓練 (convolutional neural network, CNN)的深度學習演算法，您現在可在個人電腦、叢集電腦以及雲端利用多個 GPU 執行訓練。
新增了深度學習特徵視覺化的功能--使用者可利用影像最佳化的技術，視覺化卷積神經網路 (convolutional neural network, CNN)模型所產出的特徵結果。
新增權重轉移函式(transferring weights functions)—可將預先訓練好的 CNN 模型（包含AlexNet、VGG-16 和 VGG-19）和 Caffe Model Zoo所提供的模型轉移至MATLAB做使用

2016a

現在可利用Parallel Computing Toolbox™(平行運算工具箱) 中的 GPU 來加速使用卷積神經網路 (convolutional neural networks - CNNs)之深度學習(Deep learning)進行影像分類任務。