Text Analytics Toolbox. 文本分析工具箱

Introduction

文本分析工具箱提供用於前處理，分析和建模文本數據的演算法和視覺化的相關工具。使用此工具箱建立的模型可用於情緒分析，預測性維護和主題建模等應用。

文本分析工具箱包括用於處理來自如設備日誌，新聞報導訂閱，問卷，操作報告和社群媒體等來源的原始文字的工具。使用此工具箱，您可以從常見的文件格式擷取文字，前處理原始字串，擷取指定的單詞，將文字數字化及建立統計模型。

使用如潛在語意分析(latent semantic analysis，LSA)，隱含狄利克雷分布(latent Dirichlet allocation，LDA)和詞嵌入(word embeddings)等機器學習技術，您可以從高維度字串資料中找到分群並建立特徵。使用文本分析工具箱建立的特徵可以與來自其他資料源的特徵相結合，以利機器學習模型使用數字和其他類型的特徵。

本工具箱使用需搭配MATLAB、Statistics and Machine Learning Toolbox。建議搭配Parallel Computing Toolbox、Neural Network Toolbox

Key Features

文本前處理和標準化
包括潛在狄利克雷分配（latent Dirichlet allocation , LDA）和潛在語意分析（latent semantic analysis LSA）等機器學習演算法，
詞嵌入訓練(Word-embedding)，以及導入使用word2vec，FastText和GloVe進行預訓練的模型
文字雲和文字散佈圖
導入從PDF和MicrosoftRWordR檔案
TF-IDF和詞頻統計

2021a:

加入BERT 遷移學習模型：使用 BERT 模型執行文本分類、摘要和情感分析等任務

2020b:

關鍵字提取：使用快速自動關鍵字提取(RAKE)和TextRank演算法，提取能夠最準確描述文件的關鍵字

2020a:

增加文件摘要功能：可從文本中提取摘要

2019b:

情感分析：利用 VADER 等情感評分演算法進行文本資料中的情感評估
深度學習：利用預訓練的嵌入字詞將字詞嵌入層初始化

2019a:

加入編輯距離功能：使用 Levensthein 距離和其他距離測量方法查找字串與文件之間的相似度

2018b:

支援日語：對日語文本執行文本分析，包括斷詞(tokenization)、停止詞、詞形還原(lemmatization)和詞性標註。
剖析 HTML結構：使用 HTML 結構和 CSS類別，可從網頁的特定部分擷取 HTML語法。

2018a :

新增抽取及計算多單詞片語功能，擷取HTML中的文字，以及句子、電子郵件和網址的偵測。
對大量數據集加入隨機LDA模型訓練功能。