新聞中心

EEPW首頁 > 智能計算 > 牛人業話 > 關于如何使用機器學習來做異常檢測的7個問題

關于如何使用機器學習來做異常檢測的7個問題

作者:時間:2020-07-26來源:AI公園收藏

導讀

本文引用地址:http://www.303263.tw/article/202007/416171.htm

的一些入門問題。

問問題是學習的最好方法之一。但有時你不知道從哪里開始,或者該問什么 —— 尤其是在你還比較熟悉的之類的話題上。在這種情況下,最好傾聽別人的問題,讓他們的思路來指導你的學習。以下是我們在“[Ask Me Anything: Anomaly Detection](https://www.tibco.com/events/ask-me- anything-webinar-anomaly-detecing-machine -learning)”網絡研討會上收到的一些問題,可以幫助你入門。

離群點和異常值的區別是什么?

離群值是遠離分布的位置或者平均值的觀測值。然而,它們并不一定代表異常行為或由不同過程產生的行為。另一方面,異常是由不同的過程生成的數據模式。

在藥品中有什么應用嗎?

異常檢測在藥物生命科學領域有許多應用。包括在制藥生產中使用統計過程控制(SPC)或質量控制(QC)和多元過程控制(MSPC)圖表進行過程監控和質量控制。及時發現異常是避免異常事件發生,遵守安全標準的關鍵。發現柜臺交易中的異常情況,可以用來打擊醫藥零售數據中的處方濫用。實時檢測多參數臨床試驗數據中的異常,有助于保證臨床試驗的成功。

GANs也用于異常檢測嗎?如果是的話,能否提供一個行業用例

生成對抗網絡(GANs)是一種新的無監督學習方法,在識別異常方面非常有效。由于GANs是設計成迭代的,并且對抗性訓練的目的是利用重構樣本來優化減少殘差損失,因此它們在半結構化和非結構化數據中工作得很好。它們在醫學圖像分析(幫助放射學家發現難以識別的腫瘤)、面部識別、文本圖像轉換等方面非常有用。

數據相關性會影響異常檢測嗎?我們可以用什么方法,怎樣減少這些影響?是否最好在開始異常檢測之前清除和刪除關聯數據?

正如在網絡研討會上提到的,我們不認為相關性會影響異常檢測,但我們有許多可用的技術來幫助確定如何處理相關變量。一個建議是使用主成分分析(PCA)這樣的技術來減少維數。

建議使用什么樣的算法適合于檢測與識別網絡活動或數據中的不尋?;顒佑嘘P的異常?

正如在網絡研討會上提到的,有許多方法和算法可以很好地用于異常檢測的各種應用和用例。其中有遞歸神經網絡(RNN)、生成對抗網絡(GAN)、隔離森林、深度自編碼器等。如果你對網絡/圖分析特別感興趣,用來識別網絡圖異常的兩種主要方法是直接鄰居離群點檢測算法(DNODA)和社區鄰居算法(CNA)。

在我目前的工作中,“新穎性”是我們努力去發現的主要東西。質量控制圖對于已知的模式很有效,但是自動識別新模式比較困難。我希望能得到一些在這方面有所幫助的工具的想法。

對于單變量質量控制圖,西方的電氣規則可以用于檢測少數常見的模式。經典的多元方法,如偏最小二乘(PLS),會捕獲到涉及不止一個變量的模式,但不能被單變量方法檢測。自動編碼器是最全面的工具,將涵蓋最廣泛的不同模式。它可以捕獲多變量、循環、非線性和交互的模式。你使用一組正常數據訓練autoencoder,在訓練集中沒有出現的新數據中出現的任何模式都將被標記。

通過做PCA來減少維度會影響數據集中的異常嗎?它會導致異?,F象的消失嗎?如果是這樣,如何預防呢?

做PCA將會在原始數據集中捕獲一些百分比的方差。因此,我們使用PCA進行異常檢測的方法是計算原始點到低維空間中表示的點的“距離”。距離越大(即在將觀測結果映射到低維空間時“丟失”的越多),我們就越認為它是一種異常。

英文原文:https://www.tibco.com/blog/2020/01/27/7-questions-on-how-to-use-machine-learning-for-anomaly-detection/



評論


相關推薦

技術專區

關閉
河北快3一定牛买星