更多精彩內(nèi)容參見：https://liuhuapeng.jiangshi.org

數(shù)據(jù)挖掘的技術(shù)有很多種，按照不同的分類有不同的分類法。下面著重討論一下數(shù)據(jù)挖掘中常用的一些技術(shù)：統(tǒng)計技術(shù)，關(guān)聯(lián)規(guī)則，基于歷史的分析，遺傳算法，聚集檢測，連接分析，決策樹，神經(jīng)網(wǎng)絡(luò)，粗糙集，模糊集，回歸分析，差別分析，概念描述等十三種常用的數(shù)據(jù)挖掘的技術(shù)

1、統(tǒng)計技術(shù)

數(shù)據(jù)挖掘涉及的科學領(lǐng)域和技術(shù)很多，如統(tǒng)計技術(shù)。統(tǒng)計技術(shù)對數(shù)據(jù)集進行挖掘的主要思想是：統(tǒng)計的方法對給定的數(shù)據(jù)集合假設(shè)了一個分布或者概率模型(例如一個正態(tài)分布)然后根據(jù)模型采用相應(yīng)的方法來進行挖掘。

2、關(guān)聯(lián)規(guī)則

數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫中存在的一類重要的可被發(fā)現(xiàn)的知識。若兩個或多個變量的取值之I司存在某種規(guī)律性，就稱為關(guān)聯(lián)。關(guān)聯(lián)可分為簡單關(guān)聯(lián)、時序關(guān)聯(lián)、因果關(guān)聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫中隱藏的關(guān)聯(lián)網(wǎng)。有時并不知道數(shù)據(jù)庫中數(shù)據(jù)的關(guān)聯(lián)函數(shù)，即使知道也是不確定的，因此關(guān)聯(lián)分析生成的規(guī)則帶有可信度。

3、基于歷史的MBR(Memory-basedReasoning)分析

先根據(jù)經(jīng)驗知識尋找相似的情況，然后將這些情況的信息應(yīng)用于當前的例子中。這個就是MBR(Memory BasedReasoning)的本質(zhì)。MBR首先尋找和新記錄相似的鄰居，然后利用這些鄰居對新數(shù)據(jù)進行分類和估值。使用MBR有三個主要問題，尋找確定的歷史數(shù)據(jù)；決定表示歷史數(shù)據(jù)的最有效的方法；決定距離函數(shù)、聯(lián)合函數(shù)和鄰居的數(shù)量。

4、遺傳算法GA(Genetic Algorithms)

基于進化理論，并采用遺傳結(jié)合、遺傳變異、以及自然選擇等設(shè)計方法的優(yōu)化技術(shù)。主要思想是：根據(jù)適者生存的原則，形成由當前群體中最適合的規(guī)則組成新的群體，以及這些規(guī)則的后代。典型情況下，規(guī)則的適合度(Fitness)用它對訓練樣本集的分類準確率評估。

5、聚集檢測

將物理或抽象對象的集合分組成為由類似的對象組成的多個類的過程被稱為聚類。由聚類所生成的簇是一組數(shù)據(jù)對象的集合，這些對象與同一個簇中的對象彼此相似，與其它簇中的對象相異。相異度是根據(jù)描述對象的屬眭值來計算的，距離是經(jīng)常采用的度量方式。

6、連接分析

連接分析，Link analysis，它的基本理論是圖論。圖論的思想是尋找一個可以得出好結(jié)果但不是完美結(jié)果的算法，而不是去尋找完美的解的算法。連接分析就是運用了這樣的思想：不完美的結(jié)果如果是可行的，那么這樣的分析就是一個好的分析。利用連接分析，可以從一些用戶的行為中分析出一些模式；同時將產(chǎn)生的概念應(yīng)用于更廣的用戶群體中。

7、決策樹

決策樹提供了一種展示類似在什么條件下會得到什么值這類規(guī)則的方法。

8、神經(jīng)網(wǎng)絡(luò)

在結(jié)構(gòu)上，可以把一個神經(jīng)網(wǎng)絡(luò)劃分為輸入層、輸出層和隱含層。輸入層的每個節(jié)點對應(yīng)—個個的預(yù)測變量。輸出層的節(jié)點對應(yīng)目標變量，可有多個。在輸入層和輸出層之間是隱含層(對神經(jīng)網(wǎng)絡(luò)使用者來說不可見)，隱含層的層數(shù)和每層節(jié)點的個數(shù)決定了神經(jīng)網(wǎng)絡(luò)的復雜度。

除了輸入層的節(jié)點，神經(jīng)網(wǎng)絡(luò)的每個節(jié)點都與很多它前面的節(jié)點(稱為此節(jié)點的輸入節(jié)點)連接在一起，每個連接對應(yīng)一個權(quán)重Wxy，此節(jié)點的值就是通過它所有輸入節(jié)點的值與對應(yīng)連接權(quán)重乘積的和作為—個函數(shù)的輸入而得到，我們把這個函數(shù)稱為活動函數(shù)或擠壓函數(shù)。

9、粗糙集

粗糙集理論基于給定訓練數(shù)據(jù)內(nèi)部的等價類的建立。形成等價類的所有數(shù)據(jù)樣本是不加區(qū)分的，即對于描述數(shù)據(jù)的屬性，這些樣本是等價的。給定現(xiàn)實世界數(shù)據(jù)，通常有些類不能被可用的屬性區(qū)分。粗糙集就是用來近似或粗略地定義這種類。

10、模糊集

模糊集理論將模糊邏輯引入數(shù)據(jù)挖掘分類系統(tǒng)，允許定義“模糊”域值或邊界。模糊邏輯使用0.0和1.0之間的真值表示一個特定的值是一個給定成員的程度，而不是用類或集合的精確截斷。模糊邏輯提供了在高抽象層處理的便利。

11、回歸分析

回歸分析分為線性回歸、多元回歸和非線性同歸。在線性回歸中，數(shù)據(jù)用直線建模，多元回歸是線性回歸的擴展，涉及多個預(yù)測變量。非線性回歸是在基本線性模型上添加多項式項形成非線性同門模型。

12、差別分析

差別分析的目的是試圖發(fā)現(xiàn)數(shù)據(jù)中的異常情況，如噪音數(shù)據(jù)，欺詐數(shù)據(jù)等異常數(shù)據(jù)，從而獲得有用信息。

13、概念描述

概念描述就是對某類對象的內(nèi)涵進行描述，并概括這類對象的有關(guān)特征。概念描述分為特征性描述和區(qū)別性描述，前者描述某類對象的共同特征，后者描述不同類對象之間的區(qū)別，生成一個類的特征性描述只涉及該類對象中所有對象的共性。

更多精彩內(nèi)容參見：https://liuhuapeng.jiangshi.org