人腦神經(jīng)網(wǎng)絡的知識存儲容量很大。在神經(jīng)網(wǎng)絡中，知識與信息的存儲表現(xiàn)為神經(jīng)元之間分布式的物理聯(lián)系，分散地表示和存儲于整個網(wǎng)絡內(nèi)的各神經(jīng)元及其連線上。每個神經(jīng)元及其連線只表示一部分信息，而不是一個完整的具體概念，只有通過各神經(jīng)元的分布式綜合效果才能表達出特定的概念和知識。

由于人腦神經(jīng)網(wǎng)絡中神經(jīng)元個數(shù)眾多以及整個網(wǎng)絡存儲信息容量巨大，使得它具有很強的不確定性信息的處理能力，即使輸入信息不完全、不準確或模糊不清，神經(jīng)網(wǎng)絡仍然能夠通過聯(lián)想思維得到存在于記憶中事物的完整圖象，只要輸入的模式接近于訓練樣本，系統(tǒng)就能給出正確的推理結(jié)論。

下圖中的x1、x2、x3等表示輸入值，構(gòu)成第一層L1，組成輸入層；中間的圓形成L2、 L3 、L4等多個層次，組成隱層；神經(jīng)元經(jīng)過多層的調(diào)整、評估和分析計算處理后得出hw,b(x)的結(jié)果作為神經(jīng)元的輸出值，構(gòu)成輸出層，組成人們常說的人工神經(jīng)網(wǎng)絡。

神經(jīng)網(wǎng)絡神經(jīng)元結(jié)構(gòu)示意圖（摘自互聯(lián)網(wǎng)）

上圖中的橙色圓都是用來計算hw,b(x)的，縱向我們叫做層（Layer），每一層都以前一層的結(jié)果做為輸入，經(jīng)過處理得到輸出結(jié)果傳遞給下一層

如果我們把神經(jīng)網(wǎng)絡看做一個黑盒子，那么最左邊的x1、x2、x3等是這個黑盒子的輸入X，最右邊的hw,b(x)是這個黑盒的輸出Y，可以通過一個數(shù)學模型進行擬合，通過大量數(shù)據(jù)來訓練這個模型，之后就可以通過訓練好的模型預估新的樣本X應該能得出什么樣的結(jié)果Y。

以上簡單說明神經(jīng)網(wǎng)絡的結(jié)構(gòu)，通過較深的多個層次來模擬真實情況，從而構(gòu)造出最能表達真實世界的模型，它的運作成本就是海量的訓練數(shù)據(jù)和巨大的計算處理工作量。

正是因為人腦神經(jīng)網(wǎng)絡的結(jié)構(gòu)特點和其信息存儲的分布式特點，使得它相對于其它的判斷識別系統(tǒng)，如專家系統(tǒng)、層次分析系統(tǒng)等，具有顯著的穩(wěn)健性優(yōu)點。生物神經(jīng)網(wǎng)絡不會因為個別神經(jīng)元的損失而失去對原有模式的記憶，最有力的證明是，當一個人的大腦因意外事故受輕微損傷之后，并不會失去原有事物的全部記憶。神經(jīng)網(wǎng)絡也有類似的情況。因某些原因，無論是網(wǎng)絡的硬件實現(xiàn)還是軟件實現(xiàn)中的某個或某些神經(jīng)元失效時，整個網(wǎng)絡仍然能繼續(xù)工作。

人工神經(jīng)網(wǎng)絡是一種非線性的處理單元。只有當神經(jīng)元對所有的輸入信號的綜合處理結(jié)果超過某一門限值后才輸出一個信號，因此神經(jīng)網(wǎng)絡是一種具有高度非線性的超大規(guī)模連續(xù)時間動力學系統(tǒng)，突破了傳統(tǒng)的以線性處理為基礎的計算機的局限性，標志著人們智能信息處理能力和模擬人腦智能行為能力的一大飛躍。

神經(jīng)網(wǎng)絡經(jīng)過多年的研究和發(fā)展，已經(jīng)形成了幾十種類型不同并各具特點的神經(jīng)網(wǎng)絡模型，分析處理算法也各具特點，所以下面只簡單的介紹幾種典型的常用神經(jīng)網(wǎng)絡。

1．多層感知網(wǎng)絡。它是一類具有三層或三層以上的階層型神經(jīng)網(wǎng)絡。典型的多層感知網(wǎng)絡是三層、前饋型的階層網(wǎng)絡，即含有輸入層、隱層(也稱中間層、隱含層)和輸出層。相鄰層之間的各神經(jīng)元實現(xiàn)全連接，即下一層的每一個神經(jīng)元與上一層的每個神經(jīng)元都實現(xiàn)全連接，而且每層各神經(jīng)元之間無連接。但它并非十分完善，存在以下一些主要缺陷：學習收斂速度慢、網(wǎng)絡的學習記憶具有不穩(wěn)定性，當給一個訓練好的網(wǎng)提供新的學習記憶模式時，將使已有的連接權(quán)值被打亂，導致已記憶的學習模式的信息的消失。

2．競爭神經(jīng)網(wǎng)絡。它是基于人的視網(wǎng)膜及大腦皮層對剌激的反應而引出的一類神經(jīng)網(wǎng)絡。神經(jīng)生物學的研究結(jié)果顯示生物視網(wǎng)膜中有許多特定的細胞，對特定的輸入模式如圖形比較敏感，并使得大腦皮層中的特定細胞產(chǎn)生大的興奮，而其相鄰的神經(jīng)細胞的興奮程度被抑制。對于某一個輸入模式，通過競爭在輸出層中只激活一個相應的輸出神經(jīng)元。許多輸入模式，在輸出層中將激活許多個神經(jīng)元，從而形成一個反映輸入數(shù)據(jù)的“特征圖形”。競爭神經(jīng)網(wǎng)絡是一種以無教師方式進行網(wǎng)絡訓練的網(wǎng)絡，通過自身訓練，自動對輸入模式進行分類。競爭型神經(jīng)網(wǎng)絡及其學習規(guī)則與其它類型的神經(jīng)網(wǎng)絡和學習規(guī)則相比，有其自己的鮮明特點。在網(wǎng)絡結(jié)構(gòu)上，它既不象階層型神經(jīng)網(wǎng)絡那樣各層神經(jīng)元之間只有單向連接，也不象全連接型網(wǎng)絡那樣在網(wǎng)絡結(jié)構(gòu)上沒有明顯的層次界限。它一般是由輸入層(模擬視網(wǎng)膜神經(jīng)元)和競爭層(模擬大腦皮層神經(jīng)元，也叫輸出層)構(gòu)成的兩層網(wǎng)絡。兩層之間的各神經(jīng)元實現(xiàn)雙向全連接，而且網(wǎng)絡中沒有隱含層，有時競爭層各神經(jīng)元之間存在橫向連接。競爭神經(jīng)網(wǎng)絡的基本思想是網(wǎng)絡競爭層各神經(jīng)元競爭對輸入模式的響應機會，最后僅有一個神經(jīng)元成為競爭的勝利者，并且只將與獲勝神經(jīng)元有關(guān)的各連接權(quán)值進行修正，使之朝著更有利于它競爭的方向調(diào)整。神經(jīng)網(wǎng)絡工作時，對于某一輸入模式，網(wǎng)絡中與該模式最相近的學習輸入模式相對應的競爭層神經(jīng)元將有最大的輸出值，即以競爭層獲勝神經(jīng)元來表示分類結(jié)果。這是通過競爭得以實現(xiàn)的，實際上也就是網(wǎng)絡回憶聯(lián)想的過程。

競爭型神經(jīng)網(wǎng)絡的缺點和不足之處在于它僅以輸出層中的單個神經(jīng)元代表某一類模式，所以一旦輸出層中的某個輸出神經(jīng)元損壞，則導致該神經(jīng)元所代表的該模式信息全部丟失。

3．霍普菲爾網(wǎng)絡（Hopfield network，HN）。它是一個由非線性元件構(gòu)成的全連接型單層反饋系統(tǒng)。網(wǎng)絡中的每一個神經(jīng)元都將自己的輸出通過連接權(quán)傳送給所有其它神經(jīng)元，同時又都接收所有其它神經(jīng)元傳遞過來的信息，即網(wǎng)絡中的神經(jīng)元t時刻的輸出狀態(tài)實際上間接地與自己的t-1時刻的輸出狀態(tài)有關(guān)。所以，霍普菲爾神經(jīng)網(wǎng)絡是一個反饋型的網(wǎng)絡，狀態(tài)變化可以用差分方程來表征。反饋型網(wǎng)絡的一個重要特點就是它具有穩(wěn)定狀態(tài)。當網(wǎng)絡達到穩(wěn)定狀態(tài)的時候，也就是它的能量函數(shù)達到最小的時候。這里的能量函數(shù)不是物理意義上的能量函數(shù)，而是在表達形式上與物理意義上的能量概念一致，表征網(wǎng)絡狀態(tài)的變化趨勢，并可以依據(jù)霍普菲爾工作運行規(guī)則不斷進行狀態(tài)變化，最終能夠達到的某個極小值的目標函數(shù)。網(wǎng)絡收斂就是指能量函數(shù)達到極小值。如果把一個最優(yōu)化問題的目標函數(shù)轉(zhuǎn)換成網(wǎng)絡的能量函數(shù)，把問題的變量對應于網(wǎng)絡的狀態(tài)，那么霍普菲爾神經(jīng)網(wǎng)絡就能夠用于解決優(yōu)化組合問題。

霍普菲爾神經(jīng)網(wǎng)絡的能量函數(shù)是朝著梯度減小的方向變化，但它仍然存在一個問題，那就是一旦能量函數(shù)陷入到局部極小值，它將不能自動跳出局部極小點，到達全局最小點，因而無法求得網(wǎng)絡的整體最優(yōu)解

4. BP(back propagation)神經(jīng)網(wǎng)絡。它有一種按照誤差逆向傳播訓練的算法、以此增強網(wǎng)絡的分類和識別能力、解決非線性問題而采用多層前饋網(wǎng)絡，即在輸入層和輸出層之間加上隱層，構(gòu)成多層前饋感知器網(wǎng)絡，是一種對非線性可微分函數(shù)進行權(quán)值訓練的多層網(wǎng)絡。BP神經(jīng)網(wǎng)絡算法就是以網(wǎng)絡誤差平方為目標函數(shù)、采用梯度下降法來計算目標函數(shù)的最小值。

BP神經(jīng)網(wǎng)絡是目前應用最廣泛的神經(jīng)網(wǎng)絡，這里將對其算法進行一些進一步的介紹。

BP神經(jīng)網(wǎng)絡算法是一種有監(jiān)督式的學習算法，由輸入層、中間層、輸出層組成的多階層神經(jīng)網(wǎng)絡，中間層可擴展為多層。相鄰層之間各神經(jīng)元進行全連接，而每層各神經(jīng)元之間無連接。網(wǎng)絡按有教師示教的方式進行學習，當一對學習模式提供給網(wǎng)絡后，各神經(jīng)元獲得網(wǎng)絡的輸入響應產(chǎn)生連接權(quán)值，然后按減小希望輸出與實際輸出誤差的方向，從輸出層經(jīng)各中間層逐層修正各連接權(quán)，使用反向傳播算法對網(wǎng)絡的權(quán)值和偏差進行反復的調(diào)整訓練，使輸出的向量與期望向量盡可能的接近。此過程反復交替進行，直至網(wǎng)絡的全局誤差趨向給定的極小值，即完成學習的過程。當網(wǎng)絡輸出層的誤差平方和小于指定的誤差時訓練完成，保存網(wǎng)絡的權(quán)值和偏差。粗略的計算步驟如下：

（1）初始化，隨機給定各連接加權(quán)值[wij]，[vjt]及閾值θi，rt；

（2）根據(jù)給定的輸入輸出模式，經(jīng)計算隱層、輸出層各單元的輸出結(jié)果為：

bj=f（?wijai-θj）， ct=f（?vjtbj－rt）；

式中bj為隱層第j個神經(jīng)元的實際輸出；ct為輸出層第t個神經(jīng)元的實際輸出；wij為輸入層至隱層的連接權(quán)；vjt為隱層至輸出層的連接權(quán)；

（3）選取下一個輸入模式，返回第2步反復訓練，直到網(wǎng)絡的輸出誤差達到要求時結(jié)束訓練。

傳統(tǒng)的BP算法，實質(zhì)上是把一組樣本輸入/輸出問題轉(zhuǎn)化為一個非線性優(yōu)化問題，并通過梯度下降算法，利用迭代運算求解權(quán)值問題的一種學習方法，但其收斂速度慢且容易陷入局部極小，可用高斯消元法進行改進。欲了解更詳細的算法，可參考其他有關(guān)文獻。

BP神經(jīng)網(wǎng)絡最主要的優(yōu)點是具有極強的非線性映射能力。理論上，對于一個三層和三層以上的BP網(wǎng)絡，只要隱層神經(jīng)元數(shù)目足夠多，該網(wǎng)絡就能以任意精度逼近一個非線性函數(shù)。其次，BP神經(jīng)網(wǎng)絡具有對外界刺激和輸入信息進行聯(lián)想記憶的能力。這是因為它采用了分布并行的信息處理方式，對信息的提取必須采用聯(lián)想的方式，才能將相關(guān)神經(jīng)元全部調(diào)動起來。這種能力使其在圖像復原、語言處理、模式識別等方面具有重要應用。再次，BP神經(jīng)網(wǎng)絡對外界輸入樣本有很強的識別與分類能力。由于它具有強大的非線性處理能力，因此可以較好地進行非線性分類,解決了神經(jīng)網(wǎng)絡發(fā)展史上的非線性分類難題，使其具有優(yōu)化計算的能力。BP神經(jīng)網(wǎng)絡本質(zhì)上是一個非線性優(yōu)化問題,它可以在已知的約束條件下，尋找一組參數(shù)組合，使該組合確定的目標函數(shù)達到最小。不過，其優(yōu)化計算存在局部極小問題，必須通過改進才能進一步完善。

多層神經(jīng)網(wǎng)絡可以應用于線性系統(tǒng)和非線性系統(tǒng)中，對于任意函數(shù)模擬逼近。當然，感知器和線性神經(jīng)網(wǎng)絡能夠解決這類網(wǎng)絡問題。但是，雖然理論上是可行的，但實際上BP網(wǎng)絡并不一定總能有解。

對于非線性系統(tǒng)，選擇合適的學習率是一個重要問題。在線性網(wǎng)絡中，學習率過大會導致訓練過程不穩(wěn)定；相反，學習率過小又會造成訓練時間過長。和線性網(wǎng)絡不同，對于非線性多層網(wǎng)絡很難選擇很好的學習率。

非線性網(wǎng)絡的誤差面比線性網(wǎng)絡的誤差面復雜得多，問題在于多層網(wǎng)絡中非線性傳遞函數(shù)有多個局部最優(yōu)解。尋優(yōu)的過程與初始點的選擇關(guān)系很大，初始點如果更靠近局部最優(yōu)點，而不是全局最優(yōu)點，就不會得到正確的結(jié)果，這也是多層網(wǎng)絡無法得到最優(yōu)解的一個原因。為了解決這個問題，在實際訓練過程中，應重復選取多個初始點進行訓練，以保證訓練結(jié)果的全局最優(yōu)性。網(wǎng)絡隱層神經(jīng)元的數(shù)目也對網(wǎng)絡有一定的影響。神經(jīng)元數(shù)目太少會造成網(wǎng)絡的不適性，而神經(jīng)元數(shù)目太多又會引起網(wǎng)絡的過適性。

BP神經(jīng)網(wǎng)絡無論在網(wǎng)絡理論還是在性能方面都已比較成熟，突出優(yōu)點就是具有很強的非線性映射能力和柔性的網(wǎng)絡結(jié)構(gòu)。網(wǎng)絡的中間層數(shù)、各層的神經(jīng)元個數(shù)可根據(jù)具體情況任意設定，并且隨著結(jié)構(gòu)的差異其性能也有所不同。但BP神經(jīng)網(wǎng)絡也存在缺陷，主要表現(xiàn)在學習速度慢，容易陷入局部極小值，網(wǎng)絡層數(shù)、神經(jīng)元個數(shù)的選擇還缺少相應的理論指導。

人工神經(jīng)網(wǎng)絡能較好的模擬人的形象思維,對信息具有很好的隱藏性,還具有容錯性強、穩(wěn)健性強和自學習性強等特點,是一個大規(guī)模自組織、自適應且具有高度并行協(xié)同處理能力的非線性動力系統(tǒng)。人工神經(jīng)網(wǎng)絡理論的應用已經(jīng)滲透到多個領域，諸如信息處理、自動化、工程應用、經(jīng)濟發(fā)展評價和輔助決策及醫(yī)學領域中的檢測數(shù)據(jù)分析和醫(yī)學專家系統(tǒng)等。

總起來看，神經(jīng)網(wǎng)絡模型與傳統(tǒng)計算模型不同。從計算方式上講，神經(jīng)元網(wǎng)絡計算把一些簡單的、大量的計算單元連接在一起，形成網(wǎng)絡計算，代替只用一個計算單元進行計算的傳統(tǒng)模式，也就是用分布式、并行計算代替集中式、串行計算；從模型構(gòu)建上講，傳統(tǒng)的計算方法采用從上到下的方式預先構(gòu)建數(shù)學模型，在神經(jīng)元網(wǎng)絡中，系統(tǒng)通過采集數(shù)據(jù)并進行學習的方法在計算過程中構(gòu)建數(shù)據(jù)模型，進而建立網(wǎng)絡結(jié)構(gòu)；綜合講來，神經(jīng)元網(wǎng)絡適應性較強，并行計算處理速度較快，對經(jīng)驗知識要求較少。

一般來講，神經(jīng)網(wǎng)絡在規(guī)模比較小時效果不錯。規(guī)模可用三個指標來衡量：特征數(shù)量(通常在二三百個左右)、訓練樣本數(shù)(通常由幾千到幾萬)和分類數(shù)(通常有幾十個)。當問題規(guī)模變大時，比如特征數(shù)過千、訓練樣本數(shù)達到了幾萬甚至幾十萬，特別是分類數(shù)達到幾百、上千，這時的神經(jīng)元網(wǎng)絡計算可能會出現(xiàn)一些問題。

人工神經(jīng)網(wǎng)絡特有的非線性適應性信息處理能力，克服了傳統(tǒng)人工智能方法對于直覺，如模式、語音識別、非結(jié)構(gòu)化信息處理方面的缺陷，使之在神經(jīng)專家系統(tǒng)、模式識別、智能控制、組合優(yōu)化、預測等領域得到成功應用。人工神經(jīng)網(wǎng)絡與其它傳統(tǒng)方法相結(jié)合，將推動人工智能和信息處理技術(shù)不斷發(fā)展。近年來，人工神經(jīng)網(wǎng)絡正向模擬人類認知的道路上更加深入發(fā)展，與模糊系統(tǒng)、遺傳算法、進化機制等結(jié)合，形成計算智能，成為人工智能的一個重要的研究方向，將會在實際應用中得到進一步發(fā)展，將信息集合應用于人工神經(jīng)網(wǎng)絡研究，為人工神經(jīng)網(wǎng)絡的理論研究開辟了新的途徑。

神經(jīng)元網(wǎng)絡計算越來越受到人們的關(guān)注，為解決大型復雜度高的問題提供了一種相對來說比較簡單的有效算法，能較容易地解決具有上百個參數(shù)的分類和回歸計算中一些常見的問題。

機器學習計算

機器學習(Machine Learning)，人工智能的核心，是使計算機具有智能的根本途徑，其應用遍及人工智能的各個領域，主要使用歸納、綜合而不是演繹的方法研究計算機怎樣模擬或?qū)崿F(xiàn)人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。機器學習是一門多領域的交叉學科，涉及到概率論、統(tǒng)計學、逼近論、凸分析、算法復雜度理論和計算機科學等諸多學科。

機器學習（摘自互聯(lián)網(wǎng)）

機器學習計算(Machine Learning Computing)主要設計和分析一些讓計算機可以自動“學習”的算法，是一類從數(shù)據(jù)中自動分析獲得規(guī)律、利用規(guī)律，對未來數(shù)據(jù)進行分類、聚類和預測等的一類算法。因為機器學習計算中涉及了大量的統(tǒng)計學理論，機器學習與統(tǒng)計推斷的聯(lián)系尤為密切，也被稱為統(tǒng)計學習理論。算法設計方面，機器學習計算關(guān)注可以實現(xiàn)的、行之有效的學習算法，很多推論問題具有無程序可循的難度，所以部分的機器學習研究是開發(fā)簡單、處理容易的近似算法。

機器學習已經(jīng)得到了十分廣泛的應用，如數(shù)據(jù)挖掘、計算機視覺、自然語言處理、生物特征識別、搜索引擎、醫(yī)學診斷、檢測信用卡、證券市場分析、DNA序列測序、語音和手寫識別、戰(zhàn)略游戲和機器人運用等。

從更廣泛的意義上來看，機器學習是人工智能的一個子集。人工智能旨在使計算機更加智能化，而機器學習已經(jīng)證明如何做到這一點。簡而言之，機器學習是人工智能的應用，通過應用從數(shù)據(jù)中反復學習得到算法，可以改進計算機的功能，而無需進行明確的編程。

在給出機器學習計算各種算法之前，最好是先研究一下什么是機器學習和如何對機器學習進行分類，才能更好的理解和掌握一些具體的機器學習算法并將其用于實際問題的計算和處理。

學習是人類具有的一種重要智能行為，但究竟什么是學習，長期以來卻眾說紛紜。社會學家、邏輯學家和心理學家都各有自己不同的看法和說法。比如，有人定義機器學習是一門人工智能的科學，該領域的主要研究對象是人工智能，特別是如何從經(jīng)驗學習中改善具體算法的性能，也有人認為機器學習是對能通過經(jīng)驗自動改進計算機算法的研究，還有人認為機器學習是用數(shù)據(jù)或以往的經(jīng)驗，以此優(yōu)化計算機程序的性能標準等等。盡管如此，為了便于進行討論和推進機器學習學科的進展，有必要對機器學習給出定義，即使這種定義是不完全、不完整和不充分的并存在諸多爭議的。

顧名思義，機器學習是研究如何使用機器來模擬人類學習活動的一門學科。稍為嚴格的提法是：機器學習是一門研究機器獲取新知識、新技能并識別現(xiàn)有知識的學問。這里所說的“機器”，當然指的是計算機；現(xiàn)在是電子計算機，將來還可能是中子計算機、光子計算機或神經(jīng)網(wǎng)絡計算機。

計算機能否象人類一樣能具有學習的能力，特別是機器的學習能力是否能超過人類，確有許多不同的想法和看法，爭議頗多。持否定意見人的一個主要論據(jù)是：機器是人造的，其性能和動作完全是由設計者規(guī)定的，因此無論如何其能力也不會超過設計者本人。這種意見對不具備學習能力的計算機來說的確是對的，可是對具備了學習能力的計算機就值得考慮了，因為這種計算機的能力通過學習和實際應用會不斷提高和增強，過了一段時間之后，設計者本人也不知它的能力達到了什么水平、是否超過了自己。

對機器學習可按照不同的標準和方法進行分類，下面簡單介紹兩種常見的分類方法。

（1）基于學習策略的分類  學習策略是指學習過程中系統(tǒng)所采用的推理策略。一個學習系統(tǒng)總是由學習和環(huán)境兩部分組成。由環(huán)境（如書本或教師）提供信息，學習部分則實現(xiàn)信息轉(zhuǎn)換，用能夠理解的形式記憶下來，并從中獲取有用的信息。學習策略的分類標準就是根據(jù)學生實現(xiàn)信息轉(zhuǎn)換所需的推理多少和難易程度來分類的，依照從簡到繁、從少到多的次序分為以下六種基本類型：

1）機械學習    學習者無需任何推理或其它的知識轉(zhuǎn)換，直接吸取環(huán)境所提供的信息，主要考慮如何索引存貯知識并加以利用。系統(tǒng)的學習方法是直接通過事先編好、構(gòu)造好的程序來學習，學習者不作任何工作，或者是通過直接接收既定的事實和數(shù)據(jù)進行學習，對輸入信息不作任何的推理。

2）示教學習    學生從環(huán)境中獲取信息，把知識轉(zhuǎn)換成內(nèi)部可使用的表示形式，并將新的知識和原有知識有機地結(jié)合為一體。所以要求學生有一定程度的推理能力，但環(huán)境仍要做大量的工作。教師以某種形式提出和組織知識，以使學生擁有的知識可以不斷的增加。這種學習方法和人類社會的學校教學方式有點相似，學習的任務就是建立一個系統(tǒng)，使它能接受教導和建議，并有效地存貯和應用學到的知識。目前，不少專家系統(tǒng)在建立知識庫時就使用這種方法以實現(xiàn)知識獲取。

3）演繹學習    學生所用的推理形式為演繹推理，從公理出發(fā)，經(jīng)過邏輯變換推導出結(jié)論。這種推理是”保真”變換和特化的過程，使學生在推理過程中可以獲取有用的知識。這種學習方法包含宏操作學習、知識編輯和組塊技術(shù)。

4）類比學習    利用源域和目標域二個不同領域中的知識相似性，通過類比從源域的知識推導出目標域的相應知識，從而實現(xiàn)學習。類比學習系統(tǒng)可以使一個已有的計算機應用系統(tǒng)轉(zhuǎn)變?yōu)檫m應于新的領域，來完成原先沒有設計出來的類似功能。類比學習需要比上述三種學習方式更多的推理，一般要求先從知識源中檢索出可用的知識，再將其轉(zhuǎn)換成新的形式，用到新的狀態(tài)中去。

5）解釋學習    學生根據(jù)教師提供的目標概念、該概念的一個例子、領域理論及可操作準則，首先構(gòu)造一個解釋來說明為什么該例子滿足目標概念，然后將解釋推廣為目標概念的一個滿足可操作準則的充分條件。

6）歸納學習    歸納學習是由教師或環(huán)境提供某些概念的一些實例或反例，讓學生通過歸納推理得出該概念的一般描述。這種學習的推理工作量遠多于示教學習和演繹學習，因為環(huán)境并不提供一般性概念描述。歸納學習是最基本的、發(fā)展較為成熟的一類學習方法，在人工智能領域中已經(jīng)得到廣泛的研究和應用。

（2）基于學習方式的分類   機器學習算法按照學習方式的不同可以分為五種類型：有監(jiān)督學習、無監(jiān)督學習、半監(jiān)督學習、強化學習和深度學習。

1）有監(jiān)督學習    輸入的數(shù)據(jù)為訓練數(shù)據(jù)，并且每一個數(shù)據(jù)都會帶有標簽或類別。通過訓練過程建模，模型需要作出預測，如果預測出錯會被修正，直到模型輸出準確的訓練結(jié)果，訓練過程會一直持續(xù)。常用于解決的問題有分類和回歸，常用的算法包括分類、邏輯回歸和BP神經(jīng)網(wǎng)絡。

2）無監(jiān)督學習    輸入數(shù)據(jù)沒有標簽或類別，輸出沒有標準答案，就是一系列的樣本。無監(jiān)督學習通過推斷輸入數(shù)據(jù)中的結(jié)構(gòu)建模，可能是提取一般規(guī)律，可以是通過數(shù)學處理系統(tǒng)以減少冗雜，或者根據(jù)相似性組織數(shù)據(jù)。常用于解決的問題有聚類，降維和關(guān)聯(lián)規(guī)則的學習。常用的算法包括了Apriori算法和K均值算法等。

3）半監(jiān)督學習    半監(jiān)督學習可以看做無監(jiān)督學習的延伸，介于有監(jiān)督學習和無監(jiān)督學習二者之間，其輸入數(shù)據(jù)包含標簽和不帶標簽的樣本。常用于解決的問題是分類和回歸，常用的算法是對所有的無標簽的數(shù)據(jù)建模進行的預測算法。

4）強化學習    強化學習是一個連續(xù)決策的過程，每次預測都有一定形式的反饋，但是沒有精確的標簽或者錯誤信息。

5) 深度學習    深度學習并不是一種獨立的學習方法，其本身也會用到有監(jiān)督和無監(jiān)督的學習，由于近幾年該領域發(fā)展迅猛，一些特有的學習手段和算法相繼提出，因此將其看作一種單獨的學習方法。

深度學習是機器學習研究中的一個新的領域，目的在于建立、模擬人腦進行分析學習的神經(jīng)網(wǎng)絡，模仿人腦的機制來解釋數(shù)據(jù)，如圖像、聲音和文本等多媒體數(shù)據(jù)。深度學習是無監(jiān)督學習的一種，其概念源于人工神經(jīng)網(wǎng)絡的研究，含有多隱層的多層感知器就是一種深度學習結(jié)構(gòu)。深度學習通過組合低層特征形成更加抽象的高層表示其屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征。基于深信度網(wǎng)絡提出非監(jiān)督逐層訓練算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來了希望，隨后提出多層自動編碼器深層結(jié)構(gòu)。此外提出的卷積神經(jīng)網(wǎng)絡是第一個真正多層結(jié)構(gòu)學習算法，它利用空間相對關(guān)系減少參數(shù)數(shù)目以提高訓練性能。

目前，機器學習領域的研究工作主要圍繞在以下三個方面：

1）任務研析   對一組預定任務的學習系統(tǒng)進行研究，改進執(zhí)行性能并提高其有效性；

2）模型研發(fā)   研究人類學習過程并進行計算機模擬和分析，改進現(xiàn)有模型，提出新的更加有效的模型；

3）理論分析   從理論上探索各種可能的機器學習方法，給出獨立于應用領域的高效算法。

機器學習算法的功能可粗略的分為四大類，即分類、聚類、預測和降維，可用的機器學習算法不下數(shù)百種，包括回歸分析、判別分析、聚類分析、因子分析和主成分分析、貝葉斯分類、決策樹、支持向量機、EM、Adaboost、人工神經(jīng)網(wǎng)絡及它們之間的一些集成算法等。其中的回歸分析、判別分析、聚類分析等已在統(tǒng)計計算里進行了介紹，神經(jīng)網(wǎng)絡計算也在上一篇文章中進行了較多的討論，下面僅對機器學習中最常用的一些特有算法，如決策樹算法、支持向量機算法、樸素貝葉斯算法、最大期望算法、KNN算法和K均值算法等，進行一些思考性、原理性的簡單介紹。

1）決策樹（Decision Trees）算法

決策樹是一個預測模型，代表的是對象屬性與對象值之間的一種映射關(guān)系。樹中每個節(jié)點表示某個對象，而每個分叉路徑則代表的某個可能的屬性值，而每個葉結(jié)點則對應從根節(jié)點到該葉節(jié)點所經(jīng)歷的路徑所表示的對象的值。決策樹僅有單一輸出，若想有多個輸出，可以建立獨立的決策樹以處理不同輸出。

一個決策樹包含三種類型的節(jié)點，即決策節(jié)點，機會節(jié)點和終結(jié)點。這里，每個決策樹都表述了一種樹型結(jié)構(gòu)，由它的分支來對該類型的對象依靠屬性進行分類。每個決策樹可以依靠對源數(shù)據(jù)庫的分割進行數(shù)據(jù)測試。這個過程可以遞歸式的對樹進行修剪。當不能再進行分割或一個單獨的類可以被應用于某一分支時，遞歸過程完成。

決策樹算法根據(jù)數(shù)據(jù)的屬性采用樹狀結(jié)構(gòu)建立決策模型，常常用來解決分類和預測問題。常見的算法有分類及回歸樹，ID3，C4.5，隨機森林，多元樣條回歸等實際可用的一些算法。

2）支持向量機（Support Vector Machine，SVM）算法

SVM是一種監(jiān)督式學習算法，廣泛用于統(tǒng)計分類以及預測分析計算中。

SVM屬于一般化線性分類器。這類分類器的特點是他們能夠同時最小化經(jīng)驗誤差與最大化幾何邊緣區(qū)，因此支持向量機也被稱為最大邊緣區(qū)分類器。

SVM的主要思想可以概括為兩點：① 針對線性可分情況進行分析，對于線性不可分的情況，通過使用非線性映射算法將低維輸入空間線性不可分的樣本轉(zhuǎn)化為高維特征空間使其線性可分，從而使得高維特征空間采用線性算法對樣本的非線性特征進行線性分析成為可能；② 基于結(jié)構(gòu)風險最小化理論，在特征空間中建構(gòu)最優(yōu)分割超平面，使得學習器得到全局最優(yōu)化，并且在整個樣本空間的期望風險以某個概率滿足一定的上界。

3）樸素貝葉斯分類(Na?ve Bayesian classification)算法

樸素貝葉斯是一種基于貝葉斯定理與特征條件獨立假設的概率分類算法，通過對象的先驗概率，利用貝葉斯公式

其中P（A|B）是后驗概率，P（B|A）是似然概率，P（A）是先驗概率，P（B）是預測先驗概率。

根據(jù)上述公式計算出其后驗概率，即該對象屬于某一類的概率，選擇具有最大后驗概率的類別作為該對象所屬的類別。樸素貝葉斯算法簡單，快速，具有較小的出錯率，對結(jié)果解釋容易理解。

4）最大期望(Expectation–Maximization，EM)算法

在統(tǒng)計計算中，最大期望算法是在概率模型中尋找參數(shù)最大似然估計的算法，其中概率模型依賴于無法觀測的隱藏變量，經(jīng)常用在機器學習和計算機視覺的數(shù)據(jù)集聚領域。最大期望算法經(jīng)過兩個步驟交替進行計算，第一步是計算期望（E），也就是將隱藏變量象能夠觀測到的一樣包含在內(nèi)從而計算最大似然的期望值；第二步是最大化（M），也就是最大化在E步上找到的最大似然的期望值從而計算參數(shù)的最大似然估計。M步上找到的參數(shù)然后用于另外一個E步計算，這個過程不斷交替進行，進行改進，以尋求漸近最優(yōu)結(jié)果。

5）K最近鄰(k-Nearest Neighbor，KNN)分類算法

KNN分類算法，是一個理論上比較成熟的方法，也是最簡單的機器學習算法之一。該方法的思路是：如果一個樣本在特征空間中的k個最相似的樣本中的大多數(shù)屬于某一個類別，則該樣本也屬于這個類別。KNN算法中，所選擇的鄰居都是已經(jīng)正確分類的對象。該方法在定類決策上只依據(jù)最鄰近的一個或者幾個樣本的類別來決定待分樣本所屬的類別。

KNN方法雖然從原理上依賴于極限定理，但在類別決策時，只與極少量的相鄰樣本有關(guān)。由于KNN方法主要靠周圍有限的鄰近的樣本，而不是靠判別類域的方法來確定所屬類別的，因此對于類域的交叉或重疊較多的待分樣本集來說，KNN方法較其他方法更為適合。

KNN算法不僅可以用于分類，還可以用于回歸。通過找出一個樣本的k個最近鄰居，將這些鄰居的屬性的平均值賦給該樣本，就可以得到該樣本的屬性。

K-近鄰算法的思想如下：首先，計算新樣本與訓練樣本之間的距離，找到距離最近的K個鄰居；然后，根據(jù)這些鄰居所屬的類別來判定新樣本的類別，如果它們都屬于同一個類別，那么新樣本也屬于這個類；否則，對每個后選類別進行評分，按照某種規(guī)則確定新樣本的類別。