機(jī)器學(xué)習(xí)(MachineLearning,ML)是一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。

機(jī)器學(xué)習(xí)

它是人工智能的核心，是使計(jì)算機(jī)具有智能的根本途徑，其應(yīng)用遍及人工智能的各個(gè)領(lǐng)域，它主要使用歸納、綜合而不是演繹。 

機(jī)器學(xué)習(xí)是一門多學(xué)科交叉專業(yè)，涵蓋概率論知識(shí)，統(tǒng)計(jì)學(xué)知識(shí)，近似理論知識(shí)和復(fù)雜算法知識(shí)，使用計(jì)算機(jī)作為工具并致力于真實(shí)實(shí)時(shí)的模擬人類學(xué)習(xí)方式，并將現(xiàn)有內(nèi)容進(jìn)行知識(shí)結(jié)構(gòu)劃分來(lái)有效提高學(xué)習(xí)效率。

機(jī)器學(xué)習(xí)有下面幾種定義：

（1）機(jī)器學(xué)習(xí)是一門人工智能的科學(xué)，該領(lǐng)域的主要研究對(duì)象是人工智能，特別是如何在經(jīng)驗(yàn)學(xué)習(xí)中改善具體算法的性能。

（2）機(jī)器學(xué)習(xí)是對(duì)能通過(guò)經(jīng)驗(yàn)自動(dòng)改進(jìn)的計(jì)算機(jī)算法的研究。

（3）機(jī)器學(xué)習(xí)是用數(shù)據(jù)或以往的經(jīng)驗(yàn)，以此優(yōu)化計(jì)算機(jī)程序的性能標(biāo)準(zhǔn)。

機(jī)器學(xué)習(xí)實(shí)際上已經(jīng)存在了幾十年或者也可以認(rèn)為存在了幾個(gè)世紀(jì)。追溯到17世紀(jì)，貝葉斯、拉普拉斯關(guān)于最小二乘法的推導(dǎo)和馬爾可夫鏈，這些構(gòu)成了機(jī)器學(xué)習(xí)廣泛使用的工具和基礎(chǔ)。1950年（艾倫.圖靈提議建立一個(gè)學(xué)習(xí)機(jī)器）到2000年初（有深度學(xué)習(xí)的實(shí)際應(yīng)用以及最近的進(jìn)展，比如2012年的AlexNet），機(jī)器學(xué)習(xí)有了很大的進(jìn)展。

從20世紀(jì)50年代研究機(jī)器學(xué)習(xí)以來(lái)，不同時(shí)期的研究途徑和目標(biāo)并不相同，可以劃分為四個(gè)階段。

第一階段是20世紀(jì)50年代中葉到60年代中葉，這個(gè)時(shí)期主要研究“有無(wú)知識(shí)的學(xué)習(xí)”。這類方法主要是研究系統(tǒng)的執(zhí)行能力。這個(gè)時(shí)期，主要通過(guò)對(duì)機(jī)器的環(huán)境及其相應(yīng)性能參數(shù)的改變來(lái)檢測(cè)系統(tǒng)所反饋的數(shù)據(jù)，就好比給系統(tǒng)一個(gè)程序，通過(guò)改變它們的自由空間作用，系統(tǒng)將會(huì)受到程序的影響而改變自身的組織，最后這個(gè)系統(tǒng)將會(huì)選擇一個(gè)最優(yōu)的環(huán)境生存。在這個(gè)時(shí)期最具有代表性的研究就是Samuet的下棋程序。但這種機(jī)器學(xué)習(xí)的方法還遠(yuǎn)遠(yuǎn)不能滿足人類的需要。

第二階段從20世紀(jì)60年代中葉到70年代中葉，這個(gè)時(shí)期主要研究將各個(gè)領(lǐng)域的知識(shí)植入到系統(tǒng)里，在本階段的目的是通過(guò)機(jī)器模擬人類學(xué)習(xí)的過(guò)程。同時(shí)還采用了圖結(jié)構(gòu)及其邏輯結(jié)構(gòu)方面的知識(shí)進(jìn)行系統(tǒng)描述，在這一研究階段，主要是用各種符號(hào)來(lái)表示機(jī)器語(yǔ)言，研究人員在進(jìn)行實(shí)驗(yàn)時(shí)意識(shí)到學(xué)習(xí)是一個(gè)長(zhǎng)期的過(guò)程，從這種系統(tǒng)環(huán)境中無(wú)法學(xué)到更加深入的知識(shí)，因此研究人員將各專家學(xué)者的知識(shí)加入到系統(tǒng)里，經(jīng)過(guò)實(shí)踐證明這種方法取得了一定的成效。在這一階段具有代表性的工作有Hayes-Roth和Winson的對(duì)結(jié)構(gòu)學(xué)習(xí)系統(tǒng)方法。

第三階段從20世紀(jì)70年代中葉到80年代中葉，稱為復(fù)興時(shí)期。在此期間，人們從學(xué)習(xí)單個(gè)概念擴(kuò)展到學(xué)習(xí)多個(gè)概念，探索不同的學(xué)習(xí)策略和學(xué)習(xí)方法，且在本階段已開始把學(xué)習(xí)系統(tǒng)與各種應(yīng)用結(jié)合起來(lái)，并取得很大的成功。同時(shí)，專家系統(tǒng)在知識(shí)獲取方面的需求也極大地刺激了機(jī)器學(xué)習(xí)的研究和發(fā)展。在出現(xiàn)第一個(gè)專家學(xué)習(xí)系統(tǒng)之后，示例歸納學(xué)習(xí)系統(tǒng)成為研究的主流，自動(dòng)知識(shí)獲取成為機(jī)器學(xué)習(xí)應(yīng)用的研究目標(biāo)。1980年，在美國(guó)的卡內(nèi)基梅隆（CMU）召開了第一屆機(jī)器學(xué)習(xí)國(guó)際研討會(huì)，標(biāo)志著機(jī)器學(xué)習(xí)研究已在全世界興起。此后，機(jī)器學(xué)習(xí)開始得到了大量的應(yīng)用。1984年，Simon等20多位人工智能專家共同撰文編寫的MachineLearning文集第二卷出版，國(guó)際性雜志Machine Learning創(chuàng)刊，更加顯示出機(jī)器學(xué)習(xí)突飛猛進(jìn)的發(fā)展趨勢(shì)。這一階段代表性的工作有Mostow的指導(dǎo)式學(xué)習(xí)、Lenat的數(shù)學(xué)概念發(fā)現(xiàn)程序、Langley的BACON程序及其改進(jìn)程序。

第四階段20世紀(jì)80年代中葉，是機(jī)器學(xué)習(xí)的最新階段。這個(gè)時(shí)期的機(jī)器學(xué)習(xí)具有如下特點(diǎn)：

（1）機(jī)器學(xué)習(xí)已成為新的學(xué)科，它綜合應(yīng)用了心理學(xué)、生物學(xué)、神經(jīng)生理學(xué)、數(shù)學(xué)、自動(dòng)化和計(jì)算機(jī)科學(xué)等形成了機(jī)器學(xué)習(xí)理論基礎(chǔ)。

（2）融合了各種學(xué)習(xí)方法，且形式多樣的集成學(xué)習(xí)系統(tǒng)研究正在興起。

（3）機(jī)器學(xué)習(xí)與人工智能各種基礎(chǔ)問(wèn)題的統(tǒng)一性觀點(diǎn)正在形成。

（4）各種學(xué)習(xí)方法的應(yīng)用范圍不斷擴(kuò)大，部分應(yīng)用研究成果已轉(zhuǎn)化為產(chǎn)品。

（5）與機(jī)器學(xué)習(xí)有關(guān)的學(xué)術(shù)活動(dòng)空前活躍。

機(jī)器學(xué)習(xí)是人工智能及模式識(shí)別領(lǐng)域的共同研究熱點(diǎn)，其理論和方法已被廣泛應(yīng)用于解決工程應(yīng)用和科學(xué)領(lǐng)域的復(fù)雜問(wèn)題。2010年的圖靈獎(jiǎng)獲得者為哈佛大學(xué)的Leslie vlliant教授，其獲獎(jiǎng)工作之一是建立了概率近似正確（Probably Approximate Correct，PAC）學(xué)習(xí)理論；2011年的圖靈獎(jiǎng)獲得者為加州大學(xué)洛杉磯分校的Judea Pearll教授，其主要貢獻(xiàn)為建立了以概率統(tǒng)計(jì)為理論基礎(chǔ)的人工智能方法。這些研究成果都促進(jìn)了機(jī)器學(xué)習(xí)的發(fā)展和繁榮。

機(jī)器學(xué)習(xí)是研究怎樣使用計(jì)算機(jī)模擬或?qū)崿F(xiàn)人類學(xué)習(xí)活動(dòng)的科學(xué)，是人工智能中最具智能特征，最前沿的研究領(lǐng)域之一。自20世紀(jì)80年代以來(lái)，機(jī)器學(xué)習(xí)作為實(shí)現(xiàn)人工智能的途徑，在人工智能界引起了廣泛的興趣，特別是近十幾年來(lái)，機(jī)器學(xué)習(xí)領(lǐng)域的研究工作發(fā)展很快，它已成為人工智能的重要課題之一。機(jī)器學(xué)習(xí)不僅在基于知識(shí)的系統(tǒng)中得到應(yīng)用，而且在自然語(yǔ)言理解、非單調(diào)推理、機(jī)器視覺、模式識(shí)別等許多領(lǐng)域也得到了廣泛應(yīng)用。一個(gè)系統(tǒng)是否具有學(xué)習(xí)能力已成為是否具有“智能”的一個(gè)標(biāo)志。機(jī)器學(xué)習(xí)的研究主要分為兩類研究方向：第一類是傳統(tǒng)機(jī)器學(xué)習(xí)的研究，該類研究主要是研究學(xué)習(xí)機(jī)制，注重探索模擬人的學(xué)習(xí)機(jī)制；第二類是大數(shù)據(jù)環(huán)境下機(jī)器學(xué)習(xí)的研究，該類研究主要是研究如何有效利用信息，注重從巨量數(shù)據(jù)中獲取隱藏的、有效的、可理解的知識(shí)。

機(jī)器學(xué)習(xí)歷經(jīng)70年的曲折發(fā)展，以深度學(xué)習(xí)為代表借鑒人腦的多分層結(jié)構(gòu)、神經(jīng)元的連接交互信息的逐層分析處理機(jī)制，自適應(yīng)、自學(xué)習(xí)的強(qiáng)大并行信息處理能力，在很多方面收獲了突破性進(jìn)展，其中最有代表性的是圖像識(shí)別領(lǐng)域。

傳統(tǒng)機(jī)器學(xué)習(xí)的研究現(xiàn)狀

機(jī)器學(xué)習(xí)

傳統(tǒng)機(jī)器學(xué)習(xí)的研究方向主要包括決策樹、隨機(jī)森林、人工神經(jīng)網(wǎng)絡(luò)、貝葉斯學(xué)習(xí)等方面的研究。

決策樹是機(jī)器學(xué)習(xí)常見的一種方法。20世紀(jì)末期，機(jī)器學(xué)習(xí)研究者J.Ross Quinlan將Shannon的信息論引入到了決策樹算法中，提出了ID3算法。1984年I.Kononenko、E.Roskar和I.Bratko在ID3算法的基礎(chǔ)上提出了AS-SISTANTAlgorithm，這種算法允許類別的取值之間有交集。同年，A.Hart提出了Chi-Squa統(tǒng)計(jì)算法，該算法采用了一種基于屬性與類別關(guān)聯(lián)程度的統(tǒng)計(jì)量。1984年L.Breiman、C.Ttone、R.Olshen和J.Freidman提出了決策樹剪枝概念，極大地改善了決策樹的性能。1993年，Quinlan在ID3算法的基礎(chǔ)上提出了一種改進(jìn)算法，即C4.5算法。C4.5算法克服了ID3算法屬性偏向的問(wèn)題增加了對(duì)連續(xù)屬性的處理通過(guò)剪枝，在一定程度上避免了“過(guò)度適合”現(xiàn)象。但是該算法將連續(xù)屬性離散化時(shí)，需要遍歷該屬性的所有值，降低了效率，并且要求訓(xùn)練樣本集駐留在內(nèi)存，不適合處理大規(guī)模數(shù)據(jù)集。2010年Xie提出一種CART算法，該算法是描述給定預(yù)測(cè)向量X條件分布變量Y的一個(gè)靈活方法，已經(jīng)在許多領(lǐng)域得到了應(yīng)用。CART算法可以處理無(wú)序的數(shù)據(jù)，采用基尼系數(shù)作為測(cè)試屬性的選擇標(biāo)準(zhǔn)。CART算法生成的決策樹精確度較高，但是當(dāng)其生成的決策樹復(fù)雜度超過(guò)一定程度后，隨著復(fù)雜度的提高，分類精確度會(huì)降低，所以該算法建立的決策樹不宜太復(fù)雜。2007年房祥飛表述了一種叫SLIQ（決策樹分類）算法，這種算法的分類精度與其他決策樹算法不相上下，但其執(zhí)行的速度比其他決策樹算法快，它對(duì)訓(xùn)練樣本集的樣本數(shù)量以及屬性的數(shù)量沒有限制。SLIQ算法能夠處理大規(guī)模的訓(xùn)練樣本集，具有較好的伸縮性；執(zhí)行速度快而且能生成較小的二叉決策樹。SLIQ算法允許多個(gè)處理器同時(shí)處理屬性表，從而實(shí)現(xiàn)了并行性。但是SLIQ算法依然不能擺脫主存容量的限制。2000年RajeevRaSto等提出了PUBLIC算法，該算法是對(duì)尚未完全生成的決策樹進(jìn)行剪枝，因而提高了效率。近幾年模糊決策樹也得到了蓬勃發(fā)展。研究者考慮到屬性間的相關(guān)性提出了分層回歸算法、約束分層歸納算法和功能樹算法，這三種算法都是基于多分類器組合的決策樹算法，它們對(duì)屬性間可能存在的相關(guān)性進(jìn)行了部分實(shí)驗(yàn)和研究，但是這些研究并沒有從總體上闡述屬性間的相關(guān)性是如何影響決策樹性能。此外，還有很多其他的算法，如Zhang.J于2014年提出的一種基于粗糙集的優(yōu)化算法、Wang.R在2015年提出的基于極端學(xué)習(xí)樹的算法模型等。

隨機(jī)森林（RF）作為機(jī)器學(xué)習(xí)重要算法之一，是一種利用多個(gè)樹分類器進(jìn)行分類和預(yù)測(cè)的方法。近年來(lái)，隨機(jī)森林算法研究的發(fā)展十分迅速，已經(jīng)在生物信息學(xué)、生態(tài)學(xué)、醫(yī)學(xué)、遺傳學(xué)、遙感地理學(xué)等多領(lǐng)域開展的應(yīng)用性研究。

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，ANN）是一種具有非線性適應(yīng)性信息處理能力的算法，可克服傳統(tǒng)人工智能方法對(duì)于直覺，如模式、語(yǔ)音識(shí)別、非結(jié)構(gòu)化信息處理方面的缺陷。早在20世紀(jì)40年代人工神經(jīng)網(wǎng)絡(luò)已經(jīng)受到關(guān)注，并隨后得到迅速發(fā)展。

貝葉斯學(xué)習(xí)是機(jī)器學(xué)習(xí)較早的研究方向，其方法最早起源于英國(guó)數(shù)學(xué)家托馬斯，貝葉斯在1763年所證明的一個(gè)關(guān)于貝葉斯定理的一個(gè)特例。經(jīng)過(guò)多位統(tǒng)計(jì)學(xué)家的共同努力，貝葉斯統(tǒng)計(jì)在20世紀(jì)50年代之后逐步建立起來(lái)，成為統(tǒng)計(jì)學(xué)中一個(gè)重要的組成部分。

大數(shù)據(jù)環(huán)境下機(jī)器學(xué)習(xí)的研究現(xiàn)狀

大數(shù)據(jù)的價(jià)值體現(xiàn)主要集中在數(shù)據(jù)的轉(zhuǎn)向以及數(shù)據(jù)的信息處理能力等等。在產(chǎn)業(yè)發(fā)展的今天，大數(shù)據(jù)時(shí)代的到來(lái)，對(duì)數(shù)據(jù)的轉(zhuǎn)換，數(shù)據(jù)的處理數(shù)據(jù)的存儲(chǔ)等帶來(lái)了更好的技術(shù)支持，產(chǎn)業(yè)升級(jí)和新產(chǎn)業(yè)誕生形成了一種推動(dòng)力量，讓大數(shù)據(jù)能夠針對(duì)可發(fā)現(xiàn)事物的程序進(jìn)行自動(dòng)規(guī)劃，實(shí)現(xiàn)人類用戶以計(jì)算機(jī)信息之間的協(xié)調(diào)。另外現(xiàn)有的許多機(jī)器學(xué)習(xí)方法是建立在內(nèi)存理論基礎(chǔ)上的。大數(shù)據(jù)還無(wú)法裝載進(jìn)計(jì)算機(jī)內(nèi)存的情況下，是無(wú)法進(jìn)行諸多算法的處理的，因此應(yīng)提出新的機(jī)器學(xué)習(xí)算法，以適應(yīng)大數(shù)據(jù)處理的需要。大數(shù)據(jù)環(huán)境下的機(jī)器學(xué)習(xí)算法，依據(jù)一定的性能標(biāo)準(zhǔn)，對(duì)學(xué)習(xí)結(jié)果的重要程度可以予以忽視。采用分布式和并行計(jì)算的方式進(jìn)行分治策略的實(shí)施，可以規(guī)避掉噪音數(shù)據(jù)和冗余帶來(lái)的干擾，降低存儲(chǔ)耗費(fèi)，同時(shí)提高學(xué)習(xí)算法的運(yùn)行效率。

隨著大數(shù)據(jù)時(shí)代各行業(yè)對(duì)數(shù)據(jù)分析需求的持續(xù)增加，通過(guò)機(jī)器學(xué)習(xí)高效地獲取知識(shí)，已逐漸成為當(dāng)今機(jī)器學(xué)習(xí)技術(shù)發(fā)展的主要推動(dòng)力。大數(shù)據(jù)時(shí)代的機(jī)器學(xué)習(xí)更強(qiáng)調(diào)“學(xué)習(xí)本身是手段"機(jī)器學(xué)習(xí)成為一種支持和服務(wù)技術(shù)。如何基于機(jī)器學(xué)習(xí)對(duì)復(fù)雜多樣的數(shù)據(jù)進(jìn)行深層次的分析，更高效地利用信息成為當(dāng)前大數(shù)據(jù)環(huán)境下機(jī)器學(xué)習(xí)研究的主要方向。所以，機(jī)器學(xué)習(xí)越來(lái)越朝著智能數(shù)據(jù)分析的方向發(fā)展，并已成為智能數(shù)據(jù)分析技術(shù)的一個(gè)重要源泉。另外，在大數(shù)據(jù)時(shí)代，隨著數(shù)據(jù)產(chǎn)生速度的持續(xù)加快，數(shù)據(jù)的體量有了前所未有的增長(zhǎng)，而需要分析的新的數(shù)據(jù)種類也在不斷涌現(xiàn)，如文本的理解、文本情感的分析、圖像的檢索和理解、圖形和網(wǎng)絡(luò)數(shù)據(jù)的分析等。使得大數(shù)據(jù)機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等智能計(jì)算技術(shù)在大數(shù)據(jù)智能化分析處理應(yīng)用中具有極其重要的作用。在2014年12月中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）大數(shù)據(jù)專家委員會(huì)上通過(guò)數(shù)百位大數(shù)據(jù)相關(guān)領(lǐng)域?qū)W者和技術(shù)專家投票推選出的“2015年大數(shù)據(jù)十大熱點(diǎn)技術(shù)與發(fā)展趨勢(shì)”中，結(jié)合機(jī)器學(xué)習(xí)等智能計(jì)算技術(shù)的大數(shù)據(jù)分析技術(shù)被推選為大數(shù)據(jù)領(lǐng)域第一大研究熱點(diǎn)和發(fā)展趨勢(shì)。

幾十年來(lái)，研究發(fā)表的機(jī)器學(xué)習(xí)的方法種類很多，根據(jù)強(qiáng)調(diào)側(cè)面的不同可以有多種分類方法。

基于學(xué)習(xí)策略的分類

（1）模擬人腦的機(jī)器學(xué)習(xí)

符號(hào)學(xué)習(xí)：模擬人腦的宏現(xiàn)心理級(jí)學(xué)習(xí)過(guò)程，以認(rèn)知心理學(xué)原理為基礎(chǔ)，以符號(hào)數(shù)據(jù)為輸入，以符號(hào)運(yùn)算為方法，用推理過(guò)程在圖或狀態(tài)空間中搜索，學(xué)習(xí)的目標(biāo)為概念或規(guī)則等。符號(hào)學(xué)習(xí)的典型方法有記憶學(xué)習(xí)、示例學(xué)習(xí)、演繹學(xué)習(xí).類比學(xué)習(xí)、解釋學(xué)習(xí)等。

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)（或連接學(xué)習(xí)）：模擬人腦的微觀生理級(jí)學(xué)習(xí)過(guò)程，以腦和神經(jīng)科學(xué)原理為基礎(chǔ)，以人工神經(jīng)網(wǎng)絡(luò)為函數(shù)結(jié)構(gòu)模型，以數(shù)值數(shù)據(jù)為輸人，以數(shù)值運(yùn)算為方法，用迭代過(guò)程在系數(shù)向量空間中搜索，學(xué)習(xí)的目標(biāo)為函數(shù)。典型的連接學(xué)習(xí)有權(quán)值修正學(xué)習(xí)、拓?fù)浣Y(jié)構(gòu)學(xué)習(xí)。

（2）直接采用數(shù)學(xué)方法的機(jī)器學(xué)習(xí)

主要有統(tǒng)計(jì)機(jī)器學(xué)習(xí)。

統(tǒng)計(jì)機(jī)器學(xué)習(xí)是基于對(duì)數(shù)據(jù)的初步認(rèn)識(shí)以及學(xué)習(xí)目的的分析，選擇合適的數(shù)學(xué)模型，擬定超參數(shù)，并輸入樣本數(shù)據(jù)，依據(jù)一定的策略，運(yùn)用合適的學(xué)習(xí)算法對(duì)模型進(jìn)行訓(xùn)練，最后運(yùn)用訓(xùn)練好的模型對(duì)數(shù)據(jù)進(jìn)行分析預(yù)測(cè)。

統(tǒng)計(jì)機(jī)器學(xué)習(xí)三個(gè)要素：

模型（model）：模型在未進(jìn)行訓(xùn)練前，其可能的參數(shù)是多個(gè)甚至無(wú)窮的，故可能的模型也是多個(gè)甚至無(wú)窮的，這些模型構(gòu)成的集合就是假設(shè)空間。

策略（strategy）：即從假設(shè)空間中挑選出參數(shù)最優(yōu)的模型的準(zhǔn)則。模型的分類或預(yù)測(cè)結(jié)果與實(shí)際情況的誤差（損失函數(shù)）越小，模型就越好。那么策略就是誤差最小。

算法（algorithm）：即從假設(shè)空間中挑選模型的方法（等同于求解最佳的模型參數(shù)）。機(jī)器學(xué)習(xí)的參數(shù)求解通常都會(huì)轉(zhuǎn)化為最優(yōu)化問(wèn)題，故學(xué)習(xí)算法通常是最優(yōu)化算法，例如最速梯度下降法、牛頓法以及擬牛頓法等。

基于學(xué)習(xí)方法的分類

（1）歸納學(xué)習(xí)

符號(hào)歸納學(xué)習(xí)：典型的符號(hào)歸納學(xué)習(xí)有示例學(xué)習(xí)、決策樹學(xué)習(xí)。

函數(shù)歸納學(xué)習(xí)（發(fā)現(xiàn)學(xué)習(xí)）：典型的函數(shù)歸納學(xué)習(xí)有神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)、示例學(xué)習(xí)、發(fā)現(xiàn)學(xué)習(xí)、統(tǒng)計(jì)學(xué)習(xí)。

（2）演繹學(xué)習(xí)

（3）類比學(xué)習(xí)：典型的類比學(xué)習(xí)有案例（范例）學(xué)習(xí)。

（4）分析學(xué)習(xí)：典型的分析學(xué)習(xí)有解釋學(xué)習(xí)、宏操作學(xué)習(xí)。

基于學(xué)習(xí)方式的分類

（1）監(jiān)督學(xué)習(xí)（有導(dǎo)師學(xué)習(xí)）：輸入數(shù)據(jù)中有導(dǎo)師信號(hào)，以概率函數(shù)、代數(shù)函數(shù)或人工神經(jīng)網(wǎng)絡(luò)為基函數(shù)模型，采用迭代計(jì)算方法，學(xué)習(xí)結(jié)果為函數(shù)。

（2）無(wú)監(jiān)督學(xué)習(xí)（無(wú)導(dǎo)師學(xué)習(xí)）：輸入數(shù)據(jù)中無(wú)導(dǎo)師信號(hào)，采用聚類方法，學(xué)習(xí)結(jié)果為類別。典型的無(wú)導(dǎo)師學(xué)習(xí)有發(fā)現(xiàn)學(xué)習(xí)、聚類、競(jìng)爭(zhēng)學(xué)習(xí)等。

（3）強(qiáng)化學(xué)習(xí)（增強(qiáng)學(xué)習(xí)）：以環(huán)境反饋（獎(jiǎng)/懲信號(hào)）作為輸入，以統(tǒng)計(jì)和動(dòng)態(tài)規(guī)劃技術(shù)為指導(dǎo)的一種學(xué)習(xí)方法。

基于數(shù)據(jù)形式的分類

（1）結(jié)構(gòu)化學(xué)習(xí)：以結(jié)構(gòu)化數(shù)據(jù)為輸人，以數(shù)值計(jì)算或符號(hào)推演為方法。典型的結(jié)構(gòu)化學(xué)習(xí)有神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)、統(tǒng)計(jì)學(xué)習(xí)、決策樹學(xué)習(xí)、規(guī)則學(xué)習(xí)。

（2）非結(jié)構(gòu)化學(xué)習(xí)：以非結(jié)構(gòu)化數(shù)據(jù)為輸人，典型的非結(jié)構(gòu)化學(xué)習(xí)有類比學(xué)習(xí)案例學(xué)習(xí)、解釋學(xué)習(xí)、文本挖掘、圖像挖掘、Web挖掘等。

基于學(xué)習(xí)目標(biāo)的分類

（1）概念學(xué)習(xí)：學(xué)習(xí)的目標(biāo)和結(jié)果為概念，或者說(shuō)是為了獲得概念的學(xué)習(xí)。典型的概念學(xué)習(xí)主要有示例學(xué)習(xí)。

（2）規(guī)則學(xué)習(xí)：學(xué)習(xí)的目標(biāo)和結(jié)果為規(guī)則，或者為了獲得規(guī)則的學(xué)習(xí)。典型規(guī)則學(xué)習(xí)主要有決策樹學(xué)習(xí)。

（3）函數(shù)學(xué)習(xí)：學(xué)習(xí)的目標(biāo)和結(jié)果為函數(shù)，或者說(shuō)是為了獲得函數(shù)的學(xué)習(xí)。典型函數(shù)學(xué)習(xí)主要有神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。

（4）類別學(xué)習(xí)：學(xué)習(xí)的目標(biāo)和結(jié)果為對(duì)象類，或者說(shuō)是為了獲得類別的學(xué)習(xí)。典型類別學(xué)習(xí)主要有聚類分析。

（5）貝葉斯網(wǎng)絡(luò)學(xué)習(xí)：學(xué)習(xí)的目標(biāo)和結(jié)果是貝葉斯網(wǎng)絡(luò)，或者說(shuō)是為了獲得貝葉斯網(wǎng)絡(luò)的一種學(xué)習(xí)。其又可分為結(jié)構(gòu)學(xué)習(xí)和多數(shù)學(xué)習(xí)。

決策樹算法

決策樹及其變種是一類將輸入空間分成不同的區(qū)域，每個(gè)區(qū)域有獨(dú)立參數(shù)的算法。決策樹算法充分利用了樹形模型，根節(jié)點(diǎn)到一個(gè)葉子節(jié)點(diǎn)是一條分類的路徑規(guī)則，每個(gè)葉子節(jié)點(diǎn)象征一個(gè)判斷類別。先將樣本分成不同的子集，再進(jìn)行分割遞推，直至每個(gè)子集得到同類型的樣本，從根節(jié)點(diǎn)開始測(cè)試，到子樹再到葉子節(jié)點(diǎn)，即可得出預(yù)測(cè)類別。此方法的特點(diǎn)是結(jié)構(gòu)簡(jiǎn)單、處理數(shù)據(jù)效率較高。

樸素貝葉斯算法

樸素貝葉斯算法是一種分類算法。它不是單一算法，而是一系列算法，它們都有一個(gè)共同的原則，即被分類的每個(gè)特征都與任何其他特征的值無(wú)關(guān)。樸素貝葉斯分類器認(rèn)為這些“特征”中的每一個(gè)都獨(dú)立地貢獻(xiàn)概率，而不管特征之間的任何相關(guān)性。然而，特征并不總是獨(dú)立的，這通常被視為樸素貝葉斯算法的缺點(diǎn)。簡(jiǎn)而言之，樸素貝葉斯算法允許我們使用概率給出一組特征來(lái)預(yù)測(cè)一個(gè)類。與其他常見的分類方法相比，樸素貝葉斯算法需要的訓(xùn)練很少。在進(jìn)行預(yù)測(cè)之前必須完成的唯一工作是找到特征的個(gè)體概率分布的參數(shù)，這通常可以快速且確定地完成。這意味著即使對(duì)于高維數(shù)據(jù)點(diǎn)或大量數(shù)據(jù)點(diǎn)，樸素貝葉斯分類器也可以表現(xiàn)良好。

支持向量機(jī)算法

基本思想可概括如下：首先，要利用一種變換將空間高維化，當(dāng)然這種變換是非線性的，然后，在新的復(fù)雜空間取最優(yōu)線性分類表面[8]。由此種方式獲得的分類函數(shù)在形式上類似于神經(jīng)網(wǎng)絡(luò)算法。支持向量機(jī)是統(tǒng)計(jì)學(xué)習(xí)領(lǐng)域中一個(gè)代表性算法，但它與傳統(tǒng)方式的思維方法很不同，輸入空間、提高維度從而將問(wèn)題簡(jiǎn)短化，使問(wèn)題歸結(jié)為線性可分的經(jīng)典解問(wèn)題。支持向量機(jī)應(yīng)用于垃圾郵件識(shí)別，人臉識(shí)別等多種分類問(wèn)題。

隨機(jī)森林算法

控制數(shù)據(jù)樹生成的方式有多種，根據(jù)前人的經(jīng)驗(yàn)，大多數(shù)時(shí)候更傾向選擇分裂屬性和剪枝，但這并不能解決所有問(wèn)題，偶爾會(huì)遇到噪聲或分裂屬性過(guò)多的問(wèn)題。基于這種情況，總結(jié)每次的結(jié)果可以得到袋外數(shù)據(jù)的估計(jì)誤差，將它和測(cè)試樣本的估計(jì)誤差相結(jié)合可以評(píng)估組合樹學(xué)習(xí)器的擬合及預(yù)測(cè)精度。此方法的優(yōu)點(diǎn)有很多，可以產(chǎn)生高精度的分類器，并能夠處理大量的變數(shù)，也可以平衡分類資料集之間的誤差。

人工神經(jīng)網(wǎng)絡(luò)算法

人工神經(jīng)網(wǎng)絡(luò)與神經(jīng)元組成的異常復(fù)雜的網(wǎng)絡(luò)此大體相似，是個(gè)體單元互相連接而成，每個(gè)單元有數(shù)值量的輸入和輸出，形式可以為實(shí)數(shù)或線性組合函數(shù)。它先要以一種學(xué)習(xí)準(zhǔn)則去學(xué)習(xí)，然后才能進(jìn)行工作。當(dāng)網(wǎng)絡(luò)判斷錯(cuò)誤時(shí)，通過(guò)學(xué)習(xí)使其減少犯同樣錯(cuò)誤的可能性。此方法有很強(qiáng)的泛化能力和非線性映射能力，可以對(duì)信息量少的系統(tǒng)進(jìn)行模型處理。從功能模擬角度看具有并行性，且傳遞信息速度極快。

Boosting與Bagging算法

Boosting是種通用的增強(qiáng)基礎(chǔ)算法性能的回歸分析算法。不需構(gòu)造一個(gè)高精度的回歸分析，只需一個(gè)粗糙的基礎(chǔ)算法即可，再反復(fù)調(diào)整基礎(chǔ)算法就可以得到較好的組合回歸模型。它可以將弱學(xué)習(xí)算法提高為強(qiáng)學(xué)習(xí)算法，可以應(yīng)用到其它基礎(chǔ)回歸算法，如線性回歸、神經(jīng)網(wǎng)絡(luò)等，來(lái)提高精度。Bagging和前一種算法大體相似但又略有差別，主要想法是給出已知的弱學(xué)習(xí)算法和訓(xùn)練集，它需要經(jīng)過(guò)多輪的計(jì)算，才可以得到預(yù)測(cè)函數(shù)列，最后采用投票方式對(duì)示例進(jìn)行判別。

關(guān)聯(lián)規(guī)則算法

關(guān)聯(lián)規(guī)則是用規(guī)則去描述兩個(gè)變量或多個(gè)變量之間的關(guān)系，是客觀反映數(shù)據(jù)本身性質(zhì)的方法。它是機(jī)器學(xué)習(xí)的一大類任務(wù)，可分為兩個(gè)階段，先從資料集中找到高頻項(xiàng)目組，再去研究它們的關(guān)聯(lián)規(guī)則。其得到的分析結(jié)果即是對(duì)變量間規(guī)律的總結(jié)。

EM（期望最大化）算法

在進(jìn)行機(jī)器學(xué)習(xí)的過(guò)程中需要用到極大似然估計(jì)等參數(shù)估計(jì)方法，在有潛在變量的情況下，通常選擇EM算法，不是直接對(duì)函數(shù)對(duì)象進(jìn)行極大估計(jì)，而是添加一些數(shù)據(jù)進(jìn)行簡(jiǎn)化計(jì)算，再進(jìn)行極大化模擬。它是對(duì)本身受限制或比較難直接處理的數(shù)據(jù)的極大似然估計(jì)算法。

深度學(xué)習(xí)

深度學(xué)習(xí)（DL，Deep Learning）是機(jī)器學(xué)習(xí)（ML，Machine Learning）領(lǐng)域中一個(gè)新的研究方向，它被引入機(jī)器學(xué)習(xí)使其更接近于最初的目標(biāo)——人工智能（AI，Artificial Intelligence）。

深度學(xué)習(xí)是學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，這些學(xué)習(xí)過(guò)程中獲得的信息對(duì)諸如文字，圖像和聲音等數(shù)據(jù)的解釋有很大的幫助。它的最終目標(biāo)是讓機(jī)器能夠像人一樣具有分析學(xué)習(xí)能力，能夠識(shí)別文字、圖像和聲音等數(shù)據(jù)。深度學(xué)習(xí)是一個(gè)復(fù)雜的機(jī)器學(xué)習(xí)算法，在語(yǔ)音和圖像識(shí)別方面取得的效果，遠(yuǎn)遠(yuǎn)超過(guò)先前相關(guān)技術(shù)。

深度學(xué)習(xí)在搜索技術(shù)、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、機(jī)器翻譯、自然語(yǔ)言處理、多媒體學(xué)習(xí)、語(yǔ)音、推薦和個(gè)性化技術(shù)，以及其他相關(guān)領(lǐng)域都取得了很多成果。深度學(xué)習(xí)使機(jī)器模仿視聽和思考等人類的活動(dòng)，解決了很多復(fù)雜的模式識(shí)別難題，使得人工智能相關(guān)技術(shù)取得了很大進(jìn)步。

機(jī)器學(xué)習(xí)應(yīng)用廣泛，無(wú)論是在軍事領(lǐng)域還是民用領(lǐng)域，都有機(jī)器學(xué)習(xí)算法施展的機(jī)會(huì)，主要包括以下幾個(gè)方面。

數(shù)據(jù)分析與挖掘

“數(shù)據(jù)挖掘”和"數(shù)據(jù)分析”通常被相提并論，并在許多場(chǎng)合被認(rèn)為是可以相互替代的術(shù)語(yǔ)。關(guān)于數(shù)據(jù)挖掘，已有多種文字不同但含義接近的定義，例如“識(shí)別出巨量數(shù)據(jù)中有效的.新穎的、潛在有用的最終可理解的模式的非平凡過(guò)程”，無(wú)論是數(shù)據(jù)分析還是數(shù)據(jù)挖掘，都是幫助人們收集、分析數(shù)據(jù)，使之成為信息，并做出判斷，因此可以將這兩項(xiàng)合稱為數(shù)據(jù)分析與挖掘。

數(shù)據(jù)分析與挖掘技術(shù)是機(jī)器學(xué)習(xí)算法和數(shù)據(jù)存取技術(shù)的結(jié)合，利用機(jī)器學(xué)習(xí)提供的統(tǒng)計(jì)分析、知識(shí)發(fā)現(xiàn)等手段分析海量數(shù)據(jù)，同時(shí)利用數(shù)據(jù)存取機(jī)制實(shí)現(xiàn)數(shù)據(jù)的高效讀寫。機(jī)器學(xué)習(xí)在數(shù)據(jù)分析與挖掘領(lǐng)域中擁有無(wú)可取代的地位，2012年Hadoop進(jìn)軍機(jī)器學(xué)習(xí)領(lǐng)域就是一個(gè)很好的例子。

模式識(shí)別

模式識(shí)別起源于工程領(lǐng)域，而機(jī)器學(xué)習(xí)起源于計(jì)算機(jī)科學(xué)，這兩個(gè)不同學(xué)科的結(jié)合帶來(lái)了模式識(shí)別領(lǐng)域的調(diào)整和發(fā)展。模式識(shí)別研究主要集中在兩個(gè)方面。

（1）研究生物體（包括人）是如何感知對(duì)象的，屬于認(rèn)識(shí)科學(xué)的范疇。

（2）在給定的任務(wù)下，如何用計(jì)算機(jī)實(shí)現(xiàn)模式識(shí)別的理論和方法，這些是機(jī)器學(xué)習(xí)的長(zhǎng)項(xiàng)，也是機(jī)器學(xué)習(xí)研究的內(nèi)容之一。

模式識(shí)別的應(yīng)用領(lǐng)域廣泛，包括計(jì)算機(jī)視覺、醫(yī)學(xué)圖像分析、光學(xué)文字識(shí)別、自然語(yǔ)言處理、語(yǔ)音識(shí)別、手寫識(shí)別、生物特征識(shí)別、文件分類、搜索引擎等，而這些領(lǐng)域也正是機(jī)器學(xué)習(xí)大展身手的舞臺(tái)，因此模式識(shí)別與機(jī)器學(xué)習(xí)的關(guān)系越來(lái)越密切。

在生物信息學(xué)上的應(yīng)用

隨著基因組和其他測(cè)序項(xiàng)目的不斷發(fā)展，生物信息學(xué)研究的重點(diǎn)正逐步從積累數(shù)據(jù)轉(zhuǎn)移到如何解釋這些數(shù)據(jù)。在未來(lái)，生物學(xué)的新發(fā)現(xiàn)將極大地依賴于我們?cè)诙鄠€(gè)維度和不同尺度下對(duì)多樣化的數(shù)據(jù)進(jìn)行組合和關(guān)聯(lián)的分析能力，而不再僅僅依賴于對(duì)傳統(tǒng)領(lǐng)域的繼續(xù)關(guān)注。序列數(shù)據(jù)將與結(jié)構(gòu)和功能數(shù)據(jù)基因表達(dá)數(shù)據(jù)、生化反應(yīng)通路數(shù)據(jù)表現(xiàn)型和臨床數(shù)據(jù)等一系列數(shù)據(jù)相互集成。如此大量的數(shù)據(jù)，在生物信息的存儲(chǔ)、獲取、處理、瀏覽及可視化等方面，都對(duì)理論算法和軟件的發(fā)展提出了迫切的需求。另外，由于基因組數(shù)據(jù)本身的復(fù)雜性也對(duì)理論算法和軟件的發(fā)展提出了迫切的需求。而機(jī)器學(xué)習(xí)方法例如神經(jīng)網(wǎng)絡(luò)、遺傳算法、決策樹和支持向量機(jī)等正適合于處理這種數(shù)據(jù)量大、含有噪聲并且缺乏統(tǒng)一理論的領(lǐng)域。

更廣闊的領(lǐng)域

國(guó)外的IT巨頭正在深入研究和應(yīng)用機(jī)器學(xué)習(xí)，他們把目標(biāo)定位于全面模仿人類大腦，試圖創(chuàng)造出擁有人類智慧的機(jī)器大腦。

2012年Google在人工智能領(lǐng)域發(fā)布了一個(gè)劃時(shí)代的產(chǎn)品一人腦模擬軟件，這個(gè)軟件具備自我學(xué)習(xí)功能。模擬腦細(xì)胞的相互交流，可以通過(guò)看YouTube視頻學(xué)習(xí)識(shí)別貓、人以及其他事物。當(dāng)有數(shù)據(jù)被送達(dá)這個(gè)神經(jīng)網(wǎng)絡(luò)的時(shí)候，不同神經(jīng)元之間的關(guān)系就會(huì)發(fā)生改變。而這也使得神經(jīng)網(wǎng)絡(luò)能夠得到對(duì)某些特定數(shù)據(jù)的反應(yīng)機(jī)制，據(jù)悉這個(gè)網(wǎng)絡(luò)已經(jīng)學(xué)到了一些東西，Google將有望在多個(gè)領(lǐng)域使用這一新技術(shù)，最先獲益的可能是語(yǔ)音識(shí)別。

具體應(yīng)用

（1）虛擬助手。Siri，Alexa，Google?Now都是虛擬助手。顧名思義，當(dāng)使用語(yǔ)音發(fā)出指令后，它們會(huì)協(xié)助查找信息。對(duì)于回答，虛擬助手會(huì)查找信息，回憶我們的相關(guān)查詢，或向其他資源（如電話應(yīng)用程序）發(fā)送命令以收集信息。我們甚至可以指導(dǎo)助手執(zhí)行某些任務(wù)，例如“設(shè)置7點(diǎn)的鬧鐘”等。

（2）交通預(yù)測(cè)。生活中我們經(jīng)常使用GPS導(dǎo)航服務(wù)。當(dāng)我們這樣做時(shí)，我們當(dāng)前的位置和速度被保存在中央服務(wù)器上來(lái)進(jìn)行流量管理。之后使用這些數(shù)據(jù)用于構(gòu)建當(dāng)前流量的映射。通過(guò)機(jī)器學(xué)習(xí)可以解決配備GPS的汽車數(shù)量較少的問(wèn)題，在這種情況下的機(jī)器學(xué)習(xí)有助于根據(jù)估計(jì)找到擁擠的區(qū)域。

（3）過(guò)濾垃圾郵件和惡意軟件。電子郵件客戶端使用了許多垃圾郵件過(guò)濾方法。為了確保這些垃圾郵件過(guò)濾器能夠不斷更新，它們使用了機(jī)器學(xué)習(xí)技術(shù)。多層感知器和決策樹歸納等是由機(jī)器學(xué)習(xí)提供支持的一些垃圾郵件過(guò)濾技術(shù)。每天檢測(cè)到超過(guò)325000個(gè)惡意軟件，每個(gè)代碼與之前版本的90%～98%相似。由機(jī)器學(xué)習(xí)驅(qū)動(dòng)的系統(tǒng)安全程序理解編碼模式。因此，他們可以輕松檢測(cè)到2%～10%變異的新惡意軟件，并提供針對(duì)它們的保護(hù)。

學(xué)習(xí)是人類具有的一種重要智能行為，但究竟什么是學(xué)習(xí)，長(zhǎng)期以來(lái)卻眾說(shuō)紛紜。社會(huì)學(xué)家、邏輯學(xué)家和心理學(xué)家都各有其不同的看法。

比如，Langley（1996) 定義的機(jī)器學(xué)習(xí)是“機(jī)器學(xué)習(xí)是一門人工智能的科學(xué)，該領(lǐng)域的主要研究對(duì)象是人工智能，特別是如何在經(jīng)驗(yàn)學(xué)習(xí)中改善具體算法的性能”。（Machine learning is a science of the artificial. The field's main objects of study are artifacts, specifically algorithms that improve their performance with experience.'）

Tom Mitchell的機(jī)器學(xué)習(xí)(1997)對(duì)信息論中的一些概念有詳細(xì)的解釋，其中定義機(jī)器學(xué)習(xí)時(shí)提到，“機(jī)器學(xué)習(xí)是對(duì)能通過(guò)經(jīng)驗(yàn)自動(dòng)改進(jìn)的計(jì)算機(jī)算法的研究”。（Machine Learning is the study of computer algorithms that improve automatically through experience.）

Alpaydin（2004）同時(shí)提出自己對(duì)機(jī)器學(xué)習(xí)的定義，“機(jī)器學(xué)習(xí)是用數(shù)據(jù)或以往的經(jīng)驗(yàn)，以此優(yōu)化計(jì)算機(jī)程序的性能標(biāo)準(zhǔn)。”（Machine learning is programming computers to optimize a performance criterion using example data or past experience.）

盡管如此，為了便于進(jìn)行討論和估計(jì)學(xué)科的進(jìn)展，有必要對(duì)機(jī)器學(xué)習(xí)給出定義，即使這種定義是不完全的和不充分的。顧名思義，機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來(lái)模擬人類學(xué)習(xí)活動(dòng)的一門學(xué)科。稍為嚴(yán)格的提法是：機(jī)器學(xué)習(xí)是一門研究機(jī)器獲取新知識(shí)和新技能，并識(shí)別現(xiàn)有知識(shí)的學(xué)問(wèn)。這里所說(shuō)的“機(jī)器”，指的就是計(jì)算機(jī)，電子計(jì)算機(jī)，中子計(jì)算機(jī)、光子計(jì)算機(jī)或神經(jīng)計(jì)算機(jī)等等。

機(jī)器能否象人類一樣能具有學(xué)習(xí)能力呢？1959年美國(guó)的塞繆爾(Samuel)設(shè)計(jì)了一個(gè)下棋程序，這個(gè)程序具有學(xué)習(xí)能力，它可以在不斷的對(duì)弈中改善自己的棋藝。4年后，這個(gè)程序戰(zhàn)勝了設(shè)計(jì)者本人。又過(guò)了3年，這個(gè)程序戰(zhàn)勝了美國(guó)一個(gè)保持8年之久的常勝不敗的冠軍。這個(gè)程序向人們展示了機(jī)器學(xué)習(xí)的能力，提出了許多令人深思的社會(huì)問(wèn)題與哲學(xué)問(wèn)題。

機(jī)器的能力是否能超過(guò)人的，很多持否定意見的人的一個(gè)主要論據(jù)是：機(jī)器是人造的，其性能和動(dòng)作完全是由設(shè)計(jì)者規(guī)定的，因此無(wú)論如何其能力也不會(huì)超過(guò)設(shè)計(jì)者本人。這種意見對(duì)不具備學(xué)習(xí)能力的機(jī)器來(lái)說(shuō)的確是對(duì)的，可是對(duì)具備學(xué)習(xí)能力的機(jī)器就值得考慮了，因?yàn)檫@種機(jī)器的能力在應(yīng)用中不斷地提高，過(guò)一段時(shí)間之后，設(shè)計(jì)者本人也不知它的能力到了何種水平。

機(jī)器學(xué)習(xí)有下面幾種定義： “機(jī)器學(xué)習(xí)是一門人工智能的科學(xué)，該領(lǐng)域的主要研究對(duì)象是人工智能，特別是如何在經(jīng)驗(yàn)學(xué)習(xí)中改善具體算法的性能”。 “機(jī)器學(xué)習(xí)是對(duì)能通過(guò)經(jīng)驗(yàn)自動(dòng)改進(jìn)的計(jì)算機(jī)算法的研究”。 “機(jī)器學(xué)習(xí)是用數(shù)據(jù)或以往的經(jīng)驗(yàn)，以此優(yōu)化計(jì)算機(jī)程序的性能標(biāo)準(zhǔn)。”一種經(jīng)常引用的英文定義是：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.

機(jī)器學(xué)習(xí)已經(jīng)有了十分廣泛的應(yīng)用，例如：數(shù)據(jù)挖掘、計(jì)算機(jī)視覺、自然語(yǔ)言處理、生物特征識(shí)別、搜索引擎、醫(yī)學(xué)診斷、檢測(cè)信用卡欺詐、證券市場(chǎng)分析、DNA序列測(cè)序、語(yǔ)音和手寫識(shí)別、戰(zhàn)略游戲和機(jī)器人運(yùn)用。

機(jī)器學(xué)習(xí)是人工智能研究較為年輕的分支，它的發(fā)展過(guò)程大體上可分為4個(gè)時(shí)期。

第一階段是在20世紀(jì)50年代中葉到60年代中葉，屬于熱烈時(shí)期。

第二階段是在20世紀(jì)60年代中葉至70年代中葉，被稱為機(jī)器學(xué)習(xí)的冷靜時(shí)期。

第三階段是從20世紀(jì)70年代中葉至80年代中葉，稱為復(fù)興時(shí)期。

機(jī)器學(xué)習(xí)的最新階段始于1986年。

機(jī)器學(xué)習(xí)進(jìn)入新階段的重要表現(xiàn)在下列諸方面：

(1)機(jī)器學(xué)習(xí)已成為新的邊緣學(xué)科并在高校形成一門課程。它綜合應(yīng)用心理學(xué)、生物學(xué)和神經(jīng)生理學(xué)以及數(shù)學(xué)、自動(dòng)化和計(jì)算機(jī)科學(xué)形成機(jī)器學(xué)習(xí)理論基礎(chǔ)。

(2)結(jié)合各種學(xué)習(xí)方法，取長(zhǎng)補(bǔ)短的多種形式的集成學(xué)習(xí)系統(tǒng)研究正在興起。特別是連接學(xué)習(xí)符號(hào)學(xué)習(xí)的耦合可以更好地解決連續(xù)性信號(hào)處理中知識(shí)與技能的獲取與求精問(wèn)題而受到重視。

(3)機(jī)器學(xué)習(xí)與人工智能各種基礎(chǔ)問(wèn)題的統(tǒng)一性觀點(diǎn)正在形成。例如學(xué)習(xí)與問(wèn)題求解結(jié)合進(jìn)行、知識(shí)表達(dá)便于學(xué)習(xí)的觀點(diǎn)產(chǎn)生了通用智能系統(tǒng)SOAR的組塊學(xué)習(xí)。類比學(xué)習(xí)與問(wèn)題求解結(jié)合的基于案例方法已成為經(jīng)驗(yàn)學(xué)習(xí)的重要方向。

(4)各種學(xué)習(xí)方法的應(yīng)用范圍不斷擴(kuò)大，一部分已形成商品。歸納學(xué)習(xí)的知識(shí)獲取工具已在診斷分類型專家系統(tǒng)中廣泛使用。連接學(xué)習(xí)在聲圖文識(shí)別中占優(yōu)勢(shì)。分析學(xué)習(xí)已用于設(shè)計(jì)綜合型專家系統(tǒng)。遺傳算法與強(qiáng)化學(xué)習(xí)在工程控制中有較好的應(yīng)用前景。與符號(hào)系統(tǒng)耦合的神經(jīng)網(wǎng)絡(luò)連接學(xué)習(xí)將在企業(yè)的智能管理與智能機(jī)器人運(yùn)動(dòng)規(guī)劃中發(fā)揮作用。

(5)與機(jī)器學(xué)習(xí)有關(guān)的學(xué)術(shù)活動(dòng)空前活躍。國(guó)際上除每年一次的機(jī)器學(xué)習(xí)研討會(huì)外，還有計(jì)算機(jī)學(xué)習(xí)理論會(huì)議以及遺傳算法會(huì)議。

學(xué)習(xí)是一項(xiàng)復(fù)雜的智能活動(dòng)，學(xué)習(xí)過(guò)程與推理過(guò)程是緊密相連的，按照學(xué)習(xí)中使用推理的多少，機(jī)器學(xué)習(xí)所采用的策略大體上可分為4種——機(jī)械學(xué)習(xí)、通過(guò)傳授學(xué)習(xí)、類比學(xué)習(xí)和通過(guò)事例學(xué)習(xí)。學(xué)習(xí)中所用的推理越多，系統(tǒng)的能力越強(qiáng)。

表示學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)。環(huán)境向系統(tǒng)的學(xué)習(xí)部分提供某些信息，學(xué)習(xí)部分利用這些信息修改知識(shí)庫(kù)，以增進(jìn)系統(tǒng)執(zhí)行部分完成任務(wù)的效能，執(zhí)行部分根據(jù)知識(shí)庫(kù)完成任務(wù)，同時(shí)把獲得的信息反饋給學(xué)習(xí)部分。在具體的應(yīng)用中，環(huán)境，知識(shí)庫(kù)和執(zhí)行部分決定了具體的工作內(nèi)容，學(xué)習(xí)部分所需要解決的問(wèn)題完全由上述3部分確定。下面我們分別敘述這3部分對(duì)設(shè)計(jì)學(xué)習(xí)系統(tǒng)的影響。

影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的最重要的因素是環(huán)境向系統(tǒng)提供的信息。或者更具體地說(shuō)是信息的質(zhì)量。知識(shí)庫(kù)里存放的是指導(dǎo)執(zhí)行部分動(dòng)作的一般原則，但環(huán)境向?qū)W習(xí)系統(tǒng)提供的信息卻是各種各樣的。如果信息的質(zhì)量比較高，與一般原則的差別比較小，則學(xué)習(xí)部分比較容易處理。如果向?qū)W習(xí)系統(tǒng)提供的是雜亂無(wú)章的指導(dǎo)執(zhí)行具體動(dòng)作的具體信息，則學(xué)習(xí)系統(tǒng)需要在獲得足夠數(shù)據(jù)之后，刪除不必要的細(xì)節(jié)，進(jìn)行總結(jié)推廣，形成指導(dǎo)動(dòng)作的一般原則，放入知識(shí)庫(kù)，這樣學(xué)習(xí)部分的任務(wù)就比較繁重，設(shè)計(jì)起來(lái)也較為困難。

因?yàn)閷W(xué)習(xí)系統(tǒng)獲得的信息往往是不完全的，所以學(xué)習(xí)系統(tǒng)所進(jìn)行的推理并不完全是可靠的，它總結(jié)出來(lái)的規(guī)則可能正確，也可能不正確。這要通過(guò)執(zhí)行效果加以檢驗(yàn)。正確的規(guī)則能使系統(tǒng)的效能提高，應(yīng)予保留；不正確的規(guī)則應(yīng)予修改或從數(shù)據(jù)庫(kù)中刪除。

知識(shí)庫(kù)是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第二個(gè)因素。知識(shí)的表示有多種形式，比如特征向量、一階邏輯語(yǔ)句、產(chǎn)生式規(guī)則、語(yǔ)義網(wǎng)絡(luò)和框架等等。這些表示方式各有其特點(diǎn)，在選擇表示方式時(shí)要兼顧以下4個(gè)方面：

(1)表達(dá)能力強(qiáng)。

(2)易于推理。

(3)容易修改知識(shí)庫(kù)。

(4)知識(shí)表示易于擴(kuò)展。

對(duì)于知識(shí)庫(kù)最后需要說(shuō)明的一個(gè)問(wèn)題是學(xué)習(xí)系統(tǒng)不能在全然沒有任何知識(shí)的情況下憑空獲取知識(shí)，每一個(gè)學(xué)習(xí)系統(tǒng)都要求具有某些知識(shí)理解環(huán)境提供的信息，分析比較，做出假設(shè)，檢驗(yàn)并修改這些假設(shè)。因此，更確切地說(shuō)，學(xué)習(xí)系統(tǒng)是對(duì)現(xiàn)有知識(shí)的擴(kuò)展和改進(jìn)。

執(zhí)行部分是整個(gè)學(xué)習(xí)系統(tǒng)的核心，因?yàn)閳?zhí)行部分的動(dòng)作就是學(xué)習(xí)部分力求改進(jìn)的動(dòng)作。同執(zhí)行部分有關(guān)的問(wèn)題有3個(gè)：復(fù)雜性、反饋和透明性。

本程序?qū)⒏鶕?jù)您的評(píng)價(jià)判斷執(zhí)行結(jié)果"1+1=2"

實(shí)際上僅用了最簡(jiǎn)單的if else for語(yǔ)句

這就是一個(gè)機(jī)器學(xué)習(xí)的例子，通過(guò)環(huán)境影響來(lái)進(jìn)行學(xué)習(xí)。

通過(guò)本例我們不難看出，在人工錯(cuò)誤的引導(dǎo)下，機(jī)器會(huì)給出錯(cuò)誤的答案1+1不等于2。

所以此類學(xué)習(xí)方法，一定要在正確引導(dǎo)下實(shí)踐，否則會(huì)得到最壞的結(jié)果。

學(xué)習(xí)完畢后，計(jì)算機(jī)會(huì)記錄本次學(xué)習(xí)結(jié)果，存入數(shù)據(jù)庫(kù)，下次執(zhí)行相應(yīng)任務(wù)時(shí)，再將結(jié)果調(diào)出執(zhí)行。

基于學(xué)習(xí)策略的分類

學(xué)習(xí)策略是指學(xué)習(xí)過(guò)程中系統(tǒng)所采用的推理策略。一個(gè)學(xué)習(xí)系統(tǒng)總是由學(xué)習(xí)和環(huán)境兩部分組成。由環(huán)境（如書本或教師）提供信息，學(xué)習(xí)部分則實(shí)現(xiàn)信息轉(zhuǎn)換，用能夠理解的形式記憶下來(lái)，并從中獲取有用的信息。在學(xué)習(xí)過(guò)程中，學(xué)生（學(xué)習(xí)部分）使用的推理越少，他對(duì)教師（環(huán)境）的依賴就越大，教師的負(fù)擔(dān)也就越重。學(xué)習(xí)策略的分類標(biāo)準(zhǔn)就是根據(jù)學(xué)生實(shí)現(xiàn)信息轉(zhuǎn)換所需的推理多少和難易程度來(lái)分類的，依從簡(jiǎn)單到復(fù)雜，從少到多的次序分為以下六種基本類型：

1）機(jī)械學(xué)習(xí) (Rote learning)

學(xué)習(xí)者無(wú)需任何推理或其它的知識(shí)轉(zhuǎn)換，直接吸取環(huán)境所提供的信息。如塞繆爾的跳棋程序，紐厄爾和西蒙的LT系統(tǒng)。這類學(xué)習(xí)系統(tǒng)主要考慮的是如何索引存貯的知識(shí)并加以利用。系統(tǒng)的學(xué)習(xí)方法是直接通過(guò)事先編好、構(gòu)造好的程序來(lái)學(xué)習(xí)，學(xué)習(xí)者不作任何工作，或者是通過(guò)直接接收既定的事實(shí)和數(shù)據(jù)進(jìn)行學(xué)習(xí)，對(duì)輸入信息不作任何的推理。

2）示教學(xué)習(xí) (Learning from instruction或Learning by being told)

學(xué)生從環(huán)境（教師或其它信息源如教科書等）獲取信息，把知識(shí)轉(zhuǎn)換成內(nèi)部可使用的表示形式，并將新的知識(shí)和原有知識(shí)有機(jī)地結(jié)合為一體。所以要求學(xué)生有一定程度的推理能力，但環(huán)境仍要做大量的工作。教師以某種形式提出和組織知識(shí)，以使學(xué)生擁有的知識(shí)可以不斷地增加。這種學(xué)習(xí)方法和人類社會(huì)的學(xué)校教學(xué)方式相似，學(xué)習(xí)的任務(wù)就是建立一個(gè)系統(tǒng)，使它能接受教導(dǎo)和建議，并有效地存貯和應(yīng)用學(xué)到的知識(shí)。不少專家系統(tǒng)在建立知識(shí)庫(kù)時(shí)使用這種方法去實(shí)現(xiàn)知識(shí)獲取。示教學(xué)習(xí)的一個(gè)典型應(yīng)用例是FOO程序。

3）演繹學(xué)習(xí) (Learning by deduction)

學(xué)生所用的推理形式為演繹推理。推理從公理出發(fā)，經(jīng)過(guò)邏輯變換推導(dǎo)出結(jié)論。這種推理是"保真"變換和特化(specialization)的過(guò)程，使學(xué)生在推理過(guò)程中可以獲取有用的知識(shí)。這種學(xué)習(xí)方法包含宏操作(macro-operation)學(xué)習(xí)、知識(shí)編輯和組塊(Chunking)技術(shù)。演繹推理的逆過(guò)程是歸納推理。

4）類比學(xué)習(xí) (Learning by analogy)

利用二個(gè)不同領(lǐng)域（源域、目標(biāo)域）中的知識(shí)相似性，可以通過(guò)類比，從源域的知識(shí)（包括相似的特征和其它性質(zhì)）推導(dǎo)出目標(biāo)域的相應(yīng)知識(shí)，從而實(shí)現(xiàn)學(xué)習(xí)。類比學(xué)習(xí)系統(tǒng)可以使一個(gè)已有的計(jì)算機(jī)應(yīng)用系統(tǒng)轉(zhuǎn)變?yōu)檫m應(yīng)于新的領(lǐng)域，來(lái)完成原先沒有設(shè)計(jì)的相類似的功能。

類比學(xué)習(xí)需要比上述三種學(xué)習(xí)方式更多的推理。它一般要求先從知識(shí)源（源域）中檢索出可用的知識(shí)，再將其轉(zhuǎn)換成新的形式，用到新的狀況（目標(biāo)域）中去。類比學(xué)習(xí)在人類科學(xué)技術(shù)發(fā)展史上起著重要作用，許多科學(xué)發(fā)現(xiàn)就是通過(guò)類比得到的。例如著名的盧瑟福類比就是通過(guò)將原子結(jié)構(gòu)（目標(biāo)域）同太陽(yáng)系（源域）作類比，揭示了原子結(jié)構(gòu)的奧秘。

5）基于解釋的學(xué)習(xí) (Explanation-based learning, EBL)

學(xué)生根據(jù)教師提供的目標(biāo)概念、該概念的一個(gè)例子、領(lǐng)域理論及可操作準(zhǔn)則，首先構(gòu)造一個(gè)解釋來(lái)說(shuō)明為什么該例子滿足目標(biāo)概念，然后將解釋推廣為目標(biāo)概念的一個(gè)滿足可操作準(zhǔn)則的充分條件。EBL已被廣泛應(yīng)用于知識(shí)庫(kù)求精和改善系統(tǒng)的性能。

著名的EBL系統(tǒng)有迪喬恩（G.DeJong）的GENESIS,米切爾（T.Mitchell）的LEXII和LEAP, 以及明頓（S.Minton）等的PRODIGY。

6）歸納學(xué)習(xí) (Learning from induction)

歸納學(xué)習(xí)是由教師或環(huán)境提供某概念的一些實(shí)例或反例，讓學(xué)生通過(guò)歸納推理得出該概念的一般描述。這種學(xué)習(xí)的推理工作量遠(yuǎn)多于示教學(xué)習(xí)和演繹學(xué)習(xí)，因?yàn)榄h(huán)境并不提供一般性概念描述（如公理）。從某種程度上說(shuō)，歸納學(xué)習(xí)的推理量也比類比學(xué)習(xí)大，因?yàn)闆]有一個(gè)類似的概念可以作為"源概念"加以取用。歸納學(xué)習(xí)是最基本的，發(fā)展也較為成熟的學(xué)習(xí)方法，在人工智能領(lǐng)域中已經(jīng)得到廣泛的研究和應(yīng)用。

基于所獲取知識(shí)的表示形式分類

學(xué)習(xí)系統(tǒng)獲取的知識(shí)可能有：行為規(guī)則、物理對(duì)象的描述、問(wèn)題求解策略、各種分類及其它用于任務(wù)實(shí)現(xiàn)的知識(shí)類型。

對(duì)于學(xué)習(xí)中獲取的知識(shí)，主要有以下一些表示形式：

1）代數(shù)表達(dá)式參數(shù)

學(xué)習(xí)的目標(biāo)是調(diào)節(jié)一個(gè)固定函數(shù)形式的代數(shù)表達(dá)式參數(shù)或系數(shù)來(lái)達(dá)到一個(gè)理想的性能。

2）決策樹

用決策樹來(lái)劃分物體的類屬，樹中每一內(nèi)部節(jié)點(diǎn)對(duì)應(yīng)一個(gè)物體屬性，而每一邊對(duì)應(yīng)于這些屬性的可選值，樹的葉節(jié)點(diǎn)則對(duì)應(yīng)于物體的每個(gè)基本分類。

3）形式文法

在識(shí)別一個(gè)特定語(yǔ)言的學(xué)習(xí)中，通過(guò)對(duì)該語(yǔ)言的一系列表達(dá)式進(jìn)行歸納，形成該語(yǔ)言的形式文法。

4）產(chǎn)生式規(guī)則

產(chǎn)生式規(guī)則表示為條件—?jiǎng)幼鲗?duì)，已被極為廣泛地使用。學(xué)習(xí)系統(tǒng)中的學(xué)習(xí)行為主要是：生成、泛化、特化（Specialization）或合成產(chǎn)生式規(guī)則。

5）形式邏輯表達(dá)式

形式邏輯表達(dá)式的基本成分是命題、謂詞、變量、約束變量范圍的語(yǔ)句，及嵌入的邏輯表達(dá)式。

6）圖和網(wǎng)絡(luò)

有的系統(tǒng)采用圖匹配和圖轉(zhuǎn)換方案來(lái)有效地比較和索引知識(shí)。

7）框架和模式（schema）

每個(gè)框架包含一組槽，用于描述事物（概念和個(gè)體）的各個(gè)方面。

8）計(jì)算機(jī)程序和其它的過(guò)程編碼

獲取這種形式的知識(shí)，目的在于取得一種能實(shí)現(xiàn)特定過(guò)程的能力，而不是為了推斷該過(guò)程的內(nèi)部結(jié)構(gòu)。

9）神經(jīng)網(wǎng)絡(luò)

這主要用在聯(lián)接學(xué)習(xí)中。學(xué)習(xí)所獲取的知識(shí)，最后歸納為一個(gè)神經(jīng)網(wǎng)絡(luò)。

10）多種表示形式的組合

有時(shí)一個(gè)學(xué)習(xí)系統(tǒng)中獲取的知識(shí)需要綜合應(yīng)用上述幾種知識(shí)表示形式。

根據(jù)表示的精細(xì)程度，可將知識(shí)表示形式分為兩大類：泛化程度高的粗粒度符號(hào)表示、??泛化程度低的精粒度亞符號(hào)(sub-symbolic)表示。像決策樹、形式文法、產(chǎn)生式規(guī)則、形式邏輯表達(dá)式、框架和模式等屬于符號(hào)表示類；而代數(shù)表達(dá)式參數(shù)、圖和網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)等則屬亞符號(hào)表示類。

按應(yīng)用領(lǐng)域分類

最主要的應(yīng)用領(lǐng)域有：專家系統(tǒng)、認(rèn)知模擬、規(guī)劃和問(wèn)題求解、數(shù)據(jù)挖掘、網(wǎng)絡(luò)信息服務(wù)、圖象識(shí)別、故障診斷、自然語(yǔ)言理解、機(jī)器人和博弈等領(lǐng)域。

從機(jī)器學(xué)習(xí)的執(zhí)行部分所反映的任務(wù)類型上看，大部分的應(yīng)用研究領(lǐng)域基本上集中于以下兩個(gè)范疇：分類和問(wèn)題求解。

（1）分類任務(wù)要求系統(tǒng)依據(jù)已知的分類知識(shí)對(duì)輸入的未知模式（該模式的描述）作分析，以確定輸入模式的類屬。相應(yīng)的學(xué)習(xí)目標(biāo)就是學(xué)習(xí)用于分類的準(zhǔn)則（如分類規(guī)則）。

（2）問(wèn)題求解任務(wù)要求對(duì)于給定的目標(biāo)狀態(tài),??尋找一個(gè)將當(dāng)前狀態(tài)轉(zhuǎn)換為目標(biāo)狀態(tài)的動(dòng)作序列；機(jī)器學(xué)習(xí)在這一領(lǐng)域的研究工作大部分集中于通過(guò)學(xué)習(xí)來(lái)獲取能提高問(wèn)題求解效率的知識(shí)（如搜索控制知識(shí)，啟發(fā)式知識(shí)等）。

綜合考慮各種學(xué)習(xí)方法出現(xiàn)的歷史淵源、知識(shí)表示、推理策略、結(jié)果評(píng)估的相似性、研究人員交流的相對(duì)集中性以及應(yīng)用領(lǐng)域等諸因素。將機(jī)器學(xué)習(xí)方法區(qū)分為以下六類：

1）經(jīng)驗(yàn)性歸納學(xué)習(xí) (empirical inductive learning)

經(jīng)驗(yàn)性歸納學(xué)習(xí)采用一些數(shù)據(jù)密集的經(jīng)驗(yàn)方法（如版本空間法、ID3法，定律發(fā)現(xiàn)方法）對(duì)例子進(jìn)行歸納學(xué)習(xí)。其例子和學(xué)習(xí)結(jié)果一般都采用屬性、謂詞、關(guān)系等符號(hào)表示。它相當(dāng)于基于學(xué)習(xí)策略分類中的歸納學(xué)習(xí)，但扣除聯(lián)接學(xué)習(xí)、遺傳算法、加強(qiáng)學(xué)習(xí)的部分。

2）分析學(xué)習(xí)（analytic learning）

分析學(xué)習(xí)方法是從一個(gè)或少數(shù)幾個(gè)實(shí)例出發(fā)，運(yùn)用領(lǐng)域知識(shí)進(jìn)行分析。其主要特征為：

·推理策略主要是演繹，而非歸納；

·使用過(guò)去的問(wèn)題求解經(jīng)驗(yàn)（實(shí)例）指導(dǎo)新的問(wèn)題求解，或產(chǎn)生能更有效地運(yùn)用領(lǐng)域知識(shí)的搜索控制規(guī)則。

分析學(xué)習(xí)的目標(biāo)是改善系統(tǒng)的性能，而不是新的概念描述。分析學(xué)習(xí)包括應(yīng)用解釋學(xué)習(xí)、演繹學(xué)習(xí)、多級(jí)結(jié)構(gòu)組塊以及宏操作學(xué)習(xí)等技術(shù)。

3）類比學(xué)習(xí)

它相當(dāng)于基于學(xué)習(xí)策略分類中的類比學(xué)習(xí)。在這一類型的學(xué)習(xí)中比較引人注目的研究是通過(guò)與過(guò)去經(jīng)歷的具體事例作類比來(lái)學(xué)習(xí)，稱為基于范例的學(xué)習(xí)(case_based learning)，或簡(jiǎn)稱范例學(xué)習(xí)。

4）遺傳算法（genetic algorithm）

遺傳算法模擬生物繁殖的突變、交換和達(dá)爾文的自然選擇（在每一生態(tài)環(huán)境中適者生存）。它把問(wèn)題可能的解編碼為一個(gè)向量，稱為個(gè)體，向量的每一個(gè)元素稱為基因，并利用目標(biāo)函數(shù)（相應(yīng)于自然選擇標(biāo)準(zhǔn)）對(duì)群體（個(gè)體的集合）中的每一個(gè)個(gè)體進(jìn)行評(píng)價(jià)，根據(jù)評(píng)價(jià)值（適應(yīng)度）對(duì)個(gè)體進(jìn)行選擇、交換、變異等遺傳操作，從而得到新的群體。遺傳算法適用于非常復(fù)雜和困難的環(huán)境，比如，帶有大量噪聲和無(wú)關(guān)數(shù)據(jù)、事物不斷更新、問(wèn)題目標(biāo)不能明顯和精確地定義，以及通過(guò)很長(zhǎng)的執(zhí)行過(guò)程才能確定當(dāng)前行為的價(jià)值等。同神經(jīng)網(wǎng)絡(luò)一樣，遺傳算法的研究已經(jīng)發(fā)展為人工智能的一個(gè)獨(dú)立分支，其代表人物為霍勒德（J.H.Holland）。

5）聯(lián)接學(xué)習(xí)

典型的聯(lián)接模型實(shí)現(xiàn)為人工神經(jīng)網(wǎng)絡(luò)，其由稱為神經(jīng)元的一些簡(jiǎn)單計(jì)算單元以及單元間的加權(quán)聯(lián)接組成。

6）增強(qiáng)學(xué)習(xí)（reinforcement learning）

增強(qiáng)學(xué)習(xí)的特點(diǎn)是通過(guò)與環(huán)境的試探性（trial and error）交互來(lái)確定和優(yōu)化動(dòng)作的選擇，以實(shí)現(xiàn)所謂的序列決策任務(wù)。在這種任務(wù)中，學(xué)習(xí)機(jī)制通過(guò)選擇并執(zhí)行動(dòng)作，導(dǎo)致系統(tǒng)狀態(tài)的變化，并有可能得到某種強(qiáng)化信號(hào)（立即回報(bào)），從而實(shí)現(xiàn)與環(huán)境的交互。強(qiáng)化信號(hào)就是對(duì)系統(tǒng)行為的一種標(biāo)量化的獎(jiǎng)懲。系統(tǒng)學(xué)習(xí)的目標(biāo)是尋找一個(gè)合適的動(dòng)作選擇策略，即在任一給定的狀態(tài)下選擇哪種動(dòng)作的方法，使產(chǎn)生的動(dòng)作序列可獲得某種最優(yōu)的結(jié)果（如累計(jì)立即回報(bào)最大）。

在綜合分類中，經(jīng)驗(yàn)歸納學(xué)習(xí)、遺傳算法、聯(lián)接學(xué)習(xí)和增強(qiáng)學(xué)習(xí)均屬于歸納學(xué)習(xí)，其中經(jīng)驗(yàn)歸納學(xué)習(xí)采用符號(hào)表示方式，而遺傳算法、聯(lián)接學(xué)習(xí)和加強(qiáng)學(xué)習(xí)則采用亞符號(hào)表示方式；分析學(xué)習(xí)屬于演繹學(xué)習(xí)。

實(shí)際上，類比策略可看成是歸納和演繹策略的綜合。因而最基本的學(xué)習(xí)策略只有歸納和演繹。

從學(xué)習(xí)內(nèi)容的角度看，采用歸納策略的學(xué)習(xí)由于是對(duì)輸入進(jìn)行歸納，所學(xué)習(xí)的知識(shí)顯然超過(guò)原有系統(tǒng)知識(shí)庫(kù)所能蘊(yùn)涵的范圍，所學(xué)結(jié)果改變了系統(tǒng)的知識(shí)演繹閉包, 因而這種類型的學(xué)習(xí)又可稱為知識(shí)級(jí)學(xué)習(xí)；而采用演繹策略的學(xué)習(xí)盡管所學(xué)的知識(shí)能提高系統(tǒng)的效率，但仍能被原有系統(tǒng)的知識(shí)庫(kù)所蘊(yùn)涵，即所學(xué)的知識(shí)未能改變系統(tǒng)的演繹閉包，因而這種類型的學(xué)習(xí)又被稱為符號(hào)級(jí)學(xué)習(xí)。

1）監(jiān)督學(xué)習(xí)(supervised learning)

監(jiān)督學(xué)習(xí)，即在機(jī)械學(xué)習(xí)過(guò)程中提供對(duì)錯(cuò)指示。一般是在數(shù)據(jù)組中包含最終結(jié)果（0，1）。通過(guò)算法讓機(jī)器自我減少誤差。這一類學(xué)習(xí)主要應(yīng)用于分類和預(yù)測(cè) (regression & classify)。監(jiān)督學(xué)習(xí)從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)函數(shù)，當(dāng)新的數(shù)據(jù)到來(lái)時(shí)，可以根據(jù)這個(gè)函數(shù)預(yù)測(cè)結(jié)果。監(jiān)督學(xué)習(xí)的訓(xùn)練集要求是包括輸入和輸出，也可以說(shuō)是特征和目標(biāo)。訓(xùn)練集中的目標(biāo)是由人標(biāo)注的。常見的監(jiān)督學(xué)習(xí)算法包括回歸分析和統(tǒng)計(jì)分類。

2）非監(jiān)督學(xué)習(xí)(unsupervised learning)

非監(jiān)督學(xué)習(xí)又稱歸納性學(xué)習(xí)（clustering）利用K方式(Kmeans)，建立中心（centriole），通過(guò)循環(huán)和遞減運(yùn)算(iteration&descent)來(lái)減小誤差，達(dá)到分類的目的。

機(jī)器學(xué)習(xí)領(lǐng)域的研究工作主要圍繞以下三個(gè)方面進(jìn)行：

（1）面向任務(wù)的研究

研究和分析改進(jìn)一組預(yù)定任務(wù)的執(zhí)行性能的學(xué)習(xí)系統(tǒng)。

（2）認(rèn)知模型

研究人類學(xué)習(xí)過(guò)程并進(jìn)行計(jì)算機(jī)模擬。

（3）理論分析

從理論上探索各種可能的學(xué)習(xí)方法和獨(dú)立于應(yīng)用領(lǐng)域的算法

機(jī)器學(xué)習(xí)是繼專家系統(tǒng)之后人工智能應(yīng)用的又一重要研究領(lǐng)域，也是人工智能和神經(jīng)計(jì)算的核心研究課題之一。現(xiàn)有的計(jì)算機(jī)系統(tǒng)和人工智能系統(tǒng)沒有什么學(xué)習(xí)能力，至多也只有非常有限的學(xué)習(xí)能力，因而不能滿足科技和生產(chǎn)提出的新要求。對(duì)機(jī)器學(xué)習(xí)的討論和機(jī)器學(xué)習(xí)研究的進(jìn)展，必將促使人工智能和整個(gè)科學(xué)技術(shù)的進(jìn)一步發(fā)展。

本書展示了機(jī)器學(xué)習(xí)中核心的算法和理論，并闡明了算法的運(yùn)行過(guò)程。本書綜合了許多的研究成果，例如統(tǒng)計(jì)學(xué)、人工智能、哲學(xué)、信息論、生物學(xué)、認(rèn)知科學(xué)、計(jì)算復(fù)雜性和控制論等，并以此來(lái)理解問(wèn)題的背景、算法和其中的隱含假定。本書可作為計(jì)算機(jī)專業(yè)

本科生、研究生教材，也可作為相關(guān)領(lǐng)域研究人員、教師的參考書。

TOM M.Mitchell是卡內(nèi)基梅隆大學(xué)的教授，講授“機(jī)器(AAA)的主席：美國(guó)《Machine Learning》雜志、國(guó)際機(jī)器學(xué)習(xí)年度會(huì)議（ICML）的創(chuàng)始人：多種技術(shù)雜志的撰稿人，曾發(fā)表過(guò)許多文章，出版過(guò)多本專著，是機(jī)器學(xué)習(xí)領(lǐng)域的著名學(xué)者。

機(jī)器學(xué)習(xí)這門學(xué)科所關(guān)注的問(wèn)題是：計(jì)算機(jī)程序如何隨著經(jīng)驗(yàn)積累自動(dòng)提高性能。機(jī)器學(xué)習(xí)已經(jīng)被成功地應(yīng)用于很多領(lǐng)域，從檢測(cè)信用卡交易欺詐的數(shù)據(jù)挖掘程序，到獲取戶閱讀興趣的信息過(guò)濾系統(tǒng)，再到能在高速公路上自動(dòng)行駛的汽車。同時(shí)，這個(gè)學(xué)科的基理論和算法也有了重大進(jìn)展。

這本教材的目標(biāo)是展現(xiàn)機(jī)器學(xué)習(xí)中核心的算法和理論。機(jī)器學(xué)習(xí)從很多學(xué)科吸收了成果和概念，包括統(tǒng)計(jì)學(xué)、人工智能、哲學(xué)、信息論、生物學(xué)、認(rèn)知科學(xué)、計(jì)算復(fù)雜性和控制等。筆者相信，研究機(jī)器學(xué)習(xí)的最佳途徑是從這些學(xué)科的觀點(diǎn)看待機(jī)器學(xué)習(xí)，并且以此來(lái)理解問(wèn)題的背景、算法以及其中隱含的假定。這些在以往很難做到，因?yàn)樵谶@一領(lǐng)域缺少包容廣泛的原始資料，本書的主要目的就是提供這樣的一份資料。

由于素材的多學(xué)科性，本書不要求讀者具有相應(yīng)的知識(shí)背景，而是在必要時(shí)介紹其他一些學(xué)科的基本概念，如統(tǒng)計(jì)學(xué)、人工智能、信息論等。介紹的重點(diǎn)是與機(jī)器學(xué)習(xí)關(guān)系最密切甲那些概念。本書可以作為計(jì)算機(jī)科學(xué)與工程、統(tǒng)計(jì)學(xué)和社會(huì)科學(xué)等專業(yè)的大學(xué)生或研究生的教材，也可作為軟件研究人員或從業(yè)人員的參考資料。

指導(dǎo)本書寫作的兩條原則為：第一，它是在校大學(xué)生可以理解的；第二，它應(yīng)該包含我希望我自己的博士生在開始他們的器學(xué)習(xí)研究前要掌握的內(nèi)容。

指導(dǎo)本書寫作的第三條原則是：它應(yīng)該體現(xiàn)理論和實(shí)踐間的均衡。機(jī)器學(xué)習(xí)理論致力于回答這樣的問(wèn)題“學(xué)習(xí)性能是怎樣隨著給定的訓(xùn)練樣例的數(shù)量而變化的?”和“對(duì)于各種同類型的學(xué)習(xí)任務(wù)：哪個(gè)學(xué)習(xí)算法最適合?”利用來(lái)自統(tǒng)計(jì)學(xué)、計(jì)算復(fù)雜性和貝葉斯分析的理論成果，這本書討論了這一類理論問(wèn)題。同時(shí)本書也涵蓋很多實(shí)踐方面的內(nèi)容：介紹了這一領(lǐng)域的主要算法，闡明了算法的運(yùn)行過(guò)程。

其中一些算法的實(shí)現(xiàn)和數(shù)據(jù)可以在因特網(wǎng)上通過(guò)網(wǎng)址http：//www．cs．cmu．edu/-tom/mlbook．html得到，包括用于人臉識(shí)別的神經(jīng)網(wǎng)絡(luò)的源代碼和數(shù)據(jù)、用于信貸分析的決策樹學(xué)習(xí)的源代碼和數(shù)據(jù)及分析文本文檔的貝葉分類器的源代碼和數(shù)據(jù)。我很感謝那些幫助我創(chuàng)建這些在線資源的同事，他們是：Jason Rennie、Paul Hsiung、Jeff Shufelt、Matt Glickman、Scott Davies、Joseph O’Sullivan、Ken Lang\Andrew McCallum和Thorsten Joachims。

第1章引言

1．1學(xué)習(xí)問(wèn)題的標(biāo)準(zhǔn)描述

1．2設(shè)計(jì)-個(gè)學(xué)習(xí)系統(tǒng)

1．2．1選擇訓(xùn)練經(jīng)驗(yàn)

1．2．2選擇目標(biāo)函數(shù)

1．2．3選擇目標(biāo)函數(shù)的表示

1. 2．4選擇函數(shù)逼近算法

1．2．5最終設(shè)計(jì)

1．3機(jī)器學(xué)習(xí)的一些觀點(diǎn)和問(wèn)題

1．4如何閱讀本書

1．5小結(jié)和補(bǔ)充讀物

習(xí)題

第2章概念學(xué)習(xí)和一般到特殊序

2．1簡(jiǎn)介

2．2概念學(xué)習(xí)任務(wù)

2．2．1術(shù)語(yǔ)定義

2．2．2歸納學(xué)習(xí)假設(shè)

2．3作為搜索的概念學(xué)習(xí)

2．4FIND-S：尋找極大特殊假設(shè)

2．5變型空間和候選消除算法

2．5．1表示

2．5．2列表后消除算法

2．5．3變型空間的更簡(jiǎn)潔表示

2．5．4候選消除學(xué)習(xí)算法

2．5．5算法的舉例

2．6關(guān)于變型空間和候選消除的說(shuō)明

2．6．1候選消除算法是否會(huì)收斂到正確的假設(shè)

2．6．2下一步需要什么樣的訓(xùn)練樣例

2．6．3怎樣使用不完全學(xué)習(xí)概念

2．7歸納偏置

2．7．1-個(gè)有偏的假設(shè)空間

2．7．2無(wú)偏的學(xué)習(xí)器

2．7．3無(wú)偏學(xué)習(xí)的無(wú)用性

2．8小始和補(bǔ)充讀物

習(xí)題

第3章決策樹學(xué)習(xí)

3．1簡(jiǎn)介

3．2決策樹表示法

3．3決策樹學(xué)習(xí)的適用問(wèn)題

3．4基本的決策樹學(xué)習(xí)算法

3．4．1哪個(gè)屬性是最佳的分類屬性

3．4．2舉例

3．5決策樹學(xué)習(xí)中的假設(shè)空間搜索

3．6決策樹學(xué)習(xí)的歸納偏置

3．6．1限定偏置和優(yōu)選偏置

3．6．2為什么短的假設(shè)優(yōu)先

3．7決策樹學(xué)習(xí)的常見問(wèn)題

3．7．1避免過(guò)度擬合數(shù)據(jù)

3. 7．2合并連續(xù)值屬性

3．7．3屬性選擇的其他度量標(biāo)準(zhǔn)

3．7．4處理缺少屬性值的訓(xùn)練樣例

3．7．5處理不同代價(jià)的屬性

3．8小結(jié)和補(bǔ)充讀物

習(xí)題

第4章人工神經(jīng)網(wǎng)絡(luò)

4．1簡(jiǎn)介

4．2神經(jīng)網(wǎng)絡(luò)表示

4．3適合神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的問(wèn)題

4．4感知器

4．4．1感知器的表征能力

4. 4．2感知器訓(xùn)練法則

4．4．3梯度下降和delta法則

4．4．4小結(jié)

4．5多層網(wǎng)絡(luò)和反向傳播算法

4．5．1可微閾值單元

4．5．2反向傳播算法

4．5．3反向傳播法則的推導(dǎo)

4．6反向傳播算法的說(shuō)明

4．6．1收斂性和局部極小值

4．6．2前饋網(wǎng)絡(luò)的表征能力

4．6．3假設(shè)空間搜索和歸納偏置

4．6．4隱藏層表示

4．6．5泛化、過(guò)度擬合和停止判據(jù)

4．7舉例：人臉識(shí)別

4．7．1任務(wù)

4．7．2設(shè)計(jì)要素

4．7．3學(xué)習(xí)到的隱藏層表示

4．8人工神經(jīng)網(wǎng)絡(luò)的高級(jí)課題

4．8．1其他可選的誤差函數(shù)

4．8．2其他可選的誤差最小化過(guò)程

4．8．3遞歸網(wǎng)絡(luò)

4．8．4動(dòng)態(tài)修改網(wǎng)絡(luò)結(jié)構(gòu)

4．9小結(jié)和補(bǔ)充讀物

習(xí)題

第5章評(píng)估假設(shè)

5．1動(dòng)機(jī)

5．2估計(jì)假設(shè)精度

5．2．1樣本錯(cuò)誤率和真實(shí)錯(cuò)誤率

5．2．2離散值假設(shè)的置信區(qū)間

5．3采樣理論基礎(chǔ)

5．3．1錯(cuò)誤率估計(jì)和二項(xiàng)比例估計(jì)

5．3．2二項(xiàng)分布

5．3．3均值和方差

5．3．4估計(jì)量、偏差和方差

5．3．5置信區(qū)間

5．3．6雙側(cè)和單側(cè)邊界

5．4推導(dǎo)置信區(qū)間的一般方法

5．5兩個(gè)假設(shè)錯(cuò)誤率間的差異

5．6學(xué)習(xí)算法比較

5．6. 1配對(duì)t測(cè)試

5．6．2實(shí)際考慮

5．7小結(jié)和補(bǔ)充讀物

習(xí)題

第6章貝葉斯學(xué)習(xí)

6．1簡(jiǎn)介

6．2貝葉斯法則

6．3貝葉斯法則和概念學(xué)習(xí)

6．3．1BRUTE-FORCE貝葉斯概念學(xué)習(xí)

6．3．2MAP假設(shè)和一致學(xué)習(xí)器

6．4極大似然和最小誤差平方假設(shè)

6．5用于預(yù)測(cè)概率的極大似然假設(shè)

6．6最小描述長(zhǎng)度準(zhǔn)則

6．7貝葉斯最優(yōu)分類器

6．8GIBBS算法

6．9樸素貝葉斯分類器

6．10舉例：學(xué)習(xí)分類文本

6．11貝葉斯信念網(wǎng)

6．11．1條件獨(dú)立性

6．11．2表示

6．11．3推理

6．11．4學(xué)習(xí)貝葉斯信念網(wǎng)

6．11．5貝葉斯網(wǎng)的梯度上升訓(xùn)練

6．11．6學(xué)習(xí)貝葉斯網(wǎng)的結(jié)構(gòu)

6．12EM算法

6．12．1估計(jì)k個(gè)高斯分布的均值

6．12．2EM算法的一般表述

6．12．3k均值算法的推導(dǎo)

6．13小結(jié)和補(bǔ)充讀物

習(xí)題

第7章計(jì)算學(xué)習(xí)理論

7．1簡(jiǎn)介

7．2可能學(xué)習(xí)近似正確假設(shè)

7．2．1問(wèn)題框架

7．2．2假設(shè)的錯(cuò)誤率

7．2．3PAC可學(xué)習(xí)性

7．3有限假設(shè)空間的樣本復(fù)雜度

7．3．1不可知學(xué)習(xí)和不一致假設(shè)

7．3．2布爾文字的合取是PAC可學(xué)習(xí)的

7．3．3其他概念類別的PAC可學(xué)習(xí)性

7．4無(wú)限假設(shè)空間的樣本復(fù)雜度

7．4．1打散一個(gè)實(shí)例集合

7．4．2Vapnik-Chervonenkis維度

7．4．3樣本復(fù)雜度和VC維

7．4．4神經(jīng)網(wǎng)絡(luò)的VC維

7．5學(xué)習(xí)的出錯(cuò)界限模型

7．5．1FIND-S算法的出錯(cuò)界限

7．5．2HALVING算法的出錯(cuò)界限

7．5．3最優(yōu)出錯(cuò)界限

7．5．4加權(quán)多數(shù)算法

7．6小結(jié)和補(bǔ)充讀物

習(xí)題

第8章基于實(shí)例的學(xué)習(xí)

8．1簡(jiǎn)介

8．2k-近鄰算法

8．2．1距離加權(quán)最近鄰算法

8．2．2對(duì)k-近鄰算法的說(shuō)明

8．2．3術(shù)語(yǔ)注解

8．3局部加權(quán)回歸

8．3．1局部加權(quán)線性回歸

8．3．2局部加權(quán)回歸的說(shuō)明

8．4徑向基函數(shù)

8．5基于案例的推理

8．6對(duì)消極學(xué)習(xí)和積極學(xué)習(xí)的評(píng)論

8．7小結(jié)和補(bǔ)充讀物

習(xí)題

第9章遺傳算法

9．1動(dòng)機(jī)

9．2遺傳算法

9．2．1表示假設(shè)

9．2．2遺傳算子

9．2．3適應(yīng)度函數(shù)和假設(shè)選擇

9．3舉例

9．4假設(shè)空間搜索

9．5遺傳編程

9．5．1程序表示

9．5．2舉例

9．5．3遺傳編程說(shuō)明

9．6進(jìn)化和學(xué)習(xí)模型

9．6．1拉馬克進(jìn)化

9．6．2鮑德溫效應(yīng)

9．7并行遺傳算法

9．8小結(jié)和補(bǔ)充讀物

習(xí)題

第10章學(xué)習(xí)規(guī)則集合

10．1簡(jiǎn)介

10．2序列覆蓋算法

10．2．1一般到特殊的柱狀搜索

10．2．2幾種變型

10．3學(xué)習(xí)規(guī)則集：小結(jié)

10．4學(xué)習(xí)一階規(guī)則

10．4．1一階Horn子句

10．4．2術(shù)語(yǔ)

10．5學(xué)習(xí)一階規(guī)則集：FOIL

10．5．1FOIL中的候選特化式的生成

10．5．2引導(dǎo)FOIL的搜索

10．5．3學(xué)習(xí)遞歸規(guī)則集

10．5．4FOIL小結(jié)

10．6作為逆演繹的歸納

10．7逆歸納

10．7．1一階歸納

10．7．2逆歸納：一階情況

10．7．3逆歸納小結(jié)

10．7．4泛化、-包容和涵蘊(yùn)

10．7．5PROGOL

10．8小結(jié)和補(bǔ)充讀物

習(xí)題

第11章分析學(xué)習(xí)

11．1簡(jiǎn)介

11．2用完美的領(lǐng)域理論學(xué)習(xí)：PROLOG-EBG

11．3對(duì)基于解釋的學(xué)習(xí)的說(shuō)明

11．3．1發(fā)現(xiàn)新特征

11．3．2演繹學(xué)習(xí)

11．3．3基于解釋的學(xué)習(xí)的歸納偏置

11．3．4知識(shí)級(jí)的學(xué)習(xí)

11．4搜索控制知識(shí)的基于解釋的學(xué)習(xí)

11．5小結(jié)和補(bǔ)充讀物

習(xí)題

第12章歸納和分析學(xué)習(xí)的結(jié)合

12．1動(dòng)機(jī)

12．2學(xué)習(xí)的歸納-分析途徑

12．2．1學(xué)習(xí)問(wèn)題

12．2．2假設(shè)空間搜索

12．3使用先驗(yàn)知識(shí)得到初始假設(shè)

12．3．1KBANN算法

12．3．2舉例

12．3．3說(shuō)明

12．4使用先驗(yàn)知識(shí)改變搜索目標(biāo)

12．4．1TANGENTPROP算法

12．4．2舉例

12．4．3說(shuō)明

12．4．4EBNN算法

12．4．5說(shuō)明

12．5使用先驗(yàn)知識(shí)來(lái)擴(kuò)展搜索算子

12．5．1FOCL算法

12．5．2說(shuō)明

12．6研究現(xiàn)狀

12．7小結(jié)和補(bǔ)充讀物

習(xí)題

第13章增強(qiáng)學(xué)習(xí)

13．1簡(jiǎn)介

13．2學(xué)習(xí)任務(wù)

13．3Q學(xué)習(xí)

13．3．1Q函數(shù)

13．3．2一個(gè)學(xué)習(xí)Q的算法

13．3．3舉例

13．3．4收斂性

13．3．5實(shí)驗(yàn)策略

13．3．6更新序列

13．4非確定性回報(bào)和動(dòng)作

13．5時(shí)間差分學(xué)習(xí)

13．6從樣例中泛化

13．7與動(dòng)態(tài)規(guī)劃的聯(lián)樂(lè)

13．8小結(jié)和補(bǔ)充讀物

習(xí)題

附錄符號(hào)約定

相關(guān)圖書2

原作名:Machine Learning for Hackers

作者:（美）Drew Conway/John Myles White

譯者：陳開江/劉逸哲/孟曉楠/羅森林 審校

出版社：機(jī)械工業(yè)出版社

頁(yè)數(shù):320

定價(jià):69.00

ISBN:9787111417316

這本書為機(jī)器學(xué)習(xí)技術(shù)提供了一些非常棒的案例研究。它并不想成為一本關(guān)于機(jī)器學(xué)習(xí)的工具書或者理論書籍，它注重的是一個(gè)學(xué)習(xí)的過(guò)程，因而對(duì)于任何有一些編程背景和定量思維的人來(lái)說(shuō)，它都是不錯(cuò)的選擇。

——Max Shron OkCupid

本書主要內(nèi)容：

?開發(fā)一個(gè)樸素貝葉斯分類器，僅僅根據(jù)郵件的文本信息來(lái)判斷這封郵件是否是垃圾郵件；

?使用線性回歸來(lái)預(yù)測(cè)互聯(lián)網(wǎng)排名前1000網(wǎng)站的PV；

?利用文本回歸理解圖書中詞與詞之間的關(guān)系；

?通過(guò)嘗試破譯一個(gè)簡(jiǎn)單的密碼來(lái)學(xué)習(xí)優(yōu)化技術(shù)；

?利用無(wú)監(jiān)督學(xué)習(xí)構(gòu)建股票市場(chǎng)指數(shù)，用于衡量整體市場(chǎng)行情的好壞；

?根據(jù)美國(guó)參議院的投票情況，從統(tǒng)計(jì)學(xué)的角度對(duì)美國(guó)參議員聚類；

?通過(guò)K近鄰算法構(gòu)建向用戶推薦R語(yǔ)言包；

?利用Twitter數(shù)據(jù)來(lái)構(gòu)建一個(gè)“你可能感興趣的人”的推薦系統(tǒng)；

?模型比較：給你的問(wèn)題找到最佳算法。

Drew Conway 機(jī)器學(xué)習(xí)專家，擁有豐富的數(shù)據(jù)分析與處理工作經(jīng)驗(yàn)。主要利用數(shù)學(xué)、統(tǒng)計(jì)學(xué)和計(jì)算機(jī)技術(shù)研究國(guó)際關(guān)系、沖突和恐怖主義等。他曾作為研究員在美國(guó)情報(bào)和國(guó)防部門供職數(shù)年。他擁有紐約大學(xué)政治系博士學(xué)位，曾為多種雜志撰寫文章，是機(jī)器學(xué)習(xí)領(lǐng)域的著名學(xué)者。

John Myles White 機(jī)器學(xué)習(xí)專家，擁有豐富的數(shù)據(jù)分析與處理工作經(jīng)驗(yàn)。主要從理論和實(shí)驗(yàn)的角度來(lái)研究人類如何做出決定，同時(shí)還是幾個(gè)流行的R語(yǔ)言程序包的主要維護(hù)者，包括ProjectTemplate和log4r。他擁有普林斯頓大學(xué)哲學(xué)系博士學(xué)位，曾為多家技術(shù)雜志撰稿，發(fā)表過(guò)許多關(guān)于機(jī)器學(xué)習(xí)的論文，并在眾多國(guó)際會(huì)議上發(fā)表演講。

羅森林

博士，教授，博導(dǎo)。現(xiàn)任北京理工大學(xué)信息系統(tǒng)及安全對(duì)抗實(shí)驗(yàn)中心主任、專業(yè)責(zé)任教授。國(guó)防科技工業(yè)局科學(xué)技術(shù)委員會(huì)成員；《中國(guó)醫(yī)學(xué)影像技術(shù)雜志》、《中國(guó)介入影像與治療學(xué)》編委會(huì)委員；全國(guó)大學(xué)生信息安全技術(shù)專題邀請(qǐng)賽專家組副組長(zhǎng)；中國(guó)人工智能學(xué)會(huì)智能信息安全專業(yè)委員會(huì)委員等。主要研究方向?yàn)樾畔踩?shù)據(jù)挖掘、媒體計(jì)算、中文信息處理等。負(fù)責(zé)或參加完成國(guó)家自然科學(xué)基金、國(guó)家科技支撐計(jì)劃、863計(jì)劃、國(guó)家242計(jì)劃等省部級(jí)以上項(xiàng)目40余項(xiàng)。已發(fā)表學(xué)術(shù)論文90余篇，出版著作8部，出版譯著1部，獲授權(quán)專利3項(xiàng)。

陳開江

新浪微博搜索部研發(fā)工程師，曾獨(dú)立負(fù)責(zé)微博內(nèi)容反垃圾系統(tǒng)、微博精選內(nèi)容挖掘算法、自助客服系統(tǒng)（包括自動(dòng)回復(fù)、主動(dòng)挖掘、輿情監(jiān)測(cè)）等項(xiàng)目，主要從事社交挖掘、推薦算法研究、機(jī)器學(xué)習(xí)、自然語(yǔ)言處理相關(guān)工作，研究興趣是社交網(wǎng)絡(luò)的個(gè)性化推薦。

劉逸哲

阿里巴巴，CBU基礎(chǔ)平臺(tái)部搜索與推薦團(tuán)隊(duì)核心技術(shù)與query分析方向負(fù)責(zé)人，機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域及圈子負(fù)責(zé)人。曾任中國(guó)雅虎相關(guān)性團(tuán)隊(duì)、自然語(yǔ)言處理團(tuán)隊(duì)算法工程師；AvePoint.inc開發(fā)工程師，從事企業(yè)級(jí)搜索引擎開發(fā)。研究興趣是機(jī)器學(xué)習(xí)、自然語(yǔ)言處理及個(gè)性化推薦等算法在大規(guī)模數(shù)據(jù)上的應(yīng)用。

孟曉楠

一淘廣告技術(shù)，阿里非搜索廣告算法負(fù)責(zé)人，負(fù)責(zé)用戶行為分析、建模與細(xì)分，RTB競(jìng)價(jià)算法，展示廣告CTR預(yù)估與SEM優(yōu)化。曾工作于網(wǎng)易杭州研究院，參與過(guò)分布式全文檢索系統(tǒng)和網(wǎng)易博客產(chǎn)品的數(shù)據(jù)挖掘算法開發(fā)。研究興趣是計(jì)算廣告技術(shù)、機(jī)器學(xué)習(xí)、大數(shù)據(jù)技術(shù)、信息檢索等。