從事IT范疇任務(wù)二十年以來，我發(fā)明人工智能技巧慢慢從概念轉(zhuǎn)向現(xiàn)實——機械進修技巧位于前沿，而且變得更容易于應(yīng)用，即便關(guān)于沒有專業(yè)常識的團隊也是如斯。

　　跟著愈來愈多的團隊應(yīng)用猜測模子，引導者和治理者必需認識到能夠會歪曲團隊任務(wù)成果的罕見成績。為了完成靠得住的機械進修進程，以下是要防止的九個罕見圈套，和可采取的最好理論辦法。

　　圈套1：抽樣誤差

　　任何機械進修項目標終點都是選擇練習數(shù)據(jù)。平日，組織機構(gòu)有一些可用的數(shù)據(jù)，或許可以辨認相干的內(nèi)部供給商，例如公營企業(yè)或行業(yè)協(xié)會。這是成績開端的處所。

　　建模團隊及其營業(yè)資助商必需界說要應(yīng)用的數(shù)據(jù)集。選擇一個會曲解或低估現(xiàn)實案例的數(shù)據(jù)聚會會議很輕易惹起誤差，這會歪曲成果。例如，一個拜訪只選擇在特定地位行走的人群，但卻將他們看成安康人群的過度代表。

　　處理計劃：為防止采樣誤差，團隊必需包管他們是真正地隨機選擇數(shù)據(jù)，而不是僅僅由于應(yīng)用簡略就應(yīng)用特定案例。關(guān)于指點有用的數(shù)據(jù)選擇而言，幻想數(shù)據(jù)集的清楚界說和模子的邏輯相當主要。經(jīng)由過程在晚期階段與企業(yè)一切者協(xié)作，讓幾位評審人員驗證選擇尺度，機械進修團隊可以確保他們的數(shù)據(jù)采樣辦法有效并靠得住。

　　圈套2：不相干的功效選擇

　　在很多情形下，因為變量選擇的纖細差異，建模師碰見了很多艱苦。很多技巧須要年夜量功效集來推進進修進程。然則，為了搜集足夠的進修數(shù)據(jù)，確保您獲得了準確且相干的功效能夠異常具有挑釁性。

　　處理計劃：構(gòu)建一特性能優(yōu)越的模子的進程須要細心的摸索和剖析，以確保您選擇和設(shè)計恰當?shù)墓πА６梅懂牶桶ㄖ黝}專家，是選擇準確功效最主要的兩個驅(qū)動身分。另外，諸如遞歸特點清除（recursive feature elimination，RFE），隨機叢林（random forest），主成份剖析（principal component analysis，PCA）和主動編碼器等技巧有助于將建模任務(wù)集中在多數(shù)幾個更有用的功效上。

　　圈套3：數(shù)據(jù)泄漏

　　機械進修團隊能夠會有時地搜集建模數(shù)據(jù)，應(yīng)用的尺度是團隊試圖猜測成果的一部門，是以，模子會顯示出優(yōu)良到掉真的機能。例如，一個團隊能夠毛病的包括了一個在旨在猜測疾病的模子中指導某些疾病醫(yī)治的變量。

　　處理計劃：建模團隊必需細心構(gòu)建他們的數(shù)據(jù)集，在模子估量成果之前僅應(yīng)用練習時現(xiàn)實可用的數(shù)據(jù)。

　　圈套4：缺乏數(shù)據(jù)

　　在某些情形下，因為缺乏某些記載，數(shù)據(jù)聚會會議變得不完全。毛病地調(diào)劑該前提或假定沒出缺掉值，建模師能夠會對成果的認知發(fā)生嚴重誤差。例如，缺掉的數(shù)據(jù)能夠其實不老是隨機的，例如，當查詢拜訪受訪者不太能夠答復某個特定成績時。是以，均勻預算能夠會誤導模子。

　　處理計劃：假如您沒法設(shè)計培訓籌劃以確保應(yīng)用完全的數(shù)據(jù)集，則可以采取統(tǒng)計技巧，包含拋棄缺掉值的記載，或應(yīng)用恰當?shù)牟逖a戰(zhàn)略來預算缺掉的數(shù)據(jù)值。

　　圈套5：禁絕確的縮放和尺度化

　　構(gòu)建用于機械進修任務(wù)的數(shù)據(jù)集平日須要團隊搜集分歧類型的輸出端，這些輸出端有著分歧的權(quán)衡標準。在樹立模子之前，假如未能調(diào)劑變量的值以許可通用比例，線性回歸（linear regression），支撐向量機（support vector machine，SVN），或k近鄰（k nearest neighbors，KNN）等算法會遭到很年夜影響。這些成績的涌現(xiàn)在于規(guī)模年夜的話會招致功效的高度變更，是以，它們能夠變很多余。例如，假如您將二者都看成未處置的投入應(yīng)用，那末薪水的數(shù)據(jù)能夠會取得頻年齡更重的權(quán)重。

　　處理計劃：在開端樹立模子之前，您必需當心地對數(shù)據(jù)集停止尺度化。您可以經(jīng)由過程經(jīng)常使用統(tǒng)計技巧（如尺度化或功效縮放）來轉(zhuǎn)換數(shù)據(jù)集，這取決于數(shù)據(jù)的類型和團隊的首選算法。

　　圈套6：疏忽異常值

　　忘卻異常值能夠會對模子的機能發(fā)生嚴重影響。例如，像AdaBoost如許的算法會將異常值視為艱苦情形，并將不恰當?shù)臋?quán)重放在恰當?shù)牡匚簧希鴽Q議計劃樹更寬容。另外，分歧的用例須要分歧的離群值處置。例如，在發(fā)明訛詐行動的情形下，應(yīng)重點存眷存款中異常值。

　　處理計劃：要處理此類成績，您的團隊應(yīng)當應(yīng)用建模算法，它可以或許準確處置異常值，或許在建模前過濾異常值。優(yōu)越的開始在于讓您的團隊做一個初步檢討，以肯定數(shù)據(jù)中能否存在異常值。最簡略的辦法是審查數(shù)據(jù)的圖標或檢討任何數(shù)值，它們能夠是幾個尺度差，或更闊別均勻值的數(shù)值。

　　圈套7：盤算毛病功效

　　當一個團隊為建模供給投入時，微分進程中的任何毛病都能夠會為模子帶來誤導性輸出。毫無破例，不管團隊若何構(gòu)建，模子都出人意料地發(fā)生了弗成靠的成果。這個成績的一個例子是，一個團隊弱化了一個依附于盤算的應(yīng)用率的信譽評分猜測模子，由于這個團隊包含來自負用申報的不活潑商業(yè)信息。

　　處理計劃：建模師必需細心檢討團隊若何獲得數(shù)據(jù)。癥結(jié)的動身點是要懂得哪些功效是原始格局，哪些是經(jīng)由設(shè)計的。自此，建模師便可以在停止建模之前檢討衍生功效的假定和盤算。

　　圈套8：疏忽多線投入（multi－collinear inputs）

　　應(yīng)用數(shù)據(jù)集而不斟酌多重共線性猜測因子（multi－collinear predictors）是誤導模子建構(gòu)的另外一種方法（多線性輸出的存在乎味著兩個或多個變量之間存在著很高的相干性）。成果使其很難辨認任何一個變量的影響。在這類情形下，選定功效的渺小變更會對成果發(fā)生嚴重影響。這個成績的一個例子是，告白預算和流量作為猜測變量出現(xiàn)共線性。

　　處理計劃：檢測多重共線性的簡略辦法是盤算一切變量對應(yīng)的相干系數(shù)。以后您就有諸多選擇來處理任何肯定的共線性成績，如修建構(gòu)圖或刪除冗余變量。

　　圈套9：有效績效KPI

　　當建模數(shù)據(jù)各類過程進入均衡狀況時，年夜多半建模算法表示最好。當數(shù)據(jù)顯示不屈衡時，權(quán)衡模子機能的準確目標變的相當主要。例如，均勻背約率為1.2％。一個模子的精確度能到達98％，猜測在一切情形下都不會產(chǎn)生變更。

　　處理計劃：除非可以選擇生成更平衡的練習集，或應(yīng)用基于本錢的進修算法，選擇營業(yè)驅(qū)動的績效目標是最好的處理計劃。關(guān)于超越精確度的模子的績效有著各類辦法，如準確度，召回率，F(xiàn)1得分和受試者任務(wù)特點（receiver operating characteristic，ROC）曲線。選擇最適合的器量尺度將指點建模算法毛病最小化。

　　從堅實的基本開端

　　因為技巧和對象的提高，機械進修培訓項目比以往更輕易履行。然則，要取得靠得住的成果須要對數(shù)據(jù)迷信和統(tǒng)計學道理有深刻的懂得，如斯能力確保團隊從一個堅弗成摧的底層數(shù)據(jù)集開端，這邊是勝利的基本。

　　Pejman Makhfi是Credit Sesame的首席技巧官。Credit Sesame是一個教導信貸和小我財政網(wǎng)站，為花費者供給收費的信譽評分辦事。