Python機器學習入門(六)之Python優(yōu)化模型
有時提升一個模型的準確度很困難。你會嘗試所有曾學習過的策略和算法，但模型正確率并沒有改善。這時你會覺得無助和困頓，這也正是90%的數(shù)據(jù)科學家開始放棄的時候。不過，這才是考驗真正本領的時候！這也是普通的數(shù)據(jù)科學家和大師級數(shù)據(jù)科學家的差距所在。
1.集成算法
三個臭皮匠，頂個諸葛亮。群體的智慧是很強大的。那么，在機器學習中能否同樣采用此策略呢？答案是肯定的，就是集成算法——將多個不同算法從集成起來，使結果更優(yōu)。
1.1袋裝算法
袋裝算法是一種提高分類準確率的算法。通過給定組合投票的方式獲得最優(yōu)解。比如你生病了，去
個醫(yī)院看了個醫(yī)生，每個醫(yī)生都給你開了藥方，最后哪個藥方的出現(xiàn)次數(shù)多，就說明這個藥方可能是最優(yōu)解。
1.1.1袋裝決策樹
袋裝算法在數(shù)據(jù)具有很大方差時非常有效，最常見的例子就是決策樹的袋裝算法。
from pandas import read_csv from sklearn.model_selection import KFold from sklearn.model_selection import cross_val_score from sklearn.ensemble import BaggingClassifier from sklearn.tree import DecisionTreeClassifier filename = 'pima_data.csv' names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class'] data = read_csv(filename, names=names) array = data.values X = array[:,0:8] Y = array[:,8] num_folds = 10 seed = 7 kfold = KFold(n_splits=num_folds,shuffle=True,random_state=seed) #袋裝決策樹 cart = DecisionTreeClassifier() num_tree = 100 model = BaggingClassifier(base_estimator=cart,n_estimators=num_tree,random_state=seed) result = cross_val_score(model, X, Y, cv=kfold) print(result.mean())
0.7578263841421736
1.1.2隨機森林
隨機森林是由很多決策樹構成的，不同決策樹之間沒有關聯(lián)。
當我們進行分類任務時，新的輸入樣本進入，就讓森林中的每一棵決策樹分別進行判斷和分類，每個決策樹會得到一個自己的分類結果，決策樹的分類結果中哪一個分類最多，那么隨機森林就會把這個結果當做最終的結果。
from sklearn.ensemble import RandomForestClassifier #隨機森林 num_tree = 100 max_features = 3 model = RandomForestClassifier(n_estimators=num_tree,random_state=seed,max_features=max_features) result = cross_val_score(model, X, Y, cv=kfold) print(result.mean())
0.759107997265892
1.1.3極端隨機樹
極端隨機數(shù)與隨機森林十分相似，都是由許多決策樹構成的，但它與隨機森林由兩個主要區(qū)別：
- 隨機森林應用的是Bagging模型，而極端隨機樹是使用所有的訓練樣本得到每棵決策樹，也就是每棵決策樹應用的是全部訓練樣本。
- 隨機森林是在一個隨機子集內得到最優(yōu)分叉特征屬性，而極端隨機樹是完全隨機地選擇分叉特征屬性，從而實現(xiàn)對決策樹進行分叉。
from sklearn.ensemble import ExtraTreesClassifier #極端隨機樹 num_tree = 100 max_features = 3 model = ExtraTreesClassifier(n_estimators=num_tree,random_state=seed,max_features=max_features) result = cross_val_score(model, X, Y, cv=kfold) print(result.mean())
0.7630211893369789
1.2提升算法
提升算法也稱為boosting算法，它是將弱學習算法提升為強學習算法的一類算法，可用來提升弱分類器的準確度。
1.2.1AdaBoost
AdaBoost是一種迭代算法，其核心思想是針對同一個訓練集訓練不同的分類器（弱分類器），然后把這些弱分類器集合起來，構成一個更強的最終分類器（強分類器）。
from pandas import read_csv from sklearn.model_selection import KFold from sklearn.model_selection import cross_val_score from sklearn.ensemble import AdaBoostClassifier filename = 'pima_data.csv' names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class'] data = read_csv(filename, names=names) array = data.values X = array[:,0:8] Y = array[:,8] num_folds = 10 seed = 7 kfold = KFold(n_splits=num_folds,shuffle=True,random_state=seed) #AdaBost num_tree = 100 model = AdaBoostClassifier(n_estimators=num_tree,random_state=seed) result = cross_val_score(model, X, Y, cv=kfold) print(result.mean())
0.7578605604921395
1.2.2隨機梯度提升
隨機梯度提升法（GBM）的基本思想是：要找到某個函數(shù)的最大值，最好的辦法就是沿著該函數(shù)的梯度方向探尋。梯度算子總是指向函數(shù)增長值最快的方向。
from sklearn.ensemble import GradientBoostingClassifier #隨機 梯度提升 num_tree = 100 model = GradientBoostingClassifier(n_estimators=num_tree,random_state=seed) result = cross_val_score(model, X, Y, cv=kfold) print(result.mean())
0.7591934381408066
1.3投票算法
投票算法（Voting）是一個非常簡單的多個機器學習算法的集成算法。投票算法是通過創(chuàng)建兩個或多個算法模型，利用投票算法將這些算法包裝起來，計算各個子模型的平均預測情況。
from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import VotingClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.svm import SVC
from sklearn.linear_model import LogisticRegression
filename = 'pima_data.csv'
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(filename, names=names)
array = data.values
X = array[:,0:8]
Y = array[:,8]
num_folds = 10
seed = 7
kfold = KFold(n_splits=num_folds,shuffle=True,random_state=seed)
#投票算法
models=[]
model_logistic = LogisticRegression(max_iter=3000)
model_cart = DecisionTreeClassifier()
model_svc = SVC()
models.append(('logistic',model_logistic))
models.append(('cart',model_cart))
models.append(('svc',model_svc))
ensemble_model = VotingClassifier(estimators=models)
result = cross_val_score(ensemble_model, X, Y, cv=kfold)
print(result.mean())
0.7721804511278196
2.算法調參
機器學習的模型都是參數(shù)化的，可以通過調參來提高模型的準確度。模型參數(shù)的調整應該遵循偏差和方差協(xié)調的原則。
調整算法參數(shù)是機器學習解決問題的最后一個步驟，有時也被成為超參數(shù)優(yōu)化。學會調參是進行機器學習項目的前提。參數(shù)可分為兩種：一種是影響模型在訓練集上的準確度或防止過擬合能力的參數(shù)；另一種是不影響這兩者的參數(shù)。模型在樣本總體上的準確度由其在訓練集上的準確度及其防止過擬合的能力共同決定，所以在調參時主要針對第一種參數(shù)進行調整，最終達到的效果是：模型在訓練集上的準確度和防止過擬合能力的大和諧。
2.1網(wǎng)絡搜索優(yōu)化參數(shù)
網(wǎng)格搜索優(yōu)化參數(shù)是一種算法參數(shù)優(yōu)化的方法。它是通過遍歷已定義參數(shù)的列表，來評估算法的參數(shù)，從而找到最優(yōu)參數(shù)。
from pandas import read_csv
from sklearn.linear_model import Ridge
from sklearn.model_selection import GridSearchCV
#導入數(shù)據(jù)
filename = 'pima_data.csv'
names = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(filename, names=names)
#將數(shù)據(jù)分為輸入數(shù)據(jù)和輸出結果
array = data.values
X = array[:,0:8]
Y = array[:,8]
#算法實例化
model = Ridge()
#設置要遍歷的參數(shù)
param_grid = {'alpha':[1,0.1,0.01,0.001,0]}
#通過網(wǎng)格搜索查詢最優(yōu)參數(shù)
grid = GridSearchCV(model, param_grid)
grid.fit(X,Y)
#搜索結果
print('max_score:%.3f'% grid.best_score_)
print('best_para:%.3f'% grid.best_estimator_.alpha)
max_score:0.276
best_para:1.000
2.2隨機搜索優(yōu)化參數(shù)
隨機搜索優(yōu)化參數(shù)是另一種對算法參數(shù)優(yōu)化的方法。隨機搜索優(yōu)化參數(shù)通過固定次數(shù)的迭代，采用隨機采樣分布的方式搜索合適的參數(shù)。
from sklearn.model_selection import RandomizedSearchCV
from scipy.stats import uniform
#隨即搜索優(yōu)化參數(shù)
grid = RandomizedSearchCV(model, param_grid,100,random_state=7)
grid.fit(X,Y)
#搜索結果
print('max_score:%.3f'% grid.best_score_)
print('best_para:%.3f'% grid.best_estimator_.alpha)
max_score:0.276
best_para:1.000
總結
本文主要講解了如何優(yōu)化模型，包括集成算法和算法調參，這些都是在實際項目中非常有用的。
到此這篇關于Python機器學習入門(六)優(yōu)化模型的文章就介紹到這了,更多相關Python機器學習內容請搜索本站以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持本站！
版權聲明：本站文章來源標注為YINGSOO的內容版權均為本站所有，歡迎引用、轉載，請保持原文完整并注明來源及原文鏈接。禁止復制或仿造本網(wǎng)站，禁止在非www.sddonglingsh.com所屬的服務器上建立鏡像，否則將依法追究法律責任。本站部分內容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來，僅供學習參考，不代表本站立場，如有內容涉嫌侵權，請聯(lián)系alex-e#qq.com處理。
關注官方微信