Day 27 : 模型解釋Shap - iT 邦幫忙 | 就是愛看書
![Day 27 : 模型解釋Shap - iT 邦幫忙](https://i.imgur.com/y8QtHep.jpg)
2021年10月9日—Shap最早來源是賽局理論,詳細可以參考wiki。Shap是將模型的預測解釋分析成每個因子的貢獻,計算每個特徵的shapelyvalue,來衡量該特徵對預測的 ...
![Day 27 : 模型解釋Shap - iT 邦幫忙](https://i.imgur.com/y8QtHep.jpg)
在經過集成式學習(ensemble learning)之後的 tree based (像是 Random Forest, XGBoost, LightGBM) 機器學習演算法,該方法通常可以提高相當不錯的模型成效。但是其中的理論很難讓人去參透,常常被人詬病說是一個黑盒子。 一個黑盒子是很難去判斷裡面做了什麼事情,我們如果要進行做決策、改良模型等等,都需要了解這個演算法到底學習到了什麼。這時候模型解釋就相當重要,有一塊領域 Explainable AI 就是在探討這方面的知識。
「人非聖賢,孰能無過」,機器與人一樣不是聖賢,都可能會有犯錯的可能性。當發生預測錯誤的時候,若我們能夠透過解釋型 AI 告訴合理的原因,或許可為下一次改版做一些根因探討。
「科技始終來自於人性」,我們有時候很難跟我們的需求方講解或討論這些演算法的深奧的原理或數學知識,也隨著我們越來越倚重機器學習產出的結果,我們勢必也需要能了解其中的原因,我們才可以用的安心,讓大家放心(好像推廣產品XDDD)。
ShapShap 最早來源是賽局理論,詳細可以參考wiki[1]。Shap 是將模型的預測解釋分析成每個因子的貢獻,計算每個特徵的 shapely value,來衡量該特徵對預測的貢獻度。如此一來,我們可以詳細了解每個因子的貢獻程度。
圖片來源自 shap 的 github 連結[2]
Shap 是一個可以將機器學習透過視覺化方式輔助理解的 Explainable AI 套件,優點如下
簡單安裝 pip install shap 視覺化呈現多元 容易上手操作 實作程式碼 import xgboost import shap classifier = xgboost.XGBClassifier().fit(X_train, y_train) explainer = shap.E...Day 27 : 模型解釋Shap - iT 邦幫忙 | 就是愛看書
机器学习模型可解释性进行到底—— SHAP值理论(一) | 就是愛看書
可解釋AI (XAI) 系列— SHAP | 就是愛看書
利用SHAP解释Xgboost模型 | 就是愛看書
5.10 SHAP (SHapley Additive exPlanations) | 就是愛看書
SHAP 值的解释,以一种你期望的方式解释给你听 | 就是愛看書
特征重要性之shap value | 就是愛看書
![](https://i.imgur.com/y8QtHep.jpg)
《Shapes》凱撒琳 978-957-506-216-3 (平裝, 36面, 20X21公分)
《Shapes》好看嗎?作者authorFelixHong由「凱撒琳」出版,ISBN:978-957-506-216-3(平裝,36面,20X21公分),以下為此書詳細...
![](https://i.imgur.com/y8QtHep.jpg)
《形塑文本= Shaping text》龍溪國際圖書 978-986-98314-3-7 (平裝, NT$480, 176面, 27公分)
《形塑文本=Shapingtext》好看嗎?作者楊.密登朵普(JanMiddendorp)作;邱喜麗譯由「龍溪國際圖書」出版,ISBN:978-986-98314...