- scikit-learnのモデル評価に関するドキュメント
- 回帰(Regression)問題
- ニクラス分類(Binary Classification)問題
- マルチラベル分類(Multi-Label Classification)問題
- その他
評価指標については以下に書き直す予定です。
非対称な損失での回帰:Efron, Bradley. "Regression percentiles using asymmetric squared error loss." Statistica Sinica (1991): 93-125.など
scikit-learnのモデル評価に関するドキュメント
基本ここを見ればなんとかなる。
http://scikit-learn.org/stable/modules/model_evaluation.html
回帰(Regression)問題
Hinge loss
平均絶対誤差(Mean absolute error)
https://crowdsolving.jp/node/1029
Mean Squared Error
PRMLのバイアス・バリアンスの分解でおなじみ。
ニクラス分類(Binary Classification)問題
F1 score
精度と再現率の調和平均を求めたもの。
MAP(Mean average precision)
https://www.kaggle.com/wiki/MeanAveragePrecision
マルチラベル分類(Multi-Label Classification)問題
Hamming Loss
Logarithmic Loss
[tex:{ -\frac{1}{N}\sum{i=1}^N\sum{j=1}^My{ij}\log(p{ij}) }]
https://www.kaggle.com/wiki/LogarithmicLoss
カッパ係数(Cohen’s kappa)
https://onlinecourses.science.psu.edu/stat509/node/162
その他
Brier Score
確率の予測精度の評価指標。
nDCG (normalized Discounted Cumulated Gain)
https://crowdsolving.jp/node/1435
非対称な損失関数
本当はこれを調べたかった。