読者です 読者をやめる 読者になる 読者になる

損失関数・評価指標のめも

メモ リンク集 機械学習

書いてる途中でドキュメントのいいページを見つけたので書くのやめました。 ただドキュメントには非対称な損失関数に関しては定義されてないらしい。 そのような設定(足りないのはokだけど超えるとものすごいロスになるような状態)での回帰や一部の分類問題は モデルを自分で定義して解かないといけない。

非対称な損失での回帰:Efron, Bradley. "Regression percentiles using asymmetric squared error loss." Statistica Sinica (1991): 93-125.など

scikit-learnのモデル評価に関するドキュメント

基本ここを見ればなんとかなる。

http://scikit-learn.org/stable/modules/model_evaluation.html

回帰(Regression)問題

Hinge loss

ヒンジ関数 - 機械学習の「朱鷺の杜Wiki」

平均絶対誤差(Mean absolute error)

Mean Squared Error

PRMLバイアス・バリアンスの分解でおなじみ。

ニクラス分類(Binary Classification)問題

F1 score

精度と再現率の調和平均を求めたもの。

F値 - 機械学習の「朱鷺の杜Wiki」

MAP(Mean average precision)

マルチラベル分類(Multi-Label Classification)問題

Hamming Loss

{
\frac{1}{|D|} \sum_{i=1}^{|D|} \frac{xor(x_i, y_i)}{|L|},
}

Logarithmic Loss

[tex:{ -\frac{1}{N}\sum{i=1}^N\sum{j=1}^My{ij}\log(p{ij}) }]

カッパ係数(Cohen’s kappa)

18.7 - Cohen's Kappa Statistic for Measuring Agreement | STAT 509

その他

Brier Score

確率の予測精度の評価指標。

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.brier_score_loss.html#sklearn.metrics.brier_score_loss

nDCG (normalized Discounted Cumulated Gain)

非対称な損失関数

本当はこれを調べたかった。

Structured Optimization for Big Data and Machine Learning | Applied Mathematics, University of Washington