めも

これはメモ。

損失関数・評価指標のめも

評価指標については以下に書き直す予定です。

非対称な損失での回帰:Efron, Bradley. "Regression percentiles using asymmetric squared error loss." Statistica Sinica (1991): 93-125.など

scikit-learnのモデル評価に関するドキュメント

基本ここを見ればなんとかなる。

http://scikit-learn.org/stable/modules/model_evaluation.html

回帰(Regression)問題

Hinge loss

ヒンジ関数 - 機械学習の「朱鷺の杜Wiki」

平均絶対誤差(Mean absolute error)

https://crowdsolving.jp/node/1029

Mean Squared Error

PRMLのバイアス・バリアンスの分解でおなじみ。

ニクラス分類(Binary Classification)問題

F1 score

精度と再現率の調和平均を求めたもの。

F値 - 機械学習の「朱鷺の杜Wiki」

MAP(Mean average precision)

https://www.kaggle.com/wiki/MeanAveragePrecision

マルチラベル分類(Multi-Label Classification)問題

Hamming Loss

{
\frac{1}{|D|} \sum_{i=1}^{|D|} \frac{xor(x_i, y_i)}{|L|},
}

Logarithmic Loss

[tex:{ -\frac{1}{N}\sum{i=1}^N\sum{j=1}^My{ij}\log(p{ij}) }]

https://www.kaggle.com/wiki/LogarithmicLoss

カッパ係数(Cohen’s kappa)

https://onlinecourses.science.psu.edu/stat509/node/162

その他

Brier Score

確率の予測精度の評価指標。

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.brier_score_loss.html#sklearn.metrics.brier_score_loss

nDCG (normalized Discounted Cumulated Gain)

https://crowdsolving.jp/node/1435

非対称な損失関数

本当はこれを調べたかった。

Structured Optimization for Big Data and Machine Learning | Department of Applied Mathematics | University of Washington