たぶん新しいのが見つかるたびに追記します。 ひとまず名前を聞いたことがあったりしたものだけ。およそ年代順。
決定木、ランダムフォレストのアルゴリズムの概略だけならこちらのlecture10あたりの資料で十分かも。式もついてるし。
決定木(Decision Tree)
ノード分割のルール
決定木のノードの分割のアルゴリズムについて。
- ID3
- C4.5
- CART
Cost-sensitive decision tree
Krawczyk, Bartosz, Michał Woźniak, and Gerald Schaefer. “Cost-sensitive decision tree ensembles for effective imbalanced classification.” Applied Soft Computing 14 (2014): 554-562.
ランダムフォレスト(Random Forest)
Liaw, Andy, and Matthew Wiener. “Classification and regression by randomForest.” R news 2.3 (2002): 18-22.
www.slideshare.net
Extremely Randomized Trees
Geurts, Pierre, Damien Ernst, and Louis Wehenkel. “Extremely randomized trees.” Machine learning 63.1 (2006): 3-42.
ノードの分岐に用いる特徴の選択が完全にランダム。
Alternating decision tree
Schulter, Samuel, et al. “Alternating decision forests.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2013.
Decision Jungles
Shotton, Jamie, et al. “Decision jungles: Compact and rich models for classification.” Advances in Neural Information Processing Systems. 2013.
ランダムフォレストにおける子ノードへの結合が複数あるケースを許容するモデル。木→森→ジャングルと来て次はなんだろうか…。
Mondrian Forests
Balaji Lakshminarayanan, Daniel M. Roy and Yee Whye Teh, Mondrian Forests: Efficient Online Random Forests, NIPS 2014
スライド資料:
http://www.gatsby.ucl.ac.uk/~balaji/mondrian_forests_slides.pdf
Boosted Random Forest
Mishina, Yohei, et al. “Boosted random forest.” IEICE Transactions on Information and systems 98.9 (2015): 1630-1636.
ランダムフォレストの結果による誤差でのサンプルへの重み付け(ブースティング)を繰り返し行う?
Canonical Correlation Forests
Rainforth, Tom, and Frank Wood. “Canonical correlation forests.” arXiv preprint arXiv:1507.05444 (2015).
Bayesian Forests
Taddy, Matt, et al. “Bayesian and empirical Bayesian forests.” arXiv preprint arXiv:1502.02312 (2015).
Random Composite Forests
DeSalvo, Giulia, and Mehryar Mohri. “Random Composite Forests.” AAAI. 2016.
Deep Forest
Zhou, Zhi-Hua, and Ji Feng. “Deep forest: Towards an alternative to deep neural networks.” arXiv preprint arXiv:1702.08835 (2017).
ランダムフォレストのスタッキング。
www.slideshare.net
Deep関係
Deep Neural Decision Forests
Kontschieder, Peter, et al. “Deep neural decision forests.” Proceedings of the IEEE International Conference on Computer Vision. 2015.
ICCVでの発表の動画がありました。
Relating Cascaded Random Forests to CNN
Richmond, David L., et al. “Relating cascaded random forests to deep convolutional neural networks for semantic segmentation.” arXiv preprint arXiv:1507.07583 (2015).
Neural Random Forests
Biau, Gérard, Erwan Scornet, and Johannes Welbl. “Neural random forests.” arXiv preprint arXiv:1604.07143 (2016).
応用先
無数にあると思われるのですが、画像処理関係(物体認識、セマンティクセグメンテーションなど)は以下を参照してください。