ゆるふわめも

東京か京都にいます。

種々の決定木・ランダムフォレストの拡張についての資料集

たぶん新しいのが見つかるたびに追記します。 ひとまず名前を聞いたことがあったりしたものだけ。およそ年代順。

決定木、ランダムフォレストのアルゴリズムの概略だけならこちらのlecture10あたりの資料で十分かも。式もついてるし。

決定木(Decision Tree)

ノード分割のルール

決定木のノードの分割のアルゴリズムについて。

  • ID3
  • C4.5
  • CART

Cost-sensitive decision tree

Krawczyk, Bartosz, Michał Woźniak, and Gerald Schaefer. “Cost-sensitive decision tree ensembles for effective imbalanced classification.” Applied Soft Computing 14 (2014): 554-562.

www.slideshare.net

ランダムフォレスト(Random Forest)

Liaw, Andy, and Matthew Wiener. “Classification and regression by randomForest.” R news 2.3 (2002): 18-22.

www.slideshare.net

Extremely Randomized Trees

Geurts, Pierre, Damien Ernst, and Louis Wehenkel. “Extremely randomized trees.” Machine learning 63.1 (2006): 3-42.

ノードの分岐に用いる特徴の選択が完全にランダム。

Alternating decision tree

Schulter, Samuel, et al. “Alternating decision forests.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2013.

Decision Jungles

Shotton, Jamie, et al. “Decision jungles: Compact and rich models for classification.” Advances in Neural Information Processing Systems. 2013.

ランダムフォレストにおける子ノードへの結合が複数あるケースを許容するモデル。木→森→ジャングルと来て次はなんだろうか…。

Mondrian Forests

Balaji Lakshminarayanan, Daniel M. Roy and Yee Whye Teh, Mondrian Forests: Efficient Online Random Forests, NIPS 2014

videolectures.net

スライド資料:

http://www.gatsby.ucl.ac.uk/~balaji/mondrian_forests_slides.pdf

Boosted Random Forest

Mishina, Yohei, et al. “Boosted random forest.” IEICE Transactions on Information and systems 98.9 (2015): 1630-1636.

ランダムフォレストの結果による誤差でのサンプルへの重み付け(ブースティング)を繰り返し行う?

Canonical Correlation Forests

Rainforth, Tom, and Frank Wood. “Canonical correlation forests.” arXiv preprint arXiv:1507.05444 (2015).

Bayesian Forests

Taddy, Matt, et al. “Bayesian and empirical Bayesian forests.” arXiv preprint arXiv:1502.02312 (2015).

Random Composite Forests

DeSalvo, Giulia, and Mehryar Mohri. “Random Composite Forests.” AAAI. 2016.

Deep Forest

Zhou, Zhi-Hua, and Ji Feng. “Deep forest: Towards an alternative to deep neural networks.” arXiv preprint arXiv:1702.08835 (2017).

ランダムフォレストのスタッキング。

www.slideshare.net

Deep関係

Deep Neural Decision Forests

Kontschieder, Peter, et al. “Deep neural decision forests.” Proceedings of the IEEE International Conference on Computer Vision. 2015.

videolectures.net

ICCVでの発表の動画がありました。

Relating Cascaded Random Forests to CNN

Richmond, David L., et al. “Relating cascaded random forests to deep convolutional neural networks for semantic segmentation.” arXiv preprint arXiv:1507.07583 (2015).

Neural Random Forests

Biau, Gérard, Erwan Scornet, and Johannes Welbl. “Neural random forests.” arXiv preprint arXiv:1604.07143 (2016).

応用先

無数にあると思われるのですが、画像処理関係(物体認識、セマンティクセグメンテーションなど)は以下を参照してください。