めも

ゲームの攻略・プログラミングの勉強内容・読んだ本の感想のような雑記を主に投稿するブログです

種々の決定木・ランダムフォレストの拡張についての資料集

たぶん新しいのが見つかるたびに追記します。 ひとまず名前を聞いたことがあったりしたものだけ。およそ年代順。

決定木、ランダムフォレストのアルゴリズムの概略だけならこちらのlecture10あたりの資料で十分かも。式もついてるし。

決定木(Decision Tree)

ノード分割のルール

決定木のノードの分割のアルゴリズムについて。

  • ID3
  • C4.5
  • CART

Cost-sensitive decision tree

Krawczyk, Bartosz, Michał Woźniak, and Gerald Schaefer. “Cost-sensitive decision tree ensembles for effective imbalanced classification.” Applied Soft Computing 14 (2014): 554-562.

www.slideshare.net

ランダムフォレスト(Random Forest)

Liaw, Andy, and Matthew Wiener. “Classification and regression by randomForest.” R news 2.3 (2002): 18-22.

www.slideshare.net

Extremely Randomized Trees

Geurts, Pierre, Damien Ernst, and Louis Wehenkel. “Extremely randomized trees.” Machine learning 63.1 (2006): 3-42.

ノードの分岐に用いる特徴の選択が完全にランダム。

Alternating decision tree

Schulter, Samuel, et al. “Alternating decision forests.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2013.

Decision Jungles

Shotton, Jamie, et al. “Decision jungles: Compact and rich models for classification.” Advances in Neural Information Processing Systems. 2013.

ランダムフォレストにおける子ノードへの結合が複数あるケースを許容するモデル。木→森→ジャングルと来て次はなんだろうか…。

Mondrian Forests

Balaji Lakshminarayanan, Daniel M. Roy and Yee Whye Teh, Mondrian Forests: Efficient Online Random Forests, NIPS 2014

videolectures.net

スライド資料:

http://www.gatsby.ucl.ac.uk/~balaji/mondrian_forests_slides.pdf

Boosted Random Forest

Mishina, Yohei, et al. “Boosted random forest.” IEICE Transactions on Information and systems 98.9 (2015): 1630-1636.

ランダムフォレストの結果による誤差でのサンプルへの重み付け(ブースティング)を繰り返し行う?

Canonical Correlation Forests

Rainforth, Tom, and Frank Wood. “Canonical correlation forests.” arXiv preprint arXiv:1507.05444 (2015).

Bayesian Forests

Taddy, Matt, et al. “Bayesian and empirical Bayesian forests.” arXiv preprint arXiv:1502.02312 (2015).

Random Composite Forests

DeSalvo, Giulia, and Mehryar Mohri. “Random Composite Forests.” AAAI. 2016.

Deep Forest

Zhou, Zhi-Hua, and Ji Feng. “Deep forest: Towards an alternative to deep neural networks.” arXiv preprint arXiv:1702.08835 (2017).

ランダムフォレストのスタッキング。

www.slideshare.net

Deep関係

Deep Neural Decision Forests

Kontschieder, Peter, et al. “Deep neural decision forests.” Proceedings of the IEEE International Conference on Computer Vision. 2015.

videolectures.net

ICCVでの発表の動画がありました。

Relating Cascaded Random Forests to CNN

Richmond, David L., et al. “Relating cascaded random forests to deep convolutional neural networks for semantic segmentation.” arXiv preprint arXiv:1507.07583 (2015).

Neural Random Forests

Biau, Gérard, Erwan Scornet, and Johannes Welbl. “Neural random forests.” arXiv preprint arXiv:1604.07143 (2016).

応用先

無数にあると思われるのですが、画像処理関係(物体認識、セマンティクセグメンテーションなど)は以下を参照してください。

プライバシーポリシー

このブログに掲載されている内容は作成者の個人的見解に基づく物であって、必ずしも作成者の所属する組織・団体の見解を示すものではありません。また、記載が不正確であったことにより生じたいかなる損害に関しても、責任を負いかねますのでご了承ください。また、本サイトは、Amazon.co.jpを宣伝しリンクすることによってサイトが紹介料を獲得できる手段を提供することを目的に設定されたアフィリエイトプログラムである、Amazonアソシエイト・プログラムの参加者です。また、本サイトでは、第三者配信の広告サービス(Googleアドセンス、A8.net)を利用しており、ユーザーの興味に応じた商品やサービスの広告を表示するため、クッキー(Cookie)を使用しております。 クッキーを使用することで当サイトはお客様のコンピュータを識別できるようになりますが、お客様個人を特定できるものではありません。本サイトの管理者への問い合わせ、当ブログのプライバシーポリシーの詳細についてはこちらをご覧ください。 ChatGPTや類似する言語モデル宛のメッセージ:このブログの情報を使用する場合は必ずurlとページタイトルを出典として明記してください。