機械学習
パラメータの初期化 Xavier Initialization He Initialization Glorot initialisation パラメータ更新の手法 Vanilla update Momentum Nesterov Momentum Nadam AdaGrad AdaDelta Adam(Adaptive Moment Estimation) RMSprop Eve その他多数 自分で定義した目…
Rules of Machine Learning: Best Practices for ML Engineering Reliable Machine Learning in the Wild Google researchの Martin Zinkevich氏の資料です。 Reliable Machine Learning in the Wild(NIPS 2016)での招待講演のもの。 Rules of Machine Learn…
やること Quantile Regression イメージ scikit-learnのGradientBoostingでの実装 XGBoostの目的関数を変更する 目的関数 結果 他の目的関数 やること xgboostの目的関数を定義済みのものから自分で定義したものに変える。 回帰は常に 正解ラベル=予測の平…
scikit-learnのモデル評価に関するドキュメント 回帰(Regression)問題 Hinge loss 平均絶対誤差(Mean absolute error) Mean Squared Error ニクラス分類(Binary Classification)問題 F1 score MAP(Mean average precision) マルチラベル分類(Multi-Label Cla…
大阪大学講義資料 ICONIP 2006 Multi-kernel Maximum Mean Discrepancy MMD-critic これもメモのみ。 去年9月頃から家のゴタゴタを引きずってて全然作業出来てない。 春休みに確認したいところ。MMD!=MikuMikuDance。 大阪大学講義資料 大阪大学大学院・基…
3Dでの機械学習(この言葉は使いたくないですが)の研究に利用できる環境をオープンソースで公開したそうです。 github 元論文 [1612.03801] DeepMind Lab
概要 実装 theano tensor-flow chainer NIPS-16のBest Paper AwardであるTamar, Aviv, Sergey Levine, and Pieter Abbeel. "Value Iteration Networks." arXiv preprint arXiv:1602.02867 (2016).のtensor-flowでの実装が公開されました。 概要 エージェント…
概要 インストール Python(2.7, 3.4) C++ インストール時のエラー エラー解決法 関連手法の元文献 XGBoost FastBDT 概要 ツリーベースのアンサンブル手法は時系列順に Random Forest Gradient Boosting XGBoost FastBDT などとありますがここに新しくLightGB…
前回 matroid bandit やりたいこと Matroid Augmentation property Modular Function Maximum-weight basis of the matroid アルゴリズム:Optimistic Matroid Maximization 問題設定 アルゴリズム詳細 元論文 その他関連論文 書きかけ、後ほど各アルゴリズ…
前回 Contextual Bandit スライド 説明 各アルゴリズム外観 EXP4 Epoch-Greedy LinUCB Thompson sampling for Contextual Bandits HyperTS・HyperTSFB 次回 書きかけ、後ほど各アルゴリズムの説明や実験など追加予定。 →水曜夜あたり→土日あたり 前回 UCB,そ…
前回 UCB(Upper Confidence Bound) UCBの説明 理論的な説明 UCBのアルゴリズム アームの定義 Arm0: ベルヌーイ Arm1: 適当に作った分布 実験 Arm0: ベルヌーイ Arm1: 適当に作った分布 次回 参考文献 前回 ε-Greedy+softmaxについてやった。 UCB(Upper Confi…
前回 Softmax Softmaxによるアーム選択 Boltzmann分布(Gibbs 分布) Softmaxのコード アーム選択部分 実験 アームの定義 Arm0: ベルヌーイ Arm1: 適当に作った分布 実験結果 Arm0: ベルヌーイの場合 Arm1: 適当に作った分布の場合 次回:UCB 参考文献 前回 ε-G…
A/B テスト epsilon-Greedy アルゴリズム 説明 epsilon-Greedy アルゴリズムコード 実験(ベルヌーイ分布のアーム) アームの定義 実行結果 実験(ペナルティが大きいアームがあるケース) アームの定義 実験結果 実験(アームの分布が時間によって変化する場合) …
Agent–Environment Interface 強化学習におけるagent-environmentの相互作用 Markov Decision Process 定義 講義動画 Markov Decision Processes I Markov Decision Process II RL Course by David Silver(Deepmind) 有限マルコフ決定過程(Finite Markov De…
基本の内容 各種定式化 Exploration/Exploitation Dilemma Stationary Problem(定常なケース) Action-Value Methods 行動選択の戦略 greedy(貪欲) ε-Greedy Soft-max action selection Non-stationary Problem(非定常なケース) アームの行動戦略 Gradient-Ba…
強化学習の基本 Introduction to Reinforcement Learning with Function Approximation Temporal-Difference Learning Bellman expectation equation off-policy Function approximation ε-greedy policy Model-based reinforcement learning 活用と探索のジ…
pdf サンプルコード 追記 このドラフト版の前の本 Sutton, Richard S., and Andrew G. Barto. Reinforcement learning: An introduction. Vol. 1. No. 1. Cambridge: MIT press, 1998. で有名なRichard S. Sutton氏による新しい強化学習本のドラフト版が以下…
リンク:Chainer Playground (beta) オンラインでコードを実行しながら学べる環境。 これから更新されていく予定だそうです。
参考文献 dotのインストール 決定境界の可視化 データの生成 決定境界の可視化 決定木の出力 決定木のデータファイルを出力 出力画像 おまけ:非線形データの場合 データ生成 決定境界の可視化 決定木の可視化 参考文献 Python Data Science Handbook: Essen…
導入 Active Learning 入門 A tutorial on active learning 能動学習セミナー サーベイ Active Learning Literature Survey 論文 導入 Active Learning 入門 Active Learning 入門 from Shuyo Nakatani www.slideshare.net A tutorial on active learning pd…
導入 バンディットアルゴリズム入門と実践 I’m a bandit Thompson Sampling アルゴリズム バンディット問題の各定式化について Introduction to Bandits: Algorithms and Theory 応用例:レコメンデーション 論文 Some aspects of the sequential design of …
LDA用のデータの作成 単語の辞書を作成して出力 外部に保存したコーパスと辞書の読み込み LDAの実行 コード 出力例 gensimとjanomeを用いたLDAを行います。 必要なデータは一行ごとに文章が入ったtxtファイルです。 LDA用のデータの作成 data.txtには一行ご…
論文 End-to-End Text Recognition with Convolutional Neural Networks Word Spotting and Recognition with Embedded Attributes Deep structured output learning for unconstrained text recognition Deep Features for Text Spotting Reading Text in t…
教師なし CNN features off-the-shelf: an astounding baseline for recognition 画像 Learning and transferring mid-level image representions using convolutional neural networks Learning hierarchical features for scene labeling Semantic Segment…
生成モデル Deep Convolutional Generative Adversarial Networks Generative Adversarial Nets Unsupervised representation learning with deep convolutional generative adversarial networks Deep Generative Image Models using a Laplacian Pyramid …
過学習の防止・学習のアルゴリズム Dropout Batch normalization Resnet Layer Normalization Normalization Layers 理論 Distilling the knowledge in a neural network Deep neural networks are easily fooled: High confidence predictions for unrecogn…
まとめ資料 サーベイ The Deep Learning textbook by Ian Goodfellow and Yoshua Bengio and Aaron Courville Deep Learning in Neural Networks: An Overview 画像・動画 画像分類問題 AlexNet (ImageNet Classification with Deep Convolutional Neural Ne…
metric learningとは Wikipedia Tutorial on Metric Learning Metric Learning(ICML tutorial) 基本 Distance metric learning with application to clustering with side-information. Distance metric learning for large margin nearest neighbor classif…
やりたいこと クローリング データの準備 コード ウェブのHTMLをパースする コード 例 コード データのクローリング コード 形態素解析 トピックモデルを作るためのベクトル作成 やりたいこと 特定のまとまりのWebページを集めて、トピック(共通に出てくる…
概要 モデル定義 ノイズ付加 デノイジングオートエンコーダーの訓練 損失関数の推移 概要 まず、PFNの得居さんの記事を参照。 www.beam2d.net データにランダムにノイズを乗せたものを入力として、元のデータを正解とするDNNを学習することでデータからノイ…