概要 元論文 関連研究 モデル（の学習した知識）の蒸留 問題設定・記法 手法 モデルの初期値が固定されている場合 モデルの初期値がランダムに決定される場合 実験で比較に用いるもの 実験 実装 個人用のメモ。 概要 画像分類モデルの訓練にて、学習に効果の…

問題設定と評価指標 既存の手法 ノンパラメトリックな手法 パラメトリックな手法 提案手法 概要 詳細 ステップ1 ステップ2 これを基にした画風変換 参考文献 自分の研究が画像処理系の機械学習と関係ないのでやや適当です。 問題設定と評価指標 [Gatys2015]…

元論文 Domain Adaption 本論文 Domain Separation Networks (DSN) 概要 取り組む問題 モデルの学習 L Task L Recon(struction) L Difference L Similarity 参考文献 書きかけです. 元論文 Bousmalis, Konstantinos, et al. "Domain separation networks." A…

Neural Style Transfer VGGネット 訓練済みモデルのダウンロード モデルの定義 モデルを宣言 中間層での画像特徴量の抽出 プロット用の関数 中間層の画像の可視化 最適化問題 損失関数の計算 出力結果 画風変換に関する論文一覧 学会に参加してるのですが、…

パラメータの初期化 Xavier Initialization He Initialization Glorot initialisation パラメータ更新の手法 Vanilla update Momentum Nesterov Momentum Nadam AdaGrad AdaDelta Adam(Adaptive Moment Estimation) RMSprop Eve その他多数 自分で定義した目…

論文 End-to-End Text Recognition with Convolutional Neural Networks Word Spotting and Recognition with Embedded Attributes Deep structured output learning for unconstrained text recognition Deep Features for Text Spotting Reading Text in t…

教師なし CNN features off-the-shelf: an astounding baseline for recognition 画像 Learning and transferring mid-level image representions using convolutional neural networks Learning hierarchical features for scene labeling Semantic Segment…

生成モデル Deep Convolutional Generative Adversarial Networks Generative Adversarial Nets Unsupervised representation learning with deep convolutional generative adversarial networks Deep Generative Image Models using a Laplacian Pyramid …

過学習の防止・学習のアルゴリズム Dropout Batch normalization Resnet Layer Normalization Normalization Layers 理論 Distilling the knowledge in a neural network Deep neural networks are easily fooled: High confidence predictions for unrecogn…

まとめ資料 サーベイ The Deep Learning textbook by Ian Goodfellow and Yoshua Bengio and Aaron Courville Deep Learning in Neural Networks: An Overview 画像・動画 画像分類問題 AlexNet (ImageNet Classification with Deep Convolutional Neural Ne…

metric learningとは Wikipedia Tutorial on Metric Learning Metric Learning(ICML tutorial) 基本 Distance metric learning with application to clustering with side-information. Distance metric learning for large margin nearest neighbor classif…

概要 モデル定義 ノイズ付加 デノイジングオートエンコーダーの訓練 損失関数の推移 概要 まず、PFNの得居さんの記事を参照。 www.beam2d.net データにランダムにノイズを乗せたものを入力として、元のデータを正解とするDNNを学習することでデータからノイ…

コード モデル定義 モデルの訓練 バッチサイズを狭めながらオートエンコーダを訓練して、その損失関数の減少具合を確認する。 緑色線がエポックごとのおおよその損失関数のlossの値、赤色がバッチごとのlossの値を全てプロットしたものです。 コード モデル…

環境 モデルの定義 出力 モデルの訓練 誤差の減少具合 オートエンコーダーのモデルを複雑に 二つのモデルの比較 参考 環境 python2.7, ubuntu14.04上。Kerasを使用して、入力はベクトルを想定。 モデルの定義 print(autoencoder.summary())とすればモデルに…

2015年のNIPS以降のものをメモしています。 論文リスト Efficient and robust automated machine learning. A review of automatic selection methods for machine learning algorithms and hyper-parameter values. PredicT-ML: a tool for automating mach…

モデルの定義 モデルの精度の確認 コード 出力 Bidirectional LSTMを使って時系列データを2クラスに分類できるか確かめる。 Schuster, Mike, and Kuldip K. Paliwal. "Bidirectional recurrent neural networks." IEEE Transactions on Signal Processing 45…

やること 各ステップ詳細 データをロード、多項式特徴量を追加 モデルを定義 コスト関数の減少具合をプロット 定義したモデルの訓練 ループごとに精度改善を確かめながらバッチサイズを減らす コード やること 単純な分類問題。誤差の減り具合をプロットして…

やりたいこと qiita.com にあるようなモデルを作成して分類問題を解く。 What is the difference between stacked LSTM's and multidimensional LSTM's? - Quora を参考にしつつ（してない...?）モデルを作成。 Wen, Tsung-Hsien, et al. "Semantically cond…

内容 python+kerasを使って、MNISTのような白黒画像を分類するCNNを構築。 パラメータを変更すればカラー画像なども対応可能、のはず。 コード # keras import numpy import pandas from keras.models import Sequential from keras.layers import Dense, Dr…

内容 Kerasを使ってLSTMを実装。 コードのEmbeddingの都合上 tensorflow.__version = 0.10.0で行う必要があるので注意(今日現在)。 コード import numpy as np import pandas as pd import random from keras.models import Sequential from keras.layers im…

内容 コード 出力 内容 Kerasを使ってLSTMを実装。 コードのEmbeddingの都合上 tensorflow.__version = 0.10.0で行う必要があるので注意(今日現在)。 コード import numpy as np import pandas as pd import random from keras.models import Sequential fro…