読者です 読者をやめる 読者になる 読者になる

ゆるふわめも

in Kyoto or Tokyo

深層学習

CNNを用いたテクスチャ合成(Texture Synthesis)の仕組みのメモ

問題設定と評価指標 既存の手法 ノンパラメトリックな手法 パラメトリックな手法 提案手法 概要 詳細 ステップ1 ステップ2 これを基にした画風変換 参考文献 自分の研究が画像処理系の機械学習と関係ないのでやや適当です。 問題設定と評価指標 [Gatys2015]…

画風変換をtensorflowで実装し、最適化の項を変化させた時の出力画像の変化を見る

Neural Style Transfer VGGネット 訓練済みモデルのダウンロード モデルの定義 モデルを宣言 中間層での画像特徴量の抽出 プロット用の関数 中間層の画像の可視化 最適化問題 損失関数の計算 出力結果 画風変換に関する論文一覧 学会に参加してるのですが、…

ディープラーニングのパラメータ設定・更新方法に関するメモ

パラメータの初期化 Xavier Initialization He Initialization Glorot initialisation パラメータ更新の手法 Vanilla update Momentum Nesterov Momentum Nadam AdaGrad AdaDelta Adam(Adaptive Moment Estimation) RMSprop Eve その他多数 自分で定義した目…

OCR・文字認識の論文とかのまとめ

論文 End-to-End Text Recognition with Convolutional Neural Networks Word Spotting and Recognition with Embedded Attributes Deep structured output learning for unconstrained text recognition Deep Features for Text Spotting Reading Text in t…

Deep系の論文めも後半その2 (2016年夏頃までのもの対象)

教師なし CNN features off-the-shelf: an astounding baseline for recognition 画像 Learning and transferring mid-level image representions using convolutional neural networks Learning hierarchical features for scene labeling Semantic Segment…

Deep系の論文めも後半その1 (2016年夏頃までのもの対象)

生成モデル Deep Convolutional Generative Adversarial Networks Generative Adversarial Nets Unsupervised representation learning with deep convolutional generative adversarial networks Deep Generative Image Models using a Laplacian Pyramid …

Deep系の論文めも前半 (2016年夏頃までのもの対象)

過学習の防止・学習のアルゴリズム Dropout Batch normalization Resnet Layer Normalization Normalization Layers 理論 Distilling the knowledge in a neural network Deep neural networks are easily fooled: High confidence predictions for unrecogn…

画像処理系のDeep Learningの基本的な手法

まとめ資料 サーベイ The Deep Learning textbook by Ian Goodfellow and Yoshua Bengio and Aaron Courville Deep Learning in Neural Networks: An Overview 画像・動画 画像分類問題 AlexNet (ImageNet Classification with Deep Convolutional Neural Ne…

Metric learning/similarly learningに関する資料集

metric learningとは Wikipedia Tutorial on Metric Learning Metric Learning(ICML tutorial) 基本 Distance metric learning with application to clustering with side-information. Distance metric learning for large margin nearest neighbor classif…

pythonでdenoising auto encoderを使ってデータを前処理する

概要 モデル定義 ノイズ付加 デノイジングオートエンコーダーの訓練 損失関数の推移 概要 まず、PFNの得居さんの記事を参照。 www.beam2d.net データにランダムにノイズを乗せたものを入力として、元のデータを正解とするDNNを学習することでデータからノイ…

pythonでAutoencoderの精度をバッチサイズを変更しながら確認

コード モデル定義 モデルの訓練 バッチサイズを狭めながらオートエンコーダを訓練して、その損失関数の減少具合を確認する。 緑色線がエポックごとのおおよその損失関数のlossの値、赤色がバッチごとのlossの値を全てプロットしたものです。 コード モデル…

pythonでAutoencoderを動かす

環境 モデルの定義 出力 モデルの訓練 誤差の減少具合 オートエンコーダーのモデルを複雑に 二つのモデルの比較 参考 環境 python2.7, ubuntu14.04上。Kerasを使用して、入力はベクトルを想定。 モデルの定義 print(autoencoder.summary())とすればモデルに…

予測モデルのパイプライン作成・ハイパーパラメータ・チューニングの自動化に関する資料集

2015年のNIPS以降のものをメモしています。 論文リスト Efficient and robust automated machine learning. A review of automatic selection methods for machine learning algorithms and hyper-parameter values. PredicT-ML: a tool for automating mach…

pythonでBidirectional LSTMを使った分類問題

モデルの定義 モデルの精度の確認 コード 出力 Bidirectional LSTMを使って時系列データを2クラスに分類できるか確かめる。 Schuster, Mike, and Kuldip K. Paliwal. "Bidirectional recurrent neural networks." IEEE Transactions on Signal Processing 45…

Deeplearningで誤差を確認しながら分類問題を解かせる

やること 各ステップ詳細 データをロード、多項式特徴量を追加 モデルを定義 コスト関数の減少具合をプロット 定義したモデルの訓練 ループごとに精度改善を確かめながらバッチサイズを減らす コード やること 単純な分類問題。誤差の減り具合をプロットして…

pythonでstacked LSTMを使った分類問題を解く

やりたいこと qiita.com にあるようなモデルを作成して分類問題を解く。 What is the difference between stacked LSTM's and multidimensional LSTM's? - Quora を参考にしつつ(してない...?)モデルを作成。 Wen, Tsung-Hsien, et al. "Semantically cond…

pythonで2次元のConvolutionalNeuralNetwork(畳み込みニューラルネット)

内容 python+kerasを使って、MNISTのような白黒画像を分類するCNNを構築。 パラメータを変更すればカラー画像なども対応可能、のはず。 コード # keras import numpy import pandas from keras.models import Sequential from keras.layers import Dense, Dr…

LSTMで分類問題を解く(Python)

内容 Kerasを使ってLSTMを実装。 コードのEmbeddingの都合上 tensorflow.__version = 0.10.0で行う必要があるので注意(今日現在)。 コード import numpy as np import pandas as pd import random from keras.models import Sequential from keras.layers im…

LSTMで回帰問題を解く(Python)

内容 コード 出力 内容 Kerasを使ってLSTMを実装。 コードのEmbeddingの都合上 tensorflow.__version = 0.10.0で行う必要があるので注意(今日現在)。 コード import numpy as np import pandas as pd import random from keras.models import Sequential fro…