ゆるふわめも

東京か京都にいます。

メモ:Value Iteration Networksのtheano, tensor-flow, chainerでの実装

概要 実装 theano tensor-flow chainer NIPS-16のBest Paper AwardであるTamar, Aviv, Sergey Levine, and Pieter Abbeel. "Value Iteration Networks." arXiv preprint arXiv:1602.02867 (2016).のtensor-flowでの実装が公開されました。 概要 エージェント…

新しいGradient Boostingベースの予測モデルLightGBM

概要 インストール Python(2.7, 3.4) C++ インストール時のエラー エラー解決法 関連手法の元文献 XGBoost FastBDT 概要 ツリーベースのアンサンブル手法は時系列順に Random Forest Gradient Boosting XGBoost FastBDT などとありますがここに新しくLightGB…

アニメ英語吹き替え版『SHOW BY ROCK!』感想

TVアニメ「SHOW BY ROCK!!#」ED主題歌「My Song is YOU!!」アーティスト: プラズマジカ(CV:稲川英里、上坂すみれ、沼倉愛美、佐倉綾音)出版社/メーカー: ポニーキャニオン発売日: 2016/10/05メディア: CDこの商品を含むブログを見る 日本語版アニメ:試聴な…

ubuntuにanacondaをインストール、仮想環境の作成、削除

インストール 仮想環境の名前一覧を見る 環境を作る 仮想環境に入る 仮装環境から出る 仮想環境の削除 conda-forge 本家のドキュメント メモのみ。Ubuntu 14.04とMac OS Xで行っています。 本家からダウンロードしてインストールするだけです。 インストール…

バンディットアルゴリズムの復習6:トンプソン抽出(ThompsonSampling)

概要 コード ログ出力 アームが保持する変数 アーム選択部分 なぜか日本語の記事があまりない。 概要 以前ソフトマックス法を 実行した時、期待値最大が見込めるアームは指数分布に基づいて決定していた。 このアームkの期待値E_kがアームごとに何らかの事前…

アニメ英語吹き替え版『アカメが斬る!(Akame ga kill!)』感想

アカメが斬る!(14) (ガンガンコミックスJOKER)作者: タカヒロ,田代哲也出版社/メーカー: スクウェア・エニックス発売日: 2016/08/22メディア: コミックこの商品を含むブログを見る 日本語版アニメ:少し視聴あり 日本語版漫画:すべて読んだ 中国語版漫画:…

エラー解決:locale.Error: unsupported locale setting

エラー内容 ubuntu14.04にて pip installを行おうとして locale.Error: unsupported locale setting というエラーが出る。 解決法 export LC_ALL="en_US.UTF-8" export LC_CTYPE="en_US.UTF-8" sudo dpkg-reconfigure locales

pythonのloggingの詳細設定を行う

利用するたびに設定を指定する .confにロギングの設定を指定する 詳細 データ解析のステップが大きくなってくるとログファイルを出力しないとどこにエラーがが入ったかやバグのチェックが大変になってくるのでメモ。 利用するたびに設定を指定する 一瞬使い…

バンディットアルゴリズムの復習5:Combinatorial bandits

前回 matroid bandit やりたいこと Matroid Augmentation property Modular Function Maximum-weight basis of the matroid アルゴリズム:Optimistic Matroid Maximization 問題設定 アルゴリズム詳細 元論文 その他関連論文 書きかけ、後ほど各アルゴリズ…

バンディットアルゴリズムの復習4:Contextual Bandit

前回 Contextual Bandit スライド 説明 各アルゴリズム外観 EXP4 Epoch-Greedy LinUCB Thompson sampling for Contextual Bandits HyperTS・HyperTSFB 次回 書きかけ、後ほど各アルゴリズムの説明や実験など追加予定。 →水曜夜あたり→土日あたり 前回 UCB,そ…

漫画『ユキミレコード(著:ふかさくえみ )』 感想

ユキミレコード (ふかさくえみ短編集)作者: ふかさくえみ出版社/メーカー: 電脳マヴォ発売日: 2016/09/26メディア: Kindle版この商品を含むブログを見る 感想とか 普通。 とりあえずいつも通り作者の pixiv があったので貼ります。 検索しても感想が少しも出…

バンディットアルゴリズムの復習3:UCB(Upper Confidence Bound)

前回 UCB(Upper Confidence Bound) UCBの説明 理論的な説明 UCBのアルゴリズム アームの定義 Arm0: ベルヌーイ Arm1: 適当に作った分布 実験 Arm0: ベルヌーイ Arm1: 適当に作った分布 次回 参考文献 前回 ε-Greedy+softmaxについてやった。 UCB(Upper Confi…

バンディットアルゴリズムの復習2:softmax

前回 Softmax Softmaxによるアーム選択 Boltzmann分布(Gibbs 分布) Softmaxのコード アーム選択部分 実験 アームの定義 Arm0: ベルヌーイ Arm1: 適当に作った分布 実験結果 Arm0: ベルヌーイの場合 Arm1: 適当に作った分布の場合 次回:UCB 参考文献 前回 ε-G…

バンディットアルゴリズムの復習1:epsilon-Greedy

A/B テスト epsilon-Greedy アルゴリズム 説明 epsilon-Greedy アルゴリズムコード 実験(ベルヌーイ分布のアーム) アームの定義 実行結果 実験(ペナルティが大きいアームがあるケース) アームの定義 実験結果 実験(アームの分布が時間によって変化する場合) …

エラー解決:jupyterlabを起動する際に 404 not found

エラー内容 解決法 もともとのインストール法 解決した時のインストール法 jupyterhubのケース エラー内容 jupyterlabを起動する際に 404 not foundが返ってくる。ログでは404 GET lab referer=Noneと出力される。 解決法 condaの環境に jupyter labが登録さ…

機械学習関係の無料pdfの一覧

Bayesian Reasoning and Machine Learning Computer Vision: Algorithms and Applications David MacKay: Information Theory, Pattern Recognition and Neural Networks Deep Learning Elements of Statistical Learning: data mining, inference, and pred…

アニメ英語吹き替え版『SELECTOR INFECTED WIXOSS』感想

selector infected WIXOSS まゆのおへや (ヤングジャンプコミックス)作者: nini,LRIG出版社/メーカー: 集英社発売日: 2016/10/19メディア: コミックこの商品を含むブログ (1件) を見る 日本語版アニメ:視聴なし の状態でみました。アメリカ、カナダからのみ…

アニメ英語吹き替え版『俺がお嬢様学校に「庶民サンプル」として拉致られた件(Syomin Sample)』感想

メディア: この商品を含むブログを見る 日本語版アニメ:視聴なし 原作ラノベ:未読 漫画版:既読 の状態でみました。アメリカ、カナダからのみ視聴可能なので注意。 海外の感想 myanimelist.net 7.06/10.0 と普通評価。コメントの「(日本のアニメにおける)…

強化学習の資料メモ3:マルコフ決定過程

Agent–Environment Interface 強化学習におけるagent-environmentの相互作用 Markov Decision Process 定義 講義動画 Markov Decision Processes I Markov Decision Process II RL Course by David Silver(Deepmind) 有限マルコフ決定過程(Finite Markov De…

漫画『だーがしゅか(著:甘露アメ )』 感想

だーがしゅか 1 (MFC キューンシリーズ)作者: 甘露アメ出版社/メーカー: KADOKAWA発売日: 2016/09/26メディア: コミックこの商品を含むブログ (2件) を見る 感想など 総合すると普通よりちょっと上。 作者さんのサイトは多分天気輪[ブックマークはここにお願…

jsonrpcを使ってリモートにある関数をローカルに定義した関数と同様に呼び出す

使うもの サーバー側 使うもの JSON-RPC 2.0 Specificationを使用 サンプルコードを引用すると サーバに送るデータ> {"jsonrpc": "2.0", "method": "subtract", "params": [42, 23], "id": 1} クライアントに返すデータ> {"jsonrpc": "2.0", "result": 19, "…

強化学習の資料メモ2:多腕バンディット問題

基本の内容 各種定式化 Exploration/Exploitation Dilemma Stationary Problem(定常なケース) Action-Value Methods 行動選択の戦略 greedy(貪欲) ε-Greedy Soft-max action selection Non-stationary Problem(非定常なケース) アームの行動戦略 Gradient-Ba…

強化学習の資料メモ1:基本

強化学習の基本 Introduction to Reinforcement Learning with Function Approximation Temporal-Difference Learning Bellman expectation equation off-policy Function approximation ε-greedy policy Model-based reinforcement learning 活用と探索のジ…

Richard S. Suttonら著の強化学習本のドラフト版が公開

pdf サンプルコード 講義資料等 このドラフト版の前の本 Sutton, Richard S., and Andrew G. Barto. Reinforcement learning: An introduction. Vol. 1. No. 1. Cambridge: MIT press, 1998. で有名なRichard S. Sutton氏による新しい強化学習本のドラフト版…

Chainer Playground βで機械学習を学ぶ

リンク:Chainer Playground (beta) オンラインでコードを実行しながら学べる環境。 これから更新されていく予定だそうです。

jupyter notebook上でコマンドを実行する

時たまに、jupyter notebook上でコマンドを実行したい時があります。 並列処理や、ファイルの変換などです。 解決法 %%bashをつければ実行できます。 %%bash /usr/local/bin/dot -Tpng tree.dot -o tree.png

アニメ英語吹き替え版『キルラキル(Kill la kill)』感想

日本語版:視聴あり の状態でみました。アメリカ、カナダからのみ視聴可能なので注意。 Kill la Kill Blu-ray 1 海外 myanimelist.net 8.3/10.0 とかなり高め。Amazon.comの評価は星一つが多いけど日本アニメの評価が低い場合、内容が日本人向けのアニメだっ…

アニメ英語吹き替え版『紅殻のパンドラ(Pandora in the Crimson Shell)』感想

原作:読んでない 日本語版:視聴なし の状態でみました。アメリカ、カナダからのみ視聴可能なので注意。 Pandora in the Crimson Shell Ghost Urn 1 (Pandora in the Crimson Shell: Ghost Urn) 海外 myanimelist.net レビューなし。6.66/10.0 の評価、基本…

pythonで決定木の出力と決定境界の可視化

参考文献 dotのインストール 決定境界の可視化 データの生成 決定境界の可視化 決定木の出力 決定木のデータファイルを出力 出力画像 おまけ:非線形データの場合 データ生成 決定境界の可視化 決定木の可視化 参考文献 Python Data Science Handbook: Essen…

pythonで線形+多項式フィッティング

データの生成 コード グラフ上にプロット フィッテング 過学習のテンプレとして出てくる。 データの生成 コード 予測する曲線のデータと、それにノイズを乗せたデータを生成します。 import matplotlib.pyplot as plt import seaborn import numpy as np def…

pythonで時系列データのプロット、棒グラフ、散布図

データのロード プロット 棒グラフ 単純なカウント 特定のカラムの数のカウント(group by) 散布図 二変数間での散布図 二変数間の散布図を同時に複数 よく使うのでメモ。 データのロード import seaborn as sns data = sns.load_dataset('planets') ロードし…

RWBY Volume1~4の動画リンク集

公式ページ(最新話) RWBY Volume1 Volume2 Volume3 Volume4 RWBY Chibi Season 1 公式サイト Wiki ファンサイト(海外) Volume3までは英語で全部見ました、Volume4で超鬱展開だったこれまでの打開に期待したいところ。Roothter teethで会員登録するとYoutub…

Active Learningの資料・論文のめも

導入 Active Learning 入門 A tutorial on active learning 能動学習セミナー サーベイ Active Learning Literature Survey 論文 導入 Active Learning 入門 Active Learning 入門 from Shuyo Nakatani www.slideshare.net A tutorial on active learning pd…

バンディットアルゴリズムの資料・論文のめも

導入 バンディットアルゴリズム入門と実践 I’m a bandit Thompson Sampling アルゴリズム バンディット問題の各定式化について Introduction to Bandits: Algorithms and Theory 応用例:レコメンデーション 論文 Some aspects of the sequential design of …

漫画『上野さんは不器用(作:tugeneko )』 感想

上野さんは不器用 1 (ヤングアニマルコミックス)作者: tugeneko出版社/メーカー: 白泉社発売日: 2016/09/29メディア: Kindle版この商品を含むブログを見る 内容+感想 買ってよかった。 初めに作者について。 多分この作者はパワプロくんの画像の方で知ってい…

漫画『ひらめきはつめちゃん(作:大沖 )』 感想

ひらめきはつめちゃん(1) (BLADE COMICS)作者: 大沖出版社/メーカー: マッグガーデン発売日: 2010/01/09メディア: コミック購入: 4人 クリック: 56回この商品を含むブログ (90件) を見る 内容+感想 『ひらめきはつめちゃん 1(作:大沖 )』より引用 シュール…

python matplotlib 内で日本語を利用する(日本語のラベルや凡例・legendをつける)

matplotlibで使用できるフォントを探す 指定したフォントをmatplotlib全体で使用できるように指定する コード 表示例 matplotlib.rcを使ったフォントの変更 コード 表示例 matplotlibで使用できるフォントを探す 指定したフォントをmatplotlib全体で使用でき…

python matplotlib 内で日本語を利用する(使用できるフォントを探す)

利用できるフォントを探す コード 出力 matplotlibで使用 日本語でラベルや凡例を表示する 利用できるフォントを探す コード import matplotlib.font_manager as fm # フォント一覧 fonts = fm.findSystemFonts() # フォントのパスと名前を取得、とりあえず1…

pythonでgensimを使ってトピックモデル(LDA)を行う

LDA用のデータの作成 単語の辞書を作成して出力 外部に保存したコーパスと辞書の読み込み LDAの実行 コード 出力例 gensimとjanomeを用いたLDAを行います。 必要なデータは一行ごとに文章が入ったtxtファイルです。 LDA用のデータの作成 data.txtには一行ご…

OCR・文字認識の論文とかのまとめ

論文 End-to-End Text Recognition with Convolutional Neural Networks Word Spotting and Recognition with Embedded Attributes Deep structured output learning for unconstrained text recognition Deep Features for Text Spotting Reading Text in t…

Deep系の論文めも後半その2 (2016年夏頃までのもの対象)

教師なし CNN features off-the-shelf: an astounding baseline for recognition 画像 Learning and transferring mid-level image representions using convolutional neural networks Learning hierarchical features for scene labeling Semantic Segment…

Deep系の論文めも後半その1 (2016年夏頃までのもの対象)

生成モデル Deep Convolutional Generative Adversarial Networks Generative Adversarial Nets Unsupervised representation learning with deep convolutional generative adversarial networks Deep Generative Image Models using a Laplacian Pyramid …

リンク:研究不正に関してのシミュレーション

The Lab : WILL Interactive 研究不正に関してのシミュレーションを、研究責任者、ポスドク、院生、研究倫理担当者の視点でシミュレーションできます。

Deep系の論文めも前半 (2016年夏頃までのもの対象)

過学習の防止・学習のアルゴリズム Dropout Batch normalization Resnet Layer Normalization Normalization Layers 理論 Distilling the knowledge in a neural network Deep neural networks are easily fooled: High confidence predictions for unrecogn…

リンク:アテンションと Augmented-RNNについて

distill.pub

データの次元削減に関する資料集

次元削減とは データの次元削減(Dimensionality reduction) + データの可視化(Data Visualization) PCA Principal Component Analysis(PCA) randomized PCA Online Robust Principal Component Analysis(OR-PCA) 多様体学習 t-Distributed Stochastic Neighb…

画像処理系のDeep Learningの基本的な手法

まとめ資料 サーベイ The Deep Learning textbook by Ian Goodfellow and Yoshua Bengio and Aaron Courville Deep Learning in Neural Networks: An Overview 画像・動画 画像分類問題 AlexNet (ImageNet Classification with Deep Convolutional Neural Ne…

Metric learning/similarly learningに関する資料集

metric learningとは Wikipedia Tutorial on Metric Learning Metric Learning(ICML tutorial) 基本 Distance metric learning with application to clustering with side-information. Distance metric learning for large margin nearest neighbor classif…

Python3、janomeで形態素解析

Welcome to janome’s documentation! — Janome v0.2 documentation の Janomeを使用。MecabをUbuntu で使用するときは文字コードあたりがめんどくさかった記憶があるので(使ったことはあったけど)パス。 janome のインストール Ubuntu 14.04 、python3の環…

PythonのJanomeで形態素解析、webをクローリングしてテキストを集めてトピックモデルを作成する

やりたいこと クローリング データの準備 コード ウェブのHTMLをパースする コード 例 コード データのクローリング コード 形態素解析 トピックモデルを作るためのベクトル作成 やりたいこと 特定のまとまりのWebページを集めて、トピック(共通に出てくる…