ゆるふわめも

東京か京都にいます。

Hyperoptなどのハイパーパラメータチューニングとその関連手法についてのメモ

ハイパーパラメータの定義 探索手法 Random Search Manual coordinate descend Grid Search Particle Swarm Optimization Genetic Algorithm Sequential Model-Based Optimization(SMBO) Tree-structured Parzen Estimator(TPE) Sequential Model-Based-opti…

強化学習関係のMOOCs(オンライン講座)のメモ

CS 598 LAZ: Cutting-Edge Trends in Deep Learning and Recognition CS 294: Deep Reinforcement Learning, Spring 2017 UCL Course on RL Sutton本 CS294をいつか見たいけれども、朝になった。 次はTree-structured Parzen Estimatorとかを調べる予定。 CS…

論文メモ:Learning Hidden Features for Contextual Bandits

元論文 まとめると 背景 Contextual Bandit 既存手法の問題点 Latent Factor Model 座標降下(Coordinate Descent)法 問題設定 アルゴリズム 実験 ベースライン 実験結果 課題 バンディット系のメモです。かなり適当です、すいません。 元論文 Learning Hidde…

論文メモ:The Limits of Popularity-Based Recommendations, and the Role of Social Ties

まとめると モデル 推薦システムが利用されていない市場のモデル 推薦システムが利用されている市場のモデル Market distortion 実験 利用データ super-node 結果 感想など コード 参考文献など “The Limits of Popularity-Based Recommendations, and the R…

推薦システムに関する資料集とメモ

推薦システム 定義 評価指標 講義・解説スライドなど 推薦システムの分類 個人化による分類 アルゴリズムにて用いるデータによる分類 アルゴリズムによる分類 類似度 行列分解 ベイズ推定 バンディット Deep Learning xxx2vec Web上における推薦システム デ…

Ubuntu14.04にてtesseractとLeptonicaのインストール

Leptonicaのインストール tesseractのインストール autoconf-archive その他の依存関係のインストール tesseract本体のインストール 訓練済みモデルのダウンロード 環境は Ubuntu14.04. Google Clowd APIを使いたくないのでインストール. Tesseractのバージ…

画像に含まれる色をクラスタリングして自動的に抽出する

できたもの 実装内容 仕組み 改善点 おまけ 今後の課題 クラスタリング数を動的に変更する ワンポイントの色の抽出 クラスタリングについてのメモ クラスタリングするアルゴリズムの分類 階層的なクラスタリング手法 繰り返し割り当てを変えていく手法 その…

さくらレンタルサーバーでのpython環境のセットアップ

python インストール python2.7 python3.4 外部ライブラリのインストール numpy pip pyenv pandas エラーなど ImportError BootStrapform djangoを使ったウェブアプリケーションの開発をする必要になっ(てしまっ)たため. レンタルサーバーでpythonを使えると…

エラー解決:DjangoにてDisallowedHost at.., Invalid HTTP_HOST header

エラー内容 解決法 ドキュメント エラー内容 DisallowedHost at / Invalid HTTP_HOST header: '10.22....:8001'. You may need to add '10.22....' to ALLOWED_HOSTS 解決法 djangoプロジェクト以下のyour_sitename/setting.pyにてALLOWED_HOSTSにIPアドレス…

時系列データ解析のメモ+pythonで株価の取得

時系列データとは よく出る確率分布・密度関数 ポアソン分布 goodness of fit test pythonにて株価を取得 pandas_datareaderのインストール データの取得 データのプロット 対数収益率の計算 統計量の計算・分析 平均・分散・相関 ヒストリカルボラティリテ…

matplotlibでの凡例(ラベル)の表示場所・形式を変更する

データを生成 legend(凡例)の表示方法の指定 通常 場所を指定(グラフ枠内) 凡例表示を複数列に分割する, 枠に影をつける, 横幅いっぱいにする グラフの枠外に表示する 凡例にタイトルをつける 凡例を分割して別々に表示する ラベル名を任意の文字列に付け替…

Anacondaで作成した環境の名前を変更する

コマンド 説明 コマンド conda create --n NEW_NAME --clone PREVIOUS_NAME conda remove --n PREVIOUS_NAME --all 説明 ドキュメントになさそうだったので、 一旦クローンして全く同じ環境を新しい名前でコピーしてから 前の名前の環境を削除 という手順に…

Python djangoでGroup byを用いて要素ごとのレコード数をカウントしてテンプレートに渡す

使いそうになったので. ModelNameがモデルの名前, attribute_nameがgroup byを行いたいカラムの名前です. from django.db.models import Count target_data = ModelName.objects.all() groupby_data = target_data.values('attribute_name').annotate(total=…

エラー解決:Anaconda環境でauto-sklearnをインストール

エラー内容 インストール手順 環境に入る gccをインストール (必要なら)以下のライブラリをアンインストール auto-sklearnのインストール 追記 参考文献 エラー内容 python2.7, 3.5にて、OSはMac OS X. auto-sklearnのドキュメントにしたがって Anaconda以下…

Zero-shot / One-shot Learningに関する資料集

定義 Zero Shot Learning one shot learning 関連研究・スライド 2008年 Zero-data Learning of New Tasks 2009年 Zero-Shot Learning with Semantic Output Codes Learning To Detect Unseen Object Classes by Between-Class Attribute Transfer 2013年 Ze…

エラー解決:PythonのAnaconda環境でXGBoostを利用した時「Reason: image not found」

エラー内容 XGBoostをimportする時に Reason: image not found となるか、jupyter notebookのカーネルが死ぬ。 解決方法 conda remove xgboost conda install -c aterrel xgboost=0.4.0 でオッケー。ただしこのバージョンでは自分で定義した目的関数を使った…

CNNを用いたテクスチャ合成(Texture Synthesis)の仕組みのメモ

問題設定と評価指標 既存の手法 ノンパラメトリックな手法 パラメトリックな手法 提案手法 概要 詳細 ステップ1 ステップ2 これを基にした画風変換 参考文献 自分の研究が画像処理系の機械学習と関係ないのでやや適当です。 問題設定と評価指標 [Gatys2015]…

エラー解決:Exception: The shape of the input to "Flatten" is not fully defined

エラー内容 kerasを用いている時に Exception: The shape of the input to "Flatten" is not fully defined ... のエラー 解決方法 モデルの定義が正しい(レイヤー間の次元数の数が正しい)のに失敗する時は vim ~/.keras/keras.jsonとして { "image_dim_orde…

dockerでのコンテナ作成、削除関係のコマンド一覧

イメージ イメージ一覧 イメージ取得 イメージ削除 既存のコンテナからイメージを作成 コンテナ コンテナ一覧 コンテナ起動 コンテナに指定した名前をつけて起動して、コンテナに入る ホスト側のディレクトリをコンテナ内にマウント コンテナ削除 Dockerfile…

画風変換をtensorflowで実装し、最適化の項を変化させた時の出力画像の変化を見る

Neural Style Transfer VGGネット 訓練済みモデルのダウンロード モデルの定義 モデルを宣言 中間層での画像特徴量の抽出 プロット用の関数 中間層の画像の可視化 最適化問題 損失関数の計算 出力結果 画風変換に関する論文一覧 学会に参加してるのですが、…

virtualenv及びanacondaで作成した環境を削除・今ある環境の一覧を確認する

virtualenv 環境の削除 一覧を表示 環境を作成 環境に入る anaconda 環境の削除 一覧を表示 環境を作成 環境に入る 環境から出る 環境の名前の変更 env_nameが環境の名前です。 virtualenv 環境の削除 rmvirtualenv env_name 一覧を表示 -lで環境の詳細を表…

エラー解決:Cannot remove entries from nonexistent file ...easy-install.pth

エラー内容 pip3コマンドでインストールしようとした際に、依存関係のあるライブラリのバージョンを削除する場合があってその際に Cannot remove entries from nonexistent file anaconda...easy-install.pth のエラー。 解決 --ignore-installedオプション…

エラー解決:chainerを利用している時に AttributeError: 'module' object has no attribute 'full_like'

エラー内容 解決方法 エラー内容 いろいろ長いエラーの後に AttributeError: 'module' object has no attribute 'full_like' と言われる。 解決方法 chainerでGPUを利用しない場合、以下の箇所で numpyに切り替わる。 そのnumpyにfull_linkの属性がないため…

web上での英文校正・文法チェッカーサイトのメモ

文法チェッカー Spellcheckplus Grammarly Reverso 例文検索 Linguee tatoeba Urban dictionary その他のチェックリスト 学会発表用の英語スライドの修正に使うので、メモ。 文法チェッカー はじめに文法をチェック。 たくさんあるけど、ページ遷移や広告が…

エラー解決:Conda 'ImportError: No module named ruamel.yaml.comments'

エラーメッセージ 解決方法 エラーメッセージ Conda 'ImportError: No module named ruamel.yaml.comments' 解決方法 pip install ruamel_yaml pip install pycosat

学会発表のスライドの準備・練習のための参考動画のメモ

テンプレート はじめに 背景・研究の動機 提案手法(Proposed method) 実験(Experimental settings) 結果・考察 終わりに その他 参考動画 15~25分 Topic Models with Power-Law Using Pitman-Yor Process Psychological Advertising: Exploring Consumer Psy…

ディープラーニングのパラメータ設定・更新方法に関するメモ

パラメータの初期化 Xavier Initialization He Initialization Glorot initialisation パラメータ更新の手法 Vanilla update Momentum Nesterov Momentum Nadam AdaGrad AdaDelta Adam(Adaptive Moment Estimation) RMSprop Eve その他多数 自分で定義した目…

機械学習のベストプラクティスの資料のメモ(Best Practices for ML Engineering)

Rules of Machine Learning: Best Practices for ML Engineering Reliable Machine Learning in the Wild Google researchの Martin Zinkevich氏の資料です。 Reliable Machine Learning in the Wild(NIPS 2016)での招待講演のもの。 Rules of Machine Learn…

XGBoostで自分で設計した目的関数(objectiveを自分で定義)で回帰を行う

やること Quantile Regression イメージ scikit-learnのGradientBoostingでの実装 XGBoostの目的関数を変更する 目的関数 結果 他の目的関数 やること xgboostの目的関数を定義済みのものから自分で定義したものに変える。 回帰は常に 正解ラベル=予測の平…

OPENVIS, ウェブ上のインフォマティクスに関する学会

OPENVIS 2017 2016 2015 IEE VIZ 2017 IVAPP 2017 ウェブ上でのデータ可視化に関する学会。 可視化の人たちだけあって、スライドも綺麗。 スライドは全てダウンロード or 閲覧できて発表動画も公開されているので、 暇なときに面白そうなのが見れたらなあ、…

損失関数・評価指標のめも

scikit-learnのモデル評価に関するドキュメント 回帰(Regression)問題 Hinge loss 平均絶対誤差(Mean absolute error) Mean Squared Error ニクラス分類(Binary Classification)問題 F1 score MAP(Mean average precision) マルチラベル分類(Multi-Label Cla…

確率的モデルのライブラリ Edward

こちら:http://edwardlib.org/ Dustin Tran, Alp Kucukelbir, Adji B. Dieng, Maja Rudolph, Dawen Liang, and David M. Blei. 2016. Edward: A library for probabilistic modeling, inference, and criticism. arXiv preprint arXiv:1610.09787. チュート…

エラー解決:LaTeX Error: Cannot determine size of image (no BoundingBox)のエラー

エラー内容 解決法 Step1 Step2 Step3 Step4 エラー内容 LaTeX Error: Cannot determine size of image (no BoundingBox) 解決法 Step1 \usepackage[dvipdfmx]{graphicx} 大概これで解決。 Step2 dvipdfmxが無いと言われている場合は、こちらからダウンロー…

TeXにて図や表につく Figure./Table. を 図/表などに変更

Tex

忘れるのでメモ。 \renewcommand{\figurename}{図} \renewcommand{\tablename}{表} とすれば図形を挿入した時に接頭に自動でつく文字を変更できる。

スライド等で便利な配色・カラーチャート・色見本の一覧

配色・カラースキーム coolors Cohesive Colors HUE/360 Adobe Kuler paletton colourco.de material design palette colr.org color hunt colrd 配色・スライドに関する講座 色彩センスのいらない配色講座 見やすいプレゼン資料の作り方 html color codes …

pythonで文字列を日付(datetime)に変換後、日付間の日数の差を求める

やりたいこと データ形式 変換コード よく特徴を新しく作る時に使うのでメモ。 やりたいこと csvファイルの二つのカラムに入った文字列形式の日時データ、その二つの日時データの日数の違いを一気に計算したい。 下のデータ形式だと end_date_time - start_d…

エラー解決:clang-omp++: command not found

エラーメッセージ 解決方法 mac os ei capitanにて。 エラーメッセージ make: *** [build/learner.o] Error 127 make: *** Waiting for unfinished jobs.... /bin/sh: clang-omp++: command not found make: *** [build/logging.o] Error 127 解決方法 $ bre…

pandasのDataFrameの連結、内部結合、外部結合のサンプル

データフレーム結合の使用例 Grouobyとそれに対する操作(フィルタなど) データ選択の方法(ix, queryなど) リンクのみです。 Qiita等の例の内の多くはpandasのドキュメントに載っている気がします。いちいち検索せずにドキュメントを読む癖をつけたい。特によ…

エラー解決:macでlatexに挿入したpdfの図が表示されない

エラー内容 解決方法 その1 その2 その3 その4 エラー内容 pdfの図を挿入しても表示されない。 エラーの一部に dvipdfmx:warning: Unparsed material at end of special ignored だったり LaTeX Error: Cannot determine size of graphic in ... (no bou…

漫画『ななしのアステリズム(作:小林 キナ)』 感想+海外コメ

内容+感想など 作者情報 最新話 pixivなど 内容+感想など たまたま海外サイトで見つけた一作。 人気度に対して順位が高い作品はいいものが多い印象で、ななしのアステリズムは「順位 2589位, 人気度 9255位, score 7.7/10.0」と高め。 参考:聲の形は 順位…

Maximum Mean Discrepancyに関する資料集

大阪大学講義資料 ICONIP 2006 Multi-kernel Maximum Mean Discrepancy MMD-critic これもメモのみ。 去年9月頃から家のゴタゴタを引きずってて全然作業出来てない。 春休みに確認したいところ。MMD!=MikuMikuDance。 大阪大学講義資料 大阪大学大学院・基…

漫画『ユリ熊嵐(作:森島 明子)』 感想

内容+感想など 作者詳細 pixiv 最近の作品 ブログなど 内容+感想など 実は英語吹き替え版のアニメを、日本語版漫画よりも先に見た。 英語の解釈がよっぽど間違ってない限りは、アニメと漫画の展開は結構異なる。 けど断絶の壁を超えて一緒になるために...…

Latexでチェックマーク(✔︎:への逆)を出力する

関係部分と表示サンプル 必要パッケージ 出力 コード全体 稀によく使う。 関係部分と表示サンプル 必要パッケージ \usepackage{bbding} \usepackage{pifont} \usepackage{wasysym} \usepackage{amssymb} 出力 \checkmark % amssymb \\ \Checkmark % bbding \…

グラフィカルモデルの資料のメモ

グラフィカルモデル入門 ベイジアンネットとレコメンデーション グラフィカルラッソ 完全にあとで読む用のメモ。 グラフィカルモデル入門 グラフィカルモデル入門 from Kawamoto_Kazuhiko 千葉大学統合情報センター , 川本一彦先生の資料。 ベイジアンネット…

Ian Goodfellow先生による講義動画+資料(Adversarial Examples)

上はMontreal Deep Learning Summer Schoolでの資料なので少し古い内容です。 NIPSの際の資料などはこちら-> Presentation から閲覧できます。

人工知能の研究に利用できる1 人称視点の3Dゲーム環境、DeepMind Lab

3Dでの機械学習(この言葉は使いたくないですが)の研究に利用できる環境をオープンソースで公開したそうです。 github 元論文 [1612.03801] DeepMind Lab

graphvizを使ってフローチャートや遷移図を作成する

できること インストール コマンドでのコンパイル web上でコンパイル 作成例 決定木の可視化 作成例は後ほど追記予定。 できること digraph g{ rankdir=LR; "a" -> "b" -> "c" -> "d" -> "e" -> "f" } をコンパイルすると ができます。 インストール brew in…

漫画『ハレ婚。(作:NON)』 感想

内容+感想 絵柄どんな感じかということで作者のインスタからメインキャラの4人。 『デリバリーシンデレラ』の人。この時は絵は綺麗けどストーリーや終わり方が投げすぎな気がしたけど『ハレ婚。』もそんな印象を受けた。 本作の内容を短くまとめると、無職…

かなり雑なデイジー姫の人形を見つけた

たまたま見つけたのでメモ。 ※画像は上記ページより一部引用しています。 瞳孔の位置がなんだか怪しげ。 そしてタグを良く見るとテレサ。

python, pandas.DataFrameにてapply内部のlambda式でtry, exceptを行う

コード try and catch部分 変換部分 最後に 結論から言うとできないそうです。 もっとも利用するのは DataFrame形式にapplyを使ってデータを変換する時だと思います、自分だけかもしれないですが。 コード とっさに作った例ですが、データに含まれる文字列の…