ゆるふわめも

ただのメモです。

エラー解決:auto-sklearnやSMAC3.0のインストールがpyrfrのエラーで終了する

エラー内容 環境 解決法 pyrfr関連のエラー pyrfr関係のエラーは探すとたくさん。はまってしまって時間が持ってかれた。 pyrfrはSMACと言うアルゴリズムで使用するRandomForestで使用するライブラリ。 エラー内容 XXXXX@XXXXX:~/SMAC3$ cat requirements.txt…

エラー解決:HPOlib2のインストール

インストールまで 環境 git リポジトリをクローン 環境の作成 関連ライブラリのインストール HPOlibのインストール ConfigSpaceのインストール openmlのインストール pynisherのインストール pyrfrのインストール その他エラーなど HPOlib2はブラックボック…

the kancolle effect(艦これ効果)とは

使用例 2014年8月 2016年3月 2016年12月 2017年7月 その他 使用例 2014年8月 インドネシア語ですが。 sekarang kalo searching kapal" Perang Dunia II yang nongol malah chara-chara moe... (co:kongou,haruna,kirishima,shimakaze) Kancolle effect— Naji…

Google Clowd Engineでjupyter notebookを利用する

インスタンスに入る static IPを追加 firewall ruleを確認 jupyterにアクセス インスタンスに入る gcloud compute ssh <インスタンス名> static IPを追加 GCPのメニュー「Networking」以下の「External IP addresses」から追加 firewall ruleを確認 アクセス…

エラー解決:PythonのXGBoostで目的関数を変更する

これまでの場合 エラー内容 コード エラーメッセージ 解決 実装例・参考 これまでの場合 過去のバージョン(以下)では確か custom_objective パラメータにてgradientとhessian matrixを返すような関数を渡せばよかった。 paper.hatenadiary.jp xgboost-0.4a30…

メモ:Quantile Regressionの資料

細かいことをかく気力はありません…。 二つ目のは、なんとnotebookとコードもあります。ありがたい。 A Short Course on Quantile Regression: http://wise.xmu.edu.cn/UploadFiles/SS2011/Uploadfiles/2013714144421348.pdf Convex Optimization Short Cou…

Hyperoptなどのハイパーパラメータチューニングとその関連手法についてのメモ

ハイパーパラメータの定義 探索手法 Random Search Manual coordinate descend Grid Search Particle Swarm Optimization Genetic Algorithm Sequential Model-Based Optimization(SMBO) Tree-structured Parzen Estimator(TPE) Sequential Model-Based-opti…

強化学習関係のMOOCs(オンライン講座)のメモ

CS 598 LAZ: Cutting-Edge Trends in Deep Learning and Recognition CS 294: Deep Reinforcement Learning, Spring 2017 UCL Course on RL Sutton本 CS294をいつか見たいけれども、朝になった。 次はTree-structured Parzen Estimatorとかを調べる予定。 CS…

論文メモ:Learning Hidden Features for Contextual Bandits

元論文 まとめると 背景 Contextual Bandit 既存手法の問題点 Latent Factor Model 座標降下(Coordinate Descent)法 問題設定 アルゴリズム 実験 ベースライン 実験結果 課題 バンディット系のメモです。かなり適当です、すいません。 元論文 Learning Hidde…

論文メモ:The Limits of Popularity-Based Recommendations, and the Role of Social Ties

まとめると モデル 推薦システムが利用されていない市場のモデル 推薦システムが利用されている市場のモデル Market distortion 実験 利用データ super-node 結果 感想など コード 参考文献など “The Limits of Popularity-Based Recommendations, and the R…

推薦システムに関する資料集とメモ

推薦システム 定義 評価指標 講義・解説スライドなど 推薦システムの分類 個人化による分類 アルゴリズムにて用いるデータによる分類 アルゴリズムによる分類 類似度 行列分解 ベイズ推定 バンディット Deep Learning xxx2vec Web上における推薦システム デ…

Ubuntu14.04にてtesseractとLeptonicaのインストール

Leptonicaのインストール tesseractのインストール autoconf-archive その他の依存関係のインストール tesseract本体のインストール 訓練済みモデルのダウンロード 環境は Ubuntu14.04. Google Clowd APIを使いたくないのでインストール. Tesseractのバージ…

画像に含まれる色をクラスタリングして自動的に抽出する

できたもの 実装内容 仕組み 改善点 おまけ 今後の課題 クラスタリング数を動的に変更する ワンポイントの色の抽出 クラスタリングについてのメモ クラスタリングするアルゴリズムの分類 階層的なクラスタリング手法 繰り返し割り当てを変えていく手法 その…

さくらレンタルサーバーでのpython環境のセットアップ

python インストール python2.7 python3.4 外部ライブラリのインストール numpy pip pyenv pandas エラーなど ImportError BootStrapform djangoを使ったウェブアプリケーションの開発をする必要になっ(てしまっ)たため. レンタルサーバーでpythonを使えると…

エラー解決:DjangoにてDisallowedHost at.., Invalid HTTP_HOST header

エラー内容 解決法 ドキュメント エラー内容 DisallowedHost at / Invalid HTTP_HOST header: '10.22....:8001'. You may need to add '10.22....' to ALLOWED_HOSTS 解決法 djangoプロジェクト以下のyour_sitename/setting.pyにてALLOWED_HOSTSにIPアドレス…

時系列データ解析のメモ+pythonで株価の取得

時系列データとは よく出る確率分布・密度関数 ポアソン分布 goodness of fit test pythonにて株価を取得 pandas_datareaderのインストール データの取得 データのプロット 対数収益率の計算 統計量の計算・分析 平均・分散・相関 ヒストリカルボラティリテ…

matplotlibでの凡例(ラベル)の表示場所・形式を変更する

データを生成 legend(凡例)の表示方法の指定 通常 場所を指定(グラフ枠内) 凡例表示を複数列に分割する, 枠に影をつける, 横幅いっぱいにする グラフの枠外に表示する 凡例にタイトルをつける 凡例を分割して別々に表示する ラベル名を任意の文字列に付け替…

Anacondaで作成した環境の名前を変更する

コマンド 説明 コマンド conda create --n NEW_NAME --clone PREVIOUS_NAME conda remove --n PREVIOUS_NAME --all 説明 ドキュメントになさそうだったので、 一旦クローンして全く同じ環境を新しい名前でコピーしてから 前の名前の環境を削除 という手順に…

Python djangoでGroup byを用いて要素ごとのレコード数をカウントしてテンプレートに渡す

使いそうになったので. ModelNameがモデルの名前, attribute_nameがgroup byを行いたいカラムの名前です. from django.db.models import Count target_data = ModelName.objects.all() groupby_data = target_data.values('attribute_name').annotate(total=…

エラー解決:Anaconda環境でauto-sklearnをインストール

エラー内容 インストール手順 環境に入る gccをインストール (必要なら)以下のライブラリをアンインストール auto-sklearnのインストール 追記 参考文献 エラー内容 python2.7, 3.5にて、OSはMac OS X. auto-sklearnのドキュメントにしたがって Anaconda以下…

Zero-shot / One-shot Learningに関する資料集

定義 Zero Shot Learning one shot learning 関連研究・スライド 2008年 Zero-data Learning of New Tasks 2009年 Zero-Shot Learning with Semantic Output Codes Learning To Detect Unseen Object Classes by Between-Class Attribute Transfer 2013年 Ze…

エラー解決:PythonのAnaconda環境でXGBoostを利用した時「Reason: image not found」

エラー内容 XGBoostをimportする時に Reason: image not found となるか、jupyter notebookのカーネルが死ぬ。 解決方法 conda remove xgboost conda install -c aterrel xgboost=0.4.0 でオッケー。ただしこのバージョンでは自分で定義した目的関数を使った…

CNNを用いたテクスチャ合成(Texture Synthesis)の仕組みのメモ

問題設定と評価指標 既存の手法 ノンパラメトリックな手法 パラメトリックな手法 提案手法 概要 詳細 ステップ1 ステップ2 これを基にした画風変換 参考文献 自分の研究が画像処理系の機械学習と関係ないのでやや適当です。 問題設定と評価指標 [Gatys2015]…

エラー解決:Exception: The shape of the input to "Flatten" is not fully defined

エラー内容 kerasを用いている時に Exception: The shape of the input to "Flatten" is not fully defined ... のエラー 解決方法 モデルの定義が正しい(レイヤー間の次元数の数が正しい)のに失敗する時は vim ~/.keras/keras.jsonとして { "image_dim_orde…

dockerでのコンテナ作成、削除関係のコマンド一覧

イメージ イメージ一覧 イメージ取得 イメージ削除 既存のコンテナからイメージを作成 コンテナ コンテナ一覧 コンテナ起動 コンテナに指定した名前をつけて起動して、コンテナに入る ホスト側のディレクトリをコンテナ内にマウント コンテナ削除 Dockerfile…

画風変換をtensorflowで実装し、最適化の項を変化させた時の出力画像の変化を見る

Neural Style Transfer VGGネット 訓練済みモデルのダウンロード モデルの定義 モデルを宣言 中間層での画像特徴量の抽出 プロット用の関数 中間層の画像の可視化 最適化問題 損失関数の計算 出力結果 画風変換に関する論文一覧 学会に参加してるのですが、…

virtualenv及びanacondaで作成した環境を削除・今ある環境の一覧を確認する

virtualenv 環境の削除 一覧を表示 環境を作成 環境に入る anaconda 環境の削除 一覧を表示 環境を作成 環境に入る 環境から出る 環境の名前の変更 env_nameが環境の名前です。 virtualenv 環境の削除 rmvirtualenv env_name 一覧を表示 -lで環境の詳細を表…

エラー解決:Cannot remove entries from nonexistent file ...easy-install.pth

エラー内容 pip3コマンドでインストールしようとした際に、依存関係のあるライブラリのバージョンを削除する場合があってその際に Cannot remove entries from nonexistent file anaconda...easy-install.pth のエラー。 解決 --ignore-installedオプション…

エラー解決:chainerを利用している時に AttributeError: 'module' object has no attribute 'full_like'

エラー内容 解決方法 エラー内容 いろいろ長いエラーの後に AttributeError: 'module' object has no attribute 'full_like' と言われる。 解決方法 chainerでGPUを利用しない場合、以下の箇所で numpyに切り替わる。 そのnumpyにfull_linkの属性がないため…

web上での英文校正・文法チェッカーサイトのメモ

文法チェッカー Spellcheckplus Grammarly Reverso 例文検索 Linguee tatoeba Urban dictionary その他のチェックリスト 学会発表用の英語スライドの修正に使うので、メモ。 文法チェッカー はじめに文法をチェック。 たくさんあるけど、ページ遷移や広告が…