ほぼ日刊サービス開発日誌

5月は機械学習とReact

sshでもatomしたい

remote-atom Command + , でatom設定を開いて、上記のパッケージをインストール。 ナビゲーションのパッケージ>remote-atom>start-server をクリック リモートサーバーではrmateコマンドを使えるようにする必要がある 以下のようにしてパスの通じているとこ…

テキストデータをCNNを用いて既定カテゴリに自動分類する実装のまとめ

目的 テキストデータをあるカテゴリに自動分類したい。 既存の手法を集めてみた。といっても論文からではなく、ブログ記事を参考に手法と結果をまとめてみた。 1. 全結合層が2つのシンプルなCNN KerasのCNNを使って文書分類する より。 keras/imdb_cnn.py a…

rubyでarxivの論文タイトルをPDF/absのURLから取得する

APIを利用してJSONをパースする。 APIは以下のような構造。 https://api.altmetric.com/version/arxiv/arXiv_id require 'net/http' require 'uri' require 'json' arxiv_id = target_url.split('/').last.match(/\d+\.\d+/).to_s api_url = "https://api.al…

Unicornで動かしたRailsのログをtd-agent に流してS3にアップロードする

td-agentのログはアプリサーバーにおいて置くと膨大になってしまいます。 RailsアプリのログをS3に流してあとで分析できるようにします。 S3との連携プラグインをいれる gem install fluent-plugin-s3 /etc/td-agent/td-agent.conf に設定ファイルを置く <source> @t</source>…

図で理解する畳み込みニューラルネットワークの設計「実装ディープラーニング」第3章〜第4章

CNNの仕組みを図にすることで、畳み込み層、プーリング層、全結合層の意味合いや、設計の勘所などがだんだん掴めてきました。 今回の内容は、 実装 ディープラーニング作者: 藤田一弥,高原歩,株式会社フォワードネットワーク出版社/メーカー: オーム社発売日…

図で理解する「実装ディープラーニング」第1章〜第2章 畳み込み層、プーリング層、バッチ学習、損失関数 

書かなきゃ覚えられない体質なので、「実装ディープラーニング」の内容を図にしてまとめていきます。 実装 ディープラーニング作者: 藤田一弥,高原歩,株式会社フォワードネットワーク出版社/メーカー: オーム社発売日: 2016/11/30メディア: 単行本(ソフトカ…

AWS EC2 UbuntuでNo space left on device になってしまったよ... ブロック追加

とりあえず、 df -h(disk free, ディスク空き容量) してどれくらい使い込んでいるかをみると、 /dev/xvda1 7.7G 7.7G 100% で満杯だった。 sudo du -h --max-depth=1 {somedir} (disk usage, ファイル空き容量) で当たりをつけたディレクトリ配下でどれくら…

unicron-railsでリモートRailsサーバーの起動に失敗、しかもエラーログがリモートにない

cap staging deploy が毎回失敗してしまう。 (Backtrace restricted to imported tasks) cap aborted! SSHKit::Runner::ExecuteError: Exception while executing as ubuntu@xxxx: bundle exit status: 1 bundle stdout: master failed to start, check stde…

Twitterみたいに各タブが無限スクロールするコンポーネントの実装【React】

ツイッターの様な、 「タイムライン」「お気に入り」「フォロワー」 みたいなタブが横並びになっており、それぞれに無限スクロールが可能なユーザープロフィールページは、どうコンポーネント分けるのがベストなのか? について悩んでしまいました。 これ、…

Reactのライフサイクルメソッドとその使いドコロのまとめ - ajax callをするのに最も適した場所は?

React.jsを勉強し始めて3日経ちました。 いまいちよくわからなかったReactのライフサイクルメソッドの使い分けについて調べたのでまとめます。 ライフサイクルと使いどころ componentWillMount コンポーネントがDOMツリーに追加される前に一度だけ実行され…

React.js - Tabの表現には props.children が便利

最近、遅まきながらReactを勉強しています。VR, Web, iOS, androidで一つのコンポーネントを使いまわして表現できるのはとても魅力的だと思ったからです。 呼び出す親側から変数をDOMタグのアトリビュートとして受け取りpropsから引き出す・・・という形態に…

cap deploy が失敗する原因がcd:cd:2: permission denied: だった

cap aborted! SSHKit::Runner::ExecuteError: Exception while executing as ubuntu@x.x.x.x 他の人のPCでステージング環境にデプロイしようとしたら、エラーが出るということがありました。 原因は秘密鍵のあるディレクトリのパーミッションでした。 .sshデ…

macbook pro 2017 touchbar買ったけどescがないのでvimmerは困っちゃいそう

escがTouch Barの中に入ってしまっているので、物理キーじゃなくて押し心地イマイチです。 karabiner入れるのも面倒なら、デフォルトで対応できる方法があります。 control + [ でデフォルトでescキーのエイリアスになっています。 私はデフォルトのcontrol…

いま接続してるwifiのパスワードをターミナルで一発確認するシェルスクリプト

variable_name = $( command ) で${variable_name} がパイプで利用できるようになる。 awk 'パターン {アクション}' ファイル名」で、テキストファイルを1行ずつ読み、パターンに合致した行に対して、アクションで指定された内容を実行する。 ssid=$(/System…

Amazon elastic beanstalkにDjangoとRailsをデプロイして独自のDBと接続&cloudwatchでリアルタイム監視

共通設定 環境の設定 eb printenvで環境変数表示 eb setenv key=value で設定 .ebextensions/01-somesetting.config でデプロイ時の設定追加。インデックス順に反映される git cloneがリモート環境でできるように yumでgitを入れておく migration実行コマン…

Djangoで既に使っているDBの分析サーバーを立てよう<概観メモ>

ぱぱっとすぐ見た目のいいpythonでのAPIサーバー作成が作れるDjango. 毎回忘れるのでまとめます。 最終目標 既存のDBからmodels.pyを作成する api/articlesから記事一覧が見れるようにする 上記を管理者のみ閲覧可能にする Djangoについてわかっていればいい…

他腕バンディットアルゴリズムの概要と実装

多椀バンディットアルゴリズムとは、 探索と活用を効率的におこない、 一定期間の利益を最大化するアルゴリズム。 たとえば、 確率分布がことなるスロットマシンが複数台あったとき、 全部をまずは試してみないとどの台がベストかはわからないけれど、 とり…

go言語の静的サイトジェネレータhugoの備忘録

ディレクトリ構成 サイトフォルダ │ config.toml <- 設定ファイル。テーマとか。 │ ├─archetypes ├─content ├─data ├─layouts <- テンプレートファイルの置き場。 ├─static <- css などの置き場。 └─themes <- githubでダウンロードしてこのディレクトリに入…

Rails5でheroku上でactive jobsによる非同期処理を行う

導入 # gemfile gem 'delayed_job_active_record' # terminal $bundle exec rails generate delayed_job:active_record # terminal $ rake db:migrate # Procfile worker: rake jobs:work Procfileは <process type>: <command>の形式で使えます。 自分は プロセス release にbudnle</command></process>…

Djangoでユーザーモデルに対してOneToOneで関連したProfileモデルに向けてフォームを作る

最近RailsプロジェクトをDjangoに書き換えました。 理由は、 Ruby熟練者のコードが読みにくいことがある Djangoの方が詰まった時、フレームワーク自体の元コードの確認がしやすく感じた Railsよりもファイル構成がわかりやすく感じた(各モデルごとに、DB構…

[つくれぽ]使用しているパーシャルテンプレートをビューに表示してくれるgemをつくりました

初めてgemを作りました。 公開1日で300人のダウンロードがあり、なかなか達成感がありました。 とても簡単なので、是非是非railsユーザでgemを作ったことのない方は試して見てください。 作ったgemは、current_template という、現在表示しているテンプレー…

【Rails5】Doorkeeper gemでOAuth2.0のためのAPIを作って、rubyクライアントで呼び出す

DooerkeeperはOAuth 2のプロバイダ(認証する側のサーバー)を簡単に実装できるgemです。 意外とハマったので書いておきます! Doorkeeper gemをインストール github.com #Gemfile gem 'doorkeeper' gem 'doorkeeper-i18n' # default localeを en 以外で使う…

cookieとsessionとセッションハイジャック

前提 cookieとは何か セッションとは何か セッションハイジャック セッションIDの推測 セッションIDの盗難 セッションID固定化攻撃 じぶんのcookieを確認する 前提 HTTPはステートレス(=ステートがない)プロトコル. 一気に与えられた情報に対して返却する…

D3.jsによるデータビジュアライゼーション-樹形図(d3-hierarchy・Treeview)まとめ

インストール d3.tree() tree(root) tree.size( [width, height] ) tree.nodeSize( [width, height] ) サンプルコード データ可視化ライブラリD3jsの中でも, 階層的なデータの表現を扱う, d3-hierarchyモジュールの中の樹形図を表現するTreeAPIについてまと…

Rails5でメールを送る前にlocalhost:3000でプレビューする方法

すっかり, txt形式ではなくhtml形式の綺麗なメールマガジンが主流になりましたね. html形式だと受け取り側の開封確認も受信側からできますから便利なんでしょう. というわけで私もメールテンプレートを購入し, 作って見たのですが, あれ, どうやってこれ確認…

Dribbbleとかpinterestを1日3hダラダラ見る私の思う最近のウェブデザインのトレンド

トレンドだなあと思うこと: でかいタイポグラフィー 写真のクオリティが高い ミニマル・cleanなデザインで, 面積あたりの情報がすくない 文字を減らしアイコンに. アプリっぽい操作感 拡散型シャドウによる奥行き感 強めのコントラスト Apple 風のグラデー…

LocalStorageがcookieより便利な件

LocalStorageは javascriptを用いてクライアント側にデータをKey-Value型で保存する仕組みです. cookieの弱いところを克服して使いやすくもなった, 技術的後継という位置づけらしいです(*1). cookie のようにすべてのリクエストに対してデータを自動で送信し…

Rails5でturbolinksをオフにする時に気をつけること

iframeで呼び出したRailsアプリケーションで、ドキュメント読み込み後に発火するjavascriptメソッドが動かないということがありましたので、turbolinks切っちゃおうと思い実行したメモ書きです。 Rails5.0.0以降では、 gem 'turbolinks'と //= require turbo…

よくつかう正規表現

正規表現は、ある文字の並び(文字列)を表現する一つの方式です。正規表現はそもそも、人の神経系がどのように機能しているかの研究において開発され、UNIX の中心的な考案者 Ken Thompson によってコンピュータでの検索アルゴリズムに組み込まれたことから…

fasttextを利用しPythonでTwitterやwikiから大量にデータをダウンロードしてニューラルネットで学習する

メモ書き程度。 ailaby.com で概要を把握して、 apps.twitter.com でアクセストークンを作成して、 初めて作る場合は携帯電話番号を登録しないといけないので、 support.twitter.com に沿って携帯電話番号を認証して、 github.com のOAuthライブラリを提供し…