JavaでRSSをパースするためにRomeを使ってみた

2017-03-17 by Keigo Hattori·0件のコメント

はじめに

最近話題なので、ちょっとキュレーションサイトでも作ろうと思います。TechCrunchみたいな情報サイトを自分好みに組み合わせるキュレーションです。情報サイトはRSSフィードを提供しているので、今回はRomeを使ってRSSフィードを使いやすい形にパースしました。

続きを読む

RubyでAPIコールするならFaradayが簡単便利

2017-02-27 by Keigo Hattori·0件のコメント

はじめに

Apitoreのハンズオンを企画しています。内容は「Web APIを使ってみよう」というものです。Web APIは使いこなせば便利なのですがイマイチまだ浸透していない印象があります。これまでに、JavaではAPIコールのサンプルコードを公開してきました。RubyではWeb APIコールをやったことがなかったので、SDK公開がてら勉強しました。

続きを読む

Spring socialでTwitterとアプリ連携する

2017-01-10 by Keigo Hattori·0件のコメント

はじめに

Spring Social Twitterというプロジェクトがあります。このプロジェクトはSpring-bootでTwitterとOpenID Connectしたり、Twitterのアプリを作ったりするときに使える便利なライブラリです。今回はこちらのプロジェクトを使って、Twitterとアプリ連携をしてみます。

続きを読む

word2vecを使って文書ラベルを作ってみた（失敗例）

2016-12-22 by Keigo Hattori·0件のコメント

はじめに

Apitoreで公開しているWord2VecのAPIを使って、任意の文書の代表語（文書ラベル）を作れないか検討してみました。アルゴリズムを考えてやってみましたがうまくいかなかったので、記録として残しておくことにします。

続きを読む

Java（PDFBox）でPDFファイルからテキストを抽出する

2016-12-05 by Keigo Hattori·0件のコメント

はじめに

Apitoreの次の商品の仕込みをしています。今回はJavaでPDFファイルからテキスト情報を取得します。ApacheからPDFBoxというOSSが出ていて、version 2.0から日本語にも対応したそうなのでこちらを使います。

続きを読む

deeplearning4jの極性判定でオンライン学習をやってみた

2016-11-12 by Keigo Hattori·0件のコメント

はじめに

今回はdeeplearning4jを使ったオンライン学習を試してみます。オンライン学習の定義は諸説あるみたいですが、私はパーセプトロン時代の定義に則って「定期的にデータをくべて現在のモデルを逐次更新する」としています。今回は、これまで作ったDistant Supervisionのモデルに極性辞書のデータをオンライン学習します。

続きを読む

deeplearning4jのUpdater (AdaGrad, RMSProp, AdaDelta, Adam) のパラメータまとめ

2016-11-09 by Keigo Hattori·0件のコメント

はじめに

deeplearning4jではAdamなどの主要なUpdaterは大体使えますが、Updater毎に設定できるパラメータが違うので、メモも兼ねてまとめておきます。

続きを読む

deeplearning4jのRNNで極性判定を作った～Early Stop編～

2016-11-01 by Keigo Hattori·0件のコメント

はじめに

deeplearning4jのRNN+LSTMで日本語極性判定技術を作っています。先日公開してからかなり反響があり、アクセス数増加、Apitoreのユーザーも増え、Qiitaではデイリーランキング5位になりました。ありがとうございます！さて、今回は過学習を回避し、かつ学習効率が下がったら学習を止めてしまう、Early Stoppingを試しました。ついでに学習データも増強したので、学習データ増強before/afterも評価しようと思います。

続きを読む

Spring bootにおけるThread unsafetyなServiceとの付き合い方

2016-10-28 by Keigo Hattori·0件のコメント

はじめに

Spring bootでウェブサービスを作っていると、Thread unsafetyな@Serviceに気づくことがあります。私の場合はdeeplearning4jで極性判定技術をWebAPIにして公開しているのですが、MultiLayerNetworkがThread unsafetyであったために極性判定結果が極端にNegativeに偏る現象が起きていました。今回、その対策をしたので共有します。

続きを読む

日本語極性判定技術のデモサイト作りました

2016-10-25 by Keigo Hattori·0件のコメント

はじめに

先日公開した日本語極性判定技術を体験できるデモを作成しました。公開ツイートを極性判定した結果を見れる他、自分でテキストを入力して極性判定してみることもできます。極性判定結果が間違ってたらフィードバックを送れるようにしたので、よろしければ性能改善にご協力ください。学習モデルを定期的にアップデートしていきます。性能が上がっても、基本無料で提供し続けます。

続きを読む