はじめに 文章のタグ付けAPIを公開しました。TFIDFで文章の代表語を計算します。文章に適切なタグを付ければ、あとから文章を探すときや特定の分野の文章をまとめて検索するときに役立ちます。TFIDFはオーソドックスな手法ですが、大きく外れることもない安…

はじめに 長い文章を単文に分割するAPIを公開しました。例えば、文書要約では要約文を生成するアプローチと、要約文を抽出するアプローチとありますが、本APIは後者をするときに役立ちます。簡単なヒューリスティックスを使っているので、あまり精度はよくあ…

はじめに 自然言語処理では、しばしばTFIDFが使われます。Term Frequency - Inverse Document Frequencyの略で、文書内の単語の重要度を計算する手法です。今回は日本語Wikipediaの記事を文書とみなしたDocument Frequencyの取得APIを公開しました。

はじめに 昨日の続きです。Jsoupというライブラリを使ってウェブスクレイピングするAPIを作りましたので公開します。今回は前回より少し踏み込んだAPIです。URLを入力するとそのURL内に含まれるHrefリンク全てを取得するAPIと、URLを入力するとそのURL内に含…

はじめに Jsoupというライブラリを使ってウェブスクレイピングするAPIを作りましたので公開します。今回のAPIは、URLを入力すると、そのURLのHTMLテキストまたは本文テキストを返します。

はじめに 日本語極性判定APIのアップデート情報をこちらにまとめます。主なアナウンスはモデル更新と精度改善についてです。また、簡易的にパフォーマンスチェックサイトを作りました。サンプルツイートと極性判定APIでの推定結果を載せていますので、ご確認…

連絡事項 学習モデルを継続的に更新しているので、本記事で紹介する入力テキストの極性判定結果やスコアが変わります。最新情報は以下のリンクでご確認ください。 - 【アップデート情報】極性判定APIの精度改善 - 現行版の極性判定APIのパフォーマンスチェッ…

はじめに 単語を意味ベクトルに変換するAPIを公開しました。こちらで公開しています。実体はWord2Vecです。Neologdを採用しているので新語も変換できます。さっそくAPIの動作を見てみましょう。

はじめに 同義語っぽいAPIを公開しました。こちらで公開しています。実体はWord2VecのDistance APIです。日本語Wikipedia全文にNeologdの辞書を適用して学習データにしました。今回はこの同義語っぽいAPIの動作を色々と見てみましょう。

はじめに Word2VecをApitoreで公開しました。こちらで公開しています。日本語WikipediaにNeologdの辞書を使いました。無料で使えます。ここでは、Word2Vecでどんなことができるかをご紹介します。

はじめに 今となっては少し古い情報ですが、neologd（ネオログディー）という辞書が2015年3月に公開されました。neologdはいわゆる新語辞書です。kuromojiという形態素解析器のgithubプロジェクトにneologd対応版が登録されていたので、そちらをWebAPIにして…