Baker Tech Note: Mongodbを使いTwitterデータをRで解析する

「Twitterから取得したデータを解析し、mongodbに格納し、Rで分析する」Node.jsアプリケーションを開発するための実験。プロトタイピング。Pragmatic Programmer流儀であれば、曳光弾プログラムでしょうか。

実験の環境

OSX 10.8.1 Mountain Lion
node.js 0.8.7
R 2.13.2
mongodb 2.0.7

内容

Twitter開発者登録
Streaming APIの利用
P.O.S parts of speech 単語解析
mongodbへのデータ登録
Ｒからmongodbを利用

twitterの開発者登録

TwitterAPIの利用は、OAuthが推奨されている(Basic認証でも今のところは大丈夫だが、いずれダメになる)ので、OAuth認証を行うため、twitterの開発者登録を行い、アプリを登録しなければならない。

Twitter開発サイト Streaming API パラメータの扱い

Twitter開発者アカウント登録の手順

http://ratememo.blog17.fc2.com/blog-entry-967.html を参考にしました。

Twitterアカウントを用意する (mailアカウントが必要、既に登録済みのものはダメ)
http://dev.twitter.com/ に取得したTwitterアカウントで、ログインする
「My Applicationの登録」リンクがあるhttps://dev.twitter.com/apps/new ので、その画面に移動しアプリを登録
access level を　"read" から "read & write"に変更
Access Token (Access Token key と Access Token Secret)を取得し、控えておく

ntwitterライブラリを使いstreaming APIへのアクセスをテスト

OAuthのサンプルのほとんどが、ユーザサイドから利用するWebアプリの認証に関するもので混乱。(OAuthの構造を良く理解していない自分が悪い)

今にして思へば、Twitterの開発者登録の時に、取得した"Access Token"は、「自分自身(自分のアプリ)がtwitterAPIにアクセスするための暗号キー」で、アプリを利用するユーザ(consumer)が使用するものではないのです。随分と混乱してます。

結局、ntwitterライブラリのサンプルソースを使う。

twitter API利用Node.jsライブラリ ntwitter

エラーイベントが起きる。調査

前回のサンプルを作った時にはエラー発生しなかったのに。なぜだろう。

events.js:68
        throw new Error("Uncaught, unspecified 'error' event.");

https://github.com/AvianFlu/ntwitter/issues/57

とりあえず、エラーイベントを回避するため、サンプルコードに以下を追加。

    scream.on("error", function(error){
        console.log(arguments);
    });

再度、何度か実行してみると、成功する場合とエラーが返ってくる場合(argumentsを表示している)があるが、理由は不明。Twitter側の問題だろうか？

失敗した場合

$ node sample/ntwitter_sample.js 
{ '0': 'http', '1': 401 }

P.O.S moduleを組み込んで実行してみた結果

英語専用の形態要素分析 "part-of-speach POS Tagging"のライブラリpos-jsを使い、単語の分解と品詞のタグ付けを試みる。POS Taggingとpos-jsライブラリについては、以前記事を書いたので見ていただけますと幸いです。

http://tech-baker.blogspot.jp/2012/06/part-of-speech-tagging.html

ここまでのプログラムソースは、以下の通り。

var twitter = require('ntwitter');    // twitter API用ライブラリ

// Twitter開発者登録の結果
var twit = new twitter({
    consumer_key        : 'xxxxxxxxxxxxxxxxxxxx',
    consumer_secret     : 'xxxxxxxxxxxxxxxxxxxx',
    access_token_key    : 'xxxxxxxxxxxxxxxxxxxx',
    access_token_secret : 'xxxxxxxxxxxxxxxxxxxx'
});

var pos = require('pos');             // POS Tagging用ライブラリ  

// 検索キーは、とりあえず appleで :-p
twit.stream('statuses/filter', {'track':'apple'}, function(stream) {
    stream.on('data', function(data) {
        // この行は日本語を省くため 結構いい加減
        if(data.text.toLowerCase().indexOf('apple') > 0){
            console.log(data.text);                        // オリジナルを表示
            var words = new pos.Lexer().lex(data.text);    // 単語分解
            var taggedWords = new pos.Tagger().tag(words); // 品詞のタグ付け jsonで返す
            for(i in taggedWords){
                var taggedWord = taggedWords[i];
                var word = taggedWord[0];
                var tag  = taggedWord[1];
                console.log(word + " : " + tag);
            }
        }
    });

    stream.on('end', function(response){
        //console.log('');
    });

    stream.on('destroy', function(response){
        //console.log('');
    });

    // エラーイベント対処
    stream.on('error', function(error){
        console.log(arguments);
    });

    // 5000ミリ秒で終了イベントを発生させた。これをしないと何時までのTwitterからのpushを受け続ける
    setTimeout(stream.destroy, 5000);
});

実行してみると

$ node sample/s_api_with_pos.js 
(途中省略)
@WhipeeDip One fifty and Apple will hand you a new phone. Though that thing is probably pushing “catastrophic damage ineligible for swap.”
@WhipeeDip : NN
One : NN
fifty : NN
and : CC
Apple : NNP
will : MD
hand : NN
you : PRP
a : DT
new : JJ
phone : NN
. : .
Though : IN
that : IN
thing : VBG
is : VBZ
probably : RB
pushing : VBG
“catastrophic : NN
damage : NN
ineligible : JJ
for : IN
swap : NN
. : .
” : NN

形態要素分析結果をmongodbに保存する

Node.js用のmongodb接続ライブラリ mongooseをインストールする。 # npm install mongoose 一発。

mongooseの使い方については、いずれまとめたいと思います。以下のサイトを参考にしました。

mongoose 本家 github

node.js + mongoose + mongodbで遊ぶ

上記のプログラムを改造して、mongodbに登録を行うように改造してみる。出来たプログラムを動かしてみると？

終了しない。プログラムが。
でも、保存されたもよう。

mongodbのクライアントアプリ mongoで直接データを覗いてみます。

$ mongo
MongoDB shell version: 2.0.7
connecting to: test
> show dbs
local   (empty)
posdb   0.203125GB
test    (empty)
> use posdb
switched to db posdb
> show collections
postags
system.indexes
> db.postags.find()
{ "word" : "@PissWizardCunt", "tag" : "NN", "_id" : ObjectId("50557db5da8a0357b8000001"), "__v" : 0 }
{ "word" : "not", "tag" : "RB", "_id" : ObjectId("50557db5da8a0357b8000006"), "__v" : 0 }
(途中省略)
{ "word" : "5", "tag" : "CD", "_id" : ObjectId("50557db5da8a0357b800005b"), "__v" : 0 }
{ "word" : ".", "tag" : ".", "_id" : ObjectId("50557db5da8a0357b8000060"), "__v" : 0 }
has more
> exit
bye

has more が表示されているけど、残りのデータは、どのように表示させたら良いのかな?

// (途中まで同じ)

var pos = require('pos');            // POS Taggingライブラリを呼び出す
var mongoose = require('mongoose');  // mongodb接続用ライブラリを呼び出す

// スキーマの定義 mongooseは、ORMのように振る舞う。modelを定義する訳ですね。 
var Schema = mongoose.Schema;
var PosSchema = new Schema({
    tag: String,
    word: String
});
mongoose.model('PosTag', PosSchema);
// 接続
mongoose.connect('mongodb://localhost/posdb');
var PosTag = mongoose.model('PosTag');

twit.stream('statuses/filter', {'track':'apple'}, function(stream) {
    // TwitterからTweetを取得し
    stream.on('data', function(data) {
        if(data.text.toLowerCase().indexOf('apple') > 0){   // 日本語は省き
            var words = new pos.Lexer().lex(data.text);     // 単語に分解し
            var taggedWords = new pos.Tagger().tag(words);  // 品詞タグをつけ
            for(i in taggedWords){
                var postag = new PosTag();                  // 新規レコードを用意?
                postag.tag = taggedWord[1];                 // 値をセット
                postag.word = taggedWord[0];                // 値をセット
                postag.save(function(err){                  // 登録エラー処理
                    if(err){ console.log(err);}
                });
            }
        }
    });

// (後半省略)

});

統計解析環境Rからmongodbのデータを呼び出す

OSXはパッケージを本家からダウンロードして使っている。

mongodb接続ライブラリrmongodbをインストールするため、

メニューのパッケージインストーラを起動
ダウンロード先のミラーサイトを指定し
rmongodb を検索し、インストール

 httpdヘルプサーバーを起動...   完了 
 URL 'http://cran.md.tsukuba.ac.jp/bin/macosx/leopard/contrib/2.13/rmongodb_1.0.2.tgz' を試しています 
Content type 'application/x-gzip' length 733855 bytes (716 Kb)
 開かれた URL 
==================================================
downloaded 716 Kb
 
ダウンロードされたパッケージは、以下にあります /var/folders/cw/qznw_j_1313d3stpq5zc34240000gn/T//RtmpAbXBrm/downloaded_packages
console画面から、rmongodbを読み込んでみて、テストしてみる。
> library(rmongodb)
rmongodb package (mongo-r-driver) loaded
Use 'help("mongo")' to get started.

うまく、rmongodbライブラリはインストールされたので、恐る恐るtwitterデータを確認してみる。

保存されているデータの構成(私の現在のdb, collection構成)

  ---------     ------------  
  database      collections
  ---------     ------------

  posdb ------> postags
  test (empty)
  local(empty)

$ r

R version 2.13.2 (2011-09-30)
Copyright (C) 2011 The R Foundation for Statistical Computing
ISBN 3-900051-07-0
Platform: x86_64-apple-darwin9.8.0/x86_64 (64-bit)
(途中省略)

> library(rmongodb)
rmongodb package (mongo-r-driver) loaded
Use 'help("mongo")' to get started.

> db <- mongo.create()
> mongo.find.one(db,'posdb.postags')
    word : 2     @PissWizardCunt
    tag : 2      NN
    _id : 7      50557db5da8a0357b8000001
    __v : 16     0
> mongo.find.one(db, 'posdb.postags', list(tag='NN'))
    word : 2     @PissWizardCunt
    tag : 2      NN
    _id : 7      50557db5da8a0357b8000001
    __v : 16     0
> mongo.find.one(db, 'posdb.postags', list(tag='CD'))
    word : 2     13
    tag : 2      CD
    _id : 7      50557db5da8a0357b800001a
    __v : 16     0
> mongo.find.one(db, 'posdb.postags', list(tag='RB'))
    word : 2     not
    tag : 2      RB
    _id : 7      50557db5da8a0357b8000006
    __v : 16     0
> quit()
Save workspace image? [y/n/c]: n

無事、データをRで処理することが出来るところまで、たどり着きました。今回の実験は終了。

Baker Tech Note

Pages

2012年9月17日月曜日

Mongodbを使いTwitterデータをRで解析する

twitterの開発者登録

ntwitterライブラリを使いstreaming APIへのアクセスをテスト

エラーイベントが起きる。調査

P.O.S moduleを組み込んで実行してみた結果

形態要素分析結果をmongodbに保存する

統計解析環境Rからmongodbのデータを呼び出す

0 件のコメント:

コメントを投稿

自己紹介

Blog Archive