iTunesはXMLで出来ている (1) DTD読み込み編

iTunesのライブラリ管理は、xmlファイルで行われています。なんとか、加工してみたいと思い、XMLの勉強をし直してみた。
# この記事は、ちょっと（いつもの通り）中途半端です。申し訳ない。

いまさらXML

XMLと一言でいっても、中は結構複雑、その世界は４つの技術で構成されている。

• 構造記述言語 XML
• 変換言語 XSLT
• リンク言語 XPointer
• 問い合わせ言語 XPath

iTunes管理ファイルを加工する手続きを上記の４つの技術を使って説明すると以下のようになる。

XMLで記述されたファイルiTunes.xmlを、XSLTで目的のhtmlに変換する。
XSLは、必要な個所をXPATHを使って探し出しXPointerが取り出す。

iTunes Music Library.xmlの構造

ライブラリを管理しているファイルitunes Music Library.xmlは、私のMac OSXの場合、以下の場所にある。実際には、ライブラリを移動している人もいますから、検索したほうが良い。

~/Music/iTunes/iTunes Music Library.xml
# windowsではどこなのか知りません。:-p

各情報は、dictタグでくくられている。
各情報の要素は、Keyタグとその値の組み合わせで記載。
トラック情報の要素は、名前、
内容を、先頭のほうを覗いてみると

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple Computer//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
  <key>Major Version</key><integer>1</integer>
  <key>Minor Version</key><integer>1</integer>
  <key>Date</key><date>2011-11-19T23:48:40Z</date>
  <key>Application Version</key><string>10.5.1</string>
  <key>Features</key><integer>5</integer>
  <key>Show Content Ratings</key><true/>
  <key>Music Folder</key><string>file://localhost/Users/baker/Music/iTunes/iTunes%20Media/</string>
  <key>Library Persistent ID</key><string>BB0A0B413A2028D8</string>
  <key>Tracks</key>
  <dict>
    <key>3708</key>
    <dict>
      <key>Track ID</key><integer>3708</integer>
      <key>Name</key><string>Time Difference</string>
      <key>Artist</key><string>Hiromi's Sonicbloom</string>
      <key>Composer</key><string>上原 ひろみ</string>
（以下略）

となっている。
DTD (Document type Definition 文書型宣言)として、http://www.apple.com/DTDs/PropertyList-1.0.dtd ファイルが指定されている。DTDは、このファイルが所属している文書の構造を定義しているファイル。構造とは、どんな要素から成り立っているか、特別に定義しているタグ（要素）はなにか、属性の書き方はどうなっているかとか、もろもろ。XMLは、共通する書き方があり、ほとんどのブラウザは、XMLとして正しい(Well formated)を判断してくれますが、文書の目的にそって正しく書いているかは、判断してくれません。当然です。そのルール（まあ、ローカルルールですな）を記載しているのが、DTDです。

最初のDOCTYPEコメント(文書型宣言）から、
"-" 企業のローカルな取り決めであり、Apple Computerが定めており、文書名は "DTD PLIST 1.0" (多分、Play Listなのかな)、Englishで書かれていますと言うことが判ります。

iTunes.xmlのDTDを取得してみると、以下のように単純です。

<!ENTITY % plistObject "(array | data | date | dict | real | integer | string | true | false )" >
<!ELEMENT plist %plistObject;>
<!ATTLIST plist version CDATA "1.0" >

<!-- Collections -->
<!ELEMENT array (%plistObject;)*>
<!ELEMENT dict (key, %plistObject;)*>
<!ELEMENT key (#PCDATA)>

<!--- Primitive types -->
<!ELEMENT string (#PCDATA)>
<!ELEMENT data (#PCDATA)>
<!ELEMENT date (#PCDATA)>

<!-- Numerical primitives -->
<!ELEMENT true EMPTY>
<!ELEMENT false EMPTY>
<!ELEMENT real (#PCDATA)>
<!ELEMENT integer (#PCDATA)>

• 実体宣言(ENTITY)で、plistObjectを定義しています。
• "%plistObject"は、"array, data , dict, real , integer, string, true, false の何れか”と言う文字に置き換えなさいと言うことでしょうか。%記号は、宣言名であることを示しています。
• 次の行で、要素(ELEMENT) plistの配下の構成(ノード)は、%plistObject だ定義しています。
• さらに、plistは属性(ATTLIST) として、version をもちます。versionは、任意の文字列(CDATA)であり、初期値は"1.0"なんだそうです。
• array要素は、配下に %plistObjectをもちますが、何回も繰り返しもって良いそうです。
• dist要素は、配下に、%plistObjectとkeyをもち、これも繰り返しできます。
• key要素は、任意の文字列を配下に持ちます。

こんなところでしょうか。

DTDを下に、再度 iTunes Music Library.xmlを眺めていると、なんか構造が見えてきた気がしませんか。

# plist (play list) Version = 1.0
# dict (dictionary? , 辞書? この場合、play list自身の属性)
  # key と %plistObject 要素で、playlist自身の内容を記載。
  # key "TRACKS" の中に、dictの集団がある。
      # dict メディアの情報
      # key トラック番号 integer 1
      # key  名前 string xxxxx
      ...
      ...
      # dict メディアの情報
      # key トラック番号 integer 1
      # key  名前 string xxxxx
      ...
      (繰り返し）

なんか、かえって判んなくなってきたかな。
次回は、htmlファイルにパースしてみる予定。

[Processing] 折り紙を折り続ける

前回の続き。１回しか折らない折り紙は哀しいので、折り続けさせてみた。

問題は、折った紙を新たに操作するときに、その座標とか折る方向とかをどのように計算するか。
あらゆる状況を想定する描写関数を用意するとか、再帰処理するかと考えたが、座標変換を利用してみることにした。

利用した関数は、

      transpate(x, y) --- 現在の座標をベクトル(x, y)分だけ座標を移動させる。
                          つまり過去の座標(x, y)が、新たな(0,0)となる。
      rotate( r )     --- 同様に r ラジアンだけ、軸を回転させ、あらたな座標にする  

期待した動きは、折りおわったら、translate し rotate(90度) して、新たな折り紙を左から右に折ることだった。

しかし、ここで落とし穴が。draw()関数は、座標をリセットする。何で? まだ信じられないのだが。
しかたないので、描写の度に translate , rotate を折り返しの数 実施させた。そのため、折りすぎると描写が遅くなってしまった。

でき上がったのは、以下のアプレット。
折り続ける折り紙

以下、ソースコードの解説

int cnt = 0;   // 折り返し回数
float rad = 270; // 折る角度

void setup(){
  size(200, 200);
  color(RGB,256);
  background(255);
  frameRate(30);
}

void draw(){
  // 折り紙の左上に座標を移動
  translate(50,50);
  float rr = 40;  // 折り紙の横の半分 (折りの半径になる) 
  float hh = 80;  // 折り紙の高さ
  // 折り回数分だけ、座標と半径、高さを計算し直す
  for(int i=0;i<cnt;i++){
    translate(rr, hh);      // 次の折り紙の左上
    rotate(radians(-90)); 　// 折りの方向を90度回転
    // 新たな折り紙の高さと半径(横の半分)
    float temp = hh;
    hh = rr;
    rr = temp / 2;
  }
  
  background(255);
  stroke(0);
  page(rr, hh, 90);  // 折り紙の右半分
  page(rr, hh, rad); // 折り紙の左半分 radは折り角度

  // 折り曲げたら折り角度radを戻し、１回カウント
  if(--rad == 90){
    rad = 270;
    if(++cnt > 5)cnt = 0; // 5回折ったら元に戻す
  }
}

// 開いた状態の折り紙の左上を 座標( 0,0 ) として
// 折り紙の左半分を描く
void page(float r, float h, float rd){
  // 折りの軸の上座標は(r, 0)
  float x = r + r * sin(radians(rd)); // 左上位置 X座標
  float y = 0 + r * cos(radians(rd)); // 左上位置 Y座標
  line(x, y, r, 0);         // 上辺
  line(x, y, x, y + h);     // 左辺
  line(x, y + h, r, 0 + h); // 下辺
  line(r, 0 + h, r, 0);     // 右辺
}

どうも、ロジックの正解は、
* 再帰関数を行う
* draw関数を使わない
のではないかと思う。もう少し調べてみる必要があるな。

[Processing] 紙を折る

突然、折り紙のシミュレートをしてみたくなった。
久しぶりのProcessingで、習作をつくってみることにする。

エラーとバージョンアップ

簡単なコードを書いて実行してみると、動くことは動くのだが、以下のようなエラー(Warning)がでた。

2011-11-26 21:34:34.011 java[1413:1c0f] *** CPerformer: ignoring exception 'Invalid parameter not satisfying: [self canBecomeMainWindow]' raised during perform of selector 'requestFocus:' on target 'FocusManager' with args '<AWTComponentSetFocusData: 0x11d980>'

Java関連のエラーのようだが、調査しても今一。Javaのバージョンアップをしてみよ、とか Lionのせいじゃないかとか。いろいろ試して、結果 Processingを最新版にするとエラーがでなくなった。
今まで使っていたのが、1.0.1 最新は、1.5.1 なので、随分とヴァージョンアップせずにほったらかしだったのね。

折たたみ、あるいは本をめくるような動作

つくってみたのは、以下のリンクからアプレットを動かしてみてください。

紙を折るような動作

結構不満。
* ワイヤー表示なので、重なりが透けてみえる。
* 面と裏の色をつけたい。
* 永遠におり続ける動作にしたい。
* 円軌道が、平面的で立体感がない。

プログラムの解説

Processingのプログラムの基礎として
* 最初にsetup()関数が実行され、draw()関数がループ実行される。
* グローバル変数は、最初に宣言しておく。

円座標の計算は

円の中心座標 (x0, y0)
角度 th (Radian)　注) 0度は、Y軸方向。つまり、右向き矢印は、90度、上向きは 180度。
半径 R

座標 x = x0 + R * sin(th)
座標 y = y0 + R * cos(th)

float sx; float sy; // 紙の上辺、真ん中の位置。 
int sh;             // 折り紙の高さ。
int sr;             // 折り紙の上辺の半分。折る場合の半径。
float rad;          // 折り曲げ角度。単位：度。

// 初期化
void setup(){
  size(200, 200);   // 画面の大きさ
  color(RGB,256);   // 色設定 processingは、数種類の色定義を使うことが出来る。
  
  background(255);  // 背景色
  frameRate(30);    // 描写速度 draw()の実行回数 / 秒
  
  // 初期化
  sx = 100; sy = 50; sh = 80; sr = 40;  
  rad = 270; //円軌道は、左端から始まり、右回転へ。
}

void draw(){
  background(255);  // 毎回画面を真っ白にする。そうしないと前の絵が残る。
  // 折り曲げを繰り返し。
  if(rad == 90) rad = 270;
  
  stroke(0);        // 黒で線を描く
  page(90);         // 90度の左半分 → つまり、折り紙の右半分。
  page(rad);        // 角度radの状態の左半分。
  
  rad = rad - 1;    // 右回り。
}

// 折り曲げ角度 r の 折り紙の左半分をワイヤーで描く
void page(float r){
  // 左上の位置を計算
  float x = sx + sr * sin(radians(r));
  float y = sy + sr * cos(radians(r));
  // ワイヤー
  line(x, y, sx, sy);           // 上辺
  line(x, y, x , y + sh);       // 左辺
  line(x, y + sh, sx, sy + sh); // 下辺
  line(sx, sy + sh, sx, sy);    // 右辺
}

ワイヤーでやってみたが、どうも平行四辺形を描く方法があるらしい。また、三次元で描いて視点を動かすことで、立体的に表現することもできそうだ。

また、最近のProccessing本では、画像描写以外に機器制御への利用も解説しているらしい。

Processing。侮れない言語になってきたのだなあ。

統計計算言語 R を試す

統計処理を扱う言語としては、商用のＳ、S-Plusが有名だが、オープンソースのＲも負けていない。先日も丸善の数学コーナに顔を出したが、本棚の二段分はＲ関連の本が並んでいます。非常に多機能だ。まだ、チュートリアルを試してみただけだが、その可能性に驚いています。

R ホームページ
http://www.R-project.org/

テキストからのデータの取込み、データ構造として、ベクトル、マトリックス、リスト、複数のデータ形式を扱うデータフレームなどのデータ構造を扱うことができる。各種のグラフの出力も可能。手続きはインタラクティブに操作できるほか、もちろん、バッチ処理可能。Windows, Linux , MacOSXのパッケージが存在しています。

普通の人がデータ処理を扱うソフトとしては、ExcelやAccessが有名だが、Excelは、ドキュメント作成ソフトに成り下がっており、Accessは、アプリケーション開発環境に自分の行く末を決めたようだ。大量の企業データを黙々と自動的に処理し、有意義な結果を導き出すツールとして、Rは非常に好都合なのだ。

さて、インストール

OSXへのインストールは簡単。以下のサイトからダウンロードして、インストール・パッケージを実行。もちろん、他のOSもある。
http://cran.md.tsukuba.ac.jp/
すでに、Lionでの検証も済んでいるようで、すばやいなあ。

実行は、一文字 r と打てばOK

baker$ r

R version 2.13.2 (2011-09-30)
Copyright (C) 2011 The R Foundation for Statistical Computing
ISBN 3-900051-07-0
Platform: x86_64-apple-darwin9.8.0/x86_64 (64-bit)
Rは、自由なソフトウェアであり、「完全に無保証」です。 
一定の条件に従えば、自由にこれを再配布することができます。 
配布条件の詳細に関しては、'license()'あるいは'licence()'と入力してください。 

Rは多くの貢献者による共同プロジェクトです。 
詳しくは'contributors()'と入力してください。 
また、RやRのパッケージを出版物で引用する際の形式については 
'citation()'と入力してください。 

'demo()'と入力すればデモをみることができます。 
'help()'とすればオンラインヘルプが出ます。 
'help.start()'でHTMLブラウザによるヘルプがみられます。 
'q()'と入力すればRを終了します。 

データファイルの取込から演算まで

総務省・統計局のダウンロードから、「平成17年の福岡県人口統計」を入手。
http://www.stat.go.jp/data/guide/download/index.htm

本当は時系列データのほうが、面白そうなのだけど、この手のデータはワークシート毎に年度でまとめられている。とりあえず、平成17年の市町村別人口統計を使ってみる。

Appleご用達のNumberで整形。あまり、使っていないので使い方が判らん。最終的に、一行目をヘッダー（項目名）として、二行目以降をデータ部とする典型的なデータファイルにした。

なお、一行目の項目名は、以下のようにした。(日本語でも問題ないのだが、コンソールで操作するので、日本語変換は面倒だったため）

• No -- 市町村番号(らしい）
• Name -- 市町村名
• m.u15 , f.o15 -- 男性15歳未満、女性15歳未満
• m15.65 , f15.65 -- 15歳以上65歳以内 それぞれ男性、女性
• m.o65, f.o65 -- 65歳以上。それぞれ、男性、女性

# 変数 fukuoka に、csvファイル "fukuoka-h17-x.csv"を読み込む read.csv()
> fukuoka <- read.csv("fukuoka-h17-x.csv")

fukuokaは、マトリックス型で登録されています。マトリックス型は、行列です。

> fukuoka
      NO     Name m.u15 m15.64 m.o65 f.u15 f15.64 f.o65
1  40101   門司区  6618  31509 11515  6288  34673 18044
2  40103   若松区  6081  26608  8181  5876  28214 12357
3  40105   戸畑区  4044  21171  5714  3896  20130  8743
4  40106 小倉北区 10798  58329 15939 10461  63276 24305
5  40107 小倉南区 16805  68123 17238 15836  73155 23348
6  40108 八幡東区  4154  22722  8345  3959  23557 13077
(省略)

このあたり、ちょっと疑問。チュートリアルでは、ベクトルもマトリックスも、その要素は全て同じ型です。数字と文字を混ぜることができません。なので、それを可能にするためにデータフレームがあるのですが、上記のように変数fukuokaには、一見 文字と数字が混在しているようにみえます。

実は、この取込は一度失敗しています。取込ファイルの各要素が”double quotation”で囲まれていたため、全て文字として扱われてしまい、演算ができなくなりました。もしかすると、上記の状態はマトリックス型なのかもしれません。

要素の名称を調べてみます。

> dimnames(fukuoka)
[[1]]
 [1] "1"  "2"  "3"  "4"  "5"  "6"  "7"  "8"  "9"  "10" "11" "12" "13" "14" "15"
[16] "16" "17" "18" "19" "20" "21" "22" "23" "24" "25" "26" "27" "28" "29" "30"
[31] "31" "32" "33" "34" "35" "36" "37" "38" "39" "40" "41" "42" "43" "44" "45"
[46] "46" "47" "48" "49" "50" "51" "52" "53" "54" "55" "56" "57" "58" "59" "60"
[61] "61" "62" "63" "64" "65" "66" "67" "68" "69" "70" "71" "72" "73" "74" "75"
[76] "76" "77" "78" "79" "80" "81" "82" "83" "84" "85" "86" "87" "88" "89" "90"
[91] "91" "92" "93" "94" "95" "96" "97"

[[2]]
[1] "NO"     "Name"   "m.u15"  "m15.64" "m.o65"  "f.u15"  "f15.64" "f.o65" 

[[1]]は、縦の要素をしめしています。特に指定していないため、登録順に番号が夫番されているようです。例えば、fukuoka[18,]と指定すると、18番目の行のデータすべてが表示されます。
[[2]]は、列要素の名前。csvファイルの一行目が指定されています。
名前要素は、例えば fukuoka$Name とすると、Name列の値一覧を表示しますし、Name列のみの行列(1列、x行の行列）として取り扱うことができます。
ただ、いちいち変数名を指定するのも面倒なので、attach()してやると、直接列名を使うことができます。つまり、fukuoka$f.u15 + fukuoka$m.u15は、 f.u15 + m.u15 と書けます。

以下は、attach()して、15歳以上65歳以下の比率を計算し、変数 rate.workersに格納しています。

> attach(fukuoka)
> workers <- m15.64 + f15.64
> total <- m.u15 + f.u15 + m.o65 + f.o65 + workers
> rate.workers<-workers/total

そうそう、Rの変数名は、.が使えますが、-+/*はつかえません。これらは、演算として処理されます。csvで取り込んだ時には、ご丁寧に、-は、.に置換されていました。(ヘッダー行のみ)

グラフをプロットする

簡単にできます。OSXでは、X11アプリケーションが起動し、表示します。

> hist(rate.workers , main="Histgram Rate of workers")

バッチ処理

処理を記述したファイルを実行することができる。他の言語などと組み合わせて利用すると、とても面白いことができそうだ。

以下のスクリプトは、パラメータを受け取って、上記の計算を実行した後、グラフはpdfに出力するようになっている。注意しなければならないのは、引数の扱い。引数は、ベクトルargsにセットするが、その添え字は、プログラム本体を１番目して順に格納されることだ。なんか、--argsオプションが意味ないような気がするが、このオプションのお陰で、それ以降の値は、何らかの意味を持たない（例えばオプションではない）値としてプログラムには無視されるのだろう。また、引数は文字列型なので、数字で扱いたい場合は、変換する必要がある。

# file name test.R
# パラメータを受け取る
args <- commandArgs()
# なぜ五番目なのかは、あとのコマンドをみてほしい
file <- args[5]
# pdfファイルを用意する。この時点でグラフの出力先は変更される。
pdf(file)

fukuoka <- read.csv("fukuoka-h17-x.csv")
attach(fukuoka)
workers <-m15.64 + f15.64
total <- m.u15 + f.u15 + m.o65 + f.o65 + workers
rate.workers<-workers/total
hist(rate.workers , main="Histgram Rate of workers")

# たぶん、出力デバイスの終了 pdfファイルのクローズか。
dev.off()

以下のように実行します。vanillaオプションはバッチモードを指定し、quietオプションは標準出力の制御、argsオプション以降にパラメータを書きます。Rは、基本インタラクティブなプログラムらしく、標準入力にスクリプトを食わせます。

> R --vanilla --quiet --args test1.pdf < test.R 

Rは、歴史もあり、機能も豊富で、多くのノウハウも公開されています。これからの勉強や仕事への応用がとても楽しいことになりそうです。

MacPortsを思い出す

このところ、localで作業せずリモート・ログイン ＆ vim での開発と言う横着ぶり。
久しぶりにMacBookで、チョコチョコしようとしたら、いろいろと足りないものがあるようだ。改めて環境を整備することにして、まずはパッケージの更新とかやることにした。
(このあたりから、既に脇道にそれている。いつものことだが。まあ、今日は休みだし）

さて、mac portsを各種パッケージの利用のために使っている。各コマンドも忘れているので、主なコマンドを整理。

sudo port selfupdate
postコマンド自身とパッケージ情報を最新にする
port search 検索文字
パッケージ情報の検索
sudo port install パッケージ
指定したパッケージのインストール
sudo port uninstall パッケージ
パッケージのアンインストール
sudo port valiants パッケージ
パッケージ・インストール時に利用出来るオプションを表示
sudo port install パッケージ +オプション +オプション ....
オプション付でインストール
sudo port deactivate パッケージ
インストール済みのパッケージを利用不可にする
sudo port activate パッケージ
インストール済みの利用不可パッケージを利用可能にする
port outdated
古いパッケージを表示
sudo port upgrade installed
古いパッケージ全てをアップグレード
sudo port upgrade パッケージ
パッケージを指定してアップグレード

MacPortsはrpm,yumと異なり、ソースをダウンロードし、それをローカルでコンパイルする方式のパッケージ管理システムだ。そのため、XCodeも必要。
MacPortsは以前にインストールしているので、さっそく、アップグレード。

$ sudo port selfupdate
$ sudo port upgrade installed

注) selfupdateは、結局2回やりました。一回目はパッケージツリーの更新、二回目がport本体？ 2.0.3 に更新された。

アップグレードの途中、perlのアップグレードでエラーが出て停止した。

--->  Activating perl5 @5.12.3_1+perl5_12
Error: Target org.macports.activate returned: Image error: /opt/local/bin/a2p is being used by the active perl5.8 port.  Please deactivate this port first, or use 'port -f activate perl5' to force the activation.
Error: Failed to install perl5
Log for perl5 is at: /opt/local/var/macports/logs/_opt_local_var_macports_sources_rsync.macports.org_release_ports_lang_perl5/perl5/main.log
Error: The following dependencies were not installed: perl5
Error: Problem while installing autoconf
To report a bug, see 

「このPort(perl5.8)を使用不可にするか、perl5を（強制的に）使用可にしろ」と言っております。現在の状況を調査。

$ port installed | grep perl
  perl5 @5.8.9_0
  perl5 @5.12.3_1+perl5_12
  perl5.8 @5.8.9_3 (active)
  perl5.12 @5.12.3_2 (active)

４つのバージョンが入っていて、2つが活性化しているのか？ perl5.8.9_3を非活性化しました。

$ sudo port deactivate perl5.8 @5.8.9_3
$ sudo port upgrade outdated

これで、無事アップグレード終了。Perlの状態は

$ port installed | grep perl
  perl5 @5.8.9_0
  perl5 @5.12.3_1+perl5_12 (active)
  perl5.8 @5.8.9_3
  perl5.12 @5.12.3_2 (active)

まあ、いっか。perlは私の主力ではないので、この状態が問題ないのか不明。

MacPortsとは

http://macwiki.sourceforge.jp/wiki/index.php/MacPorts

MacPorts は MacOSX 上で利用可能なパッケージシステムの一つで、 主に UNIX 向けに開発されたオープンソース・ソフトウェアを手軽にインストールすることができます。 OpenDarwin プロジェクトの一部として 2002 年より始められ、 Landon Fuller, Kevin Van Vechten, Jordan Hubbard といった Apple inc. の従業員も多数参加しています。
以前は DarwinPorts と呼ばれていましたが、OpenDarwin プロジェクトの休止に伴い、MacPorts と改称（2006 年 8 月～）されました。 そのため、一部の配布物にはまだ DarwinPorts という表記が残っていますが、これらは全く同じものを指します。
2005 年 4 月 28 日にバージョン 1.0 がリリースされ、その当時でおよそ 2500 本のソフトウェア (ports) が導入可能でした。 最新版は 2010 年 11 月にリリースされたバージョン 1.9.2 で、7400 以上の ports が利用可能となっています。
MacPorts を使って新しくソフトウェアをインストールするには、ターミナル上で「sudo port install パッケージ名」などと入力します。 これによりアーカイブのダウンロード、展開、パッチの適用、コンフィグ、ビルドといった各段階を経て、 指定したソフトウェアのインストールが行われます。 このとき、他のパッケージに対する依存関係があれば、自動的にそれらの必要となるパッケージもインストールされます。

Ruby1.8.7とRuby1.9.2のWebApplicationをApacheで動かす

私のサクラVPSでは、いくつかのRailsアプリケーションが動いているが、それはRuby1.8.7ベースだ。
WebサーバにはApache(+ passenger module)を使い、VirtualHostで複数のWebアプリケーションを切り分けている。
さて、以前 開発用ユーザで Ruby1.9.2を試すためにrvmを導入した。
http://tech-baker.blogspot.com/2011/09/rvm-ruby-192-rails3.html
Apacheの実行環境では、デフォルトのruby1.8.7が動作してしまう。かといって、rvmをapache環境に導入したら、ruby1.8.7ベースのアプリケーションが動かない。ruby1.8.7もruby1.9.2もapache環境で動かしたい。以下のPassengerサイトを参考にチャレンジした。
http://blog.phusion.nl/2010/09/21/phusion-passenger-running-multiple-ruby-versions/

目指した環境は以下の図の通り。Apacheは、リバースプロキシとして利用され、ruby1.9.2のアプリケーションは、Passengerスタンドアローンで動かす。

図:Reverse Proxyを利用した複数Versionのruby Web app

Apache + passenger ----- app1.sample.com (ruby 1.8.7 + rails2.8.x)
Apache + passenger ----- app2.sample.com (ruby 1.8.7 + rails2.8.x)
Apache + mod_proxy ----- passenger ----- app3.sample.com ( ruby 1.9.2 + rails3 by rvm)

rails3アプリケーションは、開発ユーザdevmanのディレクトリ /home/devman/public_html/app3 に作成した。
rvm環境が出来ていることを前提で、作業は以下の手順

1. passenger(スタンドアローン）のインストール
2. apacheのプロキシー設定
3. 起動スクリプト作成
4. (必要であれば)iptablesをいじる

passengerのインストールはgemから行う。開発ユーザ環境も示しておいた。

devman$ rvm info
ruby-1.9.2-p290:

  system:
    uname:       "Linux www.miyabiit.com 2.6.18-274.3.1.el5 #1 SMP Tue Sep 6 20:13:52 EDT 2011 x86_64 x86_64 x86_64 GNU/Linux"
    bash:        "/bin/bash => GNU bash, version 3.2.25(1)-release (x86_64-redhat-linux-gnu)"
    zsh:         " => not installed"

  rvm:
    version:      "rvm 1.8.3 by Wayne E. Seguin (wayneeseguin@gmail.com) [https://rvm.beginrescueend.com/]"

  ruby:
    interpreter:  "ruby"
    version:      "1.9.2p290"
    date:         "2011-07-09"
    platform:     "x86_64-linux"
    patchlevel:   "2011-07-09 revision 32553"
    full_version: "ruby 1.9.2p290 (2011-07-09 revision 32553) [x86_64-linux]"

  homes:
    gem:          "/home/devman/.rvm/gems/ruby-1.9.2-p290"
    ruby:         "/home/devman/.rvm/rubies/ruby-1.9.2-p290"

  binaries:
    ruby:         "/home/devman/.rvm/rubies/ruby-1.9.2-p290/bin/ruby"
    irb:          "/home/devman/.rvm/rubies/ruby-1.9.2-p290/bin/irb"
    gem:          "/home/devman/.rvm/rubies/ruby-1.9.2-p290/bin/gem"
    rake:         "/home/devman/.rvm/gems/ruby-1.9.2-p290/bin/rake"

  environment:
    PATH:         "/home/devman/.rvm/gems/ruby-1.9.2-p290/bin:/home/devman/.rvm/gems/ruby-1.9.2-p290@global/bin:/home/devman/.rvm/rubies/ruby-1.9.2-p290/bin:/home/devman/.rvm/bin:/usr/kerberos/bin:/usr/local/bin:/bin:/usr/bin:/usr/lib/jvm/java/bin:/usr/local/ant/bin:/home/devman/bin"
    GEM_HOME:     "/home/devman/.rvm/gems/ruby-1.9.2-p290"
    GEM_PATH:     "/home/devman/.rvm/gems/ruby-1.9.2-p290:/home/devman/.rvm/gems/ruby-1.9.2-p290@global"
    MY_RUBY_HOME: "/home/devman/.rvm/rubies/ruby-1.9.2-p290"
    IRBRC:        "/home/devman/.rvm/rubies/ruby-1.9.2-p290/.irbrc"
    RUBYOPT:      ""
    gemset:       ""

devman$ gem install passenger --pre  # rvm 環境下なので userディレクトリにインストール

あれ、nginxもインストールされるのか。nginx（エンジンエックス、高速軽量で人気のWebサーバ)がスタンドアローンのwebサーバの役割を果たし、結局passenger本体はあくまでモジュールなのね。

ApacheにVirtualhostの設定を、reverse proxy仕様で追加する。

<VirtualHost *:80>
  ServerName app3.sample.com
  DocumentRoot /home/devman/public_html/words/public
  PassengerEnabled off
  ProxyPass / http://127.0.0.1:3000/
  ProxyPassReverse / http://127.0.0.1:3000/

</p>

起動スクリプトは、私は /etc/rc.d/app3をつくり、/etc/rc.localに追加した。これで良かったのかな。停止とかはKillしよう。chmod +x /etc/rc.d/app3を忘れないこと。

起動スクリプト:/etc/rc.d/app3

#!/bin/sh
su - devman -c 'cd public_html/app3;passenger start -a 127.0.0.1 -e development -p 3000 -d'

開発環境で実行している。
これで、Apacheを再起動し、rails3のアプリケーションを起動すればよい。

devman$ sudo /etc/init.d/httpd restart
devman$ cd public_html/app3
devman$ passenger start -a 127.0.0.1 -e development -p 3000 -d

リバースプロキシーは、高速化、キャッシュ・サーバ、負荷分散など応用が広いが、こういった使い方も出来るのですね。

Rubyの御気楽構造体クラス OpenStruct

OpenStructは、御気楽な構造体クラスで、予め定義しておかなくても、自動で属性を作成してくれます。

ずいぶん前に一度知ったのだが、クラスの名前をどうしても思い出せず検索できずに、利用したくても出来ない、とても歯がゆい思いをしていた。とっても便利なクラスである。

CodeRider:openstruct baker$ irb
>> require 'ostruct'
=> true
>> man = OpenStruct.new
=> #
>> man.name = 'masahiro'
=> "masahiro"
>> man.age = 200
=> 200
>> man.childs = %w(hanako taro)
=> ["hanako", "taro"]
>> p man
#

OpenStructをアプリケーションの初期設定に利用すると便利だ。
railsの場合、RAILS_ROOT/config/initializers/app_config.rbに以下のようなコードを書いておくと起動時に初期設定してくれる。

require 'ostruct'
AppConfig = OpenStruct.new

AppConfig.default_email = "no-reply@hoge.com"
AppConfig.api_url = "hoge.com"

ネタはここから
http://rubyquicktips.com/post/1718141794/use-openstruct-for-application-configuration-variables

PHP高速化のため APCを導入してみた

ブログエンジンとして非常に有名なWordPressを導入してみた。
さすがにインストールそのものは、とても簡単だったのだが、その時にサーバのメモリ不足問題が発生し、その対策として PHP-APC を導入したので、そのメモ。

php-apc

Alternative PHP Cashe
http://php.net/manual/ja/book.apc.php

phpの実行コードを高速化するためのPHPモジュールで、中間コードの最適化やキャッシュを提供する。

WordPressをインストールするまでの手順

# root になって、作業を進めました 
$ yum list installed | grep php
php.x86_64                               5.3.8-1.el5.remi              installed
php-cli.x86_64                           5.3.8-1.el5.remi              installed
php-common.x86_64                        5.3.8-1.el5.remi              installed
php-gd.x86_64                            5.3.8-1.el5.remi              installed
php-mbstring.x86_64                      5.3.8-1.el5.remi              installed
php-mysql.x86_64                         5.3.8-1.el5.remi              installed
php-pdo.x86_64                           5.3.8-1.el5.remi              installed
php-pgsql.x86_64                         5.3.8-1.el5.remi              installed

$ mysql -u root -p
Enter password: 
mysql> create database wordpress;
mysql> grant all on wordpress.* to wordpress@localhost identified  by 'xxxxxxx';

$ mkdir work
$ cd work/
$ wget http://ja.wordpress.org/wordpress-3.2.1-ja.zip
$ unzip wordpress-3.2.1-ja.zip 
$ cd /var/www/html/
$ cp -r ~/work/wordpress sample.com
$ chown -R apache:apache sample.com
$ cd sample.com

あとは、サイトにアクセスして画面の指示通りに進めるだけ。
この後、導入しているネットワーク監視システム Xymonから、メモリ不足の警告メールが。

予め、予想されていたので、本当はApacheから nginx (エンジンエックス)にWebサーバを変更することも考えていたのですが、先ずは APCを試してみることにしました。
注) 私は、PHP, mysql を remi リポジトリからインストールしているので、下の例のように apcも、remi指定のインストールです。

$ yum install php-pecl-apc --enablerepo=remi
$ /etc/init.d/httpd restart

導入効果は中々のもの。その間のメモリ状況のグラフを以下に表示します。

* 9/30 0時頃にメモリ不足
* その後、すぐにAPCを導入
* 9/30 早朝に画面を撮る

rvm で ruby 1.9.2 + Rails3 を実現

そろそろRails3をやらなければ、と思っているうちに Version 3.1になっていた。
Rails3を渋っていた理由は様々あるが、大きいのは ruby 1.9。ruby 1.9は後方互換が結構厳しい。
Rails自身はRubygemsでしっかり管理されていて他のバージョンとの共存が可能だが、rubyは難しいと躊躇していたら、なんと rvmなるものがあるではないか。
rvm -- ruby version manager. 様々なrubyを切り替えて利用することができる
詳しくはここ。
http://beginrescueend.com/rvm/

gemでインストールする方法もあるが、今回狙っている環境は
* さくらVPS
* 特定の開発ユーザだけが、ruby 1.9を使う。通常は 1.8.7
* gem も同様
* virtual hostを利用して、1.9ベースのWebApplicationと1.8.7(rails2)を共存させる
よって、rvmサイトの指示(single user)通り、ソースからインストールすることにした。
http://beginrescueend.com/rvm/install/

rvm インストール

開発用ユーザを追加し、切り替わって

# ソースからインストール (curlが必要)
$ bash < <(curl -s https://rvm.beginrescueend.com/install/rvm)
# bash_profileに環境を追加
$ echo '[[ -s "$HOME/.rvm/scripts/rvm" ]] && . "$HOME/.rvm/scripts/rvm" # Load RVM function' >> ~/.bash_profile
$ source ~/.bashrc
# インストール出来たかテスト "rvm is a function"と表示されれば、OK 
$ type rvm | head -1
rvm is a function

それにしても、スクリプトの作成が素晴らしい。これぐらい、さらさら書きたいものだ。
ruby 1.9.2 をインストールしてみる。

$ rvm install 1.9.2
$ ruby -v
ruby 1.8.7 (2010-08-16 patchlevel 302) [x86_64-linux]
$ rvm use 1.9.2  # 切り替える
Using /home/bokunenjin/.rvm/gems/ruby-1.9.2-p290
$ ruby -v
ruby 1.9.2p290 (2011-07-09 revision 32553) [x86_64-linux]

なるほど。ruby1.9 以外に、yaml rubygems もインストールさせるのか。
rvm use xxxx で他のrubyに切り替え。OSに導入している1.8.7が初期なので、ログアウトすると元に戻る。いつも1.9.2を使いたい場合は $ rvm use 1.9.2 --default でOK。

Rail3を試す

ruby 1.9.2 環境が用意できたので、早速 Rails3をインストール。
gemコマンドの実行は、カレントユーザで行う。(sudoしない。)

 $ gem update
 $ gem install rails
 $ rais new NewApp   # このあたりから、もう違う :-p
 Your bundle is complete! Use `bundle show [gemname]` to see where a bundled gem
is installed.
 $ cd NewApp
 $ rails server

プロジェクト作成時点でも、必要なgemが bundleの形で追加インストールされるのか。

sqlite3_native.so: undefined symbol エラー

sqlite3のプロジェクトを作成したときに、以下のようなエラーが出た。

sqlite3_native.so: undefined symbol: sqlite3_initialize

調べてみると、LD_LIBRARY_PATHの問題だととのことで、以下を.bashrcファイル等に追加。

LD_LIBRARY_PATH=/usr/local/lib
export LD_LIBRARY_PATH

Rails3 (3.1.0) 気になること

* JavaScript runtimeにNode.js(V8)が使われている。
* 今回は ActiveResorceを使いこなしてみたい
* すこし、軽くなったような気がする
* MiddlewareのRackについて、詳細を知りたい
* 謎のファイル config.ru , Gemfile (Gemfile.lock)

Casein3のインストール

私は、最近のRails開発では、caseinばかり使っている。caseinは、コンパクトな CMSで、認証機能や管理者画面と、ちょっと小粋なscaffoldを持っているため開発の土台として、とても重宝している。

Rails3の場合は、専用のgemがあるので試したみた。
手順だけ、さっと書く。詳細は https://github.com/spoiledmilk/casein3をみてください。

 $ cd NewApp/
 $ vim Gemfile    # gem "casein" を追加
 $ bundle install  # caseinが必要とするgemはすべて、ここで入る。sudoしない。rvm配下なので。
 $ vim config/initializers/setup_mail.rb    # ユーザ管理用のメールを送る設定
 $ rails g casein:install       # g = generate ?
 $ rails g casein:update     # public/casein内に必要なcss, javascriptなどが配置される
 $ rake db:migrate             # ユーザ管理テーブル作成
 $ rake casein:users:create_admin email=xxxxxxxxx  # 管理者ユーザ登録
 $ rails server -d

見た目は、あんまり変わらないなあ。

CodeIgniter + Dx Auth(認証）+ PostgreSQL

CodeIgniterを使うことになった。
いろいろ、理由があって、データベースはPostgreSQL。
認証ライブラリを試してみる。いろいろなサイトで見た感じでは、Dx_Authが良いらしいので、以下の環境で構築した。

* CentOS 5.5 (final)
* PHP 5.3.8
* CodeIgniter 2.0.3
* Dx_Auth
* PostgreSQL 8.1

実際の作業は試行錯誤の連続だったのだが、記録なのでサクッと書いておく。

Postgresqlをインストール

PHPはremiリポジトリを使って最新バージョン5.3.8をインストールしたため、ドライバも対応したものをremiを使ってインストール。

# yum install postgresql-server.x86_64 postgresql-contrib.x86_64 postgresql-devel.x86_64
# yum install php-pgsql.x86_64 --enablerepo=remi
# /etc/init.d/httpd restart
# テスト用のデータベースも作成
[root@] su - postgres
-bash-3.2$ createdb -E UNICODE -O testman -U postgres cidb

CodeIgniter 2.x

CodeIgniterは、codeigniter 2.0.3 と 日本語パッケージ を導入した。
基本的にはダウンロードして、解凍して、ドキュメントルートに持ってきて、設定を少しいじるだけ。簡単なので、以下を参考してください。
http://codeigniter.jp/

Dx Authのインストール

ここを参考に
http://dexcell.shinsengumiteam.com/dx_auth/

ソースは、CodeIgniter 1.7 で検証されているそうだが、CodeIgniterは、2.xになっていろいろと変わった。修正の方法は、以下のサイトを参考にさせていただいた。
http://d.hatena.ne.jp/ozawa34/20091223/1261581994
日本語化やCI 2.x系の修正済みソースを提供されている方もいらしたので参考に
http://d.hatena.ne.jp/ozawa34/20091223/1261581994

PostgreSQL用にスキーマを変更

MySQLで試すと、あっさりと動作したので、いよいよPostgreSQLへ。
application/config/database.php のドライバ設定部分を"postgre"に変更。

//$db['default']['dbdriver'] = 'mysql';
$db['default']['dbdriver'] = 'postgre';

schema.sqlがDxAuthについているが、もちろんPostgreSQLでは、使えません。
フォーラムの以下のスレッドを参考に、PostgreSQL用のスキーマ作成SQL文をつくってみました。
http://codeigniter.com/forums/viewthread/186278/

-- --------------------------------------------------------

--
-- Table structure for table ci_sessions
--
 
CREATE TABLE ci_sessions (
  session_id varchar(40)  NOT NULL DEFAULT '0',
  ip_address varchar(16)  NOT NULL DEFAULT '0',
  user_agent varchar(150)  NOT NULL,
  last_activity integer NOT NULL DEFAULT '0',
  user_data text,
  PRIMARY KEY (session_id)
);
 
-- --------------------------------------------------------
 
--
-- Table structure for table login_attempts
--
 
CREATE TABLE login_attempts (
  id serial,
  ip_address varchar(40)  NOT NULL,
  time timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  primary key(id)
);

-- --------------------------------------------------------

--
-- roles
--

create table roles(
	id serial,
	parent_id integer not null default '0',
	name varchar(30) not null,
	primary key(id)
);

INSERT INTO roles (parent_id, name) VALUES(0, 'User');
INSERT INTO roles (parent_id, name) VALUES(0, 'Admin');

-- --------------------------------------------------------

-- 
-- persissions
--

create table permissions(
	id	serial,
	role_id integer not null,
	data text,
	primary key(id)
);

-- --------------------------------------------------------
 
--
-- Table structure for table user_autologin
--
 
CREATE TABLE user_autologin (
  key_id char(32)  NOT NULL,
  user_id integer NOT NULL DEFAULT '0',
  user_agent varchar(150)  NOT NULL,
  last_ip varchar(40)  NOT NULL,
  last_login timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (key_id,user_id)
);
 
-- --------------------------------------------------------
 
--
-- Table structure for table user_profiles
--
 
CREATE TABLE user_profile (
  id serial,
  user_id integer NOT NULL,
  country varchar(20)  DEFAULT NULL,
  website varchar(255)  DEFAULT NULL,
  primary key(id)
);
 
-- --------------------------------------------------------
 
--
-- Table structure for table users
--
 
CREATE TABLE users (
  id serial,
  role_id integer not null default '1',
  username varchar(25)  NOT NULL,
  password varchar(34)  NOT NULL,
  email varchar(100)  NOT NULL,
  activated smallint NOT NULL DEFAULT '1',
  banned smallint NOT NULL DEFAULT '0',
  ban_reason varchar(255)  DEFAULT NULL,
  newpass varchar(34) default null,
  newpass_key varchar(32) default null,
  newpass_time timestamp DEFAULT CURRENT_TIMESTAMP,
  last_ip varchar(40)  NOT NULL,
  last_login timestamp DEFAULT CURRENT_TIMESTAMP,
  created timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  modified timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  primary key(id)
);

-- --------------------------------------------------------

-- 
-- user_temp
--

create table user_temp (
	id serial,
	username varchar(255) not null,
	password varchar(34) not null,
	email varchar(100) not null,
	activation_key varchar(50) not null,
	last_ip varchar(40)  NOT NULL,
  created timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  primary key(id)
);

-- --------------------------------------------------------
 
--
-- Update datetime columns on update
--
 
CREATE OR REPLACE FUNCTION update_modified_column_time()
    RETURNS TRIGGER AS $$
    BEGIN
       NEW.time = now(); 
       RETURN NEW;
    END;
    $$ LANGUAGE 'plpgsql';
 
CREATE TRIGGER update_login_attempts_time BEFORE UPDATE
    ON login_attempts FOR EACH ROW EXECUTE PROCEDURE 
    update_modified_column_time();
 
CREATE OR REPLACE FUNCTION update_modified_column_user_autologin()
    RETURNS TRIGGER AS $$
    BEGIN
       NEW.last_login = now(); 
       RETURN NEW;
    END;
    $$ LANGUAGE 'plpgsql';
 
CREATE TRIGGER update_login_attempts_user_autologin BEFORE UPDATE
    ON user_autologin FOR EACH ROW EXECUTE PROCEDURE 
    update_modified_column_user_autologin();
 
 
CREATE OR REPLACE FUNCTION update_modified_column_users()
    RETURNS TRIGGER AS $$
    BEGIN
       NEW.modified = now(); 
       RETURN NEW;
    END;
    $$ LANGUAGE 'plpgsql';
 
CREATE TRIGGER update_login_attempts_users BEFORE UPDATE
    ON users FOR EACH ROW EXECUTE PROCEDURE 
    update_modified_column_users();

-- -----------------------------------------------------------------
-- no params
CREATE OR REPLACE FUNCTION unix_timestamp() RETURNS BIGINT AS '
	SELECT EXTRACT(EPOCH FROM CURRENT_TIMESTAMP(0))::bigint AS result;
' LANGUAGE 'SQL';
 
-- timestamp without time zone (i.e. 1973-11-29 21:33:09)
CREATE OR REPLACE FUNCTION unix_timestamp(TIMESTAMP) RETURNS BIGINT AS '
	SELECT EXTRACT(EPOCH FROM $1)::bigint AS result;
' LANGUAGE 'SQL';
 
-- timestamp with time zone (i.e. 1973-11-29 21:33:09+01)
CREATE OR REPLACE FUNCTION unix_timestamp(TIMESTAMP WITH TIME zone) RETURNS BIGINT AS '
	SELECT EXTRACT(EPOCH FROM $1)::bigint AS result;
' LANGUAGE 'SQL';

その他

最初にMySQLで試したのだが、その時の記録

MySQL。使わない、使えないユーザは消した。そしてDxAuthに必要なテーブルの一覧。

mysql> delete from user where user = '';
mysql> grant select,insert,update,delete,create,drop on cidb.* to miyabiman;
Query OK, 0 rows affected (0.06 sec)

[baker@www dx_auth]
$ mysql -u miyabiman -h localhost cidb -p  < schema.sql

mysql> show tables;
+----------------+
| Tables_in_cidb |
+----------------+
| ci_sessions    |
| login_attempts |
| permissions    |
| roles          |
| user_autologin |
| user_profile   |
| user_temp      |
| users          |
+----------------+
8 rows in set (0.00 sec)

作業の過程でつまずいたことなど。メモとして。

• ログが書き込みされない
• Session key 作成
• PL/PGSQLが必要 # create language plpgsql;
• テーブルが足りない
• Primary Keyを用意する

Titaniumでバーコードライブラリを使う

検討中のiPhoneアプリの現在の課題はバーコード。(少しづつ、少しづつ進んでます）
Tituniumで利用できるiPhone用のバーコードライブラリは、TiBarが一番手のようだ。
TiBar -- ZBar integration module for Titanium Mobile.
と言うことで、ZBarライブラリをTitaniumで利用出来るようにしたものらしい。 http://code.google.com/p/tibar/

ZBarライブラリについては、ここ http://zbar.sourceforge.net/

ZBar is an open source software suite for reading bar codes from various sources, such as video streams, image files and raw intensity sensors. It supports many popular symbologies (types of bar codes) including EAN-13/UPC-A, UPC-E, EAN-8, Code 128, Code 39, Interleaved 2 of 5 and QR Code.

インストール

1. 最新版をダウンロード (2011.9.4 現在 0.4.2)
2. 解凍したモジュールを以下にコピー。

$ cp -r modules/iphone/tibar /Library/Application\ Support/Titanium/modules/iphone/

3. (プロジェクトに未登録のフレームワークを) Xcodeのプロジェクトファイルに追加する

• AVFoundation.framework 
• CoreMedia.framework
• CoreVideo.framework
• QuartzCore.framework
• libiconv.dylib 

さらっと、書いたけど、これは一寸面倒。 

1. /Library/Application Support/Titanium/mobilesdk/osx/1.7.2/iphone/iphone/Titanium.xcodeproj ファイルを起動し（Xcodeでファイルが開く)
2. [Bundle Phases]タブを選び
3. 右下にある [Link Binary with Libraries]ボタンにてライブラリリストを展開
4. 上記のフレームワークを追加(Link)していくのだ。(選んで、追加ボタンを実施)

参考にさせてもらったのは、このサイト。 http://zaru.tofu-kun.org/2011/08/11/iphoneでバーコードをスキャンしたい！titanium-mobileでzbarを使う/