楽譜アーカイブアプリ - その12 vImage [考え中の問題]
一通りOpenCVで遊んだので、一旦本筋に戻る。そもそもは古い楽譜のピースをスキャナで読んでPDFにしたい、というのが始まりだった。そのために簡単な画像処理が必要になる。それを簡単にやるためにライブラリを探していた。今日はMac OS XネイティブのvImageというフレームワークを見てみる。
しかし、OpenCVはプロの使用に耐える高品質なライブラリだけど、おもちゃとしても面白い。またお遊びのアイデアがあるので今回の話とは別にOpenCVネタとして進める。これはこれで、乞うご期待。
一方でOpenCVのようにクロスプラットフォームなライブラリと違って、Mac OS Xがサポートしている他のFrameworkと連携できる、ということが有利。汎用のデータ定義にはCore Foundationを使って、Fourier変換はvDSP、入出力のためのフォーマット変換はImage I/O、リアルタイムのフィルタリングにはCore Image、ベクトル描画との共存にはQuartz、などなどとOpenCVのような独立したライブラリではすべてOpenCVの内部で用意しないといけないけどvImageのようなOSが提供するFrameworkでは機能ごとに特化したものにできる。
またMac OS Xだけで使えればいいのでパフォーマンスをぎりぎりまで最適化できる。まあ、ある意味やりたい放題なわけでクロスプラットフォームなFrameworkではその点は不利になる。当たり前だけど逆にvImageはMac OS Xだけでしか使えないが、OpenCVはMac OS XとWindowsでソースコードをまったく変更せずにほぼすべての機能を使うことができる。
何が違うかと言えば、Core ImageはGPUを使って表示に特化しているが、vImageはCPUを使って画像をメモリの上に展開する。つまり、ファイルに出力するならvImageを使う必要があるというところ。画面に表示したいだけならCore Imageを使った方がCPUに負担もかけないし、表示されるところだけを計算するので無駄がない。
従ってOpenCVに比べるとほんとうに素材のレベルということになる。特徴抽出や追跡、カメラキャリブレーションなんかを使う必要がなければこれで十分である。
また、CocoaとのインターフェイスのためにOpenCVではIplImageからNSImageに変換する必要があるが、実はvImageでもNSImageへの変換は必要になってしまう。このへんはちょっといまいちなところ。
またもうひとつ、OpenCVではなくvImageで済まそうとすると回転角の検出をどうするか、という問題が残る。
OpenCVには2値画像から直線を検出する、という機能がそなわっている。直線を検出してその傾きを見てそれを水平にするような角度で回転すればいい。vImageを使うにはその部分を自分で実装しないといけない。五線譜の傾き補正のための直線検出というのは非常に条件のいい問題なので、独自実装しても使い物になる可能性がある。その点はまた後で考えてみる。
vImageにするか、OpenCVを使うかは全体を見て決めたい。vImageの詳細はOpenCVでなくてもいい、という結論が得られたときにレビューし直すことにする（でないとすぐ忘れるし）。
しかし、OpenCVはプロの使用に耐える高品質なライブラリだけど、おもちゃとしても面白い。またお遊びのアイデアがあるので今回の話とは別にOpenCVネタとして進める。これはこれで、乞うご期待。
4.3 vImage
MacにはネイティブのvImageというFrameworkがある。vImageはやはり画像処理用のFrameworkで、OpenCVの機能のうち最も低レベルのフィルタやヒストグラム処理などをカバーしているが、OpenCVの高レベルの機能である特徴抽出や追跡やパターン学習などはできない。一方でOpenCVのようにクロスプラットフォームなライブラリと違って、Mac OS Xがサポートしている他のFrameworkと連携できる、ということが有利。汎用のデータ定義にはCore Foundationを使って、Fourier変換はvDSP、入出力のためのフォーマット変換はImage I/O、リアルタイムのフィルタリングにはCore Image、ベクトル描画との共存にはQuartz、などなどとOpenCVのような独立したライブラリではすべてOpenCVの内部で用意しないといけないけどvImageのようなOSが提供するFrameworkでは機能ごとに特化したものにできる。
またMac OS Xだけで使えればいいのでパフォーマンスをぎりぎりまで最適化できる。まあ、ある意味やりたい放題なわけでクロスプラットフォームなFrameworkではその点は不利になる。当たり前だけど逆にvImageはMac OS Xだけでしか使えないが、OpenCVはMac OS XとWindowsでソースコードをまったく変更せずにほぼすべての機能を使うことができる。
4.3.1 vImageとCore Image
vImageはMac OS X10.3で導入されたが、10.4以降ではCore Imageという似たような機能を持つFrameworkが使えるようになった。Core ImageでもvImageができる画像のフィルタリングがほぼそろっているし、用意されていなくてもフィルタを書けばvImageと同じことができる。何が違うかと言えば、Core ImageはGPUを使って表示に特化しているが、vImageはCPUを使って画像をメモリの上に展開する。つまり、ファイルに出力するならvImageを使う必要があるというところ。画面に表示したいだけならCore Imageを使った方がCPUに負担もかけないし、表示されるところだけを計算するので無駄がない。
4.3.2 vImageでできること
vImageはOpenCVにある をほぼカバーする。その他の低レベルな処理、例えばファイルの入出力や描画はCocoaやQuartzを使うことになる。従ってOpenCVに比べるとほんとうに素材のレベルということになる。特徴抽出や追跡、カメラキャリブレーションなんかを使う必要がなければこれで十分である。
また、CocoaとのインターフェイスのためにOpenCVではIplImageからNSImageに変換する必要があるが、実はvImageでもNSImageへの変換は必要になってしまう。このへんはちょっといまいちなところ。
またもうひとつ、OpenCVではなくvImageで済まそうとすると回転角の検出をどうするか、という問題が残る。
OpenCVには2値画像から直線を検出する、という機能がそなわっている。直線を検出してその傾きを見てそれを水平にするような角度で回転すればいい。vImageを使うにはその部分を自分で実装しないといけない。五線譜の傾き補正のための直線検出というのは非常に条件のいい問題なので、独自実装しても使い物になる可能性がある。その点はまた後で考えてみる。
vImageにするか、OpenCVを使うかは全体を見て決めたい。vImageの詳細はOpenCVでなくてもいい、という結論が得られたときにレビューし直すことにする（でないとすぐ忘れるし）。
2010-12-02 22:03
nice!(0)
コメント(2)
トラックバック(0)
７弦ギターの製作家を見つけました。
仙台在住の製作家 三浦隆志氏が７弦ギターを製作していました。
http://www.diana.dti.ne.jp/~miura/files/guit.pho.html
彼は、アントニオ・マリンモンテーロの弟子で、ブーシェの孫弟子にあたります。私自身長年のユーザーで、過去に電話で話したことはあります。
彼が７弦ギターを製作していたことを今、初めて知りました。デビッド・ラッセルは三浦隆志製作のギターを所有しています。国内では、藤井啓吾、藤井真吾、笠原瞳などのギタリストが使用しています。
しっかりしたギターで、弾きこむほどに良い感じになるギターで、星野、今、松村、河野（桜井）などとともに国産品ではトップクラスのギターだと思います。
by エトワール (2010-12-04 02:50)
コメントありがとうございます。
7弦ギターが手に入りますか！うう、でも一声百万でしょうねぇ。仙台の方なんですね。松村河野星野と言えば僕が学生の頃は最もメジャーな製作者でした。そう言う名前を聞くといい楽器が欲しくなります。
ところで、藤井眞吾氏とは学生の頃に京都の楽器屋でお会いしたことがあります。そのときはヴィラ=ロボスの練習曲1番の減3和音が半音階で下りてくるところのEの音がずっと残っているのを和声的にどう解釈できるかを熱く語ってらっしゃいました。
そのときはなんて暑苦しいやつなんだと思いましたが．．．
by decafish (2010-12-04 21:02)