[Flex][AIR] 手書き文字認識エンジンZinniaを使ってみた

就職活動の一環で、一般常識テストってのを受けたんだけど・・・


漢 字 が ゼ ン ゼ ン 書 け な い！！！＞＜


最近、パソコンばっかで手書きをゼンゼンしなくなったから、昔書けてた漢字すら書けなくなってた！！

ぁ、書けなくなっただけで、未曾有はちゃんと読めるよ！！！



ってことで、漢字覚えなきゃって思って、コトバを覚えるにはやっぱiKnow!だろう！！！と思ったけど、iKnow!では漢字を覚える仕組みがないみたい。


でも、ないなら作ってしまえ！！ってことで、文字認識のライブラリを探したら、Zinniaってのを発見！！



ってころで長い前置きが終わり。


（↓Zinniaを使って出来たもの。ボタンを押すと消えるよ）





まず、Zinniaってのは、

Zinniaは機械学習アルゴリズム SVM を用いたポータブルで汎用的な オンライン手書き文字認識エンジンです。Zinniaは組み込みの容易さと汎用性を高めるために、 文字のレンダリング機能は持っていません。Zinniaは文字のストローク情報を座標の連続として受け取り、 確からしい順にスコア付きでN文字の認識結果を返すだけに機能を限定しています。 また、認識エンジンは完全に機械学習ベースであるために、文字のみならずユーザの任意のマウス・ペンストロークに対して任意の文字列をマッピングするような認識エンジンを小コスト作成することができます。

らしい。


要約すると
・機会学習のアルゴリズム使ってるから、いっぱい学習したら精度はあがるよ！！
・与える情報は、画像じゃなくて、書き順つきの座標で与えてね！！
・文字認識だけやるから、その手書きを書く部分と結果を表示する部分は自分で作ってね！！
ってこと


んで、Flexでやろうにも、ActionScriptからC++をたたけないから（たぶん）、サーバーで文字認識して、結果を返すことにする。


んで、サーバー（Linux）にZinniaをインストールする。
まず、ここから、zinnia-0.02.tar.gzとzinnia-tomoe-0.6.0-20080911.tar.bz2をダウンロード

んで、ダウンロードしたディレクトリに行って、

tar zxfv zinnia-0.02.tar.gz 
cd zinnia-0.02
./configure
make
sudo make instal
cd ..
tar jxvf zinnia-tomoe-0.6.0-20080911.tar.bz2 
cd zinnia-tomoe-0.6.0-20080911
./configure
make
sudo make installl

でおk


んで、サンプルのコードを動かすか確認。
※Cのサンプルで

  zinnia_character_t  *character  = zinnia_character_new();
の変数宣言が重複してるから、
  *character  = zinnia_character_new();
に直してね！！


んで、ちょっと前に書いた、
[Java] MacでJNI 〜JavaからC++を呼ぶ〜
[Java][C/C++] JNIで配列を引数や返り値に使う
らへんを見ながら、


Javaのソース

public class ZinniaJNI {

	static {
		// ライブラリをロード
		System.loadLibrary("ZinniaJNI");
	}

	public native String exe(int width, int heigh, int[] data);
	
}

と

C++のソース
#include <stdio.h> #include <string> #include "zinnia.h" #include "ZinniaJNI.h" #define NUM_CANDIDATE 10 JNIEXPORT jstring JNICALL Java_ZinniaJNI_exe(JNIEnv *env, jobject obj, jint width, jint height, jintArray input) { jboolean b; int index; jint* inputArray = (env)->GetIntArrayElements(input, &b); int inputSize = (env)->GetArrayLength(input); std::string results = ""; size_t i; zinnia_recognizer_t *recognizer; zinnia_character_t *character; zinnia_result_t *result; recognizer = zinnia_recognizer_new(); if (!zinnia_recognizer_open(recognizer, "/usr/local/lib/zinnia/model/tomoe/handwriting-ja.model")) { fprintf(stderr, "ERROR: %s\n", zinnia_recognizer_strerror(recognizer)); return env->NewStringUTF("ERROR"); } character = zinnia_character_new(); zinnia_character_clear(character); zinnia_character_set_width(character, width); zinnia_character_set_height(character, height); for(index=0; index<inputSize; index+=3) { zinnia_character_add(character, inputArray[index], inputArray[index+1], inputArray[index+2]); fprintf(stdout, "%d %d %d\n", inputArray[index], inputArray[index+1], inputArray[index+2]); } result = zinnia_recognizer_classify(recognizer, character, 10); if (result == NULL) { fprintf(stderr, "%s\n", zinnia_recognizer_strerror(recognizer)); return env->NewStringUTF("NONE"); } for (i = 0; i < zinnia_result_size(result) && i<NUM_CANDIDATE; ++i) { fprintf(stdout, "%s\t%f\n", zinnia_result_value(result, i), zinnia_result_score(result, i)); results += zinnia_result_value(result, i); } zinnia_result_destroy(result); zinnia_character_destroy(character); zinnia_recognizer_destroy(recognizer); env->ReleaseIntArrayElements(input, inputArray, 0); return env->NewStringUTF(results.c_str()); }


んで、認識後の文字をつなげて文字列として返す。



あとは、これをtomcatで呼べばおk。





ぁ、iKnow!のなんちゃらってのは、iKnow!のAPIを使って
http://labs.isocchi.com/iKnow/Handwriting.htmlでひっそりと開発中。

デザインがダメなら変えるよってiKnow!にゆったんだけど、何も言われなかったのでリンク貼ってみる