全文検索エンジン Hyper Estraier on SAKURA Internet

NTTデータが全文検索エンジン｢Ludia｣をオープンソースとして無償公開@ITpro

という記事が今日ありましたね。仕事柄、検索エンジンに興味があるので
MySQLの全文検索用拡張であるSennaのPostgreSQL版なのかーと思っていたら、
SennaってのはMySQLありきって訳じゃなくて Senna + MySQL Binding で
MySQL全文検索ができる　なので このLudia はSennaのPostgraSQL Bindingなのね
と今更ながら勉強になった。

DBの組み込み型の full-text search も便利だけどどちらかと言えば、
APIとかを通じていろんなことができる単体の検索エンジンの方が興味あり..
Senna単体がそれに当たるなら、Sennaを使ってみようかな... と思ったが、
どうせやるなら前から興味あったが時間がなくて触ってなかった Hyper Estraier を
今の旬の時期にやってみるか　と腰を上げてみた。

以下さくらインターネットにインストールしたときのメモ
隠すのも面倒なのでsyumaro公開 ww
基本的にマニュアル通り

libiconv の install

fetch http://ftp.gnu.org/pub/gnu/libiconv/libiconv-1.11.tar.gz
tar zxvf libiconv-1.11.tar.gz
cd libiconv-1.11
./configure --prefix=/home/syumaro
make
make install

zlib の install

fetch http://www.zlib.net/zlib-1.2.3.tar.gz
tar zxvf zlib-1.2.3.tar.gz
cd zlib-1.2.3
./configure --prefix=/home/syumaro
make
make install

qdbm の install

fetch http://qdbm.sourceforge.net/qdbm-1.8.71.tar.gz
tar zxvf qdbm-1.8.71.tar.gz
cd qdbm-1.8.71
./configure --enable-zlib --prefix=/home/syumaro
make
make install

HyperEstraier本体のinstall

fetch http://hyperestraier.sourceforge.net/hyperestraier-1.4.5.tar.gz
tar zxvf hyperestraier-1.4.5.tar.gz
cd hyperestraier-1.4.5
./configure --prefix=/home/syumaro
make
make install

管理コマンドで動作確認

bash-2.05b$ estcmd
/usr/libexec/ld-elf.so.1: Shared object "libqdbm.so.14" not found

当然これが必要でした.

export LD_LIBRARY_PATH=/home/syumaro/lib

改めて..

bash-2.05b$ estcmd
estcmd: command line utility for the core API of Hyper Estraier
...
...

動作確認
とりあえず、indexを作ってみる
初期index作成

bash-2.05b$ estcmd create testindex

データ用意するの面倒なのでとりあえずは

bash-2.05b$ estcmd randput -rjp testindex 1000

中身の確認

bash-2.05b$ estcmd inform testindex
number of documents: 1000
number of words: 455579
number of keywords: 0
file size: 15452915
inode number: 15637027
attribute indexes:

検索してみる

- 「あいうえお」という文字列が含まれる文章　
bash-2.05b$ estcmd search -va testindex あいうえお
- @digest 属性に 「aa」という文字列が含まれる文章
bash-2.05b$ estcmd search -va -attr '@digest STRINC aa' testindex

APIとかでいろいろ遊んでみる予定