[mecab-users 112] Re: mecab-cost-trainのメモリ利用効率

Back to archive index

Taku Kudo taku****@chase*****
2006年 5月 24日 (水) 01:01:57 JST


工藤です

>   ところでいまごろ気づいたのですが、現在辞書はipadicと形式をあわせてい
> るので、読みが素性の8番目にはいっています。品詞は1, 2番目にしか入って
> いないので、わざわざeval-sizeを8にしなくとも、3番目に読みを入れて
> eval-sizeを3にすればメモリの消費量を抑えられそうです。

そうですね。ipadic は4階層の品詞ですが、もしお手元のコーパスが
2階層しかもっていないのであれば、juman のパラメータファイル (rewrite.def
,feature.def) を使ったほうがいいかもしれません。

品詞体系は、ipadic と同じでしょうか? feature.def はそのまま使えると思いますが
rewrite.def は適宜修正する必要があります。

-- taku


>
>   いったんそういう形で辞書をいじったあと、あとでipadicと同じ形式にcsv
> を戻しても問題はないでしょうか。
> --
> 野首 貴嗣
> E-mail: knok****@daion*****
>         knok****@namaz***** / knok****@debia*****
>
>



mecab-users メーリングリストの案内
Back to archive index