Taku Kudo
taku****@chase*****
2006年 5月 20日 (土) 04:37:51 JST
工藤です > 64bit環境も用意できたのでいろいろと試しているのですが、素性の全て(正 > 確にいえば読み)も含めてできるだけ正しい値を出してほしいので、 > eval-size, unk-eval-sizeを8として学習をさせてみています。 > > このときに気づいたのですが、eval-sizeを増やすとメモリの増えかたがず > いぶんかわるような気がします。最初は2でやっていたので、なんとか64bit環 > 境で実メモリ4GB+スワップ6GBでなんとか分割せず学習できそうな感じだった > のですが、eval-sizeを増やすと数千センテンスのコーパスを読み込んだとこ > ろでメモリがもういっぱいになってしまうようです。 adding virtual node の数はどうでしょうか？ > 同じことを32bit環境でさせてみると、メモリの使われかたがもっと少ない > 感じなので、とりあえず分割して32bit環境で現在学習を進めているという状 > 況です。 > > まだソースをきちんとみていないのですが、やはり64bit環境だとメモリの > 消費のしかたもちがうのでしょうか。 単純にポインタのサイズが違います。 たとえば、mecab_node_t は双方向リストになってて、別の node への ポインタをさしています。単純に sizeof(mecab_node_t) するとサイズが 64bit 環境では1.5 倍ぐらいになると思います。
