[Ludia-users 140] Re: 形態素インデックスで投入に1秒以上かかります

Back to archive index

Shunsuke Tanaka tanak****@nttda*****
2007年 11月 27日 (火) 09:52:04 JST


田中です。

返信ありがとうございます。

> メモリ不足のようですね。

やはりそうですか。
 
> 過去の田中さんのメールを見ると、
> > 10万件くらいになると10GBは超える可能性があるので
> とあります。
> 80万件の場合、EUC-JPのテキストで80Gbyte程度でしょうか?

投入するデータのバイト数を調べるプログラムを作って調べたところ、
80万件のEUC-JPのテキストは23Gbyteでした。
データの平均値は思ったほど大きくありませんでした。
 
> > まだ何か可能性がある方法がありましたら、ご意見をお願いします。
> パーティション化、64bitマシンなどの方法が良いと思われます。
> パーティション化すると、投入時間の短縮というメリットもあります。

ご意見ありがとうございます。
パーティション化または64bitマシンにするようにします。

ご意見をくださった皆様、どうもありがとうございました。




Ludia-users メーリングリストの案内
Back to archive index