[Ludia-users 115] RE: Re: sen_index_upd failedについて

Back to archive index

Kawanishi Tetsuo t_kawan****@hotma*****
2007年 10月 14日 (日) 20:56:32 JST


川西です。こんばんは。

ご解説、ありがとうございます。
過去に何度か出ていた内容だったようで申し訳ありません。

sennaを1.0.9にバージョンアップしたところmmapのエラーが出た後も、
deadlock状態に陥らないようになりました。

initial_n_segmentsを1024に設定していたことで、
インデックスのサイズが肥大化していたようです。
initial_n_segmentsの値を512に戻したところ、
INSERTできる件数も増え、だいぶ改善してきました。
max_n_index_cacheの値がデフォルトの16なので、
この値を多少減らせば解決となりそうです。

> initial_n_segmentsの値はインデックスごとに設定できます。
> initial_n_segmentsのデフォルトは512です。

インデックスごとにinitial_n_segmentsの値を設定する場合は、
postgres.confの設定値を書き換えてからインデックスを作成するという
手順でしょうか?他にもっと簡単な方法があるのでしょうか?

> *.SEN.l, *.SEN.i, *.SENの合計値が小さくなるように
> max_n_index_cacheとinitial_n_segmentsを調整してみてください。

*.SEN.l, *.SEN.i, *.SENの合計値が論理メモリにマップされ、
*.SEN.i についてはデフォルト130MB程度確保され、
登録する文書量によって肥大化していく、といった認識で
間違っていませんでしょうか?

資源不足に陥らないよう、少し余裕を持った設定値にした方が
良さそうですね。

以上、よろしくお願いいたします。

Tetsuo Kawanishi

> Date: Fri, 12 Oct 2007 09:01:59 +0900
> From: kousa****@nttda*****
> To: ludia****@lists*****
> Subject: [Ludia-users 111] Re: sen_index_upd failedについて
>
> 幸坂です。こんにちは。
>
> 確かにマップされている領域が過剰ですね。
>
>> 最近のLudiaはindex_cacheの挙動ってどうなっているのでしたっけ? → Ludiaな
> 方々。
> max_n_index_cacheより多くのインデックスを開こうとすると、
> LRU方式で最も使われていないインデックスを閉じる仕様となっています。
> max_n_index_cacheのデフォルトは16です。
>
> もしくは、initial_n_segmentsを小さくすると、
> インデックスのマップされる領域が変更できます。
> initial_n_segmentsの値はインデックスごとに設定できます。
> initial_n_segmentsのデフォルトは512です。
>
> *.SEN.l, *.SEN.i, *.SENの合計値が小さくなるように
> max_n_index_cacheとinitial_n_segmentsを調整してみてください。
> (postgresql.confで変更できます。詳しくはREADME。)
>
> 以上です。
>
>> -----Original Message-----
>> From: ludia****@lists*****
>> [mailto:ludia****@lists*****] On Behalf
>> Of morit****@razil*****
>> Sent: Friday, October 12, 2007 3:14 AM
>> To: ludia****@lists*****
>> Subject: [Ludia-users 110] Re:sen_index_upd failedについて
>>
>> こんばんは。もりです。
>>
>>> 以前FTPでPUTするようなやり取りがあったと思うのですが、そういったことは可
> 能で
>>> しょうか?
>>
>> はい。現在も利用可能です。しかし‥
>> インデックスのうちファイルにマップされるはずである領域が2.2GB程度に達して
> いますので、
>> 未知の問題というわけではなく、実際に資源が足りなくなっている可能性が高いと
> 思います。
>> (今回はmapsファイルを頂いてもあまり新しい知見は得られない気がします)
>>
>> /proc/pid/fdによると、8個のインデックスが同時に開かれているようですが、
>> 実際に同時に使用する必要があるインデックスの数がこれより少ないようでした
> ら、
>> Ludia側の作りでもっとこまめにクローズして論理資源を節約できる可能性がある
> かもです。
>>
>> 最近のLudiaはindex_cacheの挙動ってどうなっているのでしたっけ? → Ludiaな
> 方々。
>>
>>>> cat /proc/pid/status
>>> Name: postmaster
>>> State: S (sleeping)
>>> SleepAVG: 98%
>>> Tgid: 3839
>>> Pid: 3839
>>> PPid: 4180
>>> TracerPid: 0
>>> Uid: 26 26 26 26
>>> Gid: 26 26 26 26
>>> FDSize: 256
>>> Groups: 26
>>> VmPeak: 3144368 kB
>>> VmSize: 3144368 kB
>>> VmLck: 0 kB
>>> VmHWM: 1968204 kB
>>> VmRSS: 490748 kB
>>> VmData: 28896 kB
>>> VmStk: 88 kB
>>> VmExe: 3072 kB
>>> VmLib: 5420 kB
>>> VmPTE: 5996 kB
>>> StaBrk: 08394000 kB
>>> Brk: 09e66000 kB
>>> StaStk: bf8ecc80 kB
>>> Threads: 1
>>> SigQ: 0/180352
>>> SigPnd: 0000000000000000
>>> ShdPnd: 0000000000000000
>>> SigBlk: 0000000000000000
>>> SigIgn: 0000000001301000
>>> SigCgt: 0000000000006a87
>>> CapInh: 0000000000000000
>>> CapPrm: 0000000000000000
>>> CapEff: 0000000000000000
>>> Cpus_allowed: ffffffff
>>> Mems_allowed: 1
>>>
>>>>/proc/pid/fd/
>>> 4008526.SEN.l 8462336
>>> 4008526.SEN.i 258674688
>>> 4008526.SEN.i.c 266240
>>> 4008528.SEN 8462336
>>> 4008528.SEN.l 8462336
>>> 4008528.SEN.i 269422592
>>> 4008528.SEN.i.c 1052672
>>> 4008538.SEN 8462336
>>> 4008538.SEN.l 8462336
>>> 4008538.SEN.i 266014720
>>> 4008538.SEN.i.c 266240
>>> 4008539.SEN 8462336
>>> 4008539.SEN.l 8462336
>>> 4008539.SEN.i 252907520
>>> 4008539.SEN.i.c 266240
>>> 4008511.SEN 8462336
>>> 4008511.SEN.l 8462336
>>> 4008511.SEN.i 268898304
>>> 4008511.SEN.i.c 266240
>>> 4008513.SEN 8462336
>>> 4008513.SEN.l 12656640
>>> 4008513.SEN.i 271519744
>>> 4008513.SEN.i.c 334761984
>>> 4008523.SEN 8462336
>>> 4008523.SEN.l 8462336
>>> 4008523.SEN.i 268898304
>>> 4008523.SEN.i.c 266240
>>> 4008524.SEN 8462336
>>> 4008524.SEN.l 8462336
>>> 4008524.SEN.i 268898304
>>> 4008524.SEN.i.c 266240
>>> 4008526.SEN 8462336
>>>
>>> 以上、よろしくお願いいたします。
>>>
>>> Tetsuo Kawanishi
>>>
>>> _________________________________________________________________
>>> Webページを見ながらスムーズ検索「サーチペイン」搭載のMSN版IE7をダウン
> ロード
>>> http://promotion.msn.co.jp/ie7/
>>>
>>> _______________________________________________
>>> Ludia-users mailing list
>>> Ludia****@lists*****
>>> http://lists.sourceforge.jp/mailman/listinfo/ludia-users
>>>
>> --
>> mori
>>
>> _______________________________________________
>> Ludia-users mailing list
>> Ludia****@lists*****
>> http://lists.sourceforge.jp/mailman/listinfo/ludia-users
>>
>
> _______________________________________________
> Ludia-users mailing list
> Ludia****@lists*****
> http://lists.sourceforge.jp/mailman/listinfo/ludia-users

_________________________________________________________________
【MSNビデオ】超貴重!驚きの大物対談が実現。作家 村上龍が話題のあの人に迫る
http://video.msn.co.jp/rvr/default.htm




Ludia-users メーリングリストの案内
Back to archive index