[Tep-j-general] SpiderKiller の組み込み

Back to archive index

TAMURA Toshihiko tamur****@bitsc*****
2004年 11月 5日 (金) 18:18:18 JST


こんにちは、田村です。

セッション管理や検索エンジン対策の問題がありますので
SpiderKiller は必須のモジュールだと考えまして、
これを MS1J に組み込みました。
まだ SpiderKiller を組み込んでいない方は試してみてください。

* Spider Killer for MS1
http://www.oscommerce.com/community/contributions,1089


●変更点
これにともなって、次のファイルを追加・変更しています。

* 追加ファイル
  o catalog/includes/spider_configure.php
* 変更ファイル
  o catalog/includes/application_top.php
    require(DIR_WS_INCLUDES . 'spider_configure.php'); の行を追加。
  o catalog/include/functions/html_output.php
    tep_href_link() を変更。

これらのファイルは、下のページからダウンロードできます。
http://cvs.sourceforge.jp/cgi-bin/viewcvs.cgi/tep-j/oscommerce-2.2ms1j/catalog/includes/


●対象とする検索エンジンについて
SpiderKiller は、データ収集のためにサイトにアクセスしたクローラを
USER_AGENT で判別して、セッションIDの付かないリンクを作るものですが、
spider_configure.php の中で、クローラを判別するキーワードを
次のように指定しています。

 bot
 crawler
 empas
 slurp
 spider
 teoma

これの元になったクローラのUSER_AGENTは、下のようなものです。

 Googlebot/2.1 (+http://www.googlebot.com/bot.html)
 msnbot/0.3 (+http://search.msn.com/msnbot.htm)
 NaverBot-1.0 (NHN Corp. / +82-2-3011-1954 / nhnbo****@naver*****)
 Mozilla/5.0 (compatible; Yahoo! Slurp; -http://help.yahoo.com/help/us/ysearch/slurp)
 Yahoo-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo dash inc dot com)
 Mozilla/2.0 (compatible; Ask Jeeves/Teoma)
 Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt; empas)

これら以外のキーワードでおすすめのものがあれば教えてください。

# 検索エンジンにページを記録してもらうためには、
# 上のキーワードで十分のような気がしますが、
# クローラの無駄なアクセスを減らす効用もあるかと思いますので。

-- 
田村敏彦 / 株式会社ビットスコープ
E-mail:tamur****@bitsc*****
http://www.bitscope.co.jp/





Tep-j-general メーリングリストの案内
Back to archive index