kazuto fukuda
kf966****@gmail*****
2010年 5月 31日 (月) 11:22:41 JST
菅谷様 お世話になります。福田です。 調べましたところ、以下の事がわかりました。 URLに指定したフォルダには、検索の始点となるいわばリンク集になる ようなページがあるのですが、拡張子がhtmlではなくhtmで、 どんなファイルか見てみると、MicrosoftWordで作成されたWebページ でした。 これはクロールの対象にはならないですよね。 検索ルールのファイル「s2robot_rule.dicon？」を変更すれば対象には 出来そうな感じですが、単純なテキストファイルではないので、リンク先 を取得するのは難しいでしょうか？ 以上です。よろしくお願いします。 2010年5月28日21:54 kazuto fukuda <kf966****@gmail*****>: > 菅谷様 > > 福田です。 > >> robots.txt で除外するルールが記述されているか > > すいません。この部分見落としてました。 > 月曜日に調べてみます。 > > よろしくお願いします。 > > 2010年5月28日18:16 Shinsuke Sugaya <shins****@yahoo*****>: >> 菅谷です。 >> >> 情報をありがとうございます。 >> ログを見ると、3 ドキュメントでインデックスを >> 作られていると思われます。他にもクロール対象と >> なるドキュメントがあるとすると、robots.txt で >> 除外するルールが記述されているか、"No credentials >> available for DIGEST" と言われているので、 >> DIGEST 認証でブロックされているかな気がします。 >> よろしくお願いします。 >> >> shinsuke >> >> 2010年5月28日16:26 kazuto fukuda <kf966****@gmail*****>: >>> 菅谷様 >>> >>> 回答有難うございます。 >>> >>>> まず、システム設定のSolrの設定でSolrグループが >>>> 有効になっていますでしょうか？あとは、 >>> 有効になっています。 >>> >>>> logs/catalina.out と webapps/fess/WEB-INF/logs/fess.out >>>> はクロール時にどのような出力になっているでしょうか？ >>> >>> 2010-05-28 09:59:05,453 [main] INFO >>> org.seasar.struts.validator.S2ValidatorPlugIn - Loading validation >>> rules file from '/WEB-INF/validator-rules.xml' >>> 2010-05-28 09:59:06,281 [main] INFO >>> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >>> s2-frameworkのバージョンは2.4.39です。 >>> 2010-05-28 09:59:06,281 [main] INFO >>> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >>> s2-extensionのバージョンは2.4.39です。 >>> 2010-05-28 09:59:06,281 [main] INFO >>> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >>> s2-tigerのバージョンは2.4.39です。 >>> 2010-05-28 09:59:10,046 [main] INFO >>> jp.sf.fess.db.allcommon.DBFluteInitializer - ...Initializing DBFlute >>> components! >>> 2010-05-28 09:59:10,062 [main] INFO >>> org.seasar.dbflute.s2dao.extension.TnSqlLogRegistry - ...Closing the >>> sqlLogRegistry. >>> 2010-05-28 09:59:10,093 [main] INFO >>> jp.sf.fess.db.allcommon.DBFluteConfig - ...Locking the configuration >>> of DBFlute! >>> 2010-05-28 09:59:18,031 [main] INFO >>> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >>> Running on [ENV]product, [DEPLOY MODE]Cool Deploy >>> 2010-05-28 10:00:02,421 [Thread-16] INFO >>> jp.sf.fess.helper.SystemHelper - Crawler: >>> Directory=C:\fess\fess-server-3.0.0\webapps\fess >>> Options=[java, -cp, >>> WEB-INF\cmd\resources;WEB-INF\classes;WEB-INF\lib\antlr-2.7.2.jar;WEB-INF\lib\aopalliance-1.0.jar;WEB-INF\lib\args4j-2.0.12.jar;WEB-INF\lib\asm-3.1.jar;WEB-INF\lib\bcmail-jdk16-1.44.jar;WEB-INF\lib\bcprov-jdk16-1.44.jar;WEB-INF\lib\commons-beanutils-1.7.0.jar;WEB-INF\lib\commons-codec-1.3.jar;WEB-INF\lib\commons-collections-3.2.jar;WEB-INF\lib\commons-compress-1.0.jar;WEB-INF\lib\commons-digester-1.6.jar;WEB-INF\lib\commons-el-1.0.jar;WEB-INF\lib\commons-fileupload-1.2.1.jar;WEB-INF\lib\commons-httpclient-3.1.jar;WEB-INF\lib\commons-io-1.4.jar;WEB-INF\lib\commons-lang-2.3.jar;WEB-INF\lib\commons-logging-1.0.3.jar;WEB-INF\lib\commons-validator-1.2.0.jar;WEB-INF\lib\dbflute-runtime-0.9.5.1.jar;WEB-INF\lib\dom4j-1.6.1.jar;WEB-INF\lib\fontbox-1.0-20091008.jar;WEB-INF\lib\geronimo-annotation_1.0_spec-1.0.jar;WEB-INF\lib\geronimo-ejb_3.0_spec-1.0.jar;WEB-INF\lib\geronimo-interceptor_3.0_spec-1.0.jar;WEB-INF\lib\geronimo-jpa_3.0_spec-1.0.jar;WEB-INF\lib\geronimo-jta_1.1_spec-1.0.jar;WEB-INF\lib\geronimo-stax-api_1.0_spec-1.0.1.jar;WEB-INF\lib\h2-1.2.128.jar;WEB-INF\lib\icu4j-3.8.jar;WEB-INF\lib\javassist-3.4.ga.jar;WEB-INF\lib\jcl-over-slf4j-1.5.6.jar;WEB-INF\lib\jempbox-0.8.0-20091008.jar;WEB-INF\lib\jstl-1.1.2.jar;WEB-INF\lib\log4j-1.2.14.jar;WEB-INF\lib\lucene-analyzers-2.9.1.jar;WEB-INF\lib\lucene-core-2.9.1.jar;WEB-INF\lib\lucene-highlighter-2.9.1.jar;WEB-INF\lib\lucene-memory-2.9.1.jar;WEB-INF\lib\lucene-misc-2.9.1.jar;WEB-INF\lib\lucene-queries-2.9.1.jar;WEB-INF\lib\lucene-snowball-2.9.1.jar;WEB-INF\lib\lucene-spellchecker-2.9.1.jar;WEB-INF\lib\mobylet-charset-1.0.2.jar;WEB-INF\lib\mobylet-core-1.0.2.jar;WEB-INF\lib\mobylet-s2extension-1.0.2.jar;WEB-INF\lib\mobylet-taglibs-1.0.2.jar;WEB-INF\lib\nekohtml-1.9.13.jar;WEB-INF\lib\ognl-2.6.9-patch-20070908.jar;WEB-INF\lib\ooxml-schemas-1.0.jar;WEB-INF\lib\org.codehaus.woodstox-wstx-asl-3.2.7.jar;WEB-INF\lib\oro-2.0.8.jar;WEB-INF\lib\pdfbox-0.8.0-20091008.jar;WEB-INF\lib\poi-3.5-FINAL.jar;WEB-INF\lib\poi-ooxml-3.5-FINAL.jar;WEB-INF\lib\poi-scratchpad-3.5-FINAL.jar;WEB-INF\lib\s2-extension-2.4.39.jar;WEB-INF\lib\s2-framework-2.4.39.jar;WEB-INF\lib\s2-robot-0.4.0.jar;WEB-INF\lib\s2-robot-db-0.4.0.jar;WEB-INF\lib\s2-robot-db-h2-0.4.0.jar;WEB-INF\lib\s2-robot-dbflute-runtime-0.9.6.jar;WEB-INF\lib\s2-tiger-2.4.39.jar;WEB-INF\lib\s2chronos-core-1.0.0.jar;WEB-INF\lib\s2chronos-extension-1.0.0.jar;WEB-INF\lib\sa-struts-1.0.4-sp7.jar;WEB-INF\lib\serializer-2.7.1.jar;WEB-INF\lib\slf4j-api-1.5.6.jar;WEB-INF\lib\slf4j-log4j12-1.5.6.jar;WEB-INF\lib\solr-commons-csv-1.4.0.jar;WEB-INF\lib\solr-core-1.4.0.jar;WEB-INF\lib\solr-solrj-1.4.0.jar;WEB-INF\lib\standard-1.1.2.jar;WEB-INF\lib\stax-api-1.0.1.jar;WEB-INF\lib\struts-1.2.9.jar;WEB-INF\lib\tika-core-0.5-20091008.jar;WEB-INF\lib\tika-parsers-0.5-20091008.jar;WEB-INF\lib\woodstox-wstx-asl-3.2.7.jar;WEB-INF\lib\xalan-2.7.1.jar;WEB-INF\lib\xercesImpl-2.8.1.jar;WEB-INF\lib\xmlbeans-2.3.0.jar;WEB-INF\cmd\lib\geronimo-servlet_2.4_spec-1.0.jar, >>> -Dfess.crawler.process=true, >>> -Dsolr.solr.home=C:\fess\fess-server-3.0.0\solr, >>> -Dsolr.data.dir=C:\fess\fess-server-3.0.0\solr\core1\data, >>> -Dfess.log.file=C:\fess\fess-server-3.0.0\webapps\fess\WEB-INF\logs\fess.out, >>> -Djava.awt.headless=true, -server, -XX:+UseGCOverheadLimit, >>> -XX:+UseConcMarkSweepGC, -XX:+CMSIncrementalMode, -XX:+UseTLAB, >>> -Dpdfbox.cjk.support=true, -Xmx512m, -XX:MaxPermSize=128m, >>> jp.sf.fess.exec.Crawler, --sessionId, 20100528100002] >>> 2010-05-28 10:00:05,000 [main] INFO >>> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >>> s2-frameworkのバージョンは2.4.39です。 >>> 2010-05-28 10:00:05,000 [main] INFO >>> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >>> s2-extensionのバージョンは2.4.39です。 >>> 2010-05-28 10:00:05,000 [main] INFO >>> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >>> s2-tigerのバージョンは2.4.39です。 >>> 2010-05-28 10:00:08,640 [main] INFO >>> jp.sf.fess.db.allcommon.DBFluteInitializer - ...Initializing DBFlute >>> components! >>> 2010-05-28 10:00:08,640 [main] INFO >>> org.seasar.dbflute.s2dao.extension.TnSqlLogRegistry - ...Closing the >>> sqlLogRegistry. >>> 2010-05-28 10:00:08,671 [main] INFO >>> jp.sf.fess.db.allcommon.DBFluteConfig - ...Locking the configuration >>> of DBFlute! >>> 2010-05-28 10:00:08,765 [main] INFO >>> org.seasar.robot.db.allcommon.DBFluteInitializer - ...Initializing >>> DBFlute components! >>> 2010-05-28 10:00:08,812 [main] INFO >>> org.seasar.robot.db.allcommon.DBFluteConfig - ...Locking the >>> configuration of DBFlute! >>> 2010-05-28 10:00:13,109 [main] INFO >>> org.seasar.framework.container.factory.SingletonS2ContainerFactory - >>> Running on [ENV]product, [DEPLOY MODE]Cool Deploy >>> 2010-05-28 10:00:13,812 [main] INFO jp.sf.fess.exec.Crawler - >>> Starting Crawler.. >>> 2010-05-28 10:00:14,796 [Robot-20100528100002-1-3] INFO >>> org.seasar.robot.helper.impl.LogHelperImpl - Crawling URL: >>> http://10.nnn.nn.nnn/ >>> 2010-05-28 10:00:14,921 [Robot-20100528100002-1-3] INFO >>> org.seasar.robot.client.http.CommonsHttpClient - Checking URL: >>> http://10.nnn.nn.nnn/robots.txt >>> 2010-05-28 10:00:19,359 [Robot-20100528100002-2-4] INFO >>> org.seasar.robot.helper.impl.LogHelperImpl - Crawling URL: >>> http://10.nnn.nn.nnn/ >>> 2010-05-28 10:00:19,406 [Robot-20100528100002-2-4] INFO >>> org.seasar.robot.client.http.CommonsHttpClient - Checking URL: >>> http://10.nnn.nn.nnn/robots.txt >>> 2010-05-28 10:00:24,468 [Robot-20100528100002-3-4] INFO >>> org.seasar.robot.helper.impl.LogHelperImpl - Crawling URL: >>> http://150.nn.nn.nnn/oks.htm >>> 2010-05-28 10:00:24,500 [Robot-20100528100002-3-4] INFO >>> org.seasar.robot.client.http.CommonsHttpClient - Checking URL: >>> http://150.nn.nn.nnn/robots.txt >>> 2010-05-28 10:00:24,625 [Robot-20100528100002-3-4] INFO >>> org.apache.commons.httpclient.HttpMethodDirector - No credentials >>> available for DIGEST 'Digest'@150.16.97.150:80 >>> 2010-05-28 10:01:14,375 [IndexUpdater] INFO >>> jp.sf.fess.solr.IndexUpdater - The number of a crawled document is 3. >>> The processing size is 3. The execution time is 16ms. >>> 2010-05-28 10:01:14,406 [IndexUpdater] INFO >>> jp.sf.fess.solr.IndexUpdater - The number of a crawled document is 0. >>> The processing size is 0. The execution time is 0ms. >>> 2010-05-28 10:02:14,359 [IndexUpdater] INFO >>> jp.sf.fess.solr.IndexUpdater - The number of a crawled document is 0. >>> The processing size is 0. The execution time is 0ms. >>> 2010-05-28 10:02:19,703 [main] INFO jp.sf.fess.helper.WebIndexHelper >>> - [EXEC TIME] crawling time: 125641ms >>> 2010-05-28 10:03:14,359 [IndexUpdater] INFO >>> jp.sf.fess.solr.IndexUpdater - The number of a crawled document is 0. >>> The processing size is 0. The execution time is 0ms. >>> 2010-05-28 10:03:14,359 [IndexUpdater] INFO >>> jp.sf.fess.solr.IndexUpdater - [EXEC TIME] index update time: 47ms >>> 2010-05-28 10:03:14,531 [main] INFO >>> jp.sf.fess.helper.FileSystemIndexHelper - No crawling target urls. >>> 2010-05-28 10:03:14,562 [main] INFO jp.sf.fess.helper.DataIndexHelper >>> - No crawling target data. >>> 2010-05-28 10:03:14,750 [main] INFO jp.sf.fess.exec.Crawler - [EXEC >>> TIME] index optimize time: 188ms >>> 2010-05-28 10:03:14,750 [main] INFO jp.sf.fess.exec.Crawler - Finished Crawler >>> 2010-05-28 10:03:17,812 [Thread-16] INFO >>> jp.sf.fess.helper.SystemHelper - Crawler: Exit Code=0 - Crawler >>> Process Output: >>> Processed: C:\fess\fess-server-3.0.0\webapps\fess\WEB-INF\db\robot.h2.db >>> WARN: The method class >>> org.apache.commons.logging.impl.SLF4JLogFactory#release() was invoked. >>> WARN: Please see http://www.slf4j.org/codes.html#release for an explanation. >>> >>> 以上です。よろしくお願いします。 >>> >>> 2010年5月28日15:21 Shinsuke Sugaya <shins****@yahoo*****>: >>>> 菅谷です。 >>>> >>>> まず、システム設定のSolrの設定でSolrグループが >>>> 有効になっていますでしょうか？あとは、 >>>> logs/catalina.out と webapps/fess/WEB-INF/logs/fess.out >>>> はクロール時にどのような出力になっているでしょうか？ >>>> よろしくお願いいたします。 >>>> >>>> shinsuke >>>> >>>> >>>> 2010年5月28日11:12 kazuto fukuda <kf966****@gmail*****>: >>>>> はじめまして、福田と申します。 >>>>> >>>>> Fessの導入テスト中です。 >>>>> イントラネットのサイトが対象なのですが、インデックスが作成されません。 >>>>> >>>>> ウェブクロールの設定で >>>>> URL >>>>> http://10.nnn.nn.nnn/ >>>>> クロール対象とするURL >>>>> http://10.nnn.nn.nnn/.* >>>>> >>>>> としております。 >>>>> 昨日は一度この設定で、一度はインデックスが作成されたのですが、 >>>>> 今日、システム設定のSolrアクションで削除してから、クローラープロセスを >>>>> 実行したところ、何も作成されませんでした。 >>>>> ログファイルも見ましたが、特にエラーは出ていないようです。 >>>>> 何が問題なのでしょうか？ >>>>> >>>>> 以上です。よろしくお願いします。 >>>>> >>>>> _______________________________________________ >>>>> Fess-user mailing list >>>>> Fess-****@lists***** >>>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>>> >>>> >>>> _______________________________________________ >>>> Fess-user mailing list >>>> Fess-****@lists***** >>>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>>> >>> _______________________________________________ >>> Fess-user mailing list >>> Fess-****@lists***** >>> http://lists.sourceforge.jp/mailman/listinfo/fess-user >>> >> _______________________________________________ >> Fess-user mailing list >> Fess-****@lists***** >> http://lists.sourceforge.jp/mailman/listinfo/fess-user >> >
