Télécharger la liste

Description du projet

Smart Cache Loader is a very configurable Web grabber with special Smart Cache support.

Système requise

System requirement is not defined
Information regarding Project Releases and Project Resources. Note that the information here is a quote from Freecode.com page, and the downloads themselves may not be hosted on OSDN.

2007-08-10 20:51
0.31

Enregistrement de pages sur le disque locale travaille à présent, et le programme utilise maintenant l'hôte: en-tête dans les demandes envoyées, pour un meilleur support du serveur virtuel. Entités HTML sont décodées avant d'en extraire les liens et les pages encodées gzip sont demandés à partir du serveur.
Tags: Major feature enhancements
Saving pages to local disk now works, and the program now uses the Host: header in outgoing requests for better virtual server support. HTML entities are decoded before extracting links, and gzip-encoded pages are requested from the server.

2007-08-08 22:37
0.30

Chenilles peuvent maintenant extraire les liens d'contenu de la page en utilisant expresions réguliers (avec remplacement possible pour la réécriture d'URL). Chenilles peuvent désormais se connecter en profondeur pour faciliter le débogage et le suivi d'URL connue ne peut être réglé à deux modes (le premier gain de mémoire, d'autre part CPU).
Tags: Major feature enhancements
Crawler can now extract links from page content using regular expresions (with possible replacement for URL rewriting). Crawler can now log depth for easier debugging, and tracking of known URLs can be set to two modes (the first saves memory, second CPU).

2007-07-25 15:53
0.29

Un soutien a été ajoutée pour échapper à "&" et "," dans les URL. Le paramètre de délai peut maintenant prendre comme unités de temps 1.3s et 2h. Un nouveau paramètre per-site ", crawltime", (qui fonctionne sur la ligne de commande aussi) a été ajouté pour limiter le temps consacré à l'exploration d'un site.
Tags: Minor feature enhancements
Support was added for escaping "&" and "," in
URLs. The delay parameter can now take time units
like 1.3s and 2h. A new per-site parameter,
"crawltime", (which works on the command line too)
was added for limiting the time spent on crawling
a site.

2007-04-15 15:35
0.28

Ajout du support pour l'analyse des retards. Liens de rejeter type sont actuellement enregistrés, ce qui est bon pour l'extraction des URL d'un site. Un accident qui s'est produit en l'absence de masques ont été utilisés par défaut a été corrigé.
Tags: Major feature enhancements
Support was added for crawling delays. Links of
reject type are now logged, which is good for
extracting URLs from a site. A crash which
occurred when no default masks were used was
fixed.

2007-04-13 19:49
0.27

Cette version corrige divers plantages. La documentation a été converti en DocBook et mis à jour. Un fichier. Jar est distribué au lieu de. Fichiers de classe.
Tags: Major bugfixes
This release fixes various crashes. The documentation has been converted to Docbook and updated. A .jar file is distributed instead of .class files.

Project Resources