Manuel de migration d'un robot d'exploration Web parallèle

La taille d'Internet est importante et s'est énormément développée. Les moteurs de recherche sont les outils de navigation et de recherche sur les sites Web. Les moteurs de recherche maintiennent des index pour les documents web et fournissent des facilités de recherche en téléchargeant continuellement des pages web pour les traiter. Ce processus de téléchargement de pages web est connu sous le nom de "web crawling". Ce livre propose une architecture pour une approche efficace de migration parallèle de l'exploration du Web avec une stratégie d'exploration incrémentielle et spécifique au domaine. Les principaux avantages de l'exploration parallèle du Web sont que la partie analyse du processus d'exploration est effectuée localement au lieu de résidence des données plutôt que dans le référentiel du moteur de recherche Web. Cela réduit considérablement la charge et le trafic du réseau, ce qui améliore les performances, l'efficacité et l'efficience du processus d'exploration. L'autre avantage de la migration d'un crawler parallèle est que la taille du web augmente, il devient nécessaire de paralléliser un processus de crawling, afin de terminer le téléchargement des pages web dans un temps comparativement plus court. Le crawling spécifique à un domaine donnera des pages de haute qualité.