Googlebots : L'importance des headers "If-modified-since" et "Etag"
Suite aux petites modifications réalisées sur ce blog le week-end dernier, je commence à constater via les statistiques de Google Webmaster Tools de l'importance des Headers HTTP "If-modified-since" et "Etag" pour Google.
Les Google bots consomment désormais beaucoup moins de bande passante qu'auparavant, la preuve en image :
]
(''Kilo-octets téléchargés par jour par les Google bots'')
Les Crawlers de Google consomment maintenant plus que 20Mo par jour au lieu des 100Mo journaliers.
Le serveur Web retourne un code HTTP 304 aux clients lorsque les tags "If-modified-since" ou "Etag" envoyés correspondent à ceux présents sur le serveur, cela évite au serveur de construire la page et de retourner un contenu identique au contenu déjà présent dans le cache du client.
Remarque importante, cette modification semble n'avoir aucun impact sur le nombre de pages "crawlées" par jour.
(''Nombre de pages téléchargées par jour par les Google bots'')
