Google proposent depuis cette semaine un nouvel outil :
un générateur de fichier "robots.txt".
C'est quoi le "robots.txt"?
Le fichier robots.txt est un fichier texte contenant des commandes à destination des robots d'indexation des moteurs de recherche afin de leur préciser les pages qui peuvent ou ne peuvent pas être indexées. Ainsi tout moteur de recherche commence l'exploration d'un site web en cherchant le fichier robots.txt à la racine ...
Posté le 28 mars 2008 dans Google, Internet avec déjà | Souscrire aux articles