Google propose un générateur de fichier robots.txt
Google proposent depuis cette semaine un nouvel outil : un générateur de fichier "robots.txt".
C'est quoi le "robots.txt"?
Le fichier robots.txt est un fichier texte contenant des commandes à destination des robots d'indexation des moteurs de recherche afin de leur préciser les pages qui peuvent ou ne peuvent pas être indexées. Ainsi tout moteur de recherche commence l'exploration d'un site web en cherchant le fichier robots.txt à la racine ...
