Un « robots.txt » est un fichier texte qui contient des instructions pour les crawlers des moteurs de recherche. Il définit les domaines d’un site web qui ne peuvent pas être explorés. Cette sélection évite que ce contenu apparaisse dans les résultats de recherche ou que votre serveur soit surchargé de recherches de crawlers inutiles. Le protocole Robots peut également être utilisé pour bloquer certains webspiders spécifiques.
Découvrez-en plus en vous connectant
Connectez-vous et accédez à un large éventail de contenus.
Vous n'avez pas encore de compte ? Créez votre compte ici.