Le fichier robots.txt indique aux moteurs de recherche quelles parties d’un site peuvent ou non être explorées.
Netcreative, à Reims, configure ce fichier avec soin pour éviter le blocage accidentel de pages importantes.
Une gestion maîtrisée du robots.txt optimise le crawl et la sécurité du site.