Een Robots.txt is een tekstbestand met instructies voor zoekmachine-crawlers. Het definieert welke gebieden van een website niet mogen doorzocht worden. Op die manier wordt voorkomen dat die content in de zoekresultaten verschijnt of dat uw server wordt overbelast door onnodige zoekacties van crawlers. Het Robots-protocol kan ook ingezet worden om specifieke webspiders te blokkeren.
Ontdek meer als je inlogt
Log je in en krijg toegang tot een ruim aanbod aan content.
Nog geen account? Creëer uw account hier.