Wat is een robots.txt?
Chris Van Roey
Een Robots.txt is een tekstbestand met instructies voor zoekmachine-crawlers. Het definieert welke gebieden van een website niet mogen doorzocht worden. Op die manier wordt voorkomen dat die content in de zoekresultaten verschijnt of dat uw server wordt overbelast door onnodige zoekacties van crawlers. Het Robots-protocol kan ook ingezet worden om specifieke webspiders te blokkeren.
Discover more by logging in
Log in to access a wide range of content.
You don't have an account yet? Create your account here.