Een Robots.txt is een tekstbestand met instructies voor zoekmachine-crawlers. Het definieert welke gebieden van een website niet mogen doorzocht worden. Op die manier wordt voorkomen dat die content in de zoekresultaten verschijnt of dat uw server wordt overbelast door onnodige zoekacties van crawlers. Het Robots-protocol kan ook ingezet worden om specifieke webspiders te blokkeren.
Met dit eenvoudige tekstbestand worden hele domeinen, complete mappen of individuele bestanden uitgesloten van zoekmachine-crawling. In de praktijk kan robots.txt voor verschillende soorten bestanden worden gebruikt: afbeeldingen, onbelangrijke bronbestanden, dynamisch gegenereerde webpagina's zoals resultaatpagina's van een interne zoekfunctie, of gebruikersacties zoals winkelwagentjes.
Robots.txt wordt opgeslagen in de hoofddirectory van een domein. Het is dus het eerste document dat crawlers openen bij een bezoek aan een site. Het tekstbestand beschermt niet tegen onbevoegde toegang.