V skratke: Súbor s pravidlami pre crawlery, ktorý naznačuje, ktoré časti webu môžu alebo nemajú prechádzať.
Robots.txt je textový súbor na koreni webu, ktorý pravidlami informuje roboty, ktoré cesty môžu prehľadávať. Nie je to bezpečnostná ochrana a nie je to spoľahlivý spôsob, ako skryť citlivý obsah.
Pravidlá treba kontrolovať opatrne, pretože blokovanie prehľadávania môže zabrániť načítaniu obsahu aj overeniu noindex pokynu. Dôležité URL má zmysel blokovať iba vtedy, keď je to zámerné a v súlade s celou indexačnou stratégiou.
Súvisiace pojmy: Rozpočet pre vyhľadávače, Indexácia a Technické SEO.