CO JE ROBOTS.TXT

Robots.txt je soubor připojený k webovým stránkám, kde jsou sepsány instrukce pro roboty vyhledávačů, přesněji co mohou na webu procházet a indexovat a co nikoli. Tímto souborem je možné zakázat robotům vstup na celý web.

Víme, že je toto vysvětlení příliš stručné, a proto právě pracujeme na jeho rozšíření.