Mioweb 3.1 je tady! Objevte všechny výhody a funkce, které vám nabízí. Zahájit prohlídku.

Co je robots.txt

Robots.txt je soubor připojený k webovým stránkám, kde jsou sepsány instrukce pro roboty vyhledávačů, přesněji co mohou na webu procházet a indexovat a co nikoli. Tímto souborem je možné zakázat robotům vstup na celý web.

Víme, že je toto vysvětlení příliš stručné, a proto právě pracujeme na jeho rozšíření.