Vyzkoušejte Mioweb na 14 dní za 1 Kč! Objevte všechny výhody a funkce, které vám nabízí. Začněte tady.

Co je robots.txt

Robots.txt je soubor připojený k webovým stránkám, kde jsou sepsány instrukce pro roboty vyhledávačů, přesněji co mohou na webu procházet a indexovat a co nikoli. Tímto souborem je možné zakázat robotům vstup na celý web.

Víme, že je toto vysvětlení příliš stručné, a proto právě pracujeme na jeho rozšíření.