PŘEJETE SI OVLÁDNOUT MIOWEB A TVOŘIT SVŮJ WEB S RADOSTÍ?

PŘIJĎTE NA WORKSHOP 14. - 15. 2. V PRAZE

CO JE ROBOTS.TXT

Robots.txt je soubor připojený k webovým stránkám, kde jsou sepsány instrukce pro roboty vyhledávačů, přesněji co mohou na webu procházet a indexovat a co nikoli. Tímto souborem je možné zakázat robotům vstup na celý web.

Víme, že je toto vysvětlení příliš stručné, a proto právě pracujeme na jeho rozšíření.