Častou chybou webů je nastavení chybové stránky 404 jako homepage. Respektive nastavení hlášky 302. Pokud např. Google (googlebot) přijde na web a hledá robots.txt a dostane místo ní homepage, špatně to vyhodnotí a ve výsledcích se pak objevují stránky bez titulku a popisku, tedy pouze URL a „Podobné stránky“.
Řešením je správné nastavení 404, snadněji však přidání do kořenového adresáře soubor robots.txt. Zde můžete například vše povolit k zaindexování:
User-agent: *
Disallow:
Další informace:
Základní informace o robots.txt a seznam 300 robotu.