Častou chybou webů je nastavení chybové stránky 404 jako homepage. Respektive nastavení hlášky 302. Pokud např. Google (googlebot) přijde na web a hledá robots.txt a dostane místo ní homepage, špatně to vyhodnotí a ve výsledcích se pak objevují stránky bez titulku a popisku, tedy pouze URL a „Podobné stránky“.

Řešením je správné nastavení 404, snadněji však přidání do kořenového adresáře soubor robots.txt. Zde můžete například vše povolit k zaindexování:

User-agent: *

Disallow:

Další informace:

Základní informace o robots.txt a seznam 300 robotu.

Dejte o článku vědět

Zpět na stream