Naravnost od Googla:
Metaoznake so odličen način za spletne skrbnike, da iskalnikom posredujejo informacije o svojih spletnih mestih. Metaoznake je mogoče uporabiti za posredovanje informacij vsem vrstam odjemalcev, vsak sistem pa obdeluje samo metaoznake, ki jih razumejo, ostale pa ignorira.
Če želite popolnoma blokirati vse iskalnike:
Zakaj?
Morda gre za nekoliko zaseben URL na vašem spletnem mestu, vendar ni zaščiten tako, da ga iskalni bot ne bi mogel videti. Tako kot če stran zahteva prijavo, da jo vidi, je iskalni bot vseeno blokiran. Če pa gre le za zamujen URL, kdo ve, kako se iskalni roboti premikajo, zato boste morda želeli preprečiti indeksiranje.
Rezultati iskanja so še ena pogosta. Nenavadno je, da so rezultati iskanja morda rezultati iskanja. Teme WordPress ponavadi vključujejo to:
Morda bi to malo spremenil in rekel botom, hej, lahko sledite povezavam tukaj, da boste lahko nadaljevali z indeksiranjem strani, vendar te strani ne indeksirajte posebej.
Drugi
Iskalniki običajno uporabljajo opisno oznako za besedilno vsebino poleg :
Oglejte si Googlovo stran za druge Googlove storitve, na primer možnost zaustavitve Googlovih uporabniških vmesnikov, kot je njihovo "iskalno polje povezav do spletnih mest".