Mi és hogyan kell helyesen teszi annak funkcióit
A folyamat indexelése oldalon bonyolult és erőforrás-igényes. Sok helyen, különösen, ha ezek által a különböző motorok c, gyakran jelen van információ, amely nem feltétlenül indexelt.
Amellett, hogy csökkenti a terhelést a szerveren, a tilalom a indexelő egyes könyvtárak, hogy elkerüljük több párhuzamos információk, amelyek nem olyan, mint az összes keresők.
Miért van szükség a robots.txt?
Hogyan készítsünk és robots.txt szintaxist
Vannak mind az általános szintaktikai szabályok és iránymutatások, valamint néhány különleges parancsot érthető robotok, csak bizonyos keresőmotorok. Irányelv a robots.txt fájl a következő:
Így például, a kód
User-agent: Yandex
Crawl-delay: 100
Meghatározza lánctalpas Yandex minimális időtartam (másodpercben), az injekció végén az egyik oldalon, és az elején a következő injekció. A nagy portálok is lehetővé teszi, hogy távolítsa el a felesleges terhelés a szerveren.
A nagy keresőprogramok, van olyan is, botok index képek, hírek, blogok, amely lehetővé teszi a pontosabb szabályozást.
Tiltása parancs paramétereit meghatározott formájú maszk, és a jobb megértést, nézzük meg néhány egyszerű példa:
Egy másik általános iránymutatás valamennyi keresők a sitemap. Meghatározza az útvonalat, ahol a site map .xml formátumban. például:
Mivel speciális csapatok példát irányelv címe, amely lehetővé teszi, hogy állítsa be az elsődleges tükör helyén Yandex. Tulajdonképpen szigorúan véve Host irányelv használnak, és néhány más keresőmotorok, és ez elméletileg lehetséges, hogy írjon a fő rész, és azokat a hajókat, amelyek nem világos, akkor egyszerűen ki kell kimarad.
User-agent: Yandex
Letiltás:
Host: www.vash_site.ru
Mint látható, a szükséges feltétele, a jelenléte legalább egy tiltása irányelv végrehajtása. További információk a nevét, a botok, a lista az egyedi iránymutatásokat és ajánlásokat a design robots.txt akkor bejelentkezik a Webmaster panel megfelelő kereső. Például, ugyanaz a Yandex határértéket ajánl külön vezetni is (User-Agent: Yandex). Ezért, akkor gyakran a robots.txt párhuzamos korlátozások (először a User-Agent :. * És akkor a User-Agent: Yandex).
Példák optimális robots.txt
User-agent: *
Tiltása: / administrator /
Disallow: / cache /
Disallow: / includes /
Disallow: / telepítés /
Tiltása: / nyelv /
Disallow: / könyvtárak /
Disallow: / media /
Disallow: / modules /
Disallow: / plugins /
Disallow: / templates /
Disallow: / tmp /
Disallow: / xmlrpc /
Az optimális Wordpress megvalósítási módja a következő:
User-agent: *
Disallow: / cgi-bin
Disallow: / wp-admin
Disallow: / wp-includes
Disallow: / wp-content / plugins
Disallow: / wp-content / cache
Disallow: / wp-content / themes
Disallow: / trackback
Tiltása: * / trackback
Tiltása: * / * / trackback
Tiltása: * / * / feed / * /
Tiltása: * / feed
Disallow: / * *?
Hasonlóképpen, mint az első példában is külön-külön adjuk Yandex irányelvek.
Robots.txt megfelelően működik minden panel webmaster, hátha indexelése egyes oldalak megengedett.
Robotok meta tag
Van egy módja annak, hogy elmondja a keresőmotorok robotok vajon lehetséges-e az index az adott oldal vagy sem. Ehhez belül a tag „feje” a kívánt oldalt, regisztrálja meta-tag „robotok”, de ezt meg kell tenni minden az oldalakat, amelyekre alkalmazni szeretné egy bizonyos szabály az indexálás. Alkalmazási példa metacímke: