Mit kell tudni
Ahhoz, hogy ez költői, a robots.txt révkalauzolást ez a térkép a tengerben a webhely, hogy ez azt jelzi, hogy szükség van, hogy kövesse a hajó bejáró. Beszéd hivatalosan, ez a fájl egy sor utasítást a keresőmotorok lehetne kizárni indexelni bizonyos oldalakat az oldalon. odnostranichniki helyek és a nagy nem kell ezt a fájlt, de ha van egy közepes vagy nagy hely, anélkül, hogy a konkrét parancsokat egyszerűen nem lehet csinálni.
Minden vadász akarja tudni
Kezdetben a fájl maga a gyökér helyén a szerveren, de a legtöbb modern CMS (tartalomkezelő rendszerek) lehetővé teszi, hogy hozzon létre egy robots.txt a helyszínen vezérlőpulton.
Hogyan hozzunk létre egy robots.txt fájlt
Egyszerűbben fogalmazva, a fájlt robots.txt: ajánlott meglátogatni, vagy sem, hogy nézze meg bizonyos oldalakat az oldalon. Ezek az utasítások az úgynevezett irányelveket, és az alapértelmezett által elismert legtöbb keresőmotorok.
User-agent irányelvnek robots.txt:
Mi lehet „élesíteni” robots.txt értelmében egyaránt egy kereső, és két vagy három kereső, vagy egy adott bot.
- jelzik iránymutatások valamennyi keresőrobotjaink Yandex
- csak az a fő robot Yandex
- az irányelv minden Google robotok
- minden irányelveket összes robot egyidejűleg
Ha azt szeretnénk, hogy korlátozza a hozzáférést bizonyos oldalak a webhelyén, akkor így fog kinézni:
Ez a parancs blokkolja a hozzáférést az egész oldal
A második parancs blokkolja a hozzáférést az összes oldalt, hogy kezdődik a «/ kép».
Irányelv «engedélyezése»
Ez az állásfoglalás az irányelv ellentétben «tiltása». Ezeket fel lehet használni együtt, úgy néz ki, mint ez:
User-agent: * - úgy véljük, minden a keresőmotor pókok
Egy másik példa:
User-agent: * - úgy véljük, minden a keresőmotor pókok
Allow / engedjük index az egész oldal
Allow / blog / oldal - lehetővé index oldalak
Különleges karakterek * és $
Speciális karakter „*”: minden olyan (beleértve az üres is) karakterek sorozata
- azt jelenti, hogy a / oldal, / Page3, / oldal-pf zárva lesz a kereső robot
Az viszont, $ jelent a pontos egyezés
- irányelv «/ oldal *» zárva lesz a kereső, de / Page3, / page-pf és más hasonló oldalak indexelt gond nélkül.
Fontos megjegyezni, hogy néhány szabályt kell irányítani, hogy hozzon létre egy robots.txt:
- Adja meg az egyes új irányelv egy új sort.
- Hiányosságok az elején a vonalat nem lehet elhelyezni.
- Paraméter irányelveket kell elhelyezni egy sorban.
- Egy üres irányelv «tiltása:» egyenértékű «Allow /» -, hogy minden.
- Egy irányelv - az egyik lehetőség.
- Gyakori hiba a kezdők ne hozzon létre egy fájlt a helyes név - ez lehet Robots.txt vagy a robots.txt és lehet annyira - robot.txt. A helyesírási szabályokat - robots.txt és semmi mást.
- Ha a robots.txt szempontjából több mint 32 KB, hogy a keresőmotorok fogja vizsgálni, hogy csak egy könyvtárban - «tiltása:», amely lehetővé teszi „néz” minden olyan helyszínen fájlokat.
- Ha a robots.txt üres, akkor a keresők tartja túl engedékeny.
- A fájl kívánatos előírni csak a szabályok és kivételek - semmi több, próbálja befogadni a maximális számú sorok értelme.
Ha nem bízik a teremtés, akkor nézd meg a speciális vizsgálati szolgáltatások:
Az igazság az, hogy van, hogy mindig töltse le a létrehozott fájl a helyén, különben szolgáltatások nem látni semmit.
Oldaltérkép
így megmutatjuk bejárók legrövidebb út az oldalainkon.
Clean-param irányelv
Crawl-delay irányelv
Ha a szerver túl gyakran a keresőrobotok megy, akkor csökkentheti a terhelést, mivel a csapat.
Általában a robots.txt fájl létfontosságú a legtöbb oldalak - ő irányítja a figyelmet a keresőprogramok a helyes irányba.