Semalt: Kuidas blokeerida Darodar Robots.txt

Fail Robots.txt on tüüpiline tekstifail, mis sisaldab juhiseid selle kohta, kuidas veebiandurid või robotid saiti peaksid indekseerima. Nende rakendamine ilmneb otsimootorites, mis on levinud paljudel optimeeritud veebisaitidel. Robotite välistamise protokolli (REP) osana on fail robots.txt oluline veebisaidi sisu indekseerimise aspekt ja võimaldab serveril vastavalt kasutaja taotlustele autentida.

Semalti vanemklientide edujuht Julia Vashneva selgitab, et linkimine on üks osa otsingumootori optimeerimisest (SEO), mis hõlmab liikluse suurendamist teistest teie niši domeenidest. Lingimahla ülekandmiseks "jälgimiseks" on oluline lisada oma veebisaidi majutamisruumi fail robots.txt, mis toimiks juhendajana, kuidas server teie saidiga suhtleb. Sellest arhiivist leiate juhised, lubades või keelates mõne konkreetse kasutajaagendi käitumise.

Faili robots.txt põhivorming

Fail robots.txt sisaldab kahte olulist rida:

Kasutajaagent: [kasutajaagendi nimi]

Keela: [URL-i stringi ei indekseerita]

Terviklik fail robots.txt peaks sisaldama neid kahte rida. Kuid mõned neist võivad sisaldada mitut rida kasutajaagente ja direktiive. Need käsud võivad sisaldada selliseid aspekte nagu lubamine, keelamine või indekseerimise viivitus. Tavaliselt on reavahetus, mis eraldab iga juhiste komplekti. Iga luba- või keelamiskäsk on selle reavahetusega eraldatud, eriti robots.txt puhul, kus on mitu rida.

Näited

Näiteks võib fail robots.txt sisaldada järgmisi koode:

Kasutajaagent: darodar

Keela: / pistikprogramm

Keela: / API

Keela: / _kommentaarid

Sel juhul on tegemist blokeeritud failiga robots.txt, mis piirab Darodari veebisirvija juurdepääsu teie veebisaidile. Ülaltoodud süntaksis blokeerib kood veebisaidi selliseid aspekte nagu pluginad, API ja kommentaaride jaotis. Selle teabe põhjal on roboti tekstifaili tõhusalt täitmisel võimalik saavutada mitmeid eeliseid. Robots.txt-failid suudavad täita arvukalt funktsioone. Näiteks võivad nad olla valmis:

1. Luba veebisirvijate kogu sisu veebisaidi lehel. Näiteks;

Kasutaja agent: *

Keela:

Sel juhul pääseb kogu kasutajasisu juurde veebibrauser, kellelt taotletakse veebisaidile pääsemist.

2. Blokeerige kindel veebisisu konkreetsest kaustast. Näiteks;

Kasutajaagent: Googlebot

Keela: / näide-alamkaust /

See süntaks, mis sisaldab kasutajaagendi nime Googlebot, kuulub Google'ile. See piirab robotil juurdepääsu mis tahes veebisaidile stringi www.ourexample.com/näide-kaustad/.

3. Blokeerige konkreetne veebiandur konkreetselt veebilehelt. Näiteks;

Kasutajaagent: Bingbot

Keela: / näite alamkataloog/blokeeritud leht.html

Kasutajaagent Bing robot kuulub Bingi veebianduritele. Seda tüüpi fail robots.txt takistab veebisirvijal Bingi juurdepääsu kindlale lehele stringi www.ourexample.com/näide-kaustakaust/blokeeritud-leht abil.

Oluline teave

• Mitte iga kasutaja ei kasuta teie faili robts.txt. Mõned kasutajad võivad otsustada seda ignoreerida. Enamik selliseid veebiandjaid sisaldab troojalasi ja pahavara.
• Et Robots.txt-fail oleks nähtav, peaks see olema kättesaadav ülataseme veebisaidi kataloogis.
• Märgid "robots.txt" on tõstutundlikud. Seetõttu ei tohiks te neid mingil moel muuta, sealhulgas mõne aspekti suurtähtede kasutamist.
• "/Robots.txt" on üldkasutatav. Igaüks saab seda teavet leida, kui lisate selle mis tahes URL-i sisule. Te ei tohiks indekseerida olulisi üksikasju või lehti, mille soovite, et need privaatseks jääksid.