Back to Question Center
0

Semalt: Slik blokkerer du Darodar Robots.txt

1 answers:

Robots.txt-fil er en typisk tekstfil som inneholder instruksjoner om hvordan webbrakere eller bots skal gjennomsøke et nettsted. Deres søknad er tydelig i søkemotor bots som er vanlige på mange optimaliserte nettsteder. Som en del av Robots ekskluderingsprotokollen (REP), utgjør robots.txt-fil et viktig aspekt ved indeksering av nettsider, samt at en server kan autentisere brukerforespørsler tilsvarende.

Julia Vashneva, Semalt Senior Customer Success Manager, forklarer at linking er et aspekt av Search Engine Optimization (SEO), som innebærer å skaffe trafikk fra andre domener i din nisje. For "følger" -koblingene for å overføre linkesaft, er det viktig å inkludere en robots.txt-fil på webområdet ditt for å fungere som instruktør av hvordan serveren samhandler med nettstedet ditt. Fra dette arkivet er instruksjonene til stede ved å tillate eller avvise hvordan enkelte bestemte brukeragenter oppfører seg.

Grunnleggende format for en robots.txt-fil

En robots.txt-fil inneholder to viktige linjer:

Brukeragent: [brukeragent navn]

Tillat: [URL-strengen skal ikke gjennomsøkes]

En komplett robots.txt-fil skal inneholde disse to linjene. Noen av dem kan imidlertid inneholde flere linjer med brukeragenter og -direktiver. Disse kommandoene kan inneholde aspekter som tillater, disallows eller crawl-forsinkelser. Det er vanligvis en linjeskift som skiller hvert sett av instruksjoner. Hver av tillatelsen tillater eller avvises, skilles av denne linjeskiftet, spesielt for robots.txt med flere linjer.

Eksempel

En robots.txt-fil kan for eksempel inneholde koder som:

Bruker-agent: darodar

Tillat: / plugin

Tillat: / API

Tillat: / _kommentarer

I dette tilfellet er dette en blokkerings robots.txt-fil som begrenser Darodar web crawler fra å få tilgang til nettstedet ditt. I det ovennevnte syntakset, koden koden aspekter av nettstedet, for eksempel plugins, API, og kommentarer delen. Fra denne kunnskapen er det mulig å oppnå mange fordeler ved å utføre en robots tekstfil effektivt. Robots. txt-filer kan utføre mange funksjoner. For eksempel kan de være klare til:

1. Tillat alt web crawlers innhold på en nettside. For eksempel;

Brukeragent: *

tillat:

I dette tilfellet kan alt brukerinnhold nås ved at en webkrypter blir bedt om å komme til et nettsted.

2. Blokker et bestemt webinnhold fra en bestemt mappe. For eksempel;

Brukeragent: Googlebot

Tillat: / eksempel-undermappe /

Denne syntaksen inneholder brukeragentnavn Googlebot tilhører Google. Det begrenser boten fra å få tilgang til hvilken som helst nettside i strengen www.ourexample.com/example-subfolder/.

3. Blokker en bestemt webbrowser fra en bestemt nettside. For eksempel;

Bruker-agent: Bingbot

Tillat: /example-subfolder/blocked-page.html

Bruker-agent Bing bot tilhører Bing web crawlere. Denne typen robots.txt-fil begrenser Bing web-robotsøkeprogrammet fra å få tilgang til en bestemt side med strengen www.ourexample.com/example-subfolder/blockedpage.

Viktig informasjon

  • Ikke alle brukere bruker din robts.txt-fil. Noen brukere kan bestemme seg for å ignorere det. De fleste av slike webcrawlere inkluderer trojanere og skadelig programvare.
  • For en Robots.txt-fil å være synlig, bør den være tilgjengelig på toppnivå nettsidekart.
  • Tegnene "robots.txt" er saksfølsomme. Som et resultat, bør du ikke endre dem på noen måte, inkludert kapitalisering av noen aspekter.
  • "/robots.txt" er offentlig domene. Alle kan finne denne informasjonen når de legges til innholdet i en hvilken som helst nettadresse. Du bør ikke indeksere viktige detaljer eller sider som du vil at de skal forbli private.
November 26, 2017
Semalt: Slik blokkerer du Darodar Robots.txt
Reply