Hoe maak je een site of zijn fragmenten uit de Google-index verwijderen

Volgens de indexering-concept door de Google goedgekeurd, goed voor de volledigheid, objectiviteit van de informatie en het voldoet aan de zoekopdracht in de uitgifte van de resultaten. Als de index daalt website met illegale inhoud, of bron voor spam, de pagina's van deze site zullen niet in de gemeenschappelijke database zoekmachine gemarkeerd. Voor ons is het belangrijk om te leren hoe je een site te verwijderen uit de uitgifte van de resultaten van de zoekactie server.

Varianten van nul indexering Google

Zodra het zoeken robot - een programma om informatie over nieuwe middelen te verzamelen - zal de site pagina te scannen per pagina, dan, wanneer in het kader van de vereisten van Google-beleid voor het ontleden, het zal worden geïndexeerd. Maar we zien ook hoe u uw site of fragmenten te verwijderen voor de zoekmachines door een robots.txt - indexeren en doorzoeken op hetzelfde moment stoppen.

Om uit de uitgifte van de bron in zijn geheel uit te sluiten, in de hoofdmap van de server waarop de site zich bevindt, creëert een bepaalde tekst gebied - zei robots.txt. Deze zone wordt behandeld met de zoekmachines en handelen volgens de instructies te lezen.

Houd in gedachten dat de zoekmachine van Google indexeert de pagina, zelfs wanneer een gebruiker toegang heeft om te bekijken verboden. Wanneer de browser antwoordt met 401 of 403 "Toegang is ongeldig", dit geldt alleen voor bezoekers, in plaats van programma's die verzamelen voor deze zoekmachine.

Om te begrijpen hoe te verwijderen van de site van de zoekmachine indexeren, moet een tekstwijzer de volgende regels in te voeren:

User-agent: Googlebot

Disallow: /

Dit geeft aan de crawler te indexeren het verbod op alle content op de site. Hier is hoe een site te verwijderen Google, zodat deze de bron niet de cache in de lijst met gedetecteerde.

Uitvoeringsvormen van scannen op verschillende protocollen

Als u een lijst van individuele communicatie standaarden, waarvoor u wilt speciale regels gelden voor het indexeren van de Google, bijvoorbeeld, afzonderlijk voor hypertext protocollen http / https, is het ook noodzakelijk om te registreren in het robots.txt op de volgende manier (voorbeeld).

(Http://yourserver.com/robots.txt) - van een domeinnaam van uw site (eventuele)

User-agent: * - een zoekmachine

Allow: / - maken volledige indexatie

Hoe kan ik een site te verwijderen van de uitgifte volledig naar de https-protocol

(Https://yourserver.com/robots.txt):

User-agent: *

Disallow: / totaalverbod op het indexeren

Versnelde verwijdering URL-resource-mailadressen van Google SERPs

Als u niet wilt wachten op re-indexering, en de site die u wilt verbergen als, raad ik aan om de service http://services.google.com/urlconsole/controller snel mogelijk te gebruiken. Pre robots.txt heeft in de root directory van de site server worden geplaatst. Het moet worden voorgeschreven passende instructies.

Als de aanwijzer om wat voor reden niet kan worden bewerkt in de root directory, maak je het genoeg in de map met doelen waarvoor u wilt verbergen van de zoekmachines. Zodra u dit doet en verwijzen naar de dienst automatisch verwijderen van hypertext adressen, zal Google geen mappen die gespeld een fout in de robots.txt te scannen.

De periode van deze onzichtbaarheid is ingesteld voor 3 maanden. Na deze periode zal de uit de uitgifte teruggetrokken directory, opnieuw worden verwerkt door Google-server.

H oe een plaats gedeeltelijk verwijderen scannen

Bij een zoekopdracht bot is het lezen van de inhoud van robots.txt, zijn dat bepaalde beslissingen genomen op basis van de inhoud ervan. Laten we zeggen dat je wilt van dat de gehele map met de naam anatom uit te sluiten. Het is genoeg om een dergelijke regelgeving voorschrijven:

User-agent: Googlebot

Disallow: / anatom

Of, bijvoorbeeld, je wilt niet indexeren van alle soorten image .gif. Om dit te doen, voeg je de volgende lijst:

User-agent: Googlebot

Disallow: /*.gif$

Hier is een ander voorbeeld. Laat ze uit het ontleden van informatie over dynamisch gegenereerde pagina's worden geschrapt, terwijl het toevoegen van het type index entry:

User-agent: Googlebot

Disallow: / *?

Dat is ongeveer, en nadere uitwerking van de regels voor de zoekmachines. Een ander ding is dat het veel handiger om gewoon gebruik maken van deze META-tag. En webmasters gebruiken vaak net zo'n standaard tot de uitvoering van de zoekmachines. Maar we zullen dit in de toekomst artikelen te bespreken.