Google hat die offizielle Googlebot-Dokumentation mit neuen Anleitungen zu Besuchen von IPs aktualisiert, die mit GoogleUserContent.com
Google hat seine Search Central-Dokumentation auf „Überprüfung des Googlebots“ aktualisiert und Dokumentation zu vom Benutzer ausgelösten Bot-Besuchen hinzugefügt, Informationen, die in der vorherigen Googlebot-Dokumentation fehlten, was seit vielen Jahren zu Verwirrung geführt hat, da einige Publisher die IP-Bereiche der legitimen Besuche blockierten.
Neu aktualisierte Bot-Dokumentation
Google hat eine neue Dokumentation hinzugefügt, die die drei verschiedenen Arten von Bots kategorisiert, die Publisher erwarten sollten.
Dies sind die drei Kategorien von Google-Bots:
- Googlebot – Suchcrawler
- Crawler für Sonderfälle
- Vom Benutzer ausgelöste Abrufer (GoogleUserContent)
Der letzte, GoogleUserContent, ist einer, der Publisher lange Zeit verwirrt hat, weil Google keine explizite Dokumentation darüber hatte.
Das sagt Google über GoogleUserContent:
„Vom Benutzer ausgelöste Abrufe
Tools und Produktfunktionen, bei denen der Endbenutzer einen Abruf auslöst.
Zum Beispiel handelt Google Site Verifier auf Anfrage eines Nutzers.
Da der Abruf von einem Benutzer angefordert wurde, ignorieren diese Abrufer Roboter.txt-Regeln.“
In der Dokumentation wird angegeben, dass die umgekehrte DNS-Maske die folgende Domäne anzeigt:
„***-***-***-***. gae.googleusercontent.com“
Google hat kürzlich seine Google Crawler-Seite aktualisiert, um einen Abschnitt speziell über benutzergesteuerte Abrufe zu erstellen.
Die Liste der verschiedenen Crawler enthält dieselben Bots, aber die Seite wurde neu organisiert, um vom Benutzer ausgelöste Abrufe in ihrer eigenen Gruppe zu kategorisieren.
Die folgenden Crawler werden jetzt als benutzergesteuerte Abrufer bezeichnet:
„Feedfetcher
Feedfetcher wird zum Crawlen von RSS- oder Atom-Feeds für Google Podcasts, Google News und PubSubHubbub verwendet.Google Publisher Center
Ruft Feeds ab und verarbeitet sie, die Publisher explizit über das Google Publisher Center bereitgestellt haben, um sie auf Google News-Zielseiten zu verwenden.Google Vorlesen
Auf Wunsch des Nutzers ruft Google Vorlesen Webseiten mit Text-to-Speech (TTS) ab und liest sie vor.Google Site Verifier
Google Site Verifier ruft auf Benutzeranforderung Überprüfungstoken der Suchkonsole ab.“
In der Vergangenheit wurde mir von einigen in der SEO-Community gesagt, dass Bot-Aktivitäten von IP-Adressen, die mit GoogleUserContent.com wurde ausgelöst, wenn ein Nutzer eine Website über eine Übersetzungsfunktion angesehen hat, die früher in den Suchergebnissen enthalten war, eine Funktion, die in den SERPs von Google nicht mehr vorhanden ist.
Ich weiß nicht, ob das in der Vergangenheit wahr war oder nicht.
Aber das Obige sind die neuen Informationen, die wir jetzt über benutzergesteuerte Abrufe haben.
Zusätzlich hat Google die folgenden Informationen zu benutzergesteuerten Abrufprogrammen hinzugefügt:
„Benutzergesteuerte Abrufprogramme
Benutzergesteuerte Abrufprogramme werden von Benutzern ausgelöst, um eine produktspezifische Funktion auszuführen. Beispielsweise handelt Google Site Verifier auf Anfrage eines Nutzers.Da der Abruf von einem Benutzer angefordert wurde, ignorieren diese Abrufer im Allgemeinen Roboter.txt-Regeln. Die IP-Bereiche, die von den benutzergesteuerten Fetchern verwendet werden, werden in den benutzergesteuerten Fetchern veröffentlicht.json-Objekt.“
Die neue Dokumentation von Google erklärt, dass Bot-Aktivitäten von IP-Adressen, die mit GoogleUserContent.com kann vom Google Site Verifier-Tool ausgelöst werden.
Die andere Änderung in der Dokumentation ist ein Verweis auf googleusercontent.com im Rahmen von IP-Adressen, die dem Domainnamen zugeordnet sind, GoogleUserContent.com .
Zuletzt hat Google seinen Android-Crawler für mobile Apps eingestellt.
Das User-Agent-Token und die vollständige Zeichenfolge waren beide: AdsBot-Google-Mobile-Apps
Dies war der Zweck des jetzt pensionierten Crawlers:
„Prüft die Anzeigenqualität von Android-App-Seiten. Befolgt die Regeln von AdsBot-Google Robots, ignoriert jedoch den globalen Benutzeragenten (*) in Robots.txt.“
Dies ist der neue Text:
„Stellen Sie sicher, dass der Domänenname entweder lautet googlebot.com , google.com , oder googleusercontent.com.“
Eine weitere Neuerung ist der folgende Text, der von der alten Seite erweitert wurde:
„Alternativ können Sie den Googlebot anhand der IP-Adresse identifizieren, indem Sie die IP-Adresse des Crawlers mit den Listen der Google-Crawler’ und Fetcher’ IP-Bereiche abgleichen:
Googlebot
Spezielle crawler wie AdsBot
Vom Benutzer ausgelöste Abrufe“
Dokumentation zur Identifizierung von Google-Bots
Die neue Dokumentation enthält endlich etwas über Bots, die IP-Adressen verwenden, die mit GoogleUserContent verknüpft sind.
Suchmaschinen-Vermarkter waren von diesen IP-Adressen verwirrt und nahmen an, dass diese Bots Spam waren.
Eine Hilfediskussion zur Google Search Console aus dem Jahr 2020 zeigt, wie verwirrt die Menschen über Aktivitäten im Zusammenhang mit GoogleUserContent waren.
Viele in dieser Diskussion kamen zu Recht zu dem Schluss, dass es sich nicht um den Googlebot handelte, kamen dann aber fälschlicherweise zu dem Schluss, dass es sich um einen gefälschten Bot handelte, der vorgab, Google zu sein.
Ein Benutzer hat geschrieben:
„Das Verhalten, das ich von diesen Adressen sehe, kommt dem legitimen Googlebot-Verhalten sehr nahe (wenn nicht sogar identisch) und trifft mehrere unserer Websites.
…Wenn es nicht so ist – dann scheint dies darauf hinzudeuten, dass es weit verbreitete bösartige Bot-Aktivitäten von jemandem gibt, der sich sehr bemüht, auf unseren Websites wie Google auszusehen, was besorgniserregend ist.“
Nach mehreren Antworten kommt die Person, die die Diskussion gestartet hat, zu dem Schluss, dass die GoogleUserContent-Aktivität Spam war.
Sie schrieben:
„…Die fraglichen Googlebots ahmen die offiziellen Benutzeragenten nach, aber so wie es aussieht, scheinen die Beweise darauf hinzudeuten, dass sie gefälscht sind.
Ich werde sie vorerst blockieren.“
Jetzt wissen wir, dass Bot-Aktivitäten von IPs, die mit GoogleUserContent verknüpft sind, keine Spam- oder Hacker-Bots sind.
Sie sind wirklich von Google. Herausgeber, die derzeit IP-Adressen blockieren, die mit GoogleUserContent verknüpft sind, sollten diese wahrscheinlich entsperren.
Die aktuelle Liste der vom Benutzer ausgelösten Fetcher-IP-Adressen finden Sie hier.
Lesen Sie die aktualisierte Dokumentation von Google:
Überprüfen des Googlebots und anderer Google-Crawler
Ausgewähltes Bild von Shutterstock/Asier Romero