Das Search Relations-Team von Google bietet Einblicke in die Steuerung der Interaktionen des Googlebots mit Webseiten im neuesten Podcast ‚Search Off The Record‘.
- Sie können den Googlebot nicht daran hindern, bestimmte Abschnitte einer HTML-Seite zu crawlen.
- Mit dem HTML-Attribut data-nosnippet oder einem iframe können Sie steuern, wie Inhalte in Such-Snippets angezeigt werden.
- Eine Verbotsregel in Robotern.txt- oder Firewall-Regeln, die die IP-Adressen des Googlebots verwenden, können den Googlebot von einer Site blockieren.
Googles Suchbeziehungen beantworteten mehrere Fragen zur Indexierung von Webseiten in der neuesten Episode des Podcasts „Search Off The Record“.
Die diskutierten Themen waren, wie man den Googlebot daran hindert, bestimmte Abschnitte einer Seite zu crawlen, und wie man verhindert, dass der Googlebot insgesamt auf eine Website zugreift.John Mueller und Gary Illyes von Google beantworteten die in diesem Artikel untersuchten Fragen.
Contents
Googlebot von bestimmten Webseitenabschnitten blockieren
Müller sagt, dass es unmöglich ist, wenn er gefragt wird, wie man den Googlebot daran hindert, bestimmte Webseitenabschnitte zu crawlen, z. B. „auch gekaufte“ Bereiche auf Produktseiten.
„Die Kurzversion ist, dass Sie das Crawlen eines bestimmten Abschnitts auf einer HTML-Seite nicht blockieren können“, sagte Müller.
Er fuhr fort, zwei mögliche Strategien für den Umgang mit dem Thema anzubieten, von denen keine, wie er betonte, ideale Lösungen sind.
Mueller schlug vor, das HTML-Attribut data-nosnippet zu verwenden, um zu verhindern, dass Text in einem Such-Snippet angezeigt wird.
Alternativ können Sie einen Iframe oder JavaScript verwenden, wobei die Quelle von Robotern blockiert wird.txt, obwohl er warnte, dass’s keine gute Idee.
„Die Verwendung einer robotisierten Iframe- oder JavaScript-Datei kann Probleme beim Crawlen und Indizieren verursachen, die schwer zu diagnostizieren und zu lösen sind,“ erklärte Müller.
Er versicherte allen Zuhörern, dass es kein Problem ist, das behoben werden muss, wenn der fragliche Inhalt auf mehreren Seiten wiederverwendet wird.
„Es ist nicht nötig, den Googlebot daran zu hindern, diese Art von Duplizierung zu sehen„, fügte er hinzu.
Googlebot am Zugriff auf eine Website hindern
Als Antwort auf eine Frage zum Verhindern, dass Googlebot auf einen Teil einer Website zugreift, stellte Illyes eine einfach zu befolgende Lösung bereit.
„Der einfachste Weg sind Roboter.text: Wenn Sie ein disallow:/für den Googlebot-Benutzeragenten hinzufügen, lässt Googlebot Ihre Website in Ruhe, solange Sie diese Regel dort beibehalten," erklärte Illyes.
Für diejenigen, die eine robustere Lösung suchen, bietet Illyes eine andere Methode an:
„Wenn Sie sogar den Netzwerkzugriff blockieren möchten, müssten Sie Firewall-Regeln erstellen, die unsere IP-Bereiche in eine Verweigerungsregel laden,„ sagte er.
In der offiziellen Dokumentation von Google finden Sie eine Liste der IP-Adressen des Googlebots.
Zusammenfassend
Obwohl es unmöglich ist, den Googlebot am Zugriff auf bestimmte Abschnitte einer HTML-Seite zu hindern, können Methoden wie die Verwendung des Attributs data-nosnippet Kontrolle bieten.
Wenn Sie erwägen, den Googlebot vollständig von Ihrer Website zu blockieren, eine einfache Verbotsregel in Ihren Robotern.txt-Datei wird den Trick machen. Es sind jedoch auch extremere Maßnahmen wie das Erstellen spezifischer Firewall-Regeln verfügbar.
Ausgewähltes Bild, das vom Autor mit Midjourney erstellt wurde.