10 Schritte zur Verbesserung der Crawlbarkeit und Indexierbarkeit Ihrer Website

Keywords und Content können die beiden Säulen sein, auf denen die meisten Suchmaschinen aufbauen Optimierungsstrategien werden entwickelt, aber sie sind bei weitem nicht die einzigen, die von Bedeutung sind.

Weniger häufig diskutiert, aber ebenso wichtig – nicht nur für Benutzer, sondern auch für Such-Bots – ist die Auffindbarkeit Ihrer Website.

Es gibt ungefähr 50 Milliarden Webseiten auf 1,93 Milliarden Websites im Internet. Das sind viel zu viele für ein menschliches Team, um sie zu erforschen, also spielen diese Bots, auch Spinnen genannt, eine bedeutende Rolle.

Diese Bots bestimmen den Inhalt jeder Seite, indem sie Links von Website zu Website und von Seite zu Seite folgen. Diese Informationen werden in einer riesigen Datenbank oder einem Index von URLs zusammengestellt, die dann den Algorithmus der Suchmaschine zum Ranking durchlaufen.

Dieser zweistufige Prozess zum Navigieren und Verstehen Ihrer Website wird als Crawling bezeichnet und Indexierung.

Als SEO-Experte haben Sie diese Begriffe zweifellos schon einmal gehört, aber lassen Sie uns sie nur der Klarheit halber definieren:

• Crawlability bezieht sich darauf, wie gut diese Suchmaschinen-Bots Ihre Webseiten scannen und indexieren können.
• Indexability misst die Suchmaschine Fähigkeit, Ihre Webseiten zu analysieren und sie zu seinem Index hinzuzufügen.

Wie Sie sich wahrscheinlich vorstellen können, sind dies beide wesentliche Bestandteile von SEO.

Wenn Ihre Website unter schlechter Crawlbarkeit leidet, zum Beispiel viele defekte Links und Sackgassen, können Suchmaschinen-Crawler nicht auf alle Ihre Inhalte zugreifen, wodurch sie aus dem Index ausgeschlossen werden.

Indexierbarkeit, weiter andererseits ist von entscheidender Bedeutung, da Seiten, die nicht indiziert sind, nicht in den Suchergebnissen erscheinen. Wie kann Google eine Seite bewerten, die es nicht in seine Datenbank aufgenommen hat?

Der Crawling- und Indexierungsprozess ist etwas komplizierter als hier besprochen, aber das ist der grundlegende Überblick.

Wenn Sie nach einer eingehenderen Diskussion ihrer Funktionsweise suchen, hat Dave Davies einen ausgezeichneten Artikel über Crawling und Indizierung.

So verbessern Sie Crawling und Indexierung

Nun, da wir uns damit befasst haben, wie wichtig diese beiden Prozesse sind, wollen wir uns einige Elemente Ihrer Website ansehen, die sich auf Crawling und Indexierung auswirken – und erörtern Sie Wege, wie Sie Ihre Website für sie optimieren können.

1. Verbessern Sie die Seitenladegeschwindigkeit

Mit Milliarden von Webseiten, die katalogisiert werden müssen, haben Webspider nicht den ganzen Tag Zeit, um auf das Laden Ihrer Links zu warten. Dies wird manchmal als Crawl-Budget bezeichnet.

Wenn Ihre Website nicht innerhalb des angegebenen Zeitrahmens geladen wird, verlassen sie Ihre Website, was bedeutet, dass Sie nicht gecrawlt und nicht indexiert bleiben. Und wie Sie sich vorstellen können, ist dies nicht gut für SEO-Zwecke.

Daher ist es eine gute Idee, Ihre Seitengeschwindigkeit regelmäßig zu bewerten und sie zu verbessern, wo immer Sie können.

Sie können Verwenden Sie die Google Search Console oder Tools wie Screaming Frog, um die Geschwindigkeit Ihrer Website zu überprüfen.

Wenn Ihre Website langsam läuft, ergreifen Sie Maßnahmen, um das Problem zu beheben. Dies könnte ein Upgrade Ihres Servers oder Ihrer Hosting-Plattform, das Aktivieren der Komprimierung, das Minimieren von CSS, JavaScript und HTML sowie das Eliminieren oder Reduzieren von Weiterleitungen umfassen.

Finden Sie heraus, was Ihre Ladezeit verlangsamt, indem Sie Ihre Core Web Vitals überprüfen Bericht. Wenn Sie genauere Informationen zu Ihren Zielen wünschen, insbesondere aus benutzerzentrierter Sicht, ist Google Lighthouse ein Open-Source-Tool, das Sie möglicherweise sehr nützlich finden.

2. Stärkung der internen Linkstruktur

Eine gute Seitenstruktur und interne Verlinkung sind grundlegende Elemente einer erfolgreichen SEO-Strategie. Eine desorganisierte Website ist für Suchmaschinen schwer zu crawlen, was die interne Verlinkung zu einem der wichtigsten Dinge macht, die eine Website tun kann.

Aber nehmen Sie uns nicht einfach beim Wort. Hier ist, was Googles Suchmaschinen-Befürworter John Mueller dazu zu sagen hatte:

„Interne Verlinkung ist extrem wichtig für SEO. Ich denke, es ist eines der größten Dinge, die Sie auf einer Website tun können, um Google sozusagen zu leiten und Besucher zu den Seiten zu führen, die Sie für wichtig halten.“

Wenn Sie intern Wenn die Verlinkung schlecht ist, riskieren Sie auch verwaiste Seiten oder Seiten, die auf keinen anderen Teil Ihrer Website verlinken. Da nichts auf diese Seiten geleitet wird, können Suchmaschinen sie nur über Ihre Sitemap finden.

Um dieses und andere durch schlechte Struktur verursachte Probleme zu beseitigen, erstellen Sie eine logische interne Struktur für Ihre Website.

Ihre Homepage sollte auf Unterseiten verlinken, die von Seiten weiter unten in der Pyramide unterstützt werden. Diese Unterseiten sollten dann dort, wo es sich natürlich anfühlt, kontextbezogene Links haben.

Eine weitere Sache, die Sie im Auge behalten sollten, sind defekte Links, einschließlich solcher mit Tippfehlern in der URL. Dies führt natürlich zu einem defekten Link, der zu dem gefürchteten 404-Fehler führt. Mit anderen Worten, die Seite wurde nicht gefunden.

Das Problem dabei ist, dass defekte Links nicht helfen und Ihre Crawlbarkeit beeinträchtigen.

Überprüfen Sie Ihre URLs noch einmal, insbesondere wenn Sie kürzlich eine Website-Migration, Massenlöschung oder Strukturänderung vorgenommen haben. Und stellen Sie sicher, dass Sie nicht auf alte oder gelöschte URLs verlinken.

Weitere Best Practices für die interne Verlinkung sind eine gute Menge an verlinkbaren Inhalten (der Inhalt ist immer König), die Verwendung von Ankertext anstelle von verlinkten Bildern, und die Verwendung einer „angemessenen Anzahl” von Links auf einer Seite (was auch immer das bedeutet).

Oh ja, und stellen Sie sicher, dass Sie Follow-Links für interne Links verwenden.

3. Senden Sie Ihre Sitemap an Google

Mit genügend Zeit und vorausgesetzt, Sie haben es nicht verboten, wird Google Ihre Website crawlen. Und das ist großartig, aber es hilft Ihrem Suchranking nicht, während Sie warten.

Wenn Sie kürzlich Änderungen an Ihren Inhalten vorgenommen haben und möchten, dass Google dies sofort erfährt, ist es a gute Idee, eine Sitemap an die Google Search Console zu senden.

Eine Sitemap ist eine weitere Datei, die sich in Ihrem Stammverzeichnis befindet. Es dient als Fahrplan für Suchmaschinen mit direkten Links zu jeder Seite Ihrer Website.

Dies ist vorteilhaft für die Indexierbarkeit, da es Google ermöglicht, gleichzeitig Informationen über mehrere Seiten zu erhalten. Während ein Crawler möglicherweise fünf internen Links folgen muss, um eine Deep Page zu finden, kann er durch das Einreichen einer XML-Sitemap alle Ihre Seiten mit einem einzigen Besuch Ihrer Sitemap-Datei finden.

Einreichen Ihrer Sitemap an Google ist besonders nützlich, wenn Sie eine umfangreiche Website haben, häufig neue Seiten oder Inhalte hinzufügen oder Ihre Website keine gute interne Verlinkung hat.

4. Robots.txt-Dateien aktualisieren

Wahrscheinlich möchten Sie eine robots.txt-Datei für Ihre Website haben. Obwohl es nicht erforderlich ist, verwenden 99 % der Websites es als Faustregel. Falls Sie damit nicht vertraut sind, es handelt sich um eine reine Textdatei im Stammverzeichnis Ihrer Website.

Sie teilt Suchmaschinen-Crawlern mit, wie sie Ihre Website crawlen sollen. Sein Hauptzweck besteht darin, den Bot-Traffic zu verwalten und zu verhindern, dass Ihre Website mit Anfragen überlastet wird.

Wo dies in Bezug auf die Crawlbarkeit nützlich ist, ist die Einschränkung, welche Seiten Google crawlt und indexiert. Beispielsweise möchten Sie wahrscheinlich keine Seiten wie Verzeichnisse, Einkaufswagen und Tags im Google-Verzeichnis.

Natürlich kann sich diese hilfreiche Textdatei auch negativ auf Ihre Crawlbarkeit auswirken. Es lohnt sich, sich Ihre robots.txt-Datei anzusehen (oder einen Experten damit zu beauftragen, wenn Sie sich nicht auf Ihre Fähigkeiten verlassen können), um festzustellen, ob Sie versehentlich den Crawler-Zugriff auf Ihre Seiten blockieren.

Einige häufige Fehler in robots.text-Dateien sind:

• Robots.txt befindet sich nicht im Stammverzeichnis.
• Schlechte Verwendung von Platzhaltern.
• Kein Index in robots.txt.
• Blockierte Skripte, Stylesheets und Bilder.
• Keine Sitemap-URL.

Für eine eingehende Untersuchung der einzelnen diese Probleme – und Tipps zu ihrer Lösung finden Sie in diesem Artikel.

5. Überprüfen Sie Ihre Kanonisierung

Kanonische Tags konsolidieren Signale von mehreren URLs in einer einzigen kanonischen URL. Dies kann eine hilfreiche Möglichkeit sein, Google anzuweisen, die gewünschten Seiten zu indizieren, während Duplikate und veraltete Versionen übersprungen werden.

Aber dies öffnet die Tür für betrügerische kanonische Tags. Diese beziehen sich auf ältere Versionen einer Seite, die nicht mehr existiert, was dazu führt, dass Suchmaschinen die falschen Seiten indizieren und Ihre bevorzugten Seiten unsichtbar lassen.

Um dieses Problem zu beseitigen, verwenden Sie ein URL-Prüftool, um nach betrügerischen Tags zu suchen und entfernen Sie sie.

Wenn Ihre Website auf internationalen Verkehr ausgerichtet ist, d. h. wenn Sie Benutzer in verschiedenen Ländern auf verschiedene kanonische Seiten leiten, müssen Sie kanonische Tags für jede Sprache haben. Dadurch wird sichergestellt, dass Ihre Seiten in jeder Sprache indexiert werden, die Ihre Website verwendet.

6. Durchführen eines Website-Audits

Nachdem Sie all diese anderen Schritte durchgeführt haben, müssen Sie noch eine letzte Sache tun, um sicherzustellen, dass Ihre Website für das Crawlen und Indizieren optimiert ist: ein Website-Audit. Und das beginnt mit der Überprüfung des Prozentsatzes der Seiten, die Google für Ihre Website indexiert hat.

Überprüfen Sie Ihre Indexierbarkeitsrate

Ihre Indexierbarkeitsrate ist die Anzahl der Seiten im Google-Index dividiert durch die Anzahl der Seiten auf unserer Website.

Sie können herausfinden, wie viele Seiten es sind im Google-Index vom Google Search Console-Index  indem Sie zu “Seiten” Tab und überprüfen Sie die Anzahl der Seiten auf der Website aus dem CMS-Adminbereich.

Es besteht eine gute Chance, dass Ihre Website einige Seiten enthält, die Sie nicht indexieren möchten, sodass diese Zahl wahrscheinlich nicht 100 % beträgt. Wenn die Indexierbarkeitsrate jedoch unter 90 % liegt, müssen Probleme untersucht werden.

Sie können Ihre nicht indexierten URLs aus der Search Console abrufen und ein Audit für sie durchführen. Dies könnte Ihnen dabei helfen, die Ursache des Problems zu verstehen.

Ein weiteres nützliches Website-Audit-Tool, das in der Google Search Console enthalten ist, ist das URL-Inspektionstool. Dadurch können Sie sehen, was Google-Spider sehen, und diese dann mit echten Webseiten vergleichen, um zu verstehen, was Google nicht darstellen kann.

Prüfen Sie neu veröffentlichte Seiten

Jedes Mal, wenn Sie neue Seiten auf Ihrer Website veröffentlichen oder Ihre wichtigsten Seiten aktualisieren, sollten Sie sicherstellen, dass sie indexiert werden. Gehen Sie zur Google Search Console und vergewissern Sie sich, dass sie alle angezeigt werden.

Wenn Sie immer noch Probleme haben, kann Ihnen ein Audit auch Aufschluss darüber geben, welche anderen Teile Ihrer SEO-Strategie zu kurz kommen Es ist ein doppelter Gewinn. Skalieren Sie Ihren Prüfungsprozess mit Tools wie:

1. Screaming Frog
2. Semrush
3. Ziptie
4. Oncrawl
5. Lumar

7. Auf minderwertige oder doppelte Inhalte prüfen

Wenn Google Ihre Inhalte nicht als wertvoll für Suchende ansieht, kann es entscheiden, dass sie nicht indexierbar sind. Dieser dünne Inhalt, wie er bekannt ist, kann schlecht geschriebener Inhalt sein (z. B. voller Grammatik- und Rechtschreibfehler), Boilerplate-Inhalt, der nicht nur für Ihre Website gilt, oder Inhalt ohne externe Signale über seinen Wert und seine Autorität.

Um dies zu finden, stellen Sie fest, welche Seiten auf Ihrer Website nicht indiziert sind, und überprüfen Sie dann die Zielabfragen darauf. Liefern sie qualitativ hochwertige Antworten auf die Fragen der Suchenden? Wenn nicht, ersetzen oder aktualisieren Sie sie.

Doppelte Inhalte sind ein weiterer Grund, warum Bots beim Crawlen Ihrer Website hängen bleiben können. Im Grunde genommen hat Ihre Codierungsstruktur sie verwirrt und weiß nicht, welche Version indiziert werden soll. Dies kann durch Dinge wie Sitzungs-IDs, redundante Inhaltselemente und Probleme mit der Paginierung verursacht werden.

Manchmal löst dies eine Warnung in der Google Search Console aus, die Ihnen mitteilt, dass Google darauf stößt mehr URLs als gedacht. Wenn Sie keinen erhalten haben, überprüfen Sie Ihre Crawling-Ergebnisse auf Dinge wie doppelte oder fehlende Tags oder URLs mit zusätzlichen Zeichen, die Bots zusätzliche Arbeit bereiten könnten.

Beheben Sie diese Probleme, indem Sie Tags korrigieren, Seiten entfernen oder den Zugriff von Google anpassen.

8. Beseitigen Sie Weiterleitungsketten und interne Weiterleitungen

Mit der Weiterentwicklung von Websites sind Weiterleitungen ein natürliches Nebenprodukt, das Besucher von einer Seite auf eine neuere oder relevantere Seite leitet. Sie sind zwar auf den meisten Websites verbreitet, aber wenn Sie sie falsch handhaben, könnten Sie versehentlich Ihre eigene Indexierung sabotieren.

Es gibt mehrere Fehler, die Sie beim Erstellen von Weiterleitungen machen können, aber einer der häufigsten sind Weiterleitungsketten. Diese treten auf, wenn es mehr als eine Weiterleitung zwischen dem angeklickten Link und dem Ziel gibt. Google betrachtet dies nicht als positives Signal.

In extremeren Fällen können Sie eine Umleitungsschleife initiieren, bei der eine Seite auf eine andere Seite umleitet, die wiederum auf eine andere Seite weiterleitet, und so weiter, bis sie schließlich wieder auf die allererste Seite verlinkt. Mit anderen Worten, Sie haben eine Endlosschleife geschaffen, die nirgendwohin führt.

Überprüfen Sie die Weiterleitungen Ihrer Website mit Screaming Frog, Redirect-Checker.org oder a ähnliches Tool.

9. Defekte Links reparieren

In ähnlicher Weise können defekte Links die Crawlbarkeit Ihrer Website beeinträchtigen. Sie sollten Ihre Website regelmäßig überprüfen, um sicherzustellen, dass Sie keine defekten Links haben, da dies nicht nur Ihren SEO-Ergebnissen schadet, sondern menschliche Benutzer frustriert.

Es gibt eine Reihe von Möglichkeiten, wie Sie defekte Links auf Ihrer Website finden können, einschließlich der manuellen Bewertung jedes einzelnen Links auf Ihrer Website (Kopfzeile, Fußzeile, Navigation, In-Text usw.), oder Sie können die Google Search Console, Analytics oder Screaming Frog, um 404-Fehler zu finden.

Sobald Sie fehlerhafte Links gefunden haben, haben Sie drei Möglichkeiten, diese zu beheben: sie umzuleiten (siehe Abschnitt oben für Vorbehalte), aktualisieren oder entfernen.

10. IndexNow

IndexNow ist ein relativ neues Protokoll, das die gleichzeitige Übermittlung von URLs zwischen Suchmaschinen über eine API ermöglicht. Es funktioniert wie eine aufgeladene Version der Übermittlung einer XML-Sitemap, indem es Suchmaschinen über neue URLs und Änderungen an Ihrer Website informiert.

Im Grunde bietet es Crawlern im Voraus eine Roadmap zu Ihrer Website. Sie geben Ihre Website mit den benötigten Informationen ein, sodass Sie die Sitemap nicht ständig erneut überprüfen müssen. Und im Gegensatz zu XML-Sitemaps können Sie damit Suchmaschinen über Nicht-200-Statuscodeseiten informieren.

Die Implementierung ist einfach und erfordert lediglich die Generierung eines API-Schlüssels , hosten Sie sie in Ihrem Verzeichnis oder an einem anderen Ort und reichen Sie Ihre URLs im empfohlenen Format ein.

Abschluss

Jetzt sollten Sie ein gutes Verständnis der Indexierbarkeit Ihrer Website haben und Kriechbarkeit. Sie sollten auch verstehen, wie wichtig diese beiden Faktoren für Ihr Suchranking sind.

Wenn Googles Spider Ihre Website crawlen und indizieren können, spielt es keine Rolle, wie viele Keywords, Backlinks und Tags Sie verwenden – Sie werden nicht in den Suchergebnissen angezeigt.

Deshalb ist es wichtig, dass Sie Ihre Website regelmäßig auf alles überprüfen, was Bots auflauern, irreführen oder fehlleiten könnte.

Besorgen Sie sich also ein gutes Werkzeugset und legen Sie los. Seien Sie fleißig und achten Sie auf die Details, und Sie werden bald Google-Spider wie Spinnen auf Ihrer Website haben.