Google hat vor Kurzem einen Podcast veröffentlicht, in dem es um das sogenannte Crawling geht Budget und was Google bei der Indexierung von Inhalten beeinflusst.
Sowohl Gary Illyes als auch Martin Splitt tauschten Einblicke in die Indexierung des Webs aus der Sicht von Google aus.
Contents
Ursprung des Crawl-Budget-Konzepts
Gary Illyes sagte, dass das Konzept eines Crawl-Budgets von der Such-Community außerhalb von Google entwickelt wurde.
Er erklärte, dass es intern bei Google nichts gab, was damit korrespondierte die Idee eines Crawl-Budgets.
Als die Leute über ein Crawl-Budget sprachen, betraf das, was innerhalb von Google geschah, mehrere Metriken, nicht diese eine Sache namens Crawl-Budget.
Also sprachen sie innerhalb von Google darüber, was ein Crawl-Budget darstellen könnte, und kamen auf ein Art, darüber zu sprechen.
Er sagte:
“…die längste Zeit haben wir gesagt, dass wir es nicht haben das Konzept des Crawl-Budgets. Und es war wahr.
Wir hatten nichts, was allein Crawl-Budget bedeuten könnte – genauso wie wir zum Beispiel keine Zahl für EAT haben.
Und dann, weil die Leute darüber sprachen, haben wir es versucht sich etwas einfallen lassen… zumindest irgendwie definiert.
Und dann haben wir mit zwei oder drei oder vier Teams gearbeitet– Ich erinnere mich nicht– Dabei haben wir versucht, zumindest ein paar interne Messwerte zu finden, die sich zu etwas zusammenfassen lassen, das die Leute extern als Crawl-Budget definieren.“
Was das Crawl-Budget bei Google bedeutet
Laut Gary basiert ein Teil der Berechnung für ein Crawl-Budget auf praktischen Erwägungen, wie z. B. wie viele URLs der Server dem Googlebot zulässt, ohne den Server zu überlasten.
Gary Illyes und Martin Splitt:
“Gary Illyes: …wir haben es als die Anzahl der URLs definiert, die der Googlebot crawlen kann und bereit ist oder angewiesen wird.“
Martin Splitt : Für eine bestimmte Site.
Gary Illyes: Für eine bestimmte Site, ja.
Und für uns bedeutet Crawling-Budget ungefähr das, denn wenn Sie darüber nachdenken, möchten wir Websites keinen Schaden zufügen, da der Googlebot über genügend Chrome-Kapazität verfügt, um Websites herunterzufahren…”
Ausgleich unterschiedlicher Überlegungen
Ein weiterer interessanter Punkt, der angesprochen wurde, war, wie in Bezug auf das Crawlen unterschiedliche Überlegungen involviert sind. Was gespeichert werden kann, ist begrenzt. Laut Google bedeutet dies, Google-Ressourcen zu nutzen, „dort, wo es darauf ankommt.“
„Martin Splitt: Anscheinend möglicherweise möchte jeder alles so schnell wie möglich indizieren wollen, sei es die neue Website, die gerade online gegangen ist, oder Websites mit vielen Seiten, und die möglichen ?nderungen’ Ich mache mir Sorgen, dass Dinge nicht so schnell gecrawlt werden.
Ich beschreibe es normalerweise als eine Herausforderung, bei der es darum geht, die Website nicht zu überfordern und unsere Ressourcen dort einzusetzen, wo es darauf ankommt.“
John Mueller hat kürzlich getwittert, dass Google nicht alles indiziert, und erwähnt, dass nicht alles nützlich ist.
Mueller’s Tweet:
“…es&rsquo Es ist wichtig zu bedenken, dass Google nicht jede Seite im Web indexiert, selbst wenn sie direkt eingereicht wird. Wenn kein Fehler auftritt, wird es möglicherweise im Laufe der Zeit für die Indizierung ausgewählt – oder Google konzentriert sich möglicherweise nur auf einige andere Seiten Ihrer Website.“
Er folgte mit einem weiteren Tweet:
„Nun, viele SEOs & Websites (vielleicht nicht Sie/Ihre!) produzieren schreckliche Inhalte, die es nicht wert sind, indexiert zu werden. Nur weil es existiert, bedeutet es noch lange nicht, dass es für Benutzer nützlich ist.“
- Martin Splitt nennt den Vorgang des Crawlens ein Problem, bei dem es darum geht, „unsere Ressourcen dort einzusetzen, wo es darauf ankommt. “
- John Mueller erwähnte, ob der Inhalt “nützlich für Nutzer ist.“
Nützlichkeit ist ein interessanter Blickwinkel für die Beurteilung von Inhalten und kann meiner Meinung nach hilfreicher für die Diagnose von Inhalten sein als der sterile Rat, sicherzustellen, dass der Inhalt „auf die Benutzerabsicht abzielt“ und dass es „Keyword-optimiert“ ist.
Zum Beispiel habe ich kürzlich eine YMYL-Website überprüft, bei der die gesamte Website so aussah, als wäre sie aus einer SEO-To-Do-Checkliste erstellt worden.
<
Der Herausgeber verwendete KI-generierte Bilder für die Autorenbiografie, die auch auf einem gefälschten LinkedIn-Profil verwendet wurde.
Viele der Webseiten der Website verlinkten auf dünne .gov-Seiten, die die Schlüsselwörter im Titel enthalten, aber überhaupt nicht nützlich sind. Es war, als hätten sie nicht einmal auf die Regierungsseite geschaut, um zu beurteilen, ob es sich lohnt, darauf zu verlinken.
Äußerlich kreuzten sie die Kästchen einer SEO-To-Do-Checkliste an, erledigten Routine-SEO-Aktivitäten wie das Verlinken auf eine .gov-Site, das Erstellen eines Autorenprofils usw.
Sie schufen den äußeren Eindruck von Qualität, aber nicht wirklich erreicht, weil sie nicht bei jedem Schritt berücksichtigten, ob das, was sie taten, nützlich war.
Das Crawl-Budget ist kein Grund zur Sorge
Gary und Martin begannen darüber zu sprechen, wie Die meisten Websites müssen sich keine Gedanken über das Crawling-Budget machen.
Gary wies mit dem Finger auf Blogs in der Suchbranche, die in der Vergangenheit die Idee verbreiteten, dass das Crawl-Budget etwas ist, worüber man sich Sorgen machen muss, obwohl es seiner Meinung nach kein Grund zur Sorge ist.
Er sagte:
„Ich denke, es ist teilweise die Angst vor etwas, das sie nicht kontrollieren können, das die Leute nicht kontrollieren können, und das andere sind einfach Fehlinformationen .
…Und es gab früher einige Blogs, in denen die Leute über das Crawl-Budget sprachen, und es ist so wichtig, und dann fanden die Leute das und sie waren verwirrt über „Muss ich mir Sorgen um das Crawl-Budget machen oder? nicht?“
Martin Splitt fragte:
“Aber sagen wir mal, Sie waren ein interessanter Blog… Müssen Sie sich Gedanken über das Crawling-Budget machen?“
Und Gary antwortete:
„Ich denke, die meisten Leute brauchen sich darum keine Sorgen zu machen, und wenn ich sage, die meisten, sind es wahrscheinlich ?ber 90 % der Websites im Internet, die sich darum keine Sorgen machen müssen.“
Ein paar Minuten später im Podcast bemerkte Martin:
“Aber die Leute machen sich Sorgen darüber, und ich bin mir nicht ganz sicher, wo kommt von.
Ich denke, es kommt von der Tatsache, dass einige große Websites Artikel und Blogposts haben, in denen sie davon sprechen, dass das Crawl-Budget eine Sache ist.
Das ist es in SEO-Schulungen besprochen. Soweit ich gesehen habe, wird es auf Konferenzen diskutiert.
Aber das ist ein seltenes Problem. Als würde nicht jede Website darunter leiden, und dennoch sind die Leute sehr nervös.“
Wie Google festlegt, was indexiert werden soll
Was folgte Als nächstes folgte eine Diskussion über Faktoren, die Google dazu veranlassen, Inhalte zu indexieren.
Interessant ist, wenn Gary darüber spricht, dass er Inhalte indexieren möchte, nach denen gesucht werden könnte.
Gary Illyes:
„…Weil wir, wie gesagt, nicht unendlich viel Platz haben, also wollen wir Sachen indizieren, die wir denken– naja, nicht wir– aber unsere Algorithmen stellen fest, dass irgendwann danach gesucht werden könnte, und wenn wir zum Beispiel noch keine Signale zu einer bestimmten Website oder einer bestimmten URL oder was auch immer haben, woher wissen wir dann, dass wir das crawlen müssen? zum Indexieren?“
Gary Lizzi Sassman (@okaylizzi), Tech-Autorin der Google Search Central, sprach als Nächstes darüber, wie man aus dem Rest der Website schließen kann, ob es sich lohnt, neue Inhalte zu indizieren.
&bsp;Und einige Dinge, aus denen Sie schließen können– Wenn Sie beispielsweise einen neuen Blog auf Ihrer Hauptseite starten und beispielsweise ein neues Blog-Unterverzeichnis haben, können wir auf der Grundlage der gesamten Website gewissermaßen ableiten, ob wir daraus viel crawlen möchten bloggen oder nicht.
Lizzi Sassman: Aber der Blog ist eine neue Art von Inhalt, der möglicherweise häufiger aktualisiert wird. Wie können wir also feststellen, ob das so ist?? Es ist einfach neu. Wir sind uns nicht sicher, ob es Neuigkeiten geben wird, wie
wie häufig es noch sein wird.Gary Illyes: Aber wir brauchen ein Startsignal.
Lizzi Sassman: Und das Startsignal ist…
Gary Illyes: Von der Hauptseite ableiten.“
Gary wandte sich dann dem Gespräch über Qualitätssignale zu. Die Qualitätssignale, über die sie sprachen, waren jedoch, ob Signale im Zusammenhang mit dem Interesse der Benutzer sind, wie z. B. ob die Leute an diesem Produkt interessiert sind? Sind Leute an dieser Website interessiert?
Er erklärte:
“Aber es ist nicht nur die Aktualisierungshäufigkeit. Es sind auch die Qualitätssignale, die die Hauptseite hat.
Wenn wir also zum Beispiel sehen, dass ein bestimmtes Muster im Internet sehr beliebt ist, so wie ein Schrägstrich-Produkt im Internet sehr beliebt ist, und Leute auf Reddit sprechen darüber, andere Websites verlinken auf URLs in diesem Muster, dann ist es für uns ein Signal, dass die Leute die Website im Allgemeinen mögen.“
Gary spricht weiterhin über die Popularitäts- und Interessensignale, jedoch im Zusammenhang mit der Unterhaltung, bei der es sich um einen neuen Abschnitt einer Website handelt, die gestartet wurde.
In der Diskussion, die er anruft der neue Abschnitt ein Verzeichnis.
Illyes:
„Wenn Sie jedoch etwas haben, auf das die Leute nicht verlinken, und dann versuchen, ein neues Verzeichnis zu starten, es so aussieht, als ob die Leute die Website nicht möglichen, warum sollten wir dann dieses neue Verzeichnis crawlen? gerade gestartet?
Und schließlich, wenn die Leute einfach anfangen, darauf zu verlinken–“
Budget und Websites durchsuchen, die indiziert werden
Um es noch einmal zusammenzufassen einige der besprochenen Punkte:
- Google hat keine unendliche Kapazität und kann nicht alles im Web indizieren.
- Da Google nicht alles indizieren kann, ist es’ Es ist wichtig, selektiv vorzugehen, indem nur relevante Inhalte indexiert werden.
- Wichtige Inhaltsthemen werden in der Regel diskutiert
- Wichtige Websites, die in der Regel nützlich sind, werden in der Regel diskutiert und verknüpft mit
Offensichtlich ist dies keine umfassende Liste aller Elemente, die einen Einfluss darauf haben, was indiziert wird. Es soll auch keine SEO-Checkliste sein.
Es ist nur eine Vorstellung von Dingen, die so wichtig sind, dass Gary Illyes und Martin Splitt darüber gesprochen haben.
Ausgewähltes Bild von Shutterstock/Trismegist san
Zitat
Hören Sie sich den Podcast hier an: