Google Ranking Algorithmus Forschung stellt TW-BERT vor

Google Research Paper beschreibt ein bemerkenswertes Framework namens TW-BERT, das das Suchranking verbessert, ohne dass größere Änderungen erforderlich sind.

• TW-BERT ist ein End-to-End-Framework zur Gewichtung von Abfragebegriffen, das zwei Paradigmen überbrückt, um die Suchergebnisse zu verbessern.
• Integriert sich in vorhandene Abfrageerweiterungsmodelle und verbessert die Leistung.
• Die Bereitstellung des neuen Frameworks erfordert minimale Änderungen.

Google hat ein bemerkenswertes Ranking-Framework namens Term Weighting BERT (TW-BERT) angekündigt, das die Suchergebnisse verbessert und einfach in bestehende Ranking-Systeme integriert werden kann.

Obwohl Google nicht bestätigt hat, dass es TW-BERT verwendet, ist dieses neue Framework ein Durchbruch, der Ranking-Prozesse auf der ganzen Linie verbessert, auch bei der Erweiterung von Abfragen. Es ist auch einfach zu implementieren, was meiner Meinung nach die Verwendung wahrscheinlicher macht.

TW-BERT hat viele Mitautoren, darunter Marc Najork, ein angesehener Wissenschaftler bei Google DeepMind und ehemaliger Senior Director of Research Engineering bei Google Research.

Er hat viele Forschungsarbeiten zu Themen im Zusammenhang mit Ranking-Prozessen und vielen anderen Bereichen mitverfasst.

Unter den Papieren ist Marc Najork als Co-Autor aufgeführt:

• Über die Optimierung von Top-K-Metriken für neuronale Rankingmodelle – 2022
• Dynamische Sprachmodelle für sich ständig weiterentwickelnde Inhalte – 2021
• Suche neu denken: Aus Dilettanten Domänenexperten machen – 2021
• Merkmalstransformation für neuronale Rankingmodelle – – 2020
• Suche neu denken: Aus Dilettanten Domänenexperten machen –
• Feature Transformation für neuronale Rankingmodelle – –
• Learning-to-Rank mit BERT im TF-Ranking – 2020
• Semantisches Textmatching für Langformdokumente – 2019
• TF-Ranking: Skalierbare TensorFlow-Bibliothek für Learning-to-Rank – 2018
• Das LambdaLoss-Framework für die Optimierung von Rankingmetriken – 2018
• Lernen, mit Selektionsbias in der persönlichen Suche zu ranken – 2016

Was ist TW-BERT?

TW-BERT ist ein Ranking-Framework, das Wörtern innerhalb einer Suchanfrage Punktzahlen (sogenannte Gewichte) zuweist, um genauer zu bestimmen, welche Dokumente für diese Suchanfrage relevant sind.

TW-BERT ist auch bei der Abfrageerweiterung nützlich.

Die Abfrageerweiterung ist ein Prozess, der eine Suchanfrage neu formuliert oder ihr weitere Wörter hinzufügt (z. B. das Wort „Rezept“ zur Abfrage „Hühnersuppe“ hinzufügen), um die Suchanfrage besser mit Dokumenten abzugleichen.

Das Hinzufügen von Punktzahlen zur Abfrage hilft dabei, besser zu bestimmen, worum es bei der Abfrage geht.

TW-BERT überbrückt zwei Information Retrieval Paradigmen

Das Forschungspapier diskutiert zwei verschiedene Suchmethoden. Eines basiert auf Statistiken und das andere auf Deep-Learning-Modellen.

Es folgt eine Diskussion über die Vor- und Nachteile dieser verschiedenen Methoden und legt nahe, dass TW-BERT ein Weg ist, die beiden Ansätze ohne die Mängel zu überbrücken.

Sie schreiben:

„Diese statistikbasierten Abrufmethoden bieten eine effiziente Suche, die mit der Korpusgröße skaliert und auf neue Domänen verallgemeinert wird.

Die Begriffe werden jedoch unabhängig gewichtet und berücksichtigen nicht den Kontext der gesamten Abfrage.“

Die Forscher stellen dann fest, dass Deep-Learning-Modelle den Kontext der Suchanfragen herausfinden können.

Es wird erklärt:

„Für dieses Problem können Deep-Learning-Modelle diese Kontextualisierung über die Abfrage durchführen, um bessere Darstellungen für einzelne Begriffe bereitzustellen.”

Was die Forscher vorschlagen, ist die Verwendung von TW-Bert, um die beiden Methoden zu überbrücken.

Der Durchbruch wird beschrieben:

„Wir überbrücken diese beiden Paradigmen, um zu bestimmen, welche die relevantesten oder nicht relevantesten Suchbegriffe in der Abfrage sind…

Dann können diese Begriffe hoch- oder heruntergewichtet werden, damit unser Retrieval-System relevantere Ergebnisse liefert.“

Beispiel für die TW-BERT-Suchbegriffsgewichtung

Das Forschungspapier bietet das Beispiel der Suchanfrage „Nike Laufschuhe.“

Vereinfacht ausgedrückt sind die Wörter „Nike Laufschuhe“ drei Wörter, die ein Ranking-Algorithmus so verstehen muss, wie es der Suchende beabsichtigt.

Sie erklären, dass das Hervorheben des „Laufenden“ Teils der Abfrage irrelevante Suchergebnisse anzeigt, die andere Marken als Nike enthalten.

In diesem Beispiel ist der Markenname Nike wichtig und deshalb sollte der Ranking-Prozess erfordern, dass die Webseiten der Kandidaten das Wort Nike enthalten.

Kandidatenwebseiten sind Seiten, die für die Suchergebnisse in Betracht gezogen werden.

TW-BERT liefert für jeden Teil der Suchanfrage eine Punktzahl (Gewichtung genannt), so dass sie genauso sinnvoll ist wie für die Person, die die Suchanfrage eingegeben hat.

In diesem Beispiel wird das Wort Nike als wichtig erachtet, daher sollte es eine höhere Punktzahl (Gewichtung) erhalten.

Die Forscher schreiben:

„Daher besteht die Herausforderung darin, dass wir sicherstellen müssen, dass Nike” hoch genug gewichtet wird, während in den endgültigen Ergebnissen immer noch Laufschuhe bereitgestellt werden.“

Die andere Herausforderung besteht darin, dann den Kontext der Wörter „Laufen“ und „Schuhe“ zu verstehen, und das bedeutet, dass die Gewichtung höher sein sollte, um die beiden Wörter zu einer Phrase „Laufschuhe“ zu verbinden, anstatt die beiden Wörter unabhängig voneinander zu gewichten.

Dieses Problem und die Lösung werden erklärt:

„Der zweite Aspekt ist, wie aussagekräftigere n-Gramm-Begriffe beim Scoring genutzt werden können.

In unserer Abfrage werden die Begriffe „Laufen“ und „Schuhe“ unabhängig voneinander behandelt, die gleichermaßen zu “ Laufsocken“ oder „Skateschuhen“ passen können.

In diesem Fall möchten wir, dass unser Retriever auf einer n-Gramm-Term-Ebene arbeitet, um anzuzeigen, dass „Laufschuhe“ beim Scoring hochgewichtet werden sollten.“

Lösen von Einschränkungen in aktuellen Frameworks

Das Forschungspapier fasst die traditionelle Gewichtung als begrenzt in den Variationen von Abfragen zusammen und erwähnt, dass diese statistikbasierten Gewichtungsmethoden für Zero-Shot-Szenarien weniger gut abschneiden.

Zero-Shot-Lernen ist ein Verweis auf die Fähigkeit eines Modells, ein Problem zu lösen, für das es nicht trainiert wurde.

Es gibt auch eine Zusammenfassung der Einschränkungen, die den aktuellen Methoden der Termerweiterung innewohnen.

Begriffserweiterung ist, wenn Synonyme verwendet werden, um mehr Antworten auf Suchanfragen zu finden oder wenn ein anderes Wort abgeleitet wird.

Zum Beispiel, wenn jemand nach„Hühnersuppe,„ es wird gefolgert, „Hühnersuppenrezept zu bedeuten.“

Sie schreiben über die Mängel aktueller Methoden:

„…Diese zusätzlichen Bewertungsfunktionen berücksichtigen keine zusätzlichen Gewichtungsschritte, die von Bewertungsfunktionen ausgeführt werden, die in vorhandenen Retrievern verwendet werden, z. B. Abfragestatistiken, Dokumentenstatistiken und Hyperparameterwerte.

Dies kann die ursprüngliche Verteilung der zugewiesenen Termgewichte während der endgültigen Bewertung und des Abrufs ändern.”

Als nächstes stellen die Forscher fest, dass Deep Learning sein eigenes Gepäck in Form von Komplexität bei der Bereitstellung und unvorhersehbarem Verhalten hat, wenn sie auf neue Bereiche stoßen, für die sie nicht vorab geschult wurden.

Hier kommt TW-BERT ins Spiel.

TW-BERT Überbrückt zwei Ansätze

Die vorgeschlagene Lösung ist wie ein hybrider Ansatz.

Im folgenden Zitat bedeutet der Begriff IR Information Retrieval.

Sie schreiben:

„Um die Lücke zu schließen, nutzen wir die Robustheit bestehender lexikalischer Retriever mit den kontextbezogenen Textdarstellungen, die von tiefen Modellen bereitgestellt werden.

Lexikalische Retriever bieten bereits die Möglichkeit, n-Gramm-Termen bei der Abfrage Gewichtungen zuzuweisen.

In dieser Phase der Pipeline nutzen wir ein Sprachmodell, um den Abfrage-n-Gramm-Begriffen geeignete Gewichtungen bereitzustellen.

Diese Termgewichtungs-BERT (TW-BERT) wird End-to-End optimiert, wobei dieselben Bewertungsfunktionen verwendet werden, die in der Abrufpipeline verwendet werden, um die Konsistenz zwischen Training und Abruf sicherzustellen.

Dies führt zu Verbesserungen beim Abrufen, wenn die von TW-BERT produzierten Termgewichte verwendet werden, während die IR-Infrastruktur ähnlich wie bei ihrem bestehenden Produktionsgegenstück bleibt.“

Der TW-BERT-Algorithmus weist Abfragen Gewichtungen zu, um einen genaueren Relevanzwert zu liefern, mit dem der Rest des Ranking-Prozesses dann arbeiten kann.

Lexikalischer Standardabruf

Termgewichteter Abruf (TW-BERT)

TW-BERT ist einfach zu implementieren

Einer der Vorteile von TW-BERT besteht darin, dass es wie eine Drop-In-Komponente direkt in den aktuellen Ranking-Prozess zum Abrufen von Informationen eingefügt werden kann.

Die Forscher schreiben:

„Dies ermöglicht es uns, unsere Termgewichte während des Abrufs direkt in einem IR-System einzusetzen.

Dies unterscheidet sich von früheren Gewichtungsmethoden, bei denen die Parameter eines Retrievers weiter abgestimmt werden müssen, um eine optimale Abrufleistung zu erzielen, da sie die durch Heuristiken erhaltenen Termgewichte optimieren, anstatt die End-to-End-Optimierung.“

Was bei dieser einfachen Bereitstellung wichtig ist, ist, dass keine spezielle Software oder Aktualisierungen der Hardware erforderlich sind, um TW-BERT zu einem Ranking-Algorithmus-Prozess hinzuzufügen.

Verwendet Google TW-BERT in seinem Ranking-Algorithmus?

Wie bereits erwähnt, ist die Bereitstellung von TW-BERT relativ einfach.

Meiner Meinung nach ist es vernünftig anzunehmen, dass die einfache Bereitstellung die Wahrscheinlichkeit erhöht, dass dieses Framework zum Algorithmus von Google hinzugefügt werden könnte.

Das bedeutet, dass Google TW-BERT in den Ranking-Teil des Algorithmus aufnehmen könnte, ohne ein vollständiges Update des Kernalgorithmus durchführen zu müssen.

Abgesehen von der einfachen Bereitstellung ist eine weitere Eigenschaft, auf die man achten muss, um zu erraten, ob ein Algorithmus verwendet werden könnte, wie erfolgreich der Algorithmus den aktuellen Stand der Technik verbessert.

Es gibt viele Forschungsarbeiten, die nur begrenzten Erfolg oder keine Verbesserung haben. Diese Algorithmen sind interessant, aber es ist vernünftig anzunehmen, dass sie es nicht in den Algorithmus von Google schaffen.

Diejenigen, die von Interesse sind, sind diejenigen, die sehr erfolgreich sind und das ist bei TW-BERT der Fall.

TW-BERT ist sehr erfolgreich. Sie sagten, dass es einfach ist, es in einen bestehenden Ranking-Algorithmus einzufügen, und dass es genauso gut funktioniert wie „dichte neuronale Ranker”

Die Forscher erklärten, wie es aktuelle Ranking-Systeme verbessert:

„Mit diesen Retriever-Frameworks zeigen wir, dass unsere Termgewichtungsmethode die Basis-Termgewichtungsstrategien für In-Domain-Aufgaben übertrifft.

Bei Aufgaben außerhalb der Domäne verbessert sich TW-BERT gegenüber Basisgewichtungsstrategien sowie dichten neuronalen Rankern.

Wir zeigen außerdem den Nutzen unseres Modells, indem wir es in vorhandene Abfrageerweiterungsmodelle integrieren, wodurch die Leistung gegenüber der Standardsuche und dem dichten Abrufen in den Zero-Shot-Fällen verbessert wird.

Dies motiviert, dass unsere Arbeit Verbesserungen an bestehenden Abrufsystemen mit minimaler Reibung beim Einsteigen ermöglichen kann.“

Das sind also zwei gute Gründe, warum TW-BERT bereits Teil des Ranking-Algorithmus von Google sein könnte.

1. Es ist eine allgemeine Verbesserung der aktuellen Ranking-Frameworks
2. Es ist einfach zu implementieren

Wenn Google TW-BERT implementiert hat, dann könnte dies die Ranking-Schwankungen erklären, die SEO-Monitoring-Tools und Mitglieder der Suchmaschinenmarketing-Community im letzten Monat gemeldet haben.

Im Allgemeinen kündigt Google nur einige Rankingänderungen an, insbesondere wenn sie einen spürbaren Effekt haben, wie bei der Ankündigung des BERT-Algorithmus durch Google.

In Ermangelung einer offiziellen Bestätigung können wir nur über die Wahrscheinlichkeit spekulieren, dass TW-BERT Teil des Suchranking-Algorithmus von Google ist.

Dennoch ist TW-BERT ein bemerkenswertes Framework, das die Genauigkeit von Informationsabrufsystemen zu verbessern scheint und von Google verwendet werden könnte.

Lesen Sie das Original-Forschungspapier:

End-to-End-Abfragebegriffsgewichtung (PDF)

Google-Forschungswebseite:

End-to-End-Abfragebegriffsgewichtung

Ausgewähltes Bild von Shutterstock/TPYXA Illustration