Open-Source-KI hat mit der Ankündigung von Dolly, einem ChatGPT-Klon, einen weiteren Schritt nach vorne gemacht
Open Source GPT Chat hat mit der Veröffentlichung des Dolly Large Language Model (DLL), das von der Firma Databricks Enterprise Software erstellt wurde, einen weiteren Schritt nach vorne gemacht.
Der neue ChatGPT-Klon heißt Dolly, benannt nach dem berühmten Schaf dieses Namens, dem ersten geklonten Säugetier.
Contents
Open-Source-Modelle für große Sprachen
Der Dolly LLM ist die neueste Manifestation der wachsenden Open-Source-KI-Bewegung, die einen besseren Zugang zu der Technologie bieten will, damit sie nicht von großen Konzernen monopolisiert und kontrolliert wird.
Eine der Bedenken, die die Open-Source-KI-Bewegung antreiben, ist, dass Unternehmen möglicherweise zögern, sensible Daten an Dritte weiterzugeben, die die KI-Technologie kontrollieren.
Basierend auf Open Source
Dolly wurde aus einem Open-Source-Modell erstellt, das vom gemeinnützigen EleutherAI Research Institute und dem Alpaka-Modell der Stanford University erstellt wurde, das selbst aus dem von Meta erstellten Open-Source-LAMA-Modell mit 65 Milliarden Parametern erstellt wurde.
LAMA, was für Large Language Model Meta AI steht, ist ein Sprachmodell, das auf öffentlich verfügbaren Daten trainiert wird.
Laut einem Artikel von Weights & Biases kann LAMA viele der Top-Sprachmodelle (OpenAI GPT-3, Gopher von Deep Mind und Chinchilla von DeepMind) übertreffen, obwohl es kleiner ist.
Erstellen eines besseren Datensatzes
Eine weitere Inspiration kam von einer akademischen Forschungsarbeit (SELF-INSTRUCT: Ausrichten des Sprachmodells mit selbst generierten Anweisungen PDF), die einen Weg skizzierte, um qualitativ hochwertige automatisch generierte Frage- und Antworttrainingsdaten zu erstellen, die besser sind als die begrenzten öffentlichen Daten.
Das Self-Instruct-Forschungspapier erklärt:
„…Wir kuratieren eine Reihe von von Experten geschriebenen Anweisungen für neuartige Aufgaben und zeigen durch menschliche Bewertung, dass das Tuning von GPT3 mit SELF-INSTRUCT die Verwendung vorhandener öffentlicher Anweisungsdatensätze mit großem Abstand übertrifft und nur eine absolute Lücke von 5% hinter InstructGPT zurücklässt…
…Bei Anwendung unserer Methode auf Vanille-GPT3 zeigen wir eine absolute Verbesserung von 33% gegenüber dem originalmodell für ÜBERNATÜRLICHE Anweisungen, vergleichbar mit der Leistung von InstructGPT… das mit privaten Benutzerdaten und menschlichen Anmerkungen trainiert wird.“
Die Bedeutung von Dolly besteht darin, dass es zeigt, dass ein nützliches großes Sprachmodell mit einem kleineren, aber qualitativ hochwertigen Datensatz erstellt werden kann.
Databricks bemerkt:
„Dolly arbeitet, indem es ein vorhandenes Open-Source-6-Milliarden-Parametermodell von EleutherAI verwendet und es leicht modifiziert, um Anweisungsfolgefunktionen wie Brainstorming und Textgenerierung hervorzurufen, die im Originalmodell nicht vorhanden sind, wobei Daten von Alpaca verwendet werden.
…Wir zeigen, dass jeder ein veraltetes Standard-Open-Source-Large-Language-Modell (LLM) nehmen und ihm magische ChatGPT-ähnliche Anweisungen geben kann, indem er es in 30 Minuten auf einer Maschine mit hochwertigen Trainingsdaten trainiert.
Überraschenderweise scheint das Befolgen von Anweisungen nicht die neuesten oder größten Modelle zu erfordern: Unser Modell umfasst nur 6 Milliarden Parameter, verglichen mit 175 Milliarden für GPT-3.“
Databricks Open-Source-KI
Dolly soll die KI demokratisieren. Es ist Teil einer Kleiderbewegung, der sich kürzlich die gemeinnützige Mozilla-Organisation mit der Gründung von angeschlossen hat Mozilla.ai . Mozilla ist der Herausgeber des Firefox-Browsers und anderer Open-Source-Software.
Lesen Sie die vollständige Ankündigung von Databricks:
Hello Dolly: Demokratisierung der Magie von ChatGPT mit offenen Modellen