Ein GPT (Generative Pre-trained Transformer) Modell ist eine Art neuronales Netzwerk, das die Transformatorarchitektur nutzt, um aus großen Textdatenmengen zu lernen. Das Modell besteht aus zwei Hauptkomponenten: einem Encoder und einem Decoder.

Der Encoder verarbeitet den Eingabetext und wandelt ihn in eine Folge von Vektoren, sogenannte Einbettungen, um, die die Bedeutung und den Kontext jedes Wortes darstellen.

Der Decoder generiert den Ausgabetext, indem er das nächste Wort in der Sequenz basierend auf den Einbettungen und den vorherigen Wörtern vorhersagt. Das Modell verwendet eine Technik namens Aufmerksamkeit, um sich auf die relevantesten Teile der Eingabe- und Ausgabetexte zu konzentrieren und weitreichende Abhängigkeiten und Beziehungen zwischen Wörtern zu erfassen.

Das Modell wird trainiert, indem ein großer Textkorpus sowohl als Eingabe als auch als Ausgabe verwendet wird und die Differenz zwischen den vorhergesagten und den tatsächlichen Wörtern minimiert wird. Das Modell kann dann mit kleineren, spezialisierten Datensätzen verfeinert oder an bestimmte Aufgaben angepasst werden.

LLaMA in seiner ursprünglichen Form ist nicht sehr effizient. Zudem ist das Modell an sich nur der erste Teil des Trainings. Es ist eine Art rohes Modell, welches man noch weiter trainieren und anpassen muss. Ähnlich wie beim ChatGPT, welches vom Prinzip aus zwei Teilen besteht: GPT-3/4 transformerbasierten Modell sowie einem Verfahren, welches als Reinforcement Learning with Human Feedback (RHLF) bekannt ist.

Eines der ersten Modelle und eine direkte Abwandlung der LLaMA ist die sogenannte LLaMA.ccp, geschrieben in C/C++. Das ursprüngliche Meta Modell LLaMA lästst sich nur sehr schwer auf einem PC zum Laufen bringen. Es erfordert sehr viel Rechenkapazität. Georgi Gerganov hat deshalb eine effizientere Version für MacBook entwickelt. Die Modellgewichte und die Beschreibung können auf GitHub (Link) heruntergeladen werden.

Siehe LLaMA.

BLOOM ist ein selbständiges Large Language Model, das ähnlich wie ChatGPT transformerbasiert ist. Das Modell wurde von Hugging Face (einer Open Source Plattform) entwickelt.

„With its 176 billion parameters, BLOOM is able to generate text in 46 natural languages and 13 programming languages.“

Laut eigener Angaben darf das Modell auch kommerziell genutzt werden: „That said, it does not impose any restrictions on reuse, distribution, commercialization, adaptation as long as the model is not being applied towards use-cases that have been restricted.“ (Webseite).

Die Firma Nomic hat ein open source Modell „GPT4All“ entwickelt. Es ist sowohl ein Modell als auch ein Ökosystem. Das Modell kann lokal auf der CPU ausgeführt werden. So wie ich es verstanden habe, wurde GPT4All an GPT-3 trainiert und nutzt auch die LLaMA Architektur. Deshalb ist es (noch?) nicht für kommerzielle Nutzung geeignet.

Siehe GPT4All.

Das Modell Alpaca basiert auch auf GPT-3 (speziell: text-davinci-003) sowie dem LLaMA Model und wurde von einem Wissenschaftlerteam der Stanford University entwickelt. Generell ist Alpaca nur für nicht komerzielle Nutzung zugelassen.

Auch auf LLaMA basiert der Chatbot der Berkeley Universität: Koala. Das Modell wurde (wie auch die anderen) auf großen Mengen an Textdaten aus dem Netz trainiert sowie mit Hilfe von ChatGPT-Output und LLaMA.

Die Autoren haben beim Training von Koala auf Qualität und nicht auf Quantität der Trainingdatesätze fokusiert. Auch dieses Modell ist für kommerzielle Nutzung nicht erlaubt.

Open Assistant ist ein Chatbot, welcher aber auch kommerziel genutzt werden darf (solange man ihn nicht mit LLaMA betreibt). Er basiert wahlweise auf Pythia (Transformerbaisert) oder LLaMA (in diesem Fall lieber keine kommerzielle Nutzung). Open Assistant wird von Freiwilligen sowie der Firma LAION AI entwickelt. Die Nutzung ist auch für kommerzielle Zwecke erlaubt (wenn man die Variante mit Pythia nutzt).