Lernen aus Feedback
In Stufe 8 hat das Instruct-Modell aus Millionen fester Beispiele gelernt, wie eine Antwort aussieht. Aber wer entscheidet, welche Antwort wirklich gut ist? Dafür gibt es keine Formel und kein „richtig oder falsch". Am Ende entscheiden Menschen, welche Antwort sie besser finden.
Stell dir vor, ein Modell gibt auf dieselbe Frage zwei verschiedene Antworten. Beide sind nicht falsch. Trotzdem ist eine besser: hilfreicher, klarer, höflicher. Was „besser" heißt, kann man schwer in eine Regel fassen, aber Menschen spüren es sofort.
Genau das nutzt man im letzten Trainingsschritt. Jetzt bist du an der Reihe: Vergleiche die Antworten und wähle die bessere. Jede deiner Entscheidungen ist ein winziges Trainingssignal.
…
Und jetzt?
Aus deinen Urteilen wird ein Training
Einzelne Klicks ändern noch nichts. Aber aus sehr vielen solcher Urteile macht man in zwei Schritten ein echtes Training.
Die vielen menschlichen Urteile werden selbst zu Trainingsdaten. Ein zweites Modell, das Bewertungsmodell, lernt daraus, jeder Antwort eine Punktzahl zu geben, so wie die Menschen es getan hätten. So muss nicht mehr jeder Mensch jede Antwort einzeln prüfen.
Jetzt schreibt das Chatmodell aus Stufe 8 eine Antwort, das Bewertungsmodell gibt Punkte, und das Chatmodell wird leicht nachjustiert. Runde um Runde werden die Antworten so, wie Menschen sie mögen. Sieh selbst:
Die Kernidee
Dieser letzte Schritt heißt RLHF, kurz für „Lernen aus menschlichem Feedback". Das Besondere daran:
„Das Modell bekommt keine perfekte Musterantwort vorgesetzt. Es lernt aus menschlichen Vorlieben: Menschen sagen einfach, welche von zwei Antworten besser ist."
Deshalb wirken moderne Chatbots so höflich und hilfsbereit. Sie „verstehen" nicht, was gut ist; sie wurden millionenfach darauf trainiert, die Antworten zu treffen, die Menschen bevorzugen.
Wessen Geschmack steckt da drin?
Wenn menschliche Vorlieben das Training steuern, dann steckt im Modell immer der Geschmack der Menschen, die bewertet haben. Was sie für höflich, hilfreich oder sicher halten, prägt jede spätere Antwort. Deshalb ist die Frage, wer bewertet und nach welchen Regeln, mehr als eine technische Kleinigkeit. Dahinter steckt eine Entscheidung mit Verantwortung.
Für Technik-Fans: Belohnung statt Lösung
Das Bewertungsmodell heißt in der Fachsprache Reward Model. Es bekommt Paare aus „bevorzugt / nicht bevorzugt" und lernt, eine Antwort auf eine Zahl abzubilden: die Belohnung.
Im zweiten Schritt wird das Chatmodell mit Reinforcement Learning nachtrainiert: Es probiert Antworten, bekommt vom Reward Model eine Belohnung und verschiebt seine Gewichte so, dass die erwartete Belohnung steigt (ein verbreitetes Verfahren dafür ist PPO). Anders als in Stufe 3 gibt es hier keinen festen „richtigen" Zielwert, an dem der Fehler gemessen wird. Es gibt nur ein besser oder schlechter.
Geschafft
Der ganze Weg auf einen Blick
Du hast vom einzelnen Neuron bis zum Chatbot jeden Baustein selbst gesehen. Nichts davon ist Magie, nur viele einfache Schritte übereinander.
- 1Neuron: gewichtete Summe, dann eine Entscheidung.
- 2Netz: viele Neuronen in Schichten lösen Schwereres.
- 3Training: Gewichte am Fehler entlang anpassen.
- 4Lernen sichtbar: der Fehler sinkt Schritt für Schritt.
- 5MNIST: ein echtes Netz erkennt deine Ziffer.
- 6Attention: Wörter achten aufeinander.
- 7Wort für Wort: Sprache entsteht als nächstes Wort.
- 8Chat-Vorlage: aus Vervollständigen wird ein Gespräch.
- 9Feedback: Menschen prägen, was eine gute Antwort ist.
Wenn du das nächste Mal mit einem Chatbot schreibst, weißt du, was darin passiert: gewichtete Summen, ein nächstes Wort, eine Vorlage und der Geschmack von Menschen.