Vorbereitung des neuronalen Netzes
Das Modell ChatGPT ist mit grossen Datenmengen trainiert worden. Die Datenbasis bei ChatGPT ist nicht bekannt. Durch Reinforcement Learning (verstärkendes Lernen) wird das System auch durch Menschen trainiert. Prompteingaben von Userinnen und Usern können für weitere Trainings genutzt genutzt werden.
Anwendung
Die Userin oder der User gibt seine Fragen als Prompt ins System ein. Daraus werden Token gebildet. Diese Token können Wörter oder Sätze sein. Der Textgenerator generiert iterativ die nächsten Textteile nacheinander, die das neuronale Netz aufgrund von Wahrscheinlichkeiten ausgibt. ChatGPT wurde nicht mit Vokabular oder Grammatik trainiert, sondern nur mit Texten.
