Vorschau:
Im Netz findet man eine Vielzahl von Hinweisen, wie man bei Sprachmodellen Eingaben macht (= promptet), um zu einem guten Ergebnis zu kommen. Ich frage mich bei den ganzen Tipps immer gerne nach dem „Warum“ – es hat ja oft etwas von Ausprobieren und Erfahrung. In meinen Fortbildungen erkläre ich mit einem sehr reduzierten Ansatz, der technisch nicht ganz falsch, aber schon arg simplifiziert ist. Dazu präsentiere ich folgendes Schema: Eine Sprach-KI könnte mit Märchenanfängen trainiert worden sein. Statistisch ist herausgekommen, dass dabei bestimmte Wortgruppen immer wieder in einer bestimmten Reihenfolge vorkommen. Ich habe einen möglichen Ausschnitt in meinem Schema als Binärbaum dargestellt. Die Wortgruppen („Tupel“) sind dabei Knoten, die Pfeile dazwischen werden mathematisch auf als „gerichtete Kanten“ bezeichnet. Ich weiß dabei nicht, ob Wortgruppen innerhalb eines Sprachmodells tatsächlich als Baum organisiert sind. (Auf jeden Fall gibt es keine Wortgruppen oder Worte in einem Sprachmodell, sondern durch Embedding reduzierte riesige Vektoren, die ein Wort oder eine Wortgruppe repräsentieren.) Gebe ich meinem „Modell“ die Anweisung, einen Märchenanfang zu verfassen, könnte z.B. sowas dabei herauskommen: Es begab sich zu der Zeit der Fantasiewesen, die der Fantasie der Kinder … Die Wortgruppen werden also zufällig zusammengesetzt, weil jeder Weg durch den Baum erstmal gleichwertig ist. Das Ergebnis ist grammatisch schon in Ordnung, aber inhaltlich nicht so schön. Besser wird es, wenn man Menschen da ransetzt und ihnen die Aufgabe gibt, Wege durch den Baum zu suchen, die für sie persönlich einen guten Märchenanfang repräsentieren. An jedem Pfeil, den sie entlanglaufen, lässt man diese Menschen einen Strich machen und rechnet später die Summe der Striche pro Pfeil zusammen. (In meinen Fobis lasse ich tatsächlich Menschen Striche auf einem großen Ausdruck des Schemas oder eben virtuell...