Compound Systems
Das Compound System
"We only ever deal with systems."
Ein produktives AI-System besteht nie nur aus einem Modell. Es ist immer eine Kombination aus:
Prompts, die das Verhalten steuern
Sampling Methods, die die Ausgabecharakteristik bestimmen
Tools, die Fähigkeiten erweitern
Diese drei Komponenten zusammen ergeben ein Compound AI System – und erst dieses System löst reale Probleme.
Compound AI Systems: Die drei Kernkomponenten
Prompts
Lernziele
Verstehen, was ein Prompt ist und welche Rolle er im System spielt
Die Bedeutung von Prompt Engineering für Systemqualität erkennen
Verschiedene Prompt-Strategien kennenlernen
Was ist ein Prompt?
Ein Prompt ist weit mehr als eine einfache Frage an ein Sprachmodell. Er ist der Input, der das gesamte Verhalten des Systems steuert – von der Tonalität über die Struktur bis hin zur Genauigkeit der Antwort.
In einem Compound AI System ist der Prompt der erste und entscheidende Berührungspunkt zwischen Mensch und Maschine. Er definiert:
Kontext: Welche Rolle soll das Modell einnehmen?
Aufgabe: Was genau soll erreicht werden?
Format: Wie soll die Ausgabe strukturiert sein?
Constraints: Welche Einschränkungen gelten?
{% hint style="info" %} Der Prompt ist nicht einfach eine Frage – er ist die Programmiersprache für Sprachmodelle. {% endhint %}
Prompt Engineering als Systemdesign
Effektives Prompt Engineering bedeutet, den Input so zu gestalten, dass das System konsistent hochwertige Outputs liefert. Dies umfasst:
System Prompts legen das Grundverhalten fest. Sie definieren Persönlichkeit, Fähigkeiten und Grenzen des Systems und bleiben über mehrere Interaktionen konstant.
User Prompts enthalten die eigentliche Anfrage des Nutzers. In gut designten Systemen werden diese oft angereichert oder transformiert, bevor sie das Modell erreichen.
Few-Shot Examples zeigen dem Modell anhand konkreter Beispiele, welches Verhalten erwartet wird. Sie sind besonders wirksam für spezifische Formate oder Stile.
Zusammenfassung
Der Prompt ist das Steuerungselement eines jeden LLM-Systems. Seine Qualität bestimmt massgeblich die Qualität der Outputs. Prompt Engineering ist daher keine Nebensache, sondern eine Kernkompetenz beim Aufbau von AI-Systemen.
Sampling Methods
Lernziele
Verstehen, wie Sprachmodelle Tokens auswählen
Die wichtigsten Sampling-Parameter kennen
Den Einfluss von Sampling auf Kreativität und Konsistenz begreifen
Was passiert beim Sampling?
Ein Sprachmodell generiert nicht einfach Text – es berechnet für jeden nächsten Token eine Wahrscheinlichkeitsverteilung über sein gesamtes Vokabular. Das Sampling bestimmt, wie aus dieser Verteilung der nächste Token ausgewählt wird.
{% hint style="warning" %} Derselbe Prompt kann mit unterschiedlichen Sampling-Einstellungen völlig verschiedene Outputs produzieren. {% endhint %}
Die wichtigsten Parameter
Temperature kontrolliert die "Zufälligkeit" der Auswahl:
temperature=0: Immer der wahrscheinlichste Token (deterministisch)temperature=0.7: Balancierte Kreativität (Standard für viele Anwendungen)temperature=1.0+: Mehr Variation, aber auch mehr Risiko für inkohärente Outputs
Top-p (Nucleus Sampling) begrenzt die Auswahl auf die wahrscheinlichsten Tokens, deren kumulierte Wahrscheinlichkeit p erreicht:
top_p=0.9: Nur Tokens aus den obersten 90% der WahrscheinlichkeitsmasseVerhindert die Auswahl sehr unwahrscheinlicher Tokens
Top-k limitiert die Auswahl auf die k wahrscheinlichsten Tokens:
top_k=40: Nur aus den 40 wahrscheinlichsten Tokens wählenEinfacher Mechanismus zur Qualitätskontrolle
Sampling für verschiedene Anwendungsfälle
Code-Generierung
0–0.2
0.95
Präzision wichtiger als Kreativität
Kreatives Schreiben
0.8–1.0
0.9
Variation und Originalität erwünscht
Faktische Antworten
0–0.3
0.9
Konsistenz und Genauigkeit zentral
Brainstorming
0.9–1.2
0.95
Ungewöhnliche Ideen fördern
Zusammenfassung
Sampling ist die "Persönlichkeit" des Systems. Die gleiche Architektur kann durch unterschiedliche Sampling-Parameter konservativ-präzise oder kreativ-explorativ agieren. Bei der Systemgestaltung ist die Wahl der Sampling-Methode genauso wichtig wie der Prompt selbst.
Tools
Lernziele
Die Grenzen reiner Sprachmodelle verstehen
Verschiedene Tool-Kategorien und ihre Einsatzgebiete kennen
Das Konzept von Tool Use und Function Calling begreifen
Warum brauchen LLMs Tools?
Sprachmodelle sind beeindruckend im Verstehen und Generieren von Sprache – aber sie haben fundamentale Limitierungen:
Kein Zugang zu aktuellen Informationen: Das Wissen endet am Training-Cutoff
Keine präzisen Berechnungen: Mathematik basiert auf Pattern Matching, nicht auf Logik
Keine Interaktion mit der Welt: Ohne Tools können sie nichts ausführen
{% hint style="info" %} Tools transformieren LLMs von passiven Textgeneratoren zu aktiven Agenten, die in der Welt handeln können. {% endhint %}
Tool-Kategorien
Rechner und mathematische Tools ermöglichen präzise Berechnungen. Statt "ungefähr 127" zu raten, kann das System einen Taschenrechner aufrufen und exakte Ergebnisse liefern.
Code-Ausführung erlaubt dem System, Python oder andere Sprachen auszuführen – für Datenanalyse, Visualisierungen oder komplexe Berechnungen.
Datenbank-Zugriff verbindet das Modell mit strukturierten Daten. Das System kann SQL-Queries formulieren und echte Daten abfragen.
Web-Suche gibt Zugang zu aktuellen Informationen jenseits des Training-Cutoffs.
APIs und externe Services erweitern die Fähigkeiten praktisch unbegrenzt: E-Mails versenden, Kalender verwalten, Dateien bearbeiten.
Function Calling: Wie Tools funktionieren
Moderne LLMs unterstützen strukturiertes Tool Use:
Das System erhält eine Liste verfügbarer Tools mit Beschreibungen
Bei Bedarf generiert das Modell einen strukturierten Tool-Aufruf
Die Ausführungsumgebung führt den Aufruf aus
Das Ergebnis wird dem Modell zurückgegeben
Das Modell integriert das Ergebnis in seine Antwort
Zusammenfassung
Tools sind der Schlüssel zur praktischen Nützlichkeit von AI-Systemen. Sie kompensieren die inhärenten Schwächen von Sprachmodellen und ermöglichen echte Interaktion mit der Welt. Die Kunst liegt darin, die richtigen Tools für den Anwendungsfall auszuwählen und nahtlos in das Gesamtsystem zu integrieren.
Last updated