Exercise: Research Assistant Team

Lernziele

Nach Abschluss dieser Übung können Sie:

✅ Ein Multi-Agent-System in Agent Builder erstellen ✅ Orchestration-Logik für Supervisor/Worker-Pattern implementieren ✅ Externe APIs (arXiv, PubMed, CrossRef) als Tools integrieren ✅ Workflow-Logik für sequenzielle und parallele Ausführung konfigurieren ✅ Error Handling und Performance-Optimierungen implementieren ✅ Multi-Agent-Systeme testen und debuggen

Voraussetzungen:

Grundverständnis von Agent Builder
Kenntnisse über Multi-Agent Orchestration
OpenAI API Key mit Zugriff auf GPT-4 und GPT-3.5

Geschätzter Zeitaufwand: 2-3 Stunden

Teil 1: Setup (30 Min)

Aufgabe 1.1: Orchestrator Agent erstellen

Ziel: Erstellen Sie den zentralen Supervisor-Agent, der Aufgaben delegiert.

Schritt-für-Schritt:

Öffnen Sie Agent Builder in OpenAI's Platform
Erstellen Sie einen neuen Agent mit Namen "ResearchOrchestrator"
Konfigurieren Sie:
- Model: GPT-4
- Temperature: 0.3
- Max Tokens: 2000
Fügen Sie folgenden System Prompt ein:

# ROLLE
Du bist ein Research Orchestrator für wissenschaftliche Literaturrecherche. Du koordinierst spezialisierte Agents (Search, Analysis, Citation), um Studierenden bei Recherchen zu helfen.

# AUFGABE
1. Analysiere die User-Anfrage und bestimme, welche Agents benötigt werden
2. Delegiere Aufgaben an die passenden Spezialisten:
   - SearchAgent: Wenn Papers gefunden werden sollen
   - AnalysisAgent: Wenn Papers analysiert werden sollen
   - CitationAgent: Wenn Zitationen erstellt werden sollen
3. Kombiniere die Ergebnisse zu einer kohärenten Antwort

# DECISION LOGIC
- Query enthält "find", "search", "papers" → SearchAgent
- Query enthält "analyze", "summarize", "compare" → AnalysisAgent
- Query enthält "cite", "citation", "APA", "MLA" → CitationAgent

# FORMAT
Gib deine Orchestrierungs-Entscheidungen als JSON aus:
{
  "agents_to_call": ["SearchAgent"],
  "execution_mode": "sequential",
  "parameters": {
    "SearchAgent": {"query": "...", "max_results": 5}
  }
}

# EINSCHRÄNKUNGEN
- Maximal 3 Agents pro Anfrage
- Validiere Outputs vor Weitergabe
- Bei Fehlern: Retry einmal, dann informiere User

Testen Sie den Agent isoliert:
- Input: "Find 5 papers on machine learning"
- Erwarteter Output: JSON mit agents_to_call: ["SearchAgent"]

Erfolgskriterien:

✅ Agent gibt strukturiertes JSON aus
✅ Agent identifiziert korrekt, dass SearchAgent benötigt wird
✅ Temperature ist niedrig (0.3) für konsistente Entscheidungen

Aufgabe 1.2: SearchAgent erstellen

Ziel: Erstellen Sie den Spezialisten für wissenschaftliche Literatursuche.

Schritt-für-Schritt:

Erstellen Sie neuen Agent "LiteratureSearchAgent"
Konfigurieren Sie:
- Model: GPT-3.5-turbo (kostengünstiger für einfache Tasks)
- Temperature: 0.5
- Max Tokens: 1500
System Prompt:

# ROLLE
Du bist ein Spezialist für wissenschaftliche Literatursuche. Du durchsuchst arXiv, PubMed und CrossRef nach relevanten Papers.

# AUFGABE
1. Empfange Suchanfrage (Query + Filter)
2. Formuliere optimale Suchstrings
3. Rufe APIs auf
4. Ranke nach Relevanz und Zitationen
5. Gib Top-N Papers zurück

# SEARCH STRATEGY
- arXiv: Computer Science, Physics, Mathematics
- PubMed: Life Sciences, Medicine
- CrossRef: Alle anderen Disziplinen

# FORMAT
[
  {
    "title": "...",
    "authors": ["..."],
    "year": 2024,
    "abstract": "...",
    "url": "...",
    "source": "arXiv",
    "citations": 42,
    "relevance_score": 0.95
  }
]

# EINSCHRÄNKUNGEN
- Timeout: 20 Sekunden pro API
- Mindestens 1 Ergebnis zurückgeben
- Dedupliziere Ergebnisse

Tools hinzufügen:

{
  "type": "function",
  "function": {
    "name": "search_arxiv",
    "description": "Search arXiv for academic papers",
    "parameters": {
      "type": "object",
      "properties": {
        "query": {
          "type": "string",
          "description": "Search query"
        },
        "max_results": {
          "type": "integer",
          "default": 5,
          "description": "Maximum number of results"
        },
        "sort_by": {
          "type": "string",
          "enum": ["relevance", "lastUpdatedDate"],
          "default": "relevance"
        }
      },
      "required": ["query"]
    }
  }
}

Hinweis: Falls Sie keinen direkten Zugriff auf arXiv API haben, verwenden Sie zunächst die Web Search Tool von Agent Builder als Platzhalter.

Testen Sie den SearchAgent:
- Input: {"query": "quantum computing", "max_results": 3}
- Erwarteter Output: JSON-Array mit 3 Papers

Erfolgskriterien:

✅ Agent ruft search_arxiv Tool auf
✅ Output ist valid JSON
✅ Mindestens 1 Paper wird zurückgegeben

Teil 2: Workflow verbinden (30 Min)

Aufgabe 2.1: Router Node konfigurieren

Ziel: Verbinden Sie Orchestrator und SearchAgent mit einem Router.

Schritt-für-Schritt:

Fügen Sie einen Router Node (Logic Node) zur Canvas hinzu
Konfigurieren Sie die Routing-Logik:

# Pseudocode für Router Logic
if orchestrator_output["agents_to_call"].includes("SearchAgent"):
    route_to = "SearchAgent"
    parameters = orchestrator_output["parameters"]["SearchAgent"]
else:
    route_to = "END"

Verbinden Sie die Nodes:
- User Input → OrchestratorAgent
- OrchestratorAgent → RouterNode
- RouterNode → SearchAgent (conditional)
- SearchAgent → Output
Definieren Sie Data Mappings:
- OrchestratorAgent.output → RouterNode.input
- RouterNode.parameters → SearchAgent.input

Erfolgskriterien:

✅ Router leitet korrekt an SearchAgent weiter
✅ Parameter werden korrekt übergeben
✅ Output erscheint am Ende

Aufgabe 2.2: End-to-End Test

Ziel: Testen Sie den kompletten Workflow von User Input bis Output.

Test Cases:

Input

Erwarteter Workflow

Erwarteter Output

"Find 5 papers on AI ethics"

User → Orchestrator → Router → SearchAgent → Output

JSON mit 5 Papers

"What is machine learning?"

User → Orchestrator → Router → Output (kein SearchAgent)

Antwort ohne Search

Debugging-Tipps:

Verwenden Sie Agent Builder's Trace Viewer um zu sehen, welche Agents aufgerufen wurden
Prüfen Sie Console Logs für Error Messages
Validieren Sie JSON-Outputs jedes Agents

Erfolgskriterien:

✅ End-to-End Workflow funktioniert
✅ SearchAgent wird nur aufgerufen, wenn benötigt
✅ Latenz < 15 Sekunden

Teil 3: AnalysisAgent erweitern (45 Min)

Aufgabe 3.1: AnalysisAgent erstellen

Ziel: Fügen Sie einen Agent für Paper-Analyse hinzu.

Erstellen Sie "PaperAnalysisAgent"
Konfiguration:
- Model: GPT-4 (für tiefe Analyse)
- Temperature: 0.7
- Max Tokens: 2000
System Prompt:

# ROLLE
Du bist ein Experte für wissenschaftliche Paper-Analyse.

# AUFGABE
1. Summarize: Erstelle Zusammenfassungen (3-5 Sätze)
2. Extract Key Findings: Identifiziere Hauptergebnisse
3. Analyze Methodology: Beschreibe Forschungsmethoden
4. Compare Papers: Vergleiche Ansätze und Ergebnisse

# FORMAT
## Summary
[Zusammenfassung]

## Key Findings
- Finding 1
- Finding 2

## Methodology
[Methodenbeschreibung]

# EINSCHRÄNKUNGEN
- Keine Spekulationen
- Kennzeichne Unsicherheiten
- Maximal 500 Wörter pro Paper

Optional: Fügen Sie RAG/Knowledge Base hinzu, um vollständigen Paper-Content zu durchsuchen

Erfolgskriterien:

✅ Agent kann Papers zusammenfassen
✅ Output ist strukturiert (Markdown)
✅ Keine Halluzinationen

Aufgabe 3.2: Sequenziellen Workflow implementieren

Ziel: Erweitern Sie den Workflow um SearchAgent → AnalysisAgent.

Aktualisieren Sie die Router Logic:

if "SearchAgent" in agents_to_call and "AnalysisAgent" in agents_to_call:
    # Sequential: First SearchAgent, then AnalysisAgent
    route = ["SearchAgent", "AnalysisAgent"]

Data Flow konfigurieren:
- SearchAgent.output → AnalysisAgent.input (als papers Parameter)
Testen Sie:
- Input: "Find and summarize 3 papers on climate change"
- Erwarteter Workflow: Orchestrator → Search → Analysis → Output
- Erwarteter Output: Papers + Summaries

Erfolgskriterien:

✅ AnalysisAgent erhält SearchAgent Output
✅ Summaries sind korrekt
✅ Latenz < 25 Sekunden

Teil 4: CitationAgent hinzufügen (30 Min)

Aufgabe 4.1: CitationAgent erstellen

Erstellen Sie "CitationFormatterAgent"
Konfiguration:
- Model: GPT-3.5-turbo (einfache Template-Aufgabe)
- Temperature: 0.1 (sehr deterministisch)
- Max Tokens: 1000
System Prompt:

# ROLLE
Du bist ein Zitations-Spezialist für APA, MLA, Chicago, IEEE, Harvard.

# AUFGABE
1. Empfange Paper-Metadaten
2. Identifiziere Zitationsstil
3. Formatiere exakt nach Standard

# CITATION STYLES
**APA 7th:**
Author, A. A. (Year). Title. *Journal*, *Volume*(Issue), pages. https://doi.org/xxx

**MLA 9th:**
Author. "Title." *Journal*, vol. X, no. Y, Year, pp. pages.

# FORMAT
[
  {
    "style": "APA",
    "citation": "Smith, J. (2024). Title..."
  }
]

# EINSCHRÄNKUNGEN
- Exakte Formatierung
- Bei fehlenden Daten: Verwende verfügbare
- Keine Tippfehler

Testen Sie:
- Input: Paper-Metadaten + {"style": "APA"}
- Erwarteter Output: Korrekt formatierte APA-Zitation

Erfolgskriterien:

✅ APA-Format ist exakt korrekt
✅ Auch bei fehlenden Daten (z.B. kein DOI) funktioniert Agent
✅ Temperature = 0.1 (konsistente Outputs)

Aufgabe 4.2: Vollständiger Workflow

Ziel: Integrieren Sie alle 3 Worker-Agents.

Aktualisieren Sie Orchestrator:
- Fügen Sie CitationAgent zur Decision Logic hinzu
Implementieren Sie Parallel Execution:
- Nach SearchAgent: Führen Sie AnalysisAgent und CitationAgent parallel aus
- Beide sind unabhängig und brauchen nur SearchAgent Output

# Pseudocode
if "AnalysisAgent" in agents_to_call and "CitationAgent" in agents_to_call:
    # After SearchAgent, run both in parallel
    parallel_group = ["AnalysisAgent", "CitationAgent"]

Aggregator hinzufügen:
- Kombiniere Outputs von AnalysisAgent und CitationAgent
Test:
- Input: "Find 3 papers on NLP, analyze, and provide APA citations"
- Erwarteter Workflow: Orchestrator → Search → [Analysis || Citation] → Aggregator → Output
- Erwarteter Output: Papers + Analysis + Citations

Erfolgskriterien:

✅ Analysis und Citation laufen parallel
✅ Latenz < 22 Sekunden (schneller als sequenziell)
✅ Aggregator kombiniert Outputs korrekt

Teil 5: Optimierung (Optional, 30 Min)

Aufgabe 5.1: Parallele Ausführung optimieren

Ziel: Reduzieren Sie Latenz durch maximale Parallelisierung.

Messen Sie aktuelle Latenz:
- Full Workflow (Search → Analysis + Citation)
- Expected: ~22 Sekunden
Implementieren Sie async/await Pattern (falls Agent Builder unterstützt):

async def run_parallel_workers(search_results):
    analysis_task = run_analysis_agent(search_results)
    citation_task = run_citation_agent(search_results)

    analysis, citations = await asyncio.gather(
        analysis_task, citation_task
    )
    return combine(analysis, citations)

Re-Test:
- Erwartete Latenz: ~18 Sekunden (20% Verbesserung)

Erfolgskriterien:

✅ Latenz reduziert um mindestens 15%
✅ Beide Agents laufen tatsächlich parallel (prüfen via Trace Viewer)

Aufgabe 5.2: Error Handling implementieren

Ziel: Machen Sie das System robust gegen Fehler.

Implementieren Sie Retry Logic für SearchAgent:

try:
    result = search_agent.run(query)
except Timeout:
    retry(search_agent.run, query, max_retries=1)
except APIError:
    return partial_results_or_error_message

Fallback für AnalysisAgent:
- Falls GPT-4 fehlschlägt → verwende GPT-3.5 als Fallback
Validation für CitationAgent:
- Prüfe, ob Output valid JSON ist
- Prüfe, ob Citation Format korrekt ist
Test Error Scenarios:

Szenario

Simulierte Fehler

Erwartetes Verhalten

SearchAgent Timeout

Mock API delay > 20s

Retry einmal, dann Partial Results

AnalysisAgent Failure

Mock GPT-4 Error

Fallback zu GPT-3.5

Invalid Citation Format

Mock falsche Interpunktion

Re-prompt mit Validation Error

Erfolgskriterien:

✅ System bleibt funktionsfähig bei Fehlern
✅ User erhält informative Error Messages
✅ Success Rate > 95%

Reflexionsfragen

Beantworten Sie nach Abschluss der Übung:

1. Orchestration Logic

Frage: Wie entscheidet der Orchestrator, welche Agents aufgerufen werden?

Erwartete Antwort:

Der Orchestrator analysiert die User-Query mit NLU (Natural Language Understanding)
Er erkennt Keywords ("find" → Search, "analyze" → Analysis, "cite" → Citation)
Er gibt eine strukturierte JSON-Entscheidung zurück
Router Node liest diese Entscheidung und routet entsprechend

2. Data Passing

Frage: Wie funktioniert die Datenübergabe zwischen SearchAgent und AnalysisAgent?

Erwartete Antwort:

SearchAgent gibt JSON-Array mit Paper-Metadaten zurück
Router/Workflow-Engine speichert Output in Variable search_results
AnalysisAgent erhält search_results als Input-Parameter
Mapping: SearchAgent.output → AnalysisAgent.input.papers

3. Performance Bottlenecks

Frage: Wo sind die größten Performance-Bottlenecks in Ihrem System?

Mögliche Antworten:

API Calls: arXiv/PubMed können langsam sein (5-10s)
GPT-4 Analysis: Tiefe Analyse dauert 8-12s
Sequential Execution: Search → Analysis → Citation (sequenziell = 25s+)

Lösungen:

Caching für häufige Queries
Parallel Execution (Analysis || Citation)
Streaming für Progressive Output

4. Skalierung

Frage: Wie würde Ihr System mit 1000 simultanen User-Requests umgehen?

Erwartete Antwort:

Aktuelle Architektur: Würde nicht skalieren (Rate Limits, keine Queues)
Notwendige Änderungen:
- Request Queue mit Worker Pool
- Rate Limiting und Backpressure
- Caching Layer (Redis)
- Load Balancing über mehrere Agent-Instances

5. Fehleranalyse

Frage: Welche Fehler sind während Ihrer Tests aufgetreten? Wie haben Sie sie gelöst?

Reflektieren Sie über:

JSON Parsing Errors (→ Bessere Validation)
API Timeouts (→ Retry Logic)
Halluzinationen in AnalysisAgent (→ Temperature reduzieren)
Citation Format Errors (→ Strikte Templates)

Weiterführende Challenges

Challenge 1: Multi-Language Support

Aufgabe: Erweitern Sie das System um Support für deutsche und englische Queries.

Hinweise:

Fügen Sie Language Detection hinzu
Passen Sie System Prompts an ("Antworte auf Deutsch/Englisch")
Testen Sie mit gemischten Queries

Challenge 2: Document Upload

Aufgabe: Erlauben Sie Users, eigene PDFs hochzuladen und analysieren zu lassen.

Hinweise:

Integrieren Sie PDF Parser (z.B. PyPDF2)
Fügen Sie UploadAgent hinzu
Erweitern Sie AnalysisAgent für PDF-Content

Challenge 3: Collaborative Features

Aufgabe: Implementieren Sie einen SharedWorkspaceAgent, der mehreren Users ermöglicht, gemeinsam an Recherchen zu arbeiten.

Hinweise:

Shared State Management (Blackboard Pattern)
User Authentication und Permissions
Real-time Updates (WebSockets)

Challenge 4: Export Functionality

Aufgabe: Fügen Sie einen ExportAgent hinzu, der Ergebnisse als PDF, Word oder LaTeX exportiert.

Hinweise:

Template Engine für verschiedene Formate
Integrieren Sie Libraries (reportlab für PDF, python-docx für Word)
Bibliographie automatisch generieren

Zusammenfassung

Was Sie gelernt haben:

✅ Multi-Agent-System mit Supervisor/Worker-Pattern
✅ Orchestration-Logik und Router Nodes
✅ API-Integration (arXiv, PubMed, CrossRef)
✅ Sequenzielle und parallele Workflows
✅ Error Handling und Performance-Optimierung
✅ Testing und Debugging von Multi-Agent-Systemen

Nächste Schritte:

Lesen Sie Multi-Agent Orchestration für vertiefte Theorie
Implementieren Sie eine der Weiterführenden Challenges
Deployen Sie Ihr System für reale User (z.B. über OpenAI Assistants API)

Ressourcen:

PreviousExercise: Chuck Norris Joke GPT NextExercise: 25 Custom GPT UseCases

Last updated 1 month ago

hashtagLernziele

hashtagTeil 1: Setup (30 Min)

hashtagAufgabe 1.1: Orchestrator Agent erstellen

hashtagAufgabe 1.2: SearchAgent erstellen

hashtagTeil 2: Workflow verbinden (30 Min)

hashtagAufgabe 2.1: Router Node konfigurieren

hashtagAufgabe 2.2: End-to-End Test

hashtagTeil 3: AnalysisAgent erweitern (45 Min)

hashtagAufgabe 3.1: AnalysisAgent erstellen

hashtagAufgabe 3.2: Sequenziellen Workflow implementieren

hashtagTeil 4: CitationAgent hinzufügen (30 Min)

hashtagAufgabe 4.1: CitationAgent erstellen

hashtagAufgabe 4.2: Vollständiger Workflow

hashtagTeil 5: Optimierung (Optional, 30 Min)

hashtagAufgabe 5.1: Parallele Ausführung optimieren

hashtagAufgabe 5.2: Error Handling implementieren

hashtagReflexionsfragen

hashtag1. Orchestration Logic

hashtag2. Data Passing

hashtag3. Performance Bottlenecks

hashtag4. Skalierung

hashtag5. Fehleranalyse

hashtagWeiterführende Challenges

hashtagChallenge 1: Multi-Language Support

hashtagChallenge 2: Document Upload

hashtagChallenge 3: Collaborative Features

hashtagChallenge 4: Export Functionality

hashtagZusammenfassung

Lernziele

Teil 1: Setup (30 Min)

Aufgabe 1.1: Orchestrator Agent erstellen

Aufgabe 1.2: SearchAgent erstellen

Teil 2: Workflow verbinden (30 Min)

Aufgabe 2.1: Router Node konfigurieren

Aufgabe 2.2: End-to-End Test

Teil 3: AnalysisAgent erweitern (45 Min)

Aufgabe 3.1: AnalysisAgent erstellen

Aufgabe 3.2: Sequenziellen Workflow implementieren

Teil 4: CitationAgent hinzufügen (30 Min)

Aufgabe 4.1: CitationAgent erstellen

Aufgabe 4.2: Vollständiger Workflow

Teil 5: Optimierung (Optional, 30 Min)

Aufgabe 5.1: Parallele Ausführung optimieren

Aufgabe 5.2: Error Handling implementieren

Reflexionsfragen

1. Orchestration Logic

2. Data Passing

3. Performance Bottlenecks

4. Skalierung

5. Fehleranalyse

Weiterführende Challenges

Challenge 1: Multi-Language Support

Challenge 2: Document Upload

Challenge 3: Collaborative Features

Challenge 4: Export Functionality

Zusammenfassung