Inhaltsdomäne 3: Anwendungen von Basismodellen
Die Inhaltsdomäne 3 behandelt Anwendungen von Basismodellen. Ihr Anteil an den gewerteten Prüfungsinhalten beträgt 28 %.
Aufgaben
Aufgabenstellung 3.1: Beschreibe Designüberlegungen für Anwendungen, die Basismodelle (FMs) verwenden.
Ziele:
Ermittle Auswahlkriterien für die Auswahl von Basismodellen (z. B. Kosten, Modalität, Latenz, Mehrsprachigkeit, Modellgröße, Modellkomplexität, Anpassungen, Eingabe-/Ausgabelänge, Prompt-Caching).
Beschreibe die Auswirkungen von Inferenzparametern auf Modellantworten (z. B. Temperatur, Eingabe-/Ausgabelänge).
Definiere Retrieval Augmented Generation (RAG) und die zugehörigen Geschäftsanwendungen (z. B. Amazon Bedrock Knowledge Bases).
Nenne AWS-Services, die das Speichern von Einbettungen in Vektordatenbanken unterstützen (z. B. Amazon OpenSearch Service, Amazon Aurora, Amazon Neptune, Amazon RDS für PostgreSQL).
Erläutere die Kostenabwägungen für verschiedene Ansätze bei der FM-Anpassung (z. B. Vortraining, Feinabstimmung, kontextbezogenes Lernen, RAG, Modelldestillation).
Definiere die Rolle von KI-Agenten und beschreibe die Geschäftsanwendungen von KI-Agenten.
Aufgabenstellung 3.2: Wähle effektive Techniken beim Prompt-Engineering.
Ziele:
Definiere die Konzepte und Konstrukte des Prompt-Engineerings (z. B. Kontext, Anweisung, negative Prompts).
Definiere Techniken für Prompt-Engineering (z. B. Chain-of-Thought-, Zero-Shot-, Single-Shot-, Few-Shot-, Prompt-Vorlagen).
Nenne und beschreibe die Vorteile und bewährten Verfahren für Prompt-Engineering (z. B. Verbesserung der Reaktionsqualität, Experimente, Integritätsschutz, Entdeckung, Spezifität und Prägnanz, wobei mehrere Kommentare verwendet werden).
Definiere potenzielle Risiken und Einschränkungen des Prompt-Engineerings (z. B. Exposure, Poisoning, Hijacking, Jailbreaking).
Beschreibe die Strategien für Prompt-Versionsverwaltung und -Verwaltung, bei denen Amazon Bedrock Prompt Management verwendet wird.
Aufgabenstellung 3.3: Beschreibe den Prozess für das Training und die Feinabstimmung von Basismodellen.
Ziele:
Beschreibe die wesentlichen Elemente des Trainings eines Basismodells (z. B. Vortraining, Feinabstimmung, kontinuierliches Vortraining, Destillation).
Definiere Methoden für die Feinabstimmung eines Basismodells (z. B. Anpassung von Anweisungen, Anpassung von Modellen für bestimmte Bereiche, Transferlernen, kontinuierliches Vortraining).
Beschreibe die Vorbereitung von Daten für die Feinabstimmung eines Basismodells (z. B. Datenkuratierung, Governance, Größe, Kennzeichnung, Repräsentativität, Reinforcement Learning from Human Feedback [RLHF]).
Aufgabenstellung 3.4: Beschreibe Methoden für die Bewertung der FM-Leistung.
Ziele:
Ermittle Ansätze für die Bewertung der FM-Leistung (z. B. Human-in-the-Loop-Bewertung, Benchmark-Datensätze, Amazon-Bedrock-Modellbewertung).
Identifiziere relevante Metriken für die Bewertung der FM-Leistung (z. B. Recall-Oriented Understudy for Gisting Evaluation [ROUGE], Bilingual Evaluation Understudy [BLEU], BERTScore, LLM-as-a-Judge).
Stelle fest, ob ein Basismodell (FM) die Geschäftsziele effektiv erfüllt (z. B. Produktivität, Benutzerinteraktion, Aufgabenplanung).
Nenne Ansätze für die Bewertung der Leistung von Anwendungen, die mit Basismodellen (FMs) erstellt wurden (z. B. RAG, Agenten, Workflows).
Identifiziere Metriken für die Ausrichtung an Geschäftszielen für KI-Anwendungen (z. B. Abschlussrate von Aufgaben, Benutzerzufriedenheit, Kosten pro Interaktion).
