Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Ebene 2: Bewährter Satz von Fundamentmodellen und Tools
Wenn sich Unternehmen in den frühen Phasen der Einführung generativer KI zurechtfinden, stellen sie schnell fest, dass kein einzelnes Modell alle Anwendungsfälle effektiv abdecken kann. Verschiedene Modelle zeichnen sich in verschiedenen Bereichen und Aufgaben aus, und Unternehmen müssen für jede spezifische Anwendung ein ausgewogenes Verhältnis zwischen Kapazität, Kosten und Leistung finden. Diese Realität macht einen flexiblen und dennoch kontrollierten Ansatz für den Zugriff auf das Basismodell erforderlich.
In diesem Abschnitt werden folgende Themen behandelt:
Experimentieren und Anpassen von Modellen
Amazon Bedrock wurde entwickelt, um Ihnen beim Experimentieren mit verschiedenen Basismodellen zu helfen, und es unterstützt skalierbare Produktionsbereitstellungen. Mit Amazon Bedrock Knowledge Bases verfügen Sie über eine vollständig verwaltete Lösung zur Erstellung von end-to-end Retrieval Augmented Generation (RAG) -Workflows. Amazon Bedrock unterstützt auch verwaltete Agenten, die komplexe Aufgaben ohne Code ausführen können, von der Buchung von Reisen bis hin zur Inventarverwaltung. Da es serverlos ist, reduziert Amazon Bedrock die Probleme mit der Infrastrukturverwaltung und lässt sich sicher in andere Systeme integrieren. AWS-Services
Darüber hinaus können Sie Amazon Bedrock verwenden, um die Foundation-Modelle privat mit Ihren eigenen Daten anzupassen und sie den Benutzern in Ihrer Organisation sicher zur Verfügung zu stellen. Weitere Informationen finden Sie in der Amazon Bedrock-Dokumentation unter Passen Sie Ihr Modell an, um seine Leistung für Ihren Anwendungsfall zu verbessern. Für die Zugriffsverwaltung ist AWS Identity and Access Management (IAM) in Amazon Bedrock integriert, sodass Sie eine detaillierte Zugriffskontrolle konfigurieren können. Die Kontrollen bestimmen, welche Benutzer bestimmte Modelle aktivieren und darauf zugreifen können. Weitere Informationen finden Sie unter Schicht 3: Sicherheit und Governance für generative KI-Plattformen auf AWS in diesem Handbuch.
Bewertung des Modells
Während Ihr Unternehmen von generativen KI-Prototypen zur Serienproduktion übergeht, ist es unerlässlich, strenge Bewertungsprozesse für Basismodelle einzuführen. Offene Benchmarks bieten zwar allgemeine Einblicke in die Leistung von Modellen, reichen jedoch häufig nicht aus, wenn es darum geht, die Eignung eines Modells für spezifische Unternehmensanforderungen zu bestimmen. Maßgeschneiderte Bewertungsstrategien helfen Benutzern dabei, das am besten geeignete Modell auszuwählen, das den individuellen Anforderungen Ihres Unternehmens entspricht.
Ziele der Bewertung benutzerdefinierter Modelle
Ein maßgeschneiderter Bewertungsansatz hilft Organisationen dabei, Folgendes zu tun:
-
Beurteilen Sie die Leistung bei geschäftsrelevanten Aufgaben — Bewerten Sie, wie gut Modelle mit Aufgaben umgehen, die in direktem Zusammenhang mit den Anwendungsfällen Ihres Unternehmens stehen.
-
Identifizieren Sie potenzielle Vorurteile und Einschränkungen — Ermitteln Sie Bereiche, in denen Modelle möglicherweise fehlerhaft sind oder ausfallen, sodass Sie sicherstellen können, dass das Modell für den Einsatz in der Praxis geeignet ist.
-
Modelle mit relevanten Kennzahlen vergleichen — Vergleichen Sie verschiedene Modelle, indem Sie Kennzahlen verwenden, die auf Ihre Unternehmensprioritäten und -ziele abgestimmt sind.
-
Treffen Sie eine fundierte Modellauswahl — Treffen Sie datengestützte Entscheidungen zur Modellauswahl, Feinabstimmung und Bereitstellung in Produktionsumgebungen.
Auswahl von Metriken für die Modellbewertung
Eine effektive Modellevaluierung stützt sich auf eine Mischung von Techniken, die einen ganzheitlichen Überblick über die Modellleistung bieten. Mit diesen Techniken können Unternehmen nicht nur die technische Genauigkeit eines Modells beurteilen, sondern auch seine Übereinstimmung mit unternehmensspezifischen Anforderungen beurteilen. Um ein Modell zu bewerten, kombinieren Sie quantitative und qualitative Kennzahlen, um die Leistung zu ermitteln, Verzerrungen zu identifizieren und ein Modell auszuwählen. Organizations sollten sowohl Ground-Truth-basierte Metriken (mit Referenzdaten) als auch flexible Metriken (ohne Referenzdaten) verwenden, um sich einen umfassenden Überblick über die Eignung des Modells zu verschaffen. In der KI bezieht sich Ground Truth auf Daten, die sachlich sind und während des Modelltrainings zurückgehalten werden, sodass Sie sie für die Modellevaluierung verwenden können.
Verwenden Sie Ground-Truth-basierte Metriken, wenn Referenzdaten vorhanden sind. Diese Kennzahlen ermöglichen konkrete, quantitative Einschätzungen. In der Zwischenzeit können Techniken ohne Grundwahrheit Flexibilität bieten. Diese Techniken helfen Ihnen, Modelle anhand von Aspekten wie Lesbarkeit und Vollständigkeit zu bewerten, auch wenn vordefinierte richtige Antworten nicht verfügbar sind.
Metriken, die auf Ground-Truth-Daten basieren
Wenn Referenzdaten verfügbar sind, können anhand von Ground-Truth-Daten quantitative Bewertungen vorgenommen werden. Die folgenden Kennzahlen ermöglichen quantitative Leistungsbeurteilungen:
-
ROUGE-L-Score — Beim Recall-Oriented Understudy for Gisting Evaluation (ROUGE) für die längste gemeinsame Teilsequenz (LCS), auch bekannt als ROUGE-L, wird die längste gemeinsame Teilsequenz zwischen generierten Texten und Referenztexten gemessen. Die Metrik bewertet die Kohärenz und die inhaltliche Überschneidung.
-
Kosinusähnlichkeit — Diese Metrik bewertet die semantische Ähnlichkeit zwischen Texten. Sie bietet Einblicke in das kontextuelle Verständnis des Modells.
-
METEOR-Score — Die Metrik zur Bewertung von Übersetzungen mit expliziter Reihenfolge (METEOR) kombiniert Wortausrichtung und semantischen Abgleich, um eine ausgewogene Bewertung der inhaltlichen Richtigkeit und Bedeutung zu ermöglichen.
-
Binäre Ähnlichkeit — Diese Metrik prüft auf exakte Übereinstimmungen und ist daher besonders nützlich für Aufgaben, die präzise Ausgaben erfordern, wie z. B. die Befehlsgenerierung.
-
LLM-as-a-judge Ergebnis — Diese Metrik verwendet ein anderes Large Language Model (LLM), um Ähnlichkeit auf einer definierten Skala zu bewerten. Sie bietet eine differenzierte Bewertung der Qualität.
Amazon SageMaker Clarify und Amazon Bedrock enthalten Funktionen, die Sie bei der Bewertung von Modellen unterstützen. Sie können Modellevaluierungsaufgaben automatisieren, sodass Sie die Modellrisiken und die Qualität der Antworten quantifizieren können. Weitere Informationen finden Sie unter Evaluieren, Erklären und Erkennen von Verzerrungen in Modellen und Evaluieren der Leistung von Amazon Bedrock-Ressourcen.
Metriken ohne Ground-Truth-Daten
Wenn Referenzdaten nicht verfügbar sind oder als ergänzender Ansatz, können Sie LLM-as-a-judge diese Technik verwenden. Es verwendet ein separates Modell, um die Ergebnisse einer generativen KI-Lösung auf der Grundlage von Dimensionen zu bewerten, die für das Unternehmen wichtig sind. Diese Technik bietet Flexibilität bei der Bewertung verschiedener Modellqualitäten. Weitere Informationen finden Sie unter Evaluieren der Modellleistung mithilfe eines anderen LLM als Richter in der Amazon Bedrock-Dokumentation.
Sie können berechnete Metriken verwenden, um zu bewerten, wie effektiv ein Retrieval Augmented Generation (RAG)-System relevante Informationen aus Ihren Datenquellen abruft und wie effektiv die generierten Antworten bei der Beantwortung von Fragen sind. Die Ergebnisse einer RAG-Bewertung ermöglichen es Ihnen, verschiedene Wissensdatenbanken für Amazon Bedrock und andere RAG-Quellen miteinander zu vergleichen und dann die beste Knowledge Base oder das beste RAG-System für Ihre Anwendung auszuwählen. Weitere Informationen finden Sie unter Evaluieren der Leistung von RAG-Quellen in der Amazon Bedrock-Dokumentation.
Techniken zur Modellevaluierung in der Praxis
Um die Unternehmensanforderungen effektiv mit den Modellfunktionen in Einklang zu bringen, verwenden Sie eine Reihe robuster Bewertungskriterien, um den Modellevaluierungsprozess zu steuern. Diese Kriterien decken ein Spektrum von Prioritäten ab, von Richtigkeit und Vollständigkeit bis hin zu Sachlichkeit und dem Umgang mit sensiblen Daten. Jedes Kriterium orientiert sich an spezifischen Techniken, um umsetzbare Erkenntnisse zu liefern. Wenn beispielsweise die Genauigkeit der Fakten entscheidend ist, bieten Metriken wie der ROUGE-L-Score oder die Kosinusähnlichkeit konkrete, quantifizierbare Benchmarks. Umgekehrt sollten Sie Techniken verwenden, um beispielsweise Lesbarkeit und Aktualität zu bewerten. LLM-as-a-judge Diese Techniken bieten flexible, qualitative Erkenntnisse, die auf organisatorische Standards zugeschnitten sind. Zu den wichtigsten Dimensionen für die Bewertung von Modellen gehören:
-
Richtigkeit — Überprüft die Richtigkeit der bereitgestellten Informationen
-
Vollständigkeit — Überprüft die Tiefe und den Umfang der Antworten
-
Lesbarkeit — Beurteilt Klarheit und Verständlichkeit
-
Aktualität der Informationen — Überprüft, ob der Inhalt relevant und aktuell ist
-
Unterdrückung sensibler Daten — Überprüft den ordnungsgemäßen Umgang mit vertraulichen Informationen
-
Genauigkeit — Misst die Übereinstimmung mit Sachinformationen
-
Kohärenz — Untersucht den logischen Ablauf und die Konsistenz
-
Sachlichkeit — Überprüft den Wahrheitsgehalt des Inhalts
-
Vollständigkeit — Beurteilt den Umfang und die Gründlichkeit der Berichterstattung
Indem Sie die Techniken zur Modellbewertung in diesen klaren Kriterien verankern, können Sie Modelle gründlich auf ihre spezifischen Zwecke überprüfen. Bei diesem strukturierten Ansatz werden die Modelle an den Unternehmenszielen, Compliance-Anforderungen und Benutzererwartungen ausgerichtet. Es bildet auch eine solide Grundlage für den Einsatz generativer KI-Anwendungen in großem Maßstab in Produktionsumgebungen.
Empfehlungen zur Umsetzung
Beachten Sie die folgenden Empfehlungen, um eine effektive Strategie für ein Stiftungsmodell festzulegen:
-
Bilden Sie einen vorbildlichen Verwaltungsausschuss mit klaren Rollen, Verantwortlichkeiten und Entscheidungsprozessen.
-
Entwickeln Sie Bewertungskriterien und Bewertungsmechanismen für die Bewertung von Basismodellen, bevor diese unternehmensweit verwendet werden können.
-
Denken Sie daran, dass das größte Basismodell nicht unbedingt immer das beste Modell für Ihren Anwendungsfall ist. Beginnen Sie mit der proof-of-concept Entwicklung mit erstklassigen Modellen, um den Geschäftswert zu überprüfen, und evaluieren Sie dann systematisch kleinere Modelle zur Kostenoptimierung.
-
Entwickeln Sie Dashboards, um wichtige Kennzahlen wie Inferenzlatenz, Durchsatz, Fehlerraten und Kosten pro Inferenz nachzuverfolgen.
-
Geben Sie den Teams klare Anleitungen zur Auswahl des richtigen Modells für ihren Anwendungsfall, einschließlich Versuchsverfahren und Bewertungskriterien.
