Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Schicht 1: Aufbau einer zuverlässigen Daten- und Recheninfrastruktur für generative KI

Für die Entwicklung generativer KI-Anwendungen, insbesondere wenn das Training oder die Feinabstimmung eines Basismodells erforderlich ist, ist eine robuste Datenbasis und Recheninfrastruktur von entscheidender Bedeutung. Wenn Unternehmen sich auf den Weg zur generativen KI machen, benötigen sie eine Infrastruktur, die den gesamten Lebenszyklus des maschinellen Lernens unterstützt. Sie müssen auch das richtige Gleichgewicht zwischen Leistung, Kosten und betrieblicher Effizienz finden.

Eine zuverlässige generative KI-Infrastruktur sollte die folgenden drei Schlüsselkomponenten bieten: die grundlegende Infrastruktur, die Vektorspeicher- und -abrufinfrastruktur und die Recheninfrastruktur. Zusammen bieten diese Komponenten die Flexibilität, um den Anforderungen jedes Projekts gerecht zu werden, unabhängig von Umfang, Anforderungen oder Umgebung.

Grundlegende Infrastruktur für API-basierte Implementierungen

Die meisten Unternehmen beginnen ihre Reise mit generativer KI, indem sie vorab trainierte Basismodelle verwenden. APIs Amazon Bedrock bietet über eine einheitliche API serverlosen Zugriff auf führende Fundamentmodelle. Auf diese Weise können Sie generative KI-Anwendungen testen und bereitstellen, ohne eine komplexe Infrastruktur verwalten zu müssen. Für diese Implementierungen benötigen Sie Folgendes:

Infrastruktur zum Speichern und Abrufen von Vektoren

Wenn Ihre generativen KI-Anwendungen immer ausgereifter werden, müssen Sie sie wahrscheinlich um domänenspezifisches Wissen und Kontext erweitern. Bei Retrieval Augmented Generation (RAG) verweist das Basismodell auf eine verlässliche Datenquelle, die sich außerhalb der Trainingsdatenquellen befindet, wie z. B. die Daten oder Dokumente Ihres Unternehmens, bevor eine Antwort generiert wird. Weitere Informationen finden Sie unter Optionen und Architekturen von Retrieval Augmented Generation unter. AWS

Amazon Bedrock Knowledge Bases bietet eine vollständig verwaltete Lösung für die Erstellung von RAG-Anwendungen. Sie hilft Ihnen dabei, Ihre Unternehmensdaten sicher mit Basismodellen zu verbinden. Für zusätzliche Flexibilität können Sie Amazon OpenSearch Service mit Vektorsuchfunktionen oder Amazon Relational Database Service (Amazon RDS) für PostgreSQL mit der Erweiterung pgvector zum Speichern von Vektoreinbettungen verwenden.

Für effiziente Vektoroperationen sollten Sie erwägen, rechenoptimierte Amazon EC2 EC2-Instances für die eingebettete Generierung zu verwenden. Erwägen Sie auch, häufig aufgerufene Einbettungen mithilfe von Amazon zwischenzuspeichern, um die Leistung ElastiCache zu optimieren und Kosten zu senken.

Weitere Informationen zu Vektordatenbanken und Caching finden Sie unter Was ist eine Vektordatenbank? und Auswahl einer AWS Vektordatenbank für RAG-Anwendungsfälle.

Leistungsstarke Recheninfrastruktur für Modelltraining und Feinabstimmung

Für Unternehmen, die bereit sind, Basismodelle individuell anzupassen, AWS bietet es eine umfassende Infrastruktur für Modelltraining und Feinabstimmung. Sie können Amazon Simple Storage Service (Amazon S3) als kostengünstigen, skalierbaren und äußerst langlebigen Objektspeicher für den Aufbau von Datenplattformen und zum Speichern von Trainingsdaten und trainierten Modellen verwenden. Darüber hinaus AWS Glueist es ein serverloser Datenintegrationsservice, der Sie bei der Vorbereitung von Daten für das Modelltraining unterstützen kann.

Für die Trainingsinfrastruktur bietet Amazon SageMaker AI eine vollständig verwaltete Umgebung für maschinelles Lernen mit den Tools und Workflows, die Sie zum Erstellen, Trainieren und Bereitstellen von Modellen benötigen. Durch den Einsatz von SageMaker KI können Sie Ihren betrieblichen Aufwand erheblich reduzieren. Erwägen Sie die Verwendung beschleunigter Recheninstanzen wie der G- und P-Instance-Familien. Diese Instance-Familien bieten Zugriff auf die neuesten Entwicklungen GPUs von NVIDIA für Training und Inferenz im Bereich maschinelles Lernen. Sie können auch einen speziell entwickelten Beschleuniger für maschinelles Lernen verwenden AWS Trainium, der die Trainingszeiten um bis zu 50% verkürzt und gleichzeitig die Kosten senkt.

Für wirklich große Projekte können Sie Amazon EC2 UltraClusters verwenden. UltraClusters bestehen aus Tausenden beschleunigter Amazon EC2 EC2-Instances, die sich in einer bestimmten AWS Availability Zone befinden und miteinander verbunden sind. UltraClusters kann auf Tausende von Beschleunigern GPUs oder Beschleunigern für maschinelles Lernen skaliert werden. Sie ermöglichen Exa-Fließkommaoperationen pro Sekunde (Exaflops) an aggregierter Rechenkapazität, wodurch die Schulungszeiten reduziert und time-to-solution von Wochen auf wenige Tage reduziert werden können.

Empfehlungen zur Implementierung

Beachten Sie die folgenden Empfehlungen für den Aufbau einer skalierbaren und kostengünstigen Infrastruktur für Ihre generativen KI-Projekte: