Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Modellieren Sie Ausführungsstrategien für KI-Workloads
Das Herzstück jeder KI-Architektur ist die Modellausführungsschicht, die Komponente, die Inferenzen durchführt, Vorhersagen ermöglicht oder Inhalte generiert. AWS bietet zwei leistungsstarke, serverlose Pfade für die Ausführung von KI-Workloads:
-
Amazon Bedrock bietet Zugriff auf Basismodelle (FMs) für generative KI-Anwendungsfälle.
-
Amazon SageMaker Serverless Inference ermöglicht die skalierbare Bereitstellung von individuell trainierten Modellen für traditionelle Workloads des maschinellen Lernens (ML).
Wenn Unternehmen wissen, wann und wie sie sie einsetzen sollten AWS-Service, können sie sowohl auf ihre Geschäftsanforderungen als auch auf ihre betriebliche Effizienz optimieren.
Amazon Bedrock: Foundation-Modelle als Service
Amazon Bedrock ist ein vollständig verwalteter Service, der serverlosen Zugriff FMs auf führende KI-Anbieter wie Anthropic (Claude), Meta (Llama), MistralCohere, Amazon Titan und Amazon Nova bietet. Sie können mit diesen Modellen mithilfe einfacher API-Aufrufe interagieren, ohne Infrastruktur bereitstellen GPUs, Modelle verwalten oder optimieren zu müssen.
Zu den wichtigsten Funktionen von Amazon Bedrock gehören:
-
Textgenerierung — Zusammenfassung, Umschreiben, Erstellung von Inhalten und Fragen und Antworten.
-
Codegenerierung — Natürliche Programmiersprache.
-
Klassifizierung und Extraktion — Kennzeichnung, Analyse und semantisches Tagging.
-
RAG-Workflows — Integrieren Sie sie in Wissensdatenbanken, um fundierte Antworten zu erhalten.
-
Agenten — Ermöglichen Sie die autonome Orchestrierung und den Einsatz von Tools.
-
Multimodale Intelligenz — Mit Amazon Nova können Sie Text, Bild und Video verstehen und generieren.
-
Unterstützung bei der Feinabstimmung und Destillation — Mit Amazon Nova Premier können Sie aufgabenspezifische Modelle trainieren oder kompakte Modelle für Schüler erstellen.
-
Stufenweise Leistung und Kosten — Wählen Sie zwischen den Modellen Amazon Nova Micro, Nova Lite, Nova Pro und Nova Premier, um ein ausgewogenes Verhältnis zwischen Latenz, Genauigkeit und Preis zu finden.
Zu den betrieblichen Vorteilen von Amazon Bedrock gehören:
-
Modellverwaltung — Kein Modell-Hosting oder Versionierung erforderlich.
-
Sichere Datenverarbeitung — Isolierte Mandantenumgebung und keine Schulung mit Benutzerdaten.
-
Tokenbasierte Abrechnung — Ermöglicht eine vorhersehbare Kostenmodellierung.
-
Multimodale API-Vereinheitlichung input/output — Verwaltet Bilder, Videos und Text über dieselbe Amazon Bedrock-Oberfläche.
-
Optionen mit niedriger Latenz — Verfügbar mit Amazon Nova Micro und Nova Lite, die sich ideal für Edge- und benutzerorientierte generative KI-Apps eignen.
-
Enterprise Grounding-Kompatibilität — Alle Amazon Nova-Modelle sind mit den Architekturen Amazon Bedrock Knowledge Bases und Retrieval Augmented Generation (RAG) kompatibel.
Amazon Bedrock lässt sich auf folgende Weise in andere AWS-Services AMD-Funktionen integrieren:
-
Ausgelöst von Lambda, Step Functions oder API Gateway
-
Integriert mit Amazon Bedrock Agents für eine zielgerichtete Orchestrierung
-
Funktioniert nahtlos mit Amazon Bedrock Knowledge Bases und RAG-Pipelines
Ideale Anwendungsfälle für Amazon Bedrock
Amazon Bedrock eignet sich gut für eine Vielzahl von Szenarien, wie z. B. die folgenden:
-
Generative KI-Aufgaben — Erstellen Sie Marketinginhalte und -dokumentationen und unterstützen Sie Chatbots.
-
Konversationsassistenten — Entwickeln Sie Support-Bots und interne Copiloten.
-
Wissensabruf — Wird für Zusammenfassungs- und semantische Suchaufgaben verwendet.
-
Dynamische Planung — Entscheidungssysteme auf der Grundlage von Energieagenten
-
Multimodale Generierung — Verwenden Sie Amazon Nova Canvas, um Bilder zu generieren, und verwenden Sie Amazon Nova Reel, um Videos anhand von Eingabeaufforderungen und strukturiertem Kontext zu erstellen.
-
Unternehmensassistenten — Verwenden Sie Amazon Nova Pro, um zielorientierte Entscheidungstools bereitzustellen, die auf firmeneigenen Daten basieren.
-
Feedback zur Benutzererfahrung in Echtzeit — Analysieren Sie Kundenaktionen mit einer Latenz von weniger als 100 ms und reagieren Sie mit Amazon Nova Micro darauf.
Amazon SageMaker Serverless Inference: Kundenspezifisches Hosting-Modell
Amazon SageMaker Serverless Inference wurde für Entwickler und Datenwissenschaftler entwickelt, die ihre eigenen Modelle trainiert haben (z. B., XGBoost PyTorchScikit-learn, undTensorFlow). Mithilfe von SageMaker Serverless Inference können sie ihre Modelle in einer skalierbaren, serverlosen Umgebung einsetzen.
Im Gegensatz zu Amazon Bedrock haben Sie mit SageMaker Serverless Inference die Kontrolle über die Modellarchitektur, die Trainingsdaten und die Logik.
Zu den wichtigsten Funktionen von SageMaker Serverless Inference gehören:
-
Unterstützt traditionelle ML-Modelle wie Klassifikation, Regression, Verarbeitung natürlicher Sprache (NLP) und Prognosen
-
Unterstützt Endpunkte mit mehreren Modellen
-
Unterstützt automatische Skalierung, sodass Rechenleistung bei Bedarf bereitgestellt und im Leerlauf heruntergefahren wird
-
Führt Inferenzen auf benutzerdefinierten Container-Images oder vorgefertigten ML-Frameworks aus
Zu den betrieblichen Vorteilen von SageMaker Serverless Inference gehören:
-
Pay-per-inference Modell ohne Leerlaufkosten
-
Vollständig verwaltete Endgeräte und kein Server-Setup
-
Lässt sich in Schulungspipelines und Notizbücher integrieren
SageMaker Serverless Inference lässt sich auf folgende Weise in andere AWS-Services Funktionen integrieren:
-
Wird mithilfe von AWS Lambda Step Functions oder SDK- und API-Aufrufen aufgerufen
-
Funktioniert mit SageMaker Pipelines für end-to-end maschinelles Lernen () MLOps
-
In Amazon integrierte Protokolle und Metriken CloudWatch
Ideale Anwendungsfälle für SageMaker serverlose Inferenz
SageMaker Serverless Inference ist eine gute Wahl für verschiedene Anwendungen des maschinellen Lernens:
-
Prädiktive Analytik — Wird für Modelle zur Prognose von Verkaufszahlen und zur Vorhersage der Kundenabwanderung verwendet.
-
Textklassifizierung — Unterstützt Aufgaben wie Spam-Erkennung und Stimmungsanalyse.
-
Bildklassifizierung — Ermöglicht Anwendungen zur optischen Zeichenerkennung (OCR) für Dokumente und medizinische Bildgebung.
-
Benutzerdefinierte Verarbeitung natürlicher Sprache (NLP) — Erledigt Aufgaben zur Erkennung von Entitäten und zur Kennzeichnung von Dokumenten.
Wahl zwischen Amazon Bedrock und SageMaker Serverless Inference
Sowohl Amazon Bedrock als auch SageMaker Serverless Inference bieten serverlose Pfade für eine skalierbare, produktionsbereite KI-Ausführung. Zusammen bilden sie die zentrale Ausführungsebene moderner, ereignisgesteuerter, serverloser KI-Architekturen. AWS In der folgenden Tabelle werden diese Dienste anhand ihrer wichtigsten Dimensionen verglichen.
Dimension |
Amazon Bedrock |
SageMaker Serverlose Inferenz |
|---|---|---|
Modelltyp |
Grundlegende Modelle () LLMs |
Kundenspezifisch trainierte ML-Modelle |
Einrichtungsaufwand |
Minimal (kein Training oder Hosting) |
Erfordert Modelltraining und Paketierung |
Anwendungsfall |
Generativ, dialogorientiert und semantisch |
Prädiktive, numerische und strukturierte Daten |
Skalierbarkeit |
Vollständig serverlos und automatisch skaliert |
Vollständig serverlos und automatisch skaliert |
Kostenmodell |
Zahlen Sie pro Token |
Zahlen Sie pro Schlussfolgerung |
Integration |
API Gateway, Lambda, Amazon Bedrock Agents und RAG |
Lambda, Step Functions und Pipelines CI/CD |
Tuning erforderlich |
Keine (Zero-shot oder Few-Shot) |
Volle Kontrolle (Hyperparameter und Umschulung) |
Die Wahl des richtigen Dienstes hängt von der Art Ihrer KI-Arbeitslast ab:
-
Verwenden Sie Amazon Bedrock, wenn Sie semantische Flexibilität, zielorientierte Workflows und schnelle Iterationen mit Basismodellen benötigen.
-
Verwenden Sie SageMaker Serverless Inference, wenn Sie über eigene Modelle und strukturierte Eingaben verfügen oder die volle Kontrolle über Schulung und Bereitstellung benötigen.
-
Verwenden Sie diese Option SageMaker JumpStart , um aus Hunderten von integrierten Algorithmen mit vortrainierten Modellen von Modell-Hubs wie TensorFlow Hub, PyTorch Hub und zu wählen. Hugging Face MxNet GluonCV
