Speichern und Abrufen von Konversationsverlauf und Kontext mit APIs für die Sitzungsverwaltung - Amazon Bedrock
Beispiel für einen AnwendungsfallWorkflowÜberlegungen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Speichern und Abrufen von Konversationsverlauf und Kontext mit APIs für die Sitzungsverwaltung

Anmerkung

Die APIs für die Sitzungsverwaltung befinden sich in der Vorversion und können geändert werden.

Mit den APIs für die Sitzungsverwaltung können Sie Prüfpunkte für laufende Konversationen in Anwendungen mit generativer KI speichern, die mit Open-Source-Frameworks wie LangGraph und LlamaIndex erstellt wurden. Sie können die APIs verwenden, um Status und Konversationskontext in mehrstufigen Workflows mit generativer KI sicher zu verwalten. Sie müssen keine benutzerdefinierten Back-End-Lösungen für die Beständigkeit von Status und Kontext erstellen, warten oder skalieren.

APIs für die Sitzungsverwaltung bieten Ihnen folgende Möglichkeiten:

  • Checkpoint-Workflow-Phasen für iteratives Testen und Human-in-the-Loop-Workflows.

  • Nehmen Sie Konversationen und Aufgaben an dem Punkt wieder auf, an dem sie unterbrochen wurden.

  • Überprüfen Sie die Sitzungsprotokolle, um Workflow-Phasen zu analysieren und Fehler zu beheben.

Da Sitzungen eine Ressource in Amazon Bedrock sind, können Sie den Zugriff auf die Sitzung mit AWS Identity and Access Management (IAM) steuern. Standardmäßig verwendet Amazon Bedrock AWS-verwaltete Schlüssel für die Sitzungsverschlüsselung, einschließlich Sitzungsmetadaten. Sie können auch Ihren eigenen AWS KMS-Schlüssel verwenden. Weitere Informationen finden Sie unter Sitzungsverschlüsselung.

Sie können Amazon-Bedrock-Sitzungen mit den Amazon-Bedrock-APIs oder AWS SDKs erstellen und verwalten. Für Anwendungen, die auf LangGraph basieren, können Sie die BedrockSessionSaver-Klasse aus der langgraph_checkpoint_aws.saver-Bibliothek verwenden. Dies ist eine benutzerdefinierte Implementierung von LangGraph CheckpointSaver. Weitere Informationen finden Sie unter langgraph-checkpoint-aws im GitHub-Repository LangChain.

Anmerkung

Sie verwenden eine Sitzung, um den Status und den Konversationsverlauf für Anwendungen mit generativer KI zu speichern, die mit Open-Source-Frameworks erstellt wurden. Für Agenten für Amazon Bedrock verwaltet der Service automatisch den Konversationskontext und ordnet ihn der agentenspezifischen sessionId zu, die Sie in der API-Operation InvokeAgent angeben.

Themen

Beispiel für einen Anwendungsfall

Möglicherweise haben Sie eine Anwendung, die einen LangGraph-Agenten verwendet, um Kunden bei der Planung von Reiserouten zu unterstützen. Ein Benutzer kann eine Konversation mit diesem Agenten beginnen, um die Reiseroute für eine bevorstehende Reise zu erstellen und dabei Ziele, bevorzugte Hotels und Flugdetails hinzuzufügen.

Mithilfe von APIs für die Sitzungsverwaltung kann der Agent Zwischenstatus und dauerhaften Kontext für die gesamte erweiterte, mehrstufige Interaktion speichern. Der Agent könnte eine Amazon-Bedrock-Sitzung verwenden, um den Status zu überprüfen, nachdem jedes Ziel hinzugefügt wurde, wobei Details zu den Präferenzen des Kunden erhalten bleiben.

Wenn die Konversation unterbrochen wird oder fehlschlägt, kann der Agent die Sitzung später mit intaktem Kontext, einschließlich Text und Bildern, fortsetzen. Auf diese Weise kann der Agent weitermachen, ohne dass der Kunde die Informationen wiederholen muss. Im Falle eines Fehlers können Sie außerdem die Sitzungsdetails untersuchen, um die Ursache zu beheben.

Workflow

Der Workflow zur Verwendung APIs für die Sitzungsverwaltung sieht wie folgt aus. Weitere Informationen zur Verwendung der BedrockSessionSaver-Bibliothek finden Sie unter Verwalten von Sitzungen mit der BedrockSessionSaver-Bibliothek in LangGraph.

  • Sitzung erstellen – Wenn Ihr Endbenutzer die Konversation zum ersten Mal startet, erstellen Sie eine Sitzung mit der API-Operation CreateSession und geben eine ID für die Sitzung an. Sie verwenden diese ID, wenn Sie den Konversationsstatus speichern und abrufen.

  • Konversationen und Kontext speichern – Wenn Ihre Endbenutzer mit Ihrem generativen KI-Assistenten interagieren, verwenden Sie die CreateInvocation-API, um eine Gruppierung von Interaktionen innerhalb der Sitzung zu erstellen. Verwenden Sie für jeden Aufruf die PutInvocationStep-API-Operationen, um differenzierte Statusprüfpunkte, einschließlich Text und Bilder, für jede Interaktion zu speichern.

  • Gesprächsverlauf und Kontext abrufen – Verwenden Sie die API-Operationen GetSession, ListInvocations und GetInvocationStep, um Sitzungsmetadaten und Interaktionsdetails abzurufen.

  • Sitzung beenden – Wenn die Sitzung abgeschlossen ist, beenden Sie die Sitzung mit der API-Operation EndSession. Nach dem Beenden einer Sitzung können Sie immer noch auf ihren Inhalt zugreifen, aber Sie können keine Inhalte hinzufügen. Wenn Sie die Sitzung und ihren Inhalt löschen möchten, verwenden Sie die API-Operation DeleteSession.

Überlegungen

Bevor Sie Sitzungen erstellen und verwalten, beachten Sie Folgendes:

  • Sie können Sitzungen mit den Amazon-Bedrock-APIs und AWS SDKs erstellen und verwalten. Sie können die AWS-Managementkonsole nicht zur Verwaltung von Sitzungen verwenden.

  • Für Agentenanwendungen, die auf LangGraph basieren, können Sie die BedrockSessionSaver-Klasse aus der langchain-aws-Bibliothek verwenden. Dies ist eine benutzerdefinierte Implementierung von LangGraph CheckpointSaver. Weitere Informationen zur Verwendung der BedrockSessionSaver-Bibliothek finden Sie unter Verwalten von Sitzungen mit der BedrockSessionSaver-Bibliothek in LangGraph. Wenn Sie den Code direkt anzeigen möchten, rufen Sie langgraph-checkpoint-aws im GitHub-Repository LangChain auf.

  • Wenn Sie beim Erstellen einer Sitzung einen kundenseitig verwalteten AWS KMS-Schlüssel angeben, muss der Benutzer oder die Rolle, die die Sitzung erstellt, über die Berechtigung zur Verwendung des Schlüssels verfügen. Weitere Informationen finden Sie unter ., Sitzungsverschlüsselung.

  • Die APIs für die Sitzungsverwaltung verfügen über die folgenden Kontingente:

    • Anzahl der Aufrufschritte in einer Sitzung über alle Aufrufe hinweg – 1 000

    • Maximale Größe jedes Aufrufschritts – 50 MB

    • Timeout für IdleSession – 1 Stunde

    • Aufbewahrungsfrist – Sitzungsdaten werden automatisch nach 30 Tagen gelöscht.