So passen Sie die Aufnahme für eine Datenquelle an - Amazon Bedrock
Wählen Sie das Tool aus, das für die Analyse verwendet werden sollWählen Sie eine Chunking-Strategie ausSo verwenden Sie eine Lambda-Funktion bei der Datenaufnahme

So passen Sie die Aufnahme für eine Datenquelle an

Sie können die Vektoraufnahme anpassen, wenn Sie eine Datenquelle in der AWS-Managementkonsole verbinden oder indem Sie den Wert des Felds vectorIngestionConfiguration ändern, wenn Sie eine CreateDataSource-Anfrage senden.

Wählen Sie ein Thema aus, um zu erfahren, wie Sie Konfigurationen für die Anpassung der Aufnahme beim Herstellen einer Verbindung zu einer Datenquelle einbinden können:

Wählen Sie das Tool aus, das für die Analyse verwendet werden soll

Sie können anpassen, wie die Dokumente in Ihren Daten analysiert werden. Informationen zu den Optionen für das Parsen von Daten in Wissensdatenbanken für Amazon Bedrock finden Sie unter Parsing-Optionen für Ihre Datenquelle.

Warnung

Die Parsing-Strategie kann nach dem Herstellen einer Verbindung zur Datenquelle nicht mehr geändert werden. Sie können eine neue Datenquelle hinzufügen, um eine andere Analysestrategie zu verwenden.

Nachdem Sie eine Wissensdatenbank erstellt haben, können Sie keinen S3-Standort zum Speichern multimodaler Daten (einschließlich Bildern, Abbildungen, Diagrammen und Tabellen) hinzufügen. Wenn Sie multimodale Daten einbeziehen und einen Parser verwenden möchten, der diese unterstützt, müssen Sie eine neue Wissensdatenbank erstellen.

Die Schritte zur Auswahl einer Parsing-Strategie hängen davon ab, ob Sie die AWS-Managementkonsole oder die Amazon-Bedrock-API verwenden und welche Parsing-Methode Sie wählen. Wenn Sie sich für eine Analysemethode entscheiden, die multimodale Daten unterstützt, müssen Sie einen S3-URI angeben, in dem die aus Ihren Dokumenten extrahierten multimodalen Daten gespeichert werden sollen. Diese Daten können in einer Wissensdatenbankabfrage zurückgegeben werden.

  • Führen Sie in der AWS-Managementkonsole Folgendes aus:

    1. Wählen Sie die Parsing-Strategie aus, wenn Sie beim Einrichten einer Wissensdatenbank eine Datenquelle verbinden oder wenn Sie eine neue Datenquelle zu Ihrer vorhandenen Wissensdatenbank hinzufügen.

    2. (Wenn Sie Amazon Bedrock Data Automation oder ein Basismodell als Analysestrategie wählen) Geben Sie eine S3-URI an, in der die aus Ihren Dokumenten extrahierten multimodalen Daten im Abschnitt Multimodales Speicherziel gespeichert werden, wenn Sie ein Einbettungsmodell auswählen und Ihren Vektorspeicher konfigurieren. Sie können optional auch einen kundenseitig verwalteten Schlüssel nutzen, um Ihre S3-Daten in diesem Schritt zu verschlüsseln.

  • Gehen Sie in der Amazon-Bedrock-API wie folgt vor:

    1. (Wenn Sie planen, Amazon Bedrock Data Automation oder ein Basismodell als Parsing-Strategie zu verwenden) Fügen Sie eine SupplementalDataStorageLocation in die VectorKnowledgeBaseConfiguration einer CreateKnowledgeBase-Anfrage ein.

    2. Fügen Sie eine ParsingConfiguration im parsingConfiguration-Feld der VectorIngestionConfiguration der CreateDataSource-Anfrage ein.

      Anmerkung

      Wenn Sie diese Konfiguration weglassen, verwendet Wissensdatenbanken für Amazon Bedrock den Standard-Parser für Amazon Bedrock.

Für weitere Informationen zur Angabe einer Parsing-Strategie in der API erweitern Sie den Abschnitt, der der Parsing-Strategie entspricht, die Sie verwenden möchten:

Wenn Sie den Standard-Parser verwenden möchten, fügen Sie das parsingConfiguration-Feld nicht in die VectorIngestionConfiguration ein.

Wenn Sie den Parser für Amazon Bedrock Data Automation verwenden möchten, geben Sie BEDROCK_DATA_AUTOMATION im parsingStrategy-Feld der ParsingConfiguration an und fügen eine BedrockDataAutomationConfiguration in das Feld bedrockDataAutomationConfiguration ein, wie im folgenden Format:

{
    "parsingStrategy": "BEDROCK_DATA_AUTOMATION",
    "bedrockDataAutomationConfiguration": {
        "parsingModality": "string"
    }
}

Wenn Sie ein Basismodell als Parser verwenden möchten, geben Sie das BEDROCK_FOUNDATION_MODEL im parsingStrategy-Feld der ParsingConfiguration an und fügen eine BedrockFoundationModelConfiguration in das Feld bedrockFoundationModelConfiguration ein, wie im folgenden Format:

{
    "parsingStrategy": "BEDROCK_FOUNDATION_MODEL",
    "bedrockFoundationModelConfiguration": {
        "modelArn": "string",
        "parsingModality": "string",
        "parsingPrompt": {
            "parsingPromptText": "string"
        }
    }
}

Wählen Sie eine Chunking-Strategie aus

Sie können anpassen, wie die Dokumente in Ihren Daten zum Speichern und Abrufen aufgeteilt werden. Informationen zu den Optionen für das Chunking von Daten in Wissensdatenbanken für Amazon Bedrock finden Sie unter So funktioniert das Inhalts-Chunking für Wissensdatenbanken.

Warnung

Die Aufteilungsstrategie kann nach dem Herstellen einer Verbindung zur Datenquelle nicht mehr geändert werden.

In der AWS-Managementkonsole wählen Sie die Blockstrategie aus, wenn Sie eine Verbindung zu einer Datenquelle herstellen. Mithilfe der Amazon-Bedrock-API fügen Sie eine ChunkingConfiguration in das Feld chunkingConfiguration der VectorIngestionConfiguration ein.

Anmerkung

Wenn Sie diese Konfiguration weglassen, teilt Amazon Bedrock Ihren Inhalt in Blöcke von etwa 300 Token auf, wobei die Satzgrenzen beibehalten werden.

Erweitern Sie den Abschnitt, der der Parsing-Strategie entspricht, die Sie verwenden möchten:

Um jedes Dokument in Ihrer Datenquelle als einen einzelnen Quellblock zu behandeln, geben Sie NONE im chunkingStrategy-Feld der ChunkingConfiguration an, wie im folgenden Format:

{
    "chunkingStrategy": "NONE"
}

Um jedes Dokument in Ihrer Datenquelle in Blöcke mit ungefähr derselben Größe aufzuteilen, geben Sie FIXED_SIZE im chunkingStrategy-Feld der ChunkingConfiguration an und fügen eine FixedSizeChunkingConfiguration im Feld fixedSizeChunkingConfiguration ein, wie im folgenden Format:

{
    "chunkingStrategy": "FIXED_SIZE",
    "fixedSizeChunkingConfiguration": {
        "maxTokens": number,
        "overlapPercentage": number
    }
}

Um jedes Dokument in Ihrer Datenquelle in zwei Ebenen zu unterteilen, wobei die zweite Ebene kleinere Blöcke enthält, die von der ersten Ebene abgeleitet wurden, geben Sie HIERARCHICAL im chunkingStrategy-Feld der ChunkingConfiguration an und fügen das Feld hierarchicalChunkingConfiguration ein wie im folgenden Format:

{
    "chunkingStrategy": "HIERARCHICAL",
    "hierarchicalChunkingConfiguration": {
        "levelConfigurations": [{
            "maxTokens": number
        }],
        "overlapTokens": number
    }
}

Um jedes Dokument in Ihrer Datenquelle in Blöcke zu unterteilen, die der semantischen Bedeutung Vorrang vor der syntaktischen Struktur einräumen, geben Sie SEMANTIC im Feld chunkingStrategy der ChunkingConfiguration an und fügen das Feld semanticChunkingConfiguration ein, wie im folgenden Format:

{
    "chunkingStrategy": "SEMANTIC",
    "semanticChunkingConfiguration": {
        "breakpointPercentileThreshold": number,
        "bufferSize": number,
        "maxTokens": number
    }
}

So verwenden Sie eine Lambda-Funktion bei der Datenaufnahme

Sie können auf folgende Weise nachbearbeiten, wie die Quellblöcke aus Ihren Daten mit einer Lambda-Funktion in den Vektorspeicher geschrieben werden:

  • Fügen Sie eine Chunking-Logik hinzu, um eine benutzerdefinierte Chunking-Strategie bereitzustellen.

  • Schließen Sie Logik ein, um Metadaten auf Blockebene anzugeben.

Informationen zum Schreiben einer benutzerdefinierten Lambda-Funktion für die Aufnahme finden Sie unter So verwenden Sie eine benutzerdefinierte Transformations-Lambda-Funktion, um zu bestimmen, wie Ihre Daten aufgenommen werden. Wählen Sie die Lambda-Funktion in der AWS-Managementkonsole aus, wenn Sie eine Verbindung zu einer Datenquelle herstellen. Fügen Sie mit der Amazon-Bedrock-API eine CustomTransformationConfiguration im Feld CustomTransformationConfiguration der VectorIngestionConfiguration ein und geben den ARN des Lambda an, wie im folgenden Format:

{
    "transformations": [{
        "transformationFunction": {
            "transformationLambdaConfiguration": {
                "lambdaArn": "string"
            }
        },
        "stepToApply": "POST_CHUNKING"
    }],
    "intermediateStorage": {
        "s3Location": {
            "uri": "string"
        }
    }
}

Sie geben auch den S3-Speicherort an, an dem die Ausgabe gespeichert werden soll, nachdem die Lambda-Funktion angewendet wurde.

Sie können das Feld chunkingConfiguration zur Anwendung der Lambda-Funktion hinzufügen, nachdem Sie eine der von Amazon Bedrock angebotenen Chunking-Optionen angewendet haben.