So passen Sie die Aufnahme für eine Datenquelle an - Amazon Bedrock
Wählen Sie das Tool aus, das für die Analyse verwendet werden sollWählen Sie eine Chunking-Strategie ausSo verwenden Sie eine Lambda-Funktion bei der Datenaufnahme

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

So passen Sie die Aufnahme für eine Datenquelle an

Sie können die Vektoraufnahme anpassen, wenn Sie eine Datenquelle verbinden, AWS-Managementkonsole oder indem Sie den Wert des vectorIngestionConfiguration Felds beim Senden einer CreateDataSourceAnfrage ändern.

Wählen Sie ein Thema aus, um zu erfahren, wie Sie Konfigurationen für die Anpassung der Aufnahme beim Herstellen einer Verbindung zu einer Datenquelle einbinden können:

Wählen Sie das Tool aus, das für die Analyse verwendet werden soll

Sie können anpassen, wie die Dokumente in Ihren Daten analysiert werden. Informationen zu den Optionen für das Parsen von Daten in Wissensdatenbanken für Amazon Bedrock finden Sie unter Parsing-Optionen für Ihre Datenquelle.

Warnung

Die Parsing-Strategie kann nach dem Herstellen einer Verbindung zur Datenquelle nicht mehr geändert werden. Sie können eine neue Datenquelle hinzufügen, um eine andere Analysestrategie zu verwenden.

Nachdem Sie eine Wissensdatenbank erstellt haben, können Sie keinen S3-Standort zum Speichern multimodaler Daten (einschließlich Bildern, Abbildungen, Diagrammen und Tabellen) hinzufügen. Wenn Sie multimodale Daten einbeziehen und einen Parser verwenden möchten, der diese unterstützt, müssen Sie eine neue Wissensdatenbank erstellen.

Die Schritte zur Auswahl einer Parsing-Strategie hängen davon ab, ob Sie die Amazon Bedrock-API AWS-Managementkonsole oder die Amazon Bedrock-API verwenden und welche Parsing-Methode Sie wählen. Wenn Sie sich für eine Analysemethode entscheiden, die multimodale Daten unterstützt, müssen Sie einen S3-URI angeben, in dem die aus Ihren Dokumenten extrahierten multimodalen Daten gespeichert werden sollen. Diese Daten können in einer Wissensdatenbankabfrage zurückgegeben werden.

  • Gehen Sie in der wie AWS-Managementkonsole folgt vor:

    1. Wählen Sie die Parsing-Strategie aus, wenn Sie beim Einrichten einer Wissensdatenbank eine Datenquelle verbinden oder wenn Sie eine neue Datenquelle zu Ihrer vorhandenen Wissensdatenbank hinzufügen.

    2. (Wenn Sie Amazon Bedrock Data Automation oder ein Basismodell als Analysestrategie wählen) Geben Sie eine S3-URI an, in der die aus Ihren Dokumenten extrahierten multimodalen Daten im Abschnitt Multimodales Speicherziel gespeichert werden, wenn Sie ein Einbettungsmodell auswählen und Ihren Vektorspeicher konfigurieren. Sie können optional auch einen kundenseitig verwalteten Schlüssel nutzen, um Ihre S3-Daten in diesem Schritt zu verschlüsseln.

  • Gehen Sie in der Amazon-Bedrock-API wie folgt vor:

    1. (Wenn Sie Amazon Bedrock Data Automation oder ein Foundation-Modell als Analysestrategie verwenden möchten) Fügen Sie eine SupplementalDataStorageLocationin die Anfrage VectorKnowledgeBaseConfigurationein CreateKnowledgeBase.

    2. Fügen Sie a ParsingConfigurationin das parsingConfiguration Feld von VectorIngestionConfigurationin der CreateDataSourceAnfrage ein.

      Anmerkung

      Wenn Sie diese Konfiguration weglassen, verwendet Wissensdatenbanken für Amazon Bedrock den Standard-Parser für Amazon Bedrock.

Für weitere Informationen zur Angabe einer Parsing-Strategie in der API erweitern Sie den Abschnitt, der der Parsing-Strategie entspricht, die Sie verwenden möchten:

Wenn Sie den Standard-Parser verwenden möchten, fügen Sie das parsingConfiguration-Feld nicht in die VectorIngestionConfiguration ein.

Um den Amazon Bedrock Data Automation-Parser zu verwenden, geben Sie BEDROCK_DATA_AUTOMATION in das parsingStrategy Feld ein ParsingConfiguration und fügen a BedrockDataAutomationConfigurationin das bedrockDataAutomationConfiguration Feld ein, wie im folgenden Format:

{
    "parsingStrategy": "BEDROCK_DATA_AUTOMATION",
    "bedrockDataAutomationConfiguration": {
        "parsingModality": "string"
    }
}

Um ein Foundation-Modell als Parser zu verwenden, geben Sie das BEDROCK_FOUNDATION_MODEL in das parsingStrategy Feld von ein ParsingConfiguration und fügen a BedrockFoundationModelConfigurationin das bedrockFoundationModelConfiguration Feld ein, wie im folgenden Format:

{
    "parsingStrategy": "BEDROCK_FOUNDATION_MODEL",
    "bedrockFoundationModelConfiguration": {
        "modelArn": "string",
        "parsingModality": "string",
        "parsingPrompt": {
            "parsingPromptText": "string"
        }
    }
}

Wählen Sie eine Chunking-Strategie aus

Sie können anpassen, wie die Dokumente in Ihren Daten zum Speichern und Abrufen aufgeteilt werden. Informationen zu den Optionen für das Chunking von Daten in Wissensdatenbanken für Amazon Bedrock finden Sie unter So funktioniert das Inhalts-Chunking für Wissensdatenbanken.

Warnung

Die Aufteilungsstrategie kann nach dem Herstellen einer Verbindung zur Datenquelle nicht mehr geändert werden.

Im wählen AWS-Managementkonsole Sie die Chunking-Strategie, wenn Sie eine Verbindung zu einer Datenquelle herstellen. Mit der Amazon Bedrock API schließen Sie eine ChunkingConfigurationin den chunkingConfiguration Bereich der VectorIngestionConfigurationein.

Anmerkung

Wenn Sie diese Konfiguration weglassen, teilt Amazon Bedrock Ihren Inhalt in Blöcke von etwa 300 Token auf, wobei die Satzgrenzen beibehalten werden.

Erweitern Sie den Abschnitt, der der Parsing-Strategie entspricht, die Sie verwenden möchten:

Um jedes Dokument in Ihrer Datenquelle als einen einzelnen Quellblock zu behandeln, geben Sie NONE im chunkingStrategy-Feld der ChunkingConfiguration an, wie im folgenden Format:

{
    "chunkingStrategy": "NONE"
}

Um jedes Dokument in Ihrer Datenquelle in Blöcke mit ungefähr derselben Größe zu unterteilen, geben Sie FIXED_SIZE im chunkingStrategy Feld den an ChunkingConfiguration und fügen Sie a FixedSizeChunkingConfigurationin das fixedSizeChunkingConfiguration Feld ein, wie im folgenden Format:

{
    "chunkingStrategy": "FIXED_SIZE",
    "fixedSizeChunkingConfiguration": {
        "maxTokens": number,
        "overlapPercentage": number
    }
}

Um jedes Dokument in Ihrer Datenquelle in zwei Ebenen zu unterteilen, wobei die zweite Ebene kleinere Blöcke enthält, die von der ersten Ebene abgeleitet wurden, geben Sie HIERARCHICAL im chunkingStrategy-Feld der ChunkingConfiguration an und fügen das Feld hierarchicalChunkingConfiguration ein wie im folgenden Format:

{
    "chunkingStrategy": "HIERARCHICAL",
    "hierarchicalChunkingConfiguration": {
        "levelConfigurations": [{
            "maxTokens": number
        }],
        "overlapTokens": number
    }
}

Um jedes Dokument in Ihrer Datenquelle in Blöcke zu unterteilen, die der semantischen Bedeutung Vorrang vor der syntaktischen Struktur einräumen, geben Sie SEMANTIC im Feld chunkingStrategy der ChunkingConfiguration an und fügen das Feld semanticChunkingConfiguration ein, wie im folgenden Format:

{
    "chunkingStrategy": "SEMANTIC",
    "semanticChunkingConfiguration": {
        "breakpointPercentileThreshold": number,
        "bufferSize": number,
        "maxTokens": number
    }
}

So verwenden Sie eine Lambda-Funktion bei der Datenaufnahme

Sie können auf folgende Weise nachbearbeiten, wie die Quellblöcke aus Ihren Daten mit einer Lambda-Funktion in den Vektorspeicher geschrieben werden:

  • Fügen Sie eine Chunking-Logik hinzu, um eine benutzerdefinierte Chunking-Strategie bereitzustellen.

  • Schließen Sie Logik ein, um Metadaten auf Blockebene anzugeben.

Informationen zum Schreiben einer benutzerdefinierten Lambda-Funktion für die Aufnahme finden Sie unter So verwenden Sie eine benutzerdefinierte Transformations-Lambda-Funktion, um zu bestimmen, wie Ihre Daten aufgenommen werden. In der wählen AWS-Managementkonsole Sie die Lambda-Funktion, wenn Sie eine Verbindung zu einer Datenquelle herstellen. Bei der Amazon Bedrock API fügen Sie a CustomTransformationConfigurationin das CustomTransformationConfiguration Feld für ein VectorIngestionConfigurationund geben den ARN des Lambda an, wie im folgenden Format:

{
    "transformations": [{
        "transformationFunction": {
            "transformationLambdaConfiguration": {
                "lambdaArn": "string"
            }
        },
        "stepToApply": "POST_CHUNKING"
    }],
    "intermediateStorage": {
        "s3Location": {
            "uri": "string"
        }
    }
}

Sie geben auch den S3-Speicherort an, an dem die Ausgabe gespeichert werden soll, nachdem die Lambda-Funktion angewendet wurde.

Sie können das Feld chunkingConfiguration zur Anwendung der Lambda-Funktion hinzufügen, nachdem Sie eine der von Amazon Bedrock angebotenen Chunking-Optionen angewendet haben.