As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Processamento multimodal nativo
Com o processamento multimodal nativo, uma base de conhecimento gerenciada do Amazon Bedrock envia cada arquivo diretamente para um modelo de incorporação multimodal. Em seguida, o modelo cria incorporações a partir do conteúdo bruto de imagem, áudio e vídeo.
Sem um modelo nativo de incorporação multimodal, uma base de conhecimento funciona de forma diferente. Primeiro, ele analisa seus arquivos. Em seguida, ele divide o texto que extrai deles. Finalmente, ele incorpora esses pedaços com um modelo de incorporação de texto.
O processamento multimodal nativo ignora a análise e a extração de texto. Como resultado, ele mantém os detalhes visuais e de áudio que a extração de texto perderia.
Para habilitar o processamento multimodal nativo, escolha um modelo de incorporação multimodal nativo ao criar a base de conhecimento. Atualmente, TwelveLabs Marengo Embed 3.0 (twelvelabs.marengo-embed-3-0-v1:0) é o único modelo que você pode escolher. Para obter instruções sobre como configurá-lo, consulteCriar uma base de conhecimentos gerenciada.
Como funciona o processamento multimodal nativo
Quando você configura uma base de conhecimento com um modelo nativo de incorporação multimodal, o seguinte se aplica:
-
Somente a estratégia de
MULTI_MODAL_EMBEDDINGSanálise é suportada. Você não pode combinar um modelo nativo de incorporação multimodal com outras estratégias de análise. -
Os arquivos são enviados diretamente para o modelo de incorporação. O modelo de incorporação processa o arquivo bruto e produz incorporações a partir de seu conteúdo nativo.
-
Text-based estratégias de fragmentação não são suportadas. Como seus arquivos não são analisados em texto, as estratégias de fragmentação que se aplicam ao texto, como a fragmentação padrão e a fragmentação de tamanho fixo, não se aplicam.
-
Você pode configurar a segmentação para áudio e vídeo. Em vez de uma estratégia de fragmentação de texto, você escolhe como a base de conhecimento divide os arquivos de áudio e vídeo em segmentos. Use as configurações de segmentação no
modelConfigurationcampo. Para obter mais informações, consulte Criar uma base de conhecimentos gerenciada. -
Somente os tipos de arquivo que o modelo suporta são suportados. Uma base de conhecimento configurada com um modelo nativo de incorporação multimodal pode ingerir somente os tipos de arquivo que o modelo aceita. Para ver os tipos de arquivo e outras configurações TwelveLabs Marengo Embed 3.0 compatíveis, consulteTwelveLabs Marengo Embed 3.0.
-
Você deve fornecer um destino de armazenamento multimodal. Forneça um local do Amazon S3 para que a base de conhecimento processe e ingira seu conteúdo. O Amazon Bedrock Knowledge Bases cria uma pasta de
aws/prefixo em seu bucket. Use um bucket diferente do seu bucket da fonte de dados. Para obter as permissões de que a função de serviço precisa, consultePermissões para seu destino de armazenamento multimodal. -
Somente a Retrieve API é suportada. Você consulta uma base de conhecimento que usa um modelo nativo de incorporação multimodal com a operação. Retrieve A RetrieveAndGenerate operação não é suportada.
-
As consultas devem ser de texto. Você consulta seu conteúdo multimodal usando texto. Não há suporte para consultas de imagens.
Para obter detalhes sobre os metadados que a Retrieve operação retorna para resultados multimodais e como buscar o arquivo correspondente, consulte. Recupere respostas para bases de conhecimento multimodais nativas
Como a base de conhecimento invoca o modelo de incorporação
Quando você usa um modelo nativo de incorporação multimodal, sua base de conhecimento invoca esse modelo de forma síncrona e assíncrona. Ele usa invocação síncrona quando você envia uma consulta e invocação assíncrona quando ingere seu conteúdo. Sua função de serviço precisa de permissões para ambas. Para obter mais informações sobre a política a ser anexada, consultePermissões para acessar os modelos do Amazon Bedrock.
nota
Em alguns Regiões da AWS, o TwelveLabs Marengo Embed 3.0 modelo suporta invocação síncrona somente por meio de um perfil de inferência. A invocação assíncrona ainda usa o modelo sob demanda. Nessas regiões, especifique um perfil de inferência ao criar a base de conhecimento. Em seguida, a base de conhecimento usa o perfil de inferência e o modelo sob demanda para processar seu conteúdo. Sua função de serviço precisa de permissões para ambas.
Para verificar como TwelveLabs Marengo Embed 3.0 é suportado no Região da AWS que você usa, consulteTwelveLabs Marengo Embed 3.0.
Gerenciamento de dados transitórios com políticas de ciclo de vida do Amazon S3
Enquanto as bases de conhecimento da Amazon Bedrock processam seu conteúdo, elas armazenam dados transitórios em seu destino de armazenamento multimodal. Ele tenta excluir esses dados quando o processamento é concluído. Para garantir que os dados expirem, recomendamos que você aplique uma política de ciclo de vida ao caminho de dados transitório.
Para obter mais informações sobre as políticas de ciclo de vida do Amazon S3, consulte Gerenciamento do ciclo de vida de objetos no Guia do usuário do Amazon S3.
