Utilizzo AWS CloudFormation per configurare l'inferenza remota per la ricerca semantica - OpenSearch Servizio Amazon

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Utilizzo AWS CloudFormation per configurare l'inferenza remota per la ricerca semantica

A partire dalla OpenSearch versione 2.9, puoi utilizzare l'inferenza remota con la ricerca semantica per ospitare i tuoi modelli di machine learning (ML). L'inferenza remota utilizza il plug-in ML Commons.

Con l'inferenza remota, puoi ospitare le inferenze dei tuoi modelli in remoto su servizi ML, come Amazon AI SageMaker e Amazon Bedrock, e collegarli ad Amazon OpenSearch Service con connettori ML.

Per facilitare la configurazione dell'inferenza remota, Amazon OpenSearch Service fornisce un AWS CloudFormationmodello nella console. CloudFormation è un ambiente Servizio AWS in cui è possibile effettuare il provisioning AWS e gestire risorse di terze parti trattando l'infrastruttura come codice.

Il OpenSearch CloudFormation modello automatizza il processo di provisioning del modello per te, in modo che tu possa creare facilmente un modello nel tuo dominio di OpenSearch servizio e quindi utilizzare l'ID del modello per importare dati ed eseguire query di ricerca neurali.

Quando utilizzi codificatori neurali sparsi con la versione 2.12 e successive del OpenSearch servizio, ti consigliamo di utilizzare il modello tokenizer localmente anziché distribuirlo in remoto. Per ulteriori informazioni, consulta i modelli di codifica Sparse nella documentazione. OpenSearch

Modelli disponibili AWS CloudFormation

I seguenti modelli di AWS CloudFormation machine learning (ML) sono disponibili per l'uso:

Modelli Amazon Bedrock
Integrazione con Amazon Titan Text Embeddings

Si connette ai modelli ML ospitati di Amazon Bedrock, elimina la necessità di implementare modelli separati e utilizza endpoint Amazon Bedrock predeterminati. Per ulteriori informazioni, consulta Amazon Titan Text Embeddings nella Guida per l'utente di Amazon Bedrock.

Integrazione con Cohere Embed

Fornisce l'accesso ai modelli Cohere Embed ed è ottimizzato per flussi di lavoro di elaborazione del testo specifici. Per ulteriori informazioni, consulta Incorpora nel sito Web di Cohere docs.

Incorporamenti multimodali di Amazon Titan

Supporta l'incorporamento di testo e immagini e abilita funzionalità di ricerca multimodale. Per ulteriori informazioni, consulta Amazon Titan Multimodal Embeddings nella Amazon Bedrock User Guide.

Modelli di integrazione dei server MCP
Integrazione con server MCP

Implementa un Amazon Bedrock AgentCore Runtime, fornisce un endpoint agente, gestisce l'autenticazione in entrata e in uscita e supporta l'autenticazione aziendale. OAuth

SageMaker Modelli Amazon
Integrazione con modelli di incorporamento del testo tramite Amazon SageMaker

Implementa modelli di incorporamento di testo in Amazon SageMaker Runtime, crea ruoli IAM per l'accesso agli artefatti del modello e stabilisce connettori ML per la ricerca semantica.

Integrazione con Sparse Encoders tramite SageMaker

Imposta modelli di codifica sparsi per la ricerca neurale, crea AWS Lambda funzioni per la gestione dei connettori e restituisce il modello per l'uso immediato. IDs

Prerequisiti

Per utilizzare un CloudFormation modello con OpenSearch Service, completa i seguenti prerequisiti.

Configura un dominio di OpenSearch servizio

Prima di poter utilizzare un CloudFormation modello, devi configurare un dominio Amazon OpenSearch Service con la versione 2.9 o successiva e il controllo granulare degli accessi abilitato. Crea un ruolo OpenSearch di backend del servizio per autorizzare il plugin ML Commons a creare il connettore per te.

Il CloudFormation modello crea per te un ruolo Lambda IAM con il nome predefinitoLambdaInvokeOpenSearchMLCommonsRole, che puoi sostituire se desideri scegliere un nome diverso. Dopo che il modello ha creato questo ruolo IAM, devi autorizzare la funzione Lambda a chiamare il tuo dominio di OpenSearch servizio. Per farlo, associa il ruolo denominato ml_full_access al tuo ruolo di backend OpenSearch Service con i seguenti passaggi:

  1. Vai al plug-in OpenSearch Dashboards per il tuo dominio di OpenSearch servizio. Puoi trovare l'endpoint Dashboards nella dashboard del tuo dominio nella OpenSearch console di servizio.

  2. Dal menu principale scegli Sicurezza, Ruoli e seleziona il ruolo ml_full_access.

  3. Scegliere Utenti mappati, Gestisci mappatura.

  4. In Ruoli di backend, aggiungi l'ARN del ruolo Lambda che richiede l'autorizzazione per chiamare il tuo dominio.

    arn:aws:iam::account-id:role/role-name
  5. Selezionare Mappa e confermare che l'utente o il ruolo venga visualizzato in Utenti mappati.

Dopo aver mappato il ruolo, vai alla configurazione di sicurezza del tuo dominio e aggiungi il ruolo Lambda IAM alla OpenSearch tua policy di accesso al servizio.

Abilita le autorizzazioni sul tuo Account AWS

Account AWS Devi avere l'autorizzazione per accedere CloudFormation e Lambda, insieme a qualsiasi modello Servizio AWS tu scelga per il tuo modello, che sia Runtime SageMaker o Amazon Bedrock.

Se utilizzi Amazon Bedrock, devi anche registrare il tuo modello. Consulta Model access nella Amazon Bedrock User Guide per registrare il tuo modello.

Se utilizzi il tuo bucket Amazon S3 per fornire artefatti del modello, devi aggiungere il ruolo CloudFormation IAM alla tua policy di accesso S3. Per ulteriori informazioni, consulta Aggiunta e rimozione di autorizzazioni per identità IAM nella Guida per l'utente di IAM .

Inferenza remota per modelli di evidenziazione semantica

L'evidenziazione semantica è una funzionalità di ricerca avanzata che migliora la pertinenza dei risultati analizzando il significato e il contesto delle query anziché basarsi esclusivamente sulle corrispondenze esatte delle parole chiave. Questa funzionalità utilizza modelli di apprendimento automatico per valutare la somiglianza semantica tra le query di ricerca e il contenuto dei documenti, identificando ed evidenziando le frasi o i passaggi più rilevanti dal punto di vista contestuale all'interno dei documenti. A differenza dei metodi di evidenziazione tradizionali che si concentrano sulle corrispondenze esatte dei termini, l'evidenziazione semantica sfrutta i modelli di intelligenza artificiale per valutare ogni frase utilizzando informazioni contestuali provenienti sia dalla query che dal testo circostante, consentendole di far emergere informazioni pertinenti anche quando non sono presenti termini di ricerca esatti nei passaggi evidenziati. Questo approccio è particolarmente utile per le implementazioni di ricerca basate sull'intelligenza artificiale in cui gli utenti danno la priorità al significato semantico rispetto alla corrispondenza letterale delle parole, consentendo agli amministratori della ricerca di offrire esperienze di ricerca più intelligenti e contestualmente consapevoli che evidenziano intervalli di contenuti significativi anziché semplici occorrenze di parole chiave. Per ulteriori informazioni, consulta Utilizzo dell'evidenziazione semantica.

Utilizza la procedura seguente: apri ed esegui un AWS CloudFormation modello che configura automaticamente i SageMaker modelli Amazon per l'evidenziazione semantica.

Per utilizzare il modello di evidenziazione semantica CloudFormation
  1. Apri la console Amazon OpenSearch Service a https://console.aws.amazon.com/aos/casa.

  2. Nella barra di navigazione a sinistra, scegli Integrazioni.

  3. In Abilita l'evidenziazione semantica tramite l' SageMakerintegrazione di Amazon, scegli Configura dominio, Configura dominio pubblico.

  4. Segui le istruzioni per configurare il tuo modello.

Nota

OpenSearch Il servizio fornisce anche un modello separato per configurare il dominio VPC. Se utilizzi questo modello, devi fornire l'ID VPC per la funzione Lambda.