Utilisation CloudFormation pour configurer l'inférence à distance pour la recherche sémantique - Amazon OpenSearch Service

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation CloudFormation pour configurer l'inférence à distance pour la recherche sémantique

À partir de OpenSearch la version 2.9, vous pouvez utiliser l'inférence à distance avec la recherche sémantique pour héberger vos propres modèles d'apprentissage automatique (ML). L'inférence à distance utilise le plugin ML Commons.

Grâce à l'inférence à distance, vous pouvez héberger vos inférences de modèles à distance sur des services ML, tels qu'Amazon SageMaker AI et Amazon Bedrock, et les connecter à Amazon OpenSearch Service à l'aide de connecteurs ML.

Pour faciliter la configuration de l'inférence à distance, Amazon OpenSearch Service fournit un AWS CloudFormationmodèle dans la console. CloudFormation est un Service AWS endroit où vous pouvez, provisionner AWS et gérer des ressources tierces en traitant l'infrastructure comme du code.

Le OpenSearch CloudFormation modèle automatise le processus de mise en service du modèle pour vous, afin que vous puissiez facilement créer un modèle dans votre domaine de OpenSearch service, puis utiliser l'ID du modèle pour ingérer des données et exécuter des requêtes de recherche neuronale.

Lorsque vous utilisez des encodeurs neuronaux épars avec les versions 2.12 et ultérieures du OpenSearch Service, nous vous recommandons d'utiliser le modèle tokenizer localement plutôt que de le déployer à distance. Pour plus d'informations, consultez la section Modèles de codage épars dans la OpenSearch documentation.

CloudFormation Modèles disponibles

Les modèles d'apprentissage AWS CloudFormation automatique (ML) suivants sont disponibles :

Modèles Amazon Bedrock
Intégration des intégrations de texte Amazon Titan

Se connecte aux modèles ML hébergés par Amazon Bedrock, élimine le besoin de déployer des modèles séparés et utilise des points de terminaison Amazon Bedrock prédéterminés. Pour plus d'informations, consultez Amazon Titan Text Embeddings dans le guide de l'utilisateur d'Amazon Bedrock.

Intégration Cohere Embed

Permet d'accéder aux modèles Cohere Embed et est optimisé pour des flux de travail de traitement de texte spécifiques. Pour plus d'informations, voir Intégrer sur le site Web de Cohere Docs.

Intégrations multimodales Amazon Titan

Prend en charge l'intégration de texte et d'image et permet des fonctionnalités de recherche multimodales. Pour plus d'informations, consultez Amazon Titan Multimodal Embeddings dans le guide de l'utilisateur d'Amazon Bedrock.

Modèles d'intégration de serveurs MCP
Intégration au serveur MCP

Déploie un Amazon Bedrock AgentCore Runtime, fournit un point de terminaison d'agent, gère l'authentification entrante et sortante et prend en charge OAuth l'authentification d'entreprise.

SageMaker Modèles Amazon
Intégration aux modèles d'intégration de texte via Amazon SageMaker

Déploie des modèles d'intégration de texte dans Amazon SageMaker Runtime, crée des rôles IAM pour l'accès aux artefacts du modèle et établit des connecteurs ML pour la recherche sémantique.

Intégration avec Sparse Encoders via SageMaker

Configure des modèles de codage épars pour la recherche neuronale, crée des AWS Lambda fonctions pour la gestion des connecteurs et renvoie le modèle IDs pour une utilisation immédiate.

Prérequis

Pour utiliser un CloudFormation modèle avec OpenSearch Service, remplissez les conditions préalables suivantes.

Configuration d'un domaine OpenSearch de service

Avant de pouvoir utiliser un CloudFormation modèle, vous devez configurer un domaine Amazon OpenSearch Service avec la version 2.9 ou ultérieure et activer le contrôle d'accès détaillé. Créez un rôle OpenSearch de backend de service pour autoriser le plugin ML Commons à créer votre connecteur pour vous.

Le CloudFormation modèle crée pour vous un rôle Lambda IAM avec le nom par défautLambdaInvokeOpenSearchMLCommonsRole, que vous pouvez remplacer si vous souhaitez en choisir un autre. Une fois que le modèle a créé ce rôle IAM, vous devez autoriser la fonction Lambda à appeler OpenSearch votre domaine de service. Pour ce faire, associez le rôle nommé ml_full_access à votre rôle OpenSearch principal de service en procédant comme suit :

  1. Accédez au plugin OpenSearch Dashboards correspondant à votre domaine OpenSearch de service. Vous pouvez trouver le point de terminaison Dashboards sur le tableau de bord de votre domaine sur la console OpenSearch de service.

  2. Dans le menu principal, choisissez Sécurité, Rôles, puis sélectionnez le rôle ml_full_access.

  3. Choisissez Mapped users (Utilisateurs mappés), Manage mapping (Gérer le mappage).

  4. Sous Rôles principaux, ajoutez l'ARN du rôle Lambda qui a besoin d'une autorisation pour appeler votre domaine.

    arn:aws:iam::account-id:role/role-name
  5. Sélectionnez Mapper et vérifiez que l'utilisateur ou le rôle s'affiche sous Utilisateurs mappés.

Après avoir mappé le rôle, accédez à la configuration de sécurité de votre domaine et ajoutez le rôle Lambda IAM à OpenSearch votre politique d'accès au service.

Activez les autorisations sur votre Compte AWS

Vous Compte AWS devez être autorisé à accéder CloudFormation à Lambda, ainsi qu'à celui que Service AWS vous choisissez pour votre modèle : SageMaker Runtime ou Amazon Bedrock.

Si vous utilisez Amazon Bedrock, vous devez également enregistrer votre modèle. Consultez la section Accès aux modèles dans le guide de l'utilisateur d'Amazon Bedrock pour enregistrer votre modèle.

Si vous utilisez votre propre compartiment Amazon S3 pour fournir des artefacts de modèle, vous devez ajouter le rôle CloudFormation IAM à votre politique d'accès S3. Pour plus d’informations, consultez la rubrique Ajout et suppression d’autorisations basées sur l’identité IAM du Guide de l’utilisateur IAM.

Inférence à distance pour les modèles de surlignage sémantique

La mise en évidence sémantique est une fonctionnalité de recherche avancée qui améliore la pertinence des résultats en analysant le sens et le contexte des requêtes plutôt que de se fier uniquement aux correspondances exactes des mots clés. Cette fonctionnalité utilise des modèles d'apprentissage automatique pour évaluer la similitude sémantique entre les requêtes de recherche et le contenu des documents, en identifiant et en mettant en évidence les phrases ou les passages les plus pertinents du point de vue contextuel dans les documents. Contrairement aux méthodes de surlignage traditionnelles qui se concentrent sur les correspondances exactes des termes, la mise en évidence sémantique utilise des modèles d'intelligence artificielle pour évaluer chaque phrase à l'aide des informations contextuelles provenant à la fois de la requête et du texte environnant, ce qui lui permet de faire ressortir des informations pertinentes même lorsque les termes de recherche exacts ne figurent pas dans les passages surlignés. Cette approche est particulièrement utile pour les implémentations de recherche basées sur l'IA où les utilisateurs privilégient le sens sémantique par rapport à la correspondance littérale des mots, ce qui permet aux administrateurs de recherche de proposer des expériences de recherche plus intelligentes et contextuelles qui mettent en évidence des segments de contenu significatifs plutôt que de simples occurrences de mots clés. Pour plus d'informations, consultez la section Utilisation du surlignage sémantique.

Utilisez la procédure suivante pour ouvrir et exécuter un CloudFormation modèle qui configure automatiquement les SageMaker modèles Amazon pour la mise en évidence sémantique.

Pour utiliser le modèle de surlignage CloudFormation sémantique
  1. Ouvrez la console Amazon OpenSearch Service à la https://console.aws.amazon.com/aos/maison.

  2. Dans le volet de navigation de gauche, sélectionnez Intégrations.

  3. Sous Activer la mise en évidence sémantique via SageMaker l'intégration d'Amazon, choisissez Configurer le domaine, Configurer le domaine public.

  4. Suivez les instructions pour configurer votre modèle.

Note

OpenSearch Le service fournit également un modèle distinct pour configurer le domaine VPC. Si vous utilisez ce modèle, vous devez fournir l'ID VPC de la fonction Lambda.