Esquemas de incrustación vectorial en tiempo real

Amazon MSK (Managed Streaming para Apache Kafka) admite esquemas de Amazon Managed Service para Apache Flink para generar incrustaciones vectoriales mediante Amazon Bedrock, lo que agiliza el proceso de creación de aplicaciones de IA en tiempo real basadas en datos contextuales actualizados. El esquema de MSF simplifica la incorporación de los datos más recientes de las canalizaciones de streaming de Amazon MSK en los modelos de IA generativa, lo que elimina la necesidad de escribir código personalizado para integrar flujos de datos en tiempo real, bases de datos vectoriales y modelos de lenguaje de gran tamaño.

Puede configurar el esquema de MSF para generar de forma continua incrustaciones vectoriales mediante los modelos de incrustación de Bedrock y, a continuación, indexar dichas incrustaciones en OpenSearch Service para los flujos de datos de Amazon MSK. Esto permite combinar el contexto de los datos en tiempo real con los potentes modelos de lenguaje de gran tamaño de Bedrock para generar respuestas de IA precisas y actualizadas, sin necesidad de escribir código personalizado. También puede optar por mejorar la eficiencia de la recuperación de datos mediante la compatibilidad integrada con técnicas de fragmentación de datos de LangChain, una biblioteca de código abierto que respalda entradas de alta calidad para la ingesta de modelos. El esquema administra la integración y el procesamiento de datos entre MSK, el modelo de incrustación seleccionado y el almacén vectorial de OpenSearch, lo que permite centrarse en crear las aplicaciones de IA en lugar de administrar la integración subyacente.

Los esquemas de incrustaciones vectoriales en tiempo real están disponibles en las siguientes regiones AWS: