Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
GPU-acceleration para indexación vectorial
GPU-acceleration le ayuda a crear bases de datos vectoriales a gran escala de forma más rápida y eficiente. Puede habilitar esta función en OpenSearch dominios y colecciones OpenSearch sin servidor nuevos o existentes. Esta función se utiliza GPU-acceleration para reducir el tiempo necesario para indexar los datos en índices vectoriales.
Con GPU-acceleration ella, puede aumentar la velocidad de indexación vectorial hasta 10 veces a un cuarto del costo de indexación.
Requisitos previos
GPU-acceleration es compatible con OpenSearch los dominios en los que se ejecuta una OpenSearch versión 3.1 o posterior y OpenSearch con las colecciones sin servidor. Para obtener más información Actualización de los dominios OpenSearch de Amazon Service UpdateDomainConfig, consulte y UpdateCollection las API.
Funcionamiento
Los índices vectoriales requieren importantes recursos informáticos para crear estructuras de datos, como los gráficos de pequeños mundos jerárquicos navegables (HNSW). Cuando los habilitas GPU-acceleration en tu dominio o colección, detecta OpenSearch automáticamente las oportunidades para acelerar la creación de índices y transfiere las compilaciones de índices a instancias de GPU. OpenSearch El servicio administra las instancias de GPU en tu nombre y las asigna a tu dominio o colección cuando es necesario. Esto significa que no administras el uso ni pagas por el tiempo de inactividad.
Solo pagas por el procesamiento útil mediante unidades de cálculo (OCU): aceleración vectorial. Cada OCU de aceleración vectorial es una combinación de aproximadamente 8 GiB de memoria de CPU, 2 vCPU y 6 GiB de memoria de GPU. Para obtener más información, consulte Precios de aceleración de GPU.
Para habilitar la aceleración por GPU en tu dominio o colección, consulta. Habilitando GPU-acceleration
Precios de aceleración de GPU
AWS te cobra cuando OpenSearch detecta oportunidades para acelerar las cargas de trabajo de creación de índices de tu dominio o colección. Cada OCU de Vector Acceleration es una combinación de aproximadamente 8 GiB de memoria de CPU, 2 vCPU y 6 GiB de memoria de GPU.
AWS factura a OCU con una granularidad de segundo nivel. En tu estado de cuenta, verás una entrada para computar. OCU-hours
Por ejemplo, si utilizas 2 vCPU y 1 GiB de memoria de GPU durante una hora GPU-acceleration para crear un índice, se te factura 1 OCU. Si utilizas 9 GiB de memoria de CPU mientras lo usas GPU-acceleration, se te facturarán 2 OCU.
OpenSearch Serverless agrega OCU adicionales en incrementos de 1 OCU en función de la potencia de procesamiento y el almacenamiento necesarios para respaldar tus colecciones. Puede configurar un número máximo de OCU para su cuenta con el fin de controlar los costos.
nota
La cantidad de OCU aprovisionadas en un momento dado puede variar y no es exacta. Con el tiempo, el algoritmo que OpenSearch utiliza OpenSearch Serverless seguirá mejorando para minimizar mejor el uso del sistema.
Para obtener información completa sobre los precios, consulta los precios de los OpenSearch servicios de
GPU-acceleration y operaciones de escritura
GPU-acceleration se activa cuando OpenSearch la tasa de ingestión vectorial (MB/sec) está dentro de un rango. En OpenSearch los dominios, tiene la flexibilidad de configurar este rango de principio index.knn.remote_index_build.size.min fin. index.knn.remote_index_build.size.max Por ejemplo, si el rango inferior predeterminado es de 50 MB, se activará de forma predeterminada la escritura de 15 000 vectores de máxima precisión con 768 dimensiones entre los intervalos GPU-acceleration de actualización.
Los datos se escriben con las siguientes operaciones de API:
GPU-acceleration se activa con las fusiones de segmentos automáticas y
Configuraciones de índices compatibles
El motor
Las siguientes configuraciones no son compatibles GPU-acceleration:
compatible Regiones de AWS
GPU-acceleration está disponible en los siguientes formatos: Regiones de AWS
Este de EE. UU. (Norte de Virginia)
Este de EE. UU. (Ohio)
Oeste de EE. UU. (Oregón)
Asia-Pacífico (Sídney)
Asia-Pacífico (Tokio)
Asia-Pacífico (Mumbai)
Europa (Irlanda)
Europa (Fráncfort)
Europa (Estocolmo)
Europa (España)
Prácticas recomendadas
Siga estas prácticas recomendadas para maximizar los beneficios GPU-acceleration para sus cargas de trabajo de búsqueda vectorial:
-
Aumente los clientes de indexación: para aprovechar al máximo las GPU durante la creación del índice, aumente el número de clientes de indexación en los que ingieren datos. OpenSearch Esto permite una mejor paralelización y utilización de los recursos de la GPU.
-
Ajustar el umbral aproximado: cambie la
index.knn.advanced.approximate_thresholdconfiguración para garantizar que no se generen índices de segmentos más pequeños, lo que mejora la velocidad general de ingesta. Un valor de 10 000 es un buen punto de partida. En el caso de las colecciones, debe especificar explícitamente un valor para esta configuración. -
Optimice el tamaño de los fragmentos: intente crear fragmentos que tengan al menos 1 millón de documentos. Es posible que los fragmentos con menos de este número de documentos no obtengan beneficios generales. GPU-acceleration
