Ayude a mejorar esta página
Para contribuir a esta guía del usuario, elija el enlace Edit this page on GitHub que se encuentra en el panel derecho de cada página.
Descripción general de la inteligencia artificial y el machine learning en Amazon EKS
sugerencia
Regístrese
Amazon Elastic Kubernetes Service (Amazon EKS) es un servicio de Kubernetes administrado que permite a las organizaciones implementar, administrar y escalar cargas de trabajo de inteligencia artificial (IA) y machine learning (ML) con una flexibilidad y un control incomparables. Como Amazon EKS está basado en Kubernetes primitivo, puede aplicar su experiencia actual en Kubernetes y, al mismo tiempo, se integra sin problemas con las herramientas y los servicios de AWS de código abierto.
Ya sea que esté entrenando modelos a gran escala, ejecutando inferencias en línea en tiempo real o implementando aplicaciones de IA generativa, Amazon EKS ofrece el rendimiento, la escalabilidad y la rentabilidad que exigen sus proyectos de IA y ML.
Por qué usar Amazon EKS para IA y ML
Amazon EKS proporciona el control, las integraciones, el rendimiento y la escalabilidad necesarios para los proyectos de IA y ML. Creado en Kubernetes ascendente e integrado con servicios de AWS, Amazon EKS le permite utilizar la experiencia existente en Kubernetes a la vez que orquesta cargas de trabajo complejas. Para los equipos que se inician en las implementaciones de IA y ML, las habilidades existentes en Kubernetes se transfieren sin curvas de aprendizaje pronunciadas.
Amazon EKS es compatible con todo, desde las personalizaciones del sistema operativo hasta el escalado de computación, y promueve la flexibilidad tecnológica que preserva la capacidad de elección para las futuras decisiones de infraestructura. La plataforma proporciona el rendimiento y las opciones de ajuste que requieren las cargas de trabajo de IA y ML, lo que incluye las siguientes características:
-
Control total del clúster: refine los costos y las configuraciones sin abstracciones ocultas.
-
Latencia de menos de un segundo ejecute cargas de trabajo de inferencia en tiempo real en producción.
-
Personalizaciones avanzadas: configure las GPU de varias instancias, el ajuste de la red y el ajuste del sistema operativo.
-
Orquestación unificada: orqueste todas las canalizaciones de IA y ML y los entornos en las instalaciones, de periferia y en la nube.
-
Optimización de costos: utilice el escalado automático, la programación nativa de la GPU y diversos tipos de instancias de GPU y aceleradores.
Casos de uso clave
Amazon EKS admite una amplia gama de cargas de trabajo de IA y ML, que incluyen los siguientes casos de uso comunes:
-
Inferencia: modelos de alojamiento propio en Amazon EKS para casos de uso que requieren tiempos de respuesta de baja latencia.
-
Inferencia en lotes: procese conjuntos de datos grandes de manera eficiente mediante trabajos programados.
-
Entrenamiento del modelo: entrene modelos complejos en conjuntos de datos de gran tamaño durante periodos de tiempo prolongados.
-
Refinamiento de modelos: mejore los modelos de código abierto con conocimientos de dominio patentados.
-
Canalizaciones de generación aumentada por recuperación (RAG): integre los procesos de recuperación y generación.
-
IA agéntica: implemente agentes con modelos alojados en Amazon Bedrock, plataformas de terceros o Amazon EKS.
Casos prácticos
Los clientes seleccionan Amazon EKS por varios motivos, como optimizar el uso de la GPU o ejecutar cargas de trabajo de inferencia con una latencia inferior a un segundo, como se demuestra en los siguientes casos prácticos. Para ver una lista de todos los casos prácticos de Amazon EKS, consulte Historias de éxito de clientes de AWS
-
BMW Group
opera una de las flotas conectadas más grandes del mundo, con más de 25 millones de vehículos conectados, y creó su plataforma de IA conectada en Amazon EKS con Ray para la formación distribuida y Karpenter para el escalado automático de la GPU, lo que redujo el tiempo de entrenamiento del modelo de horas a 30 minutos a 5 € por sesión de entrenamiento, al tiempo que apoya a más de 550 desarrolladores en más de 60 casos de uso de IA. -
Booking.com
, una de las principales plataformas de viajes del mundo, migró su sistema de inferencia de ML para las clasificaciones de búsqueda a Amazon EKS para ofrecer escalabilidad para la experimentación, con un procesamiento de hasta 250 000 solicitudes por segundo con una latencia de 40 ms p99,9. -
Unitary
procesa 26 millones de videos al día mediante IA para la moderación de contenido. La empresa requiere inferencias de alto rendimiento y baja latencia y ha conseguido reducir en un 80 % los tiempos de arranque de los contenedores, lo que garantiza una respuesta rápida a los eventos de escalado a medida que el tráfico fluctúa. -
Synthesia
ofrece la creación de videos mediante IA generativa como un servicio para que los clientes puedan crear videos realistas a partir de peticiones de texto. La empresa logró una mejora equivalente a 30 veces el rendimiento del entrenamiento del modelo de ML. -
Ada Support
, una empresa de automatización del servicio al cliente impulsada por IA, logró una reducción del 15 % en los costos de cómputo junto con un aumento del 30 % en la eficiencia informática. -
Snorkel AI
capacita a las empresas para crear y adaptar modelos fundacionales y modelos de lenguaje de gran tamaño. La empresa logró ahorrar más del 40 % al implementar mecanismos de escalado inteligentes para los recursos de la GPU. -
Artera
utiliza Amazon Elastic File System (Amazon EFS) y Amazon EKS para entrenar modelos de ML que personalizan el tratamiento del cáncer mediante imágenes de biopsia de alta resolución. -
Anthropic
ejecuta su emblemática familia de modelos fundacionales Claude en Amazon EKS y opera algunos de los clústeres de EKS más grandes en producción, compuestos por instancias de AWS Trainium (trn2) y GPU NVIDIA para cargas de trabajo de IA, junto con procesadores AWS Graviton para el procesamiento de datos con uso intensivo de la CPU.
Estructura de la guía
La guía incluye una serie de guías prácticas que puede seguir paso a paso para implementar y administrar cargas de trabajo de IA y ML en Amazon EKS. Cada guía proporciona instrucciones y configuraciones que puede implementar directamente en el entorno.
Junto con las instrucciones, la guía proporciona los antecedentes y los conceptos fundacionales necesarios para cada tema. También incluye los enlaces a los recursos y la documentación de AWS pertinentes para obtener los detalles técnicos específicos necesarios.
Introducción al uso de IA y ML en Amazon EKS
Para comenzar a planificar y utilizar plataformas y cargas de trabajo de IA y ML en Amazon EKS, siga la sección Configuración del clúster de Amazon EKS para cargas de trabajo de IA y ML para crear un clúster de Amazon EKS, que incluya los componentes de Kubernetes necesarios, en su cuenta de AWS. Una vez que el entorno esté listo y en funcionamiento, continúe con los siguientes pasos:
-
Configuración del clúster de Amazon EKS para cargas de trabajo de IA y ML: cree la infraestructura de clústeres, supervisión y bucket de Amazon S3 de Amazon EKS para utilizarla en esta sección.
-
Ejecución de cargas de trabajo de inferencia de IA y ML en Amazon EKS: utilice Amazon EKS para implementar, configurar y comenzar a utilizar una aplicación de inferencia con un modelo de lenguaje de gran tamaño (LLM).
-
Configuración del clúster de Amazon EKS para cargas de trabajo de IA/ML: configure los clústeres de Amazon EKS optimizados para cargas de trabajo de IA y ML.
-
Administración de los recursos computacionales para las cargas de trabajo de IA/ML en Amazon EKS: administre y optimice los recursos de computación para las cargas de trabajo de machine learning en Amazon EKS.
-
Administración de los dispositivos de hardware en Amazon EKS: administre dispositivos de hardware especializados mediante la asignación dinámica de recursos (DRA) y los complementos de dispositivos.
