**Ayude a mejorar esta página**
Para contribuir a esta guía del usuario, elija el enlace **Edit this page on GitHub** que se encuentra en el panel derecho de cada página.
# Descripción general de la inteligencia artificial y el machine learning en Amazon EKS
**sugerencia**
[Regístrese](https://events.eksworkshop.com/workshops/genai/) en los próximos talleres de IA/ML de Amazon EKS.
Amazon Elastic Kubernetes Service (Amazon EKS) es un servicio de Kubernetes administrado que permite a las organizaciones implementar, administrar y escalar cargas de trabajo de inteligencia artificial (IA) y machine learning (ML) con una flexibilidad y un control incomparables. Como Amazon EKS está basado en Kubernetes primitivo, puede aplicar su experiencia actual en Kubernetes y, al mismo tiempo, se integra sin problemas con las herramientas y los servicios de AWS de código abierto.
Ya sea que esté entrenando modelos a gran escala, ejecutando inferencias en línea en tiempo real o implementando aplicaciones de IA generativa, Amazon EKS ofrece el rendimiento, la escalabilidad y la rentabilidad que exigen sus proyectos de IA y ML.
## Por qué usar Amazon EKS para IA y ML
Amazon EKS proporciona el control, las integraciones, el rendimiento y la escalabilidad necesarios para los proyectos de IA y ML. Creado en Kubernetes ascendente e integrado con servicios de AWS, Amazon EKS le permite utilizar la experiencia existente en Kubernetes a la vez que orquesta cargas de trabajo complejas. Para los equipos que se inician en las implementaciones de IA y ML, las habilidades existentes en Kubernetes se transfieren sin curvas de aprendizaje pronunciadas.
Amazon EKS es compatible con todo, desde las personalizaciones del sistema operativo hasta el escalado de computación, y promueve la flexibilidad tecnológica que preserva la capacidad de elección para las futuras decisiones de infraestructura. La plataforma proporciona el rendimiento y las opciones de ajuste que requieren las cargas de trabajo de IA y ML, lo que incluye las siguientes características:
+ **Control total del clúster**: refine los costos y las configuraciones sin abstracciones ocultas.
+ **Latencia de menos de un segundo** ejecute cargas de trabajo de inferencia en tiempo real en producción.
+ **Personalizaciones avanzadas**: configure las GPU de varias instancias, el ajuste de la red y el ajuste del sistema operativo.
+ **Orquestación unificada**: orqueste todas las canalizaciones de IA y ML y los entornos en las instalaciones, de periferia y en la nube.
+ **Optimización de costos**: utilice el escalado automático, la programación nativa de la GPU y diversos tipos de instancias de GPU y aceleradores.
## Casos de uso clave
Amazon EKS admite una amplia gama de cargas de trabajo de IA y ML, que incluyen los siguientes casos de uso comunes:
+ **Inferencia**: modelos de alojamiento propio en Amazon EKS para casos de uso que requieren tiempos de respuesta de baja latencia.
+ **Inferencia en lotes**: procese conjuntos de datos grandes de manera eficiente mediante trabajos programados.
+ **Entrenamiento del modelo**: entrene modelos complejos en conjuntos de datos de gran tamaño durante periodos de tiempo prolongados.
+ **Refinamiento de modelos**: mejore los modelos de código abierto con conocimientos de dominio patentados.
+ **Canalizaciones de generación aumentada por recuperación (RAG)**: integre los procesos de recuperación y generación.
+ **IA agéntica**: implemente agentes con modelos alojados en Amazon Bedrock, plataformas de terceros o Amazon EKS.
## Casos prácticos
Los clientes seleccionan Amazon EKS por varios motivos, como optimizar el uso de la GPU o ejecutar cargas de trabajo de inferencia con una latencia inferior a un segundo, como se demuestra en los siguientes casos prácticos. Para ver una lista de todos los casos prácticos de Amazon EKS, consulte [Historias de éxito de clientes de AWS](https://aws.amazon.com/solutions/case-studies/).
+ [BMW Group](https://aws.amazon.com/solutions/case-studies/bmw-eks-case-study/) opera una de las flotas conectadas más grandes del mundo, con más de 25 millones de vehículos conectados, y creó su plataforma de IA conectada en Amazon EKS con Ray para la formación distribuida y Karpenter para el escalado automático de la GPU, lo que redujo el tiempo de entrenamiento del modelo de horas a 30 minutos a 5 € por sesión de entrenamiento, al tiempo que apoya a más de 550 desarrolladores en más de 60 casos de uso de IA.
+ [Booking.com](https://aws.amazon.com/solutions/case-studies/booking-eks-case-study/), una de las principales plataformas de viajes del mundo, migró su sistema de inferencia de ML para las clasificaciones de búsqueda a Amazon EKS para ofrecer escalabilidad para la experimentación, con un procesamiento de hasta 250 000 solicitudes por segundo con una latencia de 40 ms p99,9.
+ [Unitary](https://aws.amazon.com/solutions/case-studies/unitary-eks-case-study/?did=cr_card&trk=cr_card) procesa 26 millones de videos al día mediante IA para la moderación de contenido. La empresa requiere inferencias de alto rendimiento y baja latencia y ha conseguido reducir en un 80 % los tiempos de arranque de los contenedores, lo que garantiza una respuesta rápida a los eventos de escalado a medida que el tráfico fluctúa.
+ [Synthesia](https://aws.amazon.com/solutions/case-studies/synthesia-case-study/?did=cr_card&trk=cr_card) ofrece la creación de videos mediante IA generativa como un servicio para que los clientes puedan crear videos realistas a partir de peticiones de texto. La empresa logró una mejora equivalente a 30 veces el rendimiento del entrenamiento del modelo de ML.
+ [Ada Support](https://aws.amazon.com/solutions/case-studies/ada-support-eks-case-study/), una empresa de automatización del servicio al cliente impulsada por IA, logró una reducción del 15 % en los costos de cómputo junto con un aumento del 30 % en la eficiencia informática.
+ [Snorkel AI](https://aws.amazon.com/blogs/startups/how-snorkel-ai-achieved-over-40-cost-savings-by-scaling-machine-learning-workloads-using-amazon-eks/) capacita a las empresas para crear y adaptar modelos fundacionales y modelos de lenguaje de gran tamaño. La empresa logró ahorrar más del 40 % al implementar mecanismos de escalado inteligentes para los recursos de la GPU.
+ [Artera](https://aws.amazon.com/solutions/case-studies/artera-case-study/) utiliza Amazon Elastic File System (Amazon EFS) y Amazon EKS para entrenar modelos de ML que personalizan el tratamiento del cáncer mediante imágenes de biopsia de alta resolución.
+ [Anthropic](https://aws.amazon.com/blogs/containers/amazon-eks-enables-ultra-scale-ai-ml-workloads-with-support-for-100k-nodes-per-cluster/) ejecuta su emblemática familia de modelos fundacionales Claude en Amazon EKS y opera algunos de los clústeres de EKS más grandes en producción, compuestos por instancias de AWS Trainium (trn2) y GPU NVIDIA para cargas de trabajo de IA, junto con procesadores AWS Graviton para el procesamiento de datos con uso intensivo de la CPU.
## Estructura de la guía
La guía incluye una serie de guías prácticas que puede seguir paso a paso para implementar y administrar cargas de trabajo de IA y ML en Amazon EKS. Cada guía proporciona instrucciones y configuraciones que puede implementar directamente en el entorno.
Junto con las instrucciones, la guía proporciona los antecedentes y los conceptos fundacionales necesarios para cada tema. También incluye los enlaces a los recursos y la documentación de AWS pertinentes para obtener los detalles técnicos específicos necesarios.
## Introducción al uso de IA y ML en Amazon EKS
Para comenzar a planificar y utilizar plataformas y cargas de trabajo de IA y ML en Amazon EKS, siga la sección [Configuración del clúster de Amazon EKS para cargas de trabajo de IA y ML](ml-cluster-setup.md) para crear un clúster de Amazon EKS, que incluya los componentes de Kubernetes necesarios, en su cuenta de AWS. Una vez que el entorno esté listo y en funcionamiento, continúe con los siguientes pasos:
+ [Configuración del clúster de Amazon EKS para cargas de trabajo de IA y ML](ml-cluster-setup.md): cree la infraestructura de clústeres, supervisión y bucket de Amazon S3 de Amazon EKS para utilizarla en esta sección.
+ [Ejecución de cargas de trabajo de inferencia de IA y ML en Amazon EKS](ml-inference.md): utilice Amazon EKS para implementar, configurar y comenzar a utilizar una aplicación de inferencia con un modelo de lenguaje de gran tamaño (LLM).
+ [Configuración del clúster de Amazon EKS para cargas de trabajo de IA/ML](ml-cluster-configuration.md): configure los clústeres de Amazon EKS optimizados para cargas de trabajo de IA y ML.
+ [Administración de los recursos computacionales para las cargas de trabajo de IA/ML en Amazon EKS](ml-compute-management.md): administre y optimice los recursos de computación para las cargas de trabajo de machine learning en Amazon EKS.
+ [Administración de los dispositivos de hardware en Amazon EKS](device-management.md): administre dispositivos de hardware especializados mediante la asignación dinámica de recursos (DRA) y los complementos de dispositivos.