Descripción general de las Aplicaciones de IA para socios de Amazon SageMaker
Con Aplicaciones de IA para socios de Amazon SageMaker, los usuarios obtienen acceso a las aplicaciones de desarrollo de IA generativa y machine learning (ML) creadas, publicadas y distribuidas por proveedores de aplicaciones líderes del sector. Las aplicaciones de IA para socios están certificadas para ejecutarse en SageMaker AI. Con las aplicaciones de IA para socios, los usuarios pueden acelerar y mejorar la forma en que crean soluciones basadas en modelos fundacionales (FM) y modelos clásicos de ML sin comprometer la seguridad de su información confidencial. Los datos permanecen completamente dentro de su configuración de seguridad de confianza y nunca se comparten con terceros.
Funcionamiento
Las aplicaciones de IA para socios son pilas de aplicaciones completas que incluyen un clúster de Amazon Elastic Kubernetes Service y una serie de servicios complementarios que pueden incluir Equilibrador de carga de aplicación, Amazon Relational Database Service, buckets de Amazon Simple Storage Service, colas de Amazon Simple Queue Service y cachés de Redis.
Estas aplicaciones de servicio, que aprovisiona un administrador, se pueden compartir entre todos los usuarios de un dominio de SageMaker AI. Tras aprovisionar la aplicación mediante la compra de una suscripción a través de AWS Marketplace, el administrador puede conceder a los usuarios del dominio de SageMaker AI permisos para acceder a la aplicación de AI para socios directamente desde Amazon SageMaker Studio, Estudio unificado de Amazon SageMaker (versión preliminar) o mediante una URL prefirmada. Para obtener más información sobre cómo lanzar una aplicación desde Studio, consulte Iniciar Amazon SageMaker Studio.
Aplicaciones de IA para socios ofrece las siguientes ventajas a los administradores y usuarios.
-
Los administradores utilizan la consola de SageMaker AI para explorar, descubrir, seleccionar y aprovisionar las aplicaciones de IA para socios para que las utilicen sus equipos de ciencia de datos y ML. Una vez implementadas las aplicaciones de IA para socios, SageMaker AI las ejecuta en Cuentas de AWS administradas por el servicio. Esto reduce considerablemente la sobrecarga operativa asociada a la creación y el funcionamiento de estas aplicaciones, y contribuye a la seguridad y privacidad de los datos de los clientes.
-
Los científicos de datos y los desarrolladores de ML pueden acceder a las aplicaciones de IA para socios desde su entorno de desarrollo de ML en Amazon SageMaker Studio o Estudio unificado de Amazon SageMaker (versión preliminar). Pueden usar las aplicaciones de IA para socios para analizar sus datos, experimentos y modelos creados en SageMaker AI. Esto minimiza el cambio de contexto y ayuda a acelerar la creación de modelos fundacionales y la introducción en el mercado de nuevas capacidades de IA generativa.
Integración con Servicios de AWS
Las aplicaciones de IA para socios utilizan la configuración de AWS Identity and Access Management (IAM) existente para la autorización y la autenticación. En consecuencia, los usuarios no necesitan proporcionar credenciales independientes para acceder a cada aplicación de IA para socios desde Amazon SageMaker Studio. Para obtener más información sobre las opciones de autorización y autenticación con aplicaciones de IA para socios, consulte Configuración de aplicaciones de IA para socios.
Las aplicaciones de IA para socios también se integran con Amazon CloudWatch para proporcionar supervisión y administración operativas. Los clientes también pueden explorar las aplicaciones de IA para socios y obtener información al respecto, como las características, la experiencia de los clientes y los precios, en la Consola de administración de AWS. Para obtener más información sobre Amazon CloudWatch, consulte ¿Qué es Amazon CloudWatch?.
Tipos admitidos
Las aplicaciones de IA para socios admiten los siguientes tipos:
-
Comet
-
Deepchecks
-
Fiddler
-
Lakera Guard
Cuando el administrador lanza una aplicación de IA para socios, debe seleccionar la configuración del clúster de instancias con el que se lanza la aplicación de IA para socios. Esta configuración se conoce como el nivel de la aplicación de IA para socios. El nivel de una aplicación de IA para socios puede tener uno de los siguientes valores:
-
small -
medium -
large
En las siguientes secciones se proporciona información sobre cada uno de los tipos de aplicaciones de IA para socios y detalles sobre los valores de los niveles de la aplicación de IA para socios.
Comet proporciona una plataforma integral de evaluación de modelos para desarrolladores de IA, con evaluaciones de LLM, seguimiento de experimentos y supervisión de la producción.
Recomendamos los siguientes niveles de aplicaciones de IA para socios en función de la carga de trabajo:
-
small: se recomienda para un máximo de 5 usuarios y 20 trabajos en ejecución. -
medium: se recomienda para un máximo de 50 usuarios y 100 trabajos en ejecución. -
large: se recomienda para un máximo de 500 usuarios y más de 100 trabajos en ejecución.
nota
SageMaker AI no admite la visualización de la IU de Comet como parte de la salida de un cuaderno de Jupyter.
Los desarrolladores de aplicaciones de IA y las partes interesadas pueden usar Deepchecks para validar continuamente las aplicaciones basadas en LLM, como las características, las métricas de rendimiento y los posibles problemas a lo largo de todo su ciclo de vida, desde la fase previa a la implementación y la experimentación interna hasta la producción.
Recomendamos los siguientes niveles de aplicaciones de IA para socios en función de a velocidad deseada para la carga de trabajo:
-
small: procesa 200 tokens por segundo. -
medium: procesa 500 tokens por segundo. -
large: procesa 1300 tokens por segundo.
La plataforma de observabilidad de IA de Fiddler permite validar, supervisar y analizar los modelos de ML en producción, incluidos los modelos tabulares, de aprendizaje profundo, de visión artificial y de procesamiento de lenguaje natural.
Recomendamos los siguientes niveles de aplicaciones de IA para socios en función de a velocidad deseada para la carga de trabajo:
-
small: el procesamiento de 10 millones de eventos en 5 modelos, 100 características y 20 iteraciones dura unos 53 minutos. -
medium: el procesamiento de 10 millones de eventos en 5 modelos, 100 características y 20 iteraciones dura unos 23 minutos. -
large: el procesamiento de 10 millones de eventos en 5 modelos, 100 características y 100 iteraciones dura unos 27 minutos.
Lakera Guard es un firewall de aplicaciones de IA de baja latencia que protege las aplicaciones de IA generativas frente a las amenazas específicas de la IA generativa.
Recomendamos los siguientes niveles de aplicaciones de IA para socios en función de la carga de trabajo:
-
small: recomendado para un máximo de 20 automatizaciones robóticas de procesos (RPA). -
medium: recomendado para un máximo de 100 RPA. -
large: recomendado para un máximo de 200 RPA.
