Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Informes de uso para la atribución de costes en SageMaker HyperPod
Los informes de uso en los clústeres SageMaker HyperPod organizados por EKS proporcionan una visibilidad detallada del consumo de recursos informáticos. Esta capacidad permite a las organizaciones implementar una atribución de costos transparente, asignando los costos de los clústeres a los equipos, proyectos o departamentos en función de su uso real. Al hacer un seguimiento de métricas como las GPU/CPU horas y el uso de Neuron Core (recopiladas tanto en términos agregados a nivel de equipo como desglosados por tareas específicas), los informes de uso complementan la funcionalidad de gestión de tareas de la empresa y garantizan una distribución justa HyperPod de los costes en los clústeres compartidos con varios usuarios mediante:
-
Eliminar las conjeturas a la hora de asignar los costes
-
Vincular directamente los gastos con el consumo de recursos mensurable
-
Hacer cumplir la responsabilidad basada en el uso en entornos de infraestructura compartida
Requisitos previos
Para usar esta capacidad:
-
Necesita:
-
Un SageMaker HyperPod entorno activo con un clúster orquestado por EKS en ejecución.
-
(Se recomienda encarecidamente) La gobernanza de tareas está configurada con cuotas de procesamiento y reglas de prioridad. Para obtener instrucciones de configuración, consulte Configuración de la gobernanza de tareas.
-
-
Familiarícese con estos conceptos básicos:
-
Cuota de cómputo asignada: recursos reservados para un equipo en función de las cuotas predefinidas en sus políticas de gobierno de tareas. Se trata de una capacidad garantizada para sus cargas de trabajo.
-
Computación prestada: recursos inactivos del grupo de clústeres compartido que los equipos pueden utilizar temporalmente más allá de la cuota asignada. El cómputo prestado se asigna de forma dinámica en función de las reglas de prioridad de las políticas de gobierno de tareas y de la disponibilidad de los recursos no utilizados.
-
Uso informático: medición de los recursos (GPU, CPU, horas de Neuron Core) consumidos por un equipo, que se registra de la siguiente manera:
-
Utilización asignada: uso dentro de la cuota del equipo.
-
Utilización prestada: uso superior a la cuota, extraído de la piscina compartida.
-
-
Atribución de costos: proceso de asignar los costos del clúster a los equipos en función de su uso informático real, incluidos los recursos consumidos dentro de su cuota predefinida y los recursos utilizados temporalmente del grupo de clústeres compartido más allá de su cuota.
-
Tipos de informes
HyperPodLos informes de uso proporcionan una granularidad operativa variable:
-
Los informes resumidos proporcionan una visibilidad del uso informático en toda la organización, ya que suman el total GPU/CPU/Neuron de horas de trabajo por equipo (espacio de nombres) y distinguen entre el uso normal (recursos de la cuota asignada a un equipo) y el procesamiento prestado (exceso de capacidad procedente de grupos compartidos).
-
Los informes detallados ofrecen desgloses a nivel de tareas por equipo y registran las horas de procesamiento exactas dedicadas a tareas específicas, incluidas las tareas anticipadas, los patrones de uso horario y las asignaciones específicas de los espacios de nombres.
importante
HyperPod los informes de uso rastrean la utilización de la computación en todos los espacios de nombres de Kubernetes de un clúster, incluidos los administrados por Task Governance, los espacios de nombres predeterminados y los espacios de nombres creados fuera de Task Governance (por ejemplo, mediante llamadas directas a la API de Kubernetes o herramientas externas). Este monitoreo a nivel de infraestructura garantiza una responsabilidad integral basada en el uso, lo que evita brechas en la atribución de costos de los clústeres compartidos, independientemente de cómo se administren los espacios de nombres.
Formatos e intervalos de tiempo de los informes
Con el script de Python incluidoGenera informes, los administradores pueden generar informes de uso bajo demanda en formatos CSV o PDF, seleccionando intervalos de tiempo que van desde instantáneas diarias hasta ventanas históricas de 180 días (6 meses).
nota
Al configurar la infraestructura de informes, puede configurar el período histórico para que se extienda más allá del máximo predeterminado de 180 días. Para obtener más información sobre cómo configurar el período de retención de datos, consulte Instalar la infraestructura de informes de uso mediante CloudFormation
Casos de uso ilustrativos
Esta capacidad aborda escenarios críticos en AI/ML entornos de múltiples inquilinos, tales como:
-
Asignación de costes para los clústeres compartidos: un administrador gestiona un HyperPod clúster compartido por 20 equipos que entrenan modelos de IA generativa. Mediante un informe resumido de uso, analizan el uso diario de la GPU durante 180 días y descubren que el equipo A consumió 200 horas de GPU en un tipo de instancia específico: 170 de la cuota asignada y 30 del cómputo prestado. El administrador factura al equipo A en función del uso informado.
-
Auditoría y resolución de disputas: un equipo de finanzas cuestiona la precisión de la atribución de costos y cita inconsistencias. El administrador puede exportar un informe detallado a nivel de tarea para auditar las discrepancias. Al hacer referencias cruzadas entre marcas horarias, tipos de instancias y trabajos preferentes dentro del espacio de nombres del equipo, el informe concilia de forma transparente los datos de uso controvertidos.
