Acelere a inicialização de contêineres com o SOCI - SageMaker Inteligência Artificial da Amazon

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Acelere a inicialização de contêineres com o SOCI

A indexação SOCI (Seekable Open Container Initiative) permite o carregamento lento de imagens personalizadas de contêineres no Amazon Unified Studio ou SageMaker Estúdio Amazon no Amazon Unified Studio. SageMaker O SOCI reduz significativamente os tempos de inicialização em aproximadamente 30 a 70% para seus contêineres personalizadosTraga sua própria imagem (BYOI). A melhoria da latência varia dependendo do tamanho da imagem, da disponibilidade da instância de hospedagem e de outras dependências do aplicativo. O SOCI cria um índice que permite que os contêineres sejam iniciados apenas com os componentes necessários, buscando arquivos adicionais sob demanda, conforme necessário.

O SOCI aborda tempos lentos de inicialização de contêineres, que interrompem os fluxos de trabalho iterativos de desenvolvimento de aprendizado de máquina (ML) para imagens personalizadas. À medida que as cargas de trabalho de ML se tornam mais complexas, as imagens de contêiner aumentam, criando atrasos na inicialização que prejudicam os ciclos de desenvolvimento.

Benefícios principais

  • Ciclos de iteração mais rápidos: reduza a inicialização do contêiner, dependendo dos tipos de imagem e instância

  • Otimização universal: estenda os benefícios de desempenho a todos os contêineres BYOI personalizados no Studio

Como funciona a indexação SOCI

O SOCI cria um índice de metadados especializado que mapeia a estrutura interna de arquivos da imagem do contêiner. Esse índice permite o acesso a arquivos individuais sem baixar a imagem inteira. O índice SOCI é armazenado como um artefato compatível com OCI (Open Container Initiative) no Amazon ECR e vinculado à imagem original do contêiner, preservando os resumos da imagem e a validade da assinatura.

Quando você inicia um contêiner no Studio, o sistema usa o índice SOCI para identificar e baixar somente os arquivos essenciais necessários para a inicialização. Componentes adicionais são obtidos paralelamente conforme seu aplicativo os exige.

Componentes da arquitetura

  • Imagem original do contêiner: Seu contêiner básico armazenado no Amazon ECR

  • Artefato de índice SOCI: metadados mapeando a estrutura de arquivos da sua imagem

  • Manifesto do OCI Image Index: vincula sua imagem original e o índice SOCI

  • Tempo de execução do contêiner Finch: permite a integração de carregamento lento com o Studio

Ferramentas compatíveis

Ferramenta Integração
nerdctl Requer configuração de containerd
CLI do Finch Suporte nativo ao SOCI
Docker + SOCI CLI Ferramentas adicionais necessárias