Criar um trabalho de otimização de inferência

Como começar a criar um trabalho de otimização

1. No SageMaker AI Studio, crie um trabalho de otimização por meio de qualquer um dos seguintes caminhos:

   • Para criar um trabalho para um JumpStart modelo, faça o seguinte:

     1. No menu de navegação, selecione JumpStart.

     2. Na página Todos os modelos públicos, escolha um fornecedor de modelos e selecione um dos modelos que permitem otimização.

     3. Na página de detalhes do modelo, escolha Otimizar. Esse botão está habilitado somente para modelos que permitem otimização.

     4. Na página Criar tarefa de otimização de inferência, alguns JumpStart modelos exigem que você assine um contrato de licença de usuário final (EULA) antes de continuar. Se solicitado, analise os termos da licença na seção Contrato de licença. Se os termos forem aceitáveis para seu caso de uso, marque a caixa de seleção Aceito o EULA e li os termos e condições.

   • Para criar um trabalho para um JumpStart modelo ajustado, faça o seguinte:

     1. No painel de navegação, em Trabalhos, escolha Treinamento.

     2. Na página Tarefas de treinamento, escolha o nome de uma tarefa que você usou para ajustar um JumpStart modelo. Esses trabalhos têm o tipo JumpStarttreinamento na coluna Tipo de trabalho.

     3. Na página de detalhes da tarefa de treinamento, escolha Otimizar.

   • Para criar um trabalho para um modelo personalizado, faça o seguinte:

     1. No menu de navegação, em Trabalho, escolha Otimização da inferência.

     2. Escolha Create new job (Criar uma nova tarefa).

     3. Na página Criar trabalho de otimização de inferência, escolha Adicionar modelo.

     4. Na janela Adicionar modelo, escolha Modelo personalizado.

     5. Escolha uma das seguintes opções:

        Use seu modelo existente: selecione essa opção para otimizar um modelo que você já criou na SageMaker IA.

        Nome do modelo existente - insira o nome do seu modelo de SageMaker IA.

        Do S3 - Selecione essa opção para fornecer artefatos de modelo do Amazon S3. Em URI do S3, insira o URI do local no Amazon S3 em que você armazenou os artefatos do seu modelo.

     6. (Opcional) Em Nome do modelo de saída, você pode inserir um nome personalizado para o modelo otimizado que o trabalho cria. Se você não fornecer um nome, o Studio gerará automaticamente um com base na sua seleção.

2. Na página Criar tarefa de otimização de inferência, em Job name, você pode aceitar o nome padrão que a SageMaker IA atribui. Ou, para inserir um nome de trabalho personalizado, escolha o campo Nome do trabalho e selecione Inserir nome do trabalho.

Como definir as configurações de otimização

1. Em Tipo de instância de implantação, escolha o tipo de instância para o qual você deseja otimizar o modelo.

   O tipo de instância afeta as técnicas de otimização que você pode escolher. Para a maioria dos tipos que usam hardware de GPU, as técnicas permitidas são quantização e decodificação especulativa. Se você escolher uma instância que usa silício personalizado, como a instância AWS Inferentia ml.inf2.8xlarge, a técnica suportada é a Compilação, que você pode usar para compilar o modelo para esse tipo específico de hardware.

2. Selecione uma ou mais entre as técnicas de otimização que o Studio oferece:

   • Se você selecionar Quantização, escolha um tipo de dados para Tipo de dados de precisão.

   • Se você selecionar Decodificação especulativa, escolha uma das seguintes opções:

     • Use o modelo de rascunho de SageMaker IA — Escolha usar o modelo de rascunho fornecido pela SageMaker IA.

       nota

       Se você optar por usar o modelo de rascunho de SageMaker IA, também deverá habilitar o isolamento da rede. O Studio oferece essa opção em Segurança.

     • Escolha o modelo de JumpStart rascunho — Escolha selecionar um modelo do JumpStart catálogo para usar como seu modelo de rascunho.

     • Escolher seu próprio modelo de rascunho: opte por usar seu próprio modelo de rascunho e forneça o URI do S3 que o localiza.

   • Se você escolher Carregamento rápido do modelo, o Studio mostrará a variável de ambiente OPTION_TENSOR_PARALLEL_DEGREE. Use o campo Valor para definir o grau de paralelismo do tensor. O valor deve dividir uniformemente o número de GPUs na instância que você escolheu para o tipo de instância de implantação. Por exemplo, para fragmentar seu modelo ao usar uma instância com 8 GPUs, use os valores 2, 4 ou 8.

   • Se você definir o tipo de instância de implantação como uma instância AWS Inferentia ou AWS Trainium, o Studio poderá mostrar que a compilação é a única opção compatível. Nesse caso, o Studio seleciona essa opção para você.

3. Em Saída, insira o URI de um local no Amazon S3. Lá, a SageMaker IA armazena os artefatos do modelo otimizado que seu trabalho cria.

4. (Opcional) Expanda Opções avançadas para obter um controle mais refinado sobre as configurações, como o perfil do IAM, a VPC e as variáveis de ambiente. Para ter mais informações, consulte Opções avançadas abaixo.

5. Quando terminar de configurar o trabalho, escolha Criar trabalho.

   O Studio mostra a página de detalhes do trabalho, que exibe o status e todas as suas configurações do trabalho.

Como configurar o projeto

1. No código da sua aplicação, importe as bibliotecas necessárias. O exemplo a seguir importa o SDK para Python (Boto3). Ele também importa as classes do SDK SageMaker AI Python que você usa para definir e trabalhar com modelos:

   import boto3
   from sagemaker.serve.builder.model_builder import ModelBuilder
   from sagemaker.serve.builder.schema_builder import SchemaBuilder
   from sagemaker.session import Session
   from pathlib import Path

2. Inicialize uma sessão de SageMaker IA. O seguinte exemplo usa a classe Session():

   sagemaker_session = Session()

Como definir seu modelo

1. Crie uma instância SchemaBuilder e forneça amostras de entrada e saída. Você deve fornecer essa instância para a classe ModelBuilder ao definir um modelo. Com isso, a SageMaker IA gera automaticamente as funções de organização para serializar e desserializar a entrada e a saída.

   Para ter mais informações sobre como usar as classes SchemaBuilder e ModelBuilder, consulte Criar um modelo no Amazon SageMaker AI com o ModelBuilder.

   O seguinte exemplo apresenta amostras de strings de entrada e saída para a classe SchemaBuilder:

   response = "Jupiter is the largest planet in the solar system. It is the fifth planet from the sun."
   sample_input = {
       "inputs": "What is the largest planet in the solar system?",
       "parameters": {"max_new_tokens": 128, "top_p": 0.9, "temperature": 0.6},
   }
   sample_output = [{"generated_text": response}]
   schema_builder = SchemaBuilder(sample_input, sample_output)

2. Defina seu modelo para SageMaker IA. O seguinte exemplo define os parâmetros para inicializar uma instância ModelBuilder:

   model_builder = ModelBuilder(
       model="jumpstart-model-id",
       schema_builder=schema_builder,
       sagemaker_session=sagemaker_session,
       role_arn=sagemaker_session.get_caller_identity_arn(),
   )

   Este exemplo usa um JumpStart modelo. jumpstart-model-idSubstitua pela ID de um JumpStart modelo, comometa-textgeneration-llama-3-70b.

   nota

   Se você quiser otimizar com decodificação especulativa e usar o rascunho de SageMaker IA, você deve habilitar o isolamento da rede. Para habilitá-lo, inclua o seguinte argumento ao inicializar uma instância ModelBuilder:

   enable_network_isolation=True,

   Para ter mais informações sobre níveis de isolamento, consulte Isolamento de rede.

Como realizar a otimização com quantização

1. Para executar um trabalho de quantização, use o método optimize() e defina o argumento quantization_config. O seguinte exemplo define OPTION_QUANTIZE como uma variável de ambiente no contêiner de otimização:

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       quantization_config={
           "OverrideEnvironment": {
               "OPTION_QUANTIZE": "awq",
           },
       },
       output_path="s3://output-path",
   )

   Neste exemplo, substitua instance-type por uma instância de ML, como ml.p4d.24xlarge. Substitua s3://output-path pelo caminho para o local do S3 onde você armazena o modelo otimizado criado pelo trabalho.

   O método optimize() exibe um objeto Model, que você pode usar para implantar o modelo em um endpoint.

2. Quando o trabalho for concluído, implante o modelo. O seguinte exemplo usa o método deploy():

   predictor = optimized_model.deploy(
       instance_type="instance-type", 
       accept_eula=True,
   )

   Neste exemplo, substitua instance-type por uma instância de ML, como ml.p4d.24xlarge.

   O método deploy() exibe um objeto preditor, que você pode usar para enviar solicitações de inferência ao endpoint que hospeda o modelo.

Para otimizar com decodificação especulativa usando o modelo de esboço de SageMaker IA

Ao otimizar seu modelo com decodificação especulativa, você pode optar por usar um modelo de rascunho fornecido pela SageMaker IA ou usar o seu próprio. Os exemplos a seguir usam o modelo de rascunho de SageMaker IA.

1. Para executar um trabalho de decodificação especulativa, use o método optimize() e defina o argumento speculative_decoding_config. O exemplo a seguir define a ModelProvider chave SAGEMAKER para usar o modelo de rascunho fornecido pela SageMaker IA.

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       speculative_decoding_config={
           "ModelProvider": "SAGEMAKER",
       },
   )

   Neste exemplo, substitua instance-type por uma instância de ML, como ml.p4d.24xlarge.

   O método optimize() exibe um objeto Model, que você pode usar para implantar o modelo em um endpoint.

2. Quando o trabalho for concluído, implante o modelo. O seguinte exemplo usa o método deploy():

   predictor = optimized_model.deploy(accept_eula=True)

   O método deploy() exibe um objeto preditor, que você pode usar para enviar solicitações de inferência ao endpoint que hospeda o modelo.

Como realizar a otimização com decodificação especulativa usando um modelo de rascunho personalizado

Antes de fornecer seu modelo de rascunho personalizado para a SageMaker IA, você deve primeiro fazer o upload dos artefatos do modelo para o Amazon S3.

Os exemplos a seguir demonstram uma forma possível de fornecer um modelo de rascunho personalizado. Os exemplos baixam o rascunho do modelo do Hugging Face Hub, fazem upload no Amazon S3 e fornecem o URI do S3 para o argumento speculative_decoding_config.

1. Se você quiser baixar um modelo do Hugging Face Hub, adicione a biblioteca huggingface_hub ao seu projeto e baixe um modelo com o método snapshot_download(). O seguinte exemplo baixa um modelo em um diretório local:

   import huggingface_hub
   
   huggingface_hub.snapshot_download(
       repo_id="model-id",
       revision="main",
       local_dir=download-dir,
       token=hf-access-token,
   )

   Neste exemplo, substitua model-id pelo ID de um modelo do Hugging Face Hub, como meta-llama/Meta-Llama-3-8B. Substitua download-dir por um diretório local. Substitua hf-access-token pelo seu token de acesso de usuário. Para saber como obter seu token de acesso, consulte User access tokens na documentação da Hugging Face.

   Para ter mais informações sobre a biblioteca huggingface_hub, consulte a Hub client library na documentação da Hugging Face.

2. Para disponibilizar seu modelo baixado para a SageMaker IA, faça o upload para o Amazon S3. O seguinte exemplo faz upload do objeto para com o objeto sagemaker_session:

   custom_draft_model_uri = sagemaker_session.upload_data(
       path=hf_local_download_dir.as_posix(),
       bucket=sagemaker_session.default_bucket(),
       key_prefix="prefix",
   )

   Neste exemplo, substitua prefix por um qualificador que ajude você a distinguir o modelo de rascunho no S3, como spec-dec-custom-draft-model.

   O método upload_data() exibe o URI do S3 para os artefatos do modelo.

3. Para executar um trabalho de decodificação especulativa, use o método optimize() e defina o argumento speculative_decoding_config. O seguinte exemplo define a chave ModelSource para o URI do S3 do modelo de rascunho personalizado:

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       speculative_decoding_config={
           "ModelSource": custom_draft_model_uri + "/",
       },
   )

   Neste exemplo, substitua instance-type por uma instância de ML, como ml.p4d.24xlarge.

   O método optimize() exibe um objeto Model, que você pode usar para implantar o modelo em um endpoint.

4. Quando o trabalho for concluído, implante o modelo. O seguinte exemplo usa o método deploy():

   predictor = optimized_model.deploy(accept_eula=True)

   O método deploy() exibe um objeto preditor, que você pode usar para enviar solicitações de inferência ao endpoint que hospeda o modelo.

Como otimizar com a compilação

1. Para executar um trabalho de compilação, use o método optimize() e defina o argumento compilation_config. O seguinte exemplo usa a chave OverrideEnvironment para definir as variáveis de ambiente necessárias no contêiner de otimização:

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       compilation_config={
           "OverrideEnvironment": {
               "OPTION_TENSOR_PARALLEL_DEGREE": "24",
               "OPTION_N_POSITIONS": "8192",
               "OPTION_DTYPE": "fp16",
               "OPTION_ROLLING_BATCH": "auto",
               "OPTION_MAX_ROLLING_BATCH_SIZE": "4",
               "OPTION_NEURON_OPTIMIZE_LEVEL": "2",
           }
       },
       output_path="s3://output-path",
   )

   Neste exemplo, defina instance-type como um tipo de instância de ML com hardware acelerado. Por exemplo, para inferência acelerada com AWS inferência, você pode definir o tipo como uma instância Inf2, como. ml.inf2.48xlarge Substitua s3://output-path pelo caminho para o local do S3 onde você armazena o modelo otimizado criado pelo trabalho.

2. Quando o trabalho for concluído, implante o modelo. O seguinte exemplo usa o método deploy():

   predictor = optimized_model.deploy(accept_eula=True)

   O método deploy() exibe um objeto preditor, que você pode usar para enviar solicitações de inferência ao endpoint que hospeda o modelo.

Como testar seu modelo com uma solicitação de inferência

• Para enviar uma solicitação de inferência de teste ao modelo implantado, use o método predict() de um objeto preditor. O seguinte exemplo passa a variável sample_input, que também foi passada para a classe SchemaBuilder nos exemplos para definir seu modelo:

  predictor.predict(sample_input)

  A entrada da amostra tem o prompt "What is the largest planet in the solar system?". O método predict() exibe a resposta que o modelo gerou, conforme mostrado no seguinte exemplo:

  {'generated_text': ' Jupiter is the largest planet in the solar system. It is the fifth planet from the sun. It is a gas giant with . . .'}