View a markdown version of this page

Dê à Amazon SageMaker Clarify Jobs acesso aos recursos em sua Amazon VPC - SageMaker IA da Amazon
Configurar um trabalho do SageMaker Clarify para o Amazon VPC AccessConfigure seu Amazon VPC privado para trabalhos do SageMaker Clarify

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Dê à Amazon SageMaker Clarify Jobs acesso aos recursos em sua Amazon VPC

Para controlar o acesso aos seus dados e aos trabalhos do SageMaker Clarify, recomendamos que você crie um Amazon VPC privado e o configure para que seus trabalhos não sejam acessíveis pela Internet pública. Para obter informações sobre como criar e configurar um Amazon VPC para processar trabalhos, consulte Conceder aos trabalhos SageMaker de processamento acesso aos recursos em seu Amazon VPC.

Este documento explica como adicionar configurações adicionais do Amazon VPC que atendam aos requisitos dos trabalhos do SageMaker Clarify.

Configurar um trabalho do SageMaker Clarify para o Amazon VPC Access

Você precisa especificar sub-redes e grupos de segurança ao configurar seu Amazon VPC privado para trabalhos do SageMaker Clarify e permitir que o trabalho obtenha inferências do modelo de SageMaker IA ao calcular métricas de viés pós-treinamento e contribuições de recursos que ajudem a explicar as previsões do modelo.

SageMaker Esclareça o trabalho: sub-redes e grupos de segurança do Amazon VPC

Sub-redes e grupos de segurança em seu Amazon VPC privado podem ser atribuídos a um trabalho do SageMaker Clarify de várias maneiras, dependendo de como você cria o trabalho.

  • SageMaker Console de IA: forneça essas informações ao criar o trabalho no SageMaker AI Dashboard. No menu Processamento, escolha Trabalhos de processamento e, em seguida, escolha Criar trabalho de processamento. Selecione a opção VPC no painel Rede e forneça as sub-redes e os grupos de segurança usando as listas suspensas. Certifique-se de que a opção de isolamento de rede fornecida neste painel esteja desativada.

  • SageMaker API: use o parâmetro de NetworkConfig.VpcConfig solicitação da CreateProcessingJob API, conforme mostrado no exemplo a seguir:

    "NetworkConfig": {
    "VpcConfig": {
        "Subnets": [
            "subnet-0123456789abcdef0",
            "subnet-0123456789abcdef1",
            "subnet-0123456789abcdef2"
        ],
        "SecurityGroupIds": [
            "sg-0123456789abcdef0"
        ]
    }
}

  • SageMaker SDK do Python: use o NetworkConfig parâmetro da SageMakerClarifyProcessor API ou Processor API, conforme mostrado no exemplo a seguir:

    from sagemaker.network import NetworkConfig
network_config = NetworkConfig(
    subnets=[
        "subnet-0123456789abcdef0",
        "subnet-0123456789abcdef1",
        "subnet-0123456789abcdef2",
    ],
    security_group_ids=[
        "sg-0123456789abcdef0",
    ],
)

SageMaker A IA usa as informações para criar interfaces de rede e anexá-las à tarefa SageMaker Clarify. As interfaces de rede fornecem um trabalho do SageMaker Clarify com uma conexão de rede dentro do seu Amazon VPC que não está conectada à Internet pública. Eles também permitem que o trabalho SageMaker Clarify se conecte a recursos em sua Amazon VPC privada.

nota

A opção de isolamento de rede da tarefa SageMaker Clarify deve estar desativada (por padrão, a opção está desativada) para que a tarefa SageMaker Clarify possa se comunicar com o endpoint paralelo.

Configurar um modelo da Amazon VPC para inferência

Para calcular as métricas de viés e a explicabilidade pós-treinamento, o trabalho SageMaker Clarify precisa obter inferências do modelo de SageMaker IA que é especificado pelo model_name parâmetro da configuração de análise para o trabalho de processamento do Clarify. SageMaker Como alternativa, se você usar a SageMakerClarifyProcessor API no SDK do SageMaker AI Python, o trabalho precisará obter o model_name especificado pela classe. ModelConfig Para fazer isso, o trabalho SageMaker Clarify cria um endpoint efêmero com o modelo, conhecido como endpoint sombra, e depois aplica a configuração do Amazon VPC do modelo ao endpoint sombra.

Para especificar sub-redes e grupos de segurança em seu Amazon VPC privado para o modelo de SageMaker IA, use o parâmetro de VpcConfig solicitação da CreateModel API ou forneça essas informações ao criar o modelo usando o painel de SageMaker IA no console. Veja a seguir um exemplo do parâmetro VpcConfig incluído na sua chamada para CreateModel. 

"VpcConfig": {
    "Subnets": [
        "subnet-0123456789abcdef0",
        "subnet-0123456789abcdef1",
        "subnet-0123456789abcdef2"
    ],
    "SecurityGroupIds": [
        "sg-0123456789abcdef0"
    ]
}

Você pode especificar o número de instâncias do endpoint paralelo a serem iniciadas com o initial_instance_count parâmetro da configuração de análise para o trabalho de processamento do SageMaker Clarify. Como alternativa, se você usar a SageMakerClarifyProcessor API no SDK do SageMaker AI Python, o trabalho precisará obter o instance_count especificado pela classe. ModelConfig

nota

Mesmo que você solicite apenas uma instância ao criar o endpoint paralelo, precisará de pelo menos duas sub-redes no modelo em zonas de ModelConfig disponibilidade distintas. Caso contrário, a criação de endpoints de sombra falhará com o erro a seguir:

ClientError: Erro ao hospedar o endpoint Sagemaker-clarify-endpoint-xxx: Falha. Motivo: não é possível localizar pelo menos duas zonas de disponibilidade com o tipo de instância solicitado YYY que se sobrepõem às sub-redes de SageMaker IA.

Se seu modelo exigir arquivos de modelo no Amazon S3, o modelo da Amazon VPC precisará ter um endpoint de VPC do Amazon S3. Para obter mais informações sobre como criar e configurar um Amazon VPC para modelos de SageMaker IA, consulte. Ofereça aos endpoints hospedados por SageMaker IA acesso aos recursos em seu Amazon VPC

Configure seu Amazon VPC privado para trabalhos do SageMaker Clarify

Em geral, você pode seguir as etapas em Configurar sua VPC privada para SageMaker processamento para configurar sua Amazon VPC privada para trabalhos do SageMaker Clarify. Aqui estão alguns destaques e requisitos especiais para trabalhos da SageMaker Clarify.

Conectar-se a recursos fora da sua Amazon VPC

Se você configurar sua Amazon VPC para que ela não tenha acesso público à Internet, algumas configurações adicionais serão necessárias para conceder aos trabalhos da SageMaker Clarify acesso a recursos e serviços fora da sua Amazon VPC. Por exemplo, um endpoint VPC do Amazon S3 é necessário porque um trabalho do SageMaker Clarify precisa carregar um conjunto de dados de um bucket do S3 e salvar os resultados da análise em um bucket do S3. Para obter mais informações, consulte Criar um endpoint de VPC do Amazon S3 do guia de criação. Além disso, se uma tarefa do SageMaker Clarify precisar obter inferências do endpoint paralelo, ela precisará chamar vários outros AWS serviços.

  • Crie um endpoint de VPC do serviço de SageMaker API da Amazon: o trabalho SageMaker Clarify precisa chamar o serviço de SageMaker API da Amazon para manipular o endpoint paralelo ou descrever um modelo de SageMaker IA para validação do Amazon VPC. Você pode seguir as orientações fornecidas no AWS PrivateLink blog Protegendo todas as chamadas de SageMaker API da Amazon com para criar um endpoint de VPC SageMaker da Amazon API que permita que o trabalho SageMaker Clarify faça as chamadas de serviço. Observe que o nome do serviço de SageMaker API da Amazon écom.amazonaws.region.sagemaker.api, onde region está o nome da região em que sua Amazon VPC reside.

  • Crie um Amazon SageMaker AI Runtime VPC Endpoint: o trabalho SageMaker Clarify precisa chamar o serviço Amazon SageMaker AI Runtime, que encaminha as invocações para o endpoint paralelo. As etapas de configuração são semelhantes às do serviço Amazon SageMaker API. Observe que o nome do serviço Amazon SageMaker AI Runtime écom.amazonaws.region.sagemaker.runtime, onde region está o nome da região em que sua Amazon VPC reside.

Configurar o grupo de segurança da Amazon VPC

SageMaker Os trabalhos do Clarify oferecem suporte ao processamento distribuído quando duas ou mais instâncias de processamento são especificadas de uma das seguintes maneiras:

  • SageMaker Console do AI: a contagem de instâncias é especificada na parte de configuração de recursos do painel de configurações do trabalho na página Criar trabalho de processamento.

  • SageMaker API: O InstanceCount é especificado quando você cria o trabalho com a CreateProcessingJob API.

  • SageMaker SDK do Python: o instance_count é especificado ao usar a SageMakerClarifyProcessor API ou a API do processador.

No processamento distribuído, é necessário permitir a comunicação entre as diferentes instâncias no mesmo trabalho de processamento. Para fazer isso, configure uma regra para seu grupo de segurança que permita conexões de entrada entre membros do mesmo grupo de segurança. Para mais informações, consulte Regras do grupo de segurança.