As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
# Início rápido: crie um domínio de sandbox de SageMaker IA para lançar clusters do Amazon EMR no Studio
Esta seção mostra a configuração rápida de um ambiente de teste completo no Amazon SageMaker Studio. Você criará um novo domínio do Studio que permite que os usuários iniciem novos clusters do Amazon EMR diretamente do Studio. As etapas fornecem um exemplo de caderno que você pode conectar a um cluster do Amazon EMR para começar a executar workloads Spark. Usando esse notebook, você criará um Sistema de Geração Aumentada de Recuperação (RAG) usando o processamento distribuído e o banco de dados vetoriais do Amazon EMR Spark. OpenSearch
**nota**
Para começar, faça login no AWS Management Console usando uma conta de usuário AWS Identity and Access Management (IAM) com permissões de administrador. Para obter informações sobre como se inscrever em uma conta da AWS e criar um usuário com acesso administrativo, consulte [Pré-requisitos completos do Amazon SageMaker AI](gs-set-up.md).
**Para configurar seu ambiente de teste do Studio e começar a executar trabalhos Spark:**
+ [Etapa 1: criar um domínio de SageMaker IA para lançar clusters do Amazon EMR no Studio](#studio-notebooks-emr-cluster-quickstart-setup)
+ [Etapa 2: inicialize um novo cluster do Amazon EMR pela interface do Studio](#studio-notebooks-emr-cluster-quickstart-launch)
+ [Etapa 3: Conectar um JupyterLab notebook ao cluster do Amazon EMR](#studio-notebooks-emr-cluster-quickstart-connect)
+ [Etapa 4: limpe sua CloudFormation pilha](#studio-notebooks-emr-cluster-quickstart-clean-stack)
## Etapa 1: criar um domínio de SageMaker IA para lançar clusters do Amazon EMR no Studio
Nas etapas a seguir, você aplica uma CloudFormation pilha para criar automaticamente um novo domínio de SageMaker IA. A pilha também cria um perfil de usuário e configura o ambiente e as permissões necessários. O domínio SageMaker AI está configurado para permitir que você inicie diretamente clusters do Amazon EMR a partir do Studio. Neste exemplo, os clusters do Amazon EMR são criados na mesma AWS conta da SageMaker IA sem autenticação. [Você pode encontrar CloudFormation pilhas adicionais que suportam vários métodos de autenticação, como Kerberos, no repositório getting\$1started.](https://github.com/aws-samples/sagemaker-studio-emr/tree/main/cloudformation/getting_started) GitHub
**nota**
SageMaker A IA permite 5 domínios do Studio por AWS conta e Região da AWS por padrão. Certifique-se de que sua conta não tenha mais do que 4 domínios em sua região antes de criar sua pilha.
**Siga estas etapas para configurar um domínio de SageMaker IA para lançar clusters do Amazon EMR a partir do Studio.**
1. Baixe o arquivo bruto desse [CloudFormation modelo](https://github.com/aws-samples/sagemaker-studio-foundation-models/blob/main/workshop-artifacts/cfn/workshop-cfn.yaml) do `sagemaker-studio-emr` GitHub repositório.
1. Vá para o CloudFormation console: [https://console.aws.amazon.com/cloudformation](https://console.aws.amazon.com/cloudformation/)
1. Escolha **Criar pilha** e selecione **Com novos recursos (padrão)** no menu suspenso.
1. Na **Etapa 1**:
1. Na seção **Preparar modelo**, selecione **Escolher um modelo existente**.
1. Na seção **Especificar modelo** escolha **Fazer carregar um arquivo de modelo**.
1. Faça o upload do CloudFormation modelo baixado e escolha **Avançar**.
1. Na **Etapa 2**, insira o **nome da pilha** e escolha **SageMakerDomainName****Avançar**.
1. Na **Etapa 3**, mantenha todos os valores padrão e escolha **Avançar**.
1. Na **Etapa 4**, marque a caixa para confirmar a criação do recurso e escolha **Criar pilha**. Isso cria um domínio do Studio em sua conta e região.
## Etapa 2: inicialize um novo cluster do Amazon EMR pela interface do Studio
Nas etapas a seguir, você cria um novo cluster do Amazon EMR a partir da interface de usuário do Studio.
1. Acesse o console de SageMaker IA em [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/)e escolha **Domínios** no menu à esquerda.
1. Clique no seu nome de domínio **Generative AIDomain** para abrir a página de **detalhes do domínio**.
1. Execute o Studio a partir do perfil de usuário `genai-user`.
1. No painel de navegação à esquerda, acesse **Dados** e, depois, **Clusters do Amazon EMR**.
1. Na página de clusters do Amazon EMR, escolha **Criar**. **Selecione o modelo **SageMaker Studio Domain No Auth EMR** criado pela CloudFormation pilha e escolha Avançar.**
1. Insira um nome para o novo cluster do Amazon EMR. Opcionalmente, atualize outros parâmetros, como o tipo de instância dos nós centrais e nós principais, o tempo limite de inatividade ou o número de nós centrais.
1. Escolha **Criar recurso** para iniciar o novo cluster do Amazon EMR.
Depois de criar o cluster do Amazon EMR, acompanhe o status na página **Clusters do EMR**. Quando o status muda para `Running/Waiting`, seu cluster do Amazon EMR está pronto para uso no Studio.
## Etapa 3: Conectar um JupyterLab notebook ao cluster do Amazon EMR
Nas etapas a seguir, você conecta um notebook JupyterLab ao seu cluster do Amazon EMR em execução. Neste exemplo, você importa um notebook que permite criar um sistema Retrieval Augmented Generation (RAG) usando o processamento distribuído e o banco de dados vetoriais do Amazon EMR Spark. OpenSearch
1.
**Lançamento JupyterLab**
No Studio, inicie o JupyterLab aplicativo.
1.
**Crie um espaço privado.**
Se você não criou um espaço para seu JupyterLab aplicativo, escolha **Criar um JupyterLab espaço**. Insira um nome para o espaço e mantenha-o como **Privado**. Deixe todas as outras configurações no modo padrão e escolha **Criar espaço**.
Caso contrário, execute seu JupyterLab espaço para iniciar um JupyterLab aplicativo.
1.
**Implemente seu LLM e modelos de incorporação para inferência**
+ No menu superior, escolha **Arquivo**, **Novo** e, depois, **Terminal**.
+ Na janela do terminal, execute o seguinte comando:
```
wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb
mkdir AWSGuides
cd AWSGuides
wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/AmazonSageMakerDeveloperGuide.pdf
wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/EC2DeveloperGuide.pdf
wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/AWSGuides/S3DeveloperGuide.pdf
```
Isso recupera o caderno `Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb` em seu diretório local e baixa três arquivos PDF em uma pasta `AWSGuides` local.
+ Abra `lab-00-setup/Lab_0_Warm_Up_Deploy_EmbeddingModel_Llama2_on_Nvidia.ipynb`, mantenha o kernel `Python 3 (ipykernel)` e execute cada célula.
**Atenção**
Na seção **Contrato de licença do Llama 2**, não se esqueça de aceitar o EULA do Llama2 antes de continuar.
O caderno implanta dois modelos, `Llama 2` e `all-MiniLM-L6-v2 Models`, no `ml.g5.2xlarge` para inferência.
A implantação dos modelos e a criação dos endpoints podem levar algum tempo.
1.
**Abra seu caderno principal**
Em JupyterLab, abra seu terminal e execute o seguinte comando.
```
cd ..
wget --no-check-certificate https://raw.githubusercontent.com/aws-samples/sagemaker-studio-foundation-models/main/lab-03-rag/Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb
```
Você deve ver o `Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb` caderno adicional no painel esquerdo do JupyterLab.
1.
**Escolha um kernel `PySpark`**
Abra seu caderno `Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb` e verifique se você está usando o kernel `SparkMagic PySpark`. Você pode alternar o kernel no canto superior direito do caderno. Escolha o nome do kernel atual para abrir um modal de seleção do kernel e, em seguida, escolha `SparkMagic PySpark`.
1.
**Conecte seu caderno com o cluster**
1. Escolha **Cluster** na parte superior direita do caderno. Essa ação abre uma janela modal que lista todos os clusters em execução que você tem permissão para acessar.
1. Agora selecione seu cluster e escolha **Conectar**. Uma nova janela modal de seleção de tipo de credencial é aberta.
1. Escolha **Sem credenciais** e, em seguida, selecione **Conectar**.
![\[Modal mostrando a seleção de credenciais JupyterLab do Amazon EMR para notebooks.\]](http://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/images/studio/emr/studio-notebooks-emr-credential-selection.png)
1. Uma célula do caderno é preenchida e executada automaticamente. A célula do caderno carrega a extensão `sagemaker_studio_analytics_extension.magics`, que fornece funcionalidade para se conectar ao cluster do Amazon EMR. Em seguida, ela usa o comando mágico `%sm_analytics` para iniciar a conexão com seu cluster do Amazon EMR e com a aplicação Spark.
**nota**
Certifique-se de que a cadeia de conexão do seu cluster do Amazon EMR tenha um tipo de autenticação definido como `None`. Isso é ilustrado pelo valor `--auth-type None` no exemplo a seguir. Se necessário, você pode modificar o campo.
```
%load_ext sagemaker_studio_analytics_extension.magics
%sm_analytics emr connect --verify-certificate False --cluster-id your-cluster-id --auth-type None --language python
```
1. Depois de estabelecer a conexão com sucesso, a mensagem de saída da célula de conexão deve exibir seus detalhes `SparkSession`, incluindo o ID do cluster, o ID da aplicação `YARN` e um link para a interface de usuário Spark para monitorar seus trabalhos Spark.
Você está pronto para usar o caderno `Lab_3_RAG_on_SageMaker_Studio_using_EMR.ipynb`. Este exemplo de notebook executa PySpark cargas de trabalho distribuídas para criar um sistema RAG usando e. LangChain OpenSearch
## Etapa 4: limpe sua CloudFormation pilha
Depois de terminar, certifique-se de encerrar seus dois endpoints e excluir sua pilha CloudFormation para evitar cobranças contínuas. A exclusão da pilha limpa todos os recursos que foram provisionados pela pilha.
**Para excluir sua CloudFormation pilha quando você terminar de usá-la**
1. Vá para o CloudFormation console: [https://console.aws.amazon.com/cloudformation](https://console.aws.amazon.com/cloudformation/)
1. Selecione a pilha que deseja excluir. Você pode procurá-la pelo nome ou encontrá-la na lista de pilhas.
1. Clique no botão **Excluir** para finalizar a exclusão da pilha e, depois, em **Excluir** novamente para reconhecer que isso excluirá todos os recursos criados pela pilha.
Aguarde a conclusão da exclusão da pilha. Isso pode levar alguns minutos. CloudFormation limpa automaticamente todos os recursos definidos no modelo de pilha.
1. Verifique se todos os recursos criados pela pilha foram excluídos. Por exemplo, verifique se há algum cluster restante do Amazon EMR.
**Para remover os endpoints da API de um modelo**
1. Vá para o console de SageMaker IA: [https://console.aws.amazon.com/sagemaker/](https://console.aws.amazon.com/sagemaker/).
1. No painel de navegação à esquerda, selecione **Inferência** e, em seguida, **Endpoints**.
1. Selecione o endpoint `hf-allminil6v2-embedding-ep` e escolha **Excluir** na lista suspensa **Ações**. Repita a etapa para o endpoint `meta-llama2-7b-chat-tg-ep`.