View a markdown version of this page

Armazenamento on-line - SageMaker IA da Amazon
Tipo de armazenamento de nível padrãoTipo de armazenamento de nível V2 padrãoIn-memory tipo de armazenamento em camadas

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Armazenamento on-line

O armazenamento on-line é um armazenamento de dados de baixa latência e alta disponibilidade que fornece pesquisa de atributos em tempo real. Geralmente é usado para fornecer modelos de machine learning (ML). Ao criar um grupo de recursos, escolha um tipo de loja on-line: a loja virtual padrão (Standard), a loja on-line V2 padrão (Standard_V2) ou uma loja on-line na camada de memória (InMemory). Dessa forma, você pode selecionar o tipo de armazenamento que melhor corresponda aos padrões de leitura e gravação de uma aplicação específico, considerando o desempenho e o custo. Para obter mais detalhes sobre preços, consulte SageMaker Preços da Amazon.

O armazenamento on-line contém as seguintes opções de StorageType: Para obter mais informações sobre o conteúdo do armazenamento on-line, veja OnlineStoreConfig.

Tipo de armazenamento de nível padrão

O nível Standard é um armazenamento de dados gerenciado de baixa latência para grupos de atributos de armazenamento on-line. Ele fornece recuperação rápida de dados para o serviço de modelo de ML para suas aplicações. O Standard é o tipo de armazenamento padrão.

Tipo de armazenamento de nível V2 padrão

O Standard_V2 nível é um armazenamento de dados gerenciado de baixa latência para grupos de recursos de lojas on-line que oferece suporte a atualizações parciais de recursos individuais usando a operação. UpdateRecord Ao contrário da Standard camada, Standard_V2 permite que você atualize valores de recursos específicos em um registro sem reescrever o registro inteiro.

Isso desbloqueia vários benefícios para grupos de recursos que mudam com frequência:

  • Atualize recursos em uma única chamada — Ignore o padrão de leitura-modificação-gravação. Ligue apenas UpdateRecord com os recursos que você deseja alterar, e o Feature Store preserva o resto.

  • Menores custos de gravação e latência para atualizações em nível de recurso — Grave somente os recursos que foram alterados em vez do registro completo. Para registros amplos em que apenas alguns recursos são atualizados com frequência (por exemplo, last_login ou em execuçãoclick_count), isso evita enviar e reescrever dados inalterados.

  • Atualizações simultâneas seguras — Use o EventTime de cada atualização para detectar e rejeitar gravações fora de ordem, para que uma atualização lenta ou obsoleta não possa substituir os valores mais recentes do recurso.

Escolha Standard_V2 no momento da criação do grupo de recursos quando sua carga de trabalho atualiza recursos específicos com frequência e você deseja gravações parciais e eficientes. Para criar um novo grupo de Standard_V2 recursos, ligue CreateFeatureGroup e defina OnlineStoreConfig a StorageType entrada comoStandard_V2.

Migrar um grupo de recursos padrão para o Standard V2

Já tem um grupo de Standard recursos? Você pode migrá-lo para o Standard V2 no local, sem recriar o grupo de recursos ou reingerir seus dados. Para migrar, chame a UpdateFeatureGroup operação com o seguinte:

  • FeatureGroupNameDefina com o nome ou o nome de recurso da Amazon (ARN) do grupo de recursos que você deseja migrar.

  • No OnlineStoreConfig objeto, StorageType defina comoStandard_V2.

O AWS Command Line Interface exemplo a seguir migra um grupo de recursos chamado my-feature-group para Standard V2:

aws sagemaker update-feature-group \
    --feature-group-name my-feature-group \
    --online-store-config '{"StorageType": "Standard_V2"}'

Após a conclusão da migração, são necessários alguns minutos para que a UpdateRecord operação fique disponível no grupo de recursos. Depois de habilitado, você pode usá-lo UpdateRecord para atualizar recursos individuais nos registros do grupo de recursos.

Importante

A migração Standard para o Standard V2 é uma operação unidirecional e não pode ser revertida.

In-memory tipo de armazenamento em camadas

O nível InMemory é um armazenamento de dados gerenciado para grupos de atributos de armazenamento on-line que oferece apoio à recuperação de latência muito baixa. Ele fornece recuperação de dados em tempo real em grande escala para o fornecimento de modelos de ML usados em aplicações de alta throughput. O InMemory nível é desenvolvido pela Amazon ElastiCache (Redis OSS). Para obter mais informações, consulte O que é Amazon ElastiCache (Redis OSS)? .

O nível InMemory do armazenamento on-line oferece apoio a tipos de coleção, ou seja, lista, conjunto e vetor. Para obter mais informações sobre tipos de coleção InMemory, consulte Tipos de coleção.

O Feature Store fornece leitura e gravação de baixa latência para o armazenamento on-line. A latência da aplicação é composta principalmente por dois componentes principais: latência da infraestrutura ou da rede e latência da API do Feature Store. A redução da latência de rede ajuda a obter as leituras e gravações de menor latência no Feature Store. Você pode reduzir a latência da rede para o Feature Store AWS PrivateLink implantando no endpoint Feature Store Runtime. Com AWS PrivateLink, você pode acessar de forma privada todas as operações da API Feature Store Runtime a partir da sua Amazon Virtual Private Cloud (VPC) de forma escalável usando endpoints de interface VPC. Uma AWS PrivateLink implantação com a privateDNSEnabled opção definida como verdadeira:

  • Ele mantém todo o read/write tráfego da Feature Store em sua VPC.

  • Mantém o tráfego na mesma AZ do cliente que o originou ao usar o Feature Store. Isso evita os “saltos” entre as AZs, reduzindo a latência de rede.

Siga as etapas em Acesse um AWS serviço usando uma interface VPC endpoint AWS PrivateLink para configurar o Feature Store. O nome do serviço para Feature Store Runtime em AWS PrivateLink écom.amazonaws.region.sagemaker.featurestore-runtime.

O armazenamento on-line de nível InMemory escala automaticamente com base no uso e nas solicitações. O escalonamento automatizado pode levar alguns minutos para se adaptar a um novo padrão de uso se ele mudar rapidamente. Durante o dimensionamento automatizado:

  • As operações de gravação no grupo de atributos podem sofrer controle de utilização. Você deve repetir suas solicitações alguns minutos depois.

  • As operações de leitura no grupo de atributos podem sofrer controle de utilização. As estratégias de repetição padrão são adequadas nesse caso.

  • As operações de leitura podem apresentar latência elevada.

O tamanho máximo do grupo de atributos de nível InMemory padrão é de 50 GiB.

Observe que o nível InMemoryatualmente é compatível com somente grupos de atributos online, não grupos de atributos online+offline, portanto, não há replicação entre armazenamentos on-line e offline para o nível InMemory. Além disso, o nível InMemory atualmente não oferece apoio a chaves do KMS gerenciadas pelo cliente.