API de processamento de dados do Neptune ML
Ações de processamento de dados:
Estruturas de uso geral de ML:
StartMLDataProcessingJob (ação)
O nome da CLI da AWS para essa API é: start-ml-data-processing-job.
Cria um trabalho de processamento de dados do Neptune ML para processar os dados de grafos exportados do Neptune para treinamento. Consulte O comando dataprocessing.
Ao invocar essa operação em um cluster do Neptune com a autenticação do IAM habilitada, o usuário ou o perfil do IAM que faz a solicitação deve ter uma política anexada que viabilize a ação do IAM neptune-db:StartMLModelDataProcessingJob nesse cluster.
Solicitação
-
configFileName (na CLI:
--config-file-name): uma string, do tipo:string(uma string codificada em UTF-8).Um arquivo de especificação de dados que descreve como carregar os dados de grafos exportados para treinamento. O arquivo é gerado automaticamente pelo kit de ferramentas de exportação do Neptune. O padrão é “”.
training-data-configuration.json. -
id (na CLI:
--id): uma string, do tipo:string(uma string codificada em UTF-8).Um identificador exclusivo do novo trabalho. O padrão é um UUID gerado automaticamente.
-
inputDataS3Location (na CLI:
--input-data-s3-location): obrigatório: uma string, do tipo:string(uma string codificada em UTF-8).O URI do local do Amazon S3 em que você deseja que o SageMaker baixe os dados necessários para executar o trabalho de processamento de dados.
-
modelType (na CLI:
--model-type): uma string, do tipo:string(uma string codificada em UTF-8).Um dos dois tipos de modelo que o Neptune ML aceita no momento: modelos de grafos heterogêneos (
heterogeneous) e grafo de conhecimento (kge). O padrão é nenhum. Se não for especificado, o Neptune ML escolherá o tipo de modelo automaticamente com base nos dados. -
neptuneIamRoleArn (na CLI:
--neptune-iam-role-arn): uma string, do tipo:string(uma string codificada em UTF-8).O nome do recurso da Amazon (ARN) de um perfil do IAM que o SageMaker pode assumir para executar tarefas em seu nome. Deve estar listado no grupo de parâmetros do cluster de banco de dados ou ocorrerá um erro.
-
previousDataProcessingJobId (na CLI:
--previous-data-processing-job-id): uma string, do tipo:string(uma string codificada em UTF-8).O ID de um trabalho de processamento de dados concluído executado em uma versão anterior dos dados.
-
processedDataS3Location (na CLI:
--processed-data-s3-location): obrigatório: uma string, do tipo:string(uma string codificada em UTF-8).O URI do local do Amazon S3 onde você deseja que o SageMaker salve os resultados do trabalho de processamento de dados.
-
processingInstanceType (na CLI:
--processing-instance-type): uma string, do tipo:string(uma string codificada em UTF-8).O tipo de instância de ML usada durante o processamento de dados. A memória deve ser grande o suficiente para armazenar o conjunto de dados processado. O padrão é o menor tipo ml.r5 cuja memória é dez vezes maior que o tamanho dos dados de grafos exportados no disco.
-
processingInstanceVolumeSizeInGB (na CLI:
--processing-instance-volume-size-in-gb): um valor inteiro, do tipo:integer(um valor inteiro assinado de 32 bits).O tamanho do volume do disco da instância de processamento. Tanto os dados de entrada quanto os dados processados são armazenados em disco, portanto, o tamanho do volume deve ser grande o suficiente para conter os dois conjuntos de dados. O padrão é 0. Se não for especificado ou for 0, o Neptune ML escolherá o tamanho do volume automaticamente com base no tamanho dos dados.
-
processingTimeOutInSeconds (na CLI:
--processing-time-out-in-seconds): um valor inteiro, do tipo:integer(um valor inteiro assinado de 32 bits).O tempo limite em segundos do trabalho de processamento de dados. O padrão é 86.400 (1 dia).
-
s3OutputEncryptionKMSKey (na CLI:
--s-3-output-encryption-kms-key): uma string, do tipo:string(uma string codificada em UTF-8).A chave do Amazon Key Management Service (Amazon KMS) que o SageMaker usa para criptografar a saída do trabalho de processamento. O padrão é nenhum.
-
sagemakerIamRoleArn (na CLI:
--sagemaker-iam-role-arn): uma string, do tipo:string(uma string codificada em UTF-8).O ARN de um perfil do IAM para execução do SageMaker. Deve estar listado no grupo de parâmetros do cluster de banco de dados ou ocorrerá um erro.
-
securityGroupIds (na CLI:
--security-group-ids): uma string, do tipo:string(uma string codificada em UTF-8).Os IDs dos grupos de segurança da VPC. O padrão é Nenhum.
-
subnets (na CLI:
--subnets): uma string, do tipo:string(uma string codificada em UTF-8).Os IDs das sub-redes na VPC do Neptune. O padrão é Nenhum.
-
volumeEncryptionKMSKey (na CLI:
--volume-encryption-kms-key): uma string, do tipo:string(uma string codificada em UTF-8).A chave do Amazon Key Management Service (Amazon KMS) que o SageMaker utiliza para criptografar dados no volume de armazenamento anexado às instâncias de computação de ML que executam o trabalho de treinamento. O padrão é Nenhum.
Resposta
-
arn: uma string, do tipo:
string(uma string codificada em UTF-8).O ARN do trabalho de processamento de dados.
-
creationTimeInMillis: é um valor longo, do tipo:
long(um valor inteiro assinado de 64 bits).O tempo necessário para criar o trabalho de processamento, em milissegundos.
-
id: uma string, do tipo:
string(uma string codificada em UTF-8).O ID exclusivo do novo trabalho de processamento de dados.
Erros
ListMLDataProcessingJobs (ação)
O nome da CLI da AWS para essa API é: list-ml-data-processing-jobs.
Exibe uma lista de trabalhos de processamento de dados do Neptune ML. Consulte Listar trabalhos de processamento de dados ativos usando o comando dataprocessing do Neptune ML.
Ao invocar essa operação em um cluster do Neptune com a autenticação do IAM habilitada, o usuário ou o perfil do IAM que faz a solicitação deve ter uma política anexada que viabilize a ação do IAM neptune-db:ListMLDataProcessingJobs nesse cluster.
Solicitação
-
maxItems (na CLI :
--max-items): um ListMLDataProcessingJobsInputMaxItemsInteger, do tipo:integer(um valor inteiro assinado de 32 bits), no mínimo 1 e até 1.024 ?st?s.O número máximo de itens a serem exibidos (de 1 a 1.024; o padrão é 10).
-
neptuneIamRoleArn (na CLI:
--neptune-iam-role-arn): uma string, do tipo:string(uma string codificada em UTF-8).O ARN de um perfil do IAM que concede ao Neptune acesso aos recursos do SageMaker e do Amazon S3. Deve estar listado no grupo de parâmetros do cluster de banco de dados ou ocorrerá um erro.
Resposta
-
ids: uma string, do tipo:
string(uma string codificada em UTF-8).Uma página que lista os IDs dos trabalhos de processamento de dados.
Erros
GetMLDataProcessingJob (ação)
O nome da CLI da AWS para essa API é: get-ml-data-processing-job.
Recupera informações sobre um trabalho de processamento de dados especificado. Consulte O comando dataprocessing.
Ao invocar essa operação em um cluster do Neptune com a autenticação do IAM habilitada, o usuário ou o perfil do IAM que faz a solicitação deve ter uma política anexada que viabilize a ação do IAM neptune-db:neptune-db:GetMLDataProcessingJobStatus nesse cluster.
Solicitação
-
id (na CLI:
--id): obrigatório: uma string, do tipo:string(uma string codificada em UTF-8).O identificador exclusivo do trabalho de processamento de dados a ser recuperado.
-
neptuneIamRoleArn (na CLI:
--neptune-iam-role-arn): uma string, do tipo:string(uma string codificada em UTF-8).O ARN de um perfil do IAM que concede ao Neptune acesso aos recursos do SageMaker e do Amazon S3. Deve estar listado no grupo de parâmetros do cluster de banco de dados ou ocorrerá um erro.
Resposta
-
id: uma string, do tipo:
string(uma string codificada em UTF-8).O identificador exclusivo desse trabalho de processamento de dados.
-
processingJob: um objeto MlResourceDefinition.
Definição do trabalho de processamento de dados.
-
status: uma string, do tipo:
string(uma string codificada em UTF-8).O status do trabalho de processamento de dados.
Erros
CancelMLDataProcessingJob (ação)
O nome da CLI da AWS para essa API é: cancel-ml-data-processing-job.
Cancela um trabalho de processamento de dados do Neptune ML. Consulte O comando dataprocessing.
Ao invocar essa operação em um cluster do Neptune com a autenticação do IAM habilitada, o usuário ou o perfil do IAM que faz a solicitação deve ter uma política anexada que viabilize a ação do IAM neptune-db:CancelMLDataProcessingJob nesse cluster.
Solicitação
-
clean (na CLI:
--clean): um valor booliano, do tipo:boolean(um valor booliano (verdadeiro ou falso)).Se definido como
TRUE, esse sinalizador especifica que todos os artefatos do S3 no Neptune ML deverão ser excluídos quando o trabalho for interrompido. O padrão é “”.FALSE. -
id (na CLI:
--id): obrigatório: uma string, do tipo:string(uma string codificada em UTF-8).O identificador exclusivo do trabalho de processamento de dados.
-
neptuneIamRoleArn (na CLI:
--neptune-iam-role-arn): uma string, do tipo:string(uma string codificada em UTF-8).O ARN de um perfil do IAM que concede ao Neptune acesso aos recursos do SageMaker e do Amazon S3. Deve estar listado no grupo de parâmetros do cluster de banco de dados ou ocorrerá um erro.
Resposta
-
status: uma string, do tipo:
string(uma string codificada em UTF-8).O status da solicitação de cancelamento.
Erros
Estruturas de uso geral de ML:
MlResourceDefinition (estrutura)
Define um recurso do Neptune ML.
Campos
-
arn: é uma string, do tipo:
string(uma string codificada em UTF-8).O ARN do recurso.
-
cloudwatchLogUrl: é uma string, do tipo:
string(uma string codificada em UTF-8).O URL de log do CloudWatch para o recurso.
-
failureReason: é uma string, do tipo:
string(uma string codificada em UTF-8).O motivo da falha, em caso de falha.
-
name: é uma string, do tipo:
string(uma string codificada em UTF-8).O nome do recurso.
-
outputLocation: é uma string, do tipo:
string(uma string codificada em UTF-8).O local da saída.
-
status: é uma string, do tipo:
string(uma string codificada em UTF-8).O status do recurso.
MlConfigDefinition (estrutura)
Contém uma configuração do Neptune ML.
Campos
-
arn: é uma string, do tipo:
string(uma string codificada em UTF-8).O ARN da configuração.
-
name: é uma string, do tipo:
string(uma string codificada em UTF-8).O nome da configuração.
