Modelos da Luma AI - Amazon Bedrock
Text-to-Video GeraçãoImage-to-Video GeraçãoSolução de problemasObservações sobre desempenhoDocumentação relacionada

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Modelos da Luma AI

Esta seção descreve os parâmetros de solicitação e os campos de resposta dos modelos da Luma AI. Use essas informações para fazer chamadas de inferência para modelos de IA do Luma com a StartAsyncInvokeoperação. Esta seção também inclui exemplos de código Python que mostram como chamar modelos da Luma AI. Para usar um modelo em uma operação de inferência, o ID do modelo é necessário.

  • ID do modelo: luma.ray-v 2:0

  • Nome do modelo: Luma Ray 2

  • Modelo de conversão de texto em vídeo

O Luma AI modela solicitações do modelo de processo de forma assíncrona usando o Async APIs , incluindo, e. StartAsyncInvokeGetAsyncInvokeListAsyncInvokes

O modelo da Luma AI processa prompts usando as etapas a seguir.

  • O usuário solicita o modelo usando StartAsyncInvoke.

  • Espere até InvokeJob que termine. Você pode usar GetAsyncInvoke ou ListAsyncInvokes para verificar o status de conclusão da tarefa.

  • A saída do modelo será colocada no bucket de saída especificado do Amazon S3.

Para obter mais informações sobre como usar os modelos Luma AI com o APIs, consulte Geração de vídeo.

Chamada de inferência da Luma AI. 

POST /async-invoke HTTP/1.1
Content-type: application/json
{
  "modelId": "luma.ray-v2:0",
  "modelInput": {
    "prompt": "your input text here",
    "aspect_ratio": "16:9",
    "loop": false,
    "duration": "5s",
    "resolution": "720p"
  },
  "outputDataConfig": {
    "s3OutputDataConfig": {
      "s3Uri": "s3://your-bucket-name"
    }
  }
}

Campos

  • prompt: (string) o conteúdo necessário no vídeo de saída (1 <= tamanho <= 5 mil caracteres).

  • aspect_ratio: (enumeração) a proporção do vídeo de saída (“1:1”, “16:9”, “9:16”, “4:3”, “3:4”, “21:9”, “9:21”).

  • loop: (booliano) se o vídeo de saída deve ser repetido.

  • duration: (enumeração) a duração do vídeo de saída (“5 s”, “9 s”).

  • resolution: (enumeração) a resolução do vídeo de saída (“540p”, “720p”).

O MP4 arquivo será armazenado no bucket do Amazon S3 conforme configurado na resposta.

Text-to-Video Geração

Gere vídeos com base em prompts de texto usando o modelo Luma Ray 2. O modelo oferece várias opções de personalização, como proporção, duração, resolução e loop.

Text-to-VideoSolicitação básica

{
  "modelId": "luma.ray-v2:0",
  "modelInput": {
    "prompt": "an old lady laughing underwater, wearing a scuba diving suit"
  },
  "outputDataConfig": {
    "s3OutputDataConfig": {
      "s3Uri": "s3://your-bucket-name"
    }
  }
}

Avançado Text-to-Video com opções

{
  "modelId": "luma.ray-v2:0",
  "modelInput": {
    "prompt": "an old lady laughing underwater, wearing a scuba diving suit",
    "aspect_ratio": "16:9",
    "loop": true,
    "duration": "5s",
    "resolution": "720p"
  },
  "outputDataConfig": {
    "s3OutputDataConfig": {
      "s3Uri": "s3://your-bucket-name"
    }
  }
}

Text-to-VideoExemplo adicional

Exemplo com parâmetros de resolução e duração.

{
  "modelId": "luma.ray-v2:0",
  "modelInput": {
    "prompt": "a car",
    "resolution": "720p",
    "duration": "5s"
  },
  "outputDataConfig": {
    "s3OutputDataConfig": {
      "s3Uri": "s3://your-bucket-name"
    }
  }
}

Image-to-Video Geração

Transforme imagens estáticas em vídeos dinâmicos fornecendo quadros-chave. É possível especificar quadros iniciais, quadros finais ou ambos para controlar o processo de geração de vídeo.

Básico Image-to-Video com Start Frame

{
  "modelId": "luma.ray-v2:0",
  "modelInput": {
    "prompt": "A tiger walking in snow",
    "keyframes": {
      "frame0": {
        "type": "image",
        "source": {
          "type": "base64",
          "media_type": "image/jpeg",
          "data": "iVBORw0KGgoAAAANSUhEUgAAAAgAAAAIAQMAAAD+wSzIAAAABlBMVEX///+/v7+jQ3"
        }
      }
    }
  },
  "outputDataConfig": {
    "s3OutputDataConfig": {
      "s3Uri": "s3://your-bucket-name"
    }
  }
}

Image-to-Video com quadros inicial e final

{
  "modelId": "luma.ray-v2:0",
  "modelInput": {
    "prompt": "A tiger walking in snow",
    "keyframes": {
      "frame0": {
        "type": "image",
        "source": {
          "type": "base64",
          "media_type": "image/jpeg",
          "data": "iVBORw0KGgoAAAANSUhEUgAAAAgAAAAIAQMAAAD+wSzIAAAABlBMVEX///+/v7+jQ3"
        }
      },
      "frame1": {
        "type": "image",
        "source": {
          "type": "base64",
          "media_type": "image/jpeg",
          "data": "iVBORw0KGgoAAAANSUhEUgAAAAgAAAAIAQMAAAD+wSzIAAAABlBMVEX///+/v7+jQ3"
        }
      }
    },
    "loop": false,
    "aspect_ratio": "16:9"
  },
  "outputDataConfig": {
    "s3OutputDataConfig": {
      "s3Uri": "s3://your-bucket-name"
    }
  }
}

Parâmetros adicionais para Image-to-Video

  • quadros-chave — (objeto) Define quadros-chave de início (quadro0) e and/or fim (quadro1)

    • frame0: imagem do quadro-chave inicial.

    • frame1: imagem do quadro-chave final.

    • type: deve ser “imagem”.

    • source: fonte da imagem.

Solução de problemas

Problemas e soluções comuns ao trabalhar com modelos da Luma AI:

  • Status de trabalho “Failed”: verifique se o bucket do S3 tem as permissões de gravação adequadas e se o bucket existe na mesma região do serviço Bedrock.

  • Erros de acesso ao URL da imagem - Certifique-se de que a imagem URLs esteja acessível ao público e use HTTPS. As imagens devem estar nos formatos compatíveis (JPEG ou PNG).

  • Erros de parâmetros inválidos: verifique se os valores das proporções correspondem às opções permitidas (“1:1”, “16:9”, “9:16”, “4:3”, “3:4”, “21:9”, “9:21”) e a duração é “5 s” ou “9 s”.

  • Problemas de tempo limite: use GetAsyncInvoke para verificar o status do trabalho em vez de esperar de forma síncrona. A geração de vídeo pode levar alguns minutos.

  • Erros de tamanho do prompt: mantenha os prompts com 1 a 5 mil caracteres. Prompts mais longos serão rejeitados.

Observações sobre desempenho

Considerações importantes sobre o desempenho e as limitações do modelo da Luma AI:

  • Tempo de processamento: a geração de vídeo normalmente leva de 2 a 5 minutos para vídeos de 5 segundos e de 4 a 8 minutos para vídeos de 9 segundos, dependendo da complexidade.

  • Requisitos de imagem: as imagens de entrada devem ser de alta qualidade, com resolução mínima de 512 x 512 pixels. O tamanho máximo de imagem permitido é de 4.096 x 4096 pixels.

  • Tamanho do vídeo de saída: os vídeos gerados variam de 5 MB a 50 MB, dependendo da duração, resolução e complexidade do conteúdo.

  • Limites de taxa: as chamadas de API assíncronas estão sujeitas a cotas de serviço. Monitore seu uso e solicite aumentos de cota, se necessário.

  • Armazenamento do S3: garanta capacidade de armazenamento suficiente do S3 para vídeos de saída e considere a possibilidade de utilizar políticas de ciclo de vida para otimizar os custos.

Documentação relacionada

Para ter informações adicionais e saber mais sobre serviços relacionados: