Criar um vocabulário personalizado usando uma tabela - Amazon Transcribe
Criar tabelas de vocabulário personalizado

Criar um vocabulário personalizado usando uma tabela

Usar um formato de tabela é a forma preferencial de criar um vocabulário personalizado. As tabelas de vocabulário devem consistir em quatro colunas (Phrase, SoundsLike, IPA, and DisplayAs), que podem ser incluídas em qualquer ordem:

Phrase SoundsLike IPA DisplayAs

Obrigatório. Cada linha na tabela deve conter uma entrada nessa coluna.

Não use espaços nessa coluna.

Se a entrada tiver várias palavras, separe cada uma com um hífen (-). Por exemplo, Andorra-la-Vella ou Los-Angeles.

Para acrônimos, todas as letras pronunciadas devem ser separadas por um ponto. O ponto final também precisa ser pronunciado. Se o acrônimo estiver no plural, você deverá usar um hífen entre ele e o “s”. Por exemplo, “CLI” é C.L.I. (não C.L.I) e “ABCs” é A.B.C.-s (não A.B.C-s).

Se a frase consistir em uma palavra e um acrônimo, esses dois componentes devem ser separados por um hífen. Por exemplo, “DynamoDB” é Dynamo-D.B..

Não inclua dígitos nessa coluna; os números devem ser escritos por extenso. Por exemplo, “VX02Q” é V.X.-zero-two-Q..

SoundsLike não é mais compatível com vocabulário personalizado. Deixe a coluna em branco. Quaisquer valores nesta coluna serão ignorados. Removeremos o suporte para esta coluna no futuro.

IPA não é mais compatível com vocabulário personalizado. Deixe a coluna em branco. Quaisquer valores nesta coluna serão ignorados. Removeremos o suporte para esta coluna no futuro.

Opcional. As linhas nessa coluna podem ser deixadas vazias.

Não é possível usar espaços nessa coluna.

Define como você deseja que a entrada apareça na saída da transcrição. Por exemplo, Andorra-la-Vella na coluna Phrase está como Andorra la Vella na coluna DisplayAs.

Se uma linha nessa coluna estiver vazia, o Amazon Transcribe usará o conteúdo da coluna Phrase para determinar a saída.

Você pode incluir dígitos (0-9) nessa coluna.

Fatores a observar ao criar a tabela:

  • Sua tabela deve conter todos os quatro cabeçalhos de coluna (Phrase, SoundsLike, IPA, and DisplayAs). A coluna Phrase deve conter uma entrada em cada linha. A capacidade de fornecer informações de pronúncia por meio de IPA e SoundsLike não é mais compatível e você pode deixar a coluna vazia. Quaisquer valores nessas colunas serão ignorados.

  • Cada coluna deve ser delineada com TAB ou vírgula (,); isso se aplica a todas as linhas do arquivo de vocabulário personalizado. Se uma linha tiver colunas vazias, você também deverá incluir um delineador (TAB ou vírgula) para cada coluna.

  • Os espaços só são permitidos nas colunas IPA e DisplayAs. Não use espaços para separar colunas.

  • IPA e SoundsLike não são mais compatíveis com vocabulário personalizado. Deixe a coluna em branco. Quaisquer valores nessa coluna serão ignorados. Removeremos o suporte para esta coluna no futuro.

  • A coluna DisplayAs aceita símbolos e caracteres especiais (por exemplo, C++). Todas as outras colunas permitem os caracteres listados na página de conjunto de caracteres do seu idioma.

  • Se quiser incluir números na coluna Phrase, você deve soletrá-los. Só é possível usar dígitos (0-9) na coluna DisplayAs.

  • Você deve salvar a tabela como um arquivo de texto simples (*.txt) no formato LF. Se você usar qualquer outro formato, como CRLF, seu vocabulário personalizado não poderá ser processado.

  • Você deve carregar o arquivo do vocabulário personalizado em um bucket do Amazon S3 e processá-lo usando CreateVocabulary para poder incluí-lo em uma solicitação de transcrição. Consulte Criar tabelas de vocabulário personalizado para ver as instruções.

nota

Insira acrônimos ou outras palavras cujas letras devem ser pronunciadas individualmente como letras únicas separadas por pontos (A.B.C.). Para especificar a forma plural de um acrônimo, como “ABCs”, separe o “s” do acrônimo com um hífen (A.B.C.-s). É possível usar letras maiúsculas ou minúsculas para definir um acrônimo. Nem todos os idiomas aceitam acrônimos. Consulte Idiomas oferecidos e recursos específicos do idioma.

Veja um exemplo de tabela de vocabulário personalizado (em que [TAB] representa um caractere de tabulação):

Phrase[TAB]SoundsLike[TAB]IPA[TAB]DisplayAs
Los-Angeles[TAB][TAB][TAB]Los Angeles
Eva-Maria[TAB][TAB][TAB]
A.B.C.-s[TAB][TAB][TAB]ABCs
Amazon-dot-com[TAB][TAB][TAB]Amazon.com
C.L.I.[TAB][TAB][TAB]CLI
Andorra-la-Vella[TAB][TAB][TAB]Andorra la Vella
Dynamo-D.B.[TAB][TAB][TAB]DynamoDB
V.X.-zero-two[TAB][TAB][TAB]VX02
V.X.-zero-two-Q.[TAB][TAB][TAB]VX02Q

Para maior clareza visual, apresentamos a mesma tabela com colunas alinhadas. Não adicione espaços entre as colunas na tabela de vocabulário personalizado; a tabela deve ficar desalinhada, como no exemplo anterior.

Phrase          [TAB]SoundsLike          [TAB]IPA                [TAB]DisplayAs  
Los-Angeles     [TAB]                    [TAB]                   [TAB]Los Angeles   
Eva-Maria       [TAB]                    [TAB]                   [TAB]
A.B.C.-s        [TAB]                    [TAB]                   [TAB]ABCs  
amazon-dot-com  [TAB]                    [TAB]                   [TAB]amazon.com
C.L.I.          [TAB]                    [TAB]                   [TAB]CLI   
Andorra-la-Vella[TAB]                    [TAB]                   [TAB]Andorra la Vella
Dynamo-D.B.     [TAB]                    [TAB]                   [TAB]DynamoDB
V.X.-zero-two   [TAB]                    [TAB]                   [TAB]VX02
V.X.-zero-two-Q.[TAB]                    [TAB]                   [TAB]VX02Q

Criar tabelas de vocabulário personalizado

Para processar uma tabela de vocabulário personalizado para uso com o Amazon Transcribe, consulte os seguintes exemplos:

  1. Faça login no Console de gerenciamento da AWS.

  2. No painel de navegação, selecione Vocabulário personalizado. Isso abre a página Vocabulário personalizado, na qual você pode visualizar os vocabulários existentes ou criar um.

  3. Selecione Criar vocabulário.

    Captura de tela do console do Amazon Transcribe: a página “Vocabulário personalizado”.

    Isso abre a página Criar vocabulário. Insira um nome para o novo vocabulário personalizado.

    Aqui, você tem três opções:

    1. Carregue um arquivo txt ou csv de seu computador.

      Você pode criar o vocabulário personalizado do zero ou baixar um modelo para ajudar você a começar. O vocabulário é preenchido automaticamente no painel Visualize e edite o vocabulário.

      Captura de tela do console do Amazon Transcribe: a página “Criar e importar vocabulário”.

    2. Importe um arquivo txt ou csv de um local do Amazon S3.

      Você pode criar o vocabulário personalizado do zero ou baixar um modelo para ajudar você a começar. Carregue o arquivo do vocabulário finalizado em um bucket do Amazon S3 e especifique o URI dele em sua solicitação. O vocabulário é preenchido automaticamente no painel Visualize e edite o vocabulário.

      Captura de tela do console do Amazon Transcribe: a página “Criar e importar vocabulário”.

    3. Crie manualmente o vocabulário no console.

      Role até o painel Visualize e edite o vocabulário e selecione Adicionar 10 linhas. Agora você pode inserir termos manualmente.

      Captura de tela do console do Amazon Transcribe: a página “Criar e importar vocabulário”.

  4. É possível editar o vocabulário no painel Visualize e edite o vocabulário. Para fazer alterações, clique na entrada que deseja modificar.

    Captura de tela do console do Amazon Transcribe: o painel “Criar e editar vocabulário”.

    Se cometer um erro, você receberá uma mensagem de erro detalhada para poder corrigir qualquer problema antes de processar o vocabulário. Observe que, se você não corrigir todos os erros antes de selecionar Criar vocabulário, a solicitação de vocabulário falhará.

    Captura de tela do console do Amazon Transcribe: o painel “Criar e editar vocabulário”.

    Selecione a marca de seleção (✓) para salvar as alterações ou o “X” para descartá-las.

  5. Se preferir, adicione tags ao vocabulário personalizado. Depois que você preencher todos os campos e estiver contente com o vocabulário, selecione Criar vocabulário na parte inferior da página. Isso leva você de volta à página Vocabulário personalizado, onde é possível ver o status do vocabulário personalizado. Quando o status muda de “Pendente” para “Pronto”, o vocabulário personalizado pode ser usado com uma transcrição.

    Captura de tela do console do Amazon Transcribe: vocabulário personalizado em status pendente durante o processamento.

  6. Se o status mudar para “Falhou”, selecione o nome do vocabulário personalizado para acessar a página de informações.

    Captura de tela do console do Amazon Transcribe: página “Vocabulário personalizado” mostrando um vocabulário como completo e outro como malsucedido.

    Há um banner Motivo da falha na parte superior dessa página que fornece informações sobre o motivo da falha do vocabulário personalizado. Corrija o erro no arquivo de texto e tente novamente.

    Captura de tela do console do Amazon Transcribe: a página de informações do vocabulário mostra o motivo da falha.

Este exemplo usa o comando create-vocabulary com um arquivo de vocabulário em formato de tabela. Para obter mais informações, consulte CreateVocabulary.

Para usar um vocabulário personalizado existente em uma tarefa de transcrição, defina o VocabularyName no campo Settings ao chamar a operação StartTranscriptionJob ou, usando o Console de gerenciamento da AWS, escolha o vocabulário personalizado na lista suspensa.

aws transcribe create-vocabulary \ 
--vocabulary-name my-first-vocabulary \ 
--vocabulary-file-uri s3://amzn-s3-demo-bucket/my-vocabularies/my-vocabulary-file.txt \
--language-code en-US

Veja a seguir outro exemplo usando o comando create-vocabulary e um corpo de solicitação que cria o vocabulário personalizado.

aws transcribe create-vocabulary \
--cli-input-json file://filepath/my-first-vocab-table.json

O arquivo my-first-vocab-table.json contém o corpo de solicitação a seguir.

{
  "VocabularyName": "my-first-vocabulary",
  "VocabularyFileUri": "s3://amzn-s3-demo-bucket/my-vocabularies/my-vocabulary-table.txt",
  "LanguageCode": "en-US"
}

Assim que VocabularyState muda de PENDING para READY, seu vocabulário personalizado estará pronto para ser usado com uma transcrição. Execute o comando para visualizar o status atual do vocabulário personalizado:

aws transcribe get-vocabulary \
--vocabulary-name my-first-vocabulary

Este exemplo usa o AWS SDK para Python (Boto3) para criar um vocabulário personalizado com base em uma tabela usando o método create_vocabulary. Para obter mais informações, consulte CreateVocabulary.

Para usar um vocabulário personalizado existente em uma tarefa de transcrição, defina o VocabularyName no campo Settings ao chamar a operação StartTranscriptionJob ou, usando o Console de gerenciamento da AWS, escolha o vocabulário personalizado na lista suspensa.

Para ver exemplos adicionais de uso dos SDKs da AWS, bem como exemplos específicos de recursos, cenários e entre serviços, consulte o capítulo Exemplos de código para o Amazon Transcribe usando SDKs da AWS.

from __future__ import print_function
import time
import boto3
transcribe = boto3.client('transcribe', 'us-west-2')
vocab_name = "my-first-vocabulary"
response = transcribe.create_vocabulary(
    LanguageCode = 'en-US',
    VocabularyName = vocab_name,
    VocabularyFileUri = 's3://amzn-s3-demo-bucket/my-vocabularies/my-vocabulary-table.txt'
)

while True:
    status = transcribe.get_vocabulary(VocabularyName = vocab_name)
    if status['VocabularyState'] in ['READY', 'FAILED']:
        break
    print("Not ready yet...")
    time.sleep(5)
print(status)
nota

Se você criar um bucket do Amazon S3 para seus arquivos de vocabulário personalizado, o perfil do IAM que faz a solicitação CreateVocabulary deve ter permissões para acessar esse bucket. Se o perfil não tiver as permissões corretas, sua solicitação falhará. Opcionalmente, você pode especificar um perfil do IAM em sua solicitação incluindo o parâmetro DataAccessRoleArn. Para obter mais informações sobre políticas e perfis do IAM no Amazon Transcribe, consulte Amazon TranscribeExemplos de políticas baseadas em identidade do .