Domínio do conteúdo 3: Aplicações de modelos de base
O domínio 3 abrange aplicações de modelos de base e representa 28% do conteúdo pontuado no exame.
Tarefas
Declaração de tarefa 3.1: Descrever as considerações sobre design de aplicações que usam modelos de base (FMs).
Objetivos:
Identificar os critérios de seleção para escolher modelos de base (FM) pré-treinados (por exemplo, custo, modalidade, latência, multilíngue, tamanho do modelo, complexidade do modelo, personalização, tamanho da entrada/saída e armazenamento em cache de prompts).
Descrever o efeito dos parâmetros de inferência nas respostas do modelo (por exemplo, temperatura e tamanho da entrada/saída).
Definir a geração aumentada via recuperação (RAG) e descrever suas aplicações empresariais (por exemplo, bases de conhecimento do Amazon Bedrock).
Identificar os serviços da AWS que ajudam a armazenar incorporações em bancos de dados de vetores (por exemplo, Amazon OpenSearch Service, Amazon Aurora, Amazon Neptune e Amazon RDS para PostgreSQL).
Explicar as compensações de custos de várias abordagens para a personalização de modelos de base (FM) (por exemplo, pré-treinamento, ajuste fino, aprendizado em contexto, RAG e destilação de modelos).
Definir a função dos agentes de IA e descrever aplicações de comerciais de agentes de IA.
Declaração de tarefa 3.2: Escolher técnicas eficazes de engenharia de prompts.
Objetivos:
Descrever os conceitos e os componentes da engenharia de prompts (por exemplo, contexto, instrução e prompts negativos).
Definir as técnicas de engenharia de prompts (por exemplo, modelos de cadeia de pensamento, zero shot, single shot, few shot e de prompt).
Identificar e descrever os benefícios e as práticas recomendadas da engenharia de prompts (por exemplo, melhoria da qualidade da resposta, experimentação, barreiras de proteção, descoberta, especificidade e concisão e uso de vários comentários).
Definir os possíveis riscos e limitações da engenharia de prompts (por exemplo, exposição, envenenamento, sequestro e jailbreaking).
Descrever estratégias de versionamento de prompts e de gerenciamento que usam o Amazon Bedrock Prompt Management.
Declaração de tarefa 3.3: Descrever o processo de treinamento e ajuste fino dos FMs.
Objetivos:
Descrever os principais elementos do treinamento de um FM (por exemplo, pré-treinamento, ajuste fino, pré-treinamento contínuo e destilação).
Definir os métodos de ajuste fino de um FM (por exemplo, ajuste de instruções, adaptação de modelos para domínios específicos, aprendizado por transferência e pré-treinamento contínuo).
Descrever como preparar dados para o ajuste fino de um FM [por exemplo, curadoria de dados, governança, tamanho, rotulagem, representatividade e aprendizado por reforço com feedback humano (RLHF)].
Declaração de tarefa 3.4: Descrever os métodos para avaliar o desempenho do FM.
Objetivos:
Determinar abordagens para avaliar o desempenho de modelos de base (FM) (por exemplo, avaliação humana, conjuntos de dados de referência e Avaliação de Modelo do Amazon Bedrock).
Identificar métricas relevantes para avaliar o desempenho de modelos de base (FM) [por exemplo, ROUGE (Recall-Oriented Understudy for Gisting Evaluation), BLEU (Bilingual Evaluation Understudy), BERTScore e LLM como avaliador].
Determinar se um modelo de base (FM) atende efetivamente aos objetivos empresariais (por exemplo, produtividade, envolvimento dos usuários e engenharia de tarefas).
Identificar abordagens para avaliar o desempenho de aplicações criadas com modelos de base (FM) (por exemplo, RAG, agentes, fluxos de trabalho).
Identificar métricas de alinhamento de objetivos de negócios para aplicações de IA (por exemplo, taxa de conclusão de tarefas, satisfação do usuário, custo por interação).
