Valuta le prestazioni delle sorgenti RAG utilizzando le valutazioni di Amazon Bedrock - Amazon Bedrock
Modelli supportati

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Valuta le prestazioni delle sorgenti RAG utilizzando le valutazioni di Amazon Bedrock

Puoi utilizzare parametri calcolati per valutare l'efficacia con cui un sistema Retrieval Augmented Generation (RAG) recupera le informazioni pertinenti dalle tue fonti di dati e l'efficacia delle risposte generate nel rispondere alle domande. I risultati di una valutazione RAG consentono di confrontare diverse Knowledge Base di Amazon Bedrock e altre fonti RAG e quindi di scegliere la Knowledge Base o il sistema RAG più adatto alla propria applicazione.

È possibile impostare due diversi tipi di lavori di valutazione RAG.

  • Solo recupero: in un processo di valutazione RAG di sola recupero, il rapporto si basa sui dati recuperati dalla fonte RAG. Puoi valutare una Knowledge Base di Amazon Bedrock oppure importare i tuoi dati di risposta all'inferenza da una fonte RAG esterna.

  • Recupera e genera: in un processo di valutazione retrieve-and-generateRAG, il report si basa sui dati recuperati dalla tua knowledge base e sui riepiloghi generati dal modello del generatore di risposte. Puoi utilizzare una Knowledge Base di Amazon Bedrock e un modello di generatore di risposte oppure puoi importare i tuoi dati di risposta all'inferenza da una fonte RAG esterna.

Modelli supportati

Per creare un job di valutazione RAG, è necessario accedere ad almeno uno dei modelli di valutazione presenti negli elenchi seguenti. Per creare un retrieve-and-generate lavoro che utilizzi un modello Amazon Bedrock per generare le risposte, devi anche accedere ad almeno uno dei modelli di risposta del generatore elencati.

Per ulteriori informazioni su come accedere ai modelli e alla disponibilità regionale, consultaAccedi ai modelli di base Amazon Bedrock.

Modelli di valutazione supportati (metriche integrate)

  • Amazon Nova Pro – amazon.nova-pro-v1:0

  • AnthropicClaude 3.5 Sonnetv1 — anthropic.claude-3-5-sonnet-20240620-v1:0

  • AnthropicClaude 3.5 Sonnetv2 — anthropic.claude-3-5-sonnet-20241022-v2:0

  • Anthropic Claude 3.7 Sonnet – anthropic.claude-3-7-sonnet-20250219-v1:0

  • Anthropic Claude 3 Haiku – anthropic.claude-3-haiku-20240307-v1:0

  • Anthropic Claude 3.5 Haiku – anthropic.claude-3-5-haiku-20241022-v1:0

  • Meta Llama 3.1 70B Instruct – meta.llama3-1-70b-instruct-v1:0

  • Mistral Large – mistral.mistral-large-2402-v1:0

I profili di inferenza Cross Region sono supportati per i modelli elencati. Per ulteriori informazioni, consulta Profili di inferenza interregionali supportati.

Modelli di valutazione supportati (metriche personalizzate)

  • Mistral Large24.02 — mistral.mistral-large-2402-v1:0

  • Mistral Large24.07 — mistral.mistral-large-2407-v1:0

  • AnthropicClaude 3.5 Sonnetv1 — anthropic.claude-3-5-sonnet-20240620-v1:0

  • AnthropicClaude 3.5 Sonnetv2 — anthropic.claude-3-5-sonnet-20241022-v2:0

  • Anthropic Claude 3.7 Sonnet – anthropic.claude-3-7-sonnet-20250219-v1:0

  • AnthropicClaude 3 Haiku3 — anthropic.claude-3-haiku-20240307-v1:0

  • AnthropicClaude 3 Haiku3,5 — anthropic.claude-3-5-haiku-20241022-v1:0

  • Meta Llama 3.1 70B Instruct – meta.llama3-1-70b-instruct-v1:0

  • Meta Llama 3.3 70B Instruct – meta.llama3-3-70b-instruct-v1:0

  • Amazon Nova Pro – amazon.nova-pro-v1:0

I profili di inferenza Cross Region sono supportati per i modelli elencati. Per ulteriori informazioni, consulta Profili di inferenza interregionali supportati.

Modelli di generatori di risposte supportati

Puoi utilizzare i seguenti tipi di modello in Amazon Bedrock come modello di generatore di risposte in un processo di valutazione. Puoi anche importare i tuoi dati di risposta all'inferenza da modelli non Amazon Bedrock.