Valutare le prestazioni delle origini RAG utilizzando Amazon Bedrock Evaluations - Amazon Bedrock
Modelli supportati

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Valutare le prestazioni delle origini RAG utilizzando Amazon Bedrock Evaluations

Puoi utilizzare parametri calcolati per valutare l’efficacia con cui un sistema di generazione potenziata da recupero dati (RAG) ottiene le informazioni pertinenti dalle origini dati e l’efficacia delle risposte generate nel rispondere alle domande. I risultati di una valutazione RAG consentono di confrontare diverse Knowledge Base per Amazon Bedrock e altre origini RAG e quindi di scegliere la Knowledge Base o il sistema RAG più adatto alla tua applicazione.

È possibile impostare due diversi tipi di processi di valutazione RAG.

  • Solo recupero: in un processo di valutazione RAG di sola recupero, il report si basa sui dati recuperati dall’origine RAG. Puoi valutare una knowledge base di Amazon Bedrock oppure importare i tuoi dati di risposta all’inferenza da un’origine RAG esterna.

  • Recupero e generazione: in un processo di valutazione RAG di recupero e generazione, il report si basa sui dati recuperati dalla tua knowledge base e sui riepiloghi generati dal modello di generatore di risposte. Puoi utilizzare Knowledge Base per Amazon Bedrock e un modello di generatore di risposte oppure puoi importare i tuoi dati di risposta all’inferenza da un’origine RAG esterna.

Modelli supportati

Per creare un processo di valutazione RAG, devi accedere ad almeno uno dei modelli di valutazione presenti negli elenchi seguenti. Per creare un processo di recupero e generazione che utilizzi un modello Amazon Bedrock per generare le risposte, devi avere accesso ad almeno uno dei modelli di generazione delle risposte elencati.

Per ulteriori informazioni su come accedere ai modelli e sulla disponibilità della Regione, consulta Accesso ai modelli di fondazione Amazon Bedrock.

Modelli di valutazione supportati (metriche integrate)

  • Amazon Nova Pro – amazon.nova-pro-v1:0

  • Anthropic Claude 3.5 Sonnet v1 - anthropic.claude-3-5-sonnet-20240620-v1:0

  • Anthropic Claude 3.5 Sonnet v2 - anthropic.claude-3-5-sonnet-20241022-v2:0

  • Anthropic Claude 3.7 Sonnet – anthropic.claude-3-7-sonnet-20250219-v1:0

  • Anthropic Claude 3 Haiku – anthropic.claude-3-haiku-20240307-v1:0

  • Anthropic Claude 3.5 Haiku – anthropic.claude-3-5-haiku-20241022-v1:0

  • Meta Llama 3.1 70B Instruct – meta.llama3-1-70b-instruct-v1:0

  • Mistral Large – mistral.mistral-large-2402-v1:0

I profili di inferenza tra Regioni sono supportati per i modelli elencati. Per ulteriori informazioni, consulta Profili di inferenza tra Regioni supportati.

Modelli di valutazione supportati (metriche personalizzate)

  • Mistral Large 24.02 - mistral.mistral-large-2402-v1:0

  • Mistral Large 24.07 - mistral.mistral-large-2407-v1:0

  • Anthropic Claude 3.5 Sonnet v1 - anthropic.claude-3-5-sonnet-20240620-v1:0

  • Anthropic Claude 3.5 Sonnet v2 - anthropic.claude-3-5-sonnet-20241022-v2:0

  • Anthropic Claude 3.7 Sonnet – anthropic.claude-3-7-sonnet-20250219-v1:0

  • Anthropic Claude 3 Haiku 3 - anthropic.claude-3-haiku-20240307-v1:0

  • Anthropic Claude 3 Haiku 3.5 - anthropic.claude-3-5-haiku-20241022-v1:0

  • Meta Llama 3.1 70B Instruct – meta.llama3-1-70b-instruct-v1:0

  • Meta Llama 3.3 70B Instruct – meta.llama3-3-70b-instruct-v1:0

  • Amazon Nova Pro – amazon.nova-pro-v1:0

I profili di inferenza tra Regioni sono supportati per i modelli elencati. Per ulteriori informazioni, consulta Profili di inferenza tra Regioni supportati.

Modelli di generatori di risposte supportati

Puoi utilizzare i seguenti tipi di modello in Amazon Bedrock come modello di generatore di risposte in un processo di valutazione. Puoi anche importare i tuoi dati di risposta di inferenza da modelli non Amazon Bedrock.