Amazon Bedrock 中模型評估的文字摘要 - Amazon Bedrock

Amazon Bedrock 中模型評估的文字摘要

文字摘要用於建立新聞摘要、法律文件、學術論文、內容預覽和內容策展等任務。用於訓練模型的文字的雙關語、一致性、偏見和流暢性，以及資訊遺失、準確性、相關性或上下文內容不相符，都可能影響回應的品質。

重要

對於文字摘要而言，有個已知的系統問題會阻礙 Cohere 模型成功完成毒性評估。

下列內建資料集支援搭配使用任務摘要任務類型。

Gigaword

Gigaword 資料集包含新聞文章標題。此資料集用於文字摘要任務。

下表摘要列出計算的指標，以及建議的內建資料集。若要使用 AWS CLI 或支援的 AWS SDK 成功指定可用的內建資料集，請使用欄中的參數名稱，即內建資料集 (API)。

可用於 Amazon Bedrock中的文字摘要的內建資料集
任務類型 指標 內建資料集 (主控台) 內建資料集 (API) 計算指標
文字摘要 準確性 Gigaword Builtin.Gigaword BERTScore
毒性 Gigaword Builtin.Gigaword 毒性
強健性 Gigaword Builtin.Gigaword

BERTScore 和 deltaBERTScore

若要深入了解如何計算每個內建資料集的運算指標，請參閱 在 Amazon Bedrock 中檢閱模型評估任務報告和指標