使用真实情况优化蓝图 - Amazon Bedrock

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用真实情况优化蓝图

您可以通过提供具有正确预期结果的示例内容资产来提高蓝图的准确性。蓝图指令优化使用您的示例来完善蓝图字段中的自然语言指令,从而提高推理结果的准确性。

当您需要提取直接出现在文档中的特定值(例如发票编号、合同金额或纳税申报表字段)时,蓝图指令优化效果最好。我们建议提供 3 到 10 个示例资产来代表您在生产中处理的文档,尤其是那些遇到准确性挑战的文档。

蓝图指令优化的工作原理

蓝图指令优化会分析您的预期结果和初始推理结果之间的差异。该服务以迭代方式完善蓝图中每个字段的自然语言指令,直到这些说明在示例资产中生成更准确的结果。此过程可在几分钟内完成,无需任何模型训练或微调。

在开始优化过程时,您需要提供示例资产和相应的地面实况数据,即您期望为每个字段提取的正确值。蓝图指令优化将这些值与推理结果进行比较,并调整字段描述以提高准确性。优化完成后,您将收到显示准确性提高的准确性指标,包括精确匹配率和根据您的实际情况衡量的 F1 分数。

在开始优化蓝图之前需要什么

包含已定义字段的蓝图。使用控制台或 API 创建蓝图。您的蓝图应包含要提取的数据的字段名称和初始描述。

示例内容资产。收集 3 到 10 个文档资产,这些资产代表了您在文档上的制作工作量。选择包含蓝图中所有字段的示例。

您的示例的预期结果。准备好要从每个示例资源中提取的正确值。您可以在优化期间手动输入这些值,也可以使用清单文件上传这些值。

S3 存储桶位置。指定要在其中存储示例资产和实况数据的 S3 存储桶。您可以提供自己的存储桶,也可以允许服务为您创建存储桶。

Step-by-step 优化蓝图的流程

要优化蓝图,请从 Amazon Bedrock 数据自动化控制台中的蓝图详情页面开始。请注意,这仅适用于您的文档模式。

步骤 1:选择优化蓝图以开始优化工作流程。

步骤 2:上传您的示例素材资源。从您的本地设备或 S3 位置选择最多 10 个内容资产。该服务上传您的资产并显示每个文件的缩略图。如果您之前优化了此蓝图,则可以添加新示例或删除现有示例。

步骤 3:提供每项资产的真实情况。选择资产以打开地面真相编辑器。编辑器在左侧显示您的文档预览,在右侧显示蓝图字段的简化表格。对于每个字段,在 Ground Truth 列中输入您希望提取的正确值。

步骤 4:要加快地面真相输入的速度,请选择自动填充以对您的资产进行初始推断,并根据结果列中的值自动填充 G round Trut h 列。在继续操作之前,请编辑所有不正确的值。

步骤 5。开始优化。完成所有选定资产的地面真相输入后,选择开始优化。数据自动化会分析您的示例,并完善每个字段的自然语言指令。进度指示器显示优化状态,并显示诸如 “正在读取您的资产” 和 “迭代蓝图自然语言指令” 之类的消息。

步骤 6. 查看评估指标。优化完成后,指标部分会显示蓝图的精度指标。这些指标比较优化前和优化后的性能。查看 F1 的总体分数、置信度分数和精确匹配率,以评估蓝图是否符合您的准确性要求。

按示例文件划分的指标” 选项卡显示每个示例资产的字段级精度。使用这些指标来确定哪些字段已得到改进,哪些字段可能需要其他示例或手动完善。

第 7 步。完成优化。如果评估指标符合您的要求,请选择保存优化的蓝图以将优化的蓝图提升到生产环境。现在,您的蓝图将使用经过改进的自然语言指令来处理所有 future 推理请求。

重新优化您的蓝图

您可以随时重新优化蓝图以进一步提高准确性。返回蓝图详细信息页面并选择优化蓝图。该服务会显示您之前用于优化的资产及其基本真实值。

要重新优化,您可以添加新的示例资产,编辑现有资产的基本真实值,或者移除不再代表您的工作量的资产。当您选择 “开始优化” 时,蓝图指令优化会根据当前蓝图指令与新指令进行计算。

优化后编辑蓝图

如果您在优化的蓝图中添加或移除字段,则该服务会删除优化历史记录和相关的示例资产。在编辑之前,请下载包含您的资产位置和真实情况标签的清单文件。清单文件使用 JSON 格式,包括之前优化的所有字段和基本真值。要保留您的优化工作,请在重新优化已编辑的蓝图时上传清单文件。数据自动化会自动将基本真值应用于匹配字段。蓝图中不再存在的字段将从清单中移除。在您提供基本真值之前,新字段没有基本真值。

管理优化成本

蓝图指令优化消耗会产生推理成本,就像手动编辑自然语言指令并针对每个示例文档对其进行迭代测试一样。为了粗略计算,您作为示例提供的页数将是您优化蓝图时要收取的页数。每次优化运行都会多次处理您的示例资产,以完善指令。为了最大限度地降低成本,请从 3 到 5 个示例开始进行初始优化。当您检查评估指标并认为需要进一步提高准确性时,请添加更多示例。

此外,优化的自然语言指令往往比原始指令更长、更详细,这可能会增加运行时推断成本。