模式 4：多阶段 AI 工作流程 - AWS 规范性指导
多阶段 AI 工作流程模式：模块化、可观察、无服务器的 AI 管道用例：法律文件摄取和摘要为什么 Step Functions 非常适合多阶段人工智能工作流程安全和治理最佳实践多阶段 AI 工作流程模式的商业价值

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

模式 4：多阶段 AI 工作流程

许多现实世界的人工智能应用程序不是由单一的模型或功能提供的。相反，它们需要一系列 AI 驱动的任务，通常与业务逻辑、验证或第三方 API 调用交错进行。这些多阶段工作流程在各行各业和用例中都很常见，包括：

  • 文档分析管道，例如从光学字符识别 (OCR) 到分类、汇总再到索引

  • 欺诈检测系统，例如基于规则的检查到机器学习 (ML) 评分再到上报逻辑

  • 医疗保健自动化，例如从成像到诊断，再到生成报告，再到医生审查

  • 语言处理流程，例如转录到情感分析，再到生成响应

但是，这些管道可能会出现问题，因为它们通常涉及以下内容：

  • 异构服务，例如 OCR、自然语言处理 (NLP)、矢量搜索和自定义 ML

  • 多种模型类型，例如传统机器学习和生成式 AI

  • 严格的审计和错误处理要求

  • 跨职能所有权，例如数据科学、工程和合规性

传统上，这些工作流程是作为脆弱的粘合代码或静态编排平台实现的。这种方法会导致可观察性差、耦合紧密、敏捷性低，以及更新和错误恢复的高运营开销。

多阶段 AI 工作流程模式：模块化、可观察、无服务器的 AI 管道

多阶段 AI 工作流程模式AWS Step Functions用作编排支柱。通过这种模式，团队可以将一系列人工智能任务作为模块化、无服务器的功能进行协调，每个任务均独立触发和管理。工作流程的每个阶段都是可观察的，支持重试，并且与其他阶段完全分离。多阶段 AI 工作流程模式支持以下内容：

  • 精细控制和错误处理

  • Plug-and-play 模型集成，例如在不触及编排的情况下更改 A mazon Bedrock 模型

  • 在充实和推理等任务之间明确区分关注点

  • 可重复性、可追溯性和合规性

参考架构按如下方式实现每个层：

  • 事件触发器-通过 Amazon S3 上传（例如 PDF 文件）、API 调用或计划任务启动 Step Functions 状态机。

  • 处理-用于AWS Lambda准备元数据、对文件类型进行分类和丰富输入（例如，检测文档语言）。

  • 推理 — 发生在多个阶段，例如 Amazon Textract 到 Amazon 分类器再到 A SageMaker mazon Bedrock 大型语言模型 (LLM) 摘要器，所有这些阶段都使用 Step Functions 链接在一起。

  • 后处理-使用 Lambda 来确定路由，例如发送给审阅者、上报到法律部门或自动批准。

  • 输出-将结果保存到 Amazon S3 或亚马逊 OpenSearch 服务中的索引。向 Amazon 发送审计事件以 EventBridge进行日志记录和提醒。

一家法律服务公司每天收到数百份不同格式的合同。他们需要提取和分类文档类型并识别风险条款。此外，他们必须汇总和索引文件以供检索，并根据风险评分和文件类型将其发送给律师。

针对此用例，多阶段 AI 工作流程解决方案遵循以下步骤：

  1. 上传 PDF 会触发亚马逊 S3 进入 Step F EventBridge unctions。

  2. Amazon Textract 从 PDF 中提取原始文本。

  3. 该 SageMaker 模型对文档类型进行了分类，例如保密协议 (NDA) 或主服务协议 (MSA)。

  4. Amazon Bedrock 会生成自然语言摘要和风险解释。

  5. Lambda 确定下一个操作，例如标记供审核或自动处理。

  6. 输出将记录到 Amazon S3 中。使用亚马逊简单通知服务 (Amazon SNS) Simple Notification Service 或。 EventBridge

为什么 Step Functions 非常适合多阶段人工智能工作流程

Step Functions 提供以下功能和优点：

  • 可视化工作流程生成器-可轻松映射和迭代业务逻辑

  • 内置重试和超时 — 优雅地处理下游模型故障

  • 并行执行 — 在推理模型中同时运行多个推理模型（例如，多语言翻译）

  • 动态分支 — 基于中间推理结果的路由

  • 可审计性 — 通过每个步骤的日志和指标，实现细粒度的监控和合规性

安全和治理最佳实践

为确保安全、可审计且与策略一致的 AI 管道，组织应遵循以下安全和治理最佳实践：

  • 按步骤使用 AWS Identity and Access Management (IAM) 在所有服务和 Lambda 函数中强制执行最低权限原则。

  • 将每个输入和输出记录到 Amazon Lo CloudWatch gs 或 Amazon S3 中，以实现可追溯性、调试和审计。

  • 集成AWS CloudTrail以捕获 API 级别的访问和调用历史记录，以进行合规性和取证分析。

  • 在各阶段之间应用架构验证，以确保数据完整性，防止注入或提示偏差，并减少故障传播。

多阶段 AI 工作流程模式的商业价值

多阶段 AI 工作流程模式在以下领域提供了价值：

  • 敏捷性-在不中断流程的情况下更新或重新排序步骤。

  • 可扩展性-通过无服务器架构根据文档量自动扩展。

  • 合规性-提供操作和 AI 决策 step-by-step的可追溯性。

  • 可维护性 — 提供模块化和团队一致的代码库。（将 AI 逻辑与策略逻辑分开，允许独立管理动态模型行为和确定性业务规则，从而提高可维护性。 这种方法可以降低风险并使团队所有权更加明确。）

  • 集成- APIs 无需耦合即可实现传统机器学习和外部机器学习的组合。 LLMs

多阶段 AI 工作流程模式为组织提供了一种结构化、可扩展的方式来组装复杂的 AI 管道，其基础是无服务器原则和最佳运营实践。

这种模式为构建企业级、人工智能增强型工作流程提供了基础，这些工作流程既安全、可观察又易于随着时间的推移而发展。它支持各种用例，从摄取文档和自动化入职到分析风险和撰写来自多个模型的上下文输出。