View a markdown version of this page

事件数据集 - Amazon Fraud Detector
事件数据集结构使用数据模型资源管理器获取事件数据集要求收集事件数据数据集验证数据集存储

自2025年11月7日起，亚马逊欺诈探测器不再向新客户开放。要了解与亚马逊欺诈检测器类似的功能，请浏览亚马逊 SageMaker AutoGluon、和 AWS WAF。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

事件数据集

事件数据集是贵公司的历史欺诈数据。您将这些数据提供给 Amazon Fraud Detector 以创建欺诈检测模型。

亚马逊欺诈探测器使用机器学习模型生成欺诈预测。每个模型都使用一种模型类型进行训练。模型类型指定用于训练模型的算法和转换。模型训练是使用您提供的数据集来创建可以预测欺诈事件的模型的过程。有关更多信息，请参阅亚马逊欺诈探测器的工作原理

用于创建欺诈检测模型的数据集提供了事件的详细信息。事件是对欺诈风险进行评估的业务活动。例如，账户注册可以是一项活动。与账户注册事件相关的数据可以是事件数据集。亚马逊欺诈探测器使用此数据集来评估账户注册欺诈。

在向 Amazon Fraud Detector 提供数据集以创建模型之前，请务必定义创建模型的目标。您还需要确定要如何使用该模型，并根据您的特定要求定义用于评估模型性能的指标。

例如，创建用于评估账户注册欺诈的欺诈检测模型的目标可能如下：

  • 自动批准合法注册。

  • 捕获欺诈性注册以供日后调查。

确定目标后，下一步是决定如何使用模型。以下是使用欺诈检测模型评估注册欺诈的一些示例：

  • 用于对每个账户注册进行实时欺诈检测。

  • 用于每小时对所有账户注册进行离线评估。

可用于衡量模型性能的一些指标示例包括：

  • 在生产环境中，性能一直优于当前的基准。

  • 捕获 X% 的欺诈注册，误报率为 Y%。

  • 接受高达 5% 的自动批准的欺诈性注册。

事件数据集结构

Amazon Fraud Detector 要求您使用逗号分隔值 (CSV) 格式在文本文件中提供事件数据集。 UTF-8 您的 CSV 数据集文件的第一行必须包含文件标题。文件头由事件元数据和事件变量组成，这些变量描述了与事件相关的每个数据元素。标题后面是事件数据。每行都由来自单个事件的数据元素组成。

  • 事件元数据 -提供有关事件的信息。例如，EVENT_TIMESTAMP 是一个事件元数据，用于指定事件发生的时间。根据您的业务用例以及用于创建和训练欺诈检测模型的模型类型，Amazon Fraud Detector 要求您提供特定的事件元数据。在 CSV 文件标题中指定事件元数据时，使用与 Amazon Fraud Detector 指定的相同的事件元数据名称，并且仅使用大写字母。

  • 事件变量 -表示特定于您的事件的数据元素，您要使用这些元素来创建和训练欺诈检测模型。根据您的业务用例以及用于创建和训练欺诈检测模型的模型类型，Amazon Fraud Detector 可能会要求或建议您提供特定的事件变量。您还可以选择提供事件中的其他事件变量，以便将其包含在模型训练中。在线注册活动的事件变量的一些示例可以是电子邮件地址、IP 地址和电话号码。在 CSV 文件标题中指定事件变量名称时，使用您选择的任何变量名称，并且仅使用小写字母。

  • 事件数据 -代表从实际事件中收集的数据。在您的 CSV 文件中，文件标题后的每一行都由来自单个事件的数据元素组成。例如，在在线注册事件数据文件中，每行都包含来自单个注册的数据。行中的每个数据元素都必须与相应的事件元数据或事件变量相匹配。

以下是包含账户注册事件数据的 CSV 文件示例。标题行包含大写的事件元数据和小写的事件变量，后面是事件数据。数据集中的每一行都包含与单一账户注册相关的数据元素，每个数据元素与标题对应。

CSV 文件，标题行显示事件元数据和变量，然后是事件数据行。

使用数据模型资源管理器获取事件数据集要求

您选择创建模型的模型类型定义了数据集的要求。Amazon Fraud Detector 使用您提供的数据集来创建和训练您的欺诈检测模型。在 Amazon Fraud Detector 开始创建您的模型之前，它会检查数据集是否符合大小、格式和其他要求。如果数据集不符合要求，则模型创建和训练将失败。您可以使用数据模型浏览器来确定用于业务用例的模型类型，并深入了解已识别模型类型的数据集要求。

数据模型浏览器

数据模型浏览器是亚马逊欺诈检测器控制台中的一个工具，它使您的业务用例与亚马逊欺诈检测器支持的模型类型保持一致。数据模型浏览器还提供对 Amazon Fraud Detector 创建欺诈检测模型所需的数据元素的见解。在开始准备事件数据集之前，使用数据模型浏览器来确定 Amazon Fraud Detector 为您的企业推荐的模型类型，并查看创建数据集所需的必需、推荐和可选数据元素列表。

要使用数据模型浏览器，

  1. 打开 AWS 管理控制台，登录您的账户。导航到亚马逊欺诈探测器。

  2. 在左侧导航窗格中，选择数据模型资源管理器。

  3. 在数据模型浏览器页面的业务用例下，选择要评估欺诈风险的业务用例。

  4. Amazon Fraud Detector 会显示与您的企业用例相匹配的推荐型号类型。模型类型定义了 Amazon Fraud Detector 将用来训练您的欺诈检测模型的算法、丰富和转换。

    记下推荐的模型类型。稍后在创建模型时将需要它。

    注意

    如果您找不到您的业务用例，请使用描述中的 “联系我们” 链接向我们提供您的业务用例的详细信息。我们将推荐模型类型，用于为您的业务用例创建欺诈检测模型。

  5. 数据模型见解窗格可深入了解为业务用例创建和训练欺诈检测模型所需的必需、推荐和可选数据元素。使用见解窗格中的信息来收集您的事件数据并创建数据集。

收集事件数据

收集事件数据是创建模型的重要步骤。这是因为您的模型在预测欺诈方面的表现取决于数据集的质量。当您开始收集事件数据时，请记住数据模型浏览器为您创建数据集而提供的数据元素列表。您将需要收集所有必需（事件元数据）数据，并根据创建模型的目标决定要包括哪些推荐和可选的数据元素（事件变量）。确定要包含的每个事件变量的格式以及数据集的总大小也很重要。

事件数据集质量

要为您的模型收集高质量的数据集，我们建议您采取以下措施：

  • 收集成熟数据- 使用最新数据有助于识别最新的欺诈模式。但是，要检测欺诈用例，请让数据成熟。到期期限取决于您的业务，可能需要两周到三个月的时间。例如，如果您的活动包括信用卡交易，则数据的到期时间可能由信用卡的拒付期限或调查人员做出决定所花费的时间来确定。

    确保用于训练模型的数据集有足够的时间来适应您的业务需求。

  • 确保数据分布不会出现明显偏差—— 亚马逊欺诈检测器模型训练过程采样并根据 EVENT_TIMESTAMP 对数据集进行分区。例如，如果您的数据集包含从过去 6 个月中提取的欺诈事件，但仅包括最后一个月的合法事件，则数据分布被视为偏差且不稳定。不稳定的数据集可能会导致模型性能评估出现偏差。如果您发现数据分布存在明显偏差，可以考虑通过收集与当前数据分布类似的数据来平衡数据集。

  • 确保数据集代表模型所在的用例 implemented/tested- 否则，估计的性能可能会有偏差。假设您正在使用模型自动拒绝所有入境申请人，但是您的模型是使用具有先前批准的历史数据集进行训练 data/labels 的。然后，您的模型的评估可能不准确，因为评估基于的数据集，而该数据集没有来自被拒绝的申请人的代表。

事件数据格式

作为模型训练过程的一部分，Amazon Fraud Detector 会将您的大部分数据转换为所需的格式。但是，您可以轻松使用一些标准格式来提供数据，这有助于避免以后在 Amazon Fraud Detector 验证您的数据集时出现问题。下表提供了有关提供推荐事件元数据的格式的指导。

注意

创建 CSV 文件时，请务必使用大写字母输入如下所列的事件元数据名称。

元数据名称 Format 必填

事件 ID

如果提供，则必须满足以下要求：

  • 这对于该活动来说是独一无二的。

  • 它代表了对您的业务有意义的信息。

  • 它遵循正则表达式模式（例如，^[0-9a-z_-]+$.)

  • 除上述要求外，我们建议您不要在 EVENT_ID 上附加时间戳。更新事件时，这样做可能会导致问题。这是因为如果这样做，则必须提供完全相同的 EVENT_ID。

取决于模型类型

事件时间戳

  • 必须使用以下格式之一进行指定：

    • %yyyy-%mm-%ddt%HH: %mm: %ssZ（仅限 UTC 中的 ISO 8601 标准，没有毫秒）

      示例：2019-11-30 T13:01:01Z

    • %yyy/%mm/%dd %hh: %mm: %ss () AM/PM

      示例： 2019/11/30 1:01:01 PM，或 /30 13:01:01 2019/11

    • %mm/%dd/%yyy %hh: %mm: %ss

      示例： 11/30/2019 下午 1:01:01，/2019 13:01:01 11/30

    • %mm/%dd/%yy %hh: %mm: %ss

      示例： 11/30/19 1:01:01 PM，/19 13:01:01 11/30

  • Amazon Fraud Detector 在解析事件时间戳的 date/timestamp 格式时会做出以下假设：

    • 如果您使用的是 ISO 8601 标准，则该标准必须与前面的规格完全匹配

    • 如果您使用其他格式之一，则还有额外的灵活性：

      • 对于月和日，您可以提供个位数或两位数。例如， 1/12/2019 是一个有效日期。

      • 如果没有，则无需包括 hh: mm: ss（也就是说，您可以简单地提供日期）。您也可以仅提供小时和分钟的子集（例如，hh: mm）。不支持仅提供工时。也不支持毫秒。

      • 如果您提供 AM/PM 标签，则假定时钟为 12 小时。如果没有 AM/PM 信息，则假定为24小时。

      • 您可以使用 “/” 或 “-” 作为日期元素的分隔符。假定时间戳元素为 “:”。

是

ENTITY_ID

  • 它必须遵循正则表达式模式:^[0-9A-Za-z_.@+-]+$.

  • 如果实体 ID 在评估时不可用，请将实体 ID 指定为未知。

取决于模型类型

实体类型

 你可以使用任何字符串

取决于模型类型

事件标签

您可以使用任何标签，例如 “欺诈”、“合法”、“1” 或 “0”。

如果包含 LABEL_TIMESTAMP，则为必填项

LABEL_TIMESTAMP

它必须遵循时间戳格式。

如果包括 EVENT_LABEL 则为必填

有关事件变量的信息，请参阅变量。

重要

如果您正在创建账户收购洞察 (ATI) 模型，准备数据请参阅，了解有关准备和选择数据的详细信息。

空值或缺失值

EVENT_TIMESTAMP 和 EVENT_LABEL 变量不得包含任何空值或缺失值。其他变量的值可以为空值或缺失值。但是，我们建议您仅对这些变量使用少量空值。如果 Amazon Fraud Detector 确定事件变量的空值或缺失值过多，它将自动从您的模型中省略变量。

最小变量

创建模型时，除了所需的事件元数据外，数据集还必须包含至少两个事件变量。这两个事件变量必须通过验证检查。

事件数据集大小

必填

您的数据集必须满足以下基本要求才能成功进行模型训练。

  • 来自至少 100 个事件的数据。

  • 数据集必须包含至少 50 个归类为欺诈的事件（行）。

推荐

为了成功进行模型训练和获得良好的模型性能，我们建议您的数据集包含以下内容。

  • 包括至少三周的历史数据，但最多包括六个月的数据。

  • 包括至少 1 万个事件数据。

  • 包括至少 400 个归类为欺诈的事件（行）和归类为合法的 400 个事件（行）。

  • 如果您的模型类型需要 ENTITY_ID，则包含 100 多个唯一实体。

数据集验证

在 Amazon Fraud Detector 开始创建您的模型之前，它会检查数据集中包含的用于训练模型的变量是否符合大小、格式和其他要求。如果数据集未通过验证，则不会创建模型。在创建模型之前，必须先修复未通过验证的变量。Amazon Fraud Detector 为您提供了一个数据分析器，在开始训练模型之前，您可以使用它来帮助您识别和修复数据集的问题

数据分析器

Amazon Fraud Detector 提供了一种开源工具，用于分析和准备数据以进行模型训练。这种自动数据分析器可帮助您避免常见的数据准备错误，并识别潜在的问题，例如变量类型映射错误，这些问题会对模型性能产生负面影响。分析器生成直观而全面的数据集报告，包括变量统计数据、标签分布、类别和数值分析以及变量和标签相关性。它提供了有关变量类型的指导，并提供了将数据集转换为 Amazon Fraud Detector 所需的格式的选项。

使用数据分析器

自动数据分析器使用 AWS CloudFormation 堆栈构建，您只需点击几下即可轻松启动堆栈。所有代码都可以在 Github上找到。有关如何使用数据分析器的信息，请按照我们博客中的说明使用亚马逊欺诈探测器的自动数据分析器更快地训练模型

常见的事件数据集错误

以下是 Amazon Fraud Detector 在验证事件数据集时遇到的一些常见问题。运行数据分析器后，在创建模型之前，使用此列表检查数据集是否存在错误。

  • CSV 文件的 UTF-8 格式不正确。

  • 数据集中的事件数小于 100。

  • 被认定为欺诈或合法的事件数量少于 50 起。

  • 与欺诈事件相关的独特实体数量少于 100 个。

  • 在 EVENT_TIMESTAMP 中，超过 0.1% 的值包含空值或非支持格式的值。 date/timestamp

  • EVENT_LABEL 中超过 1% 的值包含空值或事件类型中定义的值以外的值。

  • 可用于模型训练的变量少于两个。

数据集存储

收集数据集后，您可以使用亚马逊欺诈检测器在内部存储数据集，或使用亚马逊简单存储服务 (Amazon S3) 在外部存储数据集。我们建议您根据用于生成欺诈预测的模型选择数据集的存储位置。有关模型类型的更多信息，请参阅选择模型类型。有关存储数据集的更多信息，请参阅事件数据存储。