本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。 # 了解 3D-2D 点云对象跟踪任务类型 如果您希望工作人员将 3D 点云注释与 2D 图像注释关联起来，并在各种摄像机之间链接 2D 图像注释，请使用此任务类型。目前，Ground Truth 支持在 3D 点云中使用长方体进行注释，在 2D 视频中使用边界框进行注释。例如，您可以使用此任务类型要求工作人员将车辆在 3D 点云中的移动与其 2D 视频关联起来。使用 3D-2D 链接，您可以轻松地将多达 8 个摄像机的点云数据（如长方体的距离）与视频数据（边界框）关联起来。 Ground Truth 为工作人员提供了使用相同的注释用户界面在 3D 点云中注释长方体和最多 8 个摄像机中的边界框的工具。工作人员还可以跨不同的摄像机链接同一对象的各种边界框。例如，可以将 camera1 中的边界框链接到 camera2 中的边界框。这允许您使用唯一的 ID 在多个摄像机之间关联一个对象。 **注意** 目前， SageMaker AI 不支持使用控制台创建 3D-2D 关联作业。要使用 SageMaker API 创建 3D-2D 链接作业，请参阅。[创建标注作业 (API)](sms-3d-2d-point-cloud-object-tracking-create-labeling-job.md#sms-point-cloud-3d-2d-object-tracking-create-labeling-job-api) 以下主题将介绍如何创建 3D-2D 点云对象跟踪标注作业，展示工作人员任务界面的外观（工作人员执行任务时出现的内容），并概述工作人员完成任务后获得的输出数据。 **Topics** + [创建 3D-2D 点云对象跟踪标注作业](sms-3d-2d-point-cloud-object-tracking-create-labeling-job.md) + [查看 3D-2D 对象跟踪标注作业的工作人员任务界面](sms-point-cloud-3d-2d-object-tracking-worker-ui.md) + [3D-2D 对象跟踪标注作业的输出数据](sms-point-cloud-3d-2d-object-tracking-output-data.md) # 创建 3D-2D 点云对象跟踪标注作业 您可以使用 SageMaker API 操作创建 3D-2D 点云标注作业。[https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateLabelingJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateLabelingJob.html)要为该任务类型创建标注作业，您需要具有以下内容： + 来自私有或供应商人力的工作团队。您无法将 Amazon Mechanical Turk 用于 3D 点云标注作业。要了解如何创建人力和工作团队，请参阅[人力](sms-workforce-management.md)。 + 在 Amazon S3 控制台中，将 CORS 策略添加到包含输入数据的 S3 存储桶。在 S3 控制台中，要在包含输入图像的 S3 存储桶上设置所需的 CORS 标头，请按照 [CORS 权限要求](https://docs.aws.amazon.com/sagemaker/latest/dg/sms-cors-update.html)中的详细说明进行操作。 + 此外，请确保您已查阅[分配 IAM 权限以使用 Ground Truth](sms-security-permission.md)并满足相应的要求。 要了解如何使用 API 创建标注作业，请参阅以下几节。 ## 创建标注作业 (API) 本节介绍使用 SageMaker API 操作创建 3D-2D 对象跟踪标签作业时需要了解的详细信息。`CreateLabelingJob`此 API 为所有人定义了此操作 AWS SDKs。要查看此操作 SDKs 支持的特定语言列表，请查看的 “**另请参阅**” 部分。[https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateLabelingJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateLabelingJob.html) [创建标注作业 (API)](sms-create-labeling-job-api.md)概述了 `CreateLabelingJob` 操作。请按照这些说明进行操作，并在配置请求时执行以下操作： + 您必须为 `HumanTaskUiArn` 输入一个 ARN。使用 `arn:aws:sagemaker::394669845002:human-task-ui/PointCloudObjectTracking`。将 `` 替换为您在其中创建标注作业的 AWS 区域。 不应具有 `UiTemplateS3Uri` 参数的条目。 + [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateLabelingJob.html#sagemaker-CreateLabelingJob-request-LabelAttributeName](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateLabelingJob.html#sagemaker-CreateLabelingJob-request-LabelAttributeName) 必须以 `-ref` 结尾。例如 `ot-labels-ref`。 + 输入清单文件必须是点云帧序列清单文件。有关更多信息，请参阅 [创建点云序列输入清单](sms-point-cloud-multi-frame-input-data.md)。您还需要提供如上所述的标签类别配置文件。 + 您需要为预注解和后标注 ( ARNs ACS) Lambda 函数提供预定义的。 ARNs 它们特定于您用于创建标签任务的 AWS 区域。 + 要查找注释前 Lambda ARN，请参考 [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_HumanTaskConfig.html#sagemaker-Type-HumanTaskConfig-PreHumanTaskLambdaArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_HumanTaskConfig.html#sagemaker-Type-HumanTaskConfig-PreHumanTaskLambdaArn)。请使用您在其中创建标注作业的区域以查找以 `PRE-3DPointCloudObjectTracking` 结尾的正确 ARN。 + 要查找注释后 Lambda ARN，请参考 [https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AnnotationConsolidationConfig.html#sagemaker-Type-AnnotationConsolidationConfig-AnnotationConsolidationLambdaArn](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_AnnotationConsolidationConfig.html#sagemaker-Type-AnnotationConsolidationConfig-AnnotationConsolidationLambdaArn)。请使用您在其中创建标注作业的区域以查找以 `ACS-3DPointCloudObjectTracking` 结尾的正确 ARN。 + `NumberOfHumanWorkersPerDataObject` 中指定的工作人员数应该为 `1`。 + 3D 点云标注作业不支持自动数据标注。您不应在 `[LabelingJobAlgorithmsConfig](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateLabelingJob.html#sagemaker-CreateLabelingJob-request-LabelingJobAlgorithmsConfig)` 中指定参数值。 + 3D-2D 对象跟踪标注作业可能需要几小时才能完成。您可以在 `TaskTimeLimitInSeconds` 中为这些标注作业指定更长的时间限制（最多 7 天或 604800 秒）。 **注意** 成功创建 3D-2D 对象跟踪作业后，它会显示在控制台上的标注作业下方。作业的任务类型显示为**点云对象跟踪**。 ## 输入数据格式 您可以使用 SageMaker API 操作创建 3D-2D 对象跟踪作业。[https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateLabelingJob.html](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_CreateLabelingJob.html)要为该任务类型创建标注作业，您需要具有以下内容： + 序列输入清单文件。要了解如何创建这种类型的清单文件，请参阅[创建点云序列输入清单](sms-point-cloud-multi-frame-input-data.md)。如果您是 Ground Truth 3D 点云标注模式的新用户，我们建议您查阅 [接受的原始 3D 数据格式](sms-point-cloud-raw-data-types.md)。 + 您可以在标签类别配置文件中指定标签、标签类别和帧属性以及工作人员说明。有关更多信息，请参阅[创建包含标签类别和帧属性的标签类别配置文件](https://docs.aws.amazon.com/sagemaker/latest/dg/sms-label-cat-config-attributes.html)以了解如何创建此文件。以下示例显示了用于创建 3D-2D 对象跟踪作业的标签类别配置文件。 ``` { "document-version": "2020-03-01", "categoryGlobalAttributes": [ { "name": "Occlusion", "description": "global attribute that applies to all label categories", "type": "string", "enum":[ "Partial", "Full" ] } ], "labels":[ { "label": "Car", "attributes": [ { "name": "Type", "type": "string", "enum": [ "SUV", "Sedan" ] } ] }, { "label": "Bus", "attributes": [ { "name": "Size", "type": "string", "enum": [ "Large", "Medium", "Small" ] } ] } ], "instructions": { "shortIntroduction": "Draw a tight cuboid around objects after you select a category.", "fullIntroduction": "

Use this area to add more detailed worker instructions.

" }, "annotationType": [ { "type": "BoundingBox" }, { "type": "Cuboid" } ] } ``` **注意** 您需要在标签类别配置文件中提供 `BoundingBox` 和 `Cuboid` 作为 annotationType，以创建 3D-2D 对象跟踪作业。 # 查看 3D-2D 对象跟踪标注作业的工作人员任务界面 Ground Truth 为工作人员提供了 Web 门户和工具以完成 3D-2D 对象跟踪注释任务。在创建标注作业时，您可以在 `HumanTaskUiArn` 参数中为预构建的 Ground Truth UI 提供 Amazon 资源名称 (ARN)。要在使用 API 为此任务类型创建标注作业时使用 UI，您需要提供 `HumanTaskUiArn`。通过 API 创建标注作业时，您可以预览该工作人员 UI 并与之交互。注释工具是工作人员任务界面的一部分。它们不适用于预览界面。下图演示了用于 3D-2D 点云对象跟踪注释任务的工作人员任务界面。 ![\[用于 3D-2D 点云对象跟踪注释任务的工作人员任务界面。\]](http://docs.aws.amazon.com/zh_cn/sagemaker/latest/dg/images/sms-sensor-fusion.png) 默认情况下启用插值。在工作人员添加一个长方体后，将在序列中具有相同 ID 的所有帧中复制该长方体。如果工作人员在另一个帧中调整长方体，Ground Truth 将插入该对象的移动信息，并在手动调整的帧之间调整所有长方体。此外，使用摄像机视图部分，还可以用投影显示一个长方体（在摄像机视图中使用 B 按钮“切换标签”），为工作人员提供摄像机图像的参考。长方体对图像投影的精度是基于在外在和内在数据中捕获的校准精度。 如果您提供用于传感器融合的摄像机数据，图像将与点云帧中的场景进行匹配。请注意，摄像机数据应与点云数据保持时间同步，以确保将点云准确地描绘到序列中每一帧的影像，如下图所示。 ![\[清单文件、包含点云数据和摄像机数据的工作人员门户。\]](http://docs.aws.amazon.com/zh_cn/sagemaker/latest/dg/images/3d_2d_link_ss.png) 清单文件包含外在和内在数据以及姿势，以便使用 **P 按钮**显示摄像机图像上的长方体投影。 工作人员可以使用键盘和鼠标以在 3D 场景中导航。他们可以： + 双击点云中的特定对象以将其放大。 + 使用鼠标滚轮或触控板以放大和缩小点云。 + 同时使用键盘箭头键和 Q、E、A 和 D 键以向上、向下、向左和向右移动。使用键盘 W 和 S 键以放大和缩小。 在工作人员将长方体放置在 3D 场景后，将显示侧视图，其中具有三个投影的侧视图：俯视图、侧视图和前视图。这些侧视图显示放置的长方体内部和周围的点，有助于工作人员优化该区域中的长方体边界。工作人员可以使用鼠标以放大和缩小每个侧视图。 工作人员应首先选择长方体，以便在任何摄像机视图上绘制相应的边界框。这会将长方体和边界框与通用名称和唯一 ID 联系起来。 工作人员也可以先绘制一个边界框，将其选中，然后绘制相应的长方体来链接它们。 可以使用其他视图选项和功能。有关工作人员 UI 的全面概述，请参阅[工作人员说明页面](https://docs.aws.amazon.com/sagemaker/latest/dg/sms-point-cloud-worker-instructions-object-tracking.html)。 ## 工作人员工具 工作人员可以通过以下方法浏览 3D 点云：使用鼠标和键盘快捷键放大和缩小以及在云中的所有方向上移动。如果工作人员单击点云中的一个点，UI 将自动放大到该区域。工作人员可以使用不同的工具在对象周围绘制 3D 长方体。有关更多信息，请参阅以下讨论中的**辅助标注工具**。 在工作人员将 3D 长方体放置在点云后，他们可以使用多种视图调整这些长方体以紧靠汽车周围：直接在 3D 点云中，在框周围具有三个放大点云透视图的侧视图中以及直接在 2D 图像中（如果包含用于传感器融合的图像）。 其他视图选项使工作人员能够轻松隐藏或查看标签文本、地面网格以及其他点属性。工作人员还可以在透视投影和正交投影之间进行选择。 **辅助标注工具** Ground Truth 使用 UX、机器学习和计算机视觉驱动的辅助标注工具执行 3D 点云对象跟踪任务，以协助工作人员快速准确地注释 3D 点云。以下辅助标注工具可用于该任务类型： + **标签自动填充** – 当工作人员将长方体添加到帧中时，具有相同尺寸、方向和 xyz 位置的长方体将自动添加到序列中的所有帧中。 + **标签插值** – 在工作人员在两个帧中标注单个对象后，Ground Truth 使用这些注释在所有帧之间插入该对象的移动信息。可以打开或关闭标签插值。默认处于启用状态。例如，如果处理 5 个帧的工作人员在第 2 帧中添加了一个长方体，则该长方体会复制到所有 5 个帧中。如果工作人员随后在第 4 帧中进行调整，则第 2 帧和第 4 帧现在充当两个点，通过这两个点拟合一条线。然后在第 1、3 和 5 帧中对长方体进行插值。 + **批量标签和属性管理** – 工作人员可以批量添加、删除和重命名注释、标签类别属性和帧属性。 + 工作人员可以在帧前后或所有帧中手动删除给定对象的注释。例如，如果某个对象不再位于第 10 帧后面的场景中，工作人员可以在该帧后面删除该对象的所有标签。 + 如果工作人员不小心批量删除了对象的所有注释，他们可以重新添加这些注释。例如，如果工作人员在第 100 帧前面删除对象的所有注释，他们可以将其批量添加到这些帧中。 + 工作人员可以在一个帧中重命名标签，并在所有帧中使用新名称更新分配了该标签的所有 3D 长方体。 + 工作人员可以使用批量编辑功能在多个帧中添加或编辑标签类别属性和帧属性。 + **贴靠** – 工作人员可以在对象周围添加一个长方体，并使用键盘快捷键或菜单选项让 Ground Truth 的自动适合工具将长方体紧靠对象边界周围。 + **贴靠到地面** – 在工作人员将长方体添加到 3D 场景后，工作人员可以自动将长方体贴靠到地面上。例如，工作人员可以使用该功能将长方体贴靠到场景中的道路或人行道。 + **多视图标注** – 在工作人员将 3D 长方体添加到 3D 场景后，侧面板将显示前面和两个侧面透视图，以便于工作人员调整紧靠对象周围的长方体。工作人员可以注释 3D 点云，侧面板和调整内容将实时显示在另一个视图中。 + **传感器融合** – 如果您提供用于传感器融合的数据，工作人员可以在 3D 场景和 2D 图像中调整注释，注释将实时投影到另一个视图中。要了解有关传感器融合数据的更多信息，请参阅[了解坐标系和传感器融合](https://docs.aws.amazon.com/sagemaker/latest/dg/sms-point-cloud-sensor-fusion-details.html#sms-point-cloud-sensor-fusion)。 + **自动合并长方体** – 如果工作人员确定两个具有不同标签的长方体实际表示一个对象，他们可以在所有帧中自动合并这些长方体。 + **视图选项** – 使工作人员能够轻松隐藏或查看标签文本、地面网格以及其他点属性，例如颜色或强度。工作人员还可以在透视投影和正交投影之间进行选择。 # 3D-2D 对象跟踪标注作业的输出数据 在创建 3D-2D 对象跟踪标注作业时，任务将发送给工作人员。在这些工作人员完成其任务时，其注释写入到在创建标注作业时指定的 Amazon S3 存储桶中。输出数据格式决定了当标签任务状态 ([LabelingJobStatus](https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_DescribeLabelingJob.html#API_DescribeLabelingJob_ResponseSyntax)) 为时，您在 Amazon S3 存储桶中看到的内容`Completed`。 如果您是 Ground Truth 的新用户，请参阅[标注作业输出数据](sms-data-output.md)以了解有关 Ground Truth 输出数据格式的更多信息。要了解 3D-2D 点云对象跟踪输出数据格式，请参阅[3D-2D 对象跟踪点云对象跟踪输出](sms-data-output.md#sms-output-3d-2d-point-cloud-object-tracking)。