Amazon SNS メッセージで重複排除キーと ID を指定する

Amazon SNS メッセージを使用してストリーミングラベル付けジョブにデータオブジェクトを送信する場合、次のいずれかの方法で重複排除キーと重複排除 ID を指定できます。これらのすべてのシナリオで、dataset-objectid-attribute-name で重複排除キーを識別します。

独自の重複排除キーと ID を用意する

Amazon SNS メッセージを次のように設定して、独自の重複排除キーと重複排除 ID を作成します。byo-key を独自のキーと、そのデータオブジェクトの重複排除 ID の UniqueId に置き換えます。

{
    "source-ref":"s3://amzn-s3-demo-bucket/prefix/object1", 
    "dataset-objectid-attribute-name":"byo-key",
    "byo-key":"UniqueId" 
}

重複排除キーは最大 140 文字にできます。サポートされるパターンには、"^[$a-zA-Z0-9](-*[a-zA-Z0-9])*" が含まれます。

重複排除 ID は最大 1,024 文字にできます。サポートされるパターンには、^(https|s3)://([^/]+)/?(.*)$ が含まれます。

重複排除キーに既存のキーを使用する

メッセージ内の既存のキーを重複排除キーとして使用できます。これを行うと、そのキーに関連付けられた値が重複排除 ID に使用されます。

例えば、メッセージを次のようにフォーマットすることで、重複排除キーとして source-ref キーを使用するように指定できます。

{
    "source-ref":"s3://amzn-s3-demo-bucket/prefix/object1",
    "dataset-objectid-attribute-name":"source-ref" 
}

この例では、Ground Truth は "s3://amzn-s3-demo-bucket/prefix/object1" を重複排除 ID に使用します。