Tenere traccia degli oggetti nei frame video utilizzando il tracciamento degli oggetti in frame video

È possibile utilizzare il tipo di attività di monitoraggio di oggetti con fotogrammi video per consentire ai worker di identificare il movimento di oggetti in una sequenza di fotogrammi video (immagini estratte da un video) utilizzando riquadri di delimitazione, polilinee, poligoni o strumenti di annotazione dei punti chiave. Lo strumento scelto definisce il tipo di attività relativo ai fotogrammi video da creare. Ad esempio, puoi utilizzare un riquadro di delimitazione per il tipo di attività di monitoraggio di oggetti con fotogramma video per chiedere ai worker di rilevare il movimento di oggetti, come auto, biciclette e pedoni, disegnando dei riquadri attorno ad essi.

Fornisci un elenco di categorie e ogni annotazione che un worker aggiunge a un fotogramma video viene identificata come un'istanza di quella categoria utilizzando un ID istanza. Ad esempio, se fornisci la categoria di etichetta “automobile”, la prima automobile annotata da un worker avrà l'ID istanza automobile:1. La seconda automobile annotata dal worker avrà l'ID istanza automobile:2. Per monitorare il movimento di un oggetto, il worker aggiunge annotazioni associate allo stesso ID istanza all'oggetto in tutti i fotogrammi.

Puoi creare un processo di etichettatura per il tracciamento di oggetti in frame video utilizzando la console di Amazon SageMaker AI Ground Truth, l’API SageMaker e gli AWS SDK specifici per linguaggio. Per ulteriori informazioni, consulta Creazione di un processo di etichettatura per il rilevamento di oggetti con fotogrammi video e seleziona il tuo metodo preferito. Consulta Tipi di attività per saperne di più sugli strumenti di annotazione tra cui scegliere quando crei un processo di etichettatura.

Ground Truth fornisce un'interfaccia utente di worker e gli strumenti necessari per completare le attività dei processi di etichettatura: Anteprima dell'interfaccia utente del worker.

Puoi creare un processo per adattare le annotazioni create in un processo di etichettatura di rilevamento di oggetti video utilizzando il tipo di attività di regolazione del rilevamento di oggetti video. Per ulteriori informazioni, consulta Creazione di un processo di regolazione del rilevamento di oggetti del fotogramma video o di etichettatura di verifica.

Anteprima dell'interfaccia utente dei worker

Ground Truth offre ai worker un'interfaccia utente Web (UI) per completare le attività di annotazione di oggetti di monitoraggio di oggetti di fotogrammi video. Puoi visualizzare in anteprima e interagire con l'interfaccia utente del worker quando crei un processo di etichettatura nella console. Se sei un nuovo utente, ti consigliamo di creare un processo di etichettatura tramite la console utilizzando un piccolo set di dati di input per visualizzare in anteprima l'interfaccia utente dei worker e assicurarti che i fotogrammi video, le etichette e gli attributi delle etichette appaiano correttamente.

L'interfaccia utente fornisce ai worker i seguenti strumenti di etichettatura ausiliari, per completare le attività di monitoraggio di oggetti:

Il video seguente mostra come un worker potrebbe utilizzare l'interfaccia utente con lo strumento riquadro di delimitazione per completare le attività di monitoraggio di oggetti.

Creazione di un processo di etichettatura per il monitoraggio di oggetti con fotogrammi video

È possibile creare un processo di etichettatura per il tracciamento di oggetti in frame video utilizzando la console SageMaker AI o l’operazione API CreateLabelingJob.

Questa sezione presuppone che tu abbia esaminato Riferimento per i processi di etichettatura in frame video e scelto il tipo di dati di input e la connessione al set di dati di input che stai utilizzando.

Creare un processo di etichettatura (console)

Per imparare a creare un processo di tracciamento di oggetti in frame video nella console SageMaker AI, puoi seguire le istruzioni riportate in Creare un processo di etichettatura (console). Nella fase 10, scegli Video - Monitoraggio di oggetti dal menu a discesa della categoria Attività. Seleziona il tipo di attività che desideri selezionando una delle schede in Selezione attività.

Creare un processo di etichettatura (API)

È possibile creare un processo di etichettatura di monitoraggio di oggetti utilizzando l'operazione API SageMaker CreateLabelingJob. Questa API definisce l'operazione per tutti gli SDK AWS. Per visualizzare l'elenco degli SDK specifici del linguaggio supportati per questa operazione, consulta la sezione See Also di CreateLabelingJob.

Creare un processo di etichettatura (API) fornisce una panoramica dell'operazione CreateLabelingJob. Segui queste istruzioni ed effettua le seguenti operazioni durante la configurazione della richiesta:

Di seguito è riportato un esempio di richiesta AWS Python SDK (Boto3) per creare un processo di etichettatura nella Regione Stati Uniti orientali (Virginia settentrionale).

response = client.create_labeling_job(
    LabelingJobName='example-video-ot-labeling-job,
    LabelAttributeName='label',
    InputConfig={
        'DataSource': {
            'S3DataSource': {
                'ManifestS3Uri': 's3://amzn-s3-demo-bucket/path/video-frame-sequence-input-manifest.json'
            }
        },
        'DataAttributes': {
            'ContentClassifiers': [
                'FreeOfPersonallyIdentifiableInformation'|'FreeOfAdultContent',
            ]
        }
    },
    OutputConfig={
        'S3OutputPath': 's3://amzn-s3-demo-bucket/prefix/file-to-store-output-data',
        'KmsKeyId': 'string'
    },
    RoleArn='arn:aws:iam::*:role/*,
    LabelCategoryConfigS3Uri='s3://bucket/prefix/label-categories.json',
    StoppingConditions={
        'MaxHumanLabeledObjectCount': 123,
        'MaxPercentageOfInputDatasetLabeled': 123
    },
    HumanTaskConfig={
        'WorkteamArn': 'arn:aws:sagemaker:us-east-1:*:workteam/private-crowd/*',
        'UiConfig': {
            'HumanTaskUiArn: 'arn:aws:sagemaker:us-east-1:394669845002:human-task-ui/VideoObjectTracking'
        },
        'PreHumanTaskLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:PRE-VideoObjectTracking',
        'TaskKeywords': [
            'Video Frame Object Tracking,
        ],
        'TaskTitle': 'Video frame object tracking task',
        'TaskDescription': Tracking the location of objects and people across video frames',
        'NumberOfHumanWorkersPerDataObject': 123,
        'TaskTimeLimitInSeconds': 123,
        'TaskAvailabilityLifetimeInSeconds': 123,
        'MaxConcurrentTaskCount': 123,
        'AnnotationConsolidationConfig': {
            'AnnotationConsolidationLambdaArn': 'arn:aws:lambda:us-east-1:432418664414:function:ACS-VideoObjectTracking'
        },
    Tags=[
        {
            'Key': 'string',
            'Value': 'string'
        },
    ]
)

Creazione di un processo di etichettatura di tracciamento o verifica del monitoraggio di oggetti con fotogrammi video

Puoi creare un processo di etichettatura di regolazione e di verifica dell'etichetta utilizzando la console Ground Truth o l'API CreateLabelingJob. Per ulteriori informazioni sui processi di etichettatura di regolazione e di etichettatura di verifica e per scoprire come crearne uno, consulta Verifica e aggiustamento delle etichette.

Formato dei dati di output

Quando crei un processo di etichettatura di monitoraggio di oggetti del fotogramma video, le attività vengono inviate ai worker. Quando questi worker completano le attività, le etichette vengono scritte nella posizione di uscita Amazon S3 specificata al momento della creazione del processo di etichettatura. Per informazioni sul formato dei dati di output del monitoraggio di oggetti del fotogramma video, consulta Output del monitoraggio di oggetti in un frame video. Se non hai familiarità con Ground Truth, consulta Etichettatura dei dati di output di un processo per ulteriori informazioni sul formato dei dati di output in Ground Truth.