비디오 이해 - Amazon Nova

비디오 이해

Amazon Nova 모델을 사용하면 base64 형식 또는 Amazon S3 URI를 통해 제공될 수 있는 페이로드에 단일 비디오를 포함할 수 있습니다. base64 메서드를 사용하는 경우 전체 페이로드 크기는 25MB 이내로 유지되어야 합니다. 그러나 비디오 이해를 위해 Amazon S3 URI를 지정할 수 있습니다. 이 접근 방식을 사용하면 전체 페이로드 크기 제한에 구애받지 않고 더 긴 비디오(최대 1GB 크기)에 이 모델을 활용할 수 있습니다. Amazon Nova 모델은 전달된 비디오를 분석하고 질문에 답변하고, 비디오를 분류하고, 제공된 지침에 따라 비디오의 정보를 요약할 수 있습니다.

미디어 파일 유형

지원되는 파일 형식

입력 방법

비디오

MP4, MOV, MKV, WebM, FLV, MPEG, MPG, WMV, 3GP

Base64

25MB 미만의 페이로드 크기에 권장됨

Amazon S3 URI

25MB 이상, 최대 2GB의 페이로드에 권장됨. 개별 파일은 1GB 이하여야 합니다.

비디오가 base64로 전달되는지(크기 제약 조건에 맞는 한) Amazon S3 로케이션을 통해 전달되는지에 관계없이 비디오 입력 토큰 수에는 차이가 없습니다.

3GP 파일 형식의 경우 API 요청에 전달된 ‘형식’ 필드는 ‘three_gp’ 형식이어야 합니다.

Amazon S3를 사용할 때 ‘Content-Type’ 메타데이터를 비디오에 대한 올바른 MIME 유형으로 설정해야 합니다.

비디오 크기 정보

Amazon Nova 비디오 이해 기능은 다중 가로 세로 비율을 지원합니다. 모든 비디오는 모델에 공급되기 전에 672*672 정사각형 치수로 왜곡(입력에 따라 위 또는 아래로)을 적용하여 크기가 조정됩니다. 모델은 비디오 길이를 기반으로 하는 동적 샘플링 전략을 활용합니다. Amazon Nova Lite 및 Amazon Nova Pro에서 길이가 16분 이하인 비디오의 경우 1FPS(초당 프레임 수) 샘플링 속도가 사용됩니다. 그러나 길이가 16분을 초과하는 비디오의 경우 샘플링된 프레임 수를 일관되게 960개로 유지하기 위해 샘플링 속도가 감소하며 프레임 샘플링 속도도 그에 따라 달라집니다. 이 접근 방식은 긴 비디오 콘텐츠에 비해 짧은 비디오에 대해 보다 정확한 장면 수준의 비디오 이해를 제공하도록 설계되었습니다. 움직임이 적은 비디오는 1시간 이내로, 움직임이 많은 비디오는 16분 이내로 비디오 길이를 유지하는 것이 좋습니다. Amazon Nova Premier의 경우 1FPS 샘플링 속도가 최대 3,200프레임 한도까지 적용됩니다.

4k 버전의 비디오와 Full HD 버전을 분석할 때 차이가 없어야 합니다. 마찬가지로 샘플링 속도는 최대 1FPS이므로 60FPS 비디오도 30FPS 비디오와 동일한 성능을 발휘해야 합니다. 비디오 크기가 1GB로 제한되므로 필요보다 높은 해상도와 FPS를 사용해도 유익한 효과가 없으며 해당 크기 제한에 맞게 비디오 길이가 제한됩니다. 1GB보다 긴 비디오를 사전 처리할 수 있습니다.

비디오 토큰

비디오 길이는 생성되는 토큰 수에 영향을 미치는 주요 요인입니다. 대략적인 비용을 계산하려면 예상 비디오 토큰 수에 사용 중인 특정 모델의 토큰당 가격을 곱해야 합니다.

다음 표에는 Amazon Nova Pro, Lite 및 Micro의 비디오 길이당 프레임 샘플링과 토큰 사용률에 대한 몇 가지 근사치가 나와 있습니다.

video_duration

10초

30초

16분

20분

30분

45분

1시간

1시간 30분

frames_to_sample

10

30

960

960

960

960

960

960

sample_rate_fps

1

1

1

0.755

0.5

0.35556

0.14

0.096

예상 토큰 수

2,880

8,640

276,480

276,480

276,480

276,480

276,480

276,480

다음 표에는 Amazon Nova Premier의 비디오 길이당 프레임 샘플링과 토큰 사용률에 대한 몇 가지 근사치가 나와 있습니다.

video_duration

10초

30초

16분

20분

30분

45분

1시간

1시간 30분

frames_to_sample

10

30

960

1200

1800

2700

sample_rate_fps

1

1

1

1

1

1

예상 토큰 수

2,880

8,640

276,480

345,600

518,400

777,600