이미지 분류 모델의 배포 인프라 선택

다음 세 가지 주요 측면을 고려하여 이미지 분류 엔드포인트에 가장 적합한 배포 옵션을 선택하는 것이 좋습니다.

엔드포인트 응답 시간 및 비용 제한은 더 쉽게 정량화되며 먼저 결정하는 것이 더 좋습니다. 솔루션 복잡성 제약 조건은 직원 시간과 리소스의 균형에 따라 달라집니다. 가장 복잡하지 않은 솔루션에는 Amazon Rekognition 또는 Amazon Rekognition Custom Labels 사용이 포함됩니다. Amazon API Gateway 인스턴스와 AWS Lambda 함수 뒤에 배치할 경우 응답하는 데 최대 1초가 걸릴 수 있습니다. Amazon SageMaker AI Canvas는 개발 노력이 적은 상태에서 1초 이내에 응답하는 엔드포인트를 배포할 수도 있습니다.

Docker 이미지를 사용하여 이미지 분류 모델을 AWS Lambda 함수에 배치할 수 있습니다. Lambda 함수를 호출하면 모델 로드 시간으로 인해 엔드포인트 응답이 지연되는 콜드 스타트가 있을 수 있습니다. 프로비저닝된 동시성 옵션을 사용하여 Lambda 함수가 지정된 동시성 수준 또는 자동 조정 정책에 따라 1초 이내에 응답하도록 할 수도 있습니다.

모델 응답 시간은 모델 처리 시간과 배포된 엔드포인트 응답 시간에 따라 달라집니다. 다음은 각 배포 옵션에 대한 응답 시간으로, 구현 작업별로 구성됩니다.

가장 노력이 많은 솔루션은 인프라 비용이 더 낮을 가능성이 더 높습니다. 그러나 절감액을 엔지니어의 추가 유지 관리 시간과 비교합니다.

일반적인 배포 패턴은 다음 이미지와 같이 엔드포인트 호출 앞에 API 게이트웨이와 Lambda 함수를 두는 것입니다. 이는 Amazon Rekognition의 추론 응답이 Amazon API Gateway를 통해 호출 클라이언트로 다시 전송되기 전에 추가 처리가 필요한 상황에서 선호됩니다.

그러나 처리가 매우 많은 상황에서는 Lambda 함수 처리로 인한 네트워크 지연 시간 페널티를 줄이기 위해 다른 워크플로가 필요할 수 있습니다. 지연 시간이 매우 짧으면 API 게이트웨이 호출API에서 Amazon Rekognition을 강제로 적용하는 대신 Lambda 함수를 생략할 수 있습니다.

몇 초의 지연 시간을 허용할 수 있는 이미지 분류 시스템의 경우 SageMaker AI 서버리스 추론 엔드포인트를 사용합니다. SageMaker AI 서버리스 추론 및 AWS Lambda 배포의 경우 각 호출에 대해 실행 시간이 15분으로 제한됩니다. 이는 가장 인기 있는 이미지 분류 모델의 안전 마진이 큽니다.

오프라인 이미지 분류 또는 빠른 응답 시간이 중요하지 않은 애플리케이션의 경우 Amazon Rekognition에서 배치 추론을 사용할 수 있습니다. 자세한 내용은 AWS Machine Learning 블로그의 Amazon Rekognition Custom Labels를 사용한 배치 이미지 처리를 참조하세요. SageMaker AI Canvas 또는 기타 방법으로 훈련된 SageMaker AI 모델에 SageMaker AI 배치 변환을 사용할 수도 있습니다. 예제는의 SageMaker 배치 추론용 AI PyTorch 배치 변환 노트북을 참조하세요 GitHub.