다양한 모델 추론 방법의 사용 사례에 대해 알아봅니다. - Amazon Bedrock

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

다양한 모델 추론 방법의 사용 사례에 대해 알아봅니다.

다음과 같은 방법으로 모델 추론을 직접 실행할 수 있습니다.

방법 사용 사례
Amazon Bedrock 콘솔 플레이그라운드 사용자 친화적인 그래픽 인터페이스에서 추론을 실행합니다. 탐색에 편리합니다.
Converse 또는 ConverseStream 모델 입력을 위한 통합 API를 사용하여 대화형 애플리케이션을 구현합니다.
InvokeModel 또는 InvokeModelWithResponseStream 단일 프롬프트를 제출하고 응답을 동기적으로 생성합니다. 실시간으로 응답을 생성하거나 검색 쿼리에 유용합니다.
StartAsyncInvoke 단일 프롬프트를 제출하고 응답을 비동기적으로 생성합니다. 대규모로 응답을 생성하는 데 유용합니다.
CreateModelInvocationJob 프롬프트 데이터 세트를 준비하고 배치로 응답을 생성합니다.

다음 Amazon Bedrock 기능 또한 모델 추론을 더 큰 워크플로의 한 단계로 사용합니다.

  • 모델 평가는 사용자가 CreateEvaluationJob 요청을 제출한 후 모델 간접 호출 프로세스를 사용하여 여러 모델의 성능을 평가합니다.

  • 지식 기반은 RetrieveAndGenerate API를 사용하여 지식 기반에서 검색된 결과를 기반으로 응답을 생성할 때 모델 간접 호출을 사용합니다.

  • 에이전트는 모델 간접 호출을 사용하여 InvokeAgent 요청 과정의 다양한 단계에서 응답을 생성합니다.

  • 흐름에는 모델 호출을 사용하는 프롬프트, 지식 기반 및 에이전트와 같은 Amazon Bedrock 리소스가 포함됩니다.

다양한 프롬프트와 추론 매개변수를 사용하여 다양한 파운데이션 모델을 테스트한 후 원하는 사양으로 이러한 API를 직접 호출하도록 애플리케이션을 구성할 수 있습니다.