기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
솔루션 사용
UI 액세스
스택 배포 프로세스(배포 대시보드 및 사용 사례 모두) 중에 구성된 이메일 주소로 이메일이 전송됩니다. 이메일에는 웹 인터페이스에 가입하고 액세스하는 데 사용할 수 있는 사용자의 임시 자격 증명이 포함되어 있습니다.
참고
AWS Management Console에 액세스할 수 있는 DevOps 사용자는 스택이 완료될 때 배포 대시보드 UI의 CloudFront URL을 관리자 사용자에게 제공해야 합니다.
사용 사례의 경우 배포 대시보드 UI에 액세스할 수 있는 관리자 사용자는 배포가 완료될 때 비즈니스 사용자에게 사용 사례 UI의 CloudFront URL을 제공해야 합니다.
로그인한 사용자는 관리자의 경우 배포 대시보드, 비즈니스 사용자의 경우 사용 사례 등 솔루션 UIs와 상호 작용할 수 있습니다.
배포를 업데이트하는 방법
배포 대시보드 홈 페이지(또는 배포의 세부 정보 페이지)에서 배포에 사용되는 구성을 편집할 수 있습니다. CREATE_COMPLETE 또는 UPDATE_COMPLETE 상태인 배포만 편집할 수 있습니다.
사용 사례 이름을 제외하고 배포에 대해 다른 모든 옵션을 편집할 수 있습니다. 편집 및 재배포하려는 값을 변경하기만 하면 됩니다.
편집 범위에 따라 재배포 시간이 달라집니다. 간단한 설정이 변경된 경우(예: 모델 파라미터) 몇 초, 더 큰 인프라 관련 옵션이 변경된 경우(예: 텍스트 사용 사례 RAG에 대한 Amazon Kendra 인덱스 생성 요청) 30분 이상 걸릴 수 있습니다.
편집이 성공적으로 완료되면 애플리케이션 상태는 UPDATE_COMPLETE 상태를 보고합니다. 이때 CloudFront URL을 통해 배포된 UI에 액세스하고 수정된 배포와 상호 작용할 수 있습니다.
참고
다른 설정 또는 LLM을 비교하려는 경우 여러 배포를 side-by-side 실행하는 것이 더 쉬울 수 있습니다. LLMs 복제 기능을 사용하면 기존 구성을 빠르게 사용하여 새 배포를 시작할 수 있습니다.
배포를 복제하는 방법
배포 대시보드 홈 페이지(또는 배포의 세부 정보 페이지)에서 배포에 사용되는 구성을 복제할 수 있습니다. 배포를 복제하면 새 사용 사례 배포 마법사가 시작되지만 대부분의 필드는 동일한 값으로 미리 채워집니다.
이는 설정이 변경된 배포를 빠르게 복제하거나, 삭제된 배포를 재생성하거나, 동일한 배포에서 여러 LLMs 비교하는 데 도움이 되는 편리한 작업입니다.
배포를 삭제하는 방법
배포 대시보드 홈 페이지(또는 배포의 세부 정보 페이지)에서 배포가 더 이상 필요하지 않으면 삭제할 수 있습니다. 배포를 삭제하면 CloudFormation 스택 삭제 작업이 호출되고 배포를 위한 리소스 프로비저닝이 해제됩니다.
기본적으로 삭제된 배포는 여전히 대시보드에 남아 복제 기능을 활성화합니다. UI에서 추적이 중지되도록 대시보드에서 배포를 완전히 제거하려면 삭제 확인 창에서 영구 삭제를 선택합니다.
중요
일부 리소스는 스택 삭제 중에 남아 있으므로 수동으로 삭제해야 합니다. 보존되는 리소스와 정리 방법에 대한 자세한 내용은 수동 제거 섹션을 참조하세요.
Amazon SageMaker AI를 LLM 공급자로 사용
v1.3.0부터 Amazon SageMaker AI
중요
솔루션은 SageMaker AI 엔드포인트의 수명 주기를 관리하지 않습니다. 추가 요금 발생을 중단할 필요가 없는 SageMaker AI 엔드포인트를 삭제하는 것은 사용자의 책임입니다.
SageMaker AI 엔드포인트 생성
Amazon SageMaker AI JumpStart
텍스트 생성 기반 SageMaker AI 엔드포인트를 사용하고 기본 SageMaker AI 서비스를 사용하여 배포할 수도 있습니다. 추론용 모델을 배포하는 방법에 대한 단계별 가이드는 SageMaker AI JumpStart 설명서를 참조하세요.
참고
파운데이션 모델/LLMs 일반적으로 상당히 크고 종종 대규모 가속 컴퓨팅 인스턴스를 사용해야 할 수 있습니다. 이러한 더 큰 인스턴스 중 다수는 기본적으로 AWS 계정에서 사용하지 못할 수 있습니다. 일반적인 배포 실패를 방지하려면 배포하기 전에 기본 SageMaker AI 할당량을 참조하고 할당량 증가를 요청해야 합니다.
SageMaker AI 엔드포인트를 사용하여 텍스트 사용 사례 배포 생성
추론을 위해 SageMaker AI 엔드포인트를 사용하여 새 텍스트 사용 사례를 배포하려면:
-
배포 대시보드 마법사를 통해 새 사용 사례를 생성하고 모델 선택 페이지에 도달할 때까지 양식을 작성합니다.
-
모델 페이지에서 모델 공급자로 SageMaker AI를 선택합니다. 이렇게 하면 세 가지 주요 사용자 입력이 필요한 사용자 지정 양식이 생성됩니다.
-
사용하려는 SageMaker AI 엔드포인트의 이름입니다. DevOps 사용자는 AWS 콘솔에서 이를 얻을 수 있습니다. 엔드포인트는 솔루션이 배포된 것과 동일한 계정 및 리전에 있어야 합니다.
AWS 콘솔에서 엔드포인트 이름의 위치
-
엔드포인트에서 예상되는 입력 페이로드의 스키마입니다. 가장 광범위한 엔드포인트 세트를 지원하려면 관리자 사용자는 엔드포인트가 입력 형식 지정을 어떻게 예상하는지 솔루션에 알려야 합니다. 모델 선택 마법사에서 엔드포인트로 전송할 솔루션의 JSON 스키마를 제공합니다. 자리 표시자를 추가하여 요청 페이로드에 정적 및 동적 값을 주입할 수 있습니다. 사용할 수 있는 옵션:
-
필수 자리 표시자: \<\<prompt\>\>는 런타임 시 SageMaker AI 엔드포인트로 전송할 전체 입력(예: 프롬프트 템플릿에 따른 기록, 컨텍스트 및 사용자 입력)으로 동적으로 대체됩니다.
-
선택적 자리 표시자: \<\< temperature\>\> *,\* 및 고급 모델 파라미터에 정의된 모든 파라미터를 엔드포인트에 제공할 수 있습니다. \<\< 및 \>\>로 묶인 자리 표시자를 포함하는 모든 문자열(예: \<\<max_new_tokens\>\>)은 동일한 이름의 고급 모델 파라미터 값으로 대체됩니다.
입력 스키마 예제 - 사용자 지정 고급 파라미터인 max_new_tokens와 함께 필수 필드, 프롬프트 및 온도를 설정합니다. 출력 경로는 유효한 JSONPath 문자열로 제공되어야 합니다.
-
-
-
출력 페이로드 내에서 LLMs 생성한 문자열 응답의 위치입니다. 이는 엔드포인트의 반환 객체 및 응답 내에서 사용자에게 표시되는 최종 텍스트 응답에 액세스할 것으로 예상되는 위치를 나타내는 JSONPath 표현식으로 제공되어야 합니다.
SageMaker AI 입력 스키마 내에서 사용할 고급 모델 파라미터를 추가하는 예제(이전 옵션/설정은 그림 2 참조)
참고
SageMaker AI는 이제 동일한 엔드포인트 뒤에 여러 모델을 호스팅하도록 지원하며, 이는 현재 버전의 SageMaker AI Studio(Studio Classic 아님)에 엔드포인트를 배포할 때 기본 구성입니다.
엔드포인트가 이러한 방식으로 구성된 경우 사용하려는 모델의 이름에 해당하는 값과 함께 InferenceComponentName을 고급 모델 파라미터 섹션에 추가해야 합니다.
