기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
고급 프롬프트 최적화 작동 방식
개요
고급 프롬프트 최적화는 프롬프트 템플릿, 평가 샘플 및 평가 방법을 가져온 다음 반복 추론, 평가 및 재작성 루프를 실행합니다. 각 대상 모델에 대한 평가 지표와 함께 최적화된 프롬프트를 출력합니다. png, jpg 및 PDF 파일을 포함한 멀티모달 입력을 지원합니다.
최적화 루프 작동 방식
평가 샘플은 프롬프트 템플릿의 자리 표시자 변수에 삽입된 다음 대상 모델(들)로 추론을 위해 전송됩니다. 멀티모달 입력(이미지 및 PDFs)은 프롬프트와 함께 페이로드에서 모델로 전송되지만 이중 중괄호 {{placeholder}} 변수에서 참조해서는 안 됩니다. 응답은 평가 방법에 따라 등급이 지정됩니다. 서비스는 평가 결과를 분석하고 프롬프트를 자동으로 다시 작성한 다음 모델로 다시 보냅니다. 이 피드백 루프는 독점 내부 최적화 파라미터에 따라 반복되고 완료됩니다.
평가는 프롬프트 최적화를 주도하므로 평가 방법과 기준을 최대한 정확하게 정의하는 것이 중요합니다.
수신한 내용
최적화 작업이 끝나면 다음을 받게 됩니다.
최적화 전후의 프롬프트 템플릿
각 평가 샘플의 평가 점수
각 모델의 지연 시간(첫 번째 토큰까지의 시간 또는 TTFT)
각 모델의 예상 비용
비용
모든 추론 및 Lambda 함수 호출은 AWS 계정에서 실행됩니다. Lambda 작업에는 Lambda의 공개 요금이 부과됩니다. 추론 요금(LLM-as-a-judge 평가 포함)은 온디맨드 추론에 대한 Bedrock의 공개 요금에 따라 청구됩니다. 추론 비용 외에 별도의 고급 프롬프트 최적화 서비스 요금은 없습니다. 현재 기본 LLM-as-a-judge 모델은 사용자 지정 LLMJ 프롬프트에 대해 다른 모델을 선택하지 않는 한 Anthropic Claude Sonnet 4.6입니다.
최적화 실행 비용을 추정하려면 프롬프트 최적화의 Bedrock 공개 요금 페이지와 계산 방법에 대한 고급 프롬프트 최적화를 참조하세요.
예상 기간
평가 샘플이 몇 개뿐인 단일 프롬프트의 경우 작업을 15~20분 동안 실행할 수 있습니다. 각각 평가 샘플이 많은 많은 많은 프롬프트의 경우 작업은 1시간 이상, 잠재적으로 여러 시간 동안 실행될 수 있습니다. 각 프롬프트 템플릿은 사용자가 제공하는 모든 평가 샘플 레코드를 기반으로 여러 단계의 추론, 평가 및 재작성 루프를 거치기 때문입니다.
