기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

실측 정보로 블루프린트 최적화

예제 콘텐츠 자산에 올바른 예상 결과를 제공하여 블루프린트 정확도를 개선할 수 있습니다. 블루프린트 명령 최적화는 예제를 사용하여 블루프린트 필드의 자연어 지침을 구체화하므로 추론 결과 정확도가 향상됩니다.

블루프린트 명령 최적화는 인보이스 번호, 계약 금액 또는 세금 양식 필드와 같이 문서에 직접 표시되는 특정 값을 추출해야 하는 경우에 가장 적합합니다. 프로덕션 환경에서 처리하는 문서, 특히 정확도 문제가 발생한 문서를 나타내는 3~10개의 예제 자산을 제공하는 것이 좋습니다.

블루프린트 명령 최적화 작동 방식

블루프린트 명령 최적화는 예상 결과와 초기 추론 결과의 차이를 분석합니다. 이 서비스는 지침이 예제 자산에서 더 정확한 결과를 생성할 때까지 블루프린트의 각 필드에 대한 자연어 지침을 반복적으로 구체화합니다. 이 프로세스는 모델 훈련이나 미세 조정 없이 몇 분 안에 완료됩니다.

최적화 프로세스를 시작할 때 예제 자산과 각 필드에 대해 추출할 것으로 예상되는 올바른 값인 해당 실측 데이터를 제공합니다. 블루프린트 명령 최적화는 이러한 값을 추론 결과와 비교하고 필드 설명을 조정하여 정확도를 개선합니다. 최적화가 완료되면 정확한 일치율 및 실측 정보와 비교하여 측정된 F1 점수를 포함하여 정확도 개선을 보여주는 정확도 지표를 받게 됩니다.

블루프린트 최적화를 시작하기 전에 필요한 사항

정의된 필드가 있는 블루프린트입니다. 콘솔 또는 API를 사용하여 블루프린트를 생성합니다. 블루프린트에는 추출하려는 데이터의 필드 이름과 초기 설명이 포함되어야 합니다.

콘텐츠 자산의 예입니다. 문서의 프로덕션 워크로드를 나타내는 문서 자산을 3~10개 수집합니다. 블루프린트의 모든 필드가 포함된 예제를 선택합니다.

예제에 대한 예상 결과입니다. 각 예제 자산에서 추출하려는 올바른 값을 준비합니다. 최적화 중에 이러한 값을 수동으로 입력하거나 매니페스트 파일을 사용하여 업로드할 수 있습니다.

S3 버킷 위치입니다. 예제 자산과 실측 데이터를 저장할 S3 버킷을 지정합니다. 자체 버킷을 제공하거나 서비스가 버킷을 생성하도록 허용할 수 있습니다.

블루프린트를 최적화하는 Step-by-step 프로세스

블루프린트를 최적화하려면 Amazon Bedrock Data Automation 콘솔의 블루프린트 세부 정보 페이지에서 시작합니다. 이는 문서 양식에서만 사용할 수 있습니다.

1단계. 블루프린트 최적화를 선택하여 최적화 워크플로를 시작합니다.

2단계. 예제 자산을 업로드합니다. 로컬 디바이스 또는 S3 위치에서 최대 10개의 콘텐츠 자산을 선택합니다. 서비스는 자산을 업로드하고 각 파일에 대한 썸네일을 표시합니다. 이전에이 블루프린트를 최적화한 경우 새 예제를 추가하거나 기존 예제를 제거할 수 있습니다.

3단계. 각 자산에 대한 실측 정보를 제공합니다. 자산을 선택하여 실측 편집기를 엽니다. 편집기 왼쪽에는 문서 미리 보기가 표시되고 오른쪽에는 블루프린트 필드의 간소화된 테이블이 표시됩니다. 각 필드에 Ground Truth 열에 추출할 올바른 값을 입력합니다.

4단계. 실측 정보 입력 속도를 높이려면 자동 채우기를 선택하여 자산에 대한 초기 추론을 실행하고 결과 열의 값에서 Ground Truth 열을 자동으로 채웁니다. 계속하기 전에 잘못된 값을 편집합니다.

5단계. 최적화를 시작합니다. 선택한 모든 자산에 대한 실측 정보 입력을 완료한 후 최적화 시작을 선택합니다. 데이터 자동화는 예제를 분석하고 각 필드에 대한 자연어 지침을 구체화합니다. 진행률 표시기는 "자산 읽기" 및 "블루프린트 자연어 지침 변경"과 같은 메시지와 함께 최적화 상태를 보여줍니다.

6단계. 평가 지표를 검토합니다. 최적화가 완료되면 지표 섹션에 블루프린트의 정확도 지표가 표시됩니다. 지표는 최적화 전과 최적화 후의 성능을 비교합니다. 전체 F1 점수, 신뢰도 점수 및 정확한 일치율을 검토하여 블루프린트가 정확도 요구 사항을 충족하는지 평가합니다.

샘플 파일별 지표 탭에는 각 예제 자산의 필드 수준 정확도가 표시됩니다. 이러한 지표를 사용하여 개선된 필드와 추가 예제 또는 수동 개선이 필요할 수 있는 필드를 식별할 수 있습니다.

7단계. 최적화를 완료합니다. 평가 지표가 요구 사항을 충족하는 경우 최적화된 블루프린트 저장을 선택하여 최적화된 블루프린트를 프로덕션으로 승격합니다. 이제 블루프린트는 향후 모든 추론 요청에 대해 개선된 자연어 지침을 사용합니다.

블루프린트 다시 최적화

언제든지 블루프린트를 다시 최적화하여 정확도를 높일 수 있습니다. 블루프린트 세부 정보 페이지로 돌아가 블루프린트 최적화를 선택합니다. 이 서비스는 이전에 최적화에 사용한 자산을 실제 값과 함께 표시합니다.

다시 최적화하려면 새 예제 자산을 추가하거나, 기존 자산의 실측 정보를 편집하거나, 더 이상 워크로드를 나타내지 않는 자산을 제거할 수 있습니다. 최적화 시작을 선택하면 블루프린트 명령 최적화는 현재 블루프린트 지침과 새 지침을 비교하여 계산합니다.

최적화 후 블루프린트 편집

최적화된 블루프린트에서 필드를 추가하거나 제거하면 서비스가 최적화 기록 및 연결된 예제 자산을 제거합니다. 편집하기 전에 자산 위치와 실측 정보가 포함된 매니페스트 파일을 다운로드합니다. 매니페스트 파일은 JSON 형식을 사용하며 이전 최적화의 모든 필드와 실제 값을 포함합니다. 최적화 작업을 유지하려면 편집된 블루프린트를 다시 최적화할 때 매니페스트 파일을 업로드합니다. 데이터 자동화는 일치하는 필드에 실측 정보 값을 자동으로 적용합니다. 블루프린트에 더 이상 존재하지 않는 필드는 매니페스트에서 제거됩니다. 새 필드에는 제공할 때까지 실측값이 없습니다.

최적화 비용 관리

블루프린트 명령 최적화는 자연어 지침을 수동으로 편집하고 각 샘플 문서에 대해 반복적으로 테스트하는 경우와 마찬가지로 추론 비용을 소비합니다. 대략적인 계산을 위해 예로 제공하는 페이지 수는 블루프린트를 최적화할 때 요금이 청구되는 페이지 수가 됩니다. 각 최적화 실행은 예제 자산을 여러 번 처리하여 지침을 구체화합니다. 비용을 최소화하려면 초기 최적화를 위한 3~5개의 예제로 시작합니다. 평가 지표를 검사하고 정확도를 추가로 개선해야 한다고 생각할 때 예제를 더 추가합니다.

또한 최적화된 자연어 지침은 원래 지침보다 길고 세부적인 경향이 있으므로 런타임 추론 비용이 증가할 수 있습니다.