翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon SageMaker AI でモデル評価ジョブを作成する際のエラーを解決する

モデル評価ジョブの作成中にエラーが発生した場合は、次のリストを利用して評価のトラブルシューティングを行います。さらにサポートが必要な場合は、 サポートまたは AWS Amazon SageMaker AI の開発者フォーラムにお問い合わせください。

Amazon S3 バケットへのデータのアップロードエラー

基盤モデル評価を作成する際は、モデルの入出力を保存する S3 バケットに適切なアクセス許可を設定する必要があります。Cross-Origin Resource Sharing (CORS) アクセス許可が正しく設定されていない場合、SageMaker AI は次のエラーを生成します。

エラー: s3 にオブジェクトを配置できませんでした: s3Error へのオブジェクトのアップロード中にエラーが発生しました: S3 へのオブジェクトの配置に失敗しました: リソースの取得時に NetworkError が発生しました

バケットのアクセス許可を適切に設定するには、「Studio で自動モデル評価ジョブを作成する」の「Set up your environment」の手順を実行します。

処理ジョブを完了できませんでした

処理ジョブを完了できない最も一般的な理由は次のとおりです。

各問題の軽減に役立つ以下のセクションを参照してください。

クォータが不十分

デプロイされていない JumpStart モデルの基盤モデル評価を実行すると、SageMaker Clarify はアカウントの SageMaker AI エンドポイントに大規模言語モデル (LLM) をデプロイします。選択した JumpStart モデルを実行するのに十分なクォータがアカウントにない場合、ジョブは失敗して ClientError が発生します。クォータを引き上げるには、次の手順を実行します。

クォータの引き上げリクエストの詳細については、「Requesting a quota increase」を参照してください。

メモリが不十分

評価アルゴリズムを実行するのに十分なメモリがない Amazon EC2 インスタンスで基盤モデル評価を開始すると、ジョブは失敗して次のエラーが発生します。

The actor is dead because its worker process has died. Worker exit type: SYSTEM_ERROR Worker exit detail: Worker unexpectedly exits with a connection error code 2. End of file. There are some potential root causes. (1) The process is killed by SIGKILL by OOM killer due to high memory usage. (2) ray stop --force is called. (3) The worker is crashed unexpectedly due to SIGSEGV or other unexpected errors. The actor never ran - it was cancelled before it started running.

評価ジョブで使用できるメモリを増やすには、インスタンスをメモリ量の多いインスタンスに変更します。ユーザーインターフェイスを使用している場合は、ステップ 2 の [プロセッサ設定] でインスタンスタイプを選択できます。SageMaker AI コンソール内でジョブを実行している場合は、メモリ容量が増加したインスタンスを使用して新しいスペースを起動します。

Amazon EC2 インスタンスのリストについては、「インスタンスタイプ」を参照してください。

メモリ容量が大きいインスタンスの詳細については、「Memory optimized instances」を参照してください。

ping チェックで合格しませんでした

場合によっては、SageMaker AI がエンドポイントをデプロイしたときに ping チェックに合格しなかったため、基盤モデル評価ジョブが失敗することがあります。ping テストに合格しない場合、次のエラーが表示されます。

ClientError: Error hosting endpoint your_endpoint_name: Failed. Reason: The primary container for production variant AllTraffic did not pass the ping health check. Please check CloudWatch logs for this endpoint..., Job exited for model: your_model_name of model_type: your_model_type

ジョブがこのようなエラーを生成する場合は、数分待ってからジョブを再度実行します。エラーが解決しない場合は、Amazon SageMaker AI AWS のサポートまたは開発者フォーラムにお問い合わせください。 AWS Amazon SageMaker

SageMaker AI コンソールで基盤モデルの評価が見つからない

SageMaker Clarify Foundation Model Evaluations を使用するには、新しい Studio エクスペリエンスにアップグレードする必要があります。2023 年 11 月 30 日以降、従来の Amazon SageMaker Studio のエクスペリエンスは Amazon SageMaker Studio Classic と名前が変更されました。基盤モデルの評価機能は、更新後のエクスペリエンスでのみ使用できます。Studio をアップデートする方法の詳細については、「Amazon SageMaker Studio Classic からの移行」を参照してください。

このモデルはプロンプトのステレオタイプをサポートしていません

JumpStart モデルの一部のみがプロンプトのステレオタイプをサポートしています。サポートしていない JumpStart モデルを選択すると、次のエラーが表示されます。

{"evaluationMetrics":"This model does not support Prompt stereotyping evaluation. Please remove that evaluation metric or select another model that supports it."}

このようなエラーが表示された場合は、選択したモデルは基盤評価で使用することはできません。現時点で、SageMaker Clarify はプロンプトのステレオタイプタスクのすべての JumpStart モデルを更新しているため、基盤モデル評価で使用できます。

データセット検証エラー (ヒューマン)

ヒューマンワーカーによるモデル評価ジョブのカスタムプロンプトデータセットは、.jsonl 拡張子を使用し、JSON 行形式でフォーマットする必要があります。

ジョブを開始すると、プロンプトデータセット内の各 JSON オブジェクトは相互に検証されます。JSON オブジェクトのいずれかが有効でない場合、次のエラーが発生します。

Customer Error: Your input dataset could not be validated. Your dataset can have up to 1000 prompts. The dataset must be a valid jsonl file, and each prompt valid json object.To learn more about troubleshooting dataset validations errors, see Troubleshooting guide. Job executed for models: meta-textgeneration-llama-2-7b-f, pytorch-textgeneration1-alexa20b.

カスタムプロンプトデータセットがすべての検証に合格するには、JSON 行ファイル内のすべての JSON オブジェクトに対して、以下の値が true である必要があります。