fmeval ライブラリを使用して自動評価を実行する

前提条件

• Studio UI でモデル評価を実行するには、 AWS Identity and Access Management (IAM) ロールと入力データセットに適切なアクセス許可が必要です。SageMaker AI ドメインまたは IAM ロールがない場合は、「」の手順に従いますAmazon SageMaker AI のセットアップガイド。

Amazon S3 バケットのアクセス許可を設定するには

ドメインとロールを作成したら、次の手順を使用してモデル評価に必要なアクセス許可を追加します。

1. https://console.aws.amazon.com/sagemaker/ で Amazon SageMaker AI コンソールを開きます。

2. ナビゲーションペインで、ページ上部の検索バーに「S3」と入力します。

3. [サービス] で [S3] を選択します。

4. ナビゲーションペインで [バケット] を選択します。

5. [汎用バケット] セクションの [名前] で、モデルの入出力をコンソールに保存するために使用する S3 バケットの名前を選択します。S3 バケットがない場合は、以下を実行します。

   1. [バケットを作成] を選択して、新しい [バケットの作成] ページを開きます。

   2. [一般的な設定] セクションの [AWS リージョン] で、基盤モデルが配置されている AWS リージョンを選択します。

   3. [バケット名] の下の入力ボックスで S3 バケットに名前を付けます。

   4. デフォルトの選択肢をすべて受け入れます。

   5. [Create bucket] (バケットの作成) を選択します。

   6. [汎用バケット] セクションの [名前] で、作成した S3 バケットの名前を選択します。

6. [アクセス許可] タブを選択します。

7. ウィンドウの下部にある [クロスオリジンリソース共有 (CORS)] セクションまでスクロールします。[編集] を選択します。

8. 基盤評価のためのアクセス許可をバケットに追加するには、入力ボックスに以下のコードが表示されていることを確認します。以下をコピーして、入力ボックスに貼り付けることもできます。

   [
   {
       "AllowedHeaders": [
           "*"
       ],
       "AllowedMethods": [
           "GET",
           "PUT",
           "POST",
           "DELETE"
       ],
       "AllowedOrigins": [
           "*"
       ],
       "ExposeHeaders": [
           "Access-Control-Allow-Origin"
       ]
   }
   ]

9. [Save changes] (変更の保存) をクリックします。

IAM ポリシーにアクセス許可を追加するには

1. ページ上部の検索バーに、「IAM」と入力します。

2. [サービス] で、[Identity and Access Management (IAM)] を選択します。

3. ナビゲーションペインから [ポリシー] を選択します。

4. 検索バーに「AmazonSageMakerFullAccess」と入力します。表示されたポリシーの横にあるラジオボタンをオンにします。これで、[アクション] ボタンをクリックできるようになります。

5. [アクション] の横にある下矢印をクリックします。2 つのオプションが表示されます。

6. [アタッチ] を選択してください。

7. 表示された IAM リストで、作成した IAM ロールの名前を検索します。名前の横にあるチェックボックスをオンにします。

8. Attach policy] (ポリシーのアタッチ) を選択してください。

Studio の使用を開始する

1. ページ上部の検索バーに、「SageMaker AI」と入力します。

2. サービスで、Amazon SageMaker AI を選択します。

3. ナビゲーションペインから [Studio] を選択します。

4. [ドメインを選択] の下の下矢印を展開した後、[使用を開始] セクションからドメインを選択します。

5. [ユーザープロファイルを選択] の下の下矢印を展開した後、[使用を開始] セクションからユーザープロファイルを選択します。

6. [Studio を開く] をクリックすると、Studio のランディングページが開きます。

7. ナビゲーションペインからファイルブラウザを選択して、ルートディレクトリに移動します。

8. [ノートブックの作成] をクリックします。

9. 開かれたノートブック環境ダイアログボックスで、[Data Science 3.0] イメージを選択します。

10. [選択] を選びます。

11. 次のサンプルコードに示されるとおり、fmeval パッケージを開発環境にインストールします。

    !pip install fmeval

    注記

    fmeval ライブラリは、Python 3.10 を使用する環境にインストールします。For more information about requirements needed to run fmeval の実行に必要な要件の詳細については、「fmeval dependencies」を参照してください。

JumpStart モデルを定義して ModelRunner を設定する

1. 以下のいずれかを実行して、エンドポイントを指定します。

   • 既存の JumpStart エンドポイントの EndpointName、model_id、model_version を指定します。

   • モデルの model_version と model_id を指定して、JumpStart エンドポイントを作成します。

   次のサンプルコードは、JumpStart を介して利用できる Llama 2 foundation model のエンドポイントを作成する方法を説明しています。

   import sagemaker
   from sagemaker.jumpstart.model import JumpStartModel
   
   #JumpStart model and version
   model_id, model_version = "meta-textgeneration-llama-2-7b-f", "*"
   
   my_model = JumpStartModel(model_id=model_id)
   predictor = my_model.deploy()
   endpoint_name = predictor.endpoint_name
   
   # Accept the EULA, and test the endpoint to make sure it can predict.
   predictor.predict({"inputs": [[{"role":"user", "content": "Hello how are you?"}]]}, custom_attributes='accept_eula=true')

   上記のサンプルコードは、EULA を参照しています。EULA とは、End-use-license-agreement (EULA) の略語です。EULA は、使用しているモデルのモデルカードの説明に記載されています。使用する JumpStart モデルによっては、前の predict へのコールで示されるとおり、accept_eula=true を指定する必要があります。EULA の詳細については、「モデルソースとライセンス契約」の「Licenses and model sources」セクションを参照してください。

   利用可能な JumpStart モデルのリストについては、「Built-in Algorithms with pre-trained Model Table」に提供されています。

2. 次の設定例で示されるとおり、JumpStartModelRunner コマンドを使用して、ModelRunner を設定します。

   from fmeval.model_runners.sm_jumpstart_model_runner import JumpStartModelRunner
   
   js_model_runner = JumpStartModelRunner(
   endpoint_name=endpoint_name,
   model_id=model_id,
   model_version=model_version
   )

   上記の設定例では、エンドポイントの作成に使用した model_version、endpoint_name、model_id と同じ値を使用します。

3. ModelRunner をテストします。次のサンプルコードに示されるとおり、モデルにサンプルリクエストを送信します。

   js_model_runner.predict("What is the capital of London")

Amazon Bedrock モデルを定義して ModelRunner を設定する

1. モデルの詳細を定義して表示するには、Amazon Bedrock で利用可能な Titan モデルに次のサンプルコードを使用します。

   import boto3
   import json
   bedrock = boto3.client(service_name='bedrock')
   bedrock_runtime = boto3.client(service_name='bedrock-runtime')
   
   model_id = "amazon.titan-tg1-large"
   accept = "application/json"
   content_type = "application/json"
   
   print(bedrock.get_foundation_model(modelIdentifier=modelId).get('modelDetails'))

   上記のコード例では、accept パラメータは LLM の評価に使用するデータの形式を指定します。contentType には、リクエストの入力データの形式を指定します。Amazon Bedrock モデルの accept と contentType では、MIME_TYPE_JSON のみがサポートされています。これらのパラメータの詳細については、InvokeModelWithResponseStream」を参照してください。

2. 次の設定例で示されるとおり、ModelRunner を設定するには、BedrockModelRunner コマンドを使用します。

   from fmeval.model_runners.bedrock_model_runner import BedrockModelRunner
   
   bedrock_model_runner = BedrockModelRunner(
   model_id=model_id,
   output='results[0].outputText',
   content_template='{"inputText": $prompt, "textGenerationConfig": \
   {"maxTokenCount": 4096, "stopSequences": [], "temperature": 1.0, "topP": 1.0}}',
   )

   次のとおり ModelRunner の設定をパラメータ化します。

   • モデルのデプロイで model_id に使用した値と同じ値を使用します。

   • output を使用して、生成された json 応答の形式を指定します。例えば、LLM が応答 [{"results": "this is the output"}] を提供した場合、output='results[0].outputText' は this is the output を返します。

   • content_template を使用して、リクエストと LLM のインタラクション方法を指定します。次の設定テンプレートは、上記の設定例を説明する目的でのみ詳しく説明されていますが、必須ではありません。

     • 上記の設定例では、変数 inputText はユーザーが行うリクエストをキャプチャするプロンプトを指定します。

     • 次のとおり、変数 textGenerationConfig は、LLM が応答を生成する方法を指定します。

       • パラメータ maxTokenCount は、LLM が返すトークンの数を制限して応答の長さを制限するために使用されます。

       • パラメータ stopSequences は、LLM に応答の生成を停止するように指示する文字シーケンスのリストを指定するために使用されます。モデル出力は、リストされている文字列のいずれかが出力で最初に検出されると停止します。例えば、キャリッジリターンシーケンスを使用して、モデル応答を 1 行に制限できます。

       • パラメータ topP は、次のトークンを生成する際に考慮するトークンのセットを制限して、ランダム性を制御します。このパラメータは、0.0 から 1.0 の間の値を受け入れます。topP の値が高いほど、より幅広い語彙を含むセットが許可され、この値が低いほど、トークンのセットはより可能性の高い単語に制限されます。

       • パラメータ temperature は生成されたテキストのランダム性を制御し、正の値を受け入れます。temperature の値が高いほど、よりランダムで多様な応答を生成するようにモデルに指示できます。値が低いほど、生成される回答の予測可能が高くなります。temperature の一般的な範囲は 0.2 から 2.0 です。

       特定の Amazon Bedrock 基盤モデルのパラメータの詳細については、「Inference parameters for foundation models」を参照してください。

     content_template パラメータの形式は、LLM でサポートされている入力とパラメータによって異なります。例えば、Anthropic’s Claude 2 モデルは次の content_template をサポートできます。

     "content_template": "{\"prompt\": $prompt, \"max_tokens_to_sample\": 500}"

     別の例として、Falcon 7b モデルは、次の content_template をサポートできます。

     "content_template": "{\"inputs\": $prompt, \"parameters\":{\"max_new_tokens\": \
     10, \"top_p\": 0.9, \"temperature\": 0.8}}"

     最後に、ModelRunner をテストします。次のサンプルコードに示されるとおり、モデルにサンプルリクエストを送信します。

     bedrock_model_runner.predict("What is the capital of London?")