# 高度な LLM の設定
<a name="advanced-llm-settings"></a>

Amazon Bedrock を使用する場合、Amazon Bedrock ガードレール、Amazon Bedrock プロビジョンドスループット、その他のモデルパラメータなど、モデルの高度な設定を行うことができます。

## Amazon Bedrock ガードレール
<a name="guardrails-for-amazon-bedrock"></a>

Amazon Bedrock ガードレールは、Amazon Bedrock の機能の 1 つです。ユーザー設定のポリシーに基づいてユーザー入力と LLM の応答を評価し、ユーザーがユースケースに選択した基盤となる LLM の種類を問わず、追加の保護レイヤーを提供します。ガードレールは、望ましくないカテゴリまたは有害なカテゴリに分類されるコンテンツを回避するための 2 つのポリシーで構成されています。

1. 拒否されたトピックは、金融アプリケーションでの投資アドバイスなど、ユーザーのアプリケーションのコンテキストとして望ましくないトピックのセットを定義します。

1. コンテンツフィルター\*\*\*\* 有害なコンテンツを含む入力ユーザープロンプトまたはモデルの応答をフィルタリングできます。

生成 AI アプリケーションビルダーソリューションで使用するには、*[ガードレールを作成]* ウィザードを使用して、*Amazon Bedrock* コンソールでガードレールを設定する必要があります。作成したら、ガードレール識別子とガードレールバージョンを指定して、モデルの選択ステップの **[その他の設定]** で、生成 AI アプリケーションビルダーソリューションウィザードを介して作成したチャットユースケースに、このガードレールを追加できます。

 **デプロイウィザードの説明図 - Amazon Bedrock ガードレールを有効にする** 

![Bedrock のガードレール](http://docs.aws.amazon.com/ja_jp/solutions/latest/generative-ai-application-builder-on-aws/images/guardrails-for-bedrock.png)


## Amazon Bedrock のプロビジョンドスループット
<a name="provisioned-throughput-for-amazon-bedrock"></a>

各オンデマンド Amazon Bedrock モデルでは、モデル推論について、リージョン固有の[アカウントクォータ制限](https://docs.aws.amazon.com/bedrock/latest/userguide/quotas.html)に従います。例えば、Bedrock で Anthropic Claude 2.x を使用する場合、現時点では us-east-1 リージョンと us-west-2 リージョンでは、1 分あたり 500 件のリクエストと 500,000 件のトークンの処理が許可されています。このソリューションは、ファインチューニング済みモデルや継続的な事前トレーニングモデルで使用することもできます。このようなインスタンスの場合、Amazon Bedrock で[プロビジョンドスループット](https://docs.aws.amazon.com/bedrock/latest/userguide/prov-throughput.html)が許可され、本番環境のアプリケーションで使用できるように、ベースモデル、ファインチューニング済みモデル、または継続的な事前トレーニングモデルに対して、大規模かつ整合性を維持した推論ワークロードを実行できます。

Amazon Bedrock コンソールでプロビジョンドスループットを購入したら、モデル ARN が生成されて使用できるようになります。このモデル ARN は、モデルの選択ステップの生成 AI アプリケーションビルダーウィザードで指定できるようになりました。これを実行するには、モデルプロバイダーとして Bedrock を選択し、Amazon Bedrock コンソールでこのプロビジョンドモデル ARN を生成するために使用されたベースモデル名を選択します。次に、オンデマンドモデルとプロビジョンドモデルのどちらかを選択する際に「**プロビジョンドモデル**」を選択して、使用するモデル ARN を指定します。

 **デプロイウィザードの説明図 - Amazon Bedrock のプロビジョンドスループットを有効にする** 

![Bedrock のプロビジョンドスループット](http://docs.aws.amazon.com/ja_jp/solutions/latest/generative-ai-application-builder-on-aws/images/provisioned-throughput-for-bedrock.png)


**注記**  
ガードレールとプロビジョンドスループットは、デプロイしたデプロイダッシュボードとユースケーススタックと同じリージョンに配置する必要があります。

## モデルパラメータ
<a name="model-parameters"></a>

LLM では多くの場合、その実装に固有の幅広いパラメータを使用できます。モデルプロバイダーは一般的に、サポートされるパラメータのセットとその使用方法を概説したドキュメントを提供しています。

このソリューションはモデルパラメータを基盤モデルに直接渡すため、パラメータが正しく設定されていることを確認することが重要です。サポートされるパラメータの最新情報については、モデルプロバイダーのドキュメントを参照してください。