生成 AI サービスの選択

Amazon Q Business は、エンタープライズシステムのデータに基づいて、質問に回答し、概要を提供し、コンテンツを生成し、タスクを安全に完了できます。生成 AI を使用して企業内の情報を最大限に活用する一般的なユースケースをサポートしています。Amazon Q Business では、その情報に関する英語のクエリを実行できます。チームのニーズに適した方法でレスポンスを提供します。さらに、Amazon Q Business Pro サブスクリプション内に軽量で専用の Amazon Q Apps を作成できます。

Amazon Q Developer を使用すると、 AWS アプリケーションを理解、構築、拡張、運用できます。サポートされているユースケースには、アプリケーションのコーディング、テスト、アップグレード、エラーの診断、セキュリティスキャンと修正の実行、 AWS リソースの最適化などのタスクが含まれます。Amazon Q Developer の高度な複数ステップの計画および推論機能は、一般的なタスク (Java バージョンのアップグレードの実行など) に関連する作業を減らすことを目的としています。これらの機能は、開発者のリクエストから生成された新機能の実装にも役立ちます。 

Amazon Q Developer 機能は、チャットアプリケーションの Amazon Q Developer、Amazon CodeCatalyst、Amazon EC2、VPC Reachability Analyzer など AWS Glue、他の AWS のサービスのワークフローの一部として使用できます。

Amazon Q Developer とチャットして、 から直接 AWS インフラストラクチャをクエリおよび探索します AWS マネジメントコンソール。自然言語プロンプトを使用して を操作すると AWS アカウント、特定のリソースの詳細を取得し、リソース間の関係について質問できます。

Amazon Q in Quick は、特定のユースケースのニーズを満たすことを目的としています。Amazon Q を Amazon Q Quick ビジネスインテリジェンス (BI) サービスに接続することで、データから実用的なインサイトを得ることができます。これを使用して、データの視覚化の構築、インサイトのまとめ、データに関する質問への回答、自然言語を使用したデータストーリーの構築を行うことができます。

Amazon Q in Connect は、顧客の問題を自動的に検出できます。これにより、カスタマーサービスエージェントにコンテキストに応じた顧客情報と、問題を迅速に解決するための推奨される応答とアクションが提供されます。Amazon Connect クラウドコンタクトセンターサービスの機能を Amazon Q と組み合わせます。Amazon Q in Connect は、顧客とのリアルタイムの会話を、関連する会社のコンテンツとともに使用して、顧客を支援するためにエージェントが何を言うか、どのようなアクションを取るべきかを提案できます。

モデルのカスタマイズは、差別化されたパーソナライズされたユーザーエクスペリエンスを提供できます。特定のタスクのモデルをカスタマイズするには、独自のラベル付きデータセットを使用して FMs をプライベートに微調整できます。カスタムモデルには、ラベル付けされていないデータセットを使用したファインチューニングや継続的な事前トレーニングなどの機能が含まれています。Amazon Bedrock がファインチューニングをサポートしている FMs のリストには、Amazon Nova Micro、Lite、Pro、Anthropic Claude 3 Haiku、Cohere Command、Meta Llama 2、Amazon Titan Text Lite and Express、Amazon Titan Multimodal Embeddings、Amazon Titan Image Generator などがあります。サポートされている FMs のリストは、継続的に更新されます。

さらに、Amazon Bedrock カスタムモデルインポートを使用して、独自のカスタムモデルを持ち込んで Amazon Bedrock 内で使用できます。

Amazon Bedrock ナレッジベースは、データソースへのカスタム統合を構築したり、データフローを管理したりすることなく、取り込みから取得、プロンプト拡張まで、検索拡張生成 (RAG) ワークフロー全体を実装するために使用できるフルマネージド機能です。セッションコンテキスト管理が組み込まれているため、アプリケーションはマルチターン会話をサポートできます。Retrieve API を使用して、ナレッジベースからユーザークエリに関連する結果を取得できます。

RAG を使用すると、ドキュメントリポジトリ、データベース、APIs など、複数のソースからの新しい知識やup-to-dateをモデルに提供できます。たとえば、モデルは RAG を使用して Amazon OpenSearch Service から検索結果を取得するか、Amazon Simple Storage Service からドキュメントを取得する場合があります。Amazon Bedrock ナレッジベースは、Amazon Aurora、Amazon OpenSearch Serverless、MongoDB、Pinecone、Redis Enterprise Cloud などのプライベートデータソースに接続することで、このエクスペリエンスを完全に管理します。このリストには、Salesforce、Confluence、SharePoint (プレビュー) 用のコネクタが含まれているため、より多くのビジネスデータにアクセスして、特定のニーズに合わせてモデルをカスタマイズできます。

Amazon Bedrock エージェントは、製品の可用性に関する顧客の質問への回答から注文まで、会社のシステムとデータソースを使用して複数ステップのタスクを計画および作成するのに役立ちます。エージェントを作成するには、まず FM を選択し、APIs を安全に実行するためのエンタープライズシステム、ナレッジベース、 AWS Lambda 関数へのアクセスを提供します。エージェントはユーザーリクエストを分析し、Lambda 関数またはアプリケーションはリクエストを満たすために必要な APIsとデータソースを自動的に呼び出すことができます。

エージェントは、複数のインタラクションにわたってメモリを保持して、最後に中断した場所を記憶し、以前のインタラクションに基づいてより良いレコメンデーションを提供できます。エージェントはコードを解釈して、データ分析、データの視覚化、テキスト処理、方程式解決、最適化の問題など、複雑なデータ駆動型ユースケースに取り組むこともできます。

Amazon Bedrock ガードレールは、ユースケース固有のポリシーに基づいてユーザー入力と FM レスポンスを評価し、基盤となる FM に関係なく、追加の保護レイヤーを提供します。短い自然言語の説明を使用すると、Amazon Bedrock ガードレールを使用して、アプリケーションのコンテキスト内で回避する一連のトピックを定義できます。ガードレールは、制限されたトピックに該当するユーザー入力と FM レスポンスを検出してブロックします。

ガードレールはコンテキストグラウンディングチェックをサポートし、検索拡張生成 (RAG) および要約アプリケーションを使用して、アプリケーションのモデルレスポンスのハルシネーションを検出します。コンテキストグラウンディングチェックでは、ガードレールの安全保護に が追加され、LLM レスポンスが適切なエンタープライズソースデータに基づいていることを確認し、LLM レスポンスを評価してユーザーのクエリまたは指示に関連していることを確認します。コンテキストグラウンディングチェックでは、RAG ワークロードと要約ワークロードの 75% を超えるハルシネーションレスポンスを検出してフィルタリングできます。

Amazon Bedrock Converse API を使用して、Amazon Bedrock モデルとの間でメッセージを送受信する会話アプリケーションを作成します。たとえば、多くのターンにわたって会話を維持し、役に立つテクニカルサポートアシスタントなど、ニーズに固有のペルソナまたはトーンのカスタマイズを使用するチャットボットを作成できます。

ツールの使用 (関数呼び出し) により、モデルに送信されるメッセージのレスポンスを生成するのに役立つツールにモデルからアクセスできます。例えば、ラジオステーションで最も人気のある曲を見つけることができるチャットアプリケーションがあるとします。最も人気のある曲のリクエストに答えるには、モデルは、曲の情報をクエリして返すことができるツールが必要です。

Amazon Amazon SageMakerSageMaker Unified Studio (プレビュー) の開発エクスペリエンスである Amazon Bedrock IDE を使用すると、Amazon Bedrock モデルを検出し、Amazon Bedrock モデルと機能を使用する生成 AI アプリケーションを構築できます。たとえば、チャットプレイグラウンドを使用して、コードを記述することなく Anthropic Claude モデルでプロンプトを試すことができます。後で、Amazon Bedrock IDE を使用して、コードを作成することなく、ナレッジベースやガードレールなどの Amazon Bedrock モデルと機能を使用する生成 AI アプリを作成できます。

Amazon Bedrock を使用してプロンプト管理を使用して独自のプロンプトを作成および保存すると、異なるワークフローに同じプロンプトを適用して時間を節約できます。プロンプトを作成する際に、推論を実行するモデルを選択し、使用する推論パラメータを変更できます。プロンプトに変数を含めることで、さまざまなユースケースに合わせてプロンプトを調整できます。

Amazon Bedrock のプロンプトフローでは、サポートされている FMs を使用して、プロンプト、基盤モデル、その他の をリンク AWS のサービス して包括的なソリューションを作成することでワークフローを構築できます。

プロンプトフローを使用すると、ビジュアルビルダーを使用して複雑な生成 AI ワークフローをすばやく構築できます。FMs、ナレッジベースなどの Amazon Bedrock サービスと統合するには、それらの間でデータを AWS のサービス AWS Lambda 転送します。変更不可能なワークフローをデプロイして、数回のクリックでテストから本番環境に移行することもできます。

Amazon SageMaker JumpStart は、公開されている基盤モデルへのアクセスを提供する ML ハブです。これらのモデルには、Mistral、Llama 3、CodeLlama、Falcon 2 が含まれます。パラメータ効率的ファインチューニング (PEFT) や低ランク適応 (LoRA) などの高度なファインチューニングおよびデプロイ手法を使用してカスタマイズできます。

次のスクリーンショットは、 内の Amazon SageMaker JumpStart で使用可能なモデルの一部を示しています AWS マネジメントコンソール。

Amazon SageMaker Clarify は、使用する基盤モデルに関する重要な決定に対処します。Amazon SageMaker Clarify を使用してモデル評価ジョブを作成します。モデル評価ジョブは、JumpStart のテキストベースの基盤モデルのモデル品質と責任のメトリクスを評価および比較します。モデル評価ジョブは、エンドポイントにデプロイ済みの JumpStart モデルの使用もサポートしています。

Amazon SageMaker Canvas では、機械学習を使用して、コードを記述せずに予測を生成できます。Amazon Bedrock と連携して Amazon SageMaker Canvas を使用して、言語モデルを微調整およびデプロイすることもできます。

このブログ記事では、Amazon Bedrock と Amazon SageMaker JumpStart で独自のデータセット (製品のFAQsなど) を使用してカスタマーインタラクションを最適化する方法について説明します。次の図は、このブログ記事で Amazon SageMaker Canvas と Amazon Bedrock を組み合わせて言語モデルをファインチューニングおよびデプロイする方法を示しています。

Amazon SageMaker Studio は、機械学習ワークフローを実行するためのウェブベースのサービスです。Studio は、統合開発環境 (IDE) スイートを提供します。これには、Code-OSS (Visual Studio Code - Open Source) に基づく Code Editor、新しい JupyterLab アプリケーション、RStudio、Amazon SageMaker Studio Classic が含まれます。詳細については、Amazon SageMakerでサポートされているアプリケーション」を参照してください。

Studio のウェブベースの UI は、ジョブやエンドポイントを含むすべての SageMaker AI リソースへのアクセスを 1 つのインターフェイスで提供します。機械学習を実装するために、好みの IDE を選択して ML 開発を加速させることもできます。データサイエンティストは JupyterLab を使用してデータを探索したり、モデルをチューニングしたりできます。さらに、機械学習オペレーション (MLOps) エンジニアは、Studio のコードエディタでパイプラインツールを使用して、本番環境でモデルをデプロイおよびモニタリングできます。

Amazon SageMaker Studio には、JupyterLab 統合開発環境 (IDE) 内で Amazon Q Developer を活用した生成 AI 支援が含まれています。Q Developer を使用すると、SageMaker AI の機能、コード生成、トラブルシューティングに関する専門的なガイダンスにアクセスできます。

ユースケース/モダリティを特定する

モダリティとは、 モデルが処理するデータのタイプを指します。テキスト、 イメージ (ビジョン）、埋め込み です。

重要な理由: モダリティの選択は、作業しているデータと一致する必要があります。たとえば、プロジェクトに自然言語の処理が含まれる場合、Claude、Llama 3.1、Titan Text G1 などの テキストベースの モデルが適しています。 埋め込みを作成する場合は、Titan Embeddings G1 などのモデルを使用できます。同様に、 画像関連の タスクでは、Stable Diffusion XL や Titan Image Generator v2 などのモデルの方が適しています。ユースケースには、データソースと、Amazon Q Business で提供されているようなデータソースコネクタのサポートを検討する必要もあります。

モデルサイズ

その意味: この基準は、モデル 内の パラメータの数を指します。 パラメータ は、モデルの内部にある設定変数です。その値は、特定のトレーニングデータからトレーニングフェーズ中に推定 (トレーニング) できます。パラメータは、データから学習するモデルの能力を直接定義するので重要です。多くの場合、大規模なモデルには 500 億を超えるパラメータがあります。

重要な理由: パラメータの数は、モデルの複雑さを示す重要な指標です。パラメータが多いほど、モデルはデータ内のより複雑なパターンやニュアンスをキャプチャできるため、一般的にパフォーマンスが向上します。ただし、これらのモデルはトレーニングにコストがかかるだけでなく、運用にはより多くの計算リソースも必要です。

推論レイテンシー

つまり 、推論速度、つまりレイテンシーは、モデルが入力 (トークンで測定されることが多い) を処理して出力を返すのにかかる時間です。この 処理時間は 、モデルのレスポンスがチャットアプリケーションの Amazon Q Developer などの インタラクティブシステムの一部である場合に重要です。

重要な理由: インタラクティブな チャットボット やインスタン ト翻訳サービス などのリアルタイムアプリケーションには、迅速な応答時間が不可欠です。   これらのアプリケーションは、プロンプトを迅速に処理して応答するモデルの能力に依存し、スムーズなユーザーエクスペリエンスを維持します。通常FMs が大きいほどより詳細で正確な応答が得られますが、複雑なアーキテクチャでは推論速度が低下する可能性があります。この処理が遅くなると、ユーザーはすぐにやり取りすることを期待しなくなる可能性があります。

この課題に対処するために、レスポンスの深さや精度にいくらか妥協する場合でも、より迅速なレスポンスに最適化されたモデルを選択できます。

コンテキストウィンドウの最大化

内容: 大規模言語モデルのコンテキストウィンドウ は、モデルがレスポンスを生成するときに一度に考慮できるテキスト (トークン単位) の量です。

重要な理由: コンテキストウィンドウが大きいほど、モデルは 1 回の実行で より多くの情報を 記憶して処理できます。この能力は、長いドキュメントの理解、詳細な会話への参加、より大きなスパンにわたるコンテキスト的に正確なテキストの生成などの複雑なタスクで特に役立ちます。

たとえば、会話では、 コンテキストウィンドウ が大きいモデルが以前の対話 をより 多く記憶し、会話全体により関連性の高い応答を提供できます。これにより、モデルがコンテキストを失うことなく議論のスレッドを維持できるため、より自然で満足のいくユーザーエクスペリエンスが得られます。

料金に関する考慮事項

内容: FM を使用するコストは、モデルの複雑さとモデルプロバイダーの 料金構造の影響を受けます。

重要な理由: 高性能モデルをデプロイすると、計算ニーズの増加によりコストが高くなることがよくあります。これらのモデルは高度な機能を提供しますが、特に緊密な予算のスタートアップや小規模なプロジェクトでは、運用コストが高くなる可能性があります。

より小さく、リソースを大量に消費しないモデルは、パフォーマンスを大幅に損なうことなく、より予算に優るオプションを提供します。モデルのコストとメリットを比較検討して、プロジェクトの財務上の制約内に収まるようにし、投資に最適な価値を得ます。

ファインチューニングと継続的な事前トレーニング機能

その意味: ファインチューニング は、大規模な汎用データセットでトレーニングされた 事前トレーニング済みモデル が、 より小さな特定のデータセットで さらにトレーニング （またはファインチューニング) される特殊なトレーニングプロセスです。このプロセスは、モデルを新しいデータの特定性に適応させ、関連するタスクでのパフォーマンスを向上させます。一方、 継続的な事前トレーニングでは、最初の事前トレーニングフェーズを拡張し、元のトレーニングセットに含まれていない新しい新しいデータに対する追加のトレーニングを行うことで、データの進化に合わせて モデルが関連性を維持するのに役立ちます。また、取得拡張生成 (RAG) を使用して FM の外部からデータを取得し、関連する取得済みデータをコンテキストに追加してプロンプトを拡張することもできます。

重要な理由: ファインチューニングを使用すると、独自のタスク固有の ラベル付きトレーニング データセットを提供し、FMs をさらに専門化することで、モデルの精度を高めることができます。事前トレーニングを継続すると、安全で管理された環境で独自のラベル 付けされていないデータを使用してモデル をトレーニングできます。継続的な事前トレーニングは、元のトレーニングを超えてより堅牢な知識と適応性を蓄積することで、モデルがよりドメイン固有になるのに役立ちます。

データ品質

データ品質は、生成 AI アプリケーションの成功にとって重要な要素です。以下の品質要因を考慮してください。

データ量

数量と品質は連携します。次の数量要因を考慮してください。

また、生成 AI アプリケーションが進化し、新しいデータが使用可能になると、データセットを継続的にモニタリングして更新することも重要です。

レスポンスの品質

それは何か: 最も重要な基準はレスポンス の品質です。ここでは、攻撃者攻撃に対する 精度、 関連性、 毒性、 公平性、 堅牢性など、いくつかの品質メトリクスに基づいてモデルの出力を評価します。

重要な理由: モデル出力の信頼性と安全性は、特にユーザーと直接やり取りしたり、人々の生活に影響を与える可能性のある自動化された意思決定を行うアプリケーションで最優先事項です。 高品質の応答により、 ユーザーの信頼 と 満足度 が保証され、コミュニケーションミスのリスクが軽減され、全体的なユーザーエクスペリエンスが向上し、顧客の信頼を得ることができます。