Amazon SageMaker パートナー AI アプリケーションの概要
Amazon SageMaker パートナー AI アプリケーションを使用すると、ユーザーは、業界をリードするアプリケーションプロバイダーが構築、公開、配布した生成 AI および機械学習 (ML) 開発アプリケーションにアクセスできます。パートナー AI アプリケーションは、SageMaker AI で動作することが認定済みです。パートナー AI アプリケーションを利用することで、ユーザーは機密データのセキュリティを損なうことなく、基盤モデル (FM) および従来の ML モデルに基づくソリューションの構築を加速して改善できます。データは信頼できるセキュリティ設定内に完全に保持され、サードパーティーと共有されることはありません。
仕組み
パートナー AI アプリケーションは、Amazon Elastic Kubernetes Service クラスターと Application Load Balancer、Amazon Relational Database Service、Amazon Simple Storage Service バケット、Amazon Simple Queue Service キュー、Redis キャッシュなどの一連の付随するサービスを含むフルアプリケーションスタックです。
これらのサービスアプリケーションは、SageMaker AI ドメイン内のすべてのユーザー間で共有でき、管理者がプロビジョンします。AWS Marketplace からサブスクリプションを購入してアプリケーションをプロビジョンした後、管理者は SageMaker AI ドメイン内のユーザーに、Amazon SageMaker Studio、Amazon SageMaker Unified Studio (プレビュー)、または署名済み URL を使用してパートナー AI アプリケーションに直接アクセスするアクセス許可を付与できます。Studio からアプリケーションを起動する方法については、「Amazon SageMaker Studio を起動する」を参照してください。
パートナー AI アプリケーションは、管理者とユーザーに次の利点を提供します。
-
管理者は SageMaker AI コンソールを使用して、データサイエンスチームと ML チームで使用できるように、パートナー AI アプリケーションを参照、検出、選択、プロビジョンできます。パートナー AI アプリケーションがデプロイされると、SageMaker AI はサービスマネージド AWS アカウントでこれらを実行します。これにより、これらのアプリケーションの構築と運用に伴う運用オーバーヘッドが大幅に削減され、顧客データのセキュリティとプライバシーを保護できます。
-
データサイエンティストと ML デベロッパーは、Amazon SageMaker Studio または Amazon SageMaker Unified Studio (プレビュー) の ML 開発環境内からパートナー AI アプリケーションにアクセスできます。パートナー AI アプリケーションを使用すると、SageMaker AI で作成されたデータ、実験、モデルを分析できます。これにより、コンテキストの切り替えが最小限に抑えられ、基盤モデルの構築と新しい生成AI機能の市場投入が加速されます。
AWS のサービス との統合
パートナー AI アプリケーションは、既存の AWS Identity and Access Management (IAM) 設定を使用して認可と認証を行います。そのため、ユーザーは Amazon SageMaker Studio から各パートナー AI アプリケーションにアクセスするために個別の認証情報を提供する必要はありません。パートナー AI アプリケーションの認可と認証の詳細については、「パートナー AI アプリケーションを設定する」を参照してください。
パートナーAIアプリケーションは Amazon CloudWatch とも統合されており、運用のモニタリングと管理を提供します。お客様は AWS マネジメントコンソールからパートナー AI アプリケーションを閲覧し、機能、カスタマーエクスペリエンス、料金などの詳細を確認することもできます。Amazon CloudWatch の詳細については、「Amazon CloudWatch の仕組み」を参照してください。
サポートされている 型
パートナー AI アプリケーションは、次のタイプをサポートしています。
-
Comet
-
Deepchecks
-
Fiddler
-
Lakera Guard
管理者は、パートナー AI アプリケーションを起動する際に、パートナー AI アプリケーションを起動するインスタンスクラスターの設定を選択する必要があります。この設定は、パートナー AI アプリケーションの階層と呼ばれます。パートナー AI アプリケーションの階層は、次のいずれかの値になります。
-
small -
medium -
large
以下のセクションでは、各パートナー AI アプリケーションのタイプに関する情報と、パートナー AI アプリケーションの階層の値について詳しく説明します。
Comet は、LLM 評価、実験の追跡、本番稼働用モニタリング機能を備えた、AI デベロッパー向けのエンドツーエンドのモデル評価プラットフォームを提供します。
ワークロードに基いて、次のパートナー AI アプリケーション階層をお勧めします。
-
small– ユーザー数 5 人以下、実行ジョブ数 20 件以下の場合にお勧めします。 -
medium– ユーザー数 50 人以下、実行ジョブ数 100 件以下の場合にお勧めします。 -
large– ユーザー数 500 人以下、実行ジョブ数 100 件以下の場合にお勧めします。
注記
SageMaker AI では、Comet UI を Jupyter ノートブックの出力の一部として表示することはサポートしていません。
AI アプリケーションのデベロッパーやステークホルダーは Deepchecks を使用して、デプロイ前や内部実験から本番稼働まで、ライフサイクル全体にわたって特性、パフォーマンスメトリクス、潜在的な落とし穴など、LLM ベースのアプリケーションを継続的に検証できます。
ワークロードで求める速度に基づき、次のパートナー AI アプリケーション階層をお勧めします。
-
small– 1 秒あたり 200 トークンを処理します。 -
medium– 1 秒あたり 500 トークンを処理します。 -
large– 1 秒あたり 1,300 トークンを処理します。
Fiddler AI オブザーバビリティプラットフォームを使用すると、表形式、深層学習、コンピュータビジョン、自然言語処理モデルなど、本番環境の ML モデルの検証、モニタリング、分析を容易にします。
ワークロードで求める速度に基づき、次のパートナー AI アプリケーション階層をお勧めします。
-
small– 5 つのモデル、100 の特徴量、20 回のイテレーションで 1,000 万件のイベントを処理するのに約 53 分かかります。 -
medium– 5 つのモデル、100 の特徴量、20 回のイテレーションで 1,000 万件のイベントを処理するのに約 23 分かかります。 -
large– 5 つのモデル、100 の特徴量、100 回のイテレーションで 1,000 万件のイベントを処理するのに約 27 分かかります。
Lakera Guard は、生成 AI アプリケーションを生成 AI 固有の脅威から保護するための低レイテンシーの AI アプリケーションファイアウォールです。
ワークロードに基いて、次のパートナー AI アプリケーション階層をお勧めします。
-
small– 最大 20 の Robotic Process Automation (RPA) にお勧めします。 -
medium– 最大 100 個の RPA -
large– 最大 200 個の RPA
