翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon SageMaker JumpStart テキスト分類モデルの評価と比較
SageMaker AI JumpStart には、テキストを事前定義されたクラスに分類する複数のテキスト分類モデルが用意されています。これらのモデルは、センチメント分析、トピック分類、コンテンツモデレーションなどのタスクを処理します。本番稼働に適したモデルを選択するには、精度、F1-score、Matthews 相関係数 (MCC) などの主要なメトリクスを使用して慎重に評価する必要があります。
このガイドでは、以下を実行します。
JumpStart カタログから複数のテキスト分類モデル (DistilBERT および BERT) をデプロイします。
バランスの取れたデータセット、偏りのあるデータセット、困難なデータセットの間で包括的な評価を実行します。
Matthews Correlation Coefficient (MCC) や曲線下レシーバーの運用特性スコアなどの高度なメトリクスを解釈します。
体系的な比較フレームワークを使用して、データ駆動型モデル選択の決定を行います。
オートスケーリングと CloudWatch モニタリングを使用して本番稼働のデプロイを設定します。
完全な評価フレームワーク JumpStart Model Evaluation Package をダウンロードします。パッケージにはサンプル出力を含む実行前結果が含まれているため、モデルを独自デプロイする前に評価プロセスとメトリクスをプレビューできます。
前提条件
作業を開始する前に、以下の準備が整っていることを確認します。
Python に関する知識
テキスト分類の概念の理解
時間とコスト: 合計 45 分。コストはインスタンスタイプと使用期間によって異なります。現在の料金については、SageMaker AI の料金
このチュートリアルには、すべてのリソースを削除して継続的な課金を回避するためのステップバイステップのクリーンアップ手順が含まれています。
