ガードレールを作成する

コンテンツフィルター — テキストの入力プロンプトまたはモデルレスポンスを自然言語でブロックし、憎悪、侮辱、性的、暴力、不正行為 (犯罪活動を含む）、プロンプト攻撃 (プロンプトインジェクションと投獄) などの有害なコンテンツを含むイメージを個別にブロックできるようにしきい値を設定できます。たとえば、e コマースサイトは、憎しみや暴力などの不適切な言語やイメージを使用しないようにオンラインアシスタントを設計できます。

プロンプト攻撃 — プロンプト攻撃とプロンプトインジェクションを検出してフィルタリングするのに役立ちます。モデレーションをバイパスする、指示を上書きする、または有害なコンテンツを生成することを目的としたプロンプトを検出するのに役立ちます。

拒否トピック — 生成 AI アプリケーション内で回避するトピックのセットを定義できます。例えば、銀行アシスタントアプリケーションは、違法な投資アドバイスに関連するトピックを回避するのに役立つように設計されています。

単語フィルター — ユーザーと生成 AI アプリケーション間のやり取りを検出してブロックする一連のカスタム単語またはフレーズ (完全一致) を設定できます。例えば、冒涜的な言葉、競合相手の名前などの特定のカスタムワード、またはその他の不快な言葉を検出してブロックできます。

機密情報フィルター — 標準形式の個人を特定できる情報 (PII) や、ユーザー入力と FM レスポンスのカスタム正規表現エンティティなどの機密コンテンツを検出するのに役立ちます。ユースケースに基づいて、機密情報を含む入力を拒否したり、FM レスポンスで編集したりできます。例えば、顧客とエージェントの会話トランスクリプトから概要を生成しながら、ユーザーの個人情報を編集できます。

コンテキストグラウンディングチェック - ソース情報に基づいていないか (事実上不正確であるか、新しい情報が追加されている)、ユーザーのクエリとは無関係である場合、モデルレスポンスのハルシネーションを検出してフィルタリングするのに役立ちます。例えば、モデルレスポンスが、取得されたパッセージ内の情報から逸脱している場合、またはユーザーによる質問に回答していない場合は、RAG アプリケーション (検索拡張生成) のレスポンスをブロックまたはフラグ付けできます。