View a markdown version of this page

開放權重模型的存取和安全性 - Amazon Bedrock
先決條件獎勵函數的 Lambda 許可

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

開放權重模型的存取和安全性

開始強化微調 (RFT) 之前，請確定您了解 Amazon Bedrock 需要哪種存取才能進行 RFT 特定的操作。RFT 需要超出標準微調的額外許可，因為其獎勵函數執行功能。

先決條件

在使用 Amazon Bedrock 與 OpenAI相容的微調 APIs之前，請確定您有下列項目：

  1. 具有適當許可以存取 Amazon Bedrock AWS 的帳戶

  2. 身分驗證 – 您可以使用下列方法進行身分驗證：

    • Amazon Bedrock API 金鑰 （適用於 OpenAI SDK 和 HTTP 請求）

    • AWS 登入資料 (HTTP 請求支援）

    注意

    如果您使用的是 Amazon Bedrock 短期/長期 API 金鑰，請確定您的角色可存取下列 IAM 政策許可： AmazonBedrockMantleFullAccess和 AWSLambdaRole。

  3. OpenAI SDK （選用） – 如果使用以 SDK 為基礎的請求，請安裝 OpenAI Python SDK。

  4. 環境變數 – 設定下列環境變數：

    • OPENAI_API_KEY – 設定為您的 Amazon Bedrock API 金鑰

    • OPENAI_BASE_URL – 設定為您所在區域的 Amazon Bedrock 端點 （例如 https://bedrock-mantle.us-west-2.api.aws/v1)

    如需詳細資訊，請參閱回應 API。

  5. 訓練資料格式化為 JSONL 檔案，用途為 fine-tune。如需詳細資訊，請參閱準備開放權重模型的資料。

獎勵函數的 Lambda 許可

您必須新增 Lambda 調用許可。以下顯示您可以使用的範例政策：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": [
                "arn:aws:lambda:*:*:function:reward-function-name"
            ]
        }
    ]
}

您也可以使用 Amazon Bedrock 託管模型做為判斷來設定獎勵函數。您需要新增特定許可，才能叫用 Lambda 執行角色的基礎模型。在 lambda 角色中，您可以為 LLMs 設定這些受管政策以進行分級。請參閱 AmazonBedrockLimitedAccess。

以下是使用調用 API 調用 Amazon Bedrock 基礎模型作為判斷的範例：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "bedrock:InvokeModel"
            ],
            "Resource": [
                "arn:aws:bedrock:*:*:foundation-model/*"
            ]
        }
    ]
}