本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

設定您的模型提供者

Jupyter AI 的組態會有所不同，取決於您使用的是聊天 UI 還是魔術命令。

在聊天 UI 中設定模型提供者

下列快照是聊天 UI 組態面板的圖例，此面板設定為調用 JumpStart 提供並部署在 SageMaker AI 中的 Flan-t5-small 模型。

將額外的模型參數和自訂參數傳遞至您的請求

您的模型可能需要額外參數，例如用於使用者合約核准或調整其他模型參數 (例如溫度或回應長度) 的自訂屬性。我們建議您使用生命週期組態，設定這些設定做為 JupyterLab 應用程式的啟動選項。如需如何建立生命週期組態並將其連接至網域，或從 SageMaker AI 主控台連接至使用者設定檔的相關資訊，請參閱建立並關聯生命週期組態。您可以在為 JupyterLab 應用程式建立空間時選擇 LCC 指令碼。

使用下列 JSON 結構描述來設定您的額外參數：

{
  "AiExtension": {
    "model_parameters": {
      "<provider_id>:<model_id>": { Dictionary of model parameters which is unpacked and passed as-is to the provider.}
      }
    }
  }
}

下列指令碼是 JSON 組態檔案的範例，您可以在建立 JupyterLab 應用程式 LCC 時用來設定部署在 Amazon Bedrock 上的 AI21 Labs Jurassic-2 模型的長度上限。增加模型產生的回應長度可防止模型回應的系統性截斷。

#!/bin/bash
set -eux

mkdir -p /home/sagemaker-user/.jupyter

json='{"AiExtension": {"model_parameters": {"bedrock:ai21.j2-mid-v1": {"model_kwargs": {"maxTokens": 200}}}}}'
# equivalent to %%ai bedrock:ai21.j2-mid-v1 -m {"model_kwargs":{"maxTokens":200}}

# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"

#jupyter --paths

# Write JSON to file
echo "$json" > "$file_path"

# Confirmation message
echo "JSON written to $file_path"

restart-jupyter-server

# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30

下列指令碼是用於建立 JupyterLab 應用程式 LCC 的 JSON 組態檔案範例，用來為部署在 Amazon Bedrock 上的 Anthropic Claude 模型設定其他模型參數。

#!/bin/bash
set -eux

mkdir -p /home/sagemaker-user/.jupyter

json='{"AiExtension": {"model_parameters": {"bedrock:anthropic.claude-v2":{"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":25
0,"max_tokens_to_sample":2}}}}}'
# equivalent to %%ai bedrock:anthropic.claude-v2 -m {"model_kwargs":{"temperature":0.1,"top_p":0.5,"top_k":250,"max_tokens_to_sample":2000}}

# File path
file_path="/home/sagemaker-user/.jupyter/jupyter_jupyter_ai_config.json"

#jupyter --paths

# Write JSON to file
echo "$json" > "$file_path"

# Confirmation message
echo "JSON written to $file_path"

restart-jupyter-server

# Waiting for 30 seconds to make sure the Jupyter Server is up and running
sleep 30

一旦已將您的 LCC 連接至您的網域或使用者設定檔，請在啟動您的 JupyterLab 應用程式時將您的 LCC 新增至您的空間。若要確保 LCC 已更新您的組態檔案，請在終端機中執行 more ~/.jupyter/jupyter_jupyter_ai_config.json。檔案的內容應該對應至傳遞至 LCC 的 JSON 檔案內容。

在筆記本中設定您的模型提供者