具有 Amazon SageMaker AI 模型的狀態工作階段

啟動狀態工作階段

1. 若要使用由 Amazon SageMaker AI 託管的狀態模型來啟動工作階段，您的用戶端會使用 SageMaker API 傳送 InvokeEndpoint 請求。針對 SessionID 請求參數，用戶端會指定值 NEW_SESSION，指示 SageMaker AI 啟動新的工作階段。在請求承載中，用戶端也會指示容器啟動新的工作階段。此陳述式的語法會根據您的容器實作而有所不同。取決於您的容器程式碼如何處理請求承載。

   下列範例使用 SDK for Python (Boto3) 啟動新的工作階段：

   import boto3
   import sagemaker
   import json
   
   payload = {
   "requestType":"NEW_SESSION"
   }
   payload = json.dumps(payload)
   
   smr = boto3.client(
       'sagemaker-runtime',
       region_name="region_name",
       endpoint_url="endoint_url")
   
   create_session_response = smr.invoke_endpoint(
       EndpointName="endpoint_name",
       Body=payload,
       ContentType="application/json",
       SessionId="NEW_SESSION")

2. 您的模型容器會啟動新的工作階段來處理用戶端的請求。針對工作階段，模型容器會快取用戶端在請求承載中傳送的資料。也會建立工作階段 ID，並設定存留時間 (TTL) 時間戳記。此時間戳記代表工作階段的逾期時間。容器必須在回應中設定下列 HTTP 標頭，將工作階段 ID 和時間戳記提供給 Amazon SageMaker AI：

   X-Amzn-SageMaker-Session-Id: session_id; Expires=yyyy-mm-ddThh:mm:ssZ

3. 回應 InvokeEndpoint 請求時，Amazon SageMaker AI 會向 NewSessionID 回應參數提供工作階段 ID 和 TTL 時間戳記。

   下列範例從 invoke_endpoint 回應中擷取工作階段 ID：

   session_id = create_session_response['ResponseMetadata']['HTTPHeaders']['x-amzn-sagemaker-new-session-id'].split(';')[0]

繼續狀態工作階段

• 若要針對後續推論請求使用相同的工作階段，您的用戶端會傳送另一個 InvokeEndpoint 請求。針對 SessionID 請求參數，它會指定工作階段 ID。SageMaker AI 會透過此 ID，將請求路由到啟動工作階段的相同 ML 執行個體。由於您的容器已快取原始請求承載，用戶端不需要傳遞與原始請求相同的內容資料。

  下列範例使用 SessionId 請求參數來傳遞工作階段 ID，藉此繼續工作階段：

  smr.invoke_endpoint(
      EndpointName="endpoint_name",
      Body=payload,
      ContentType="application/json",
      SessionId=session_id)

關閉狀態工作階段

1. 若要關閉工作階段，您的用戶端會傳送最終 InvokeEndpoint 請求。針對 SessionID 請求參數，用戶端會提供工作階段 ID。您的用戶端會在請求內文的承載中，指明容器應關閉工作階段。此陳述式的語法會根據您的容器實作而有所不同。

   下列範例會關閉工作階段：

   payload = {
       "requestType":"CLOSE"
   }
   payload = json.dumps(payload)
   
   closeSessionResponse = smr.invoke_endpoint(
       EndpointName="endpoint_name",
       Body=payload,
       ContentType="application/json",
       SessionId=session_id)

2. 關閉工作階段時，容器會在回應中設定下列 HTTP 標頭，將工作階段 ID 傳回 SageMaker AI：

   X-Amzn-SageMaker-Closed-Session-Id: session_id

3. 回應用戶端的 InvokeEndpoint 請求時，SageMaker AI 會向 ClosedSessionId 回應參數提供工作階段 ID。

   下列範例從 invoke_endpoint 回應中擷取已關閉的工作階段 ID：

   closed_session_id = closeSessionResponse['ResponseMetadata']['HTTPHeaders']['x-amzn-sagemaker-closed-session-id'].split(';')[0]