Amazon SageMaker AI 模型的有状态会话

启动有状态会话

1. 要使用 Amazon SageMaker AI 托管的有状态模型启动会话，客户端需要使用 SageMaker API 发送 InvokeEndpoint 请求。对于 SessionID 请求参数，客户端通过指定 NEW_SESSION 值来告诉 SageMaker AI 启动一个新会话。在请求有效载荷中，客户端还会告诉容器启动一个新会话。该语句的语法因容器实现而异。这取决于容器代码如何处理请求有效载荷。

   下面的示例使用 Python SDK (Boto3) 启动了一个新会话：

   import boto3
   import sagemaker
   import json
   
   payload = {
   "requestType":"NEW_SESSION"
   }
   payload = json.dumps(payload)
   
   smr = boto3.client(
       'sagemaker-runtime',
       region_name="region_name",
       endpoint_url="endoint_url")
   
   create_session_response = smr.invoke_endpoint(
       EndpointName="endpoint_name",
       Body=payload,
       ContentType="application/json",
       SessionId="NEW_SESSION")

2. 您的模型容器会通过启动一个新会话来处理客户的请求。对于会话，它会缓存客户端在请求有效载荷中发送的数据。它还会创建会话 ID，并设置生存时间（TTL）时间戳。该时间戳表示会话过期时间。容器必须通过在响应中设置以下 HTTP 标头，向 Amazon SageMaker AI 提供会话 ID 和时间戳：

   X-Amzn-SageMaker-Session-Id: session_id; Expires=yyyy-mm-ddThh:mm:ssZ

3. 在对 InvokeEndpoint 请求的响应中，Amazon SageMaker AI 会为 NewSessionID 响应参数提供会话 ID 和 TTL 时间戳。

   下面的示例将从 invoke_endpoint 响应中提取会话 ID：

   session_id = create_session_response['ResponseMetadata']['HTTPHeaders']['x-amzn-sagemaker-new-session-id'].split(';')[0]

继续有状态会话

• 要在后续推理请求中使用同一会话，客户端需要发送另一个 InvokeEndpoint 请求。对于 SessionID 请求参数，它指定了会话的 ID。有了这个 ID，SageMaker AI 就会将请求路由到在其中启动会话的同一个 ML 实例。由于容器已经缓存了原始请求有效载荷，因此客户端无需再传递与原始请求相同的上下文数据。

  下面的示例通过 SessionId 请求参数传递会话 ID 来继续会话：

  smr.invoke_endpoint(
      EndpointName="endpoint_name",
      Body=payload,
      ContentType="application/json",
      SessionId=session_id)

关闭有状态会话

1. 要关闭会话，客户端会发送最后一个 InvokeEndpoint 请求。对于 SessionID 请求参数，客户端会提供会话 ID。在请求正文的有效负载中，客户机指出容器应关闭会话。该语句的语法因容器实现而异。

   下面的示例关闭了一个会话：

   payload = {
       "requestType":"CLOSE"
   }
   payload = json.dumps(payload)
   
   closeSessionResponse = smr.invoke_endpoint(
       EndpointName="endpoint_name",
       Body=payload,
       ContentType="application/json",
       SessionId=session_id)

2. 当它关闭会话时，容器会通过在响应中设置以下 HTTP 标头将会话 ID 返回给 SageMaker AI：

   X-Amzn-SageMaker-Closed-Session-Id: session_id

3. 在响应来自客户端的 InvokeEndpoint 请求时，SageMaker AI 会为 ClosedSessionId 响应参数提供会话 ID。

   下面的示例将从 invoke_endpoint 响应中提取已关闭的会话 ID：

   closed_session_id = closeSessionResponse['ResponseMetadata']['HTTPHeaders']['x-amzn-sagemaker-closed-session-id'].split(';')[0]