本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。 # 在边缘设备上设置 Neo 这份 Amazon SageMaker Neo 入门指南向您展示了如何在设备上编译模型、设置设备和进行推断。大多数代码示例都使用 Boto3。我们在适用的 AWS CLI 情况下提供命令，以及有关如何满足 Neo 先决条件的说明。 **注意** 您可以在本地计算机、 SageMaker 笔记本电脑、Amazon SageMaker Studio 或（视您的边缘设备而定）边缘设备上运行以下代码片段。设置类似；但是，如果您在 SageMaker 笔记本实例或 SageMaker Studio 会话中运行本指南，则有两个主要的例外情况： 您不需要安装 Boto3。 您不需要添加 `‘AmazonSageMakerFullAccess’` IAM 策略 本指南假设您在边缘设备上运行以下指令。 # 先决条件 SageMaker Neo 是一项功能，它允许您训练一次机器学习模型，然后在云端和边缘的任何位置运行它们。在使用 Neo 对模型进行编译和优化之前，需要设置一些先决条件。您必须安装必要的 Python 库，配置 AWS 证书，创建具有所需权限的 IAM 角色，并设置用于存储模型工件的 S3 存储桶。您还必须准备好经过训练的机器学习模型。以下步骤将指导您完成设置： 1. **安装 Boto3** 如果您在边缘设备上运行这些命令，则必须安装 适用于 Python (Boto3) 的 AWS SDK。在 Python 环境（最好是虚拟环境）中，在边缘设备的终端本地或 Jupyter 笔记本实例中运行以下命令： ------ #### [ Terminal ] ``` pip install boto3 ``` ------ #### [ Jupyter Notebook ] ``` !pip install boto3 ``` ------ 1. **设置 AWS 凭证** 您需要在设备上设置 Amazon Web Services 凭证才能运行 SDK for Python (Boto3)。默认情况下， AWS 凭证应存储在边缘设备`~/.aws/credentials`上的文件中。在凭证文件中，您应该看到两个环境变量：`aws_access_key_id` 和 `aws_secret_access_key`。 在终端中运行： ``` $ more ~/.aws/credentials [default] aws_access_key_id = YOUR_ACCESS_KEY aws_secret_access_key = YOUR_SECRET_KEY ``` [《AWS 通用参考指南》](https://docs.aws.amazon.com/general/latest/gr/aws-sec-cred-types.html#access-keys-and-secret-access-keys)提供有关如何获取必需的 `aws_access_key_id` 和 `aws_secret_access_key` 的说明。有关如何在设备上设置凭证的更多信息，请参阅 [Boto3](https://boto3.amazonaws.com/v1/documentation/api/latest/guide/quickstart.html#configuration) 文档。 1. **设置 IAM 角色并附加策略。** Neo 需要访问您的 S3 存储桶 URI。创建可以运行 A SageMaker I 并有权访问 S3 URI 的 IAM 角色。您可以使用 SDK for Python (Boto3)、控制台或 AWS CLI创建 IAM 角色。以下示例说明如何使用 SDK for Python (Boto3) 创建 IAM 角色： ``` import boto3 AWS_REGION = 'aws-region' # Create an IAM client to interact with IAM iam_client = boto3.client('iam', region_name=AWS_REGION) role_name = 'role-name' ``` 有关如何使用控制台或通过 AWS API 创建 IAM 角色的更多信息 AWS CLI，请参阅[在您的 AWS 账户中创建 IAM 用户](https://docs.aws.amazon.com/IAM/latest/UserGuide/id_users_create.html#id_users_create_api)。 创建字典，用于描述您要附加的 IAM 策略。该策略用于创建新的 IAM 角色。 ``` policy = { 'Statement': [ { 'Action': 'sts:AssumeRole', 'Effect': 'Allow', 'Principal': {'Service': 'sagemaker.amazonaws.com'}, }], 'Version': '2012-10-17 ' } ``` 使用您在上面定义的策略创建新的 IAM 角色： ``` import json new_role = iam_client.create_role( AssumeRolePolicyDocument=json.dumps(policy), Path='/', RoleName=role_name ) ``` 当您在后续步骤中创建编译作业时，需要知道您的 Amazon 资源名称 (ARN) 是什么，因此也将其存储在变量中。 ``` role_arn = new_role['Role']['Arn'] ``` 现在，您已经创建了一个新角色，请附加该角色与 Amazon A SageMaker I 和 Amazon S3 交互所需的权限： ``` iam_client.attach_role_policy( RoleName=role_name, PolicyArn='arn:aws:iam::aws:policy/AmazonSageMakerFullAccess' ) iam_client.attach_role_policy( RoleName=role_name, PolicyArn='arn:aws:iam::aws:policy/AmazonS3FullAccess' ); ``` 1. **创建 Amazon S3 存储桶以存储您的模型构件** SageMaker Neo 将从 Amazon S3 访问你的模型工件 ------ #### [ Boto3 ] ``` # Create an S3 client s3_client = boto3.client('s3', region_name=AWS_REGION) # Name buckets bucket='name-of-your-bucket' # Check if bucket exists if boto3.resource('s3').Bucket(bucket) not in boto3.resource('s3').buckets.all(): s3_client.create_bucket( Bucket=bucket, CreateBucketConfiguration={ 'LocationConstraint': AWS_REGION } ) else: print(f'Bucket {bucket} already exists. No action needed.') ``` ------ #### [ CLI ] ``` aws s3 mb s3://'name-of-your-bucket' --region specify-your-region # Check your bucket exists aws s3 ls s3://'name-of-your-bucket'/ ``` ------ 1. **训练机器学习模型** 有关如何[使用 Amazon SageMaker AI 训练机器学习模型](https://docs.aws.amazon.com/sagemaker/latest/dg/how-it-works-training.html)的更多信息，请参阅使用 Amazon A SageMaker I 训练模型。您可以选择将在本地训练的模型直接上传到 Amazon S3 URI 存储桶中。 **注意** 确保模型的格式正确，具体取决于您使用的框架。请参阅 [ SageMaker Neo 期望什么输入数据形状？](https://docs.aws.amazon.com/sagemaker/latest/dg/neo-job-compilation.html#neo-job-compilation-expected-inputs) 如果您还没有模型，请使用`curl`命令从 TensorFlow的网站上获取`coco_ssd_mobilenet`模型的本地副本。您刚刚复制的模型是根据 [COCO 数据集](https://cocodataset.org/#home)训练的对象检测模型。在 Jupyter 笔记本中键入以下内容： ``` model_zip_filename = './coco_ssd_mobilenet_v1_1.0.zip' !curl http://storage.googleapis.com/download.tensorflow.org/models/tflite/coco_ssd_mobilenet_v1_1.0_quant_2018_06_29.zip \ --output {model_zip_filename} ``` 请注意，此特定示例打包在 .zip 文件中。解压缩此文件并将其重新打包为压缩的 tarfile (`.tar.gz`)，然后在后续步骤中使用。在 Jupyter 笔记本中键入以下内容： ``` # Extract model from zip file !unzip -u {model_zip_filename} model_filename = 'detect.tflite' model_name = model_filename.split('.')[0] # Compress model into .tar.gz so SageMaker Neo can use it model_tar = model_name + '.tar.gz' !tar -czf {model_tar} {model_filename} ``` 1. **将训练过的模型上传到 S3 存储桶** 完成机器学习模式的训练后，将其存储在 S3 存储桶中。 ------ #### [ Boto3 ] ``` # Upload model s3_client.upload_file(Filename=model_filename, Bucket=bucket, Key=model_filename) ``` ------ #### [ CLI ] 将 `your-model-filename` 和 `amzn-s3-demo-bucket` 替换为您的 S3 存储桶的名称。 ``` aws s3 cp your-model-filename s3://amzn-s3-demo-bucket ``` ------ # 编译模型 满足[先决条件](https://docs.aws.amazon.com/sagemaker/latest/dg/neo-getting-started-edge.html#neo-getting-started-edge-step0)后，即可使用 Amazon A SageMaker I Neo 编译模型。你可以使用 AWS CLI、控制台或适用于 [Python 的 Amazon Web Services SDK (Boto3)](https://boto3.amazonaws.com/v1/documentation/api/latest/index.html) 来编译模型，请参阅[使用](https://docs.aws.amazon.com/sagemaker/latest/dg/neo-job-compilation.html) Neo 编译模型。在此示例中，您将使用 Boto3 编译模型。 要编译模型， SageMaker Neo 需要以下信息： 1. **用于存储训练过的模型的 Amazon S3 存储桶 URI。** 如果您符合先决条件，则存储桶的名称将存储在名为 `bucket` 的变量中。以下代码段显示如何使用 AWS CLI列出所有存储桶： ``` aws s3 ls ``` 例如： ``` $ aws s3 ls 2020-11-02 17:08:50 bucket ``` 1. **要用于保存编译过的模型的 Amazon S3 存储桶 URI。** 以下代码段将您的 Amazon S3 存储桶 URI 与名为 `output` 的输出目录的名称连在一起： ``` s3_output_location = f's3://{bucket}/output' ``` 1. **用于训练模型的机器学习框架。** 定义用于训练模型的框架。 ``` framework = 'framework-name' ``` 例如，如果要编译使用训练过的模型 TensorFlow，则可以使用`tflite`或`tensorflow`。`tflite`如果您想使用占用较少存储内存的较轻版本 TensorFlow ，请使用。 ``` framework = 'tflite' ``` 有关 NEO 所支持框架的完整列表，请参阅[支持的框架、设备、系统和架构](https://docs.aws.amazon.com/sagemaker/latest/dg/neo-supported-devices-edge.html)。 1. **模型输入的形状。** Neo 需要输入张量的名称和形状。名称和形状以键值对的形式传入。`value` 是输入张量的整数维度的列表，`key` 是模型中输入张量的确切名称。 ``` data_shape = '{"name": [tensor-shape]}' ``` 例如： ``` data_shape = '{"normalized_input_image_tensor":[1, 300, 300, 3]}' ``` **注意** 确保模型的格式正确，具体取决于您使用的框架。请参阅 [ SageMaker Neo 期望什么输入数据形状？](https://docs.aws.amazon.com/sagemaker/latest/dg/neo-job-compilation.html#neo-job-compilation-expected-inputs) 此字典中的键必须更改为新输入张量的名称。 1. **要编译的目标设备的名称或硬件平台的一般详细信息** ``` target_device = 'target-device-name' ``` 例如，如果要部署到 Raspberry Pi 3，请使用： ``` target_device = 'rasp3b' ``` 您可以在[支持的框架、设备、系统和架构](https://docs.aws.amazon.com/sagemaker/latest/dg/neo-supported-devices-edge.html)中找到支持的边缘设备的完整列表。 现在您已完成前面的步骤，可以向 Neo 提交编译作业。 ``` # Create a SageMaker client so you can submit a compilation job sagemaker_client = boto3.client('sagemaker', region_name=AWS_REGION) # Give your compilation job a name compilation_job_name = 'getting-started-demo' print(f'Compilation job for {compilation_job_name} started') response = sagemaker_client.create_compilation_job( CompilationJobName=compilation_job_name, RoleArn=role_arn, InputConfig={ 'S3Uri': s3_input_location, 'DataInputConfig': data_shape, 'Framework': framework.upper() }, OutputConfig={ 'S3OutputLocation': s3_output_location, 'TargetDevice': target_device }, StoppingCondition={ 'MaxRuntimeInSeconds': 900 } ) # Optional - Poll every 30 sec to check completion status import time while True: response = sagemaker_client.describe_compilation_job(CompilationJobName=compilation_job_name) if response['CompilationJobStatus'] == 'COMPLETED': break elif response['CompilationJobStatus'] == 'FAILED': raise RuntimeError('Compilation failed') print('Compiling ...') time.sleep(30) print('Done!') ``` 如果需要更多信息以进行调试，请包括以下打印语句： ``` print(response) ``` 如果编译作业成功，则编译过的模型存储在您之前指定的输出 Amazon S3 存储桶中 (`s3_output_location`)。将编译过的模型下载到本地： ``` object_path = f'output/{model}-{target_device}.tar.gz' neo_compiled_model = f'compiled-{model}.tar.gz' s3_client.download_file(bucket, object_path, neo_compiled_model) ``` # 设置您的 设备 您需要在边缘设备上安装软件包，使设备可以进行推理。还需要安装 [AWS IoT Greengrass](https://docs.aws.amazon.com/greengrass/latest/developerguide/what-is-gg.html) 核心或[深度学习运行时系统 (DLR)](https://github.com/neo-ai/neo-ai-dlr)。在本示例中，您将安装对 `coco_ssd_mobilenet` 对象检测算法进行推理所需的软件包，并将使用 DLR。 1. **安装其他软件包** 除 Boto3 之外，您还必须在边缘设备上安装某些库。安装哪些库因使用案例而定。 例如，对于之前下载的`coco_ssd_mobilenet`物体检测算法，需要安装 PIL 来[NumPy](https://numpy.org/)进行数据操作和统计，需要安装 [PIL](https://pillow.readthedocs.io/en/stable/) 来加载图像，需要安装 [Matplotlib 来生成绘图](https://matplotlib.org/)。 TensorFlow 如果您想衡量使用 Neo 进行编译对比基准的影响，则还需要一份副本。 ``` !pip3 install numpy pillow tensorflow matplotlib ``` 1. **在设备上安装推理引擎** 要运行 Neo 编译的模型，请在设备上安装[深度学习运行时系统 (DLR)](https://github.com/neo-ai/neo-ai-dlr)。DLR 是用于深度学习模型和决策树模型的紧凑型通用运行时系统。在运行 Linux 的 x86\$164 CPU 目标上，您可以使用以下 `pip` 命令安装最新版本的 DLR 软件包： ``` !pip install dlr ``` 要在 GPU 目标或非 x86 边缘设备上安装 DLR，请参阅[版本](https://github.com/neo-ai/neo-ai-dlr/releases)以获取预构建的二进制文件，或参阅[安装 DLR](https://neo-ai-dlr.readthedocs.io/en/latest/install.html) 以根据源代码构建 DLR。例如，要为 Raspberry Pi 3 安装 DLR，可以使用： ``` !pip install https://neo-ai-dlr-release.s3-us-west-2.amazonaws.com/v1.3.0/pi-armv7l-raspbian4.14.71-glibc2_24-libstdcpp3_4/dlr-1.3.0-py3-none-any.whl ``` # 在设备上进行推理 在此示例中，您将使用 Boto3 将编译作业的输出下载到边缘设备上。然后，您将导入 DLR、从数据集中下载示例映像、调整此映像的大小以匹配模型的原始输入，然后进行预测。 1. **将编译过的模型从 Amazon S3 下载到您的设备上，然后将其从压缩的 tarfile 中提取它。** ``` # Download compiled model locally to edge device object_path = f'output/{model_name}-{target_device}.tar.gz' neo_compiled_model = f'compiled-{model_name}.tar.gz' s3_client.download_file(bucket_name, object_path, neo_compiled_model) # Extract model from .tar.gz so DLR can use it !mkdir ./dlr_model # make a directory to store your model (optional) !tar -xzvf ./compiled-detect.tar.gz --directory ./dlr_model ``` 1. **导入 DLR 和初始化的 `DLRModel` 对象。** ``` import dlr device = 'cpu' model = dlr.DLRModel('./dlr_model', device) ``` 1. **下载用于推理的映像，并根据模型的训练方式确定其格式**。 在 `coco_ssd_mobilenet` 示例中，您可以从 [COCO 数据集](https://cocodataset.org/#home)下载映像，然后将该映像改造为 `300x300`： ``` from PIL import Image # Download an image for model to make a prediction input_image_filename = './input_image.jpg' !curl https://farm9.staticflickr.com/8325/8077197378_79efb4805e_z.jpg --output {input_image_filename} # Format image so model can make predictions resized_image = image.resize((300, 300)) # Model is quantized, so convert the image to uint8 x = np.array(resized_image).astype('uint8') ``` 1. **使用 DLR 进行推理**。 最后，您可以使用 DLR 对刚刚下载的映像进行预测： ``` out = model.run(x) ``` [有关使用 DLR 从边缘设备上的 Neo 编译模型进行推断的更多示例，请参阅 Github 存储库。neo-ai-dlr ](https://github.com/neo-ai/neo-ai-dlr)