Latih dan terapkan model ML kustom yang didukung GPU di Amazon SageMaker

Buat peran IAM dan lampirkan kebijakan yang diperlukan.

Masuk ke AWS Management Console, buka konsol IAM, dan buat peran IAM baru. Lampirkan kebijakan berikut ke peran IAM: 

Untuk informasi selengkapnya tentang ini, lihat Membuat instance buku catatan di SageMaker dokumentasi Amazon.

Buat instance SageMaker notebook.

Buka SageMaker konsol, pilih instance Notebook, lalu pilih Buat instance notebook. Untuk peran IAM, pilih peran IAM yang Anda buat sebelumnya. Konfigurasikan instance notebook sesuai dengan kebutuhan Anda, lalu pilih Buat instance notebook.

Untuk langkah dan petunjuk mendetail, lihat Membuat instance buku catatan di SageMaker dokumentasi Amazon.

Kloning repositori.

Buka terminal dalam instance SageMaker notebook dan kloning model GitHub Implementing a review classification dengan Catboost dan SageMaker repositori dengan menjalankan perintah berikut:

git clone https://github.com/aws-samples/review-classification-using-catboost-sagemaker.git

Mulai notebook Jupyter.

Mulai Review classification model with Catboost and SageMaker.ipynb notebook Jupyter, yang berisi langkah-langkah yang telah ditentukan.

Jalankan perintah di notebook Jupyter.

Buka notebook Jupyter dan jalankan perintah dari cerita berikut untuk menyiapkan data untuk melatih model ML Anda.

Baca data dari bucket S3.

import pandas as pd
import csv
fname = 's3://amazon-reviews-pds/tsv/amazon_reviews_us_Digital_Video_Download_v1_00.tsv.gz'
df = pd.read_csv(fname,sep='\t',delimiter='\t',error_bad_lines=False)

Pra-proses data.

import numpy as np 
def pre_process(df):    
   df.fillna(value={'review_body': '', 'review_headline': ''}, inplace=True)    
  df.fillna( value={'verified_purchase': 'Unk'}, inplace=True)  
  df.fillna(0, inplace=True)   
 return df 
df = pre_process(df) 
df.review_date = pd.to_datetime(df.review_date) 
df['target'] = np.where(df['star_rating']>=4,1,0)

Pisahkan data menjadi kumpulan data pelatihan, validasi, dan pengujian.

Untuk menjaga distribusi label target tetap identik di seluruh set terpisah, Anda harus membuat stratifikasi pengambilan sampel dengan menggunakan pustaka scikit-learn.

from sklearn.model_selection import StratifiedShuffleSplit
sss = StratifiedShuffleSplit(n_splits=2, test_size=0.10, random_state=0)
sss.get_n_splits(df, df['target'])
for train_index, test_index in sss.split(df, df['target']):
    X_train_vallid , X_test = df.iloc[train_index], df.iloc[test_index]
    
    
sss.get_n_splits(X_train_vallid, X_train_vallid['target'])    
for train_index, test_index in sss.split(X_train_vallid, X_train_vallid['target']):
    X_train , X_valid = X_train_vallid.iloc[train_index], X_train_vallid.iloc[test_index]

Siapkan dan dorong gambar Docker.

Di notebook Jupyter, jalankan perintah dari cerita berikut untuk menyiapkan gambar Docker dan mendorongnya ke Amazon ECR.

Buat repositori di Amazon ECR.

%%sh 

algorithm_name=sagemaker-catboost-github-gpu-img

chmod +x code/train
chmod +x code/serve

account=$(aws sts get-caller-identity --query Account --output text)

# Get the region defined in the current configuration (default to us-west-2 if none defined)
region=$(aws configure get region)
region=${region:-us-east-1}

fullname="${account}.dkr.ecr.${region}.amazonaws.com/${algorithm_name}:latest"

aws ecr create-repository --repository-name "${algorithm_name}" > /dev/nul

Bangun image Docker secara lokal.

docker build -t "${algorithm_name}" .
docker tag ${algorithm_name} ${fullname}

Jalankan image Docker dan dorong ke Amazon ECR.

docker push ${fullname}

Buat pekerjaan tuning SageMaker hyperparameter.

Di notebook Jupyter, jalankan perintah dari cerita berikut untuk membuat pekerjaan tuning SageMaker hyperparameter menggunakan image Docker Anda.

Buat SageMaker estimator.

Buat SageMaker estimator dengan menggunakan nama image Docker.

import sagemaker as sage
from time import gmtime, strftime
sess = sage.Session()
from sagemaker.tuner import IntegerParameter, CategoricalParameter, ContinuousParameter, HyperparameterTuner

account = sess.boto_session.client('sts').get_caller_identity()['Account']
region = sess.boto_session.region_name
image = '{}.dkr.ecr.{}.amazonaws.com/sagemaker-catboost-github-gpu-img:latest'.format(account, region)
tree_hpo = sage.estimator.Estimator(image,
                       role, 1, 
                      'ml.p3.16xlarge',
                       train_volume_size = 100,
                       output_path="s3://{}/sagemaker/DEMO-GPU-Catboost/output".format(bucket),
                       sagemaker_session=sess)

Buat pekerjaan HPO.

Buat pekerjaan penyetelan optimasi hyperparameter (HPO) dengan rentang parameter dan lewati set kereta dan validasi sebagai parameter ke fungsi.

hyperparameter_ranges = {'iterations': IntegerParameter(80000, 130000),
                         'max_depth': IntegerParameter(6, 10),  
                         'max_ctr_complexity': IntegerParameter(4, 10),
                         'learning_rate': ContinuousParameter(0.01, 0.5)}

objective_metric_name = 'auc'
metric_definitions = [{'Name': 'auc',
                       'Regex': 'auc: ([0-9\\.]+)'}]

tuner = HyperparameterTuner(tree_hpo,
                            objective_metric_name,
                            hyperparameter_ranges,
                            metric_definitions,
                            objective_type='Maximize',
                            max_jobs=50,
                            max_parallel_jobs=2)

Jalankan pekerjaan HPO.

train_location = 's3://'+bucket+'/sagemaker/DEMO-GPU-Catboost/data/train/'
valid_location = 's3://'+bucket+'/sagemaker/DEMO-GPU-Catboost/data/valid/'

tuner.fit({'train': train_location,
           'validation': valid_location      })

Menerima pekerjaan pelatihan berkinerja terbaik.

import sagemaker as sage
from time import gmtime, strftime
sess = sage.Session()

best_job =tuner.best_training_job()

Buat pekerjaan transformasi SageMaker batch pada data pengujian untuk prediksi model.

Di notebook Jupyter, jalankan perintah dari cerita berikut untuk membuat model dari tugas penyetelan SageMaker hyperparameter Anda dan kirimkan pekerjaan transformasi SageMaker batch pada data pengujian untuk prediksi model.

Buat SageMaker modelnya.

Buat model dalam SageMaker model menggunakan pekerjaan pelatihan terbaik.

attached_estimator = sage.estimator.Estimator.attach(best_job)

output_path ='s3://'+bucket+'/sagemaker/DEMO-GPU-Catboost/data/test-predictions/'
input_path  ='s3://'+bucket+'/sagemaker/DEMO-GPU-Catboost/data/test/'

transformer = attached_estimator.transformer(instance_count=1, 
                                             instance_type='ml.p3.16xlarge', 
                                             assemble_with='Line', 
                                             accept='text/csv',
                                             max_payload=1,
                                             output_path=output_path,
                                             env = {'SAGEMAKER_MODEL_SERVER_TIMEOUT' : '3600' })

Buat pekerjaan transformasi batch.

Buat pekerjaan transformasi batch pada kumpulan data pengujian.

transformer.transform(input_path, 
                      content_type='text/csv',
                      split_type='Line')

Baca hasilnya dan evaluasi kinerja model.

Di notebook Jupyter, jalankan perintah dari cerita berikut untuk membaca hasil dan mengevaluasi kinerja model pada metrik model Area Under the ROC Curve (ROC-AUC) dan Area Under the Precision Recall Curve (PR-AUC).

Untuk informasi selengkapnya tentang hal ini, lihat konsep kunci Amazon Machine Learning dalam dokumentasi Amazon Machine Learning (Amazon ML).

Baca hasil pekerjaan transformasi batch.

Baca batch mengubah hasil pekerjaan menjadi bingkai data.

file_name = 's3://'+bucket+'/sagemaker/DEMO-GPU-Catboost/data/test-predictions/file_1.out'

results = pd.read_csv(file_name, names=['review_id','target','score'] ,sep='\t',escapechar ='\\' , quoting=csv.QUOTE_NONE, 
                   lineterminator='\n',quotechar='"').dropna()

Evaluasi metrik kinerja.

Mengevaluasi kinerja model pada ROC-AUC dan PR-AUC.

from sklearn import  metrics
import matplotlib
import pandas as pd
matplotlib.use('agg', warn=False, force=True)
from matplotlib import pyplot as plt

%matplotlib inline 

def analyze_results(labels, predictions):
    precision, recall, thresholds = metrics.precision_recall_curve(labels, predictions)
    auc = metrics.auc(recall, precision)
    
    fpr, tpr, _ = metrics.roc_curve(labels, predictions)
    roc_auc_score = metrics.roc_auc_score(labels, predictions)
    
    print('Neural-Nets: ROC auc=%.3f' % ( roc_auc_score))
    
    plt.plot(fpr, tpr, label="data 1, auc=" + str(roc_auc_score))
    plt.xlabel('1-Specificity')
    plt.ylabel('Sensitivity')
    plt.legend(loc=4)
    plt.show()
    
    
    lr_precision, lr_recall, _ = metrics.precision_recall_curve(labels, predictions)
    lr_auc = metrics.auc(lr_recall, lr_precision)
    # summarize scores
    print('Neural-Nets: PR auc=%.3f' % ( lr_auc))
    # plot the precision-recall curves
    no_skill = len(labels[labels==1.0]) / len(labels)
    plt.plot([0, 1], [no_skill, no_skill], linestyle='--', label='No Skill')
    
    plt.plot(lr_recall, lr_precision, marker='.', label='Neural-Nets')
    # axis labels
    plt.xlabel('Recall')
    plt.ylabel('Precision')
    # show the legend
    plt.legend()
    # show the plot
    plt.show()
    
    
    return auc

analyze_results(results['target'].values,results['score'].values)