View a markdown version of this page

Amazon Nova 레시피 - Amazon Nova

Amazon Nova 레시피

SageMaker HyperPod 레시피 리포지토리에서 Amazon Nova 레시피를 가져올 수 있습니다. Amazon Nova 레시피는 SageMaker가 모델 사용자 지정 작업을 수행하는 방법에 대한 세부 정보를 제공하는 YAML 구성 파일입니다. 이 레시피는 기본 모델 이름을 제공하고, 훈련 하이퍼파라미터를 설정하고, 최적화 설정을 정의하고, 모델을 성공적으로 미세 조정하거나 훈련하는 데 필요한 추가 옵션을 포함합니다.

또한 SageMaker AI Monarch를 통해서도 Nova 레시피에 액세스할 수 있습니다. 모델 허브로 이동하여 AWS를 선택하고 Amazon Nova 모델을 검색해 관련 레시피를 찾으면 됩니다. SageMaker AI Monarch는 각 레시피에 대한 샘플 노트북을 제공합니다. 이 노트북에는 레시피를 수정하고 SageMaker AI 훈련 작업 또는 Amazon SageMaker HyperPod 환경을 사용하여 사용자 지정 작업을 실행하는 데 필요한 모든 단계가 포함되어 있습니다.

Amazon SageMaker Studio의 레시피 페이지에 액세스하려면 실행 역할에 다음 권한이 있어야 합니다.

JSON
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject" ], "Resource": [ "arn:aws:s3:::*model-customization-recipes*" ] } ] }

SageMaker 훈련 작업 및 SageMaker HyperPod에서 샘플 노트북을 실행하려면 SageMaker 배포 이미지 버전 2.7.1+, 2.8.0+, 3.2.1+, 3.3.0+ 중 하나를 사용하세요. 이는 SageMaker AI Monarch에 적용됩니다.

Amazon Nova 레시피 가져오기

기본 Amazon Nova 레시피를 가져오려면 다음 명령을 실행하여 SageMaker HyperPod 레시피 리포지토리를 복제합니다.

git clone https://github.com/aws/sagemaker-hyperpod-recipes.git

기본 레시피는 recipes_collection/recipes/에서 사용할 수 있습니다.

cd recipes_collection/recipes/

Amazon Nova 사용자 지정 레시피는 다음 폴더에 있습니다.

레시피 유형 폴더
SFT(전체 순위 및 PEFT) fine-tuning/nova
평가 evaluation/nova
CPT training/nova

Amazon Nova Forge 레시피 가져오기

작업을 위한 특수 Amazon Nova Forge 레시피에 액세스하려면 Amazon Nova Forge에 대한 액세스를 설정한 다음, 이 워크숍에 따라 CLI의 Forge 버전을 설정합니다. SageMaker 훈련 작업의 경우 AWS 콘솔 및 Nova Forge SDK는 Forge 레시피에 자동으로 액세스합니다.

사용 가능한 모델 및 알고리즘

다음 표에는 SageMaker를 사용한 Amazon Nova 모델 및 지원되는 알고리즘에 대한 사용자 지정 가용성이 요약되어 있습니다.

모델 이름

모델 ID

미세 조정

참고

Amazon Nova Lite 2.0

amazon.nova-2-lite-v1:0:256k

  • SFT - 텍스트 및/또는 이미지, 또는 텍스트 및/또는 비디오를 입력으로 받아 텍스트를 출력합니다. 단일 작업의 동일한 실행에서 텍스트, 이미지 및 비디오를 결합할 수 없습니다.

  • RFT - 텍스트와 이미지를 싱글턴 대화의 입력으로 수락하고 출력으로 텍스트를 생성합니다. 보상 최적화 기능을 개선했습니다.

  • CPT

Amazon Nova 2.0 Lite

아래 표에는 Amazon Nova 2.0 Lite 레시피 참조에 대한 자세한 정보가 나와 있습니다.

모델 범주/하위 범주 기술 레시피 이름 이미지 URI(훈련 작업) 이미지 URI(SageMaker HyperPod) 컴퓨팅 인스턴스
Nova 2.0 Lite 학습 지속적인 사전 훈련 nova_lite_2_0_p5x8_gpu_pretrain.yaml 해당 사항 없음 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-CPT-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite 파라미터 효율적 미세 조정 미세 조정 nova_lite_2_0_p5_gpu_lora_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite 전체 순위 미세 조정 미세 조정 nova_lite_2_0_p5_gpu_sft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-SFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-SFT-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite 파라미터 효율적 RFT 미세 조정 nova_lite_v2_smtj_p5_p5en_gpu_lora_rft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-RFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-RFT-TRAIN-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite 전체 순위 RFT 미세 조정 nova_lite_v2_smtj_p5en_gpu_rft.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-TJ-RFT-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-fine-tune-repo:SM-HP-RFT-TRAIN-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite 자체 데이터 사용 평가 nova_lite_2_0_p5_48xl_gpu_bring_your_own_dataset_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite 일반 텍스트 벤치마크 평가 nova_lite_2_0_p5_48xl_gpu_general_text_benchmark_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite RFT 평가 평가 nova_lite_2_0_p5_48xl_gpu_rft_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge
Nova 2.0 Lite LLM Rubric 기반 평가 평가 nova_lite_2_0_p5_48xl_gpu_rubric_llm_judge_eval.yaml 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-TJ-Eval-V2-latest 708977205387.dkr.ecr.us-east-1.amazonaws.com/nova-evaluation-repo:SM-HP-Eval-V2-latest ml.p5.48xlarge, ml.p5en.48xlarge