기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
7. 지속적 배포
ML 시스템을 지속적으로 배포하려면 실시간 모델에서 또는 실시간 모델 간에 트래픽을 전환할 수 있어야 합니다. 지속적으로 배포되는 시스템에는 카나리, 섀도우, 블루/그린 또는 A/B와 같은 모델이 프로덕션으로 승격되는 방법이 하나 이상 있습니다. ML 시스템에서 모델을 롤백하는 방법이 하나 이상 있는지 확인합니다.
7.1 모델 전환 |
시스템은 스테이징 및 프로덕션에서 버전 관리된 모델 간에 전환할 수 있습니다. 트래픽을 한 번에 또는 점진적으로 새 프로덕션 변형으로 전환할 수 있습니다. |
7.2 모델 승격 프로세스 |
모델 승격을 위한 단계적 검증 프로세스가 제공됩니다. 이 프로세스는 스테이징 환경에서 검증 데이터에 대해 실행하는 등 프로덕션 시스템에 영향을 주지 않는 오프라인 테스트를 사용합니다. 모델 승격을 위한 런북과 지표가 설정됩니다. 승격은 롤아웃 전략 중 하나를 따릅니다. |
7.3 롤백 전략 |
롤백 전략은 오류가 발생하거나 모델이 예상 동작을 벗어나면 롤백, 폴백 또는 롤스루가 진행되도록 적용됩니다. 롤백에서 모델은 이전 배포 버전으로 돌아갑니다. 폴백에서 모델은 강력한 휴리스틱으로 대체됩니다. 롤스루는 다음 모델을 프로덕션으로 승격하고 이전 모델을 롤스루합니다. 이러한 모든 전략에 대해 런북이 마련되어 있습니다. |
7.4 카나리 배포 |
시스템은 카나리를 사용하여 배포할 수 있습니다. 처음에 트래픽의 작은 부분이 새 모델로 전송됩니다. 시간이 지남에 따라 모든 트래픽이 새 모델로 전환됩니다. 테스트는 프로덕션 환경에서 수행되므로 이러한 전환은 면밀히 모니터링됩니다. |
7.5 모델 섀도우 배포 |
시스템은 새 모델이 기존 모델과 함께 작동하는 섀도우 배포를 실행할 수 있습니다. 두 모델 모두 트래픽을 수신하지만 이전 모델만 추론을 출력합니다. 기존 모델과 비교하여 새 모델에서 평가를 실행한 후에 새 모델이 수동으로 승격됩니다. |
7.6 블루/그린 배포 |
시스템은 새 모델(스테이징 중인 그린)과 이전 모델(프로덕션인 블루)을 사용하여 배포할 수 있으며 둘 다 동시에 실행됩니다. 테스트가 완료되면 트래픽이 블루 환경에서 그린 환경으로 전환됩니다. 이 전략에서는 동일한 환경이 유지되므로 가동 중지 시간이 방지됩니다. |
7.7 A/B 테스트 또는 이외 지원 |
시스템은 배포된 환경에서 모델 버전을 사용하여 수신 트래픽에 대해 A/B 테스트 실행을 지원합니다. 여기에는 테스트에서 최신 모델 우승을 기반으로 자동 승격하는 기능이 포함될 수 있습니다. 고급 설정에서는 멀티 암드 밴딧 |
