기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
HyperPod의 Ray 문제 해결
이 페이지를 사용하여 HyperPod에서 Ray 클러스터, 대시보드, 작업 및 관찰 가능성과 관련된 일반적인 문제를 진단합니다. 각 항목은 증상, 원인 및 해결 방법을 제공합니다.
보류 중 Ray 클러스터 멈춤
증상
헤드 또는 작업자 포드는 그대로 유지Pending되며 클러스터는에 도달하지 않습니다Running.
원인
요청된 vCPU 또는 메모리가 선택한 인스턴스 유형의 Kubernetes 할당 가능 용량보다 높습니다. kube-system은를 예약하고 DaemonSets는 각 노드의 일부를 소비하기 때문에 할당 가능은 인스턴스 네임플레이트보다 낮습니다.
해결 방법
할당된 용량에 맞게 vCPU 및 메모리 요청을 낮추거나 더 큰 인스턴스 유형을 선택합니다. 에 할당 가능한를 확인하고 보고된 값 미만으로 요청을 kubectl describe node 설정합니다.my-node
버전 오류와 함께 ray.init() 실패
증상
ray.init()가 실패하거나 클러스터가 시작되지만 클라이언트가 연결할 수 없습니다.
원인
스페이스 또는 클라이언트 이미지의 Ray 버전이 클러스터 매니페스트spec.rayVersion에서 일치하지 않습니다.
해결 방법
컨테이너 이미지에서 spec.rayVersion Ray 버전으로 설정하고 스페이스 또는 클라이언트에서 동일한 Ray 버전을 사용합니다. 자세한 내용은 HyperPod Amazon EKS에 KubeRay 설치 단원을 참조하십시오.
대시보드 링크는 권한 부여 오류를 반환합니다.
증상
Ray Dashboard 링크가 열리지만 권한 부여 오류를 반환합니다.
원인
프라이빗 액세스 전략에서 대시보드는 연결을 생성한 자격 증명으로 범위가 지정됩니다. 다른 자격 증명이 거부됩니다.
해결 방법
대시보드를 클러스터를 생성한 자격 증명으로 열거나 퍼블릭 액세스 전략을 사용하여 네임스페이스에서 연결 권한이 있는 모든 사용자에게 액세스 권한을 부여합니다. 자세한 내용은 액세스 전략 및 보안 모범 사례 단원을 참조하십시오.
Ray 워크로드가 승인되지 않음
증상
RayCluster 또는는 승인되지 않은 RayJob 상태로 유지되며 포드가 생성되지 않습니다.
원인
네임스페이스에는 HyperPod 태스크 거버넌스에 컴퓨팅 할당이 없으므로 태스크 거버넌스는 워크로드를 허용할 할당량 없이 보유합니다.
해결 방법
네임스페이스에 컴퓨팅 할당을 할당하거나 네임스페이스가 있는 네임스페이스에 제출합니다. 자세한 내용은 Ray에 대한 작업 거버넌스 설정 단원을 참조하십시오.
Grafana 대시보드가 비어 있음
증상
Ray Grafana 대시보드는 로드되지만 실행 중인 클러스터에 대한 데이터는 표시되지 않습니다.
원인
HyperPod Observability 추가 기능에서는 Ray 지표가 활성화되지 않으므로 Ray 지표가 스크레이핑되지 않습니다.
해결 방법
관찰성 추가 기능에서 Ray 지표를 켜고 추가 기능 버전이 Ray 지표 스크레이핑을 지원하는지 확인합니다. 자세한 내용은 Ray 지표 수집 설정 단원을 참조하십시오.
작업 제출이 엔드포인트에 도달하지 못함
증상
ray job submit가 연결에 실패하거나 권한 부여 오류를 반환합니다.
원인
작업 제출 엔드포인트에 연결할 수 없거나 세션 토큰이 만료되었습니다. 대시보드 또는 엔드포인트 세션은 최대 6시간 동안 유효합니다.
해결 방법
엔드포인트 주소를 확인한 다음 새 연결 URL을 생성하여 토큰을 새로 고치고 다시 시도합니다. 자세한 내용은 대시보드 연결 URL 생성 단원을 참조하십시오.
