자체 호스팅 Jupyter Notebook 사용

네임스페이스를 생성하여 노트북 서버를 실행합니다.

다음 콘텐츠를 포함하는 notebook.yaml 파일을 로컬로 생성합니다. 아래에서 파일 콘텐츠를 설명합니다.

apiVersion: v1
kind: Pod
metadata:
  name: jupyter-notebook
  namespace: namespace
spec:
  containers:
  - name: minimal-notebook
    image: jupyter/all-spark-notebook:lab-3.1.4 # open source image 
    ports:
    - containerPort: 8888
    command: ["start-notebook.sh"]
    args: ["--LabApp.token=''"]
    env:
    - name: JUPYTER_ENABLE_LAB
      value: "yes"
    - name: KERNEL_LAUNCH_TIMEOUT
      value: "400"
    - name: JUPYTER_GATEWAY_URL
      value: "serverUrl"
    - name: JUPYTER_GATEWAY_VALIDATE_CERT
      value: "false"
    - name: JUPYTER_GATEWAY_AUTH_TOKEN
      value: "session-token"

Jupyter Notebook을 FarGate 전용 클러스터에 배포하는 경우 다음 예제와 같이 Jupyter 포드에 role 레이블을 지정합니다.

...
metadata:
  name: jupyter-notebook
  namespace: default
  labels:
    role: example-role-name-label
spec:
            ...

Amazon EKS 클러스터에 포드 사양을 배포합니다.

kubectl apply -f notebook.yaml -n namespace

그러면 Amazon EMR on EKS 대화형 엔드포인트에 연결된 최소 Jupyter Notebook이 시작됩니다. 포드가 RUNNING 상태가 될 때까지 기다립니다. 다음 명령을 실행하여 상태를 확인할 수 있습니다.

kubectl get pod jupyter-notebook -n namespace

포드가 준비되면 get pod 명령은 다음과 비슷한 출력을 반환합니다.

NAME              READY  STATUS   RESTARTS  AGE
jupyter-notebook  1/1    Running  0         46s

노트북 보안 그룹을 노트북이 예약된 노드에 연결합니다.

1. 먼저 describe pod 명령을 사용하여 jupyter-notebook 포드가 예약된 노드를 식별합니다.

   kubectl describe pod jupyter-notebook -n namespace

2. https://console.aws.amazon.com/eks/home#/clusters에서 Amazon EKS 콘솔을 엽니다.

3. Amazon EKS 클러스터의 컴퓨팅 탭으로 이동하여 describe pod 명령으로 식별되는 노드를 선택합니다. 노드의 인스턴스 ID를 선택합니다.

4. 작업 메뉴에서 보안 > 보안 그룹 변경을 선택하여 보안 그룹 생성에서 생성한 보안 그룹을 연결합니다.

5. Jupyter 노트북 포드를 배포SecurityGroupPolicy하는 경우 역할 레이블을 사용하여 Jupyter 노트북 포드에 적용할를 AWS Fargate생성합니다.

   cat >my-security-group-policy.yaml <<EOF
   apiVersion: vpcresources.k8s.aws/v1beta1
   kind: SecurityGroupPolicy
   metadata:
     name: example-security-group-policy-name
     namespace: default
   spec:
     podSelector:
       matchLabels:
         role: example-role-name-label
     securityGroups:
       groupIds:
         - your-notebook-security-group-id
   EOF

이제 JupyterLab 인터페이스에 로컬로 액세스할 수 있도록 포트 전달을 수행합니다.

kubectl port-forward jupyter-notebook 8888:8888 -n namespace

실행이 완료되면 로컬 브라우저로 이동하여 localhost:8888에서 JupyterLab 인터페이스를 확인합니다.

JupyterLab에서 새로운 Scala 노트북을 생성합니다. 다음은 Pi 값의 근사치를 구하기 위해 실행할 수 있는 샘플 코드 스니펫입니다.

import scala.math.random
import org.apache.spark.sql.SparkSession

/** Computes an approximation to pi */
val session = SparkSession
  .builder
  .appName("Spark Pi")
  .getOrCreate()

val slices = 2
// avoid overflow
val n = math.min(100000L * slices, Int.MaxValue).toInt 
 
val count = session.sparkContext
.parallelize(1 until n, slices)
.map { i =>
  val x = random * 2 - 1
  val y = random * 2 - 1
  if (x*x + y*y <= 1) 1 else 0
}.reduce(_ + _)

println(s"Pi is roughly ${4.0 * count / (n - 1)}")
session.stop()

다음 명령을 사용하여 jupyter-notebook 포드를 삭제합니다.

kubectl delete pod jupyter-notebook -n namespace

그런 다음 delete-managed-endpoint 명령을 사용하여 대화형 엔드포인트를 삭제합니다. 대화형 엔드포인트를 삭제하는 단계는 대화형 엔드포인트 삭제 섹션을 참조하세요. 처음에는 엔드포인트가 TERMINATING 상태가 됩니다. 모든 리소스가 정리되면 TERMINATED 상태로 전환됩니다.

보안 그룹 생성에서 생성한 노트북 보안 그룹을 다른 Jupyter Notebook 배포에 사용할 계획이 없다면 삭제할 수 있습니다. 자세한 내용은 Amazon EC2 사용 설명서에서 보안 그룹 삭제를 참조하세요.