Sesuaikan antarmuka jaringan sekunder di node Amazon EKS

Jika Anda menerapkan ke sistem pengujian, buat VPC menggunakan template Amazon EKS AWS CloudFormation .

aws cloudformation create-stack --stack-name my-eks-custom-networking-vpc \
  --template-url https://s3.us-west-2.amazonaws.com/amazon-eks/cloudformation/2020-10-29/amazon-eks-vpc-private-subnets.yaml \
  --parameters ParameterKey=VpcBlock,ParameterValue=192.168.0.0/24 \
  ParameterKey=PrivateSubnet01Block,ParameterValue=192.168.0.64/27 \
  ParameterKey=PrivateSubnet02Block,ParameterValue=192.168.0.96/27 \
  ParameterKey=PublicSubnet01Block,ParameterValue=192.168.0.0/27 \
  ParameterKey=PublicSubnet02Block,ParameterValue=192.168.0.32/27

Tum AWS CloudFormation pukan membutuhkan waktu beberapa menit untuk dibuat. Untuk memeriksa status penerapan tumpukan, jalankan perintah berikut.

aws cloudformation describe-stacks --stack-name my-eks-custom-networking-vpc --query Stacks\[\].StackStatus  --output text

Jangan lanjutkan ke langkah berikutnya sampai output dari perintah tersebut adaCREATE_COMPLETE.

Tentukan variabel dengan nilai ID subnet pribadi yang dibuat oleh template.

subnet_id_1=$(aws cloudformation describe-stack-resources --stack-name my-eks-custom-networking-vpc \
    --query "StackResources[?LogicalResourceId=='PrivateSubnet01'].PhysicalResourceId" --output text)
subnet_id_2=$(aws cloudformation describe-stack-resources --stack-name my-eks-custom-networking-vpc \
    --query "StackResources[?LogicalResourceId=='PrivateSubnet02'].PhysicalResourceId" --output text)

Tentukan variabel dengan Availability Zone dari subnet yang diambil pada langkah sebelumnya.

az_1=$(aws ec2 describe-subnets --subnet-ids $subnet_id_1 --query 'Subnets[*].AvailabilityZone' --output text)
az_2=$(aws ec2 describe-subnets --subnet-ids $subnet_id_2 --query 'Subnets[*].AvailabilityZone' --output text)

Jalankan perintah berikut untuk membuat file JSON kebijakan kepercayaan IAM.

{
  "Version":"2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "eks.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Buat peran IAM cluster Amazon EKS. Jika perlu, ucapkan eks-cluster-role-trust-policy.json kata pengantar dengan jalur di komputer Anda tempat Anda menulis file pada langkah sebelumnya. Perintah mengaitkan kebijakan kepercayaan yang Anda buat pada langkah sebelumnya ke peran. Untuk membuat peran IAM, prinsi pal IAM yang membuat peran harus diberi iam:CreateRole tindakan (izin).

aws iam create-role --role-name myCustomNetworkingAmazonEKSClusterRole --assume-role-policy-document file://"eks-cluster-role-trust-policy.json"

Lampirkan kebijakan terkelola Amazon EKS yang dinam AmazonEKSClusterPolicy ai ke peran tersebut. Untuk melampirkan kebijakan IAM ke prinsi pal IAM, prinsipal yang melampirkan kebijakan harus diberi salah satu tindakan IAM berikut (izin): atau. iam:AttachUserPolicy iam:AttachRolePolicy

aws iam attach-role-policy --policy-arn arn:aws: iam::aws:policy/AmazonEKSClusterPolicy --role-name myCustomNetworkingAmazonEKSClusterRole

Buat sebuah klaster.

aws eks create-cluster --name my-custom-networking-cluster \
   --role-arn arn:aws: iam::$account_id:role/myCustomNetworkingAmazonEKSClusterRole \
   --resources-vpc-config subnetIds="$subnet_id_1","$subnet_id_2"

Cluster membutuhkan waktu beberapa menit untuk dibuat. Untuk memeriksa status penerapan cluster, jalankan perintah berikut.

aws eks describe-cluster --name my-custom-networking-cluster --query cluster.status

Jangan lanjutkan ke langkah berikutnya sampai output dari perintah tersebut ada"ACTIVE".

Konfigur kubectl asikan untuk berkomunikasi dengan cluster Anda.

aws eks update-kubeconfig --name my-custom-networking-cluster

Lihat blok CIDR saat ini yang terkait dengan VPC Anda.

aws ec2 describe-vpcs --vpc-ids $vpc_id \
    --query 'Vpcs[*].CidrBlockAssociationSet[*].{CIDRBlock: CidrBlock, State: CidrBlockState.State}' --out table

Contoh output adalah sebagai berikut.

----------------------------------
|          DescribeVpcs          |
+-----------------+--------------+
|    CIDRBlock    |    State     |
+-----------------+--------------+
|  192.168.0.0/24 |  associated  |
+-----------------+--------------+

Kaitkan blok CIDR tambahan ke VPC Anda. Ganti nilai blok CIDR dalam perintah berikut. Untuk informasi selengkapnya, lihat Mengaitkan blok CIDR IPv4 tambahan dengan VPC Anda di Panduan Pengguna Amazon VPC.

aws ec2 associate-vpc-cidr-block --vpc-id $vpc_id --cidr-block 192.168.1.0/24

Konfirmasikan bahwa blok baru dikaitkan.

aws ec2 describe-vpcs --vpc-ids $vpc_id --query 'Vpcs[*].CidrBlockAssociationSet[*].{CIDRBlock: CidrBlock, State: CidrBlockState.State}' --out table

Contoh output adalah sebagai berikut.

----------------------------------
|          DescribeVpcs          |
+-----------------+--------------+
|    CIDRBlock    |    State     |
+-----------------+--------------+
|  192.168.0.0/24 |  associated  |
|  192.168.1.0/24 |  associated  |
+-----------------+--------------+

Buat subnet baru. Ganti nilai blok CIDR dalam perintah berikut. Subnet harus dibuat di blok VPC CIDR yang berbeda dari subnet yang ada, tetapi di Zona Ketersediaan yang sama dengan subnet yang ada. Dalam contoh ini, satu subnet dibuat di blok CIDR baru di setiap Zona Ketersediaan tempat subnet pribadi saat ini ada. ID subnet yang dibuat disimpan dalam variabel untuk digunakan pada langkah selanjutnya. Nilai Name cocok dengan nilai yang ditetapkan ke subnet yang dibuat menggunakan template Amazon EKS VPC pada langkah sebelumnya. Nama tidak diperlukan. Anda dapat menggunakan nama yang berbeda.

new_subnet_id_1=$(aws ec2 create-subnet --vpc-id $vpc_id --availability-zone $az_1 --cidr-block 192.168.1.0/27 \
    --tag-specifications 'ResourceType=subnet,Tags=[{Key=Name,Value=my-eks-custom-networking-vpc-PrivateSubnet01},{Key=kubernetes.io/role/internal-elb,Value=1}]' \
    --query Subnet.SubnetId --output text)
new_subnet_id_2=$(aws ec2 create-subnet --vpc-id $vpc_id --availability-zone $az_2 --cidr-block 192.168.1.32/27 \
    --tag-specifications 'ResourceType=subnet,Tags=[{Key=Name,Value=my-eks-custom-networking-vpc-PrivateSubnet02},{Key=kubernetes.io/role/internal-elb,Value=1}]' \
    --query Subnet.SubnetId --output text)

Lihat subnet saat ini di VPC Anda.

aws ec2 describe-subnets --filters "Name=vpc-id,Values=$vpc_id" \
    --query 'Subnets[*].{SubnetId: SubnetId,AvailabilityZone: AvailabilityZone,CidrBlock: CidrBlock}' \
    --output table

Contoh output adalah sebagai berikut.

----------------------------------------------------------------------
|                           DescribeSubnets                          |
+------------------+--------------------+----------------------------+
| AvailabilityZone |     CidrBlock      |         SubnetId           |
+------------------+--------------------+----------------------------+
|  us-west-2d      |  192.168.0.0/27    |     subnet-example1        |
|  us-west-2a      |  192.168.0.32/27   |     subnet-example2        |
|  us-west-2a      |  192.168.0.64/27   |     subnet-example3        |
|  us-west-2d      |  192.168.0.96/27   |     subnet-example4        |
|  us-west-2a      |  192.168.1.0/27    |     subnet-example5        |
|  us-west-2d      |  192.168.1.32/27   |     subnet-example6        |
+------------------+--------------------+----------------------------+

Anda dapat melihat subnet di blok 192.168.1.0 CIDR yang Anda buat berada di Zona Ketersediaan yang sama dengan subnet di blok CIDR. 192.168.0.0

Buat file unik untuk setiap konfigurasi antarmuka jaringan.

Perintah berikut membuat ENIConfig file terpisah untuk dua subnet yang dibuat pada langkah sebelumnya. Nilai untuk name harus unik. Namanya sama dengan Availability Zone tempat subnet berada. Grup keamanan cluster ditugaskan keENIConfig.

cat >$az_1.yaml <<EOF
apiVersion: crd.k8s.amazonaws.com/v1alpha1
kind: ENIConfig
metadata:
  name: $az_1
spec:
  securityGroups:
    - $cluster_security_group_id
  subnet: $new_subnet_id_1
EOF

cat >$az_2.yaml <<EOF
apiVersion: crd.k8s.amazonaws.com/v1alpha1
kind: ENIConfig
metadata:
  name: $az_2
spec:
  securityGroups:
    - $cluster_security_group_id
  subnet: $new_subnet_id_2
EOF

Untuk cluster produksi, Anda dapat membuat perubahan berikut pada perintah sebelumnya:

Terapkan setiap file sumber daya kustom yang Anda buat ke cluster Anda dengan perintah berikut.

kubectl apply -f $az_1.yaml
kubectl apply -f $az_2.yaml

Untuk cluster uji dalam tutorial ini, lewati ke langkah berikutnya.

Untuk cluster produksi, periksa untuk melihat apakah anotasi dengan kunci k8s.amazonaws.com/eniConfig untuk variabel ENI_CONFIG_ANNOTATION_DEF lingkungan ada di spesifikasi wadah untuk. aws-node DaemonSet

kubectl describe daemonset aws-node -n kube-system | grep ENI_CONFIG_ANNOTATION_DEF

Jika output dikembalikan, anotasi ada. Jika tidak ada output yang dikembalikan, maka variabel tidak diatur. Untuk cluster produksi, Anda dapat menggunakan pengaturan ini atau pengaturan pada langkah berikut. Jika Anda menggunakan pengaturan ini, pengaturan tersebut akan menggantikan pengaturan pada langkah berikut. Dalam tutorial ini, pengaturan pada langkah berikutnya digunakan.

Perbarui Anda aws-node DaemonSet untuk menerapkan Zona Keter ENIConfig sediaan secara otomatis ke setiap node Amazon EC2 baru yang dibuat di cluster Anda.

kubectl set env daemonset aws-node -n kube-system ENI_CONFIG_LABEL_DEF=topology.kubernetes.io/zone

Jalankan perintah berikut untuk membuat file JSON kebijakan kepercayaan IAM.

{
  "Version":"2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "ec2.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

Buat peran IAM dan simpan Nama Sumber Daya Amazon (ARN) yang dikembalikan dalam variabel untuk digunakan pada langkah selanjutnya.

node_role_arn=$(aws iam create-role --role-name myCustomNetworkingNodeRole --assume-role-policy-document file://"node-role-trust-relationship.json" \
    --query Role.Arn --output text)

Lampirkan tiga kebijakan yang dikelola IAM yang diperlukan ke peran IAM.

aws iam attach-role-policy \
  --policy-arn arn:aws: iam::aws:policy/AmazonEKSWorkerNodePolicy \
  --role-name myCustomNetworkingNodeRole
aws iam attach-role-policy \
  --policy-arn arn:aws: iam::aws:policy/AmazonEC2ContainerRegistryReadOnly \
  --role-name myCustomNetworkingNodeRole
aws iam attach-role-policy \
    --policy-arn arn:aws: iam::aws:policy/AmazonEKS_CNI_Policy \
    --role-name myCustomNetworkingNodeRole

Dapatkan daftar node di cluster Anda.

kubectl get nodes

Contoh output adalah sebagai berikut.

NAME                                          STATUS   ROLES    AGE     VERSION
ip-192-168-0-126.us-west-2.compute.internal   Ready    <none>   8m49s   v1.22.9-eks-810597c
ip-192-168-0-92.us-west-2.compute.internal    Ready    <none>   8m34s   v1.22.9-eks-810597c

Tentukan Zona Ketersediaan di mana setiap node berada. Jalankan perintah berikut untuk setiap node yang dikembalikan pada langkah sebelumnya, mengganti alamat IP berdasarkan output sebelumnya.

aws ec2 describe-instances --filters Name=network-interface.private-dns-name,Values=ip-192-168-0-126.us-west-2.compute.internal \
--query 'Reservations[].Instances[].{AvailabilityZone: Placement.AvailabilityZone, SubnetId: SubnetId}'

Contoh output adalah sebagai berikut.

[
    {
        "AvailabilityZone": "us-west-2d",
        "SubnetId": "subnet-Example5"
    }
]

Anotasi setiap node dengan ENIConfig yang Anda buat untuk ID subnet dan Zona Ketersediaan. Anda hanya dapat membuat anotasi node dengan satuENIConfig, meskipun beberapa node dapat dianotasi dengan yang sama. ENIConfig Ganti Contoh nilai dengan nilai Anda sendiri.

kubectl annotate node ip-192-168-0-126.us-west-2.compute.internal k8s.amazonaws.com/eniConfig=EniConfigName1
kubectl annotate node ip-192-168-0-92.us-west-2.compute.internal k8s.amazonaws.com/eniConfig=EniConfigName2

Pastikan Anda memiliki node yang tersedia yang menggunakan fitur jaringan khusus.

Tutup dan tiriskan node untuk mematikan Pod dengan anggun. Untuk informasi selengkapnya, lihat Mengur angi Node dengan Aman di dokumentasi Kubernetes.

Hentikan node. Jika node berada dalam grup node terkelola yang ada, Anda dapat menghapus grup node. Jalankan perintah berikut.

aws eks delete-nodegroup --cluster-name my-custom-networking-cluster --nodegroup-name my-nodegroup

Lepaskan kebijakan dari peran.

aws iam detach-role-policy --role-name myCustomNetworkingNodeRole --policy-arn arn:aws: iam::aws:policy/AmazonEKSWorkerNodePolicy
aws iam detach-role-policy --role-name myCustomNetworkingNodeRole --policy-arn arn:aws: iam::aws:policy/AmazonEC2ContainerRegistryReadOnly
aws iam detach-role-policy --role-name myCustomNetworkingNodeRole --policy-arn arn:aws: iam::aws:policy/AmazonEKS_CNI_Policy

Hapus peran.

aws iam delete-role --role-name myCustomNetworkingNodeRole

Lepaskan kebijakan dari peran.

aws iam detach-role-policy --role-name myCustomNetworkingAmazonEKSClusterRole --policy-arn arn:aws: iam::aws:policy/AmazonEKSClusterPolicy

Hapus peran.

aws iam delete-role --role-name myCustomNetworkingAmazonEKSClusterRole