CloudNet@

• kkumtree

2023-05-12T05:36:38+09:00

이번 주차에는 스토리지에 대해 실습을 진행해보았습니다. 지난번 kOps 스터디에서 다루었던 내용이지만, 부족했던 내용을 보충하면서 작성을 해보았습니다.

주요한 내용은…

• NodeAffinity를 이용한 라벨링
• AWS EBS controller의 경우, AWS managed policy를 활용
• AWS Volume SnapShots Controller를 통한 볼륨 백업
• AWS EFS controller에서의 동적 프로비저닝
• AWS EKS 신규 노드그룹 생성

별도로 kube-ops-view의 경우, 웹으로 확인할 수 있을 때까지 시간이 소요된다는 점이 있습니다.

1. 실습 환경 배포

• 2주차에 실습했던 내용들을 미리 배포
  1. AWS LB
  2. ExternalDNS
  3. kube-ops-view
• context 이름 변경
  • 지난 번까지 pkos가 뜨는 현상이 있었는데, 닉네임을 별도 지정할 수 있음
• EFS 생성 관련 cloudformation이 추가되었음
  • EFS FS ID 조회를 하기 위해 aws-cli 필터 활용 (출처: AWS Docs)

# 실습 YAML 파일
curl -O https://s3.ap-northeast-2.amazonaws.com/cloudformation.cloudneta.net/K8S/eks-oneclick2.yaml

# cloudformation 스택 생성
aws cloudformation deploy --template-file eks-oneclick2.yaml --stack-name myeks --parameter-overrides KeyName=aews SgIngressSshCidr=$(curl -s ipinfo.io/ip)/32  MyIamUserAccessKeyID=AKIA5... MyIamUserSecretAccessKey=CVNa2... ClusterBaseName=myeks --region ap-northeast-2

ssh -i ~/.ssh/aews.pem ec2-user@$(aws cloudformation describe-stacks --stack-name myeks --query 'Stacks[*].Outputs[0].OutputValue' --output text)

# default 네임스페이스 적용
kubectl ns default

# (옵션) context 이름 변경
NICK=kkumtree
kubectl ctx
kubectl config rename-context [email protected] $NICK@myeks

# EFS 확인 : AWS 관리콘솔 EFS 확인
EfsFsId=$(aws efs describe-file-systems --query 'FileSystems[*].FileSystemId' --output text)
echo $EfsFsId
mount -t nfs4 -o nfsvers=4.1,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport $EfsFsId.efs.ap-northeast-2.amazonaws.com:/ /mnt/myefs
df -hT --type nfs4
mount | grep nfs4
echo "Test efs exist with file " > /mnt/myefs/memo.txt
cat /mnt/myefs/memo.txt
rm -f /mnt/myefs/memo.txt

# 스토리지클래스 및 CSI 노드 확인
kubectl get sc
kubectl get sc gp2 -o yaml | yh
kubectl get csinodes

# 노드 정보 확인
kubectl get node --label-columns=node.kubernetes.io/instance-type,eks.amazonaws.com/capacityType,topology.kubernetes.io/zone
eksctl get iamidentitymapping --cluster myeks

# 노드 IP 확인 및 PrivateIP 변수 지정
N1=$(kubectl get node --label-columns=topology.kubernetes.io/zone --selector=topology.kubernetes.io/zone=ap-northeast-2a -o jsonpath={.items[0].status.addresses[0].address})
N2=$(kubectl get node --label-columns=topology.kubernetes.io/zone --selector=topology.kubernetes.io/zone=ap-northeast-2b -o jsonpath={.items[0].status.addresses[0].address})
N3=$(kubectl get node --label-columns=topology.kubernetes.io/zone --selector=topology.kubernetes.io/zone=ap-northeast-2c -o jsonpath={.items[0].status.addresses[0].address})
echo "export N1=$N1" >> /etc/profile
echo "export N2=$N2" >> /etc/profile
echo "export N3=$N3" >> /etc/profile
echo $N1, $N2, $N3

# 노드 보안그룹 ID 확인
NGSGID=$(aws ec2 describe-security-groups --filters Name=group-name,Values=*ng1* --query "SecurityGroups[*].[GroupId]" --output text)
aws ec2 authorize-security-group-ingress --group-id $NGSGID --protocol '-1' --cidr 192.168.1.100/32

# 워커 노드 SSH 접속
ssh ec2-user@$N1 hostname
ssh ec2-user@$N2 hostname
ssh ec2-user@$N3 hostname

# 노드에 툴 설치
ssh ec2-user@$N1 sudo yum install links tree jq tcpdump sysstat -y
ssh ec2-user@$N2 sudo yum install links tree jq tcpdump sysstat -y
ssh ec2-user@$N3 sudo yum install links tree jq tcpdump sysstat -y

# AWS LB, ExternalDNS 설치
helm repo add eks https://aws.github.io/eks-charts
helm repo update
helm install aws-load-balancer-controller eks/aws-load-balancer-controller -n kube-system --set clusterName=$CLUSTER_NAME \
  --set serviceAccount.create=false --set serviceAccount.name=aws-load-balancer-controller

# ExternalDNS
MyDomain=awskops.click
MyDnzHostedZoneId=$(aws route53 list-hosted-zones-by-name --dns-name "${MyDomain}." --query "HostedZones[0].Id" --output text)
echo $MyDomain, $MyDnzHostedZoneId
curl -s -O https://raw.githubusercontent.com/gasida/PKOS/main/aews/externaldns.yaml
MyDomain=$MyDomain MyDnzHostedZoneId=$MyDnzHostedZoneId envsubst < externaldns.yaml | kubectl apply -f -

1-1. kube-ops-view

• 시각적으로 현재 k8s의 상태를 볼 수 있는 툴
• 안되는 줄 알았는데, 뷰어가 뜰 때까지 시간이 걸리는 것이었음.

• kkumtree

2023-05-07T07:30:52+09:00

# 아쉽게도 신규 항목인 istio, kube-ops-view는 실습 실패
- istio: `myhome.yaml` 을 어떻게 생성할지 몰라서 중단
- kube-ops-view: A레코드에 제대로 잡히지 않음

지난 1주차에 이어, 이번 주에는 EKS의 네트워크 구성에 대해 알아보는 시간이었습니다.

직전 스터디에서도 바로 광탈당하나?하며 밤과 주말을 하얗게 불태웠을 정도로
가장 고난도라고 생각했던 네트워크를 다시 만나니 이제 1% 친근감이 느껴지고 있네요.

자 그럼 해보도록 합시다.

1. cloudformation을 활용한 EKS 원클릭 구성

• 학습을 위해, 이번에도 가시다님이 준비해주신 원클릭 배포 yaml을 활용하여 배포.
• 완전 배포까지 대략 20분 가량 소요
• IAM에서 미리 발급해둔 액세스키/시크릿키를 알아두어야합니다.

# 원클릭 셋업
aws cloudformation deploy --template-file ~/Documents/aews/eks-oneclick.yaml --stack-name myeks --parameter-overrides KeyName=aews SgIngressSshCidr=$(curl -s ipinfo.io/ip)/32 MyIamUserAccessKeyID={ACSSKEY|AKIA..}  MyIamUserSecretAccessKey={SECUKEY|7ob..} ClusterBaseName=myeks --region ap-northeast-2

# 컨트롤 플레인(마스터노드) 접속 확인
ssh -i ~/.ssh/aews.pem ec2-user@$(aws cloudformation describe-stacks --stack-name myeks --query 'Stacks[*].Outputs[0].OutputValue' --output text)

• kkumtree

2023-04-30T03:00:15+09:00

최근 CloudNet@에서 진행하고 있는
AWS EKS Workshop Study(이하, AEWS)에 참여하게 되었습니다.

k8s가 워낙 인기가 많기도 하지만, 지난 kOps 스터디를 통해 관리요소가 참 많은 것을 느꼈었고,
좀더 수월하게 이해를 해보고자 AWS 서비스인
EKS(Elastic Kubernetes Service)를 이번 기회에 살펴보기로 했습니다.

EKS 사용에 있어 고려사항

EKS는 관리형 서비스(managed service)이기에 아래와 같은 장점이 있습니다.

• 클러스터링을 위한 Control Plane(일명, 마스터 노드)을 AWS에서 관리해줍니다.
  • 워커노드는
    1. 사용자가 AMI를 구성하여 이를 사용
    2. AWS에서 제공하는 Fargate로 VM을 할당하여 사용
• kOps와도 유사하지만, 다른 AWS 서비스와의 연동이 용이합니다.
  개인적으로는 ACM의 인증서 사용에 있어 더 편할 것이라 생각을 했습니다.
  1. ECR에 저장한 컨테이너 이미지를 활용가능
  2. IAM을 통한 권한 관리
  3. ELB를 통한 로드밸런싱
  4. VPC를 통한 네트워크 관리
• 오픈소스 k8s 기반이기에 EKS로의 용이한 마이그레이션

API 서버 Cluster Endpoint 구성

• EKS는 Control Plane을 관리해주나, 마스터 노드에 접근이 필요한 경우가 있습니다.
  이를 위해, Cluster Endpoint를 구성하여 마스터 노드에 접근할 수 있습니다.

• kkumtree

2023-03-06T18:43:51+09:00

kops로 충분히 spot instance를 굴릴 수 있지 않을까?

• 란 생각을 pkos 스터디 내내 하고 있었습니다만,
  이미 t3.small 돌렸다가 제대로 노드들이 작동하지도 않았음을 맛봤기 때문에…
  우선순위는 주차별 과제 제출이었기 때문에 이제야 시범 테스트를 해보고, 글을 작성해봅니다.
• 요약하자면 복습용으로는 충분히 가능하다. 라는 판단입니다.
  • 참고로, 손쉽게 === 야매 의 느낌으로 기술해보았습니다.
  • 글 읽기 귀찮다! 싶으면 여기에서 원글을 확인하실 수 있습니다.

왜 스팟 인스턴스인가?

• 이미 이전 포스팅의 서두에서 언급한 바 있으나,
  아무리 클라우드 서비스가 합리적이어도 On-demand 인스턴스를 학습용으로 사용하기엔 살짝 비효율적이라는 생각이 들었습니다.

• kkumtree

2023-02-25T22:07:23+09:00

최근 CloudNet@에서 진행하고 있는 Production Kubernetes Online Study(이하, PKOS)도 마지막 주차가 끝났습니다.
남은 계획은 4월부터 시작되는 휴식기간(a.k.a. 계약만료 후)중 복습 겸, 포스팅을 해보는 것입니다.

오늘은 아래와 같이 실패를 거듭하여 추가로 알게된 소소한 트러블슈팅을 정리해보려고 합니다.

(물론, 새벽에 겨우겨우 주차별 과제 제출하고 기절하는 바람에, 맛점하다 깨닫고 소스라치게 휴대폰으로 수동 삭제한게 비용의 주 요인이긴 하네요;)

불필요한 Try & Fail을 줄이고, 즐거운 k8s 학습되시기 바랍니다.

1. AWS 계정 잠금 해제

상황

• 처음 1주차 안내가 끝나고 Route53 Hostname을 구매하려고 하니, 자꾸 결제가 실패하는 문제가 발생했습니다.

• kkumtree

2023-02-05T04:54:06+09:00

주변으로부터 피드백을 받은 내용이 있어 새로운 글로 보완예정입니다. 
- colima는 containerd처럼 cri가 아닌, Docker engine과 containerd 사이의 물건으로 추정됩니다. 
  - 도커 엔진은 현재 containerd를 통해 프로세스를 관리.
  - colima도 docker shim 구조는 탈피했을 거라고 추측 중. 
  - 도커 엔진과 containerd 사이의 컨테이너 엔진(관리도구?)로 보임
- colima 시작 시, 특정 런타임을 선택할 수 있습니다. 문서를 잘 읽어봅시다.
  `colima start --runtime containerd`
- k8s를 위한 colima 시작 명령어는 별도로 있습니다. colima github를 참고해주세요.

traefik v1.7에서는 예제 설명의 기준이
k8s.io/v1beta1 API(deprecated)입니다   
k8s.io/v1 API를 기준으로 작성되어 있으니, 참고바랍니다.

로컬환경(minikube)에서 Traefik(^2) 예제를 구현해보겠습니다.