Calico

• kkumtree

2024-09-18T20:52:16+09:00

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)를 통해 학습한 내용을 정리합니다.

스터디 진행 시, Manifests를 사용하여 Calico를 설치하였으나,
Operator를 사용하여 설치하는 방법을 정리합니다.

과제는 아니었지만, 요새 다들 Operator Framework를 사용해서 마라샹궈 볶듯이
Operator를 지지고 볶는 것 같아서 호기심에 정리해보았습니다.

참고로 Manifests를 사용하여 설치 시, 50개의 노드[1]를 초과하는 경우 Typha를 구성하여야 합니다.

Calico 설치 환경 : AWS EC2(No EKS), kubeadm[2], pod-network-cidr=172.16.0.0/16, IPIP Mode

1. Calico Routing Mode

위에 언급된 IPIP Mode를 이해하려면 Calico의 Routing Mode를 훑을 필요성이 있었습니다.
파드간 통신 시 노드 간에 encapsulation의 전략을 기준으로 나뉘어 볼 수 있겠습니다.

• kkumtree

2024-09-15T18:40:22+09:00

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)를 통해 학습한 내용을 정리합니다.

1. Calico 설치

스터디에서 AWS CF 및 Calico 설치 스크립트(Manifest)를 제공하였기에, 이 부분은 참고만 하시기 바랍니다.

CNI가 설치되지 않았기에 NotReady 상태에 있다가, Calico 설치하면 CoreDNS가 설정되며, Ready 상태로 변경된다.

• Calico 설치 전

  # Control Plane and worker nodes are not ready
  (⎈|HomeLab:default) root@k8s-m:~# kubectl get nodes
  NAME     STATUS     ROLES           AGE   VERSION
  k8s-m    NotReady   control-plane   32m   v1.30.5
  k8s-w0   NotReady   <none>          31m   v1.30.5
  k8s-w1   NotReady   <none>          31m   v1.30.5
  k8s-w2   NotReady   <none>          31m   v1.30.5
  
  # Count for iptalbes rules for comparison
  (⎈|HomeLab:default) root@k8s-m:~# iptables -t filter -L | wc -l
  50
  (⎈|HomeLab:default) root@k8s-m:~# iptables -t nat -L | wc -l
  48
  

  (⎈|HomeLab:default) root@k8s-m:~# kubectl get pod -A --sort-by=.metadata.creationTimestamp
  NAMESPACE     NAME                            READY   STATUS    RESTARTS   AGE
  kube-system   etcd-k8s-m                      1/1     Running   0          35m
  kube-system   kube-apiserver-k8s-m            1/1     Running   0          35m
  kube-system   kube-controller-manager-k8s-m   1/1     Running   0          35m
  kube-system   kube-scheduler-k8s-m            1/1     Running   0          35m
  kube-system   coredns-55cb58b774-bscbt        0/1     Pending   0          35m
  kube-system   coredns-55cb58b774-w22zq        0/1     Pending   0          35m
  kube-system   kube-proxy-5hgmn                1/1     Running   0          35m
  kube-system   kube-proxy-bnv77                1/1     Running   0          35m
  kube-system   kube-proxy-xf8q7                1/1     Running   0          35m
  kube-system   kube-proxy-hzsnk                1/1     Running   0          35m
  

• Calico 설치 후

• kkumtree

2023-07-25T00:40:14+09:00

Written in 25 July 2023.
It could be different when you read this article.

Error I met

I met error message like Init:ImagePullBackOff when I tried to create calico pod.

kubectl get pods --all-namespaces
NAMESPACE     NAME                                                     READY   STATUS                  RESTARTS   AGE   
kube-system   calico-kube-controllers-xxxxxxxxxx-yyyyy                 1/1     Running                 1          13h   
kube-system   calico-node-xxxxx                                        0/1     Init:ImagePullBackOff   0          13h

Why it happened

Yes, it’s because of changed docker hub policy. Recently, I’m in an environment that about 20~30 people use 4 public IP addresses. So, it’s easy to reach docker hub pull rate limit.