kkumtree

• kkumtree

2024-10-15T10:16:38+09:00

따로 슥 찾아보니, envoy는 Micro Service Architecture 등 구현된 단위 기능간의 통신을 위한 L7 Proxy 라고 합니다.
Docker Compose 정도나 일반 서비스에서는 굳이 필요하지는 않을 것 같지만, Service Mesh 환경에서는 알아두면 좋을 것 같아 훝어봅니다.

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)를 통해 학습한 내용을 정리합니다.

1. Envoy Installation

• Docs: Installing Envoy

wget -O- https://apt.envoyproxy.io/signing.key | sudo gpg --dearmor -o /etc/apt/keyrings/envoy-keyring.gpg
echo "deb [signed-by=/etc/apt/keyrings/envoy-keyring.gpg] https://apt.envoyproxy.io jammy main" | sudo tee /etc/apt/sources.list.d/envoy.list
sudo apt-get update
sudo apt-get install envoy
envoy --version

학습환경은 root로 접속되어 있기에 sudo는 쓰지 않았습니다.

• kkumtree

2024-10-10T22:12:57+09:00

지난 포스팅, Kubernetes Service(2): LoadBalancer(MetalLB)에 이어 Ingress Type을 가볍게 살펴보고, Ingress-Nginx를 가볍게 붙여보겠습니다.

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)를 통해 학습한 내용을 정리합니다.

1. Ingress Type

이제, 신규 기능(New feature)은 Gateway API에 추가된다고 합니다.

우선, Kubernetes가 헷갈리는 것 중 하나가,

• Ingress Type 과 LoadBalancer Type의 명확한 차이가 뭘까...?
  라는 점이라고 봅니다.

물론, 그거 외에도 k8s에는 알쏭달쏭한 것들이 아-주 많지만요.

친절한 Docs에 따르면,
클러스터 외부로 클러스터 내부 서비스에 대한 HTTP 및 HTTPS 라우팅을 노출하는 것이라고 합니다.

• kkumtree

2024-10-02T12:54:17+09:00

지난 포스팅, Kubernetes Service(1): ClusterIP/NodePort에 이어 LoadBalancer Type을 가볍게 살펴보고, MetalLB를 가볍게 붙여보겠습니다.

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)를 통해 학습한 내용을 정리합니다.

1. LoadBalancer Type

Service(1)에서 언급된 부분은 거두절미하고, 추가로 적을 수 있는 부분이 있다면, 아래 한 줄이 있습니다.

You can define a LoadBalancer Service by disabling the load balancer NodePort allocation.

글자 그대로 LB의 NodePort 할당을 비활성하여, LoadBalancer Service를 정의할 수 있습니다.
Disabling load balancer NodePort allocation 문서를 살펴보니,
v1.24부터 Stable 상태로 보입니다.

• kkumtree

2024-09-29T13:35:13+09:00

iptables를 수집하여 Grafana로 표현하는 방법을 알아봅니다.

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)를 통해 학습한 내용을 정리합니다.

0. 환경 구성 (kind)

작성시간 이슈로 featureGates, ConfigPatches, networking 설정 설명은 스킵…합니다.

a. 1 Master, 3 Slave 환경 구성

cat <<EOT> kind-svc-1w.yaml
kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
featureGates:
  "InPlacePodVerticalScaling": true
  "MultiCIDRServiceAllocator": true
nodes:
- role: control-plane
  labels:
    mynode: control-plane
    topology.kubernetes.io/zone: ap-northeast-2a
  extraPortMappings:
  - containerPort: 30000
    hostPort: 30000
  - containerPort: 30001
    hostPort: 30001
  - containerPort: 30002
    hostPort: 30002
  kubeadmConfigPatches:
  - |
    kind: ClusterConfiguration
    apiServer:
      extraArgs:
        runtime-config: api/all=true
    controllerManager:
      extraArgs:
        bind-address: 0.0.0.0
    etcd:
      local:
        extraArgs:
          listen-metrics-urls: http://0.0.0.0:2381
    scheduler:
      extraArgs:
        bind-address: 0.0.0.0
  - |
    kind: KubeProxyConfiguration
    metricsBindAddress: 0.0.0.0
- role: worker
  labels:
    mynode: worker1
    topology.kubernetes.io/zone: ap-northeast-2a
- role: worker
  labels:
    mynode: worker2
    topology.kubernetes.io/zone: ap-northeast-2b
- role: worker
  labels:
    mynode: worker3
    topology.kubernetes.io/zone: ap-northeast-2c
networking:
  podSubnet: 10.10.0.0/16
  serviceSubnet: 10.200.1.0/24
EOT

kind create cluster --config kind-svc-1w.yaml --name myk8s --image kindest/node:v1.31.0

b. 기본 툴 설치

docker exec -it myk8s-control-plane sh -c 'apt update && apt install tree psmisc lsof wget bsdmainutils bridge-utils net-tools ipset ipvsadm nfacct tcpdump ngrep iputils-ping arping git vim arp-scan -y'

1. prometheus stack 설치 (helm)

a. repository 추가 및 구성

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts

cat <<EOT > monitor-values.yaml
prometheus:
  prometheusSpec:
    podMonitorSelectorNilUsesHelmValues: false
    serviceMonitorSelectorNilUsesHelmValues: false
    nodeSelector:
      mynode: control-plane
    tolerations:
    - key: "node-role.kubernetes.io/control-plane"
      operator: "Equal"
      effect: "NoSchedule"


grafana:
  defaultDashboardsTimezone: Asia/Tokyo
  adminPassword: kans7969

  service:
    type: NodePort
    nodePort: 30002
  nodeSelector:
    mynode: control-plane
  tolerations:
  - key: "node-role.kubernetes.io/control-plane"
    operator: "Equal"
    effect: "NoSchedule"

defaultRules:
  create: false
alertmanager:
  enabled: false

EOT 

b. 설치

kubectl create ns monitoring
helm install kube-prometheus-stack prometheus-community/kube-prometheus-stack --version 62.3.0 -f monitor-values.yaml --namespace monitoring

c. prometheus 콘솔 접속

새로운 터미널을 열어, port-forwarding을 통해 접속합니다.

• kkumtree

2024-09-27T21:28:17+09:00

Kubernetes의 (컨셉, 혹은 콘셉트라 불리는) Concepts 중에서 Service의 주제를 다뤄봅니다.

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)를 통해 학습한 내용을 정리합니다.

Service Docs에 명료하게 적혀있긴 하지만,
단위 기능으로 잘게 쪼갠 Pod는 결국 개별적인 IP를 갖게되는데, Blue/Green 이미지 업데이트를 비롯해서 같은 기능을 하는 새로운 Pod의 IP를 다른 Pod가 IP주소 그대로 접근하기 어려워 중간에 둔 것으로 이해를 해보았습니다.

지금 레벨에서는 가정용 공유기에서 동적IP 환경에 대응하기 위해, DDNS를 사용하는 것과, MAC ADDR 기준으로 Static IP(DHCP모드시 활용)를 예약하는 것을 섞은 그 어딘가로 납득하고 계속 써보도록 하겠습니다.

• kkumtree

2024-09-18T20:52:16+09:00

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)를 통해 학습한 내용을 정리합니다.

스터디 진행 시, Manifests를 사용하여 Calico를 설치하였으나,
Operator를 사용하여 설치하는 방법을 정리합니다.

과제는 아니었지만, 요새 다들 Operator Framework를 사용해서 마라샹궈 볶듯이
Operator를 지지고 볶는 것 같아서 호기심에 정리해보았습니다.

참고로 Manifests를 사용하여 설치 시, 50개의 노드[1]를 초과하는 경우 Typha를 구성하여야 합니다.

Calico 설치 환경 : AWS EC2(No EKS), kubeadm[2], pod-network-cidr=172.16.0.0/16, IPIP Mode

1. Calico Routing Mode

위에 언급된 IPIP Mode를 이해하려면 Calico의 Routing Mode를 훑을 필요성이 있었습니다.
파드간 통신 시 노드 간에 encapsulation의 전략을 기준으로 나뉘어 볼 수 있겠습니다.

• kkumtree

2024-09-15T18:40:22+09:00

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)를 통해 학습한 내용을 정리합니다.

1. Calico 설치

스터디에서 AWS CF 및 Calico 설치 스크립트(Manifest)를 제공하였기에, 이 부분은 참고만 하시기 바랍니다.

CNI가 설치되지 않았기에 NotReady 상태에 있다가, Calico 설치하면 CoreDNS가 설정되며, Ready 상태로 변경된다.

• Calico 설치 전

  # Control Plane and worker nodes are not ready
  (⎈|HomeLab:default) root@k8s-m:~# kubectl get nodes
  NAME     STATUS     ROLES           AGE   VERSION
  k8s-m    NotReady   control-plane   32m   v1.30.5
  k8s-w0   NotReady   <none>          31m   v1.30.5
  k8s-w1   NotReady   <none>          31m   v1.30.5
  k8s-w2   NotReady   <none>          31m   v1.30.5
  
  # Count for iptalbes rules for comparison
  (⎈|HomeLab:default) root@k8s-m:~# iptables -t filter -L | wc -l
  50
  (⎈|HomeLab:default) root@k8s-m:~# iptables -t nat -L | wc -l
  48
  

  (⎈|HomeLab:default) root@k8s-m:~# kubectl get pod -A --sort-by=.metadata.creationTimestamp
  NAMESPACE     NAME                            READY   STATUS    RESTARTS   AGE
  kube-system   etcd-k8s-m                      1/1     Running   0          35m
  kube-system   kube-apiserver-k8s-m            1/1     Running   0          35m
  kube-system   kube-controller-manager-k8s-m   1/1     Running   0          35m
  kube-system   kube-scheduler-k8s-m            1/1     Running   0          35m
  kube-system   coredns-55cb58b774-bscbt        0/1     Pending   0          35m
  kube-system   coredns-55cb58b774-w22zq        0/1     Pending   0          35m
  kube-system   kube-proxy-5hgmn                1/1     Running   0          35m
  kube-system   kube-proxy-bnv77                1/1     Running   0          35m
  kube-system   kube-proxy-xf8q7                1/1     Running   0          35m
  kube-system   kube-proxy-hzsnk                1/1     Running   0          35m
  

• Calico 설치 후

• kkumtree

2024-09-03T21:16:07+09:00

톺아보다(우리말샘) 는 의외로 표준어라고 합니다.

KIND 설치 이후에 기본적인 내용을 살펴봅니다.

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)를 통해 학습한 내용을 정리합니다.

0. $KUBECONFIG

• $KUBECONFIG 환경변수가 없을 경우:
  보통은 ~/.kube 디렉토리가 생성됩니다.
  확인해보니, config 값과 더불어, cache 디렉토리도 확인할 수 있었습니다.

  ❯ find ~/.kube -maxdepth 2 -type f -exec ls -ld "{}" \;
  -rw------- 1 kkumtree kkumtree 44 Sep  3 21:31 /home/kkumtree/.kube/config
  ❯ find ~/.kube -maxdepth 2 -type d -exec ls -ld "{}" \;
  drwxr-x--- 3 kkumtree kkumtree 4096 Sep  3 21:31 /home/kkumtree/.kube
  drwxr-x--- 4 kkumtree kkumtree 4096 Sep  3 21:11 /home/kkumtree/.kube/cache
  drwxr-x--- 5 kkumtree kkumtree 4096 Sep  3 21:28 /home/kkumtree/.kube/cache/discovery
  drwxr-x--- 3 kkumtree kkumtree 4096 Sep  3 21:28 /home/kkumtree/.kube/cache/http
  

• KIND용 $KUBECONFIG 설정:
  그래서 아래처럼, 경로를 만들고 $KUBECONFIG 환경변수를 설정해주었습니다.

• kkumtree

2024-09-02T00:33:19+09:00

Helm 설치 추가

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)에 참여하게 되면서 기록을 남기고 있습니다.

이번에는 kind(Kubernetes IN Docker)를 Golang을 통해 설치하면서 약간의 소?란이 있었던 부분만 다룹니다.

1. KIND란?

• 아래 사진으로 대체합니다. 자세한 내용은 Docs/Initial_design에서 볼수 있습니다.

2. KIND 설치하기

• Docs/Quick-start를 참고합니다.

Linux의 경우, 패키지 관리자 설치가 없어 바이너리, 혹은 소스로 설치해야 합니다.

아래 두 문장에 뭔가 발동하여 Go 언어로 설치를 해보기로 했습니다.

If you are a go developer you may find the go install option convenient.

Otherwise we supply downloadable release binaries, community-managed packages, and a source installation guide.

3. 설치는 매우 간단

• Go 개발자는 아니지만, 잘 깔려있었고 그 GOPATH 환경변수도 확인됩니다. 무슨일이람.

❯ go version
go version go1.22.2 linux/amd64
❯ go env GOPATH
/home/kkumtree/go

• Docs를 잘 읽고, 아래와 같이 설치하면 됩니다.

go install sigs.k8s.io/[email protected]

4. 이걸로 끝 일리가 없다. 환경변수 설정

• 그런 건 존재하지 않습니다. Go를 개발에 사용해본 적이 없으면 아래처럼 Go 바이너리가 PATH 환경변수에 설정합니다.

❯ env | grep go
PATH=/home/kkumtree/go/bin:/home/kkumtree/.tfenv/bin:/home/kkumtree/.tfenv/bin:/home/kkumtree/.tfenv/bin:/home/kkumtree/.sdkman/candidates/java/current/bin:/home/kkumtree/.nvm/versions/node/v18.15.0/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin:/snap/bin

(a안) ~/.bashrc에 정적 지정

• 보통 이렇게하면, 사용하는데 별 문제가 없습니다.

echo 'export PATH=$PATH:/home/kkumtree/go/bin' >> ~/.bashrc
# zsh일 경우) exec bash
source ~/.bashrc
# zsh일 경우, 다시 zsh로 복귀) exec zsh

(b안) ~/.profile에 동적 지정

• 별다른 이유는 없고, profile에 조건 설정이 되어있어서 추가해보았습니다.
• 마지막 3줄만 추가로 작성

# ❯ cat ~/.profile
# ~/.profile: executed by the command interpreter for login shells.
# This file is not read by bash(1), if ~/.bash_profile or ~/.bash_login
# exists.
# see /usr/share/doc/bash/examples/startup-files for examples.
# the files are located in the bash-doc package.

# the default umask is set in /etc/profile; for setting the umask
# for ssh logins, install and configure the libpam-umask package.
#umask 022

# if running bash
if [ -n "$BASH_VERSION" ]; then
    # include .bashrc if it exists
    if [ -f "$HOME/.bashrc" ]; then
	. "$HOME/.bashrc"
    fi
fi

# set PATH so it includes user's private bin if it exists
if [ -d "$HOME/bin" ] ; then
    PATH="$HOME/bin:$PATH"
fi

# set PATH so it includes user's private bin if it exists
if [ -d "$HOME/.local/bin" ] ; then
    PATH="$HOME/.local/bin:$PATH"
fi

# set PATH so it includes user's gopath if it exists
if [ -x "/usr/bin/go" ] && [ -d "$(/usr/bin/go env GOPATH)/bin" ] ; then
    PATH="$(/usr/bin/go env GOPATH)/bin:$PATH"
fi

source ~/.profile로 적용한 후, kind version으로 설치 확인.

• kkumtree

2024-09-01T09:02:15+09:00

최근 CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)에 참여하게 되었습니다.
난이도를 생각하면 KH(Hardcore)NS가 더 맞아보이지만…

k8s가 워낙 인기가 많기도 하지만, Pod 간 통신에는 많은 지식이 투여되기에 이번 기회에 살펴보기로 했습니다.

첫 주차는, 바로 Kubernetes에 진입하지 않고 Containerization에 대한 이해를 먼저 다뤄주셨습니다.
여타 쿠버네티스 강의와 달리 9주 간 매주 일요일에만 진행되는 세션인데도, 기반 기술을 다시 짚어주셔서 감사했습니다.

1. AWS EC2 Instance 셋업

CloudFormation을 통해, EC2 및 제반사항을 구성하여 주셨습니다만, 취미 삼아 Terraform 변환 작업을 해보았습니다. 하지 말았어야했는데… LoL