Kans

• kkumtree

2024-10-30T23:44:01+09:00

Grafana Cloud 첫 사용기

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)를 통해 학습한 내용을 정리합니다.

이번 주차는 실감이 아직 안나는데, 스터디 마지막 주차입니다.
그래서 여러분이 잘 알고, 매우 좋아하는 EKS를 통해, CoreDNS 이슈를 모니터링하는 Hands-on을 차근차근 따라해보려고합니다.

• AWS Cloud Operations Blog/Monitoring CoreDNS for DNS throttling issues using AWS Open source monitoring services

위의 Blog를 그대로 따라해볼 겁니다.

0. EKS Cluster 생성

스터디에서 제공된 CloudFormation을 통해 EKS Cluster를 생성해볼까합니다.
eksctl이 언급되어 있어서 왠지… 나중에 롤백하고 태초마을부터 eksctl 기반 CloudFormation 배포를 할 것 같은 불안함이 있지만 해보죠(?).

• kkumtree

2024-10-26T01:35:59+09:00

그럼 매번 실패만 했던 Cilium 배포를 한번 해볼까요?

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)를 통해 학습한 내용을 정리합니다.

1. CSP VM 골라보기

이렇게 쓴 이유는 결국 네트워크를 잘 알아야하는데,
작년에 할 때는 그런거 생각도 안하고 그냥 올려보려 했으니 당연히 안 돌아가겠죠?

• trying2adult/What Is XDP And How Do You Use It In Linux

그냥 곰곰히 오리duckduckgo랑 투닥거리다보니, 비록 연식이 되긴 했지만
클릭을 안하고는 못배길 위의 블로그 제목이 눈에 띄였습니다.

• kkumtree

2024-10-21T19:47:33+09:00

고쳐야할 부분이 너무 많아서 나중에 해당 부분만 글을 작성할 예정입니다.

어느덧 이번 스터디도 대망의 Cilium을 다루기 시작합니다.
Cilium에 이렇게도 (저를 포함한) 모?두가 열광하는지 알아보기 전에
근간이 되는 eBPF를 먼저 가볍게 알아보고 가려합니다.
이 때는 설마 했지만, 역시나 스불재 엔딩이었다

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)를 통해 학습한 내용을 정리합니다.

1. Linux Network Stack

스터디 1주차의 Jenkins 컨테이너에서 Host의 Docker 데몬 사용하기에서 가볍게 맛을 보고 도망치기 바빴지만, 여튼 아래의 사항은 스쳐지나갔습니다.

• kkumtree

2024-10-19T16:59:16+09:00

정적/동적 설정을 알아봅니다.
traefik을 맛볼때는, 호되게 데인 부분인데 envoy는 상대적으로 명료했습니다.

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)를 통해 학습한 내용을 정리합니다.

1. Static Configuration

아래와 같이 구성됩니다.

• static_resources
  • listeners
  • clusters

(a) static_resources

envoy의 시작과 함께, 정적으로 설정되는 모든 리소스를 포함한다고 합니다.
실제로 envoy-demo.yaml 파일을 열어보면 최상단에 static_resources이 선언되어 있습니다.

static_resources:

  listeners:

(b) listeners

envoy-demo.yaml 파일 기준,

• socket_address: 리스너는 포트 10000에서 수신하도록 설정되어 있습니다.
• route_config: 모든 경로에 대해 service_envoyproxy_io 클러스터로 라우팅합니다.

# cat envoy-demo.yaml | grep -A 30 -B 2 listeners
static_resources:

  listeners:
  - name: listener_0
    address:
      socket_address:
        address: 0.0.0.0
        port_value: 10000
    filter_chains:
    - filters:
      - name: envoy.filters.network.http_connection_manager
        typed_config:
          "@type": type.googleapis.com/envoy.extensions.filters.network.http_connection_manager.v3.HttpConnectionManager
          stat_prefix: ingress_http
          access_log:
          - name: envoy.access_loggers.stdout
            typed_config:
              "@type": type.googleapis.com/envoy.extensions.access_loggers.stream.v3.StdoutAccessLog
          http_filters:
          - name: envoy.filters.http.router
            typed_config:
              "@type": type.googleapis.com/envoy.extensions.filters.http.router.v3.Router
          route_config:
            name: local_route
            virtual_hosts:
            - name: local_service
              domains: ["*"]
              routes:
              - match:
                  prefix: "/"
                route:
                  host_rewrite_literal: www.envoyproxy.io
                  cluster: service_envoyproxy_io

(c) clusters

envoy-demo.yaml 파일 기준,

• kkumtree

2024-10-15T10:16:38+09:00

따로 슥 찾아보니, envoy는 Micro Service Architecture 등 구현된 단위 기능간의 통신을 위한 L7 Proxy 라고 합니다.
Docker Compose 정도나 일반 서비스에서는 굳이 필요하지는 않을 것 같지만, Service Mesh 환경에서는 알아두면 좋을 것 같아 훝어봅니다.

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)를 통해 학습한 내용을 정리합니다.

1. Envoy Installation

• Docs: Installing Envoy

wget -O- https://apt.envoyproxy.io/signing.key | sudo gpg --dearmor -o /etc/apt/keyrings/envoy-keyring.gpg
echo "deb [signed-by=/etc/apt/keyrings/envoy-keyring.gpg] https://apt.envoyproxy.io jammy main" | sudo tee /etc/apt/sources.list.d/envoy.list
sudo apt-get update
sudo apt-get install envoy
envoy --version

학습환경은 root로 접속되어 있기에 sudo는 쓰지 않았습니다.

• kkumtree

2024-10-10T22:12:57+09:00

지난 포스팅, Kubernetes Service(2): LoadBalancer(MetalLB)에 이어 Ingress Type을 가볍게 살펴보고, Ingress-Nginx를 가볍게 붙여보겠습니다.

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)를 통해 학습한 내용을 정리합니다.

1. Ingress Type

이제, 신규 기능(New feature)은 Gateway API에 추가된다고 합니다.

우선, Kubernetes가 헷갈리는 것 중 하나가,

• Ingress Type 과 LoadBalancer Type의 명확한 차이가 뭘까...?
  라는 점이라고 봅니다.

물론, 그거 외에도 k8s에는 알쏭달쏭한 것들이 아-주 많지만요.

친절한 Docs에 따르면,
클러스터 외부로 클러스터 내부 서비스에 대한 HTTP 및 HTTPS 라우팅을 노출하는 것이라고 합니다.

• kkumtree

2024-10-02T12:54:17+09:00

지난 포스팅, Kubernetes Service(1): ClusterIP/NodePort에 이어 LoadBalancer Type을 가볍게 살펴보고, MetalLB를 가볍게 붙여보겠습니다.

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)를 통해 학습한 내용을 정리합니다.

1. LoadBalancer Type

Service(1)에서 언급된 부분은 거두절미하고, 추가로 적을 수 있는 부분이 있다면, 아래 한 줄이 있습니다.

You can define a LoadBalancer Service by disabling the load balancer NodePort allocation.

글자 그대로 LB의 NodePort 할당을 비활성하여, LoadBalancer Service를 정의할 수 있습니다.
Disabling load balancer NodePort allocation 문서를 살펴보니,
v1.24부터 Stable 상태로 보입니다.

• kkumtree

2024-09-29T13:35:13+09:00

iptables를 수집하여 Grafana로 표현하는 방법을 알아봅니다.

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)를 통해 학습한 내용을 정리합니다.

0. 환경 구성 (kind)

작성시간 이슈로 featureGates, ConfigPatches, networking 설정 설명은 스킵…합니다.

a. 1 Master, 3 Slave 환경 구성

cat <<EOT> kind-svc-1w.yaml
kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
featureGates:
  "InPlacePodVerticalScaling": true
  "MultiCIDRServiceAllocator": true
nodes:
- role: control-plane
  labels:
    mynode: control-plane
    topology.kubernetes.io/zone: ap-northeast-2a
  extraPortMappings:
  - containerPort: 30000
    hostPort: 30000
  - containerPort: 30001
    hostPort: 30001
  - containerPort: 30002
    hostPort: 30002
  kubeadmConfigPatches:
  - |
    kind: ClusterConfiguration
    apiServer:
      extraArgs:
        runtime-config: api/all=true
    controllerManager:
      extraArgs:
        bind-address: 0.0.0.0
    etcd:
      local:
        extraArgs:
          listen-metrics-urls: http://0.0.0.0:2381
    scheduler:
      extraArgs:
        bind-address: 0.0.0.0
  - |
    kind: KubeProxyConfiguration
    metricsBindAddress: 0.0.0.0
- role: worker
  labels:
    mynode: worker1
    topology.kubernetes.io/zone: ap-northeast-2a
- role: worker
  labels:
    mynode: worker2
    topology.kubernetes.io/zone: ap-northeast-2b
- role: worker
  labels:
    mynode: worker3
    topology.kubernetes.io/zone: ap-northeast-2c
networking:
  podSubnet: 10.10.0.0/16
  serviceSubnet: 10.200.1.0/24
EOT

kind create cluster --config kind-svc-1w.yaml --name myk8s --image kindest/node:v1.31.0

b. 기본 툴 설치

docker exec -it myk8s-control-plane sh -c 'apt update && apt install tree psmisc lsof wget bsdmainutils bridge-utils net-tools ipset ipvsadm nfacct tcpdump ngrep iputils-ping arping git vim arp-scan -y'

1. prometheus stack 설치 (helm)

a. repository 추가 및 구성

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts

cat <<EOT > monitor-values.yaml
prometheus:
  prometheusSpec:
    podMonitorSelectorNilUsesHelmValues: false
    serviceMonitorSelectorNilUsesHelmValues: false
    nodeSelector:
      mynode: control-plane
    tolerations:
    - key: "node-role.kubernetes.io/control-plane"
      operator: "Equal"
      effect: "NoSchedule"


grafana:
  defaultDashboardsTimezone: Asia/Tokyo
  adminPassword: kans7969

  service:
    type: NodePort
    nodePort: 30002
  nodeSelector:
    mynode: control-plane
  tolerations:
  - key: "node-role.kubernetes.io/control-plane"
    operator: "Equal"
    effect: "NoSchedule"

defaultRules:
  create: false
alertmanager:
  enabled: false

EOT 

b. 설치

kubectl create ns monitoring
helm install kube-prometheus-stack prometheus-community/kube-prometheus-stack --version 62.3.0 -f monitor-values.yaml --namespace monitoring

c. prometheus 콘솔 접속

새로운 터미널을 열어, port-forwarding을 통해 접속합니다.

• kkumtree

2024-09-27T21:28:17+09:00

Kubernetes의 (컨셉, 혹은 콘셉트라 불리는) Concepts 중에서 Service의 주제를 다뤄봅니다.

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)를 통해 학습한 내용을 정리합니다.

Service Docs에 명료하게 적혀있긴 하지만,
단위 기능으로 잘게 쪼갠 Pod는 결국 개별적인 IP를 갖게되는데, Blue/Green 이미지 업데이트를 비롯해서 같은 기능을 하는 새로운 Pod의 IP를 다른 Pod가 IP주소 그대로 접근하기 어려워 중간에 둔 것으로 이해를 해보았습니다.

지금 레벨에서는 가정용 공유기에서 동적IP 환경에 대응하기 위해, DDNS를 사용하는 것과, MAC ADDR 기준으로 Static IP(DHCP모드시 활용)를 예약하는 것을 섞은 그 어딘가로 납득하고 계속 써보도록 하겠습니다.

• kkumtree

2024-09-18T20:52:16+09:00

CloudNet@에서 진행하고 있는 K8s Advanced Network Study(이하, KANS)를 통해 학습한 내용을 정리합니다.

스터디 진행 시, Manifests를 사용하여 Calico를 설치하였으나,
Operator를 사용하여 설치하는 방법을 정리합니다.

과제는 아니었지만, 요새 다들 Operator Framework를 사용해서 마라샹궈 볶듯이
Operator를 지지고 볶는 것 같아서 호기심에 정리해보았습니다.

참고로 Manifests를 사용하여 설치 시, 50개의 노드[1]를 초과하는 경우 Typha를 구성하여야 합니다.

Calico 설치 환경 : AWS EC2(No EKS), kubeadm[2], pod-network-cidr=172.16.0.0/16, IPIP Mode

1. Calico Routing Mode

위에 언급된 IPIP Mode를 이해하려면 Calico의 Routing Mode를 훑을 필요성이 있었습니다.
파드간 통신 시 노드 간에 encapsulation의 전략을 기준으로 나뉘어 볼 수 있겠습니다.