[kubernetes] 인그레스(Ingress)를 사용하여 HTTP(S) 부하 분산기 구성 #2 - HTTPS 부하 분산
개요
이전 시간에는 HTTP 트래픽에 대한 부하 분산기 구성에 대해 알아보았다. 이번 시간에는 HTTPS 트래픽에 대한 부하 분산기 구성에 대해서 알아 보도록 하자.
구성환경
kubernetes v1.17.4, docker-ce 19.03.8, nginx-ingress-controller 0.30.0
구성절차
| 1. ngninx-ingress-controller 설치 및 서비스 생성 2. 앱 배포 만들기 3. 인증서 및 키 만들기 4. 인그레스에 대한 인증서 지정 5. 부하 분산기 테스트 |
1. ingress-controller 설치 및 서비스 생성
1.1 nginx-ingress-controller 설치
| shell> kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.30.0/deploy/static/mandatory.yaml namespace/ingress-nginx unchanged configmap/nginx-configuration unchanged configmap/tcp-services unchanged configmap/udp-services unchanged serviceaccount/nginx-ingress-serviceaccount unchanged clusterrole.rbac.authorization.k8s.io/nginx-ingress-clusterrole unchanged role.rbac.authorization.k8s.io/nginx-ingress-role unchanged rolebinding.rbac.authorization.k8s.io/nginx-ingress-role-nisa-binding unchanged clusterrolebinding.rbac.authorization.k8s.io/nginx-ingress-clusterrole-nisa-binding unchanged deployment.apps/nginx-ingress-controller created limitrange/ingress-nginx configured shell> |
1.2 확인
| shell> kubectl get pod -n ingress-nginx -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginx-ingress-controller-7f74f657bd-9zgfp 1/1 Running 0 3m15s 10.45.0.1 worker2 shell> kubectl get deploy -n ingress-nginx NAME READY UP-TO-DATE AVAILABLE AGE nginx-ingress-controller 1/1 1 1 4m19s shell> |
- nginx-ingress-controller 파드는 master 노드에서 실행되지 않기를 권고한다. nginx-ingress-controller는 DNS서브도메인의 IP를 가진 Worker Node에서 실행되도록한다. 특정 노드에서 nginx-igress-controller가 실행될수 있도록 아래의 예시를 참조하도록 한다..
- 예시 ) woker2 노드에서 실행중인 ingress-controller를 woker1로 변경
| shell> kubectl get node NAME STATUS ROLES AGE VERSION master1 Ready master 16d v1.17.4 master2 Ready master 15d v1.17.4 master3 Ready master 16d v1.17.4 woker1 Ready <none> 16d v1.17.4 worker2 Ready <none> 22h v1.17.4 shell> kubectl get pod -n ingress-nginx -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginx-ingress-controller-7f74f657bd-9zgfp 1/1 Running 0 23m 10.45.0.1 worker2 shell> kubectl label nodes worker1 node-role.kubernetes.io/ingress="true" node/worker1 labeled shell> kubectl -n ingress-nginx patch deployment nginx-ingress-controller -p '{"spec": {"template": {"spec": {"nodeSelector": {"node-role.kubernetes.io/ingress": "true"}}}}}' deployment.apps/nginx-ingress-controller patched shell> kubectl get pod -n ingress-nginx -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginx-ingress-controller-844c7cd44f-s7xjr 1/1 Running 0 2m2s 10.38.0.3 worker1 shell> kubectl get node NAME STATUS ROLES AGE VERSION master1 Ready master 16d v1.17.4 master2 Ready master 31h v1.17.4 master2 Ready master 16d v1.17.4 worker1 Ready ingress 16d v1.17.4 worker2 Ready <none> 16d v1.17.4 shell> |
1.3 인그레스 서비스 생성
| shell> kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/nginx-0.30.0/deploy/static/provider/cloud-generic.yaml service/ingress-nginx created shell> kubectl get service -n ingress-nginx NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE ingress-nginx LoadBalancer 10.98.191.164 <pending> 80:30998/TCP,443:31101/TCP 89s shell> |
EXTERNAL-IP가 pending 상태로 지속된다면 아래 명령어로 EXTERNAL-IP를 추가해 주도록 한다. 여기서 EXTERNAL-IP는 DNS서브도메인의 IP이다.
| shell> kubectl patch svc ingress-nginx -n ingress-nginx -p '{"spec": {"type": "LoadBalancer", "externalIPs":["192.168.0.148"]}}' service/ingress-nginx patched shell> kubectl get svc -n ingress-nginx NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE ingress-nginx LoadBalancer 10.98.191.164 192.168.0.148 80:30998/TCP,443:31101/TCP 24m shell> |
1.4 참조 : ingress controller 버전 확인 방법
| shell> POD_NAMESPACE=ingress-nginx shell> POD_NAME=$(kubectl get pods -n $POD_NAMESPACE -l app.kubernetes.io/name=ingress-nginx -o jsonpath='{.items[0].metadata.name}') shell> kubectl exec -it $POD_NAME -n $POD_NAMESPACE -- /nginx-ingress-controller --version ------------------------------------------------------------------------------- NGINX Ingress controller Release: 0.30.0 Build: git-7e65b90c4 Repository: https://github.com/kubernetes/ingress-nginx nginx version: nginx/1.17.8 ------------------------------------------------------------------------------- shell> |
2. 앱 배포 만들기
[kubernetes] 인그레스(Ingress)를 사용하여 HTTP(S) 부하 분산기 구성 #1 - HTTPS 부하 분산 의 2. 앱 배포 참조
3. 인증서(사설) 및 키 만들기
| shell> openssl genrsa -out hoya.key 2048 Generating RSA private key, 2048 bit long modulus (2 primes) .....................................+++++ ........................................+++++ e is 65537 (0x010001) shell> openssl req -new -key hoya.key -out hoya.csr -subj "/CN=www.hoya.com" shell> openssl x509 -req -days 365 -in hoya.csr -signkey hoya.key -out hoya.crt Signature ok subject=CN = www.hoya.com Getting Private key shell> ls hoya.crt hoya.csr hoya.key nginx-ingress-controller.yaml static-ip-svc.yaml shell> |
4. 인그레스에 대한 인증서 지정
4.1 부하 분산기의 인증서 제공
| shell> kubectl create secret tls hoya-com-secret --cert hoya.crt --key hoya.key secret/hoya-com-secret created shell> |
4.2 인그레스 만들기
- 인그레스 매니페스트(hoya-com-ingress.yaml)
| apiVersion: extensions/v1beta1 kind: Ingress metadata: name: hoya-com-ingress annotations: nginx.ingress.kubernetes.io/rewrite-target: /$1 # 트래픽을 리디렉션해야하는대상 URI spec: tls: - secretName: hoya-com-secret rules: - host: www.hoya.com http: paths: - path: / backend: serviceName: web servicePort: 8080 - path: /v2/* backend: serviceName: web2 servicePort: 8080 |
* 인그레스 rewrite 설정 : https://kubernetes.github.io/ingress-nginx/examples/rewrite/
- 인그레스 리소스 생성 및 확인
| shell> kubectl apply -f hoya-com-ingress.yaml ingress.extensions/hoya-com-ingress created shell> kubectl get ingress NAME HOSTS ADDRESS PORTS AGE hoya-com-ingress www.hoya.com 192.168.0.148 80, 443 33s shell> |
5. 부하 분산기 테스트
| shell> curl -k https://www.hoya.com/ Hello, world! Version: 1.0.0 Hostname: web-9bbd7b488-rdmf2 shell> shell> curl -k https://www.hoya.com/v2/ Hello, world! Version: 2.0.0 Hostname: web2-74cf4946cc-m2bxg shell> |
참고
웹서버를 운영하다 보면 웹접속 로그를 분석할 경우가 많이 있다. 근데 인그레스 구성에서 클러스터 외부에서 컨테이너 접속을 할경우 컨테이너에서는 실제 접속하는 클라이언트의 IP를 확인할 수 없다. 그 이유는 nginx-ingress-controller에 패킷이 도착전 SNAT가 먼저 이루어지기 때문인데, 컨테이너에서 클러스터 외부에서의 웹접속 로그를 보면 모두 cni의 IP가 찍히는 것을 알수 있다. 이를 해결할 방법으로는 클러스터 외부에 proxy 서버를 구성하여 X-Forwarded-For 헤더를 추가해 주어야만 한다.
참조 문서 :
- 인그레스 컨트롤러 설치 : https://kubernetes.github.io/ingress-nginx/deploy/
- 인그레스 구성 : https://cloud.google.com/kubernetes-engine/docs/how-to/ingress-multi-ssl?hl=ko