분류 전체보기

[4주차] AEWS Amazon EKS 워크숍 스터디 (23.05.14)

들어가며 이번 주차에는 EKS Observability에 대해 학습했다. 지난 PKOS 스터디에서 kOps 클러스터에서 Prometheus + Grafana 기반의 로깅 모니터링에 대해서 학습했었고, 이번 스터디도 EKS 클러스터 환경에서 비슷한 내용을 배웠고, AWSManagement Console의 사용법에 대해서도 배울 수 있었다. 세미나에서 배운 내용은 주로 애플리케이션의 실행 상태나 오류, 경고등을 모니터링할 수 있는 Log trace 관련 내용이었다. 요즘은 더 나아가서 코드의 실행경로와 이벤트 흐름을 추적하여 성능 분석 및 개선을 할 수 있는 Application trace도 많이 사용한다고 한다. EKS 콘솔 AWS Management Console을 사용하여 Kubernetes API를 ..

[3주차] AEWS Amazon EKS 워크숍 스터디 (23.05.07)

들어가며 이번 주차에는 EKS에서 저장공간을 관리하는 방법에 대해 학습했다. 스토리지 관리는 매우 중요하지만 필자는 자주 접해보진 못한 업무였다. 보통 테스트 서버 또는 운영서버에 할당된 리소스에 애플리케이션을 배포하거나, 필요한 경우 추가 저장소를 마운트 하는 정도로만 가끔 사용했었다. 저번 PKOS 스터디에서도 다양한 프로비저닝 방식을 배웟듯이 이번 세미나에서도 AWS에서 스토리지를 프로비저닝 하는 다양한 방식을 학습할 수 있었다. 이번 글의 주요 내용은 Kubernetes에서 주로 사용하는 스토리지인 PV/PVC를 AWS에서 제공하는 서비스와 연동하여 동적 프로비저닝 하는 것이다. Kubernetes 저장공간에 대하여 Kubernetes 에서 저장공간이란 Pod(Pod 내부의 컨테이너 애플리케이션)..

[2주차] AEWS Amazon EKS 워크숍 스터디 (23.04.30)

들어가며 이번 주차에는 EKS Networking에 대해서 학습했다. 이전 PKOS 스터디에서도 네트워크 부분이 많이 어려웠는데, 실습과 과제를 통해서 개념을 한번더 다잡아 보는 시간이 되길 바라며 포스팅을 시작한다. 실습환경 세팅 2주차부터는 Amazon EKS를 CloudFormation을 이용하여 배포한다. 스터디 그룹장인 가시다님께서 작성하신 CloudFormation 파일은 1.24버전의 Kubernetes를 사용하는데, 실습의 애플리케이션과 addon의 호환성을 고려한 것이라고 한다. 또한 애플리케이션이 3개의 카피로 동기화 되는 경우가 있기 때문에 AZ가 3개로 구성하여 프로덕션 환경에 맞춰서 온디맨드 노드로 구성했다고 한다. kube-proxy, coredns, aws vpc-cni와 같은..

[1주차] AEWS Amazon EKS 워크숍 스터디 (23.04.23)

들어가며 지난 PKOS(Production Kubernetes Online Study)에 이어 새로운 워크숍 스터디인 AEWS(AWS EKS Workshop Study)에 참여하게 되었다. PKOS에서는 kOps를 이용하여 클러스터 환경을 구축했었는데, 이번에는 업계에서 가장 많이 사용하고 있는 EKS(Amazon Elastic Kubernetes Service)를 기반으로 클러스터 환경을 구축한다. 자체 Kubernetes 컨트롤 플레인을 운영하고 유지 관리해야 했던 kOps와는 달리 EKS에서는 관리형 서비스 형태로 컨트롤 플레인을 사용할 수 있도록 해준다. 운영을 위해 숙지해야할 클러스터 환경에 대한 내용과 네트워크, 스토리지, 보안 개념 등을 배우게 된다. 이번 주차에는 Amazon EKS를 설치..

JMeter 사용법 및 Springboot App 부하테스트

들어가며 Application을 개발한 뒤 성능을 테스트할 필요가 있다. 예상되는 실제 사용량 또는 부하를 시뮬레이션하여 만들어진 Application의 한계를 확인하고, 개선을 통해 안정적으로 서비스를 제공할 수 있기 때문이다. 부하 테스트를 수행하면 Application이 실제 사용 시나리오에서 어떤 성능을 보이는지, 동시에 사용자 수가 증가할 때 시스템이 어떻게 반응하는지 등을 확인할 수 있다. 이를 통해 문제를 개선할 수 있는 지점을 찾아낼 수 있게 된다. 이번 포스팅에서는 Springboot를 기반으로 개발한 WAS를 Apache Software Foundation에서 개발한 Java 기반의 오픈 소스 부하테스트 도구인 JMeter를 이용하여 테스트하는 법에 대해 알아보도록 한다. Apache ..

Kerberos Authentication을 이용한 Kafka 보안

들어가며 이번 포스팅에서는 MSA 기반 시스템에서 이벤트 파이프라인 역할을 주로 하는 Kafka(카프카)의 보안 방식에 대해 알아보도록 한다. 카프카 클러스터는 기본적으로 암호화 인증이나 ACLs 설정이 되어 있지 않다. 그래서 모든 클라이언트는 PLAINTEXT 포트를 사용하여 통신이 가능하다. 또한 네트워크 분할 and/or ACLs를 사용하여 신뢰할 수 있는 IP만 접근이 가능하도록 제한할 수 있다. 접근 제어 목록 - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. 접근 제어 목록[1](access control list, ACL) 또는 액세스 제어 목록[2]은 개체나 개체 속성에 적용되어 있는 허가 목록을 말한다. 이 목록은 누가 또는 무엇이 객체 접 ko.wikipedia.o..

Docker Image 사이즈 줄이기

들어가며 이번 포스팅에서는 효과적으로 Docker image를 빌드하여 사이즈를 줄이는 방법에 대해서 알아보도록 한다. 필자는 주로 Spring Boot App을 빌드/배포한다. 오늘 다룰 조사내용을 알게 되기 이전에는 이미지의 크기가 마이크로서비스 하나당 약 700M 정도 잡아먹었다. 하지만 지금은 약 300M 정도까지 줄여서 사용하고 있다. ( x 마이크로 서비스 갯수 x 버전별 이미지 이런 식으로 계산해 보면 레이어가 재활용된다고 해도 생각보다 큰 용량을 차지하게 된다.) Docker Image에 대하여 Docker Image는 원하는 프로세스를 구동하기 위한 모든 파일들을 한번에 묶은 것이다. Docker Image는 순수한 파일들의 집합으로써 메모리 정보나 독자적인 형식으로 저장된 시스템 정보 ..

Microservice Architecture의 서비스 설계, 개발, 관리 방식

들어가며 마이크로서비스 입문 단계에서 가장 고민스러운 부분은 '거대한 하나의 시스템을 어떤 식으로 나누는 것이 좋은가?' 이다. 필자가 2년간 마이크로서비스 기반으로 시스템을 설계하면서 느낀 것은 답은 정해져 있지 않다는 것이다. 고객과 약속한 SLA(Service Level Agreement)가 존재하거나, 시스템에서 미션크리티컬한 기능, 또는 관리적인 부분, 생산성을 위한 젼략 등 중요하게 생각하는 관점이 매번 달라지기 때문이다. 개발자가 반복문을 사용함에 있어 for 문 foreach 문 while 문 중 하나를 선택하여 개발하는 것처럼 시스템에서 제공해야 할 기능을 잘 동작한다면 상관없다. 하지만 필자가 처음 설계할 때는 뭔가 정답이 있을 것만 같아서 개운치 않은 기분을 느낀 적이 많았다. 이번 ..

[7주차] PKOS 쿠버네티스 실무 실습 스터디 (23.02.26)

스터디에서 진행하는 이론 및 실습은 PKOS 스터디 자료 및 이정훈 님의 "24단계 실습으로 정복하는 쿠버네티스" 서적의 내용을 기반으로 합니다. 24단계 실습으로 정복하는 쿠버네티스 | 위키북스 | 이정훈 | 링크 24단계 실습으로 정복하는 쿠버네티스 | 이정훈 - 교보문고 24단계 실습으로 정복하는 쿠버네티스 | 실무 현장의 경험을 고스란히 담은 쿠버네티스 실습서!직접 해야만 알 수 있는 것들이 있습니다. 쿠버네티스도 마찬가지입니다. 쿠버네티스의 기반이 되 product.kyobobook.co.kr 들어가며 이번 주 스터디에서는 kOps Cluster (Kubernetes Cluster)의 보안 구성에 대한 내용을 배웠다. 회사에서 개발하는 서비스를 오픈하기 전에 반드시 신경 써야 할 부분이 보안이다..

[6주차] PKOS 쿠버네티스 실무 실습 스터디 (23.02.19)

스터디에서 진행하는 이론 및 실습은 PKOS 스터디 자료 및 이정훈 님의 "24단계 실습으로 정복하는 쿠버네티스" 서적의 내용을 기반으로 합니다. 24단계 실습으로 정복하는 쿠버네티스 | 위키북스 | 이정훈 | 링크 24단계 실습으로 정복하는 쿠버네티스 | 이정훈 - 교보문고 24단계 실습으로 정복하는 쿠버네티스 | 실무 현장의 경험을 고스란히 담은 쿠버네티스 실습서!직접 해야만 알 수 있는 것들이 있습니다. 쿠버네티스도 마찬가지입니다. 쿠버네티스의 기반이 되 product.kyobobook.co.kr 들어가며 이번 주 스터디에서는 kOps Cluster (Kubernetes Cluster)의 node들의 매트릭을 통해 Slack으로 알림을 전송하고, Pod들의 Log를 수집한 후 Grafana에서 모니..

[5주차] PKOS 쿠버네티스 실무 실습 스터디 (23.02.12)

들어가며 이번주 스터디에서는 kOps Cluster (Kubernetes Cluster)의 node들의 매트릭을 수집하는 방법에 대하여 학습했다. kOps 클러스터에 매트릭 서버를 설치한 다음 각 노드들의 Kubelet에 존재하는 cAdvisor가 수집한 데이터를 Prometheus에 단일 차트화 한 다음 Grafana를 통해 시각화를 하는 방법에 대해 알 수 있었다. 스터디 내용에 앞서 간략하게 두 OSS (Open Source Software)에 대해 알아보자. Prometheus Prometheus는 이벤트 모니터링과 경고에 사용되는 무료 소프트웨어 애플리케이션 툴이다. 유연한 쿼리와 실시간 경고 기능이 있으며 시계열 데이터베이스에 실시간 매트릭을 기록한다. CNCF Graduated 프로젝트다. ..

[4주차] PKOS 쿠버네티스 실무 실습 스터디 (23.02.04)

들어가며 이번 글에서는 지난주 kOps기반 gitOps 기술에 대한 스터디에서 배운 내용을 정리하도록 한다. GitOps는 평소에도 관심 가지고 부서에 도입하고자 했던 기술이었고, 이 내용을 스터디에서 다루게 되어 좋았다. 사용한 OSS(Open Source Software)인 Harbor, Gitlab, ArgoCD는 목적에 따라 개별적으로 프로젝트에 적용해 본 경험이 있었다. 스터디에서 한번에 연계해서 사용해보고 나니 생각보다 난이도가 높지 않고 적용해 볼 만하다 싶었다. 스터디 진행전 간단하게 각 OSS의 소개 및 용도에 대해 간략히히 정리하고 넘어가도록 한다. Harbor 오픈소스 기반 이미지 레지스트리로써, 다른 SaaS형 이미지 레지스트리와 다르게 Onpremeis와 같은 격리된 환경에서 직접..

[3주차] PKOS 쿠버네티스 실무 실습 스터디 (23.01.29)

들어가며 이번 글에서는 Kubernetes Ingress 및 Kubernetes Storage에 대해 스터디에서 배운 내용을 정리하도록 한다. Ingress (네트워크 스터디 과정의 연속) Ingress는 kubernetes cluster 내부의 서비스들을 외부로 노출하는 데 사용한다. 스터디 환경에서는 AWS Load Balacer Controller를 Ingress에 연결하여 사용했다. NLB의 경우 TCP, UDP 등 많은 프로토콜을 지원하지만, Ingress ALB의 경우 HTTP/HTTPS 프로토콜만 지원한다. IAM Policy에 AllowExtenerDNSUpdates policy와 AllowExternalDNSUpdates를 각 Leader/Follow Node에 할당한다. 참고: AWSL..

[2주차] PKOS 쿠버네티스 실무 실습 스터디 (23.01.15)

들어가며 이번 글에서는 Kubernetes Network에 대해 스터디에서 배운 내용을 정리하도록 한다. Kubernetes는 클러스터 내부 통신을 위해 Network Plugin을 사용한다. 플러그인은 CNI(Container Network Interface)를 사용한 다양한 오픈소스를 이용하는데, 그중 Calico를 많이 사용하는 것 같다. 사내에 구축한 Kubernetes Cluster 역시 Calico 기반이다. Kubernetes Pod는 Container들로 구성되는데 Pod의 Pause 컨테이너를 통해 하나의 IP를 할당할 수 있다. (Container 개별적으로 접근하려면 Port를 이용해야 한다.) Pod 들은 Node(Host)의 이더넷 카드를 이용하여 외부로 통신한다. 여기서 외부는 ..

[1주차] PKOS 쿠버네티스 실무 실습 스터디 (23.01.08)

들어가며 사내 실험용 서버팜을 EKS 기반으로 구축하기 위해 노력 중이었다. 그러던 중 AWS 환경에서 쿠버네티스 실무 실습 스터디 모집을 한다는 소식을 우연히 접하게 되어 바로 신청했고, 운이 좋게 40여 명의 스터디 인원중 한 명으로 참여할 수 있게 되었다. AWS가 아직은 익숙하지 않았기에, ‘이번 기회에 열공 해서 제대로 감을 잡아 보자!’ 하는 마음으로 보내주신 스터디 사전 지식들을 학습하기 시작했다. 지난 일요일(23.01.08) 본격적으로 1주차 실습에 임하게 되었다. 스터디는 정말 군더더기 없이 유용한 정보들과 함께 빠르게 진행되었다. 스터디 리더이신 가시다님께서 커리큘럼과 진행에 대해 많은 고민을 하신 것이 온몸으로 느껴졌다. 아직 스터디를 접하지 못한 Cloud 또는 DevOps 엔지니..

[Istio] Istio Service mesh 튜토리얼 후기

들어가며 Istio Service Mesh 는다양한 장점을 가지고 있지만, 그중 필자가 도입하고자 하는 이유는 두 가지다. 첫 번째, 서비스간 상호작용 추적 운영 중인 서비스간 상호 관계를 파악하기 위한 방법은 전술적 설계 과정의 개발 산출물을 토대로 서비스의 연관성을 확인한 후, Datadog의 이벤트 로그들을 확인하며 검증하는 방법뿐이다. Istio Service Mesh의 Sidecar를 기반으로 한 운영 가시화가 매력적이었다. 또한 Sidecar를 이용하여 상호 작용이 불가능한 서비스 결함을 사전 탐지할 수 있는 점도 좋았다. 두 번째, Circuit breaker 도입 운영 중인 서비스에 Circuit breaker를 도입하기 위함이다. 플랫폼이 Polyglot 한 마이크로 서비스 구조로 변경되..

[Kubernetes] DEVOCEAN - 김정기 전문가(SK Telecom)님의 멘토링

들어가며 9월, 적잖은 노력 끝에 2개의 MSA 프로젝트를 성공적으로 Kubernetes 환경에 배포하게 되었다. 이제 우리 회사도 탄력적인 클라우드 인프라를 사용할 수 있는 환경이 조성되었다는 뿌듯함과 함께 2가지 미해결 사항이 마음을 무겁게 하고 있다. 첫 번째, CI/CD 환경 구축 프로젝트가 아직 연구단계이기 때문에 도메인 요구사항이 계속 발굴되고, 자잘한 버그들이 많은 상황이다. 그래서 하루 평균 10~20번 정도 빌드와 배포를 반복하고 있다. 프론트엔드의 경우 단일 프로젝트라 한 번의 빌드로 끝나지만, Micro serice들 상호 간에 패치를 진행하면 빌드 횟수는 n배로 늘어나는 상황이다. 사업이 어느 정도 일단락되는 시점에 CI/CD에 대한 탈출구를 찾아야한다. 두 번째, Distribut..

[Kubernetes]Nginx 이미지를 이용한 간단한 쿠버네티스 프로젝트

들어가며 MSA에 입문한 뒤로 블로그에 글을 올라는 횟수가 대폭 줄었다.. 회사에 제안한 MSA 기반 프로젝트를 진행하면서 학습량이 많이 증가했기 때문이다. (서비스 나누는 법을 알기 위해 이벤트 스토밍을 공부하고.. 서비스를 잘 만들기 위해 DDD와 객체 지향도 들여다보고.. Spring framework와도 이제 아주 조금은 친해진것 같기도 합니다.) 3번째로 진행하는 MSA 기반 프로젝트는 시스템 규모가 좀 있다 보니 마이크로 서비스가 18개 정도 도출되었다. 1, 2번째 진행한 MSA 기반 프로젝트들은 서비스 개수가 6~8개 정도였기 때문에 Kong 기반 API gateway + Docker compose 환경에서 처리가 가능했다. 하지만 진행 중인 프로젝트는 서비스의 개수도 많고, 상황에 따른 ..

[MSA] 헥사고날 아키텍처(Hexagonal Architecture)

들어가며 이번 글에서는 이벤트 스토밍 결과물을 실제로 구현할 수 있도록 표현하는 헥사고날 아키텍처에 대해 알아보도록 한다. 이벤트 스토밍이 생소하다면 다음의 글을 먼저 참고하기 바란다. 2022.02.15 - [MSA 설계 & 도메인 주도 설계] - [MSA] 이벤트 스토밍(Event storming) [MSA] 이벤트 스토밍(Event storming) 들어가며 필자가 이벤트 스토밍을 진행할 때 헷갈리는 부분은 2가지였다. 첫 번째는 다양한 포스트잇 색상의 의미였고, 두 번째는 활동의 진행 순서였다. 이번 글에서는 이 두 가지에 대한 요 devlos.tistory.com 헥사고날 아키텍처란? 헥사고날 아키텍처는 소프트웨어 설계에 사용되는 아키텍처 패턴 중 하나다. 포트와 어댑터를 통해 여러 소프트웨어 ..

[MSA] 이벤트 스토밍(Event storming)

들어가며 필자가 이벤트 스토밍을 진행할 때 헷갈리는 부분은 2가지였다. 첫 번째는 다양한 포스트잇 색상의 의미였고, 두 번째는 활동의 진행 순서였다. 이번 글에서는 이 두 가지에 대한 요약을 먼저 하고, 필자가 이벤트 스토밍을 진행하며 참고한 자료 및 예시들을 공유하려 한다. 필자는 처음 진행할 때 많이 헷갈렸지만 아래 두 내용을 참고하여 4~5개의 주제로 진행해보니 익숙해졌다. 만약 애그리거트가 무엇인지 생소하다면 아래의 글을 먼저 읽는 것이 도움이 될 것이다. 2022.02.06 - [MSA 설계 & 도메인주도 설계] - [DDD] 애그리거트란? [DDD] 애그리거트란? 들어가며 도메인 주도 설계 전문가분들과 대화하거나, MSA 관련 강의를 수강할 때 반드시 언급되는 "애그리거트"에 대해서 명확히 이..