전체 글

오랜만에 글을 작성한다. 게시물로 정리하고 공유하고 싶은 내용은 많은데 시간이 부족하다는 핑계로.. 글을 올리는 텀이 점점 길어진다. 이대로는 안되겠다 싶어서 최근 진행한 Istio 구조와 localityLb 설정에 대해서만 공유하고자 한다!! 잘못된 내용이 있을 수 있습니다. 잘못된 내용을 지적해주시면 확인하고 반영하도록 하겠습니다. Istio LocalityLbSetting 이란? Istio는 MSA 구조의 아키텍처 서비스를 구현할 때 일반적으로 사용되는 오픈소스이다. 그리고 MSA 구조 특성상 여러 서비스가 분리되어 있어 상시로 서비스를 호출하게 된다. 이때 CrossAZ 데이터 전송 비용이 발생한다. Istio LocalityLb는 Istio를 사용하는 환경에서 동일 AZ 서비스 엔드포인트 호출을..

2023년 8월 ~ 9월에는 나름대로 회사 업무를 같이 진행하면서 AWS DNA 활동도 진행하고 유럽 여행도 준비하고 나름 바쁘게 살았다. AWS DNA에서 입상을 해서 회사의 이름을 알릴 수 있는 기회가 있었으면 더 좋았겠지만 아쉽게 입상은 하지 못했고 공부의 회사 내 토이 프로젝트를 진행하는것으로 그치게 되었다. 하지만, 기존에는 AWS Firehose, Glue, EMR 등 데이터 파이프라인/ETL 과 관련된 서비스를 사용할 일이 많지 않았는데 사용해볼 수 있는 기회여서 좋았다. 그리고 이번에는 조금 더 확장에서 회사에서 AWS Flink를 이용해서 준? 실시간성 데이터 제공을 위한 데이터 파이프라인을 구축해보려고 한다. 잘 될지는 모르겠지만, 내가 얼마나 잘할 수 있을지는 아직 의문이지만 이 또한..

3일차, 4일차, 5일차는 해커톤이 진행되었다. 실제 재직중인 회사에서 겪고 있는 문제점을 AWS DNA 5기에서 배웠던 서비스를 토대로 문제점을 식별하고, 개선하고 발표하는거였다! 해커톤 주제 선정 가장 먼저 해야할일이 해커톤 주제 선정이였다. 필자는 AWS DNA를 신청한 사유가 명확했다. 실제로 현재 재직중인 회사에서 아래2가지 문제점이 있었고 이를 AWS DNA를 통해서 개선하고 싶었다. 서비스 로그 수집 파이프라인의 문제점 실시간 스트림 데이터에 대한 BI 제공 해커톤 진행 서비스 로그 수집 파이프라인 문제점 개선 기존에는 아래와 같이 서비스 로그를 수집하였다. Logging Operator 오픈소스를 사용하였고, 각 EKS 노드에는 Fluentbit이 배포되어있다. 그리고 Fluentbit -..

AWS DNA, 매우 유익한 시간이었다. 결론부터 말하자면 AWS DNA는 매우 유익한 시간이라고 생각한다. AWS DNA 5기는 데이터 분석과 파이프라인에 대한 한가지 주제로 진행되었고, 마침 재직 중인 회사에서 고민하고 있던 주제과 일치하였다. 어떻게하면 데이터 파이프라인을 고도화할 수 있을까? 실시간 스트림 데이터를 어떻게 제공할 수 있을까? AWS DNA를 통해 데이터와 관련된 서비스에 대한 집중 교육을 하고, 핸즈온 교육을 하였다. 이를 통해 평소 사용하지 않는 AWS 서비스에 대해 경험해볼 수 있어 좋았다. 특히 실제 재직중인 회사의 데이터 파이프라인에 적용하여, 좋은 성과를 내기도 했다. 실제로 AWS DNA를 통해서 데이터 파이프라인을 고도화하였고, 해커톤에서 이를 발표하여 피드백을 받기도..

ArgoCD와 Github 연동 및 Webhook까지 설정했다면 이제 남은것을 배포를 위한 Application을 설정하는 것만 남았다!! [ArgoCD] Github 연동 및 Webhook Event 설정 방법 앞선 게시물을 통해 ArgoCD를 설치하였다. 그러면 이제 어떻게 Github Event를 받고 Application을 생성하는지에 대해 알아보자! [ArgoCD] CD Tool 도입개요 및 설치방법 현재 재직중인 회사에서는 Github Action dobby-isfree.tistory.com 배포를 하기 위해서는 먼저 배포할 Cluster를 설정해야 한다. 그리고 이 경우에는 각 환경별로 ArgoCD를 구성하는 방법이 있고, 1대의 ArgoCD에서 모두 관리하는 Multi-Cluster 방법이..