All Posting

이전 게시물에서 doka에 대한 간략한 설명을 했다. [go] 내가 만든 kafka-connector to kinesis, 통칭 doka-connector Golang으로 공부를 하던찰나, 이제 드디어 공부하던것이 빛을 발할때가 왔다! 통칭 doka-connector, dobby-kafka-connector이다 왜 doka를 만들었을까? 데이터팀에서 최근 개발팀에 MSK에 특정 토픽에 메시지를 dobby-isfree.tistory.com 금요일날 배포를 했고, MSK/Kinesis에 문제가 없어서 퇴근을 했다. 그리고 주말이 지났는데.. 월요일날 확인해보니 MSK에서 Offset은 업데이트가 되고 있었는데 Kinesis에는 데이터가 안들어오는 문제가 발생했다. 그리고 로그를 확인하면 아래와 같이 Put ..

Golang으로 공부를 하던찰나, 이제 드디어 공부하던것이 빛을 발할때가 왔다! 통칭 doka-connector, dobby-kafka-connector이다 왜 doka를 만들었을까? 데이터팀에서 최근 개발팀에 MSK에 특정 토픽에 메시지를 만들어 달라고 요청을 했다. 그리고 해당 메시지를 S3에 적재하고 싶어했다. 처음에는 MSK에 메시지를 쌓으면 데이터팀 S3에 적재할 수 있겠다. 쉽겠다.라고 생각했는데 여기에는 생각치 못한 문제가 있었다. 개발/데이터 Account가 분리되어 있다. 그리고 Account끼리 VPC 피어링/TransitGateway 연결이 안되어 있다. MSK는 Private Subnet에 배포되어 있어 CrossAccount에서 접근할 수가 없다. 그래서 MSK의 메시지를 AWS ..

올해 보안팀에서 Devops팀으로 업무 전환을 하였다. 보안팀에서는 보통 python 또는 bash로 대다수의 업무를 처리했었고, 특히 자동화에 대한 부분도 대부분 python으로 처리하였다. 근데 Devops팀으로 업무를 변경하고 1년정도 이제 업무를 하다보니.. Golang에 대한 필요성이 점점 많아지는것 같다. Golang이 무엇인지, 어떤 특성이 있는지는 다른분들이 아주 자세히 설명해주었기에 그런부분을 제외하고 Devops팀에서 왜 Golang 공부를 해야하는지?에 대한 내 나름의 생각을 정리해보자! 내가 더 발전하기 위해서는 Golang 공부가 필요하다! 처음에는 대부분 인프라 관리 그리고 좋은 오픈소스 도입에 초점을 맞춰서 업무를 진행했기 때문에 개발에 대한 니즈가 크지 않았다. 요구사항이 있..

이전 게시물에서 istio operator를 통합 배포를 알아보았다. 그리고 istio operator 배포 코드를 보면 profile 부분과 tag: 1.20으로 명시한것을 볼 수 있었다. 이번 게시물에서는 istio profile와 tag와 버전에 대한 자세한 정보를 살펴보고자 한다. [AWS][istio] istio-operator를 통한 istio 배포 오늘은 istio 설치 방법에 대해 정리를 해보고자 한다. istio docs를 들어가보면 다양한 설치 방법이 있다. 그리고 현재 재직중인 회사에서는 helm을 기반으로 설치를 했다. helm을 통해 istiod, istio-base, dobby-isfree.tistory.com istio operator 심화학습 istio profile isti..

오늘은 istio 설치 방법에 대해 정리를 해보고자 한다. istio docs를 들어가보면 다양한 설치 방법이 있다. 그리고 현재 재직중인 회사에서는 helm을 기반으로 설치를 했다.helm을 통해 istiod, istio-base, istio-ingressgateways를 설치하였는데 helm으로 설치하다보니 여러가지 문제가 있다.첫번째로 helm chart 및 values 파일을 관리해줘야 한다. 특히 chart 관리는 여간 귀찮은게 아니다.두번째로 관리해야하는 파일 개수가 많다. istio 컴포넌트를 현재 3개를 사용하고 있는데, 각 환경별 클러스터에 모두 설치하다보니 컴포넌트 개수 * 환경별 클러스터만큼 관리를 해야한다. 이것도 상당히 귀찮다.세번째는 istio docs에서 운영 환경일 경우에는..

[AWS][istio] istio LocalityLbSetting, CrossAZ 데이터 비용 절감 오랜만에 글을 작성한다. 게시물로 정리하고 공유하고 싶은 내용은 많은데 시간이 부족하다는 핑계로.. 글을 올리는 텀이 점점 길어진다. 이대로는 안되겠다 싶어서 최근 진행한 Istio 구조와 loca dobby-isfree.tistory.com 위 게시물에서 CrossAZ 데이터 전송 비용을 줄이기 위한 Istio LocalityLb 설정에 대해 알아보았다. 그렇다면 실제로 어떻게 Istio에서는 동일AZ 서비스를 우선 호출할 수 있을까? 이런 궁금점이 생길 수 있다. 이번 게시물에서는 Istio proxy_config에 대한 간략한 정보를 기술하려고 한다. Istio는 어떻게 Locality 정보를 확인할..

오랜만에 글을 작성한다. 게시물로 정리하고 공유하고 싶은 내용은 많은데 시간이 부족하다는 핑계로.. 글을 올리는 텀이 점점 길어진다. 이대로는 안되겠다 싶어서 최근 진행한 Istio 구조와 localityLb 설정에 대해서만 공유하고자 한다!! 잘못된 내용이 있을 수 있습니다. 잘못된 내용을 지적해주시면 확인하고 반영하도록 하겠습니다. Istio LocalityLbSetting 이란? Istio는 MSA 구조의 아키텍처 서비스를 구현할 때 일반적으로 사용되는 오픈소스이다. 그리고 MSA 구조 특성상 여러 서비스가 분리되어 있어 상시로 서비스를 호출하게 된다. 이때 CrossAZ 데이터 전송 비용이 발생한다. Istio LocalityLb는 Istio를 사용하는 환경에서 동일 AZ 서비스 엔드포인트 호출을..

2023년 8월 ~ 9월에는 나름대로 회사 업무를 같이 진행하면서 AWS DNA 활동도 진행하고 유럽 여행도 준비하고 나름 바쁘게 살았다. AWS DNA에서 입상을 해서 회사의 이름을 알릴 수 있는 기회가 있었으면 더 좋았겠지만 아쉽게 입상은 하지 못했고 공부의 회사 내 토이 프로젝트를 진행하는것으로 그치게 되었다. 하지만, 기존에는 AWS Firehose, Glue, EMR 등 데이터 파이프라인/ETL 과 관련된 서비스를 사용할 일이 많지 않았는데 사용해볼 수 있는 기회여서 좋았다. 그리고 이번에는 조금 더 확장에서 회사에서 AWS Flink를 이용해서 준? 실시간성 데이터 제공을 위한 데이터 파이프라인을 구축해보려고 한다. 잘 될지는 모르겠지만, 내가 얼마나 잘할 수 있을지는 아직 의문이지만 이 또한..

3일차, 4일차, 5일차는 해커톤이 진행되었다. 실제 재직중인 회사에서 겪고 있는 문제점을 AWS DNA 5기에서 배웠던 서비스를 토대로 문제점을 식별하고, 개선하고 발표하는거였다! 해커톤 주제 선정 가장 먼저 해야할일이 해커톤 주제 선정이였다. 필자는 AWS DNA를 신청한 사유가 명확했다. 실제로 현재 재직중인 회사에서 아래2가지 문제점이 있었고 이를 AWS DNA를 통해서 개선하고 싶었다. 서비스 로그 수집 파이프라인의 문제점 실시간 스트림 데이터에 대한 BI 제공 해커톤 진행 서비스 로그 수집 파이프라인 문제점 개선 기존에는 아래와 같이 서비스 로그를 수집하였다. Logging Operator 오픈소스를 사용하였고, 각 EKS 노드에는 Fluentbit이 배포되어있다. 그리고 Fluentbit -..