![]()
Prodmethues Metrics.. 개발을 하시거나 Devops 업무를 해보셨던분들이라면 한번쯤 들어봤을 단어이다. 아래 그림은 Prometheus 에서 제공해주는 공식 이름이다. 로직을 가장 잘 표현해주는 그림인것 같아서 가지고 왔다. Promethues가 뭔가요? Prometheus는 오픈소스 모니터링 솔루션으로, 모니터링 분야에서 가장 가장 그리고 넓게 사용되는 시스템이다. CPU, Mem, DB Connection, HTTP request count 등 모니터링이 필요한 부분을 Metrics으로 만들어서 모니터링한다. 구성은 Promethues Server + Metrics 정보를 노출한 Export Node로 구성된다. Server : 실제 Metrics을 수집하는 서버이고, 일반적으로 P..
![]()
이전 게시물에서 doka에 대한 간략한 설명을 했다. [go] 내가 만든 kafka-connector to kinesis, 통칭 doka-connector Golang으로 공부를 하던찰나, 이제 드디어 공부하던것이 빛을 발할때가 왔다! 통칭 doka-connector, dobby-kafka-connector이다 왜 doka를 만들었을까? 데이터팀에서 최근 개발팀에 MSK에 특정 토픽에 메시지를 dobby-isfree.tistory.com 금요일날 배포를 했고, MSK/Kinesis에 문제가 없어서 퇴근을 했다. 그리고 주말이 지났는데.. 월요일날 확인해보니 MSK에서 Offset은 업데이트가 되고 있었는데 Kinesis에는 데이터가 안들어오는 문제가 발생했다. 그리고 로그를 확인하면 아래와 같이 Put ..
![]()
Golang으로 공부를 하던찰나, 이제 드디어 공부하던것이 빛을 발할때가 왔다! 통칭 doka-connector, dobby-kafka-connector이다 왜 doka를 만들었을까? 데이터팀에서 최근 개발팀에 MSK에 특정 토픽에 메시지를 만들어 달라고 요청을 했다. 그리고 해당 메시지를 S3에 적재하고 싶어했다. 처음에는 MSK에 메시지를 쌓으면 데이터팀 S3에 적재할 수 있겠다. 쉽겠다.라고 생각했는데 여기에는 생각치 못한 문제가 있었다. 개발/데이터 Account가 분리되어 있다. 그리고 Account끼리 VPC 피어링/TransitGateway 연결이 안되어 있다. MSK는 Private Subnet에 배포되어 있어 CrossAccount에서 접근할 수가 없다. 그래서 MSK의 메시지를 AWS ..
![]()
올해 보안팀에서 Devops팀으로 업무 전환을 하였다. 보안팀에서는 보통 python 또는 bash로 대다수의 업무를 처리했었고, 특히 자동화에 대한 부분도 대부분 python으로 처리하였다. 근데 Devops팀으로 업무를 변경하고 1년정도 이제 업무를 하다보니.. Golang에 대한 필요성이 점점 많아지는것 같다. Golang이 무엇인지, 어떤 특성이 있는지는 다른분들이 아주 자세히 설명해주었기에 그런부분을 제외하고 Devops팀에서 왜 Golang 공부를 해야하는지?에 대한 내 나름의 생각을 정리해보자! 내가 더 발전하기 위해서는 Golang 공부가 필요하다! 처음에는 대부분 인프라 관리 그리고 좋은 오픈소스 도입에 초점을 맞춰서 업무를 진행했기 때문에 개발에 대한 니즈가 크지 않았다. 요구사항이 있..
