티스토리

코비 is 뭔들

검색하기

블로그 홈

코비 is 뭔들

dobby-isfree.tistory.com/m

Kobby 님의 블로그입니다.

구독자: 6

방명록 방문하기

주요 글 목록

[CICD] Jenkins 설치 방법과 간단 사용법 현 재직중인 회사에서는 Github Action을 통해서 이미지를 빌드하고(흔히 말하길 CI 과정), Argocd를 통해서 배포(흔히 말하길 CD 과정)을 진행하고 있다. 이처럼 Github Action + Argocd 조합으로 CI/CD 프로세스로 되어 있는 회사들이 많이 있다. Github Action을 사용해본 사람들이라면 공감하겠지만, 생각보다 Github 장애 발생 비율이 적지 않다. 그리고 Github Action에 완전히 의존하는 경우에는 장애 상황에서는 배포를 할 수 없는 어려움이 있다. 그래서 일부 회사에서는 IDC 환경에 GitLab을 사용하기도 하고, Jenkins를 사용하기도한다.필자는 지금까지 Github Action + Argocd 조합만 사용해봤기 때문에 Jenkins와 어떤 .. 공감수 0 댓글수 0 2025. 2. 19.
[AWS]CloudFront Signed-URL 활용하기(One Time 우회 구현) 현재 재직중인 회사에서는 일부 CS 처리를 위해서 운영하는 웹페이지가 존재한다.그리고 제한된 목적으로 사용되는만큼 해당 웹페이지는 특정 사용자만 접근을 하도록 접근제한을 하고 있다. 기존에는 IP를 기반으로 접근제한을 하고 있었으나, 일단 클라이언트 IP는 유동적이며 최근 IPv6를 지원하는 단말기가 많아짐에 따라서 IP로 접근제한하는것에는 한계를 느끼고 있다. 그래서 여러가지 방안을 찾아보고 있었는데 AWS CloudFront에서 Signed-URL을 활용하면 될것 같아서, 이에 대해 기술하고자 한다.- FE 코드 수정을 한다면, 다른 방법이 있을 수 있겠지만 니즈는 현재의 코드는 변경없이 인프라 단계에서 조치를 하고 싶었다.CloudFront Signed-URL 개요쉽게 말하면 One-Time-Pas.. 공감수 0 댓글수 0 2024. 12. 12.
[AWS][AI] RAG기반의 생성형 AI Chatbot 성능 끌어올리기 이전 게시물을 통해서 AWS Bedrock, 특히 KnoeledgeBase를 통해서 생성형 AI Chatbot 구현에 대한 게시물을 작성했다.하지만, `AI Chatbot 구현하기 use Bedrock KnowledgeBase` 게시물 하단에 적은것과 같이 아직 고도화해야할 점이 많다. [AWS][AI] AWS Bedrock KnowledgeBase 사용 방법아래 게시물에서 AI에 대해서 짧게 나마 공부하였고, 그래서 어떻게 구현할 수 있을까? 관심을 가지게되었다. [AI] 요즘은 안하는 사람이 없다는 Gen AI, 나도 해보자.요즘 뉴스, 유튜브를 보면 첫dobby-isfree.tistory.com [AWS][AI] AI Chatbot 구현하기 use Bedrock KnowledgeBaseBedroc.. 공감수 5 댓글수 2 2024. 11. 21.
[발표] AWSCommunityDay 2024, 혼자서도 만들 수 있는 클라우드 기반 장애 알람 시스템 AWS를 참 많은 커뮤니티 채널이 있다.AWS KRUG Slack 채널만 들어가봐도 general, ai, security 등등 많은 주제를 가지고 서로의 의견을 교환한다. 그리고 매년 AWS KRUG에서는 AWS CommunityDay라는 이름으로 AWS 클라우드의 각 분야별 기술 컨퍼런스를 진행한다.지금까지 보안, Devops, 개발등을 주제로 많은 컨퍼런스를 `참가`만 했었지, 내가 직접 `발표`를 해야겠다. 라고 마음먹는 적은 없었다.그러다가 작년에 팀원이 AWS 관련 행사에서 당사에서 하고 있는 DORA Metric에 대한 발표를 했었다. 그때 팀원이 발표를 준비하고, 진행하면서 많은 사람들앞에 서서 나의 의견을 이야기하는게 좋은 경험이였다.라고 말을 해주었다.그래서 문득, 그럼 나도 올해는 내.. 공감수 2 댓글수 0 2024. 11. 6.
[AWS][AI] AI Chatbot 구현하기 use Bedrock KnowledgeBase Bedrock KB를 구성했다면, 이제는 KB를 사용해보는 방법에 대해서 알아본다. KB를 만드는것처럼 아주아주 간단하다.일반적으로 LLM, AI 관련된 서비스는 Python으로 많이들 구현하지만 필자는 Go 기반의 애플리케이션이 있기 때문에 Go로 구현했다. [AWS][AI] AWS Bedrock KnowledgeBase 사용 방법[1/2]아래 게시물에서 AI에 대해서 짧게 나마 공부하였고, 그래서 어떻게 구현할 수 있을까? 관심을 가지게되었다. [AI] 요즘은 안하는 사람이 없다는 Gen AI, 나도 해보자.요즘 뉴스, 유튜브를 보면 첫dobby-isfree.tistory.com AWS SDK에 이미 Bedrock KB를 구현할 수 있는 RetrieveAndGenerator SDK가 있다.이름에서 알.. 공감수 13 댓글수 3 2024. 10. 6.
[AWS][AI] AWS Bedrock KnowledgeBase 사용 방법 아래 게시물에서 AI에 대해서 짧게 나마 공부하였고, 그래서 어떻게 구현할 수 있을까? 관심을 가지게되었다. [AI] 요즘은 안하는 사람이 없다는 Gen AI, 나도 해보자.요즘 뉴스, 유튜브를 보면 첫째도 AI, 둘째도 AI, 셋째도 AI이다. 그만큼 AI가 화두이고, 최신 트렌드인것은 분명하다.그렇다면 Gen AI가 무엇일까? 나름대로 정의하고 이걸 내재화할 수 있을까에 대dobby-isfree.tistory.com 그리고 AWS Bedrock을 이용하면 아주 쉽게 AI를 자사 서비스에 녹일 수 있다. 그냥 Bedrock을 사용하면 공개 데이터를 기반으로 하기 때문에 특정 주제 또는 자사 서비스 특화 정보에 대해서는 사용하기 어려운 점이 있었다. 근데!! AWS Bedrock KnowledgeBase.. 공감수 3 댓글수 1 2024. 10. 5.
[Finops] AMD vs ARM, AWS Graviton Node Mac M1이 ARM 기반으로 출시되면서, ARM 아키텍처에 대한 관심이 많아졌다.사실 ARM은 최근에 출시된 CPU 아키텍처가 아니다. 오래전부터 있었지만 지금까지는 저전력을 위한 모바일 기기에 많이 사용했었다.하지만 지금은 칩 성능이 발전하고 좋아짐에 따라서 저전력 고효율을 추구하는 ARM에서도 충분히 고성능 처리가 가능하기 때문에 PC와 서버에서도 ARM 기반 모델이 많이 출시되었다. 그래서 AMD, ARM에 대한 간단한 비교와 이를 적용한 AWS Graviton EC2 Node에 대해서 알아보자. 잘못된 내용이 있을 수 있습니다 :( 잘못된 내용은 댓글로 말씀해주시면 수정하도록 하겠습니다~AMDAMD는 Intel의 x86을 호환해서 CPU를 만드는 회사이자, 아키텍처의 이름이라고 보면 된다.AM.. 공감수 1 댓글수 1 2024. 9. 22.
[AI] 요즘은 안하는 사람이 없다는 Gen AI, 나도 해보자. 요즘 뉴스, 유튜브를 보면 첫째도 AI, 둘째도 AI, 셋째도 AI이다. 그만큼 AI가 화두이고, 최신 트렌드인것은 분명하다.그렇다면 Gen AI가 무엇일까? 나름대로 정의하고 이걸 내재화할 수 있을까에 대한 고민을 하게되었다. 과거에는 GPT를 비롯한 AI 서비스를 이용하면, 내가 바보가 되는게 아닐까? 하는 생각이 있었는데 요즘은 AI 서비스를 이용하는것이 필수라는 생각이 든다. 다만 맹목적으로 AI 서비스를 이용하기보다는 아주 간단하고, 반복적인 일은 AI 서비스로 대체하고, 기획 등과 같은 고도화 된 업무에 많은 시간을 쏟게 되는것 같다. - 이건 회사와 사람마다 생각이 다른것 같다. - 일부는 AI에 의존하는것을 아주 반대하는 사람도 있다. 그리고 일부는 반드시 꼭 사용해야 된다는 입장이다. 필.. 공감수 0 댓글수 0 2024. 6. 30.
[LGTM] Observability 기술스택 변경 여정 두번째, PLG 스택 배포 첫번째 여정 게시물에서 왜 SaaS 솔루션에서 Self-hosted로 전환하는것을 고민하고 PoC 하는지에 대해 간략하게 설명했다. 이번 게시물에서는 Self-hosted 기술스택으로 선택한 LGTM 중에서 PLG 스택에 대해 정리하려고 한다. 공감수 0 댓글수 0 2024. 3. 10.
[LGTM] Observability 기술스택 변경 여정 첫번째 현재 Obserability 기술스택 재직중인 회사에서는 설립 초창기부터 Newrelic을 사용해서 Observability를 확보하고 있었다. Observability 란? Rudolf E. Kálmán이 최초로 도입했다고 알려져있다. "오직 시스템의 외부 출력만을 이용해서 시스템의 현재 상태를 이해할 수 있는 능력"으로 정의 된다." 즉, 일반적으로는 Log 와 Metric 그리고 APM 정보를 수집해서 현재 제공중인 어플리케이션의 이상 유무를 판단하는것이다. AWS Cloudwatch 지표, 인스턴스 Log/Metric 그리고 Service log까지 모두 Newrelic에 수집해서 사용하는 구조였다. 그렇다보니 시간이 지나면 지날수록 수집하는 데이터가 많아지게 됬고, 사용한 만큼 과금이 되는 Sa.. 공감수 0 댓글수 0 2024. 3. 9.
[자격증] Finops 자격증(FOCP) 취득 후기 지금 재직 중인 회사는 3번째 회사이다. 첫번째 회사는 정보보안 솔루션 회사였고, 두번째 회사는 보험사의 정보보호팀이였다. 그리고 현재 세번째는 블록체인 기반 서비스를 만드는 회사의 데브옵스팀이다. 정적인 업무가 많은 두번째 회사를 다녔을 때, 1년이 최소한 1개 이상의 자격증을 취득하는것을 내 자신의 KPI로 잡았다. 행정적인, 정적인 업무가 많다보니 계속 이렇게만 하면 더이상 발전이 없을것 같다는 생각이 강했고, 그래서 자격증을 취득하면서 최소한?의 공부를 하고 나의 커리어를 계속해서 계발하기 위함이였다. 그래서 정보보안기사, CPPG, SAA를 취득했다. 정보보안기사 취득하는데 오랜 시간이 걸렸다.. 작년에는 팀을 옮기면서 자격증 공부 외 실무 공부가 중요하다는 핑계로 자격증 취득을 하지 못했다. .. 공감수 2 댓글수 1 2024. 2. 19.
[MSA] MSA 구조란 무엇이고, 왜 다들 열광하는가? 현재 재직중인 회사에서 일부 서비스가 MSA 구조의 아키텍처를 가지고 있다. 이전에는 크게 생각하지 않았는데, 어느순간 MSA란 무엇인가? 과연 MSA 구조를 잘 지키고 있는가? 생각이 들었다. 그래서 오늘은 MSA란 무엇이고, 기존 모놀로식 구조와의 차이점이 뭐가 있는지 알아보려고 한다. MSA가 뭐야? MSA가 뭐냐고 물어본다면 `여러개의 작은 어플리케이션으로 분리해서 사용하는것`이라고 정의하고 싶다. 조금 더 전문적인 단어로 표현한다면 어플리케이션을 서비스 모음으로 느슨하게 구조화하여 서비스 지향 아키텍처의 개발 기법이다. 개발이라고 말한것처럼 정답은 없다. 시기와 서비스 규모에 따라서 선택하는 기법이 다를뿐이다. 흔히들 MSA 구조로 어플리케이션을 만든다고 하면, 조금 더 진보된 개발방법이라고 말.. 공감수 1 댓글수 2 2024. 1. 7.
[회고] 남들 다 하는 2023년 회고, 나도 하자 2023년 12월 31일... 이제 2024년이 왔다. 이로써 나이를 한살 더 먹었고, 사회적인 권리와 의무도 점점 올라간다. 연말에 링크드인을 보는데, 다들 2023년 회고를 많이 하는것 같았다. 그리고 나도 한번 해보려고 한다!! 2023년은 나에게 어떤 해였나? 2023년에는 나에게 터닝포인트가 되었던 시기였다. 대학교 졸업 이후, 보안솔루션 엔지니어/정보보호팀 담당자/Cloud 보안 담당자로 근무해었는데 Devops로 전직을 한 해이다. 처음에는 단순히 Cloud 보안 담당자로서 오너쉽을 가지고 일 할 수 있는 환경이 아니여서, Devops팀으로 가고 싶었다. 그래서 AWS 자격증도 취득하고, AWS 관련 된 커뮤니티와 공부를 계속 하다가 우연히.. Devops팀으로 이동을 하게 되었다. 그것도... 공감수 1 댓글수 2 2024. 1. 1.
[go] Prometheus Metric 만들고, 모니터링하는 방법 Prodmethues Metrics.. 개발을 하시거나 Devops 업무를 해보셨던분들이라면 한번쯤 들어봤을 단어이다. 아래 그림은 Prometheus 에서 제공해주는 공식 이름이다. 로직을 가장 잘 표현해주는 그림인것 같아서 가지고 왔다. Promethues가 뭔가요? Prometheus는 오픈소스 모니터링 솔루션으로, 모니터링 분야에서 가장 가장 그리고 넓게 사용되는 시스템이다. CPU, Mem, DB Connection, HTTP request count 등 모니터링이 필요한 부분을 Metrics으로 만들어서 모니터링한다. 구성은 Promethues Server + Metrics 정보를 노출한 Export Node로 구성된다. Server : 실제 Metrics을 수집하는 서버이고, 일반적으로 P.. 공감수 0 댓글수 1 2024. 1. 1.
[AWS] ECS vs EKS, 비교/분석 현재 재직중인 회사에서는 모든 서비스가 EKS 환경으로 구성되어 있다. 처음에는 EKS에서 서비스를 제공하는것이 당연하다고 생각했는데, 꼭 그렇지만은 아닌것 같다. 어떤 회사는 EC2를 기본 환경으로 하는곳도 있고, ECS를 기본으로 하는곳도 있다. 그리고 최근의 Devops 공고를 보면 ECS to EKS 마이그레이션 경험을 많이 요구하는것 같다. 그래서 이번 기회에 ECS와 EKS의 공통점과 각 장점과 단점에 대해서 정리해보려고 한다. EKS는 현재 직접 사용하고 있고, 운영중이기 때문에 어느정도? 정보의 정확성은 있다고 생각하나, ECS는 사용해본적이 없다. AWS Docs/구글링의 글을 바탕으로 내가 이해한 내용을 정리하였기에 일부 틀린 내용이 있을 수 있다. 틀린 내용이 있다면 자유롭게 댓글을.. 공감수 0 댓글수 0 2023. 12. 25.
[Vault] Vault 백업/복구, 신규 클러스터 마이그레이션 방법 이전 게시물에서 Vault를 설치하고 사용하는 방법에 다뤘다. 이번에는 Vault를 신규 클러스터에 마이그레이션하는 방법에 대해 설명하고자 한다. [Vault] Vault Helm 배포 및 활성화 방법 K8s를 운영하다 보면 흔히들 비밀정보를 관리를 해야하는 경우가 생긴다. - 비밀정보 : DB 정보, ID/PW 등의 일반적으로 노출되면 안되는 정보들이다. 기본적으로 K8s에서는 Secrets Kind를 제공하고 있 dobby-isfree.tistory.com Vault 마이그레이션 왜 하는거야? Devops팀으로서 일을 하다보면 적어도 1년에 한번씩은 EKS 업그레이드를 한다. 작년에는 In-Place 롤링 업데이트로 진행했으나, In-Place는 단점이 잘못되면 RollBack 할 수 없기에 이번에는.. 공감수 0 댓글수 0 2023. 12. 24.
[go] doka, Sts Token Expire/Go routine 문제 해결 이전 게시물에서 doka에 대한 간략한 설명을 했다. [go] 내가 만든 kafka-connector to kinesis, 통칭 doka-connector Golang으로 공부를 하던찰나, 이제 드디어 공부하던것이 빛을 발할때가 왔다! 통칭 doka-connector, dobby-kafka-connector이다 왜 doka를 만들었을까? 데이터팀에서 최근 개발팀에 MSK에 특정 토픽에 메시지를 dobby-isfree.tistory.com 금요일날 배포를 했고, MSK/Kinesis에 문제가 없어서 퇴근을 했다. 그리고 주말이 지났는데.. 월요일날 확인해보니 MSK에서 Offset은 업데이트가 되고 있었는데 Kinesis에는 데이터가 안들어오는 문제가 발생했다. 그리고 로그를 확인하면 아래와 같이 Put .. 공감수 0 댓글수 1 2023. 12. 23.
[go] 내가 만든 kafka-connector to kinesis, 통칭 doka-connector Golang으로 공부를 하던찰나, 이제 드디어 공부하던것이 빛을 발할때가 왔다! 통칭 doka-connector, dobby-kafka-connector이다 왜 doka를 만들었을까? 데이터팀에서 최근 개발팀에 MSK에 특정 토픽에 메시지를 만들어 달라고 요청을 했다. 그리고 해당 메시지를 S3에 적재하고 싶어했다. 처음에는 MSK에 메시지를 쌓으면 데이터팀 S3에 적재할 수 있겠다. 쉽겠다.라고 생각했는데 여기에는 생각치 못한 문제가 있었다. 개발/데이터 Account가 분리되어 있다. 그리고 Account끼리 VPC 피어링/TransitGateway 연결이 안되어 있다. MSK는 Private Subnet에 배포되어 있어 CrossAccount에서 접근할 수가 없다. 그래서 MSK의 메시지를 AWS .. 공감수 0 댓글수 0 2023. 12. 21.
[go] Golang 개발을 시작하자! 올해 보안팀에서 Devops팀으로 업무 전환을 하였다. 보안팀에서는 보통 python 또는 bash로 대다수의 업무를 처리했었고, 특히 자동화에 대한 부분도 대부분 python으로 처리하였다. 근데 Devops팀으로 업무를 변경하고 1년정도 이제 업무를 하다보니.. Golang에 대한 필요성이 점점 많아지는것 같다. Golang이 무엇인지, 어떤 특성이 있는지는 다른분들이 아주 자세히 설명해주었기에 그런부분을 제외하고 Devops팀에서 왜 Golang 공부를 해야하는지?에 대한 내 나름의 생각을 정리해보자! 내가 더 발전하기 위해서는 Golang 공부가 필요하다! 처음에는 대부분 인프라 관리 그리고 좋은 오픈소스 도입에 초점을 맞춰서 업무를 진행했기 때문에 개발에 대한 니즈가 크지 않았다. 요구사항이 있.. 공감수 0 댓글수 0 2023. 11. 26.
[AWS][istio] istio profile 지정 & client, control plane 버전 이전 게시물에서 istio operator를 통합 배포를 알아보았다. 그리고 istio operator 배포 코드를 보면 profile 부분과 tag: 1.20으로 명시한것을 볼 수 있었다. 이번 게시물에서는 istio profile와 tag와 버전에 대한 자세한 정보를 살펴보고자 한다. [AWS][istio] istio-operator를 통한 istio 배포 오늘은 istio 설치 방법에 대해 정리를 해보고자 한다. istio docs를 들어가보면 다양한 설치 방법이 있다. 그리고 현재 재직중인 회사에서는 helm을 기반으로 설치를 했다. helm을 통해 istiod, istio-base, dobby-isfree.tistory.com istio operator 심화학습 istio profile isti.. 공감수 0 댓글수 0 2023. 11. 26.
[AWS][istio] istio-operator를 통한 istio 배포 오늘은 istio 설치 방법에 대해 정리를 해보고자 한다. istio docs를 들어가보면 다양한 설치 방법이 있다. 그리고 현재 재직중인 회사에서는 helm을 기반으로 설치를 했다.helm을 통해 istiod, istio-base, istio-ingressgateways를 설치하였는데 helm으로 설치하다보니 여러가지 문제가 있다.첫번째로 helm chart 및 values 파일을 관리해줘야 한다. 특히 chart 관리는 여간 귀찮은게 아니다.두번째로 관리해야하는 파일 개수가 많다. istio 컴포넌트를 현재 3개를 사용하고 있는데, 각 환경별 클러스터에 모두 설치하다보니 컴포넌트 개수 * 환경별 클러스터만큼 관리를 해야한다. 이것도 상당히 귀찮다.세번째는 istio docs에서 운영 환경일 경우에는.. 공감수 0 댓글수 2 2023. 11. 26.
[AWS][Istio] Istio proxy_config 엔드포인트 Priority 확인 방법 [AWS][istio] istio LocalityLbSetting, CrossAZ 데이터 비용 절감 오랜만에 글을 작성한다. 게시물로 정리하고 공유하고 싶은 내용은 많은데 시간이 부족하다는 핑계로.. 글을 올리는 텀이 점점 길어진다. 이대로는 안되겠다 싶어서 최근 진행한 Istio 구조와 loca dobby-isfree.tistory.com 위 게시물에서 CrossAZ 데이터 전송 비용을 줄이기 위한 Istio LocalityLb 설정에 대해 알아보았다. 그렇다면 실제로 어떻게 Istio에서는 동일AZ 서비스를 우선 호출할 수 있을까? 이런 궁금점이 생길 수 있다. 이번 게시물에서는 Istio proxy_config에 대한 간략한 정보를 기술하려고 한다. Istio는 어떻게 Locality 정보를 확인할.. 공감수 0 댓글수 0 2023. 11. 5.
[AWS][istio] istio LocalityLbSetting, CrossAZ 데이터 비용 절감 오랜만에 글을 작성한다. 게시물로 정리하고 공유하고 싶은 내용은 많은데 시간이 부족하다는 핑계로.. 글을 올리는 텀이 점점 길어진다. 이대로는 안되겠다 싶어서 최근 진행한 Istio 구조와 localityLb 설정에 대해서만 공유하고자 한다!! 잘못된 내용이 있을 수 있습니다. 잘못된 내용을 지적해주시면 확인하고 반영하도록 하겠습니다. Istio LocalityLbSetting 이란? Istio는 MSA 구조의 아키텍처 서비스를 구현할 때 일반적으로 사용되는 오픈소스이다. 그리고 MSA 구조 특성상 여러 서비스가 분리되어 있어 상시로 서비스를 호출하게 된다. 이때 CrossAZ 데이터 전송 비용이 발생한다. Istio LocalityLb는 Istio를 사용하는 환경에서 동일 AZ 서비스 엔드포인트 호출을.. 공감수 0 댓글수 0 2023. 11. 5.
[AWS][DNA] DNA 5기 참여 그 이후 2023년 8월 ~ 9월에는 나름대로 회사 업무를 같이 진행하면서 AWS DNA 활동도 진행하고 유럽 여행도 준비하고 나름 바쁘게 살았다. AWS DNA에서 입상을 해서 회사의 이름을 알릴 수 있는 기회가 있었으면 더 좋았겠지만 아쉽게 입상은 하지 못했고 공부의 회사 내 토이 프로젝트를 진행하는것으로 그치게 되었다. 하지만, 기존에는 AWS Firehose, Glue, EMR 등 데이터 파이프라인/ETL 과 관련된 서비스를 사용할 일이 많지 않았는데 사용해볼 수 있는 기회여서 좋았다. 그리고 이번에는 조금 더 확장에서 회사에서 AWS Flink를 이용해서 준? 실시간성 데이터 제공을 위한 데이터 파이프라인을 구축해보려고 한다. 잘 될지는 모르겠지만, 내가 얼마나 잘할 수 있을지는 아직 의문이지만 이 또한.. 공감수 0 댓글수 0 2023. 10. 15.
[AWS][DNA] AWS DNA 5기 회고록 [2/2] - 해커톤 3일차, 4일차, 5일차는 해커톤이 진행되었다. 실제 재직중인 회사에서 겪고 있는 문제점을 AWS DNA 5기에서 배웠던 서비스를 토대로 문제점을 식별하고, 개선하고 발표하는거였다! 해커톤 주제 선정 가장 먼저 해야할일이 해커톤 주제 선정이였다. 필자는 AWS DNA를 신청한 사유가 명확했다. 실제로 현재 재직중인 회사에서 아래2가지 문제점이 있었고 이를 AWS DNA를 통해서 개선하고 싶었다. 서비스 로그 수집 파이프라인의 문제점 실시간 스트림 데이터에 대한 BI 제공 해커톤 진행 서비스 로그 수집 파이프라인 문제점 개선 기존에는 아래와 같이 서비스 로그를 수집하였다. Logging Operator 오픈소스를 사용하였고, 각 EKS 노드에는 Fluentbit이 배포되어있다. 그리고 Fluentbit -.. 공감수 1 댓글수 2 2023. 9. 18.
[AWS][DNA] AWS DNA 5기 회고록 [1/2] - 교육 AWS DNA, 매우 유익한 시간이었다. 결론부터 말하자면 AWS DNA는 매우 유익한 시간이라고 생각한다. AWS DNA 5기는 데이터 분석과 파이프라인에 대한 한가지 주제로 진행되었고, 마침 재직 중인 회사에서 고민하고 있던 주제과 일치하였다. 어떻게하면 데이터 파이프라인을 고도화할 수 있을까? 실시간 스트림 데이터를 어떻게 제공할 수 있을까? AWS DNA를 통해 데이터와 관련된 서비스에 대한 집중 교육을 하고, 핸즈온 교육을 하였다. 이를 통해 평소 사용하지 않는 AWS 서비스에 대해 경험해볼 수 있어 좋았다. 특히 실제 재직중인 회사의 데이터 파이프라인에 적용하여, 좋은 성과를 내기도 했다. 실제로 AWS DNA를 통해서 데이터 파이프라인을 고도화하였고, 해커톤에서 이를 발표하여 피드백을 받기도.. 공감수 0 댓글수 0 2023. 9. 18.
[ArgoCD] Application 생성 방법 = ArgoCD를 이용한 배포 ArgoCD와 Github 연동 및 Webhook까지 설정했다면 이제 남은것을 배포를 위한 Application을 설정하는 것만 남았다!! [ArgoCD] Github 연동 및 Webhook Event 설정 방법 앞선 게시물을 통해 ArgoCD를 설치하였다. 그러면 이제 어떻게 Github Event를 받고 Application을 생성하는지에 대해 알아보자! [ArgoCD] CD Tool 도입개요 및 설치방법 현재 재직중인 회사에서는 Github Action dobby-isfree.tistory.com 배포를 하기 위해서는 먼저 배포할 Cluster를 설정해야 한다. 그리고 이 경우에는 각 환경별로 ArgoCD를 구성하는 방법이 있고, 1대의 ArgoCD에서 모두 관리하는 Multi-Cluster 방법이.. 공감수 0 댓글수 0 2023. 5. 14.
[ArgoCD] Github 연동 및 Webhook Event 설정 방법 앞선 게시물을 통해 ArgoCD를 설치하였다. 그러면 이제 어떻게 Github Event를 받고 Application을 생성하는지에 대해 알아보자! [ArgoCD] CD Tool 도입개요 및 설치방법 현재 재직중인 회사에서는 Github Action으로 모든 CI/CD 작업을 진행하고 있다. 즉, Master/Dev/QA branch로 Merge가 되면 코드를 합치고, 이를 기반으로 Helm upgrade Job이 실행된다. 그렇기에 Helm Rollback도 Cli로 dobby-isfree.tistory.com ArgoCD 동작 방식 Github Sync 방법 기본적으로 ArgoCD는 Github SSH 키를 등록해서 주기적으로 Polling하고 Code를 가지고 온다. 그래서 가장 먼저 Github .. 공감수 0 댓글수 0 2023. 5. 13.
[ArgoCD] CD Tool 도입개요 및 설치방법 현재 재직중인 회사에서는 Github Action으로 모든 CI/CD 작업을 진행하고 있다. 즉, Master/Dev/QA branch로 Merge가 되면 코드를 합치고, 이를 기반으로 Helm upgrade Job이 실행된다. 그렇기에 Helm Rollback도 Cli로 수동으로 진행해야 하고, 배포 전략도 단순한 Rolling update밖에 못하는것 같고 특히 Cluster 백업 체계를 수립하기 어렵다는 결론을 내렸고 CD Tool을 도입하기로 했다!! 구분 문제점 배포 수단 Github Action으로 배포하는것이 가장 좋은 배포 수단일까? 의문이다. Git Chart/Values의 내용과 실제 배포된 내용이 다른 경우가 종종 발생한다. 수동 작업에 대한 이력과 Helm 차이 현황을 알 수 없다... 공감수 0 댓글수 0 2023. 5. 13.
[Seminar] AWS Summit 2023 Seoul 2일차 Summit 2일차의 날이 되었다. 1일차도 알찬 내용으로 가득했는데, 2일차는 기술부분의 세미나가 많아서 더욱 기대된다! AWS Summit 기조연설 2일차 기조연설에서는 데브옵스에 대한 발표가 많았다. CodWhisper, Devops Guru 둘 다 처음들어보는 서비스인데 한번 이용해보면 좋을거 같다. 특히 Devops Guru는 EKS? 인프라에 대한 가이드를 알려준다고 하는데 적용 가능한 수준인지 궁금하다. 그리고 데브옵스에 대한 문화에 대한 이야기가 많았다. 공감했던 내용만 조금 추려서 말해보면 아래와 같다. 데브옵스팀에서는 모든 인프라 자원을 코드화하는것이 좋다. - 코드화를 해야만 인프라 변경에 대한 이력관리가 가능하고 예측이 가능하며 이를 통제할 수 있다. AWS Managed 서비스를 .. 공감수 0 댓글수 0 2023. 5. 6.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.