aws

Summit 2일차의 날이 되었다. 1일차도 알찬 내용으로 가득했는데, 2일차는 기술부분의 세미나가 많아서 더욱 기대된다! AWS Summit 기조연설 2일차 기조연설에서는 데브옵스에 대한 발표가 많았다. CodWhisper, Devops Guru 둘 다 처음들어보는 서비스인데 한번 이용해보면 좋을거 같다. 특히 Devops Guru는 EKS? 인프라에 대한 가이드를 알려준다고 하는데 적용 가능한 수준인지 궁금하다. 그리고 데브옵스에 대한 문화에 대한 이야기가 많았다. 공감했던 내용만 조금 추려서 말해보면 아래와 같다. 데브옵스팀에서는 모든 인프라 자원을 코드화하는것이 좋다. - 코드화를 해야만 인프라 변경에 대한 이력관리가 가능하고 예측이 가능하며 이를 통제할 수 있다. AWS Managed 서비스를 ..

점심시간을 꿀맛으로 먹고, 이제 오후 세션을 들었다. 오후에는 일부 솔루션 소개타임도 있었고, 실제 회사의 사례를 기반으로 한 발표도 있었는데 솔루션 소개타임은 스킵하였다. - 다른 스타트업과 다 마찬가지로.. 신규 솔루션 도입을 현재 어려운 상황이다 ㅜㅜ 삼성전자/쿠팡의 대규모 트래픽 처리를 위한 DB 사용 재직중인 회사에서 자주 문제가 발생하는 것이 Elasticache, RDS Connection Full 문제다.. 그래서 타사에서는 어떻게 사용하고 있는지 궁금하고 좋은 아키텍처를 알아보기 위해서 들었던 세션이였다. 삼성전자 삼성전자에서는 채팅플러스라는 서비스를 만들었는데, 처음에는 모놀리식 구조로 되어 있어서 매우 많은 클러스터가 필요했고, 서비스 사용량이 증가함에 따라 클러스터 자체 용량을 늘려..

코로나로 인해 오랫동안 오프라인 세미나가 없었는데, 이번에 AWS Summit Seoul이 개최되었다. AWS Summit Seoul | Agenda Day 1: 산업 업종별 강연 산업 업종별 강연 2023년 5월 3일 (수) AWS 모니터링 및 관측성 담당 부사장 난디니 라마니 (Nandini Ramani)의 기조 연설과 함께, 42개 세션에서 소개하는 산업 업종별 고객 혁신 aws.amazon.com Summit을 통해서 새로운 사실도 많이 알게되었고, 타사 사례와 좋은 솔루션도 많이 알게되었다. 아직 기억이 생생할 때 정리하기 위해서 AWS Summit을 통해 보고/들은 내용은 정리하고자 한다!! 코로나 이후로 이렇게 크게 열린 행사는 처음인것 같다. 코엑스 회의실을 거의 다 대관한것 같았고, 진행..

Docs를 참고하고 최대한 경험한 내용을 토대로 기재하였으나, 혹시나.. 잘못된 내용이 있을 수 있습니다. 잘못된 내용은 코멘트로 알려주시면 확인 후 반영하도록 하겠습니다 :) 최근 EKS 노드 관리를 위해 CAS -> Karpenter로 Migration 하였다. CAS, Karpenter의 장/단점을 정리하는 게시물이다! CAS/Karpenter 2가지 플러그인만 비교한것으로 비교 구분 CAS Karpenter 비고 노드 생성 시간 느리다. - Warmpool 도입 전 약 4분 - Warmpool 도입 후 약 36초 빠르다. - 약 1분 Karpenter - NotReady 상태에서도 Pod 할당이 가능하기 때문에 Pod 할당시간이 더 빠르다. 비용 효율화 미흡함 비용 효율 CAS - 미리 지정한 N..

노드를 Spot으로 운영하다보면 가장 고민이 되는 부분이 Fail-over와더 작은 Spot 노드로 변경할 수 있을때 변경이 가능한가? 이다. 하지만 CAS에서는 Spot 노드에 대해서 노드 통/폐합 작업을 하지 않는다. 하지만 Karpenter는 노드 통/폐합 기능을 제공한다! Karpenter를 통해 Provisioning(Spot) + Deprovisioning 까지 같이 적용한다면 노드 비용을 극한까지 효율화할 수 있다. 다만, 아무리 Karpenter를 도입하더라도 Deployment의 Resource.Request를 높게 잡아버리면.. 효율이 떨어진다. Karpenter 도입 + Resouce.Reuqest도 어떤식으로든? 조정을 해야한다. [Karpenter] Karpenter를 활용하여 E..

많은 기사에서도 접할 수 있듯이 올해 스타트업의 시장이 좋지 않다. 그래서 현재 재직중인 회사에서도 불필요한 또는 비효율적인 AWS 인프라 비용을 줄이라는 특명이 내려왔다. 그래서 AWS 인프라 비용에서 가장 많은 부분을 차지하는 EKS Node 비용을 먼저 줄여보기로 했다. 가장 좋은 방법은 각 Deployment의 Request/Limit 사이즈를 조절하는 것이다. 하지만 이것은 개발팀에서 조절하는 부분이고 데브옵스팀에서는 관여하기 어렵기에 그럼 노드를 효율적으로 사용할 수 있는 부분을 찾아보기로 했다. 그러던 중 팀원이 좋은? 괜찮은? 오픈소스인 Karpenter를 공유해주었고 당사에 적용한 내용을 기술해보고자 한다. 먼저 대부분의 EKS를 운영하는 회사에서는 Cluster Auto Scaler(이..

Data : 2022.12.17일 Agenda AWS Security Security를 해야할 때 어떤것을 기준으로 삼으면 좋을까? 가장 쉬운 접근은 BP를 찾아보고 이용하는것이다. 그리고 조금 더 발전한다면 법적 요건을 먼저 찾아보고 요구사항을 먼저 준수하면서 위험평가와 타사 위험들을 참고하여 보안성을 강화하는것으로 한다. Security만 하는게 아니라 Security도 같이 하고, 서비스를 계획할 때 Security도 참여하는것으로 변화해야한다. 가장 공감이 되는 말이였다. 물론 서비스도 중요하지만, Security도 중요하다. 나중에 Security를 보완하기 위해 구성을 변경하고 서비스를 구성하는 것만큼 비효율적인게 없다고 생각한다.. Shard Responsibility Model 책임 공유 ..

AWS Workspace는 스타트업에서 가장 많이? 사용하는 망분리 환경을 위한 서비스이다. 환경을 만드는것은 AD만 있으면 가능하기에 어렵지 않다. 하지만 Local PC와Workspace간에 데이터 교환 방법이 문제이다. S3 브라우저, S3 Mount 등 다양한 방법이 존재하며 각자의 상황에 맞는 방법이 채택하면 된다. 필자는 아래와 같은 로직으로 Local PC -> Workspace로 파일을 반입하고 있다. - 물론 이 방법이 정답은 아니다. 솔루션을 도입하면 더 좋고 효과적인 방법으로 반입할 수 있고 다른 방법도 많다. - 각 회사와 상황에 맞는 방법을 채택하면 되고, 필자가 선택만 방법을 제시함으로써 담당자에게 여러가지 방법을 알려주기 위함이다. Workspace 파일 반입 구성도 우선 Wo..

Python을 활용한 업무의 일부를 공유하는 게시물입니다. 아직 공부하는 입장이기에 부족한 부분이 있을 수 있습니다. 지적해주시면 적극 반영하도록 하겠습니다. 퍼가시거나, 업무에서 도움이 되었다면 댓글 하나씩 부탁드립니다 :) 감사합니다. Summary NACL_ID를 입력받아서 해당 NACL에 지정된 IP/Port 기반으로 차단 정책을 넣는 코드이다. NACL_ID, def change_nacl에서 CidrBlock, PortRange를 변경하여 사용하면 된다. #! /usr/bin/ python3 from multiprocessing.sharedctypes import Value import boto3 from requests import session import re #Define AWS Acco..