언젠가 꽃이 될 개발자

쏟아지는 데이터를 실시간으로 흘려보내고(스트리밍), 쌓인 데이터를 뒤져서 인사이트를 뽑아내는(분석) 도구들Kinesis Data Streams (Amazon Kinesis Data Streams)실시간으로 밀려드는 데이터를 순서대로 받아 여러 소비자(Consumer)가 동시에 읽게 해주는 실시간 스트림.샤드(Shard) 단위로 처리량 결정 - 샤드 1개당 쓰기 1MB/s·1,000건/s, 읽기 2MB/s. 트래픽 늘면 샤드를 늘린다(수동 or on-demand 모드)데이터 보관(retension) 기본 24시간, 최대 365일 → 같은 데이터를 여러 앱이 나중에 다시 읽을 수 있음.(재생 replay 가능)순서 보장은 같은 샤드 안에서만 - partition key로 어느 샤드에 들어갈지 결정소비자 : ..

2026.08.21 개발바닥 오픈채팅방에서LOOP:TALK 개발자 모임이 있다는걸 확인하고 신청해서 다녀왔다. 혼자 참석한거라 아는 사람이 없어서긴장을 많이 했는데 생각보다 다른 분들과 대화도 많이 하고 명함도 교환할 수 있었다. 혼자오신 분들도 꽤 많았고, 걱정과 달리 다른 사람들과 잘 친해질 수 있도록 많이 도와주셨다. 혹시 혼자 가는것이 걱정이 되시는 분들은 크게 걱정하지 않으셔도 될 것 같다. 세션이 생각보다 다양하게 준비돼있었다. 처음보는 분들과 각자 회사에서(혹은 취준하면서) 업무에 대해 하고 있는 고민과 커리어 고민 등에 대해 많은 얘기도 나누고, 루프팩 백엔드 과정에 대해 설명도 들었다.간식(햄버거)을 먹고 나서는 멘토분들에게 궁금한 것들을 질문하고, 답변을 들을 수도 있었다. ..

IAM (Identity And Access Management)누가(사용자 역할) 무엇을(정책) 할 수 있는지를 정하는 AWS의 출입 통제 시스템EC2 Instance Profile (EC2 인스턴스 프로파일)EC2에 역할 씌우는 상자EC2 안 코드가 키 파일 없이도 S3에 접근시험포인트EC2 앱이 S3에 접근해야한다, 가장 안전한 방법은? → IAM 역할(인스턴스 프로파일)STS (Security Token Service)임시 자격증명(만료 시간이 있는 액세스 키)를 발급해 주는 서비스AssuemRole“이 역할 잠깐 맡겨줘” 요청 → 임시 키 3종(액세스 키/시크릿/세션 토큰) 발급KMS (Key Management Service)데이터 암호화에 쓰는 암호 키를 안전하게 만들고 관리해 주는 서비스S..

CloudFront (Amazon CloudFront)전 세계 엣지 로케이션에 콘텐츠를 캐싱해서, 사용자와 가장 가까운 곳에서 빠르게 내려주는 CDN (Content Delivery Network)엣지 로케이션 (Edge Location)AWS 리전과 별개로 전 세계 수백 곳에 깔린 캐시 서버사용자는 원본(오리진)이 아니라 가까운 엣지에서 응답을 받아 지연 시간이 줄어듬.OAC (Origin Access Control)S3를 오리진으로 쓸 때 S3 버킷을 퍼블릭으로 열지 않고 CloudFront를 통해서만 접근하게 잠근다.사용자 S3 URL로 직접 못 들어오고 반드시 CloudFront를 거치게 만든다. (예전 OAI를 대체하는 최신 방식)보안 기능 : HTTPS/TLS, 지리적 제한(Geo Restri..

VPC (Virtual Private Cloud)AWS 클라우드 안에 내가 사용할 논리적으로 격리된 private 네트워크 공간Subnet (Public / Private Subnet)VPC의 IP 대역을 잘게 쪼갠 구획, 하나의 AZ에 묶여 있음.Public SubnetRoute Table이 Internet Gateway로 향하는 경로를 가진 서브넷웹서버처럼 외부 노출이 필요한 자원에 사용Private Subnet인터넷으로 나가는 경로가 없는 서브넷DB, 내부 애플리케이션 서버처럼 숨겨야 할 자원IGW (Internet Gateway)VPC와 인터넷을 양방향으로 연결해주는 관문VPC당 하나만 붙일 수 있고, 이중화되어 있어 별도 가용성 관리 필요 없음.인바운드/아웃바운드 양방향 통신 지원 / Publi..

AWS Lambda서버를 관리하지 않고 “이벤트가 발생하면 코드가 실행되는” 함수 단위 컴퓨팅요청이 없으면 비용 0기능이벤트 기반 (Event-driven)S3 업로드, API Gateway 요청, SQS 메시지 도착, EventBridge 스케줄 등이 트리거가 되어 실행동시성 (Concurrency)요청이 동시에 100개 오면 100개 인스턴스를 병렬 실행기본 계정 한도 1,000 동시 실행(리전당, 조정 가능)Reserved Concurrency (예약 동시성)특정 함수에 동시성 몫을 예약/상한 → 한 함수가 계정 전체 동시성을 잡아먹는 것 방지Provisioned Concurrency (프로비저닝된 동시성)미리 인스턴스를 데워둠 → 콜드 스타트(Cold Start) 지연 제거(지연 민감한 API용)..

4년차에 접어들면서, 운영에 관심이 많아졌다.AWS와 인프라를 공부해보려고 한다.AWS SAA(AWS Solutions Architect Associate) 자격증을 준비하면서, 배운 개념을 정리해본다. SSE (Server Side Encryption)서버가 자체적으로 암호화하는 방식SSE 종류SSE-S3 : S3가 키를 알아서 생서 및 관리 / 가장 기본적으로 관리 쉬운 방식SSE-KMS : AWS KMS(Key Management Service)가 키를 생성 관리KMS는 암호화 키 주기적으로 자동 교체해줌.SSE-C : 고객이 키를 직접 생성 및 관리 (권장 X)S3 Batch OperationsS3 수십개 파일에 동일한 작업 배치 처리EBS (Elastic Block Store)외장 SSD/H..

지난 글에서 MySQL의 5계층과 InnoDB 저장 구조를 봤다. 쿼리가 어떤 경로로 실행되는지는 알았으니, 이제 구체적으로 어디서 병목이 생기는지 찾아보자. 강의 전체에서 제일 실전적인 내용이었다. 1. 감으로 인덱스를 걸었다가 96MB를 날렸다시나리오로 시작한다. 대표한테서 또 연락이 온다.> "상품 검색이 너무 느려! 카테고리별로 상품을 찾는데 수 초씩 걸려! 고객이 이탈하고 있어!"문제 쿼리는 이거다. (실습에서 3초는 너무 기니까 카테고리를 하나로 좁혔다)SELECT *FROM productWHERE category_id = 11 -- '스마트폰' AND price BETWEEN 10000 AND 50000 AND product_status = 'ACTIVE'ORDER BY crea..

이번 내용이 강의의 진짜 시작이다. 분량도 제일 많고, 앞으로 나올 모든 내용의 지도 역할을 한다.MySQL이 쿼리를 어떻게 처리하는지 알아보자. 1. "상품 페이지가 10초 걸린다"강의가 시나리오로 시작한다. 나는 회원 300만, 상품 500만, 주문 수백만 건짜리 쇼핑몰 스타트업의 백엔드 개발자다. 입사 2주차에 첫 장애를 만난다.금요일 오후, 퇴근 직전. CS팀 메시지가 올라온다.> "상품 검색이 너무 느려요. 고객 문의가 계속 들어오고 있습니다."확인해보니 평소 0.1초 안에 끝나던 상품 목록 조회가 10초가 넘는다. 대표한테서도 연락이 온다.> "상품 페이지가 10초 걸린다. 고객이 떠나고 있어! 이거 당장 고쳐야 해!" => 실제 내가 겪은 상황과 거의 동일하다. (심지어 나는 30초 넘게 걸..

지난 글에 이어서 이번에는 실습 데이터를 만들어보자. 그냥 데이터 넣는 얘기라 대충 넘어가려고 했는데, 강의에서 이 데이터를 어떻게 설계해놓으셨는지 뜯어보는 게 생각보다 재밌었다. 1. 텅 빈 DB로는 아무것도 배울 수 없다당연한 얘기부터. 데이터가 100건일 때는 어떤 쿼리를 던져도 바로 나온다.풀 테이블 스캔이든 인덱스 스캔이든 차이가 안 난다. 100건 읽는 거나 인덱스 타는 거나 똑같이 0.00초다.그래서 실습용으로 ShopDB에 수백만 건 규모를 넣는다. 대략 이 정도. 테이블건수설명member300만회원product500만상품orders500만주문order_item1,000만주문 상세review300만리뷰category47카테고리 (자기참조 계층)여기까지는 예상한 그대로다. 문제는 그다음이었다..