가상 면접 사례로 배우는 대규모 시스템 설계 기초 - 끊임없이 질문을 던지는 책

👀 들어가며 

먼저 명확히 밝혀두고 싶은 점은, 제가 이 책을 읽은 목적이 단순히 면접을 대비하기 위함은 아니라는 것입니다.
AI가 엔지니어의 자리를 위협하는 시대일수록, 단순한 코딩 능력보다는 전체를 바라보는 설계 역량이 생존의 핵심이 될 것이라 생각하고 있습니다.
그동안 현업에서 대규모 데이터를 깊게 다뤄볼 기회가 상대적으로 적었기에, 이번 학습을 통해 대규모 시스템을 구축할 때 갖춰야 할 필수적인 관점과 인사이트를 얻고 싶어 이 책을 접하게 되었습니다.

이 책은 시스템 설계의 전반적인 과정을 면접의 형태로 풀어나갑니다.
그 과정에서 제가 얻은 인사이트를 공유드리겠습니다.

 

---

🤔 모든 구조에는 이유가 있다!

이 책의 가장 큰 매력은 결코 단정적인 정답만을 제시하지 않는다는 점입니다.
"이런 구조도 있어, 그런데 이렇게 하면 어떤 문제가 있어 그래서 대규모 시스템에서는 다른 구조를 사용해. 그런데 이 구조도 다른 문제가 있기 때문에 유의해야할 점이 있어." 식의 논리 전개를 보여줍니다.

수직적 규모 확장은 단순하다. 하지만 한 대의 서버에 CPU나 메모리를 무한대로 증설할 방법이 없으며, 장애에 대한 유연성이 없다.
그래서 대규모 시스템에서는 수평적 규모 확장이 적절하다. 하지만 여러 대의 서버를 하나의 서버처럼 다루는 것은 꽤나 복잡하다... 그 중 하나가 부하를 균등하게 배분하는 것인데 이는 로드밸런서로... (중략) ... 무상태 아키텍처 ... (중략)

 

덕분에 단순한 지식 습득을 넘어, 아키텍처를 바라보는 시야가 한층 넓어지는 것을 느꼈습니다.
평소 오픈소스를 접할 때도 '이 기술은 어떤 문제를 해결하기 위해 고안되었는가'를 먼저 고민하곤 하는데, 이 책의 구성이 정확히 그 사고의 흐름과 닿아 있어 몰입도가 높았습니다.

그리고 그 구조라는 것이 생각보다는 복잡하지 않았습니다.
물론 복잡하게 하려면 더 복잡하게 할 수 있지만, 복잡한 아키텍처가 더 우월한 것은 아니기 때문에 이 책에서도 핵심만 얘기한 것도 좋았습니다.

 

🚀 대규모에 대한 이해

대규모 시스템이라 하면 일단 겁부터 먹고 시작했던 저에게 이 책은 든든한 가이드가 되어주었습니다.
하지만 이 책은 그 거대한 시스템을 장애 발생의 필연성과 이를 예방하기 위한 구조적 설계라는 명확한 인과관계로 풀어내어 큰 도움이 되었습니다.

서버는 트래픽이 얼마나 발생할지 모르고, 그로 인해 장애가 발생할 수 있는 대규모 시스템 환경이라면 수평적 규모 확장을 고려해야 한다.
데이터베이스에 접근이 되지 않거나, 데이터가 날아가는 문제가 발생할 수 있기 때문에 유연하게 대처할 수 있어야 한다. 많은 데이터베이스 관리 시스템에서 다중화를 지원하고, 이를 통해서 해결할 수 있다.

 

특히 인상 깊었던 점은 개략적인 규모 추정 과정이었습니다.
'메모리는 얼마나 필요할까? 저장소는 얼마나 크게 잡아야 할까?' 같은 질문들에 대해 구체적인 수치를 계산해 보는 과정도 흥미로웠습니다.

월간 능동 사용자가 3억이고, 그 중 50%가 매일 사용하며, 평균적으로 각 사용자는 매일 2건의 트윗을 올린다.
QPS(Query Per Second) = 3억 * 50% * 2 트윗 / 24시간 / 3600초 = 약 3500

 

또한, 프로그래머가 반드시 알아야 할 응답 지연 값들을 기준으로 '어떤 연산이 병목이 될 것인가'를 예측하는 과정은 시스템을 바라보는 인사이트를 더해주었습니다.

메모리는 빠르지만, 디스크는 느리다.
디스크 탐색은 가능한 피해라.
단순 압축 속도는 빠르다. 데이터를 전송하기 전에 가능하면 압축하라.

https://highscalability.com/google-pro-tip-use-back-of-the-envelope-calculations-to-choo/

Google Pro Tip: Use Back-of-the-envelope-calculations to Choose the Best Design - High Scalability -

 

 

🤝 시스템 설계를 하는 방법

시스템 설계는 결코 정답이 없기 때문에 다양한 사람들과 의견을 교류하는 과정이 필요합니다. 
여기서는 이를 면접 공략법으로 설명하는데, 이는 충분히 실무에서 적용할 수 있는 부분이 있다고 생각합니다.

여기서는 4단계 접근법으로 아래와 같이 설명합니다. 

1. 문제 이해 및 설계 범위 확정
2. 개략적인 설계안 제시 및 동의 구하기
3. 상세 설계
4. 마무리

여기서 가장 중요한 것을 고르라하면 1. 문제 이해 및 설계 범위 확정 라고 생각합니다.
설계를 시작하기 전에 질문을 통해서 요구 사항을 명확히 하는 것은 굉장히 중요하기 때문입니다.
이 과정이 생략된다면 엉뚱한 설계나 더 나아가서는 '이 일을 왜 하고 있는가?' 의문이 생길 수 있습니다.

그래서 좋은 질문을 통해서 사용자의 니즈를 정확히 파악하는 것이 중요하다고 생각합니다.

구체적으로 어떤 기능들을 만들어야 하나?
제품 사용자 수는 얼마나 되나?
회사의 규모는 얼마나 빨리 커지리라 예상하나?
회사가 주로 사용하는 기술 스택은 무엇인가?

 

 

🙆‍♂️ 마무리

이 책은 다양한 설계 문제를 앞서 언급한 '4단계 접근법'에 따라 일관성 있게 풀어냅니다.
단순히 텍스트를 따라가는 것이 아니라, 제시된 문제만 보고 직접 좋은 질문을 구상해 보거나 개략적인 아키텍처를 그려보며 읽으니 몰입감이 상당했습니다.

단순히 지식을 주입하는 책이 아니라, 끊임없이 '왜?'라는 질문을 던지게 하며 생각할 거리를 제공해 주는 참 유익한 책이었습니다.

저처럼 대규모 시스템에 대해 이해하고 싶은 엔지니어분들에게 강력히 추천합니다!

 

여기까지 성공적으로 마친 여러분, 축하한다.
멋지게 마무리한 스스로를 마음껏 격려하도록 하자!