들어가며저는 AI 플랫폼 개발을 하고 있습니다. 플랫폼을 설계하고, 개발하다보면 다양한 문제에 부딪히게 됩니다. 그러다 문득 "다른 기업들은 어떻게 이러한 문제를 해결할까?" 라는 생각이 들어 이 책을 접하게 되었습니다.이 책에는 우아한 형제들에서 AI를 활용하여 실제 서비스를 만들고 시스템을 개선한 대표적인 사례들이 담겨있습니다. 기술에 대한 자세한 내용을 다룬다기 보다는 고민 과정과 그로 인한 지식과 통찰력이 주된 내용을 이루고 있습니다.아래에서 이 책을 통해 얻은 인사이트를 공유해보도록 하겠습니다. ✨ 📊 모델보다 중요한 건 '문제 정의'와 '데이터'AI의 화려함에 익숙해져 기본을 놓치기 쉽다고 생각합니다.어떤 서비스를 개발할 때 "이 서비스가 왜 필요한가?" 에 대한 고민이 필요하다고 생각합니다..

"AI 에이전트" 요즘 정말 핫한 키워드입니다.LLMOps와 관련 인프라 엔지니어로서, 사실 에이전트라는 개념을 조금은 가볍게 생각했었던 것 같습니다.하지만 시장의 변화는 생각보다 훨씬 빨랐고, 제가 알던 AI 활용의 범위를 훌쩍 넘어서고 있습니다.변화에 적응해야할 필요성을 느끼며, 에이전트 엔지니어링의 초석을 제대로 다져보고자 이 책을 탐독하기 시작했습니다. 🤖 AI 에이전트가 뭐야!데이터를 스스로 분석하고 환경을 해석하며 컨텍스트에 기반한 결정을 내리도록 설계된 지능형 시스템이다. 과거에 AI 에이전트라는 개념은 사실상 '챗봇'과 동의어였습니다.하지만 LLM이 나날이 발전하면서 모델이 수행할 수 있는 영역은 상상 이상으로 넓어졌습니다.그렇다면 AI에게 더 많은 권한을 주면 어떨까요? 예를 들어, ..

작년 회사 지원으로 연세대학교 AI 교육을 금요일마다 7주간 수료했습니다.당시 가장 흥미롭게 다루었던 프로젝트 주제인 'Chain of Thought(CoT)'에 대해 정리하려고 합니다.발표 담당자로서 복잡한 개념을 최대한 쉽게 풀어서 설명하려 노력했던 내용들을 핵심 위주로 공유하겠습니다. 🧘 Chain-of-Thought (CoT) 가 무엇인가?LLM이 단순히 답만 찾아내는 것에서 그치지 않고, 논리적 사고를 할 수 있도록 돕는 방법론입니다.아래 그림에서 LLM에게 풀이과정을 쓰도록 유도했더니, 기존에 틀렸던 답을 맞추며 성능 향상을 보여줍니다.인류가 AI에게 기대하는 것은 단순히 학습된 내용을 그대로 내뱉는 것이 아닙니다.인류의 미제 문제를 언젠가는 해결해주길 기대하 수조 원 씩 투자하고 있는 것입..

구글에서는 아주 친절하게 AlphaFold 모델을 경험할 수 있도록 구글 코랩(Google Colab) 환경을 제공합니다.웹브라우저만 있다면 누구든지 쉽게 실행할 수 있습니다. (기본 제공되는 자원으로도 빠르게 실행됩니다.)https://colab.research.google.com/github/sokrypton/ColabFold/blob/main/AlphaFold2.ipynb Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.com 그런데 막상 들어가보면 가이드가 있긴한데, 다 영어고 해석도 쉽지 않습니다.그래서 실행해보는 김에 가이드 형태로 결과를 정리해보고자 합니다.1. Input protein sequen..

들어가며저는 현업에서 Kserve를 활용해서 모델 서빙을 하고 있습니다.Kserve는 Serveless 모드로 설치하는 것이 표준이었고, Istio/Knative와 함께 설치해서 사용하고 있었습니다. 그런데 0.15 버전부터는 RawDeployment 모드(0.16 버전부터는 Standard 모드라고 불림) 설치가 생겼고, LLM 서빙 시에는 해당 설치 방법이 권장된다고 합니다. 아무래도 Serverless 모드의 핵심인 'Scale-to-zero'는 LLM에서 비현실적으로 다가왔던 것 같습니다. 기가바이트 단위의 모델 가중치를 다시 로드하는 데 시간이 너무 오래 걸리기 때문입니다.Knative의 구성요소가 많고 디버깅도 어려워 걷어내고 싶다는 니즈가 있었는데, 여러 곳에서 유사한 고민이 있었던 것 같습..

요즘 MSA에 대한 지식을 새로 정의하고 있습니다.그러다보니, API Gateway의 역할과 중요성에 대해서 깨닫고 있는데요.이번 글에서 관련된 내용을 정리해보고자 합니다.MSA에 관련한 내용은 아래 글 참고해주세요!https://deep-flame.tistory.com/48 클라우드 네이티브 애플리케이션 디자인 패턴: AI 플랫폼 개발자의 아키텍처 성찰들어가며: 쿠버네티스를 쓴다고 모두 '클라우드 네이티브'는 아닙니다.저는 GPU 기반의 LLM 학습 및 서빙 플랫폼을 개발하고 있습니다.GPU 리소스 집약적인 로직을 다루다 보니 당연히 쿠버네티스deep-flame.tistory.com API Gateway란 무엇이며, 왜 필요한가?마이크로서비스 아키텍처(MSA)에서는 수많은 서비스가 존재합니다. API..

들어가며: 우리는 왜 AI에 열광하는가인류는 왜 천문학적인 리소스를 투입하며 AI를 연구할까요? 단순히 원하는 답을 조금 더 빨리 찾기 위해서일까요?만약 AI가 인간이 이미 학습시킨 데이터를 그저 매끄럽게 요약해서 내뱉는 수준에 그쳤다면, 우리는 이토록 이 기술에 몰입하지 않았을 것입니다.AI의 진정한 가치는 인류가 오랫동안 풀지 못했던 난제를 해결하는 데 있다고 생각합니다.그 난제의 중심에는 바로 '생명(Life)'이 있습니다. 인류의 가장 근원적인 바람인 건강한 삶과 직결된 분야임에도 불구하고, 생명 현상은 그 복잡도가 상상을 초월합니다. 수십 년간 축적된 실험 데이터가 있음에도 불구하고 이를 해석하고 예측하는 데 다른 어떤 분야보다 긴 시간이 걸렸던 이유이기도 합니다.그러나 알파폴드로 인해서 단백질..

들어가며: 쿠버네티스를 쓴다고 모두 '클라우드 네이티브'는 아닙니다.저는 GPU 기반의 LLM 학습 및 서빙 플랫폼을 개발하고 있습니다.GPU 리소스 집약적인 로직을 다루다 보니 당연히 쿠버네티스 환경을 사용하고 있으며, 나름대로 클라우드 네이티브한 환경에서 개발하고 있다고 생각했습니다.그러나 구현에만 집중한 나머지 결합도가 높아 문제가 발생했습니다.예를 들어 학습과 서빙 파트를 분리하고 싶은데, 현재 개발된 내용으로는 어렵습니다. 만약 MSA (MicroService Architecture)를 고려하여 느슨하게 서비스들을 개발했다면 어렵지 않게 문제를 해결했을 것 같다는 생각이 들었습니다.단순히 툴을 사용하는 것을 넘어, 클라우드 환경에 최적화된 설계의 본질을 이해하고 싶어 이 책을 접했습니다. 클라우..

딥시크(DeepSeek)는 2023년에 설립된 중국의 인공지능(AI) 기업으로, 대규모 언어 모델(LLM)을 개발하고 있습니다. 2025년 1월 10일, DeepSeek는 DeepSeek-R1 모델을 기반으로 한 무료 AI 어시스턴트 앱을 iOS와 안드로이드용으로 출시하였으며, 이 앱은 미국 iOS 앱 스토어에서 ChatGPT를 제치고 인기차트 1순위에 올랐습니다. 그만큼 현재 반응이 뜨겁습니다. 왜 이렇게 난리일까?딥시크는 저비용의 AI 솔루션을 제공함으로써, 기존의 AI 시장 구조를 변화시키고 있습니다. 특히 미국의 대형 AI 기업들에게 도전장을 내밀며, 글로벌 AI 시장에서 중요한 역할을 하고 있습니다.딥시크는 비용 효율성과 오픈 소스 모델을 통해 AI 기술의 접근성을 높여, 다양한 기업과 연구자..

개인적으로 Kubernetes 네트워크가 복잡하다고 생각합니다.그도 어쩔 수 없는 게 클러스터 내부에 수 많은 애플리케이션들을 연결시키기 위해서는 그럴 수 밖에 없었을 것이라~ 생각합니다.그래도 나름 간단하게 하기 위한 노력도 보이니 우리 함께 최대한 이해해봅시다! Kubernetes Service 왜 필요해? 🤔먼저 우리가 생각해봐야할 게 있습니다.왜 이게 필요할까요? Pod의 성질이는 Pod의 성질에 관련이 있습니다.예를 들어 Deployment를 통해서 애플리케이션 배포를 관리하고 있는데, Pod가 모종의 이유로 죽게되고 다시 살아났다면 이 전 Pod가 사용했던 IP와 새로 생성된 Pod의 IP는 다르게 생성됩니다.그래서 Pod IP를 직접 사용하는 것은 위험한 방법이라고 할 수 있습니다.이를 해..