요즘 하네스 엔지니어링이 유행을 타고 있습니다.이건 어떤 개념이며, 왜 유행하게 되었을까요? 🤖 AI Agent의 문제점일단 AI Agent가 쓰는 AI 모델부터 생각해봅시다.AI 모델의 결과물은 매번 다르게 생성됩니다. 다음에 올 가장 적절한 단어를 확률적으로 예측하는 엔진이죠. 그래서 우리는 이 제어하기 힘든 AI를 길들이기 위해 '에이전트'라는 프레임워크를 씌우지만, 그 바탕이 확률적이라는 사실은 변하지 않습니다.결국 100% 결정적인 결과를 보장하기란 구조적으로 매우 어렵습니다. 그래서 Agent는 답변마다 스타일이 다르거나, 같은 실수를 반복한다거나 하는 문제가 발생합니다.더 나아가 AI Agent에게 Tool을 쥐어주었을 때는 이 비결정성이 더 위험하게 다가옵니다.사례를 보면 엉뚱한 파일 ..

🤔 들어가며타인의 귀중한 경험을 책을 통해 간접적으로 접할 수 있다는 점은 독서가 주는 가장 큰 매력일 것입니다.이 책의 글쓴이 최범균 님은 여러 회사를 거치며 개발 업무를 진행해 온 잔뼈 굵은 개발자입니다.이 책을 통해 시니어 개발자로 성장하기 위한 10가지 핵심 역량을 본인의 통찰과 함께 풀어냅니다. 저는 한 회사 내에서 세 번의 부서 이동을 거치며 7년 동안 소프트웨어 엔지니어로 활동해 왔습니다.변화무쌍한 환경 속에서 쌓아온 제 경험들을 되짚어보며, 과연 내가 놓치고 있었던 본질은 무엇인지 그리고 앞으로 어떤 성장을 이뤄야 할지 고민하며 이 책을 읽었습니다.그 과정에서 얻은 인사이트들을 공유해보고자 합니다. ✨ 새로운 구현 기술 사용 != 성장소프트웨어 업계는 기술 트렌드가 매우 빠르게 변하기 때..

🧬 들어가며최근 생명과학과 인공지능이 결합된 '바이오 AI' 분야에 관심이 생겼습니다. 하지만 경험이 없고 워낙 방대한 분야이다 보니, 어떻게 접근해야 할지 어려움을 느끼고 있었습니다.그러던 중 이 고민에 대한 해답을 찾을 수 있지 않을까 하는 기대감을 안고 세미나에 직접 다녀왔습니다. 세미나에서 공유한 내용을 정리하고자 합니다. 🚀 NVIDIA와 Bio-AI의 만남신약 개발은 천문학적인 비용과 시간이 드는 분야입니다.이를 해결하기 위해 NVIDIA는 데이터 생성과 처리, 모델 훈련, 최적화, 배포를 지원하는 생명과학 특화 AI 개발 플랫폼 'BioNeMo'를 대대적으로 확장하고 있습니다.새로운 NVIDIA Clara 오픈 모델: RNA 구조 예측을 위한 RNA프로(RNAPro) 모델과 AI가 설계..

👀 들어가며 먼저 명확히 밝혀두고 싶은 점은, 제가 이 책을 읽은 목적이 단순히 면접을 대비하기 위함은 아니라는 것입니다.AI가 엔지니어의 자리를 위협하는 시대일수록, 단순한 코딩 능력보다는 전체를 바라보는 설계 역량이 생존의 핵심이 될 것이라 생각하고 있습니다.그동안 현업에서 대규모 데이터를 깊게 다뤄볼 기회가 상대적으로 적었기에, 이번 학습을 통해 대규모 시스템을 구축할 때 갖춰야 할 필수적인 관점과 인사이트를 얻고 싶어 이 책을 접하게 되었습니다.이 책은 시스템 설계의 전반적인 과정을 면접의 형태로 풀어나갑니다.그 과정에서 제가 얻은 인사이트를 공유드리겠습니다. 🤔 모든 구조에는 이유가 있다!이 책의 가장 큰 매력은 결코 단정적인 정답만을 제시하지 않는다는 점입니다. "이런 구조도 있어, 그런데..

들어가며저는 AI 플랫폼 개발을 하고 있습니다. 플랫폼을 설계하고, 개발하다보면 다양한 문제에 부딪히게 됩니다. 그러다 문득 "다른 기업들은 어떻게 이러한 문제를 해결할까?" 라는 생각이 들어 이 책을 접하게 되었습니다.이 책에는 우아한 형제들에서 AI를 활용하여 실제 서비스를 만들고 시스템을 개선한 대표적인 사례들이 담겨있습니다. 기술에 대한 자세한 내용을 다룬다기 보다는 고민 과정과 그로 인한 지식과 통찰력이 주된 내용을 이루고 있습니다.아래에서 이 책을 통해 얻은 인사이트를 공유해보도록 하겠습니다. ✨ 📊 모델보다 중요한 건 '문제 정의'와 '데이터'AI의 화려함에 익숙해져 기본을 놓치기 쉽다고 생각합니다.어떤 서비스를 개발할 때 "이 서비스가 왜 필요한가?" 에 대한 고민이 필요하다고 생각합니다..

"AI 에이전트" 요즘 정말 핫한 키워드입니다.LLMOps와 관련 인프라 엔지니어로서, 사실 에이전트라는 개념을 조금은 가볍게 생각했었던 것 같습니다.하지만 시장의 변화는 생각보다 훨씬 빨랐고, 제가 알던 AI 활용의 범위를 훌쩍 넘어서고 있습니다.변화에 적응해야할 필요성을 느끼며, 에이전트 엔지니어링의 초석을 제대로 다져보고자 이 책을 탐독하기 시작했습니다. 🤖 AI 에이전트가 뭐야!데이터를 스스로 분석하고 환경을 해석하며 컨텍스트에 기반한 결정을 내리도록 설계된 지능형 시스템이다. 과거에 AI 에이전트라는 개념은 사실상 '챗봇'과 동의어였습니다.하지만 LLM이 나날이 발전하면서 모델이 수행할 수 있는 영역은 상상 이상으로 넓어졌습니다.그렇다면 AI에게 더 많은 권한을 주면 어떨까요? 예를 들어, A..

작년 회사 지원으로 연세대학교 AI 교육을 금요일마다 7주간 수료했습니다.당시 가장 흥미롭게 다루었던 프로젝트 주제인 'Chain of Thought(CoT)'에 대해 정리하려고 합니다.발표 담당자로서 복잡한 개념을 최대한 쉽게 풀어서 설명하려 노력했던 내용들을 핵심 위주로 공유하겠습니다. 🧘 Chain-of-Thought (CoT) 가 무엇인가?LLM이 단순히 답만 찾아내는 것에서 그치지 않고, 논리적 사고를 할 수 있도록 돕는 방법론입니다.아래 그림에서 LLM에게 풀이과정을 쓰도록 유도했더니, 기존에 틀렸던 답을 맞추며 성능 향상을 보여줍니다.인류가 AI에게 기대하는 것은 단순히 학습된 내용을 그대로 내뱉는 것이 아닙니다.인류의 미제 문제를 언젠가는 해결해주길 기대하 수조 원 씩 투자하고 있는 것입..

구글에서는 아주 친절하게 AlphaFold 모델을 경험할 수 있도록 구글 코랩(Google Colab) 환경을 제공합니다.웹브라우저만 있다면 누구든지 쉽게 실행할 수 있습니다. (기본 제공되는 자원으로도 빠르게 실행됩니다.)https://colab.research.google.com/github/sokrypton/ColabFold/blob/main/AlphaFold2.ipynb Google Colab NotebookRun, share, and edit Python notebookscolab.research.google.com 그런데 막상 들어가보면 가이드가 있긴한데, 다 영어고 해석도 쉽지 않습니다.그래서 실행해보는 김에 가이드 형태로 결과를 정리해보고자 합니다.1. Input protein sequen..

들어가며저는 현업에서 Kserve를 활용해서 모델 서빙을 하고 있습니다.Kserve는 Serveless 모드로 설치하는 것이 표준이었고, Istio/Knative와 함께 설치해서 사용하고 있었습니다. 그런데 0.15 버전부터는 RawDeployment 모드(0.16 버전부터는 Standard 모드라고 불림) 설치가 생겼고, LLM 서빙 시에는 해당 설치 방법이 권장된다고 합니다. 아무래도 Serverless 모드의 핵심인 'Scale-to-zero'는 LLM에서 비현실적으로 다가왔던 것 같습니다. 기가바이트 단위의 모델 가중치를 다시 로드하는 데 시간이 너무 오래 걸리기 때문입니다.Knative의 구성요소가 많고 디버깅도 어려워 걷어내고 싶다는 니즈가 있었는데, 여러 곳에서 유사한 고민이 있었던 것 같습..