하네스 엔지니어링 (Harness Engineering) - 그 뒤에 숨겨진 엔지니어링적 고민

요즘 하네스 엔지니어링이 유행을 타고 있습니다.
이건 어떤 개념이며, 왜 유행하게 되었을까요?

 

 

🤖 AI Agent의 문제점

일단 AI Agent가 쓰는 AI 모델부터 생각해봅시다.
AI 모델의 결과물은 매번 다르게 생성됩니다. 다음에 올 가장 적절한 단어를 확률적으로 예측하는 엔진이죠.

 

그래서 우리는 이 제어하기 힘든 AI를 길들이기 위해 '에이전트'라는 프레임워크를 씌우지만, 그 바탕이 확률적이라는 사실은 변하지 않습니다.
결국 100% 결정적인 결과를 보장하기란 구조적으로 매우 어렵습니다.

 

그래서 Agent는 답변마다 스타일이 다르거나, 같은 실수를 반복한다거나 하는 문제가 발생합니다.
더 나아가 AI Agent에게 Tool을 쥐어주었을 때는 이 비결정성이 더 위험하게 다가옵니다.
사례를 보면 엉뚱한 파일 삭제한다거나, 운영 중인 서비스의 핵심 코드를 잘못 건드려 장애를 일으키는 사례가 심심치 않게 보고되고 있습니다.

 

 

🏇 Harness Engineering 이란 

Harness란 말에 씌우는 "마구"에서 온 단어입니다.
말을 원하는 방향으로 이끌기 위한 장치라고 할 수 있는데요.
여기서 불확실성과 위험성을 가진 AI를 말에 빗대어 이 제어하는 방법론을 Harness Engineering이라고 합니다.
위에 언급한 문제를 해결하기 위한 목적이 있죠.

 

구체적으로는 아래의 것들을 안전하게 제어합니다.

• 에이전트에게 주어지는 도구(tool) 목록과 권한 범위
• 에이전트에 들어가는 Context 범위 관리
• 에이전트가 호출할 수 있는 API/함수의 실행 환경
• 로깅 및 모니터링 레이어

 

 

💻 개발자의 역할은?

대 AI 시대에서 AI를 다루기 위한 방법론이 프롬프트 > 컨텍스트 > 에이전트 > ... 로 계속 발전하고 있습니다.
이런 과정에서 개발자와 AI 간에 어떻게 협업을 해야하는 지 정리된 글이 있어 공유해보려 합니다.

 

1. 두 가지 루프: Why 루프와 How 루프

• Why 루프: 소프트웨어를 위한 아이디어를 정의하는 과정입니다. 소프트웨어를 원하는 주체는 인간이므로, 이 루프는 인간이 주도합니다.
• How 루프: 코드, 테스트, 인프라 등 중간 산출물을 만들어내며 실제로 소프트웨어를 구축하는 과정입니다. 이 안에는 여러 겹의 하위 루프(코드 생성, 테스트 등)가 존재합니다.

2. 인간과 AI의 협력 모델

Humans outside the loop (Vibe Coding)

• 인간은 아이디어(Why)에만 집중하고, 코드 작성(How)은 전적으로 AI 에이전트에게 맡기는 방식입니다.
• AI가 만든 코드가 지저분하더라도 당장 작동만 하면 신경 쓰지 않게 됩니다. 하지만 내부 코드 품질이 떨어지면 결국 수정이 어려워지고 시간과 비용이 늘어나 외부 품질(성능, 안정성)에도 악영향을 미칩니다.

Humans in the loop

• 인간이 AI가 생성한 코드의 매 줄을 일일이 검토하고 수정하는 역할을 하는 방식입니다.
• AI의 코드 생성 속도를 인간의 검토 속도가 따라가지 못해 결국 인간이 '병목 현상'을 일으키게 되는 문제가 있습니다.

 

Humans on the loop

• 인간이 코드를 직접 검토하는 대신, AI 에이전트가 더 나은 결과물을 낼 수 있도록 안내 시스템인 하네스를 구축하고 관리하는 방식입니다.
• 결과물이 마음에 들지 않을 때 코드를 직접 고치는 것이 아니라, 다음번에는 제대로 된 결과물이 나오도록 하네스를 수정하는 접근법입니다.
• 결과물이 아니라 결과물을 만들어내는 시스템을 개선하는 것입니다.

이제 개발자는 코드를 한 줄씩 직접 쓰는 사람에서, AI가 최상의 결과를 낼 수 있는 최적의 시스템을 설계하는 아키텍트로 진화하게 되는 것입니다.

 

 

👀 마치며

요즘 AI 분야에서는 자고 일어나면 새로운 방법론과 키워드가 쏟아집니다.
일각에서는 이러한 키워드 놀이에 피로감을 느끼는 글도 보았습니다.

 

하지만 우리가 주목해야 할 것은 하네스라는 세련된 이름 뒤에 숨겨진 엔지니어링적 고민입니다.
Harness Engineering도 중요하지만, 그 뒤에 숨겨진 고민과 의도를 살펴보고 나만의 AI를 다루는 방법론을 생각해보는 것도 의미있을 것 같습니다.

 

 

 

좋은 인사이트가 되었기를 바라겠습니다.

 

 

 

참고

https://bcho.tistory.com/1508

AI 코딩의 발전단계 - 하네스 엔지니어링과 완전 자율형 에이전트

https://aws.amazon.com/ko/blogs/tech/harness-engineering-from-deep-insight/

하네스 엔지니어링으로 본 Deep Insight – 로컬 개발에서 프로덕션 운영까지의 설계 여정 | Amazon Web

https://wikidocs.net/340857

0. 들어가며