[AI Times] “프롬프트 대신 컨텍스트 엔지니어링”…미세조정 대안으로 부상

‘바이브 코딩’이라는 용어를 만든 안드레이 카르파시 오픈AI 공동 창립자가 이번에는 ‘컨텍스트 엔지니어링(context engineering)’이라는 개념을 소개했다. 대형언어모델(LLM)이 최고의 성능을 발휘할 수 있도록 컨텍스트를 최적화한다는 개념으로, 기존 프롬프트 엔지니어링의 개념을 뛰어넘어 ‘미세조정의 대안’으로 꼽았다.

카르파시 유레카 랩 창립자는 지난달 말 X(트위터)를 통해 “프롬프트 엔지니어링보다 컨텍스트 엔지니어링이 더 좋다”라는 글을 게재했다.

그는 컨텍스트 엔지니어링을 “LLM 앱에서 다음 단계에 필요한 정보로 컨텍스트 창을 채우는 섬세한 예술이자 과학”이라고 설명했다.

이 작업을 제대로 하려면 작업 설명(task descriptions and explanations), 퓨샷 샘플(few shot examples), RAG, 관련 데이터, 도구, 상태 및 이력, 압축 등 다양한 기술이 필요하다고 전했다. 이 때문에 과학이라는 것이다.

이런 요소들이 너무 적거나 잘못된 형식이면 LLM이 최적의 성능을 위한 적절한 컨텍스트를 갖추지 못한다는 설명이다. 반대로, 너무 과하거나 관련성이 없으면 LLM 비용이 증가하고 성능이 저하될 수 있다고 지적했다.

좀 더 자세하게 설명하면, 컨텍스트 엔지니어링은 LLM 성능을 최적화하기 위해 입력되는 컨텍스트를 설계, 구성, 조작하는 분야를 말한다. 프롬프트와 시스템 명령어, 검색된 지식, 형식, 정보 순서 등에 초점을 맞추는 것이다.

예를 들어 AI에 성과 평가서를 작성해 달라고 요청한 경우, 맥락(컨텍스트)이 부족하면 단순한 평가 결과만 받아 볼 수 있다. 그러나 맥락이 풍부하면 평과 결과와 함께 직원의 목표, 과거 평가, 프로젝트 결과, 동료 피드백, 그리고 관리자 메모까지 볼 수 있다. 이를 별도의 미세조정이나 아키텍처 수정 없이 컨텍스트만으로 해결한다는 개념이다.  

마크테크포스트는 최근 LLM의 성능이 크게 발전하며, 모델의 성능은 매개변수의 크기보다 컨텍스트 품질에 더 크게 좌우되는 경우가 많다고 설명했다. “이런 의미에서 컨텍스트 엔지니어링은 AI 에이전트와 검색 증강 생성(RAG) 시대의 프롬프트 프로그래밍이라고 보면 된다”라고 덧붙였다.

이를 통해 ▲중복되거나 구조가 부실한 컨텍스트로 인한 토큰 낭비를 줄이고 ▲LLM으로 유입되는 잡음을 줄여 정확도와 관련성을 향상하며 ▲RAG로 외부 데이터를 실시간으로 가져올 때 무엇을 검색할지, 어떻게 분할할지, 어떻게 표현할지 결정하는 데 도움이 된다고 설명했다.

또 ▲메모리, 목표 및 도구 사용을 유지하기 위해 컨텍스트에 의존하는 에이전트 워크플로우에 유익하며 ▲모델이 제로샷이나 퓨샷 학습을 통해 성능을 발휘할 수 있도록 돕기 때문에 미세조정 없이도 도메인별 작업에 유리해진다고 덧붙였다.

컨텍스트 엔지니어링에 사용되는 기술은 여러 가지다.

LLM의 행동과 스타일을 정의하는 시스템 프롬프트 최적화가 대표적이다. LLM에 역할을 부여하고, 차근차근 생각하라고 지시하고, 특정한 형태로만 출력을 지정하는 식이다. 랭체인(LangChain) 등을 활용해 프롬프트를 작업별로 분할하는 방식도 유용하다. 

과거의 대화 내용이나 작업 내용을 구조화, 비슷한 작업에서 이전의 맥락을 유지하는 것도 핵심이다. 여기에는 이전 대화뿐만 아니라, RAG와 메모리, 도구 사용 등의 맥락도 포함된다. 

이처럼 다양한 기술을 잘 조합하는 것이 핵심이다. 그래서 카르파시 창립자는 “인간의 정신이 LLM 심리를 관통하는 직관이 필요하기 때문에 예술이라고 할 수 있다”라고 말했다.

이처럼 프롬프트 엔지니어링과 완전히 별개는 아니지만, 단일 프롬프트에 적용되는 것이 아니라 더 광범위하고 시스템 차원에서 작용한다. 그래서 유명 개발자인 사이먼 윌리슨은 “컨텍스트 엔지니어링은 미세조정 대신 하는 일”이라고 강조했다.

카르파시 창립자도 “컨텍스트는 새로운 가중치(weight) 업데이트”라며 모델을 재학습하는 대신, 컨텍스트를 통해 모델을 프로그래밍한다고 말했다. 

또 “개별 LLM을 LLM 애플리케이션에 완전하게 통합하는, 복잡하지만 중요한 소프트웨어 계층의 일부”라고 강조했다. 이런 작업의 중요성으로 인해 “AI 앱 제작자를 단순히 ‘챗GPT 래퍼(wrapper)’라고 치부하는 것은 정말 잘못된 일”이라고 지적했다.

이처럼 컨텍스트 엔지니어링은 더 이상 선택 사항이 아니라는 설명이다.

특히 에이전트 워크플로우가 확산됨에 따라, 맥락을 유지하는 것은 모델 선택만큼이나 중요해지고 있다는 분석이다. 검색 시스템을 구축하든 코딩 에이전트나 개인 맞춤형 비서를 구축하든, 컨텍스트를 어떻게 구성하는지가 모델 지능을 점점 좌우하게 될 것이라는 결론이다.

출처 : https://www.aitimes.com/news/articleView.html?idxno=200409&page=2&total=8029