프롬프트 튜닝

정의와 배경

프롬프트 튜닝은 GPT·BERT 계열 등 대규모 파운데이션 모델을 특정 업무에 적용할 때, 수십억 개에 달하는 모델 파라미터 전체를 재학습(풀 파인튜닝)하는 대신 입력 앞에 부착하는 소수의 학습 가능한 벡터(소프트 프롬프트)만을 최적화하는 기법이다. 기존에는 사람이 직접 작성하는 텍스트 형태의 프롬프트(하드 프롬프트)로 모델 출력을 조정하였으나, 프롬프트 튜닝은 이 프롬프트 자체를 데이터로부터 자동 학습함으로써 보다 정밀한 태스크 적응을 가능하게 한다. 파운데이션 모델의 규모가 커질수록 풀 파인튜닝의 비용 부담이 급증함에 따라, 경량 적응 기법에 대한 수요가 함께 증가하면서 주목받게 되었다.

작동 원리와 종류

프롬프트 튜닝의 핵심은 모델 입력 시퀀스 앞에 고정 길이의 연속 벡터(소프트 프롬프트)를 추가하고, 역전파(backpropagation)를 통해 해당 벡터만 업데이트하는 것이다. 모델 본체의 가중치는 동결(freeze)된 상태로 유지되므로, 학습해야 할 파라미터 수가 전체의 극히 일부에 불과하다.

유사 계열 기법으로는 트랜스포머의 중간 레이어에 학습 가능한 벡터를 삽입하는 '프리픽스 튜닝(Prefix Tuning)', 모델 내부 어댑터 모듈을 추가하는 '어댑터 튜닝', 가중치 행렬의 저차원 분해를 활용하는 'LoRA(Low-Rank Adaptation)' 등이 있으며, 이들을 통칭하여 PEFT(Parameter-Efficient Fine-Tuning)라 부른다.

왜 중요한가

파운데이션 모델의 풀 파인튜닝은 대규모 GPU 클러스터와 막대한 전력·시간을 요구하므로, 공공기관이나 중소기업이 자체적으로 수행하기 어렵다. 프롬프트 튜닝은 이 진입 장벽을 낮추어 소수의 GPU 자원만으로도 특정 행정 서비스, 언어 처리, 문서 분류 등 맞춤형 AI 기능을 구현할 수 있게 한다.

또한 하나의 파운데이션 모델 위에 용도별 소프트 프롬프트만 교체하는 방식으로 다양한 서비스를 제공할 수 있어, AIDC 운영 효율화와도 직결된다. 국가 차원의 대규모 AI 인프라 투자(AIDC 메가프로젝트 등)에서 구축된 파운데이션 모델을 여러 부처·기관이 공유·활용하는 시나리오에서 프롬프트 튜닝은 핵심 적응 수단으로 기능할 수 있다.

AIDC 메가프로젝트 맥락

AIDC 메가프로젝트는 AI 연산에 특화된 대규모 데이터센터 인프라를 구축하여 파운데이션 모델의 학습·추론 역량을 국가 차원에서 확보하는 것을 목표로 한다. 이렇게 구축된 인프라 위에서 범용 파운데이션 모델이 개발·운영된다면, 각 정부 부처나 공공기관은 풀 파인튜닝 없이 프롬프트 튜닝 방식으로 소관 업무에 특화된 AI 서비스를 빠르게 도입할 수 있다. 결과적으로 인프라 투자 효율을 극대화하고, 모델 재학습에 수반되는 추가적인 전력 소비와 GPU 점유를 최소화하는 데 기여한다.