- 1거대 AI, 모든 걸 배웠어요!
- 2근데 우리 병원 말투는 달라요…
- 3조금만 더 가르쳐 드릴게요!
- 4완벽한 의료 AI 탄생✨
정의와 배경
전이학습이란 특정 작업을 위해 훈련된 딥러닝 모델이 내부적으로 학습한 특징(feature)과 지식을 추출하여, 관련된 다른 작업에 적용하는 학습 패러다임이다. 전통적인 머신러닝에서는 과제마다 처음부터(from scratch) 모델을 학습해야 했으나, 딥러닝 모델의 규모가 커지면서 매번 새로 학습하는 것은 막대한 비용과 시간을 요구하게 되었다.
이에 따라 대량의 범용 데이터로 미리 학습된 '사전학습 모델(pre-trained model)'을 기반으로 새로운 과제에 재활용하는 전이학습이 표준적인 접근법으로 확립되었다. 인간이 자전거를 탈 줄 알면 오토바이 운전을 더 빨리 익히는 것처럼, 모델도 기존에 습득한 지식 구조를 새로운 상황에 활용한다는 직관에서 출발한다.
작동 원리와 주요 방식
전이학습의 핵심은 사전학습 단계와 적용 단계의 분리이다. 먼저 대규모 데이터셋으로 모델을 충분히 사전학습하여 언어 구조, 이미지 패턴, 음성 특징 등 범용적인 표현(representation)을 모델 내부에 축적한다. 이후 목표 과제의 소규모 데이터로 모델 전체 또는 일부 계층만을 추가 학습시키는 파인튜닝(fine-tuning)을 수행하여 특정 도메인에 맞게 조정한다.
적용 방식은 크게 세 가지로 구분된다. 첫째, 사전학습 모델의 가중치를 고정하고 최상위 출력 계층만 새로 학습하는 '특징 추출(feature extraction)' 방식, 둘째, 모든 계층을 대상 데이터로 재학습하는 '전체 파인튜닝', 셋째, 소량의 예시만으로 추론하는 '퓨샷 러닝(few-shot learning)'이 있다. 목표 과제의 데이터 규모와 사전학습 도메인과의 유사도에 따라 적합한 방식을 선택하는 것이 중요하다.
왜 중요한가
전이학습은 AI 기술의 실용화 문턱을 크게 낮춘다는 점에서 정책·산업 관점에서 핵심적인 의미를 가진다. 모든 기관이나 기업이 수천억 개의 파라미터를 가진 대형 모델을 처음부터 학습할 만한 데이터와 컴퓨팅 자원을 보유할 수 없지만, 전이학습을 활용하면 상대적으로 적은 자원으로도 경쟁력 있는 AI 서비스를 구축할 수 있다.
특히 공공행정, 의료, 법률 등 전문 도메인에서는 레이블된 학습 데이터 자체가 희소하거나 수집 비용이 높은 경우가 많아, 범용 사전학습 모델을 해당 분야 소규모 데이터로 파인튜닝하는 전이학습 방식이 사실상 유일한 현실적 대안이 되기도 한다. GPT, BERT 등 현재 활용되는 대부분의 거대언어모델(LLM)은 전이학습 구조를 기반으로 운용된다.
※ 본 상세 설명은 용어집 데이터를 토대로 AI가 생성했습니다. 정확한 내용은 원문 출처를 우선하세요.