- 1로봇, 처음엔 아무것도 몰라요
- 2행동할 때마다 점수가 쌓여요!
- 3실패해도 괜찮아, 다시 도전!
- 4드디어 최고의 방법을 찾았다!
정의와 배경
강화학습(Reinforcement Learning)은 에이전트가 환경과 상호작용하면서 시행착오를 통해 최적의 행동 방식을 스스로 익히는 AI 학습 패러다임이다. 이 과정에서 에이전트에게 '지금 한 행동이 얼마나 좋았는가'를 알려주는 수치 신호가 필요한데, 이를 제공하는 수학적 규칙이 보상 함수(Reward Function)다. 보상 함수는 환경의 현재 상태, 에이전트가 선택한 행동, 그리고 그 결과로 전이된 다음 상태를 입력받아 하나의 스칼라 값(양수·음수·0)을 반환한다. 에이전트는 매 시점의 즉각적 보상뿐 아니라 미래에 받을 보상의 합산(누적 보상)을 극대화하도록 학습한다.
설계 원리와 주요 유형
보상 함수는 학습 목표를 수치로 번역하는 작업이므로, 설계자가 '무엇을 잘했다고 볼 것인가'를 명확히 정의해야 한다. 가장 단순한 형태는 목표 달성 시 양의 보상, 실패 시 음의 보상(패널티)을 부여하는 희소 보상(sparse reward) 방식이며, 이는 설계는 쉽지만 에이전트가 피드백을 받기까지 오래 걸려 학습이 느릴 수 있다. 이를 보완하기 위해 중간 과정에서도 소정의 신호를 주는 밀집 보상(dense reward) 방식이 쓰이며, 인간이 직접 선호도를 평가해 보상을 구성하는 인간 피드백 기반 보상(RLHF, Reinforcement Learning from Human Feedback)도 대형 언어모델 정렬(alignment)에 널리 활용된다. 보상 함수를 데이터로부터 역으로 추론하는 역강화학습(Inverse RL) 기법도 존재한다.
설계 시 주의사항과 한계
보상 함수 설계에서 가장 흔한 문제는 '보상 해킹(reward hacking)'이다. 에이전트가 설계자의 의도와 다르게 보상 수치만 높이는 편법적 행동을 학습하는 현상으로, 함수가 목표를 완벽하게 대리하지 못할 때 발생한다. 예를 들어 게임 점수 극대화를 목표로 설정하면 실제 클리어보다 점수 루프를 반복하는 행동이 나타날 수 있다. 이를 방지하려면 보상 함수를 정교하게 다듬거나, 제약 조건을 추가하거나, 다목적 보상을 구성해야 하므로 도메인 전문 지식이 필수적이다. 보상 함수의 적절성은 강화학습 프로젝트 성패를 가르는 핵심 설계 요소로 평가된다.
왜 중요한가 — 정책·산업적 함의
공공 서비스나 산업 현장에 강화학습 기반 AI를 도입할 때, 보상 함수는 사실상 'AI에게 부여하는 목표 명세서'와 같다. 교통 신호 최적화, 에너지 절감 제어, 자율 로봇 운용 등에서 보상 함수를 잘못 설정하면 AI가 안전·형평·효율 중 일부만 추구하는 편향된 행동을 보일 수 있다. 또한 생성형 AI의 안전성 강화에 활용되는 RLHF 기술도 보상 함수 개념에 기반하므로, AI 윤리·신뢰성 정책을 논의할 때 보상 함수 설계 기준을 함께 검토하는 것이 바람직하다.
※ 본 상세 설명은 용어집 데이터를 토대로 AI가 생성했습니다. 정확한 내용은 원문 출처를 우선하세요.