- 1AI가 내 일자리를 빼앗아 가버렸어…
- 2걱정 마! AI 기본사회법이 생겼거든!
- 3AI 수익→세금→모든 시민에게 기본소득 지급!
- 4AI 시대, 법이 우리 삶을 지켜줘요 🤝
정의와 배경
고영향 인공지능은 AI 시스템이 내리는 판단·예측·결정이 개인이나 집단의 권리, 안전, 생계, 자유 등에 실질적이고 중대한 결과를 초래할 수 있는 AI를 의미한다. 단순한 콘텐츠 추천이나 오락 목적의 AI와 달리, 오류 또는 편향이 발생했을 때 피해가 회복하기 어려운 수준에 이를 수 있다는 특성이 핵심이다.
이 개념은 EU AI법(AI Act)의 '고위험(High-Risk) AI' 범주, 미국 NIST의 AI 위험 관리 프레임워크 등 국제 규범과 맥락을 공유하며, 대한민국 「AI 기본사회법」 역시 이러한 국제적 흐름을 반영해 별도 관리 기준이 필요한 AI를 구분하는 용어로 사용하고 있다.
주요 적용 영역과 특징
고영향 AI가 주로 문제시되는 영역으로는 의료 진단 및 치료 보조, 채용·인사 평가, 금융 신용 심사, 형사 사법(재범 위험 예측 등), 공공 복지 수급 자격 판정, 자율주행 등이 있다. 이들 영역의 공통점은 AI의 판단이 인간의 전문가적 검토를 대체하거나 강하게 보조하며, 그 결과가 당사자의 생명·재산·자유에 직접 연결된다는 점이다.
고영향 AI는 알고리즘 편향(Algorithmic Bias)과 할루시네이션(Hallucination)의 위험이 특히 심각하게 작용한다. 편향된 학습 데이터로 구축된 채용 AI가 특정 집단을 체계적으로 불이익하게 평가하거나, 의료 AI가 그럴듯한 오진 결과를 제시하는 경우가 대표적 사례로 거론된다.
규제·관리 원칙
고영향 AI에 대해서는 일반 AI보다 강화된 투명성, 설명 가능성, 인간 감독(Human Oversight), 사전 적합성 평가 등의 의무가 부과되는 것이 국제적 추세다. 구체적으로는 AI가 내린 결정에 대해 당사자가 설명을 요구할 권리, 이의신청 절차, 결과의 자동화 의존 비율 제한 등이 포함될 수 있다.
「AI 기본사회법」 체계에서도 고영향 AI를 별도로 분류함으로써 개발자·운영자의 책임 범위를 명확히 하고, 공무원 등 실무자가 AI 도구를 활용할 때 단순한 AI 리터러시(AI Literacy)를 넘어 해당 시스템의 영향 범주를 인식하고 비판적으로 검토하는 역량을 갖추도록 유도한다.
왜 중요한가
공공행정 분야에서 AI 도입이 확대될수록 고영향 AI의 식별과 관리는 핵심 정책 과제가 된다. 복지급여 자동 심사, 행정 처분 보조, 범죄 예방 플랫폼 등 정부 서비스에 AI가 활용될 경우, 잘못된 판단이 시민의 기본권 침해로 이어질 수 있기 때문이다.
공무원은 AI 도구를 도입·운영할 때 해당 시스템이 고영향 AI에 해당하는지 여부를 먼저 판단하고, 그에 맞는 내부 검토 절차와 이용자 보호 조치를 갖추는 것이 법적·윤리적 의무가 될 수 있다. 이는 AI 윤리(AI Ethics)와 디지털 리터러시(Digital Literacy) 역량을 실무적으로 구현하는 출발점이기도 하다.
※ 본 상세 설명은 용어집 데이터를 토대로 AI가 생성했습니다. 정확한 내용은 원문 출처를 우선하세요.