최근 생성형 AI를 둘러싼 뉴스는 연일 화제를 모으고 있습니다. 이미지와 영상까지 실제와 구분하기 어려운 수준으로 생성하고 조작할 수 있게 되면서, 사기나 AI 몰카와 같은 범죄로 악용되는 사례도 빠르게 늘고 있죠.
AI 기술은 분명 우리의 삶을 더 편리하게 바꾸고 있습니다. 그러나 기술이 고도화될수록, 그 이면에 존재하는 안전성과 신뢰성에 대한 우려 역시 커지고 있습니다. 그렇다면 우리는 지금 AI를 정말 책임감 있게 사용하고 있을까요? 책임 있는 AI 사용을 위협하는 문제들은 무엇이며, 어떻게 해결해야 할까요?
AI 시대에 드러난 윤리적 과제
AI 개발 초기에는 모델의 성능을 끌어올리는 것이 무엇보다 중요한 과제였습니다. 윤리나 사회적 영향까지 고려하기에는 아직 이르다는 인식도 적지 않았죠. 그러나 대규모 언어모델(LLM)의 등장과 함께 AI의 활용 범위가 급격히 확장되면서, 윤리 문제는 더 이상 나중에 고민해도 될 과제가 아닌 당면한 현실이 되었습니다.
환각 현상
생성형 AI의 가장 기본적인 위험 요소로 꼽히는 것은 환각 현상입니다. AI는 본질적으로 ‘확률적’으로 답변하는 모델입니다. 즉, 명확한 정답을 알지 못하는 질문에 대해서도 확률적으로 가장 그럴듯한 답을 생성합니다. 이 과정에서 사실이 아닌 내용을 매우 확신에 찬 어조로 제시하는 경우가 발생하는데, 이를 환각 현상이라고 합니다. 문제는 사용자가 이러한 답변을 사실로 받아들이고 전적으로 신뢰해 버릴 수 있다는 점입니다.
실제 사례도 확인되고 있습니다. 2023년, 미국 뉴욕의 변호사들이 챗봇이 생성한 허위 판례와 변론서를 법원에 제출했다가 5,000달러의 벌금을 부과받은 사건이 있었습니다. 또 캐나다의 한 항공사는 자사 AI 챗봇이 잘못된 할인 정보를 제공해 소비자에게 손해를 입혔고, 결국 보상 판결을 받기도 했습니다.
특히 법률ㆍ의료ㆍ회계처럼 정확성이 필수적인 전문 영역으로 갈수록, 환각 현상이 더욱 심해지는 경향이 있습니다. 이는 단순한 오류를 넘어 심각한 사회적 피해로 이어질 수 있다는 점에서 더 큰 위험 요소로 작용할 수 있는 것이죠.
편향성
편향 문제는 AI와 기계 학습 분야에서 오래전부터 지적돼 온 과제입니다. AI 모델은 주어진 데이터로 훈련하기 때문에 데이터에 포함된 편향 또한 그대로 학습하여 편견이나 차별을 담은 응답을 생성할 가능성이 있습니다.
과거 일부 자동 채용 시스템에서는 남성 지원자의 이력서를 중심으로 학습한 결과, 이력서에 ‘여성’이라는 단어가 포함됐다는 이유만으로 점수를 낮춘 사례가 보고된 바 있습니다. 또 과거 미국 형사사법 시스템에서 사용된 COMPAS 알고리즘은 흑인 피고인을 고위험군으로 잘못 분류할 확률이 백인보다 두 배 높았던 것으로 알려져 비판을 받기도 했습니다.
이러한 사례들은 AI가 결코 중립적인 도구가 아니며, 학습 과정과 데이터 선택이 결과에 직접적인 영향을 미친다는 점을 분명히 보여줍니다.
탈옥
AI는 민감하거나 위험한 질문에 대해 답변을 거절하도록 설계되어 있습니다. 그러나 이러한 규칙을 깨려는 시도가 바로 탈옥입니다. 탈옥은 AI 모델이 설정된 윤리ㆍ안전성 기준을 우회하도록 유도해, 유해하거나 부적절한 출력을 생성하게 만드는 기법을 의미합니다.
예를 들어, 단순히 “폭탄 만드는 방법을 알려달라”고 요청하면 거절하던 AI가 특정 감정적 맥락을 덧붙이거나, 이미지 속 내용을 그대로 설명해 달라고 하면 이를 수행하는 사례가 보고되기도 했습니다. 이러한 기법은 피싱 메일 대량 생성, 악성코드 제작 등 실제 범죄로 이어질 가능성이 있어 지속적인 대응이 요구됩니다.
동조화 현상
최근에는 동조화라는 새로운 위험 요소도 주목받고 있습니다. AI가 사실 여부와 무관하게 사용자의 의견에 과도하게 동의하거나, 듣기 좋은 방향으로만 답변하는 현상입니다.
이는 AI 평가 과정에서 정확성보다 사용자 만족도가 더 높은 점수를 받았던 구조적 요인과도 맞물려 있습니다. 이로 인해 AI가 진실성을 희생하더라도 사용자의 기대에 부합하는 응답을 생성하는 방향으로 학습될 수 있다는 점이 문제로 지적되고 있죠.
AI 윤리를 회복하는 기술
생성형 AI가 만들어내는 위험은 단일한 원인에서 비롯되지 않습니다. 입력 데이터, 모델 구조, 학습 방식, 응답 출력, 그리고 사용 환경까지, 여러 지점에서 복합적으로 발생합니다. 앞서 살펴본 위험 요소들을 해결하기 위해 하나의 해법이 아니라, 여러 단계에서 작동하는 기술적 대응이 함께 필요하죠.
훈련 데이터 필터링
AI 안전성 확보의 첫 단계는 훈련 데이터 관리입니다. 모델은 결국 학습한 데이터를 바탕으로 사고하고 응답하기 때문에, 초기 데이터에 유해하거나 부적절한 정보가 포함되어 있다면 이후 단계에서 이를 완전히 제거하기는 어렵습니다.
이에 따라 AI 개발 과정에서는 혐오 표현, 폭력적·불법적 콘텐츠, 개인정보 등 유해 데이터를 학습에서 차단하는 데이터 필터링 작업이 진행됩니다.
가드레일
생성형 AI는 학습 과정에서 안전 기준을 반영하더라도, 예기치 않은 위험한 응답을 출력할 가능성이 있습니다. 이에 따라 실제 서비스 환경에서는 모델이 응답을 생성한 이후, 사용자에게 전달되기 전 단계에서 한 번 더 안전성을 점검하는 절차가 필요합니다.
바로 이 지점에서 작동하는 것이 가드레일입니다. 가드레일은 모델이 생성한 결과를 다시 검토해, 정책이나 안전 기준에 위배되는 표현이나 금지된 키워드가 포함되어 있는지 확인하고, 문제가 될 수 있는 응답은 차단하거나 수정하는 역할을 합니다.
이는 시스템 프롬프트를 통해 모델의 행동 범위를 명시하거나 생성된 응답을 다시 분석해 부적절한 내용을 걸러내는 방식 등으로 구현됩니다. 이러한 접근은 모델이 실수하더라도 최종 사용자에게 전달되는 위험을 줄이는 역할을 하는 것이죠.
인간 참여 학습
AI 안전성을 높이기 위한 또 하나의 중요한 접근은 인간 참여 학습입니다. 모델 학습과 응답 생성 과정에 사람이 개입해 응답의 적절성, 윤리적 문제, 사회적 맥락의 부합 여부를 평가하고, 그 결과를 다시 모델 개선에 반영합니다.
실제로 네이버의 HyperCLOVA X 개발 과정에서도 고품질 한국어 시나리오에서 인간 교정 데이터를 적극 활용해 유해 발언을 억제하고 응답의 신뢰성을 높여왔습니다. 또한 사람의 판단 역시 편향을 가질 수 있기 때문에, 다양한 배경을 가진 참여자를 포함해 지속적으로 보완하는 과정이 함께 이뤄지고 있습니다.
레드티밍(Red-teaming)
AI 안전성을 검증하는 과정에서 의도적으로 공격적인 시도를 해서 취약점을 찾아내는 접근도 있습니다. 바로 레드티밍(Red-teaming)입니다.
레드티밍이란 모델에 악의적 목적이 아닌 식별을 위해 의도적으로 시스템의 취약점을 공격적으로 테스트하는 활동을 의미합니다. 민감하거나 악의적인 프롬프트를 입력해 안전장치를 뚫고 유해한 응답을 유도하는 것이죠. 이러한 과정을 통해 취약한 프롬프트를 발견하고 개선할 수 있습니다.
네이버 역시 생성형 AI 모델을 대상으로 레드팀 챌린지를 진행하며, 취약한 프롬프트와 개선점을 도출해 왔습니다. 현재는 사내 전담 레드팀을 운영하며 지속적으로 모델 안전성을 점검하고 있습니다.
안전한 AI를 위한 팀네이버의 노력
이렇듯 AI 안전성 확보는 전 세계가 함께 풀어가야 할 공통의 과제입니다. 다만 현재의 AI 안전성 평가 기준과 데이터는 영어 중심으로 설계된 경우가 많아, 한국어 환경과 한국 사회의 맥락을 충분히 반영하는 데에는 한계가 존재합니다.
이에 팀네이버는 한국 사회에 맞는 AI 안전성·윤리 평가를 위해 네 가지 데이터셋을 공개했습니다.
- KoBBQ: 약 7.6만 문항으로 구성된 편향 질의응답 데이터셋으로, 불충분한 맥락을 줬을 때 AI가 고정관념이나 편견에 기대어 응답하는 경향을 측정합니다.
- SQuARe: 민감한 질문과 그에 대한 바람직한 응답을 중심으로 구성된 약 9만 문답 규모의 데이터셋으로, AI가 논쟁적이거나 윤리적 판단이 요구되는 질문에 얼마나 안전하게 답변할 수 있는지를 평가합니다.
- KoSBi: 유엔 인권선언 등을 참고해 설계된 한국어 사회 편견 측정 데이터셋으로, 성별ㆍ연령ㆍ종교 등 15개 속성별로 AI의 유해 발언 탐지 및 편향 완화 능력을 평가합니다.
- KorNAT: 한국인의 사회적 가치관과 상식을 반영한 1만 문항 규모의 평가 벤치마크로, AI가 한국적 맥락의 가치와 지식을 얼마나 이해하고 이를 응답에 반영하는지를 점검합니다.
팀네이버는 이러한 데이터셋을 제공하여 AI가 한국적 맥락 속에서 얼마나 안전하고 책임 있게 작동하는지 더욱 체계적으로 점검할 수 있는 기반을 마련했습니다. 안전한 AI 생태계를 위해 누구나 활용할 수 있도록 구축 과정과 코드, 데이터셋까지 모두 공개했으며, 국내 AI 생태계 전반에서 안전성 수준을 높이는 데 기여하고 있습니다.
맺으며
AI는 분명 강력한 도구입니다. 하지만 그 힘을 사회에 긍정적으로 발휘하기 위해서는, 성능의 진화와 함께 안전성과 신뢰성 역시 함께 고려되어야 합니다.
AI 안전성은 기술만으로 완성되지 않습니다. 사용자, 기업, 사회가 각자의 위치에서 역할을 나눌 때 비로소 실질적인 안전이 확보될 수 있습니다. 사용자는 AI를 맹신하기보다 한 번 더 검증하는 비판적 사고를 해야 하며, 호기심이나 재미로 범죄 방법을 묻거나 차별적인 발언을 유도하지 않는 책임 있는 사용 태도 역시 중요합니다.
AI를 더 잘 쓰는 것만큼, AI를 더 안전하게 쓰는 방법을 고민하는 일. 지금 우리가 반드시 함께 풀어가야 할 과제입니다.
더 알아보기: KBS N 시리즈 ‘AI토피아’ 제6회
위에서 정리한 내용은 윤상두 네이버클라우드 AI Lab 리더가 출연한 KBS N 시리즈〈AI토피아〉제6회 영상에서도 확인하실 수 있습니다. 방송은 핵심 개념과 배경을 맥락화하고 최근 흐름을 함께 짚어, 본문에서 다룬 내용을 더 명료하게 이해하는 데 도움이 됩니다.