AI의 거짓말, 줄일 수 있을까? LLM 신뢰도 높이기
대규모 언어 모델(LLM)을 사용하며 실제로 존재하지 않는 정보가 생성되는 것을 본 적 있으신가요?
우리가 AI에 묻는 지식과 정보는 지금도 끊임없이 변화하고 있습니다. 이때, 신뢰할 수 있는 출처의 데이터에 근거하여 답변을 만들지 않으면 정보가 왜곡될 수 있습니다.*
* 할루시네이션이라고도 일컫는 이 현상은 사실에 기반하지 않거나 실제로 존재하지 않는 정보를 생성하는 것을 말합니다.
“신뢰는 천천히 쌓이고 순식간에 무너진다”라는 말처럼, AI의 신뢰성은 한 번의 실수로도 크게 훼손될 수 있습니다. AI가 현실과 다른 정보를 제공하면, 사용자들은 어떤 말을 믿어야 할지 헷갈릴 수밖에 없습니다. 마치 미로 속에서 엉터리 지도를 들고 길을 찾으려는 것과 같죠. 없는 길을 있다고 알려주는 셈이에요.
의료 진단에서 법률 자문까지, AI가 점점 더 중요한 결정을 돕는 시대에 AI의 정보 왜곡은 단순한 오류를 넘어 중요한 의사 결정에서 실질적인 피해를 초래할 수도 있습니다. AI 기술의 발전은 단순히 더 많은 정보를 학습시키는 것을 넘어, 어떻게 신뢰할 수 있는 정보를 제공할 것인가에 대한 고민으로 이어져야 합니다.
이 글에서는 답변의 신뢰성을 높여 정확한 정보를 제공하기 위해 네이버에서 연구하고 있는 기술을 소개해 드리려고 합니다. 사용자에게 답변을 제공하기까지 내부적으로 어떤 과정을 거치는지 함께 살펴보겠습니다.
답변을 검증하라 – Fact Checker
더 신뢰할 수 있는 답변을 제공하기 위해 Fact Checker 기술을 개발하였습니다. 이 기술은 생성된 답변의 사실 여부를 확인하고 검증하는 역할을 하는데요, 총 3단계에 거쳐 사실에 기반하지 않은 정보를 걸러냅니다.
그럼 이제부터 하나의 질문을 예시로 Fact Checker가 어떤 과정으로 동작하는지 알아볼까요?
여러분이 아래와 같은 질문을 했다고 가정해 보겠습니다.
| Q. 네이버 연수원 안에 데이터 센터가 있나요? |
1단계 – Fact Extractor
첫 번째 단계인 Fact Extractor에서는 문장을 분석하여 사실 판단을 시작하는 단계입니다.
LLM이 최초로 만들어낸 문장에서 사실 확인이 필요한 정보성 문장을 추출하고, 사실 확인 질문을 만듭니다.
| LLM이 최초 생성한 답변 | 사실 확인 질문 |
|
네이버 연수원 안에는 데이터 센터가 없습니다. 네이버의 연수원은 강원도 춘천시에 위치한 ‘네이버 커넥트 원‘입니다. 해당 연수원은 네이버의 기술력을 바탕으로 설계된 스마트 오피스로, 직원들의 창의성과 생산성을 높이기 위한 다양한 시설과 프로그램을 제공합니다. 반면, 네이버 데이터 센터는 서울특별시 강남구 역삼동 719-**에 위치해 있으며, 2013년 6월 가동을 시작한 네이버의 첫 번째 데이터 센터입니다. 친환경 에너지를 활용하여 PUE(Power Usage Effectiveness) 수치를 낮추는 그린 데이터 센터로, 에너지 효율성을 극대화하고 있습니다. |
네이버 연수원은 강원도 춘천시에 위치한 ‘네이버 커넥트 원‘이야? 네이버 데이터 센터는 서울특별시 강남구 역삼동 719-**에 위치해 있어? |
2단계 – Auto-verifier
Auto-verifier는 Fact Extractor에서 생성한 사실 확인 질문에 대해 참(True)과 거짓(False) 여부를 판단합니다.
| Fact Extractor | Auto-verifier |
|
네이버 연수원은 강원도 춘천시에 위치한 ‘네이버 커넥트 원‘이야? |
네이버 연수원은 강원도 춘천시에 위치한 ‘네이버 커넥트 원‘입니다. |
| 네이버 데이터 센터는 서울특별시 강남구 역삼동 719-**에 위치해 있어? |
네이버 데이터 센터는 서울특별시 강남구 역삼동 719-**에 위치해 있지 않습니다. |
이 과정에서 사실 여부를 판단하기 위해 사람의 정보 탐색 행위를 모방한 프로세스인 오토브라우징을 활용합니다. 자동으로 가상 브라우저와 여러 번의 상호작용을 가지며 출처가 있는 검색결과를 찾는 것인데요, 만약 이 과정에서 오토브라우징을 사용하지 않는다면 답변의 정확성을 보장하기 어렵습니다. 검색을 활용한다고 해도 여러 번의 검색 행위가 필요하기 때문입니다. 우리는 사실 여부를 판단하기 위한 최적의 방법으로 설계된 오토브라우징을 활용합니다.
Auto-verifier는 생성한 사실 확인 질문에 대해 아래의 조건으로 참(True)과 거짓(False)을 판단합니다.
참(True) 판단 조건
아래 3개의 조건을 모두 만족하면 참(True)으로 판단합니다.
1) 사실 확인 질문과 일치하는 인용문이 있어야 합니다.
2) 사실 여부를 판단하는 검증 모델 (Verifier)이 참(True)으로 판단합니다.
3) 결과에 판단 근거와 출처가 표기되어 있어야 합니다.
거짓(False) 판단 조건
아래 3개의 조건 중 하나라도 만족하면 거짓(False)으로 판단합니다.
1) 정보를 찾을 수 없다는 오토브라우징 답변이 있습니다.
2) 사실 여부를 판단하는 검증 모델 (Verifier)이 거짓(False)으로 판단합니다.
3) 결과에 출처나 인용문이 없습니다.
3단계 – Re-writer
Auto-verifier를 통해 검증된 참(True)과 거짓(False)을 활용해 기존 답변을 재작성합니다.
기존 답안의 문체를 그대로 유지하면서 사실적 오류를 부정하고, 부족한 내용을 추가하여 최종 답안의 수정본을 출력합니다.
| Fact Extractor | Auto-verifier | Re-writer |
|
네이버 연수원은 강원도 춘천시에 위치한 ‘네이버 커넥트 원‘이야? |
네이버 연수원은 강원도 춘천시에 위치한 ‘네이버 커넥트 원‘입니다.
|
네이버 연수원 안에는 데이터 센터가 없습니다. 네이버의 연수원은 강원도 춘천시에 위치한 ‘네이버 커넥트 원‘입니다.
반면, 네이버의 첫 번째 데이터 센터인 ‘각 춘천‘은 강원도 춘천시 동면 순환대로 1231에 위치해 있습니다.
또한 네이버의 두 번째 데이터 센터인 ‘각 세종‘은 세종특별자치시 행복대로 824에 위치해 있습니다. |
|
네이버 데이터 센터는 서울특별시 강남구 역삼동 719-**에 위치해 있어? |
네이버 데이터 센터는 서울특별시 강남구 역삼동 719-**에 위치해 있지 않습니다. 네이버의 첫 번째 자체 데이터 센터인 ‘각 춘천‘은 2013년 6월 가동을 시작했으며, 강원도 춘천시 동면 순환대로 1231에 위치해 있고,
|
신뢰성 있는 답변
Fact Checker 기술을 이용하여 최종적으로 아래와 같은 답변을 만들어낼 수 있습니다. 최초에 생성한 답변보다 적용 후 답변이 더욱 정확해진 것을 확인할 수 있습니다.
| 질문 | 적용 전 답변 | 적용 후 답변 |
|
네이버 연수원 안에 데이터 센터가 있나요? |
네이버 연수원 안에는 데이터 센터가 없습니다. 네이버의 연수원은 강원도 춘천시에 위치한 ‘네이버 커넥트 원‘입니다. 해당 연수원은 네이버의 기술력을 바탕으로 설계된 스마트 오피스로, 직원들의 창의성과 생산성을 높이기 위한 다양한 시설과 프로그램을 제공합니다. 반면, 네이버 데이터 센터는 서울특별시 강남구 역삼동 719-**에 위치해 있으며, 2013년 6월 가동을 시작한 네이버의 첫 번째 데이터 센터입니다. 친환경 에너지를 활용하여 PUE(Power Usage Effectiveness) 수치를 낮추는 그린 데이터 센터로, 에너지 효율성을 극대화하고 있습니다. |
네이버 연수원 안에는 데이터 센터가 없습니다. 네이버의 연수원은 강원도 춘천시에 위치한 ‘네이버 커넥트 원‘입니다. ‘네이버 커넥트 원‘은 강원도 춘천시 동면 만천리 330-29에 위치해 있으며, 강원도 춘천시 전경이 한눈에 내려다보이는 구봉산 자락에 자리 잡고 있습니다. 이곳은 네이버의 기술력을 바탕으로 설계된 스마트 오피스로, 직원들의 창의성과 생산성을 높이기 위한 다양한 시설과 프로그램을 제공합니다. 반면, 네이버의 첫 번째 데이터 센터인 ‘각 춘천‘은 강원도 춘천시 동면 순환대로 1231에 위치해 있습니다. ‘각 춘천‘은 2013년 6월 가동을 시작한 친환경 데이터 센터로, 에너지 효율성을 극대화한 그린 데이터 센터로 운영되고 있습니다. 또한 네이버의 두 번째 데이터 센터인 ‘각 세종‘은 세종특별자치시 행복대로 824에 위치해 있습니다. |
AI의 한계를 극복하기 위한 노력은 지금도 끊임없이 지속되고 있습니다. 더욱 신뢰할 수 있는 AI를 위하여 Fact Checker 기술과 같은 검증 과정을 고도화하는 것이 우리의 핵심 목표입니다.
인간의 동반자로 자리 잡을 AI를 위하여
Fact Checker 기술은 2024년 12월부터 네이버 지식iN의 ‘지식이‘에 적용되어 있습니다. ‘지식이‘는 클로바 AI 서비스 경험과 다양한 데이터를 기반으로 AI 답변을 생성하여 질문자들에게 답변을 전달하고 있는데요, 이때 Fact Checker는 출처를 기반으로 더 정확한 답변을 남기도록 품질을 고도화하는 데 활용되고 있습니다.
AI가 보여주는 정보 왜곡 현상은 단순히 기술적 한계를 넘어 AI 윤리와 책임이라는 중요한 문제와도 연결됩니다. 우리는 기술 발전이 가져올 수 있는 위험을 인지하고, 이를 최소화해야 합니다. 네이버는 앞으로도 더욱 정확하고 실질적으로 도움이 되는 AI를 만들기 위해 연구를 지속할 것입니다. 이러한 노력은 인간과 AI가 이상적으로 협력할 수 있는 미래를 만들어가는 중요한 발걸음이 될 것입니다.