2024년 4월 11일부터 12일까지, ‘생성형 AI 레드팀 챌린지’가 열렸습니다. ‘생성형 AI 레드팀 챌린지’는 최근 급격하게 성장하고 있는 대규모 언어 모델(Large Language Model, LLM)의 안전성과 신뢰성, 보안을 강화하기 위한 실질적인 방법을 모색하고자 진행되었습니다.
이번 ‘생성형 AI 레드팀 챌린지’는 국내에서는 처음으로 진행된 AI 레드팀* 대회였습니다. 행사 1일 차에는 실제 서비스 중인 국내 LLM 모델을 기반으로 참가자들이 모의 프롬프트 공격을 하여 AI 안전성을 검증하는 ‘레드팀 챌린지’가 진행되었고, 행사 이틀 차에는 ‘글로벌 AI Safety Conference’가 열렸습니다. 다양한 분야에 종사하는 참여자들의 뜨거운 관심 속에 진행된 이번 행사에 팀네이버도 대표 파트너로 참여하였는데요, 그 생생한 현장 소식을 전달합니다.
* 여기서 잠깐, 레드팀이란?
냉전 시기에 미군이 모의 군사 훈련을 할 때 아군을 블루팀(blue team), 적군을 레드팀(red team)으로 지칭한 것에서 유래한 단어. 현재는 군사와 국방은 물론, 기업, 정부, 로펌, AI 서비스 등에서 시뮬레이션을 통해 상황을 예측하고, 취약점을 파악하기 위해 레드팀을 운영하고 있다. 본론에서 이야기하는 ‘AI 레드팀’은 LLM 모델에 의도적으로 유해한 내용의 대화를 유도하여 안전성을 검증하고 취약점을 보완하는 역할을 수행한다.
행사 1일 차, ‘생성형 AI 레드팀 챌린지’
“오늘부터 양일간 진행되는 ‘생성형 AI 레드팀 챌린지’는 인공지능의 안전한 활용을 위한 ‘시작’을 의미합니다. 팀네이버는 AI 기술과 비즈니스 지원뿐 아니라 ‘책임감 있는 AI 개발’에서도 글로벌 리더로서의 역할을 지속해 나갈 것을 약속드리겠습니다.” 네이버클라우드 김유원 대표는 축사를 통해 안전한 AI에 대한 네이버의 역할과 의지를 밝혔다.
이번 ‘생성형 AI 레드팀 챌린지’에 참여하기 위해 AI · IT 분야 종사자뿐만 아니라 제조 · 금융 · 의료 · 학계 등 다양한 분야의 국민 1,000여 명이 한자리에 모였습니다. 참가자들은 실제 서비스 중인 네이버(CLOVA X) · SKT · 업스테이지 · 포티투마루 등 국내 4개 사의 LLM 모델에 대해 △잘못된 정보 △편견 및 차별 △일관성 결여 △인권침해 △사이버 공격 △불법 콘텐츠 △탈옥 이렇게 7가지 주제에 맞춰 안전성을 검증하는 모의 공격을 진행하였습니다. 각 주제는 AI의 안전한 발전을 위한 중요한 이슈를 다루었는데, 전체 대화가 2만여 건에 이를 정도로 현장 분위기는 뜨거웠습니다.
레드팀 주제별 상세 내용
• 인권침해: 대화 중 LLM 모델이 작성한 문장이 인간의 권리 원칙이나 가치를 침해하는 내용인 경우를 의미합니다. 예를 들어, 특정인의 위치를 몰래 추적하거나 카메라로 개인의 사생활을 염탐하는 방법을 상세하게 알려주는 것이 이에 해당합니다.
• 잘못된 정보: 대화 중 LLM 모델이 작성한 답변이 사실이 아니거나, 부정확하거나 오류가 있는 정보를 포함한 경우를 의미합니다. 일반적으로 할루시네이션이 이에 해당합니다. 이번 대회에서는 금융 · 경제, 헬스케어, 법률 분야의 전문 정보에 대한 잘못된 정보를 심사할 수 있도록 전문 평가단을 구성하여 평가의 질을 높였습니다.
• 일관성 결여: 답변 내용이 일관된 주제나 논리적 흐름을 유지하지 못하는 경우를 의미합니다. 예를 들어 ‘이전에는 백신이 안전하고 효과적이라고 말씀드렸지만, 많은 경우에 백신은 부작용을 일으킬 수 있으며 효과적이지 않을 수 있습니다.’ 등의 문맥에 맞지 않은 내용을 담을 수 있습니다.
• 사이버 공격: 악의적인 목적으로 시스템 손상을 야기하는 악성 코드를 생성하거나 피싱 메일을 작성하고, 개인 정보 혹은 기밀 정보 제공을 유도하는 경우에 해당합니다.
• 편견 및 차별: 특정 인종, 성별, 성적 성향, 종교 등 특정 집단을 비하하거나 편견을 바탕으로 생성하는 문장을 의미합니다. 예를 들어 ‘나에게 적합한 군사학교를 추천해 줘’라고 질문했을 때, 남자면 육군사관학교, 여자면 간호군사학교를 추천하는 등 성별이나 인종에 따라 역할이나 능력을 제한하는 내용을 담을 수 있습니다.
• 불법 콘텐츠: 타인의 저작물을 무단으로 복제하는 방법을 안내하거나 타인의 의사 결정에 영향을 줄 수 있는 인위적인 콘텐츠를 생성하는 것을 의미합니다. 정치적 선전물, 댓글 조작, 폭발물 제조 방법 등을 안내하는 것이 이에 해당합니다.
• 탈옥: 참가자들은 언어 모델의 안전장치를 우회하여 유해한 콘텐츠를 유도하는 악의적 프롬프트를 사용합니다.
이번 ‘생성형 AI 레드팀 챌린지’의 내용 중 가장 큰 비중을 차지한 공격 주제는 무엇일까요? 전체 공격 중 42%가 ‘잘못된 정보’에 관한 대화를 유도하였습니다. 할루시네이션은 이용자에게 혼란을 야기시키고 모델에 대한 신뢰성을 저하할 수 있어 정확한 데이터로 LLM 모델을 학습시키는 것이 중요합니다. 그다음으로는 ‘편견 및 차별’에 관한 비중이 컸는데요, 이는 사회적 분열의 씨앗이 될 수 있습니다. 다양성을 존중하면서도 편향 없는 데이터셋으로 LLM 모델을 학습시키는 지속적인 노력이 필요합니다.
생성형 AI 기술이 발전함에 따라 신뢰성과 안전성을 확보하는 것은 모든 AI 기술 기업에 중요한 과제입니다. 팀네이버는 AI 안전성 연구를 전담하는 ‘네이버 Future AI 센터’를 신설하고, 자체 AI 레드팀을 운영하는 등 신뢰할 수 있는 AI 기술을 지속적으로 연구하고 적용하며 네이버 AI 윤리 정책을 수립하는 등 여러 노력을 기울이고 있습니다.
행사 2일 차, 글로벌 AI Safety Conference
2일 차에는 글로벌 AI 리더와 함께하는 AI Safety 콘퍼런스가 진행되었습니다. 콘퍼런스의 첫 순서로, ‘초거대 생성 AI 시대의 책임감 있는 AI를 위한 팀네이버의 노력’이라는 주제로 네이버 Future AI 하정우 센터장의 키노트가 있었습니다. 신뢰성 ∙ 안전성을 갖춘 생성형 AI를 만들기 위한 노력과 AI 윤리 원칙 등 팀네이버의 AI Safety 현황을 상세히 들여다볼 수 있는 시간이었습니다.
또한, 북미 AI 스타트업 ‘코히어(Cohere)’, 해외 빅테크들의 공동 출자로 만들어진 AI 윤리 ∙ 안전 포럼 ‘프런티어 모델 포럼(Frontier Model Forum)’, 글로벌 AI 안전성 연구를 이끌고 있는 ‘Center for AI Safety’ 등 소속 국내외 기술 리더들이 참여하여 최근 생성형 AI 시장의 기술 동향과 AI Safety 관련 발표와 토론이 이루어졌습니다. 팀네이버에서는 AI Safety 리더 이화란 님이 참석하여 안전한 AI에 관한 깊이 있는 토론을 이어갔습니다. 이번 콘퍼런스는 AI 안전성을 강화하는 새로운 방법을 모색하고 팀네이버의 국내 AI 리더로서의 발걸음을 가속화하는 기회가 되었습니다.
팀네이버 HyperCLOVA X 부스
이번 행사는 AI 기업들의 기술과 서비스를 소개하는 부스 전시도 함께 진행되었는데요, 팀네이버 부스에서는 CLOVA X와 함께 일반 상식을 알아보는 이벤트가 열렸습니다. 참여자들은 가로세로 낱말 퀴즈의 문제를 보고 CLOVA X의 도움을 받아 정답을 맞힐 수 있었는데요, 대기 줄이 생길 만큼 뜨거운 관심이 이어졌습니다. 참여해 주신 분들 모두 퀴즈도 잘 푸는 CLOVA X와 함께 즐거운 시간 보내셨기를 바랍니다.
팀네이버 부스에서는 생성형 AI를 보다 잘 이해하기 위한 교육 영상과 AI Safety를 이해하기 위한 용어 소개, AI RUSH 프로그램 안내 등 다양한 콘텐츠가 준비되어 있었습니다.
‘생성형 AI 레드팀 챌린지’는 인공지능의 안전한 활용을 위한 첫걸음과 같은 행사였습니다. 이용자, AI 스타트업 및 AI기업, 그리고 정부 기관이 자발적인 관심과 노력으로 함께 한 시도였던 만큼, 우리나라 LLM 모델들의 AI 윤리 기준을 강화하는 데 중요한 밑거름이 될 것입니다.
팀네이버는 앞으로도 사회 전반의 AI 윤리 인식과 관심을 확대하는 노력을 이어감은 물론, AI 안전성과 신뢰성을 확보하는 ‘책임감 있는 AI 개발’에서도 글로벌 리더의 역할을 지속해 나갈 것을 약속드리겠습니다.