오토브라우징, LLM의 한계를 극복하다
인간은 본능적으로 효율을 추구합니다. 이는 단순히 편의를 위한 것이 아니라, 생존과 번영을 위한 진화적 전략으로 이해할 수 있습니다. 효율을 추구하는 본능은 발명과 기술 발전의 핵심 동력이 되어 왔습니다. 우리는 기술을 통해 단순 반복 작업에서 벗어나 한정된 자원을 더 높은 차원의 문제 해결과 창조적 활동에 활용하고 싶어 합니다.
생성형 AI(Generative AI)가 처음 등장했을 때, 복잡하고 창의적인 작업이나 개인화된 업무 영역도 AI로 자동화할 수 있을 것이라는 기대가 컸습니다. 하지만 실시간 정보에 대한 제한이나 할루시네이션과 같은 한계가 존재했고, 여전히 인간의 검증이 필요하다는 사실이 드러났습니다.
가트너에 따르면 현재 생성형 AI는 ‘현실적 적용의 단계‘로 진입하고 있다고 볼 수 있습니다. 초기의 다소 과장된 기대는 사그라들고 기존 기술들과의 융합을 통해 한계를 극복해 나가는 단계를 의미합니다. 이러한 기술 간 융합은 AI의 능력을 확장하고 실제 비즈니스에 AI가 더욱 폭넓게 활용될 수 있게 도울 것입니다.
이번 콘텐츠에서는 최근 각광받는 오토브라우징이 AI와 만나 어떤 시너지를 가져오고 비즈니스에 어떻게 활용될 수 있는지 알아보도록 하겠습니다.
생성형 AI, 잠재력과 한계 사이
생성형 AI의 잠재력과 시장의 기대에 비해 기업들의 AI 활용 수준은 아직 제한적입니다. 이는 소버린 AI를 소개하는 콘텐츠에서 언급했던 국가 및 기업 간 기술 격차 외에도 여러가지 이유가 있습니다.
가장 주요한 원인은 정보의 신뢰성 문제입니다. 종종 AI는 사실과 다른 정보를 생성합니다. ‘할루시네이션‘이라고 불리우는 이 현상은 특정 주제에 관한 학습 데이터가 부족하거나 모델이 문맥을 정확히 파악하지 못하고 부적절한 추론을 할 때 발생합니다. 즉 잘 알려지지 않은 과학 이론에 대해 묻거나 복잡한 질문을 했을 때 나타날 가능성이 높습니다. 또한 AI는 사전에 학습한 정보를 기반으로 답변을 생성하기 때문에 상시 업데이트되는 실시간성 정보나 학습 이후의 데이터를 반영하지 못합니다.
그래서 생성형 AI 사용 시에는 결과를 한 번 더 검토할 것이 권장되며, 중요한 의사결정에는 반드시 인간의 판단을 거칠 것을 명시하고 있습니다. 이러한 한계점은 우리가 상상하는 AI 시대로 나아가기 위해 반드시 극복해야 할 과제로 손꼽혀 왔습니다.
오토브라우징
오토브라우징은 웹 탐색 기술과 AI를 결합한 형태로, AI 모델이 자동으로 웹을 탐색하여 필요한 정보를 수집, 처리, 제공하는 기술입니다. AI의 자율성을 활용하여 마치 사람이 마우스를 클릭하고 키보드를 입력하듯 자동으로 웹 브라우저를 조작하고 필요한 정보를 수집합니다. 이는 실제 사용자의 행동을 모방한다는 점에서 웹 스크래핑이나 웹 크롤링과 차별화됩니다.
오토브라우징의 주요 장점은 클릭, 스크롤, 입력 등의 상호작용이 가능하다는 것입니다.
로그인이 필요한 페이지에 접근과 동적 콘텐츠 처리가 가능해 기존 웹 탐색 기술의 한계를 넘어섰다는 평가를 받고 있습니다. AI와 자연어 처리 기술의 발전으로 오토브라우징은 더욱 주목받고 있으며, 특히 실시간 정보 수집과 자동화된 데이터 처리의 필요성의 증가로 그 중요성이 커지고 있습니다. 오토브라우징을 활용하면 정보 수집과 처리의 효율성을 높이고 사용자 경험을 크게 향상시킬 수 있어, 다양한 서비스 분야에 적용될 것으로 기대됩니다.
LLM과 오토브라우징
채팅형 AI 서비스를 사용해 보셨다면 웹 검색이 필요한 정보는 제공할 수 없다는 답변을 받아 보셨을지도 모릅니다. 누군가 나를 대신해서 실시간으로 정보를 검색하고 취합하여 필요한 형태로 출력해 준다면 얼마나 편리할까요. LLM과 오토브라우징의 결합은 AI에 실시간으로 웹을 탐색할 수 있는 능력을 부여합니다. 이는 AI가 실시간으로 발생하는 정보를 반영한 답변을 생성할 수 있게 함으로써 잘못된 정보를 생성할 위험을 크게 줄여줍니다. 또한 다양한 웹페이지를 통합 분석하거나, 특정 웹페이지의 구조와 내용을 종합적으로 고려할 수 있기 때문에 보다 구체적이고 구조화된 답변을 생성할 수 있습니다. 두 기술의 융합은 생성형 AI의 한계를 보완하고 신뢰할 수 있는 도구로 발전시키는 핵심 요소로 손꼽히고 있습니다.
LLM과 오토브라우징으로 할 수 있는 일
- 사용자의 질문에 대한 이해와 분석 : 오토브라우징은 CoT라는 과정을 통해서, 사용자의 복합적인 의도와 질의를 분석하고, 검색 순서와 방식을 결정하여 계획을 세웁니다. 이를 통해 병렬 검색이나 복합 추론 등 고차원적인 정보 탐색을 수행합니다.
- 실시간 정보 검색과 분석 : AI는 사용자의 질문에 대한 최신 정보를 실시간으로 검색하고 분석합니다. 이는 경쟁사 동향을 모니터링하거나 마켓 트렌드를 탐색하는 데 유용합니다.
- 데이터 수집 및 통합 분석 : 다양한 출처에서 수집한 데이터를 통합 분석하여 정확하고 포괄적인 정보를 제공할 수 있습니다. 예를 들어, 여러 여행 리뷰 사이트에서 특정 관광지에 대한 평가를 수집하고 분석하여 장단점을 종합적으로 제시할 수 있습니다. 이는 제품 개선, 시장 분석 등 다양한 의사결정 상황에 활용될 수 있습니다.
- 구조화된 정보 제공 : 웹페이지의 구조와 내용을 종합적으로 분석하여 보다 유용한 답변을 생성할 수 있습니다. 예를 들어 Apple 제품 최신 정보를 요청했을 때, 공식 홈페이지의 구조를 분석하여 ‘특징, ‘사양’, ‘가격’ 등의 섹션을 식별하고 관련 정보를 추출할 수 있으며 ‘출시 일정’ 등의 헤드라인을 인식하여 중요 정보로 제공할 수 있습니다.
- 동적 웹 환경 대응 : JavaScript로 렌더링되는 동적 웹페이지나 로그인이 필요한 페이지의 정보도 접근하여 처리할 수 있습니다. 이는 더 광범위하고 다양한 정보 소스에 접근할 수 있게 해줍니다.
RPA, RAG 그리고 오토브라우징
인간은 항상 단순 반복 작업을 자동화하려는 욕구를 가져 왔습니다. 이를 위해 활용되었던 기술의 발전 과정을 살펴보면서 오토브라우징에 대해 자세히 알아보도록 하겠습니다.
- RPA : 생성형 AI 등장 이전에 RPA(Robotic Process Automation)가 있었습니다. RPA는 규칙 기반의 소프트웨어 ‘로봇‘을 사용하여 반복적인 업무 프로세스를 자동화합니다. 예를 들어, 은행에서는 RPA를 활용하여 온라인 대출 신청서의 정보를 자동으로 추출하고 은행의 내부 시스템에 입력하고 미리 설정된 기준에 따라 대출의 초기 심사를 자동으로 수행합니다. 하지만 RPA는 미리 정의된 규칙과 시나리오에 따라 작동하기 때문에 예외 상황이나 비정형적 데이터에 대응할 수 없으며, 자연어를 이해하고 처리할 수 없습니다.
- RAG : 생성형 AI 등장 이후, AI가 잘못된 정보를 사실인 것처럼 생성하는 ‘할루시네이션’ 현상을 보완하기 위한 대안으로 RAG(Retrieval-Augmented Generation) 기술이 주목받기 시작했습니다. RAG는 AI가 응답을 생성할 때 관련 문서나 데이터베이스에서 정보를 검색하여 참조하는 방식입니다. 예를 들어, 법률 분야에 RAG를 활용하면 AI가 답변을 생성함에 있어 법령과 판례 데이터를 참조하여 더 정확한 법률 자문을 제공할 수 있습니다. RAG는 LLM에 정보 검색 능력을 결합한 모델로, 사용자의 질문이 들어오면 시스템은 답변을 출력하기 전에 사전에 정의된 데이터베이스에 정보를 검색하고 이를 참조하여 응답을 생성합니다. 정보 검색과 생성이 별도로 이루어져, 검색된 정보를 다시 가공하여 응답을 만드는 메커니즘입니다.
- RAG에 활용하는 데이터베이스는 기업 내부에 보유하고 있는 매뉴얼이나 보고서를 시스템에 업로드하거나, 학술 논문과 같이 신뢰할 수 있는 외부 소스를 엄선하여 사전 구축합니다. 따라서 정보의 신뢰성과 일관성을 보장할 수 있지만 데이터베이스의 업데이트 주기에 따라 최신 정보를 반영하지 못할 수 있으며, 사전에 준비된 데이터의 범위 내에서만 대응이 가능합니다. 이러한 특성으로 인해 RAG는 특정 도메인에 대한 깊이 있는 지식이 필요한 경우에 유용합니다. 예를 들어, 법률 자문이나 의학 정보 제공과 같이 정확성과 중요한 분야 또는 기업 내부의 특수한 정책이나 기밀 사항이 포함된 AI 서비스 구축에 활용될 수 있습니다. 또한 기존 LLM에 검색 기능을 추가하는 형태로 구현되므로, 이미 학습된 LLM을 그대로 활용하면서 기능을 확장하는 데 용이합니다.
- 오토브라우징 : 최근에는 RAG에서 오토브라우징으로 트렌드가 이동하고 있습니다. 오토브라우징은 LLM과 정보 검색, 처리 기능을 결합한 형태로 RAG의 기능을 포함하면서도 실시간성 정보 반영 문제까지 해결할 수 있습니다. 실시간으로 웹을 탐색하여 정보를 수집하고, 그와 동시에 응답을 생성하기 때문입니다. 웹에서 검색을 수행하기 때문에 사전에 정의하지 않은 정보에도 대응할 수 있다는 점이 장점이지만 웹에 있는 모든 정보가 신뢰할 수 있는 정보는 아니기 때문에 추가 검증이 필요할 수 있습니다. 개인정보나 저작권 관련 이슈 또한 고려해야 할 요소입니다. 오토브라우징과 LLM을 통합하여 설계하는 것은 초기에 많은 리소스가 필요할 수 있지만 일단 구축하고 나면 더 높은 자동화와 실시간 처리가 가능합니다.
오토브라우징과 RAG의 활용
LLM은 광범위하지만 정적인 백과사전식 지식을 가지고 있는 반면, 오토브라우징이 결합된 AI는 백과사전을 실시간으로 업데이트하고 확장할 수 있는 능력을 갖추게 됩니다. RAG는 특정 분야에 대해 깊이있고 신뢰할 수 있는 지식을 제공한다는 점에서 전공 심화 교재에 비유할 수 있습니다.
|
오토브라우징과 RAG는 비슷한 듯 보이지만 각기 다른 장점을 가지고 있습니다. 그래서 현실에서는 두 기술을 상호 보완적으로 사용하는 경우가 많습니다. 예를 들어 지식은 RAG를 통해 얻고, 최신 동향이나 실시간 데이터는 오토브라우징을 통해 보완하는 방식입니다. 두 기술의 장단점을 비교하기보다는 정보의 성격이나 신뢰성의 중요도, 업데이트 주기 등을 고려하여 적절한 기술을 선택하거나 조합하는 것을 추천합니다. 두 기술 모두 LLM을 안전하고 효율적으로 활용하는 데 큰 도움을 줄 수 있습니다.
[사례] 네이버의 Project Connect X
직장인들은 평균적으로 업무시간의 약 61%를 본업이 아닌 커뮤니케이션에 할애한다고 합니다. 사내 시스템이나 이메일에서 정보를 찾고 각종 문의에 대응하는 활동에 절반 이상의 시간을 쓰고 있는 것입니다. 네이버는 HyperCLOVA X를 기반으로 기업의 업무 생산성 향상에 도움을 주는 솔루션을 만들고 있습니다. Project CONNECT X라는 이 프로젝트의 목표는 업무에 필요한 정보와 데이터를 기반으로 업무 프로세스를 돕거나 자동화하는 것입니다.
사내 업무 규정이나 사내 게시판에 아카이빙 된 데이터는 일반적인 LLM 모델로 처리할 수 없습니다. 이러한 기업 특화 정보를 AI 시스템에 통합하기 위해서는 RAG를 활용할 수 있습니다. RAG를 통해 LLM이 기업의 내부 데이터를 검색하고 활용할 수 있게 되면 기업 특성에 맞는 정확하고 관련성 높은 응답을 제공할 수 있기 때문입니다.
Project CONNECT X 팀은 사내 다양한 시스템에 분산되어 있는 정보들을 모으고, 이를 쉽게 탐색할 수 있는 검색시스템과 어시스턴트 기능을 만들었습니다. CONNECT X의 업무 어시스턴트는 주고받은 메일이나 메시지를 기반으로 ‘할 일’을 추천하거나, 메일 초안을 작성해 주고, 이전 대화의 히스토리도 요약해 주기도 합니다. 지난 11월 출시 후, 많은 임직원들의 업무에 도움을 주고 있습니다.
하지만 현재 RAG 기술은 정형화된 텍스트 데이터만 이해하는 등 학습 가능한 데이터 커버리지가 낮고 단순 검색향의 답변만 제공한다는 아쉬움이 있습니다. 이에 오토브라우징을 접목하여 답변의 커버리지를 넓히고, 비정형 데이터를 RAG에서 이해할 수 있는 포맷으로 변환하는 특화 모델을 활용하여 실제 업무생산성 향상에 도움이 되는 Auto-Task 기능을 고려하고 있습니다.
오토브라우징은 사용자의 요청을 어떤 프로세스로 수행해야 할지 스스로 설계하고, 마치 사람처럼 여러 단계의 브라우징을 자동으로 수행하며 필요한 정보를 수집할 수 있습니다. 복합 정보 탐색, 탐색한 정보 비교, 추론, 분석이 가능하기 때문에 현업에 적용되었을 때 실질적인 생산성 향상에 크게 기여할 수 있을 것으로 기대됩니다.
Project CONNECT X 사례에서처럼 RAG는 지속적으로 업데이트되는 특정 데이터베이스를 참조할 수 있어 LLM의 할루시네이션이나 최신성 문제를 해결하는데 도움을 주고, 이용자의 상황에 최적화된 정확한 정보를 생성할 수 있다는 장점이 있습니다. 반면 특정 데이터베이스에 의존하므로 외부 데이터에 대한 확장성이 부족합니다. 그래서 오토브라우징 기술을 함께 적용하여 활용가능한 데이터 소스 풀을 넓히고 AI의 커버리지를 높일 수 있습니다.
소버린 AI와 오토브라우징
소버린 AI의 기본적 정의는 각 기업이나 국가가 독립적인 통제권을 가진 AI를 개발하고 운영하는 것을 뜻합니다. 그러나 보다 포괄적이고 현실적인 관점에서는 자국의 사회문화적 특수성을 반영한 AI 모델까지 포함하여 이해하는 것이 합리적입니다.
타국에서 개발된 LLM을 기초 모델(베이스 모델)로 채택하여 소버린 AI를 구축하는 과정에서, 자국의 사회문화적 특수성을 LLM에 충분히 반영하지 못하면 문화적 편향과 언어적 한계가 발생할 수 있습니다. 자국의 사회문화적 특수성을 LLM이 제대로 학습하지 못하는 경우는 다음과 같습니다.
- 소규모이거나 디지털 전환이 늦은 국가들은 LLM 학습에 필요한 방대한 양의 고품질 데이터를 확보하기 어려울 수 있습니다.
- 특수하거나 폐쇄적인 국가의 경우, 해당 국가의 데이터만으로 AI를 학습시켰을 때 글로벌 맥락에서의 이해와 소통 능력이 제한될 수 있습니다.
- 기술적 자원의 한계입니다. LLM을 학습시키는 것은 엄청난 컴퓨팅 파워와 전문 인력을 필요로 합니다. 이는 개발도상국에 상당한 경제적 부담이 될 수 있습니다.
위와 같은 경우, 오토브라우징이 효율적인 접근 방식이 될 수 있습니다. 오토브라우징은 AI가 실시간으로 웹을 탐색하고 정보를 수집할 수 있게 해주는 기술입니다. 소버린 AI와 결합하면, 해당 문화권에 대한 LLM의 이해도가 낮더라도 자국의 최신 정보와 문화적 맥락을 AI에 지속적으로 반영할 수 있습니다. 이는 단순히 정보를 축적하는 것을 넘어, 장기적인 관점에서 AI가 현지 맥락에 맞는 응답을 점점 더 정확하게 생성할 수 있게 해줍니다.
결론적으로 오토브라우징을 활용한 소버린 AI는, 타국의 모델을 활용하더라도 AI 개발이 어려운 국가들이 기술 격차를 좁히는 것을 넘어 각국의 문화적 정체성을 유지하며 글로벌 AI 생태계에 참여할 수 있는 기회를 제공할 수 있습니다.
새로운 기술은 그 자체로도 놀라운 가능성을 열어주지만 기술을 통한 혁신적인 도약은 기존 기술과의 융합을 통해 이루어져 왔습니다. 기술 간 융합은 각각의 기술이 가진 한계를 극복하고 그 이상의 가치를 창출할 수 있는 기회를 제공하기 때문입니다. 이번 콘텐츠에서는 LLM의 한계를 보완할 수 있는 기술 중 하나로 오토브라우징에 대해 소개했습니다.
LLM의 베이스가 되는 것도, RAG와 오토브라우징에 활용되는 것도 우리가 오래 전부터 지금 이 순간까지 쌓고 있는 데이터입니다. 이는 시공간을 초월한 인류의 집단 지성이 현재 우리가 누리는 자유롭고 편리한 삶을 가능케 한다는 것을 의미합니다. 이러한 관점에서, 현대의 지식과 기술을 당연히 여기기보다는 올바른 방향으로 사용하고 인간에게 도움이 되도록 발전시키는 것이 우리의 역할입니다. 콘텐츠에서 소개한 Project CONNECT X 사례나 소버린 AI의 개선을 위해 오토브라우징 기술을 활용하는 것은 이러한 노력의 좋은 예가 될 수 있습니다.
우리는 AI를 그 자체로 발전시기기도 하지만 다양한 기술의 융합을 통해 더욱 효과적이고 유용하게 활용할 수 있습니다. 앞으로도 AI를 인류의 이익을 위해 사용할 수 있도록 하는 것이 네이버와 같은 기술 기업이 해야 할 일이라고 생각합니다.