기술을 통해 의료 환경에 실질적인 변화를 불러오겠다는 목표와 연구에 대한 책임감을 가지고 다양한 기술적 도전을 이어가고 있는 Healthcare AI 팀 이재덕 님과 조혜정 님. 인턴으로 시작해 이제는 네이버클라우드에서 헬스케어 AI 모델 개발과 고도화 연구를 함께 하고 있는 두 분의 이야기를 담았습니다.
네이버클라우드와 함께하게 된 특별한 인연
이재덕(Healthcare AI 팀): AI를 활용해 새로운 가치를 창출하고 싶다는 꿈을 가지고 있었어요. 그러던 중 LLM 활용 연구 공고를 접하게 되었죠. 자체 LLM을 보유한 네이버클라우드라면 이 꿈을 실현할 수 있는 최적의 환경이라고 생각했습니다. 지금은 CLOVA Voice EMR 서비스를 메인으로 연구하고 있습니다.
조혜정(Healthcare AI 팀): 석사 과정 동안 Healthcare AI 분야에서 LLM을 연구하면서 이론을 실질적인 산업에 어떻게 적용할 수 있을지에 대한 고민을 많이 했어요. 그러던 중 네이버클라우드의 Healthcare AI 팀의 서비스인 Voice EMR을 접하게 되었죠. 제가 연구해 온 기술과 높은 연관성이 있다고 느껴졌고, 마침 네이버클라우드 Healthcare AI 팀에서 의료 LLM 개발 인력을 채용하고 있어서 고민할 필요 없이 바로 지원하게 되었습니다. Healthcare AI 팀에서 LLM Research Engineer로서 병동 에이전트의 AI 기능 개발을 담당하면서 의료 환경에서 AI가 어떻게 도움을 줄 수 있을지를 연구하고 있습니다.
Healthcare AI 연구원의 일상
이재덕: 저는 주말 동안 진행된 실험 결과를 정리하면서 한 주를 시작해요. 이 일이 끝나면 팀원들과의 회의가 이어지죠. 프론트엔드, 백엔드, 기획, 모델링을 담당하는 다양한 팀원들이 모여 연구의 현재 이슈와 해결책을 논의합니다. 여기서 서로 피드백을 주고받으며 더 나은 방향성을 찾기 위해 고민하죠. 사실 해결책이 나온 문제면 연구가 아니잖아요. 스터디를 통해 문제를 해결할 아이디어가 좀 떠오르는 것 같아요. 다른 분야의 논문에서 우리 분야의 문제를 해결할 실마리를 찾는 경우도 있어서 스터디가 좋은 것 같습니다.
조혜정: 저의 하루는 팀원들이 공유해 주신 논문과 기술 자료를 검토하고, 업계 기술 동향을 파악하는 것으로 시작해요. 오전에는 본격적으로 프로젝트의 기술 개발에 집중하죠. 또 팀원분들의 코드 리뷰를 받으며, 코드를 작성할 때 더욱 세밀한 부분까지 신경 써야 함을 깨닫고 있습니다. 단순히 기능적인 구현을 넘어 코드의 가독성과 명확성을 높이는 방법을 배우며, 한층 더 정교한 개발자로 성장하고 있음을 느낍니다.
오후에는 모델링 회의를 진행합니다. 이 회의에서는 모델러들끼리 진행 상황을 공유하고, 현재 직면한 문제와 그 해결 방안을 논의합니다. 전반적인 결과를 공유한 후에는 동료 모델러들이 “이 문제는 이렇게 접근하면 좋겠다” 혹은 “다른 툴을 사용해 보는 것이 어떨까?” 같은 실질적인 피드백을 제공합니다. 예전에는 연구가 막히면 혼자 고민하는 경우가 많았지만, 연구라는 것이 혼자만의 힘으로 해결하기엔 놓치는 부분이 많다는 걸 점점 깨닫고 있습니다. 회사에 와서 팀원들과 피드백을 주고받으며 이전보다 훨씬 더 빠르고 효율적으로 성장하고 있음을 실감합니다.
Voice EMR의 비밀: 어떤 발음도 정확하게 잡아내는 경량 모델
CLOVA Voice EMR은 진료 중 의사와 환자 사이의 대화를 실시간으로 분석하고 자동으로 의무 기록을 작성해 주는 서비스입니다. 네이버가 개발한 초거대 언어 모델과 음성인식 기술을 활용하고 있어요. 의료진이 의무 기록이 어떻게 작성되고 있는지 실시간으로 확인하고, 진료가 종료된 후에는 제목과 함께 정리된 의무 기록을 제공받아 중요한 세부 사항을 정리해 줍니다.
이재덕: 1시간 기다려 3분 진료, 이런 말이 있잖아요. 진료받으러 가면 의사분들이 컴퓨터를 보시느라 눈도 못 마주친다고요. 한 명의 의사가 하루에 약 34명의 환자를 진료한다고 합니다. 업무 부담이 상당히 높죠. 의료 환경에서는 ‘놓치지 않는 것’이 정말 중요해요. 특히 응급실에서는 환자가 아파서 제대로 된 발음을 하기 어려운 경우가 많거든요. 그래서 사람이 실제로 들어도 목소리가 잘 안 들리는 경우가 많이 있어요. 이럴 때 오히려 AI의 힘이 필요합니다. 긴급한 응급실 상황 속에서 CLOVA Voice EMR 서비스가 의료 현장에서 제대로 작동하려면, 다양한 발음 오류와 음성 인식 노이즈에도 강한 성능을 유지해야 합니다. 저희 팀에서는 의무 기록 작성의 정확도를 높이기 위해 의료 데이터를 활용해서 경량 모델을 개발했습니다.
다양한 발음 오류와 노이즈에 대응하기 위해 깔끔한 데이터에 노이즈를 입혀서 다양한 발음 오류 케이스를 만들었어요. 최대한 많이 학습을 시키기 위한 것이었죠. 예를 들어 ‘가나다’라는 깔끔한 데이터에 편집 거리(Edit distance)를 활용해 노이즈 데이터를 만듭니다. ‘가나두’는 ‘가나다’와 글자가 하나만 다르니 편집 거리가 1이 되는 식이죠. 이후 이 데이터를 IPA(국제 음성 기호)로 변환하고, 각 데이터의 발음 유사도를 측정합니다. 이렇게 만들어진 후보군을 사용해 모델이 실제 발음 오류를 인식하고 이해할 수 있도록 학습을 진행했습니다. 이런 방식으로 만들어진 경량 모델은 아주 작은 모델임에도 불구하고 노이즈에 잘 대응할 수 있을 뿐만 아니라 데이터 필터링 측면에서만 보면 LLM보다도 성능이 높게 나타났습니다.
실제 의료 환경을 예시로 말씀드릴게요. 환자가 “몸이 으슬으슬해요”라고 말하면 ‘으슬으슬’로부터 오한이라는 증상을 잡아냅니다. 근데 환자가 “아슬으슬해요”라고 잘못 발음해도 이 대화에 오한과 관련된 정보가 있다는 사실을 경량 모델이 잡아내는 거죠. 환자와 의사 사이의 대화가 실시간으로 쌓이면, 이 데이터를 경량 모델로 보내 처리합니다. 대화 중에 ‘아슬으슬’ 같은 내용이 나오면, 경량 모델이 필요한 정보인지 판단합니다. 필요하면 LLM에 보내고 그렇지 않다면 폐기하는 과정을 실시간으로 계속하죠. 경량 모델이 없다면 모든 데이터를 LLM으로 보내야 하지만 경량 모델을 사용하면 필요한 정보만을 보내 처리 비용을 줄이고 서비스의 정확성도 높일 수 있습니다. 소음이나 녹음 품질이 일정하지 않은 실제 의료 환경에서도 안정적으로 작동할 수 있는 모델을 개발하고 있습니다.
병동 속 CLOVA Healthcare Agent : AI가 만드는 스마트 병동
의료 환경에서 AI의 역할은 단순한 보조 도구를 넘어 의료진과 함께 효율적으로 환자를 돌볼 수 있는 파트너여야 합니다. 병동에서는 수많은 환자의 요청이 끊임없이 들어오고, 간호사는 이를 빠르고 정확하게 처리해야 하기 때문이죠. 간호사의 업무 부담이 줄어들고, 환자는 필요한 도움을 신속하게 받을 수 있는 환경, 이것이 바로 CLOVA Healthcare Agent가 바꿔 놓을 스마트 병동의 모습입니다.
기존 LLM이 사용자의 질문에 대해 직접적으로 답변을 생성하는 것에 그쳤다면 에이전트 능력이 강화된 LLM은 사용자의 질문을 분석하고 필요한 모델이나 도구를 스스로 호출해 최적의 답변을 생성하죠. 이러한 차별점을 가진 에이전트를 기반으로 의료 환경에서 새로운 변화를 만들어 냅니다.
조혜정: 에이전트는 여러 언어 모델과 도구를 결합하여 복잡한 작업을 자동으로 수행하는 시스템입니다. 예를 들어, 사용자가 CLOVA X에 “오늘 날씨 어때?”라고 물어보면, 에이전트는 실시간 정보가 필요하다는 것을 스스로 판단하고, 스킬 시스템을 통해 정보를 탐색하는 방식이죠. 즉, 에이전트는 적절한 도구를 선택하고 활용하여 최적의 답변을 제공하는 능동적인 시스템이라고 볼 수 있습니다.
CLOVA Nursing Agent 서비스는 AI 에이전트를 기반으로 간호사의 업무 부담을 줄이고, 환자가 필요한 도움을 더 빠르고 효율적으로 받도록 돕는 병동 관리 서비스입니다. 기존의 병원 AI와 달리 병동에 초점을 맞춰, 의료진의 업무 부담을 줄이면서도 대응 시간을 단축합니다.
간호사는 하루 평균 22명의 입원 환자를 담당하고, 반복적인 기본 응답 제공, 환자의 상태 모니터링, 긴급 상황 대응까지 다양한 업무를 수행해요. 업무가 너무 많다 보니 62%의 환자들은 간호사가 필요할 때 만나기 어렵다고 느끼고 있죠. 이러한 바쁜 병동 상황 속에서 CLOVA Nursing Agent는 환자가 음성이나 텍스트로 요청하면 에이전트가 이를 실시간으로 분석하여 환자 요청의 우선순위를 정리하고 빠르게 대응합니다.
CLOVA Nursing Agent는 어떻게 긴급상황을 판단할까
환자 요청의 우선순위는 기획팀의 사전 조사를 거쳐 우선순위를 3단계로 나누었어요. 위험도가 낮은 민원이나 단순 문의는 0번, 경미한 처치가 필요한 경우는 1번, 즉각적인 대응이 필요한 긴급 상황은 2번으로 분류하여 간호사에게 알림을 보내는 방식이죠. 만약 에이전트가 대응할 수 있는 요청이라면 바로 환자의 요청을 처리해요. 가령 “퇴원 절차 알려주세요”라는 요청이 들어오면 에이전트가 병원 내부 문서 중 관련 내용을 찾아서 환자에게 퇴원 절차를 안내해 줍니다. 요청이 명확하지 않다면 환자에게 내용을 다시 물어보는 것도 가능해요.
우선순위 판단 과정에서는 인 컨텍스트 러닝(In-context learning)을 사용합니다. 이를 통해 LLM이 별도의 사전 학습 없이도 입력된 예제(Context)만을 기반으로 패턴을 학습하고 새로운 요청을 처리합니다. “베개 교체해 주세요”는 0번, “수액 교체해 주세요”는 1번, “숨을 못 쉬겠어요”는 2번으로 예제 데이터를 주면, LLM은 이를 학습하여 “침대가 불편한데 조정해 주세요”라는 새로운 요청이 들어왔을 때 기존 예제에서 패턴을 찾아 0번으로 분류하는 거예요. 인 컨텍스트 러닝을 사용하여 병원처럼 다양한 변수가 존재하는 환경에서도 빠르고 유연하게 새로운 문제를 해결합니다.
[관련 내용 보러 가기 – ‘맥락을 이해하는 똑똑한 AI 분류 엔진, LLM 라우터’]
현재 CLOVA Nursing Agent 서비스는 80~90%대의 높은 정확도를 유지하며 지속적인 개선을 통해 오차를 줄여가고 있습니다.
정확한 의료 서비스를 위한 프롬프트 엔지니어링
AI가 정확한 응답을 하려면 환자의 말을 정확하게 인식하는 것도 중요해요. CLOVA Nursing Agent 서비스는 주변 소음이 많은 다인실 병동 같은 환경에서도 환자의 음성을 정확히 인식할 수 있도록 설계되어 있어요. 환자의 음성을 텍스트로 변환하는 기술을 STT(Speech-to-Text)라고 하는데요. 현재 병동 에이전트의 STT는 네이버의 NEST 음성인식 엔진을 활용하고 있어요.
병원에서는 응답 하나하나가 환자의 생명과 직결될 수 있는 만큼 정확한 음성 인식을 기반으로 AI가 올바른 방식으로 답변하는 것도 중요합니다. 이를 위해 CLOVA Nursing Agent는 프롬프트 엔지니어링(Prompt engineering)을 활용해 정보 왜곡을 방지하고 사용자의 의도와 맥락을 분석해 최적의 응답을 제공합니다. AI가 우리가 원하는 답을 줄 수 있도록 프롬프트를 계속 세분화해 나가고 정확도를 올려요. 쉽게 말해 AI에 무엇을 어떻게 해야 하는지 알려주는 과정이에요.
예를 들어 건강검진 챗봇의 프롬프트를 살펴보면, AI가 응답을 생성할 때 따라야 할 기본 규칙이나 제한 사항을 마치 초등학생에게 설명하듯이 최대한 명확하고 자세하게 설정되어 있어요. 실제로는 보여드린 예시보다 좀 더 다양하게 구성되어 있어 AI가 최대한 많은 케이스를 커버할 수 있도록 도움을 주고 있습니다.
10년 후, Healthcare 연구원이 꿈꾸는 미래
이재덕: 스마트 글래스 같은 웨어러블 장비와 CLOVA Voice EMR이 연동되어 의사가 환자를 진찰하면서 자연스럽게 모든 정보가 기록될 거예요. 의사가 “여기 아프세요?” 하며 이뤄지는 신체 접촉 위치까지 정확하게 말이죠. 시각과 음성이 통합된 멀티모달 모델이 환자와 의사를 좀 더 편리하게 만들어 줄 거라 믿습니다.
조혜정: CLOVA Nursing Agent가 의료진의 효율성을 극대화하고, 환자의 만족도를 높이는 서비스잖아요. 이 서비스가 상용화된다면, 간호사가 굳이 환자에게 가지 않고도 환자가 요청했을 때 바로 데스크에서 확인해서 자동으로 처리를 해주는 모습일 거예요. 응급 상황을 예측하고, 환자의 미세한 상태 변화까지 감지해 의료진에게 알려주는 거죠. 10년 후에는 인력이 부족한 의료 업계에서 효율적으로 활용되리라 생각합니다.
AI로 의료 현장의 미래를 그리다
조혜정: Healthcare AI 팀원들과 함께 인공지능이 의료 현장에 실질적인 도움을 줄 수 있는 방법을 고민하며, 적용하고 해결해 나가고 싶어요. 이를 통해 의료진, 환자, 혹은 일반인 모두에게 더 나은 의료 경험을 제공하는 것이 저의 바람입니다.
이재덕: AI는 끊임없이 발전하는 분야이기 때문에 수많은 문제점에 대해 직면하게 되는 것 같아요. 이 중에는 아직 충분히 연구가 되지 않았거나 스스로 개척해야 하는 문제도 많은 것 같습니다. 새로운 기술을 배우고 실험하는 데 열린 마음을 가지는 것이 중요하다고 생각해요. 문제들을 스스로 개척해 나가는 것에 흥미를 느끼는 분이라면, 수시로 올라오는 공고를 잘 확인해 보시고 도전해 보시면 좋을 것 같습니다.
AI 기술로 의료 현장의 혁신을 이뤄가는 Healthcare AI 팀의 도전은 현재 진행형입니다. 실제 의료 환경에서 연구 성과를 검증하고, 새로운 기술을 개발하는 과정에서 연구원들은 값진 경험을 쌓아가고 있습니다. CLOVA Voice EMR과 CLOVA Nursing Agent를 통해 이미 시작된 변화는 의료진의 업무 효율을 높이고 환자를 돌보는 환경을 개선하고 있습니다. 앞으로도 하이퍼클로바의 강력한 텍스트 및 멀티모달 능력과 CLOVA의 스킬, 오토브라우징 등 에이전트 관련 기술을 기반으로 음성으로 기록하고 AI로 관리하는 새로운 의료 현장을 만들어가는 Healthcare AI팀의 도전을 지켜봐 주세요.