CHI 2026 Paper
김영호 리더 (HCI Research, NAVER AI Lab)
개관
이번 글에서는 오는 4월 스페인 바르셀로나에서 개최되는 인간–컴퓨터 상호작용(HCI) 분야 최고 권위 학술대회인 ACM CHI 2026에서 발표될 네이버클라우드의 논문을 소개합니다.
Autiverse: Eliciting Autistic Adolescents’ Daily Narratives through AI-guided Multimodal Journaling
양미경 (네이버 AI Lab)
이경아 (도닥임 아동발달센터)
한진영 (성균관대학교)
박소현 (네이버 클라우드, 네이버 AI Lab)
김영호 (네이버 AI Lab)
ACM CHI 2026
자폐 청소년이 겪은 일을 이야기로 설명하기 어려운 이유
자폐 스펙트럼을 가진 청소년에게 “오늘 학교에서 무슨 일이 있었니?”라는 질문은 생각보다 답하기 어려울 수 있습니다. 하루 동안 겪은 수많은 일 중 무엇을 이야기할지 골라야 하고, 시간 순서에 맞게 정리해야 하며, 그 과정에서 느낀 감정까지 표현해야 하기 때문입니다.
이러한 어려움은 단순히 의사소통만의 문제가 아니라 실생활에서 중요한 문제로 이어질 수 있습니다. 청소년기는 또래 관계가 확장되고, 다양한 사회적 상황을 경험하는 시기입니다. 자폐 청소년 역시 친구와의 갈등이나 교사와의 상호작용처럼 곤란한 상황을 마주하게 되죠. 이때 부모나 치료사가 적절히 도움을 주기 위해서는 아이에게 실제로 어떤 일이 있었는지 구체적으로 이해하는 것이 중요합니다. 친구와 왜 갈등이 생겼고 교사에게 왜 꾸지람을 들었는지 전체적인 상황을 이해해야 적절한 조언을 해줄 수 있죠.
하지만 많은 자폐 청소년이 자신의 경험을 하나의 ‘이야기’로 풀어내는 데 어려움을 겪습니다. 아이가 중요한 맥락을 빠뜨리는 경우가 많아 부모들은 단편적인 단서를 모아 상황을 추측해야 하곤 합니다.
상황 묘사에 도움이 되는 일기 쓰기, 그러나 자폐 청소년에게는 또 다른 장벽
개인에게 일어난 경험을 정리하는 가장 일반적인 방법은 일기 쓰기입니다. 꾸준한 일기 쓰기는 자신을 이해하고 서사 능력을 기르는 데 효과적입니다. 하지만 자폐 청소년에게 전통적인 일기 쓰기 방식은 또 다른 장벽일 수 있습니다.
텍스트 중심 기록의 한계와 열린 질문이 주는 부담
일기장은 주로 텍스트를 중심으로 기록하게 되어 있습니다. 하지만 상당수 자폐인은 시각적 사고에 강점이 있어, 텍스트만으로 서사를 정리하는 것이 쉽지 않습니다. 또한 대부분의 일기장은 ‘오늘 있었던 일을 써보세요’ 같은 열린 질문으로 시작하는데요. 무엇을, 어디서부터, 어떻게 써야 할지 스스로 결정해야 하므로 자폐 청소년에게는 큰 인지적 부담으로 작용합니다.
어떻게 하면 자폐 청소년들이 효과적으로 일기를 쓸 수 있을까요? 이러한 고민에서 출발한 AI 기반 태블릿 애플리케이션이 Autiverse입니다.
Autiverse: AI가 함께 만드는 네 컷 만화 일기
대교출판『만화일기』시리즈 (출처: 나무위키), AI로 재구성한『만화일기』내용 예시
1990년대에 어린 시절을 보낸 분들이라면, 대교출판에서 나온 추억의『만화일기』시리즈를 아실 겁니다. 짧은 컷 만화와 간단한 일기로 구성된 시리즈였는데요. 여기에서 영감을 얻어, 만화 일기 형식으로 일기를 쓰면 자폐인들의 강점인 시각적 사고 능력과 시너지를 낼 수 있으리라 생각했습니다.
그렇다면 만화 일기를 어떤 형식으로 쓰도록 해야 할까요? 저희는 행동치료사들이 아이들의 문제 행동을 파악하기 위해 사용하는 ABC 모델을 차용했습니다. ABC 모델은 상황을 사건이 시작된 맥락(Antecedent), 아이가 벌인 행동(Behavior), 그결과(Consequence)로 나누어 파악하는 접근 방식입니다. 여기에 감정(Emotion)을 추가해 A-B-C-E 네 컷 만화 구조를 구성했습니다. 이 구조를 통해 아이가 하루의 경험을 자연스럽게 하나의 이야기 흐름으로 정리할 수 있도록 한 것이죠.
AI는 이 구조에 따라 단계적으로 질문을 던지며 앞서 네 가지 요소에 관한 이야기를 아이로부터 이끌어냅니다. 열린 질문 대신 구조화된 대화를 활용함으로써 무엇을, 어디서부터, 어떻게 말해야 할지에 대한 부담을 줄이고 중요한 맥락이 빠지지 않도록 돕습니다.
단계적 대화를 통해 서사 끌어내기
Autiverse의 AI는 ChatGPT처럼 자유대화형 챗봇이 아니라, 아이의 경험을 하나의 이야기로 정리할 수 있도록 서사를 단계적으로 끌어내는 구조로 설계되었습니다.
일기 쓰기는 다음과 같은 순서로 진행됩니다.
1. 준비 단계: 먼저 아이가 스스로 장소와 관련 인물을 선택합니다. 이는 기억을 떠올리는 단서로 작용합니다.
2. 설명 단계: AI는 “학교에서 윤수와 무슨 일이 있었어?”와 같은 질문을 던지며 아이가 사건을 자유롭게 이야기하도록 유도합니다.
3. 확인 단계: 아이의 발화를 바탕으로 AI가 ABCE 구조로 분할하여 보여주고, 아이가 내용을 확인하고 잘못된 부분을 수정할 수 있도록 합니다.
4. 구체화 단계: AI는 앞에서 확인된 정보를 토대로 충분한 정보가 있는 컷만 만화로 생성하고, 부족한 부분은 추가 질문을 통해 보완합니다.
5. 수정 단계: 수집된 내용을 종합해 AI가 네 컷 만화를 완성하고, 아이가 말로 수정할 수 있도록 합니다.
6. 마무리 단계: AI의 제안을 바탕으로 일기의 제목을 짓고 마무리합니다.
장소와 사람을 먼저 고르고 상황 설명으로 들어가는 것이 어색하게 느껴질 수 있지만, 이는 의도된 설계입니다. 열린 질문으로 대화를 시작하는 대신, 아이가 소재를 먼저 선택하도록 함으로써 이후 이어지는 상황 설명 과정에서 인지적 부담을 줄이고 기억을 보다 쉽게 떠올릴 수 있도록 한 것입니다.
자폐인들은 명료하게 짜여진 루틴을 따르는 능력이 뛰어나고 거기에서 심리적 편안함을 느낍니다. 일기 쓰기를 반복하여 그 구조와 패턴을 쉽게 인식하고 내재화할 수 있도록 단계적 대화 형식을 채택했습니다.
만화의 표현: 이미지 생성 대신 단순화된 시각화
최근 나오는 생성형 AI를 활용하면 사실적인 이미지를 손쉽게 만들 수 있습니다. 하지만 Autiverse에서는 의도적으로 이러한 방식 대신, 단순한 시각화 기반으로 만화를 표현했습니다. 자폐인들은 특정 시각적 요소에 강하게 집중하는 경향이 있어, 그림 속 배경이나 캐릭터의 표정처럼 세부적인 요소에 주의를 빼앗겨 이야기의 흐름을 놓칠 수 있습니다. 실제로 전문가 인터뷰에서도 지나치게 자세히 묘사된 이미지는 만화의 내용보다 그림 자체에 시선을 끈다는 의견이 반복적으로 확인되었습니다.
상담 현장의 ‘표정 없는 목각 인형’이 주는 힌트
이러한 방향성은 상담 현장을 직접 관찰하며 더 구체화되었습니다. 연구의 공동 저자인 도닥임 아동발달센터의 이경아 원장님의 상담실에는 원목 교구와 인형의 집 등 다양한 소품이 가득한데요. 자폐인을 상담할 때 시각적으로 도움을 주고자 이러한 교구들을 사용한다고 합니다. 목각 인형을 책상 위에 놓고 “여기가 학교고, 이게 친구야”라고 말하며 상황을 재현하는 식이죠.
저희는 여기에서 중요한 힌트를 얻었습니다. 상담에 사용되는 목각 인형은 표정이나 세부 묘사가 없고, 단순한 형태로 구성되어 있습니다. 이러한 특징 덕분에 아이들은 인형 자체의 디테일보다는 ‘무슨 상황인지’, ‘무슨 일이 일어났는지’에 집중할 수 있죠.
Autiverse는 발도르프 목각 인형에서 얻은 통찰력으로 만화 속 인물을 단순한 형태로 표현했습니다. 다시 말해 아이들이 만화 일기의 ‘상황’과 ‘이야기’에 집중할 수 있도록 한 겁니다.
자폐인 내담자의 상황 설명을 돕기 위해 치료 현장에서 활용되는 발도르프 교구 (직접 촬영)
AI는 선생님도, 치료사도 아닌 ‘또래 친구’로
Autiverse의 상호작용 설계에서 중요하게 고려했던 또 다른 점은 AI의 역할이었습니다. 대화형 AI의 캐릭터는 ChatGPT처럼 범용 챗봇으로 설계할 수도 있고, 교사나 상담사처럼 특정 역할을 부여할 수도 있는데요. 저희는 AI를 교사나 상담사 대신 가상의 또래 친구(Peer)로 설정했습니다. 자폐 청소년은 부모나 교사, 치료사처럼 권위를 가진 상대와 대화할 때 평가받고 있다는 느낌을 받아 방어적으로 행동하는 경향이 있다는 선행 연구 결과가 많기 때문인데요. 또래 친구 같은 AI는 이러한 역할을 피하면서, 권위적인 위치가 아닌 자연스러운 관계에서 아이의 이야기를 끌어낼 수 있습니다.
또한 AI 아바타 이미지와 목소리를 CLOVA Speech 엔진을 기반으로 자유롭게 맞춤 제작하여 사용자가 편안함을 느끼는 형태의 AI와 상호작용 하며, 보다 자연스럽게 일기 쓰기에 몰입할 수 있도록 했습니다.
유저 스터디: 실제 가정 환경에서 Autiverse 써보기
Autiverse가 실제 환경에서 어떻게 사용되는지 확인하기 위해 자폐 청소년과 부모 10쌍을 대상으로 2주 동안 유저 스터디를 진행했습니다. 연구는 실험실 환경이 아닌 참여자들의 실제 가정 환경에서 이루어졌습니다. 청소년들은 매일 Autiverse를 이용해 일기를 작성했고, AI의 오작동이나 안전 이슈에 대비해 부모 중 한 명이 옆에서 지켜보는 역할을 맡았습니다. 부모가 가능한 한 AI와 청소년 사이의 상호작용에 개입하지 않도록 하여 아이와 AI 간의 자연스러운 사용 경험을 관찰하고자 했습니다. 연구 기간 동안 시스템 사용 로그를 수집하고, 2주 뒤 부모와 청소년을 대상으로 설문과 인터뷰를 진행해 사용 경험을 다각도로 분석했습니다.
아이들의 높은 참여도
연구 결과, 참여한 10명의 청소년 모두 중도에 포기하지 않고 2주 간의 일기 쓰기를 완수했습니다.
- 평균 12.2일 일기 작성 (14일 기준)
- 10명 중 4명은 14일간 매일 일기 작성
- 회당 평균 약 9분 소요
아이들의 일기 내용 역시 다양했는데요. 방과 후 수업이나 학교에서 있었던 일뿐만 아니라, 가족과의 외식, 볼링이나 배드민턴 등의 취미 활동, 심지어 친구와의 갈등까지 폭넓게 기록했습니다.
AI와의 단계적 대화를 통한 서사 구조화
Autiverse의 대화 로그를 분석한 결과, 아이들의 이야기는 AI의 단계적 질문을 통해 점진적으로 구성되는 것으로 나타났습니다. 아이들은 ABCE 네 컷 중 A(상황)와 B(행동)를 대화 초반에 언급하는 경향이 있었습니다. 이는 구체적이고 눈에 보이는 사실에 먼저 집중하는 자폐인의 특성과 일치합니다.
반면 C(결과)와 E(감정)는 주로 대화의 중후반부에 등장했고, AI가 직접 질문을 해서 끌어내야 하는 경우가 대부분이었습니다. C 컷의 60%, E 컷의 86%가 네 컷 만화 초안을 보여준 뒤, AI가 추가 질문으로 정보를 파고드는 구체화 단계에서 처음 언급되었는데요. 이는 결과와 감정이 단순히 “오늘 어땠어?” 같은 질문만으로는 끌어내기 어려운 정보이며, AI가 단계적으로 이끌었기 때문에 가능했음을 보여줍니다.
흥미롭게도 83%의 일기에서 B(행동) 컷의 내용은 처음 언급된 이후에도 계속 수정되고 보완되었습니다. 이는 아이들이 AI의 질문을 귀찮아하거나 대충 답하고 넘어간 것이 아니라, 질문을 받으며 자신이 경험한 일을 더 구체적으로 정리해 나갔음을 보여줍니다.
자녀의 일기 쓰기를 본 부모들의 깨달음
본 연구의 중요한 동기는 자폐 청소년의 일상을 부모와 더 잘 공유하는 것이었는데요. 실험에 참여한 부모들은 대부분 자녀의 방과 후 수업에 직접 동행하거나 교사와 매일 소통했기 때문에 자녀의 일상을 충분히 알고 있다고 생각했습니다. 하지만 Autiverse를 통해 작성된 일기를 보면서, 미처 몰랐던 아이의 감정과 경험을 새롭게 알게 되었다는 점을 공통적으로 이야기했습니다. 매일 설문에서 부모들의 절반 이상이 오늘 아이에게 일어난 일에 대해 새로운 것을 알게 되었다고 응답했으며, 비슷한 비율의 부모가 몰랐던 감정을 발견했다고 답했습니다.
아이의 불안감이 키보드를 부수는 행동으로 이어졌다는 사실을 일기를 통해 처음 알게 된 부모도 있었고, 즐겁게 놀았다고 생각했던 놀이공원이 아이에게는 실은 무서운 경험이었다는 것을 뒤늦게 깨달은 부모도 있었습니다.
일상 대화의 물꼬를 트다
예상치 못한 긍정적인 효과도 있었습니다. 여러 부모가 Autiverse가 자녀와의 대화를 터주는 계기가 되었다고 이야기한 것인데요. 아이가 완성한 네 컷 만화 일기를 함께 보면서, 자연스럽게 그날 있었던 일을 더 깊이 이야기하게 되었다고 말했습니다. 일기를 매개로 대화가 이어지면서 단편적으로 공유했던 일상이 훨씬 구체적이고 풍부한 이야기로 확장된 것입니다.
평소에는 게임 이야기만 하던 아이가 일상의 여러 이야기를 스스로 꺼내기 시작한 사례도 있었고, 일기를 보며 아이의 노력을 칭찬하고 격려하는 기회를 갖게 되었다는 이야기도 있었습니다. 일부 부모들은 연구 종료 이후에도 아이와 함께 일기 쓰기를 계속 하고 싶다는 의지를 보였습니다.
마치며
이번 연구를 통해 AI가 자폐 청소년의 일기 쓰기를 돕는 도구로 기능할 수 있을 뿐만 아니라, 그 과정을 통해 부모와 자녀 간의 소통을 자연스럽게 확장시키는 매개가 될 수 있음을 확인했습니다. 자폐 청소년들이 자신의 이야기를 더 잘 표현하고, 가족과 더 깊이 연결될 수 있도록 돕는 연구는 앞으로도 네이버에서 계속됩니다. 본 연구에 대한 자세한 내용은 논문을 참고해 주세요.
Autiverse의 실제 사용 모습은 아래 데모 영상을 통해 확인해보실 수 있습니다.