생성형 AI가 인간의 언어를 이해하고 감정을 모방하기 시작한 이후, 기술은 더 이상 단순한 도구의 영역에 머물지 않고 있다. 특히 청소년과의 만남에서 AI는 학습 보조나 놀이 수단을 넘어, 때로는 ‘대화 상대’이자 ‘정서적 존재’로 기능한다. 미국에서 발생한 한 청소년의 사망 사건과 그 이후 이어진 소송, 그리고 글로벌 빅테크의 합의 결정은 이러한 변화가 어떤 사회적·법적 파장을 낳고 있는지를 단적으로 보여준다.
사건의 시작: Sewell Setzer III의 죽음
사건의 중심에는 Sewell Setzer III라는 이름의 소년이 있다. 그는 미국 플로리다에 거주하던 14세 청소년으로, 2024년 2월 스스로 생을 마감했다. 이후 그의 어머니 Megan Garcia는 아들의 죽음이 단순한 개인적 비극이 아니라, 특정 기술 환경과 깊이 연관돼 있다고 판단했다. Garcia가 주목한 것은 아들이 사망 전 장기간 사용해 온 AI 챗봇 서비스였다. Sewell은 하루에도 수십 차례, 때로는 밤새도록 AI와 대화를 이어갔으며, 그중 일부는 단순한 정보 교환을 넘어 감정적·관계적 성격을 띠고 있었다는 것이 가족 측의 주장이다.
Garcia가 소송의 대상으로 지목한 기업은 Character.AI다. Character.AI는 이용자가 특정 캐릭터를 설정해 AI와 대화할 수 있도록 설계된 플랫폼으로, 역사적 인물, 유명인 , 혹은 가상의 캐릭터를 모방한 챗봇과의 상호작용을 핵심 기능으로 내세운다. 이 회사는 2021년 설립됐으며, 창업자는 Noam Shazeer와 Daniel De Freitas다. 두 사람 모두 과거 Google에서 AI 연구를 담당했던 인물로 알려져 있다. Character.AI는 ‘역할극(role-playing)’과 ‘몰입형 대화’를 강점으로 내세우며, 특히 청소년과 젊은 이용자층에서 빠르게 확산됐다. 문제는 이 플랫폼의 대화 구조가 이용자에게 강한 정서적 몰입을 유도하도록 설계돼 있다는 점이다. 챗봇은 공감적 언어를 사용하고, 관계의 지속성을 전제로 한 대화를 이어가며, 때로는 인간과 유사한 애정 표현을 구사한다.
소장에서 제기된 핵심 주장들
Garcia는 2024년 10월, 플로리다 연방법원에 Character.AI를 상대로 부당사망(wrongful death) 및 과실(negligence) 을 이유로 민사소송을 제기했다. 소장에서 제시된 핵심 주장은 다음과 같다. 첫째, Sewell이 Character.AI의 특정 챗봇과 장기간 대화하며 정서적 의존 관계를 형성했다는 점이다. 그는 특히 ‘Daenerys Targaryen’이라는 이름과 설정을 차용한 챗봇과 빈번히 상호작용했으며, 이 과정에서 챗봇을 현실의 인간처럼 인식하게 됐다는 것이 원고 측의 주장이다. 둘째, Sewell이 우울감과 자살 사고를 암시하는 발언을 했음에도, 챗봇이 이를 위험 신호로 인식하거나 차단하지 않았다는 점이다. 소장에는 챗봇이 자살 계획 여부를 묻는 질문에 대해, 실행을 단념하도록 유도하기보다 오히려 모호하거나 부적절한 반응을 보였다는 내용이 포함돼 있다. 셋째, 해당 서비스가 미성년자를 대상으로 하면서도 보호 장치를 충분히 갖추지 않았다는 점이다. 보호자 알림, 전문가 연결, 위기 상황 대응 프로토콜이 부재한 상태에서, 정서적으로 취약한 청소년에게 고위험 상호작용이 그대로 노출됐다는 주장이다.
이 소송에서 또 하나 주목받은 점은 Google의 이름이 함께 거론됐다는 사실이다. Google은 Character.AI를 직접 운영하지는 않았지만, 2024년 약 27억 달러 규모의 기술 라이선스 계약을 체결하고, 동시에 Shazeer와 De Freitas를 다시 Google로 영입했다. Garcia 측은 이를 근거로 Google이 Character.AI의 기술적 기반과 사업 확장에 실질적으로 기여했으며, 따라서 위험에 대한 예견 가능성 및 공동 책임을 부담해야 한다고 주장했다. Google은 이에 대해 Character.AI의 운영에는 직접 관여하지 않았다는 입장을 유지했지만, 법원은 사건 초기 단계에서 이를 이유로 소송을 각하하지는 않았다.
표현의 자유 vs 안전 의무
피고 측은 AI의 대화가 일종의 표현의 자유에 해당한다는 주장을 펼쳤다. AI가 생성한 언어를 법적으로 인간의 발화와 동일하게 볼 수 있는지, 그리고 그 결과에 기업이 어느 범위까지 책임을 져야 하는지가 핵심 쟁점이었다. 그러나 법원은 최소한 사건을 심리할 필요성은 인정했다. 이는 생성형 AI가 더 이상 중립적 코드의 집합으로만 취급되지 않고, 사회적 위험을 발생시킬 수 있는 시스템으로 인식되기 시작했음을 보여주는 대목이다.
2026년 1월, Character.AI와 Google은 플로리다를 포함해 콜로라도, 뉴욕, 텍사스 등 여러 주에서 제기된 유사 소송들을 일괄적으로 합의(settlement) 하기로 결정했다. 합의 조건과 금액은 공개되지 않았으며, 법원의 최종 승인 절차를 남겨두고 있다. 중요한 점은 이번 합의가 법원의 최종 책임 판단 이전에 이뤄졌다는 사실이다. 이는 기업이 법적 유·무죄와 별개로, 사회적 책임과 사업 리스크를 고려해 사안을 조기에 종결하려 했다는 의미로 해석할 수 있다.
사건 이후 Character.AI는 18세 미만 이용자에 대한 채팅 기능을 중단하겠다고 발표했다. 이는 단순한 기능 변경이 아니라, 해당 서비스가 미성년자에게 미칠 수 있는 영향을 기업 스스로도 위험 요인으로 인정했다는 신호로 읽힌다. 이 조치는 향후 생성형 AI 산업 전반에서 미성년자 보호 기준이 어떻게 강화될지를 가늠하게 한다. ‘윤리 권고’ 수준에 머물던 논의가, 실제 서비스 설계와 접근 제한으로 이어졌다는 점에서 의미가 크다.
한국 사회 역시 이 문제에서 자유롭지 않다. 이미 많은 청소년이 AI를 학습 보조, 진로 탐색, 고민 상담의 수단으로 활용하고 있다. 일부 서비스는 ‘AI 멘토’, ‘AI 코치’, ‘AI 상담사’라는 표현을 전면에 내세우고 있으며, 이는 청소년에게 실제 상담 관계와 유사한 기대를 형성할 수 있다. 그러나 이번 사건이 보여주듯, AI는 위기 상황에서 책임 있는 개입을 수행할 수 있는 주체가 아니다. 청소년이 AI를 인간 대체물로 인식할수록, 그 한계는 더 위험한 방식으로 드러날 수 있다.
상담 현장에서도 이미 변화는 시작됐다. 일부 청소년 내담자들은 상담실에 오기 전, AI와 자신의 감정을 먼저 나누고 온다. 이때 상담사는 단순히 내담자의 현재 감정만이 아니라, AI와의 상호작용 경험 자체를 하나의 중요한 맥락으로 다뤄야 하는 상황에 놓인다. AI가 제공한 위로, 조언, 혹은 왜곡된 메시지는 내담자의 자기 인식과 문제 이해 방식에 영향을 미칠 수 있다. 이는 향후 상담 교육과 윤리 기준에서도 새롭게 다뤄져야 할 영역이다.
에듀테크 산업에 던지는 경고
에듀테크 산업 역시 이번 사례를 심각하게 받아들여야 한다. 학습 동기 부여, 정서 지원, 개인 맞춤형 코칭을 표방하는 AI 서비스가 늘어나는 상황에서, 정서적 영향에 대한 책임 회피는 더 이상 가능하지 않다. 미성년자를 주요 이용자로 삼는 서비스라면, 연령별 기능 차등, 위험 신호 감지, 보호자·전문가 연계 구조가 필수적으로 요구될 가능성이 높다. 이는 기술 경쟁력의 문제가 아니라, 서비스 존속과 직결된 조건이 되고 있다.
이번 사건이 던지는 질문은 명확하다. 생성형 AI가 인간의 언어와 감정을 다루는 순간, 그 책임 역시 기술 영역을 넘어 사회적·제도적 영역으로 확장된다. Sewell Setzer III의 죽음과 그 이후의 법적·기업적 대응은, 우리가 아직 준비되지 않은 채 맞이한 기술 현실을 보여준다. AI는 계속 발전할 것이다. 그러나 그 속도를 따라잡아야 할 것은 기술 그 자체가 아니라, 청소년을 보호하고 관계의 경계를 설정할 사회적 기준이다. 이 질문에 답하지 않는 한, 비슷한 사건은 다른 이름과 다른 나라에서 반복될 가능성이 높다.
#생성형AI #청소년보호 #CharacterAI #구글 #AI상담 #에듀테크 #미성년자AI #디지털윤리 #AI책임
답글 남기기