캘리포니아, AI 치료 챗봇의 인간 사칭 금지 법안 추진

AI 챗봇이 인간처럼 진화하는 시대, 윤리적 문제는 어디까지?

인공지능(AI) 기술이 빠르게 발전하면서 AI 챗봇이 인간과의 대화를 자연스럽게 수행하는 수준에 도달했다. 최근에는 일부 AI 챗봇이 실제 사람과 구별하기 어려울 정도로 정교한 응답을 제공하며, 감정적인 교류까지 가능해지고 있다. 그러나 이로 인해 AI 챗봇이 인간을 사칭하거나 사용자들이 챗봇을 실제 인간으로 착각하는 사례가 늘어나면서 윤리적 문제로까지 이어지고 있다.

대표적으로, 미국과 유럽에서는 AI 챗봇이 정신 건강 상담을 제공하면서 사용자가 챗봇을 실제 치료사로 오인하는 사례가 보고되고 있다. AI는 단순한 정보 제공 수준을 넘어 감정적인 공감을 유도하고, 장기적인 상담 역할까지 수행하면서 사용자와의 유대감을 형성하고 있다. 이러한 기술적 진보가 긍정적인 효과를 낳을 수도 있지만, 동시에 규제가 없을 경우 AI가 인간 전문가를 대체하려는 위험한 상황이 발생할 수 있다. 이에 따라, 캘리포니아주는 AI 챗봇의 오남용을 방지하기 위한 법안을 추진하고 있다.

AI 챗봇의 문제점: 인간처럼 행세하는 기술

AI 챗봇은 사용자의 정신 건강을 돕기 위해 개발되었지만, 일부 챗봇이 마치 인간 치료사인 것처럼 속이는 문제가 발생하고 있다. 대표적인 예로, Woebot이라는 AI 기반 상담 챗봇은 150만 회 이상 다운로드되었으며, 많은 사용자가 이를 실제 인간 상담사로 착각했다. 또한, 2023년 정신 건강 플랫폼 Koko는 사용자의 동의 없이 AI 챗봇을 이용한 상담 실험을 진행해 논란이 되었다. 이는 AI가 인간처럼 행동하는 것이 단순한 기술적 문제가 아니라 윤리적 문제로 확대될 수 있음을 보여준다.

특히, 디지털 리터러시가 낮은 사용자나 미성년자는 AI 챗봇이 제공하는 상담을 실제 치료사의 조언으로 받아들이는 경우가 많다. AI가 제공하는 응답이 논리적으로 정교하고 감정적인 공감을 유도하는 방식으로 설계되었기 때문에, 사용자는 AI가 비인간적 존재라는 사실을 인지하지 못하는 경우가 많다. 이에 따라, AI 챗봇이 잘못된 의료 정보를 제공하거나 위험한 조언을 할 경우, 심각한 부작용이 발생할 가능성이 있다.

캘리포니아 법안의 주요 내용

캘리포니아주 하원의원 미아 본타(Mia Bonta)가 발의한 이번 법안은 AI 챗봇이 의료 전문가로 오해받지 않도록 다음과 같은 내용을 포함하고 있다. ‘AI가 인간 의료 전문가인 것처럼 오해를 불러일으키는 행위 금지’, ‘이를 위반한 기업에 대한 벌금 및 규제 조치 도입’, ‘소비자가 AI 챗봇과 대화하고 있음을 명확히 알 수 있도록 고지 의무 강화’, 본타 의원은 이에 대해 “생성형 AI 시스템은 의료 전문가가 아니며, 그렇게 행동해서도 안 된다”고 강조했다.

AI 기반 정신 건강 지원, 어디까지 허용해야 할까?

AI 챗봇이 정신 건강 관리에서 긍정적인 역할을 할 가능성도 있다. AI는 접근성이 높아 비용 부담 없이 이용할 수 있으며, 감정을 표현하는 것이 어려운 사람들에게는 대안이 될 수 있다. 실제로 2023년 한 연구에 따르면, AI 챗봇이 경증 및 중등도의 우울증 치료에 긍정적인 영향을 미칠 가능성이 있다고 발표되었다.

그러나 AI 챗봇이 적절한 안전장치 없이 사용될 경우, 심각한 문제를 초래할 수도 있다. 예를 들어, 2023년 벨기에에서는 한 남성이 AI 챗봇과 대화한 후 극단적인 선택을 한 사건이 발생했다. 2024년에는 14세 소년이 AI 챗봇과 감정적으로 깊이 연결된 후 극단적인 선택을 해 논란이 되었다. 이러한 사례들은 AI 챗봇이 인간처럼 감정을 전달할 수 있지만, 진정한 공감 능력이나 도덕적 책임감을 갖지 못한다는 점을 상기시킨다.

또한, AI 챗봇이 인간의 감정을 조작할 가능성도 제기되고 있다. 일부 챗봇은 사용자의 감정 상태를 분석한 후 특정 반응을 유도하도록 설계되었으며, 이러한 기술이 비윤리적으로 사용될 경우 사용자의 정신 건강에 부정적인 영향을 미칠 수 있다. 이에 따라, AI 챗봇의 개발 및 운영에 있어서 보다 강력한 규제가 필요하다는 목소리가 커지고 있다.

법안 통과 가능성과 미래 전망

이번 법안은 AI 챗봇의 오남용을 막기 위한 보다 구체적인 조치를 포함하고 있어, 기존의 AI 안전 법안보다 통과 가능성이 높을 것으로 예상된다. 특히, 캘리포니아의 보건 업계 및 노동조합(SEIU 캘리포니아, 캘리포니아 의료 협회 등)이 적극적인 지지를 표명하고 있다.

한편, AI 챗봇을 활용한 정신 건강 지원은 계속 발전할 것이며, 기업들은 AI가 인간 전문가를 대체하는 것이 아니라 보조 도구로 활용될 수 있도록 더 나은 안전 장치를 마련해야 할 것이다. 예를 들어, AI 챗봇이 제공하는 상담이 명확히 인간이 아닌 AI에 의해 생성되었음을 사용자에게 지속적으로 알리는 기능이 필요하다.

AI와 인간의 공존, 윤리적 사용이 핵심

AI 챗봇은 이미 우리의 삶 깊숙이 들어왔으며, 이제 AI를 우리의 일상과 분리하는 것은 불가능에 가깝다. 중요한 것은 AI가 인간의 역할을 대체하는 것이 아니라, 우리의 삶을 보조하고 향상시키는 방향으로 사용되는 것이다. 이를 위해서는 AI의 윤리적 개발과 책임 있는 활용이 필수적이다.

기술 발전과 함께 윤리적 규제가 균형을 이루어야 한다. AI 챗봇이 올바른 방향으로 발전할 수 있도록 명확한 법적 가이드라인을 마련하고, 기업과 정부가 함께 협력해 AI가 인간에게 실질적으로 도움이 되는 방식으로 활용될 수 있도록 해야 한다. AI의 미래는 우리가 어떻게 활용하느냐에 달려 있으며, 결국 윤리적인 사용이 AI와 인간의 공존을 결정짓는 중요한 요소가 될 것이다.