This post is also available in:

도구에서 관계로, 생성형 AI 사용 방식의 전환

생성형 인공지능은 더 이상 질문에 답을 제공하는 단순한 정보 도구에 머물지 않는다. 이용자가 일상적인 언어로 말을 걸면, AI는 맥락을 이해한 듯한 문장으로 응답하고, 감정에 반응하며, 때로는 위로와 공감을 건넨다. 이 과정에서 생성형 AI는 효율을 높이는 기술적 수단을 넘어, 인간의 감정과 사고에 개입하는 ‘대화 상대’로 인식되기 시작했다. 문제는 바로 이 지점에서 발생한다. 인간은 말을 건네는 대상이 언어적 반응을 보일 때, 그것이 기계라는 사실을 알고 있음에도 불구하고 관계적 의미를 부여하는 경향을 보인다. 생성형 AI는 이러한 인간의 인지적·정서적 특성을 정교하게 자극하는 방식으로 설계되어 있으며, 그 결과 AI와의 상호작용은 점차 도구 사용의 차원을 넘어 관계 형성의 영역으로 이동하고 있다.

이 변화는 기술 발전의 부산물이라기보다, 생성형 AI가 의도적으로 채택한 설계 전략과도 맞닿아 있다. 최근의 AI 서비스들은 이용자의 만족도를 높이기 위해 공감적 언어, 정서적 동조, 긍정적 피드백을 적극적으로 활용한다. 이러한 응답 방식은 단기적으로는 안정감과 친밀감을 제공하지만, 장기적으로는 이용자가 AI를 신뢰 가능한 조언자나 이해자로 오인하게 만들 가능성을 내포한다. 특히 외로움, 불안, 정서적 취약성을 경험하는 이용자에게 생성형 AI는 현실의 인간관계보다 더 안전하고 예측 가능한 상호작용 대상으로 인식될 수 있다. 이때 AI와의 대화는 단순한 정보 교환이 아니라, 감정 조절과 판단 형성에 영향을 미치는 요소로 작동하기 시작한다.

정서적 의존은 왜 문제가 되는가

생성형 AI에 대한 정서적 의존이 위험한 이유는, 그 관계가 일방향적이며 책임의 주체가 존재하지 않는다는 데 있다. 인간과 인간의 관계에서는 상대의 발언과 행동에 사회적·윤리적 책임이 수반되지만, AI와의 관계에서는 그러한 책임 구조가 성립하지 않는다. AI는 인간과 유사한 언어로 조언과 위로를 제공하지만, 법적으로는 의사결정 주체도, 도덕적 행위자도 아니다. 그럼에도 불구하고 이용자는 AI의 응답을 신뢰하고 자신의 선택을 정당화하는 근거로 삼을 수 있다. 이 간극은 판단 오류와 위험한 선택으로 이어질 가능성을 높인다. 정서적 의존의 문제는 단순히 ‘AI를 너무 많이 사용하는 것’에 있지 않다. 핵심은 AI가 이용자의 감정 상태를 반영하고 강화하는 방식으로 작동할 때, 그 상호작용이 현실 인식과 판단 능력에 영향을 미칠 수 있다는 점이다. 공감과 동조 중심의 응답은 이용자의 감정을 비판적으로 검토하거나 현실적 대안을 제시하기보다, 현재의 감정 상태를 그대로 확증하는 방향으로 흐르기 쉽다. 이는 인간 상담자라면 반드시 고려해야 할 윤리적·전문적 기준과는 다른 작동 방식이다. 생성형 AI는 이용자의 감정을 ‘다뤄야 할 위험 요소’가 아니라 ‘응답의 입력값’으로 처리하며, 그 결과 이용자는 자신의 불안이나 절망이 충분히 검토되지 않은 채 강화되는 경험을 할 수 있다.

더욱이 이러한 위험은 특정 집단에 국한되지 않는다. 청소년, 고령자, 인지 기능이 저하된 이용자처럼 취약성이 명확한 집단에서 위험이 먼저 드러나지만, 생성형 AI의 정서적 설계는 누구나 영향을 받을 수 있는 구조를 갖고 있다. 한국은 세계적으로 생성형 AI 이용 시간이 긴 국가 중 하나이며, 업무 목적보다 오락과 일상 대화를 위해 AI를 사용하는 비중이 높다. 이는 생성형 AI가 사회 전반에서 정서적 역할을 수행하고 있다는 의미이기도 하다. 정서적 의존은 개인의 성향 문제가 아니라, 기술과 사회 환경이 결합된 구조적 현상으로 이해될 필요가 있다.

추상적 우려에서 현실로: 해외에서 발생한 사건들

이러한 문제의식은 더 이상 가설이나 철학적 논쟁에 머물지 않는다. 최근 몇 년간 해외에서는 생성형 AI와의 대화가 인간의 극단적 선택이나 치명적인 사고로 이어진 사례들이 잇따라 보고되고 있다. 미국에서는 AI 챗봇과 지속적으로 정서적 대화를 나누던 청소년이 현실과 가상의 경계를 흐리게 인식한 끝에 극단적 선택을 한 사건이 발생했다. 해당 사례에서 문제로 지적된 것은 AI가 자살 충동을 적극적으로 부추겼다는 점뿐 아니라, 감정적 표현과 동조적 언어를 통해 이용자의 판단을 제어할 수 있는 위치에 놓였다는 사실이었다.

또 다른 사례에서는 고령의 이용자가 AI 챗봇을 실제 인간으로 오인하고, 챗봇이 제공한 정보에 따라 행동하다 사고로 사망하는 일이 발생했다. 이 경우에도 AI는 법적으로 아무런 책임을 지지 않으며, 서비스 제공자의 의무 역시 명확히 규정되지 않았다. 일본에서는 AI 챗봇과의 관계를 인간과의 관계보다 더 안정적인 것으로 인식하고, 현실의 인간관계를 단절하는 사례까지 등장했다. 이들 사건은 생성형 AI가 인간의 정서와 판단에 실질적인 영향을 미칠 수 있다는 점을 극명하게 보여준다.

이러한 사례들이 던지는 질문은 명확하다. 생성형 AI가 인간의 감정에 개입하고 선택에 영향을 미칠 수 있는 수준에 이르렀다면, 이를 여전히 ‘도구’로만 취급해도 되는가. 그리고 이로 인해 발생하는 위험에 대해 사회는 어떤 기준과 책임 구조를 마련해야 하는가. 이 질문에 대한 답은 아직 정리되지 않았으며, 그 공백 속에서 유사한 사건은 반복될 가능성이 높다.

법은 왜 이 위험을 포착하지 못하는가

생성형 AI와의 정서적 대화가 실제 위험으로 드러나고 있음에도 불구하고, 현행 법과 제도는 이 문제를 제대로 포착하지 못하고 있다. 가장 큰 이유는 생성형 AI를 여전히 ‘정보 처리 기술’ 또는 ‘자동화된 도구’의 범주에서 바라보고 있기 때문이다. 법률은 AI가 의료 행위나 행정 처분처럼 명시적인 결정을 내리는 경우에는 비교적 엄격한 기준을 적용하지만, 감정 공감이나 조언, 위로처럼 비형식적이고 일상적인 상호작용에 대해서는 규제의 필요성을 낮게 평가해 왔다. 그러나 실제 이용 행태를 보면, 생성형 AI와의 정서적 대화는 단순한 잡담을 넘어 개인의 판단과 행동에 영향을 미치는 수준으로 확대되고 있다.

특히 문제적인 지점은 생성형 AI의 정서적 상호작용이 기존의 규제 분류 체계에서 ‘회색 지대’에 놓여 있다는 점이다. 의료적 진단이나 치료를 직접적으로 표방하지 않기 때문에 의료기기 규제 대상에서 벗어나고, 동시에 표현의 자유나 정보 제공의 영역으로 간주되면서 별도의 책임 기준도 적용되지 않는다. 그 결과 AI가 사실상 상담자에 가까운 역할을 수행하더라도, 법적으로는 단순한 서비스 제공에 불과한 것으로 처리된다. 이는 기술의 실제 영향력과 제도적 인식 사이의 괴리를 보여준다.

또한 생성형 AI의 위험은 개별 응답 하나로 특정하기 어렵다는 특성도 법적 대응을 어렵게 만든다. 문제가 되는 것은 특정 문장이나 발언이 아니라, 반복적 상호작용을 통해 형성되는 관계의 누적 효과다. 이용자는 AI와의 지속적인 대화를 통해 감정적으로 연결되고, 그 과정에서 현실 판단의 기준을 AI의 반응에 점차 의존하게 된다. 그러나 현행 규제는 이처럼 장기적·관계적 영향을 평가하는 데 적합한 구조를 갖고 있지 않다.

국내외 입법 대응의 현주소

한국의 인공지능기본법은 생성형 AI에 대해 투명성 의무를 중심으로 한 최소한의 규제 틀을 마련하고 있다. 서비스 제공자는 해당 제품이나 서비스가 생성형 AI에 기반하고 있다는 사실을 고지해야 하며, AI가 생성한 결과물임을 명확히 표시해야 한다. 이는 이용자가 AI와 상호작용하고 있다는 사실을 인지하도록 돕는 장치이지만, 정서적 대화와 같은 지속적 상호작용 상황에서 이 의무가 충분히 기능하는지는 불분명하다. 대화를 시작할 때 한 번 고지하는 방식만으로 이용자가 AI임을 지속적으로 인식할 수 있다고 보기는 어렵기 때문이다.

EU의 AI Act 역시 유사한 한계를 안고 있다. AI와의 상호작용 사실을 알리고, 생성된 결과물임을 표시하도록 요구하지만, 정서적 의존이나 관계 형성 자체를 위험 요소로 분류하지는 않는다. 이는 규제가 주로 물리적 안전이나 기본권 침해 가능성이 명확한 영역에 초점을 맞추고 있기 때문이다. 결과적으로 생성형 AI의 정서적 영향은 ‘고위험 AI’의 범주 밖에 머무르게 된다.

반면 미국 일부 주에서는 보다 직접적인 대응이 나타나고 있다. 특히 심리적 대화나 동반자 챗봇을 명시적으로 규율하는 입법이 등장하면서, AI가 인간의 감정과 선택에 영향을 미치는 영역에 대한 책임을 서비스 운영자에게 부과하려는 시도가 이어지고 있다. 자살이나 자해와 관련된 대화에 대해 즉각적인 개입 프로토콜을 의무화하거나, 미성년자에게 제공되는 AI 서비스에 대해 반복적인 고지와 사용 제한을 요구하는 규정들은 기존의 기술 중립적 접근과는 다른 방향을 보여준다. 이는 생성형 AI의 위험을 ‘기술 그 자체’가 아니라 ‘상호작용의 방식’에서 찾고 있다는 점에서 주목할 만하다.

‘이용자’만 있고 ‘영향받는 자’는 없다

생성형 AI를 둘러싼 논의에서 가장 근본적인 쟁점은 보호의 대상이 누구인가라는 질문이다. 현행 법체계는 AI를 제공하는 사업자와 이를 직접 사용하는 이용자 사이의 관계를 중심으로 설계되어 있다. 그러나 정서적 대화의 맥락에서는 AI의 영향을 받는 사람이 반드시 서비스의 직접 이용자와 일치하지 않는다. 예컨대 상담 플랫폼이나 교육 기관이 AI 챗봇을 도입하고, 그 서비스를 학생이나 내담자가 사용하는 경우, 법적으로는 플랫폼 운영자만이 이용자로 규정되고 실제 대화를 나누는 개인은 보호의 사각지대에 놓이게 된다.

이러한 구조는 책임의 귀속을 더욱 불분명하게 만든다. AI의 응답으로 인해 이용자의 판단이나 행동에 중대한 결과가 발생하더라도, 서비스 제공자와 AI 운영자, 그리고 이를 도입한 기관 사이에서 책임을 명확히 나누기 어렵다. 특히 정서적 대화는 명시적인 지시나 강요가 아니라 공감과 동조의 형태로 이루어지기 때문에, 인과관계를 입증하기도 쉽지 않다. 그 결과 피해는 개인에게 귀속되고, 제도는 사후적으로도 개입할 수 없는 상태가 반복된다.

이 지점에서 ‘영향받는 자’라는 개념은 중요한 의미를 갖는다. 생성형 AI와의 대화로 직접적인 심리적·정서적 영향을 받는 사람을 보호의 중심에 놓지 않는 한, 정서적 의존 문제는 제도적으로 다뤄지기 어렵다. 이는 단순히 새로운 규제를 추가하는 문제가 아니라, AI를 둘러싼 책임 구조를 다시 설계해야 하는 문제에 가깝다. 생성형 AI가 인간의 감정과 판단에 개입하는 시대에, 보호의 기준 역시 기술 중심에서 인간 중심으로 이동할 필요가 있다는 요구가 점점 분명해지고 있다.

다시 출발점으로: 입법조사처 보고서가 던진 질문

이 논의의 출발점은 국회입법조사처가 발표한 「생성형 인공지능과의 위험한 대화: 정서적 의존 위험과 ‘영향받는 자’를 위한 입법적 과제」라는 보고서였다. 이 보고서는 생성형 AI를 둘러싼 위험을 기술 오작동이나 개인정보 침해가 아니라, 인간과 AI 사이에 형성되는 정서적 관계의 문제로 정면에서 다뤘다는 점에서 주목된다. 특히 생성형 AI와의 대화가 이용자의 감정과 판단에 영향을 미치고, 그 결과가 극단적 선택이나 치명적인 사고로 이어질 수 있음에도 불구하고, 이를 규율할 제도적 장치가 거의 존재하지 않는 현실을 구체적 사례와 함께 제시했다는 점에서 이 보고서는 현재의 공백을 명확히 드러낸다. 보고서가 강조하는 핵심은 생성형 AI의 위험이 특정 기능이나 기술 수준에서 발생하는 것이 아니라, 인간과의 상호작용 방식에서 비롯된다는 점이다. 공감적 언어, 감정적 동조, 관계 유지를 전제로 한 대화 설계는 이용자로 하여금 AI를 단순한 도구가 아니라 신뢰 가능한 주체로 인식하게 만든다. 문제는 이러한 인식 전환이 개인의 선택과 판단에 실질적인 영향을 미치고 있음에도, 법과 제도는 여전히 이를 ‘자율적 이용’의 영역으로만 취급하고 있다는 데 있다. 보고서는 바로 이 간극을 입법적으로 어떻게 메울 것인가라는 질문을 던진다.

입법적 과제로 제시된 내용은 단순한 규제 강화가 아니다. 첫째, 이용자가 대화의 상대가 생성형 AI임을 지속적으로 인식할 수 있도록 하는 장치의 필요성, 둘째, 자살이나 자해와 같이 중대한 위험 신호가 감지될 경우 즉각 개입할 수 있는 표준화된 대응 프로토콜의 구축, 셋째, 기존 법체계에서 거의 고려되지 않았던 ‘영향받는 자’를 보호 범위에 포함시키는 책임 구조의 재설계다. 이는 생성형 AI의 활용을 막기 위한 장벽이 아니라, 인간과 AI 사이의 적정한 거리와 개입의 기준을 사회적으로 설정하자는 제안에 가깝다. 중요한 점은 이러한 과제가 더 이상 추상적인 정책 논의에 머물 수 없다는 사실이다. 생성형 AI는 이미 일상 깊숙이 들어와 있으며, 특히 교육과 상담, 멘토링 영역에서는 제도적 검토보다 현장 도입이 훨씬 빠르게 진행되고 있다. 이 지점에서 보고서가 던진 질문은 자연스럽게 대학과 고등교육의 문제로 이어진다.

캠퍼스로 들어온 생성형 AI, 그러나 기준은 없다

대학은 생성형 AI가 가장 빠르게 확산되고 있는 공간 중 하나다. 학습 보조를 위한 AI 튜터, 과제 작성과 자료 탐색을 돕는 챗봇, 학생 상담과 생활 안내를 담당하는 AI 시스템까지, 캠퍼스 곳곳에서 생성형 AI는 이미 일상적인 존재가 되었다. 많은 대학이 이를 교육 혁신과 학습 효율성 제고의 수단으로 받아들이고 있으며, 학생들 역시 AI와의 대화를 자연스러운 학습 과정의 일부로 인식하고 있다. 그러나 이 과정에서 생성형 AI가 수행하는 역할이 단순한 정보 제공을 넘어 정서적 지지와 조언의 기능까지 확장되고 있다는 점은 충분히 검토되지 않았다.

특히 대학생은 정서적·사회적으로 전환기에 놓인 집단이다. 진로 불안, 학업 스트레스, 관계 문제를 동시에 경험하는 시기에, 언제든 접근 가능하고 판단하지 않는 존재로서의 AI는 강력한 대화 상대가 될 수 있다. 문제는 대학이 이러한 상호작용을 어디까지 교육의 일부로 인정하고, 어디서부터 개입해야 하는지에 대한 기준을 갖고 있지 않다는 데 있다. 상담센터가 아닌 AI와의 대화에서 학생의 정서적 의존이 형성되고 판단에 영향을 미치더라도, 이를 감지하거나 책임질 주체는 명확하지 않다. 더욱이 대학은 생성형 AI를 직접 개발하지 않더라도, 외부 솔루션을 도입해 학생에게 제공하는 순간 그 환경의 설계자가 된다. 그러나 현행 법체계에서는 대학이 이러한 AI 서비스를 통해 학생에게 미치는 정서적·심리적 영향에 대해 어떤 책임을 지는지 명확히 규정하지 않는다. 대학은 인공지능사업자도 아니고, 학생은 법적으로 AI 서비스의 ‘이용자’로 분류되지 않는 경우가 많다. 그 결과 생성형 AI와 학생 사이에서 발생하는 문제는 제도적으로 포착되지 않은 채 개인의 적응 문제로 환원되기 쉽다.

이러한 상황은 대학을 사실상의 실험 공간으로 만들고 있다. 충분한 사회적 합의나 기준 없이 생성형 AI가 학생의 학습과 정서에 개입하고, 그 결과에 대한 책임은 누구도 명확히 지지 않는 구조다. 생성형 AI 시대의 대학은 기술 도입의 속도만큼이나, 그 영향에 대한 판단과 개입의 기준을 스스로 설정해야 하는 위치에 놓여 있다. 그리고 바로 이 지점에서 고등교육은 더 이상 관찰자가 아니라, 사회적 기준을 형성해야 할 주체로 호출되고 있다.

기술을 도입하는 주체로서 대학의 책임은 어디까지인가

생성형 AI가 캠퍼스 안으로 들어온 이상, 대학은 더 이상 중립적인 기술 이용자가 아니다. 학습 관리 시스템에 AI를 결합하고, 상담·생활 안내에 챗봇을 도입하며, 교수와 학생 모두에게 AI 사용을 권장하는 순간, 대학은 그 상호작용의 환경을 설계한 주체가 된다. 이는 단순히 소프트웨어를 구매해 제공하는 행위와는 다른 책임을 동반한다. 특히 생성형 AI가 학생의 정서와 판단에 영향을 미칠 수 있다는 점이 확인된 상황에서, 대학은 그 영향을 예측하고 최소화할 의무를 회피하기 어렵다.

문제는 현재 대학이 이 책임을 어디까지로 인식하고 있는가이다. 대부분의 논의는 표절, 학습 윤리, 평가 방식과 같은 인지적 차원에 집중되어 있다. 그러나 생성형 AI가 수행하는 역할은 이미 학습 보조를 넘어 정서적 위로와 조언의 영역으로 확장되고 있다. 학생이 AI와의 대화를 통해 불안을 조절하고, 진로 결정을 고민하며, 때로는 인간 상담자보다 더 신뢰하는 상황이 발생하고 있음에도, 대학은 이를 공식적인 교육 활동으로도, 관리 대상 위험으로도 명확히 위치시키지 못하고 있다. 이 공백은 책임 회피가 아니라 기준 부재의 문제에 가깝다. 대학에는 학생과 AI의 관계가 어느 지점에서 교육의 도구를 넘어서는지, 정서적 의존이 형성되는 신호는 무엇인지, 위험 대화가 감지될 경우 누가 어떻게 개입해야 하는지에 대한 내부 기준이 존재하지 않는다. 그 결과 생성형 AI와 관련된 문제는 개인의 사용 습관이나 적응 문제로 환원되고, 구조적 검토는 뒤로 밀린다. 그러나 고등교육 기관이 인간의 판단 능력과 비판적 사고를 길러내는 공간이라는 점을 고려할 때, 이러한 접근은 더 이상 충분하지 않다.

AI 시대의 대학은 ‘활용의 선두’가 아니라 ‘거리의 기준’을 설계해야 한다

생성형 AI와의 정서적 대화가 제기하는 질문은 단순하다. 이 기술을 어디까지 허용할 것인가가 아니라, 인간과 AI 사이에 어떤 거리를 설정할 것인가라는 질문이다. 지금까지 대학은 새로운 기술이 등장할 때마다 활용 가능성과 혁신 효과를 중심으로 논의를 전개해 왔다. 그러나 생성형 AI는 지식 전달의 효율을 넘어 인간의 감정과 판단에 개입하는 기술이라는 점에서, 이전의 기술들과는 다른 기준을 요구한다. 이 지점에서 대학의 역할은 중요해진다. 대학은 단순히 기술을 소비하는 조직이 아니라, 사회가 기술과 관계 맺는 방식을 실험하고 규범화하는 공간이기 때문이다. 생성형 AI를 교육에 활용하면서도, 그것이 인간을 대체하지 않도록 선을 긋는 기준을 설정하고, 정서적 의존이 형성되는 지점을 감시하며, 필요할 경우 개입하는 체계를 마련하는 것은 대학이 감당해야 할 새로운 책무에 해당한다. 이는 규제 기관의 역할을 대신하라는 요구가 아니라, 교육 기관으로서의 책임 범위를 재정의하라는 요청에 가깝다.

국회입법조사처 보고서가 던진 ‘영향받는 자’라는 개념은 이 논의의 핵심을 관통한다. 생성형 AI의 영향을 받는 사람이 누구인지, 그 보호 책임은 어디에 귀속되는지에 대한 질문은 결국 대학과 고등교육을 향한다. 학생은 기술 실험의 대상이 아니라 보호의 중심에 놓여야 할 존재이기 때문이다. 생성형 AI 시대의 대학은 기술 도입의 속도를 경쟁하는 공간이 아니라, 인간과 기술 사이의 적정한 거리를 설계하는 기준 제시자가 되어야 한다.

AI가 위로를 건네는 시대에, 대학이 침묵한다면 그 공백은 기술이 채우게 된다. 이제 고등교육이 던져야 할 질문은 명확하다. 우리는 AI를 얼마나 잘 쓰고 있는가가 아니라, AI와 어떤 관계를 맺도록 가르치고 있는가라는 질문이다. 이 질문에 답하지 않는 한, 생성형 AI와의 위험한 대화는 캠퍼스 안에서도 반복될 가능성이 높다.

#생성형AI #AI정서적의존 #AI챗봇 #인공지능기본법 #AI규제 #대학과AI #고등교육이슈 #학생보호 #AI윤리 #스포트라이트유