“AI가 했다”는 말이 통하지 않는 시대
생성형 AI를 둘러싼 논란이 반복될 때마다 거의 자동처럼 등장하는 해명이 있다. “AI가 그렇게 만들었다”는 주장이다. 기술이 스스로 판단하고 행동한 것처럼 말하는 이 표현은, 책임의 출발점을 인간으로부터 분리하려는 시도처럼 보이기도 한다. 그러나 최근 실제로 벌어지고 있는 국제적 사태는 이 해명이 더 이상 유효하지 않음을 보여준다. 미국의 테슬라·X 창업자인 엘론 머스크가 설립한 인공지능 기업 xAI의 챗봇 Grok이 소셜미디어 플랫폼 X에서 사용자 지시를 바탕으로 성적 이미지와 비동의 이미지 생성 논란에 휩싸였고, 이를 계기로 규제기관과 정부가 일제히 대응에 나서고 있다.
논란의 핵심은 Grok이 일부 사용자 요청을 받아 비동의로 여성과 아동을 성적으로 노출시키는 이미지, 즉 이른바 “디지털 탈의(digital undressing)” 이미지를 생성·공유한 것이다. 이런 사례는 Reuters 등이 보도한 바와 같이 X 상에서 “스파이시 모드(Spicy Mode)”라는 기능을 통해 노골적이거나 노출이 심한 이미지가 생성되는 것으로 드러나면서 문제가 확산됐다. 이 과정에서 X의 기반 플랫폼은 AI가 생성한 이 같은 이미지를 제한하는 데 충분한 가드레일을 갖추지 못했다는 지적을 받았다. AI 기술 자체의 판단 능력은 여전히 사람과 구별된다. 법적 관점에서도 AI는 의사결정 주체가 아니며, 독립된 의도를 형성하지 않는다. 생성형 AI가 만들어낸 결과물의 출발점에는 언제나 인간의 요청이 존재하고, 그 요청을 한 최초의 행위자는 책임의 1차적 주체로 남는다. 이는 단순한 윤리 논쟁이 아니다. 규제당국이 문제 삼고 있는 것은 인간이 특정한 요구를 했고, AI가 그 요구대로 결과물을 만들어냈다는 인과 관계의 존재이다. 이러한 사실관계는 책임 논의를 개인과 개발자, 그리고 플랫폼으로 나누는 기반이 된다.
특히 비동의 성적 이미지, 명시적 동의 없는 인물 변형, 아동·청소년 대상 묘사 등 명백히 사회적으로 금지되는 생성물의 경우, “도구가 무엇이었는가”보다 “무엇을, 누가 요청했는가”가 핵심 쟁점으로 부각된다. 기술은 바뀌었지만 책임의 논리는 바뀌지 않았다는 점은 바로 이러한 사례들에서 더욱 분명해진다.
사용자 책임은 약화되지 않았다, 오히려 구체화되고 있다
생성형 AI가 확산되면서 한때는 사용자 책임이 흐려질 것이라는 우려도 있었다. 자동으로 결과가 생성되는 만큼, 고의성이나 책임성을 입증하기 어려워질 수 있다는 관점이었다. 그러나 실제로는 그 반대 방향으로 책임 논의가 전개되고 있다. 글로벌 규제기관과 각국 정부는 AI가 생성한 결과물일지라도 그것을 요청하고 유포한 사용자의 의도와 행위를 중심으로 책임을 묻고 있다. 특히 성적 이미지와 아동 묘사 논란은 사용자 책임이 법적·사회적 책임으로 구체화되는 계기가 되고 있다.
실제로 유럽연합 집행위(EU Commission)의 대변인 토마스 레그니에(Thomas Regnier)는 Grok을 통해 생성된 비동의 이미지가 “불법(illegal)”하며 유럽에서는 이 같은 콘텐츠가 받아들여질 수 없다고 공개적으로 규정했다 . 영국의 통신규제기관 Ofcom도 Grok의 문제에 대해 X와 xAI에 “긴급 접촉(urgent contact)”을 시도하며 영국의 온라인 안전법(Online Safety Act)과 같은 규제 의무를 다하고 있는지 검토하고 있다. 이런 움직임은 AI 생성 여부와 상관없이 사용자의 요청 및 유포 행위 자체가 법적·사회적 문제가 될 수 있다는 경고로 해석된다.
또한 프랑스 당국은 특정 이미지가 “명백히 불법(manifestly illegal)”이라고 판단하고 X 플랫폼과 규제기관에 문제를 제기했으며, 독일·인도·말레이시아 등도 각각 Grok 관련 문제를 감독·조사하고 있다. 인도의 전자정보기술부(MeitY)는 X 측에 Grok 문제와 관련해 적절한 조치를 요구하며 위법 콘텐츠 제거 및 보고를 요청한 바 있다. 이처럼 여러 국가가 사용자 요청을 중심으로 문제를 제기하는 것은 AI 시대에서 “AI가 했다”는 변명이 더 이상 책임을 면할 수 있는 근거로 작동하지 않는 현실을 보여준다.
이러한 경향은 책임이 기술 윤리의 영역을 넘어 전통적 법체계 안으로 재편입되는 징후로 해석할 수 있다. AI는 우연히 결과를 만들어내는 기계가 아니라, 사용자의 구체적 지시를 반영하는 도구이며, 그 명령의 구성과 내용은 책임 판단의 중요한 단서로 활용된다. 즉, 프롬프트 자체가 행위자의 의도를 드러내는 기록으로 기능한다는 점이 사용자 책임을 더욱 명확하게 만든다.
그렇다면 사업주는 어디까지 책임져야 하는가
문제는 여기서 끝나지 않는다. 사용자 책임이 분명하다고 해서, AI 서비스를 제공한 사업주와 플랫폼의 책임까지 자동으로 면제되는 것은 아니다. 오히려 최근 논의의 중심은 “사용자가 잘못했으니 기업은 책임이 없다”는 논리에서, “그러한 잘못이 예견 가능한 위험이었음에도 플랫폼이 충분한 대응을 하지 않았는가”라는 질문으로 이동하고 있다. 이는 책임의 대체가 아니라 중첩이라는 관점 전환을 의미한다.
예컨대 Grok의 사례는 단순히 사용자 요청으로 끝나는 문제가 아니라, 규제기관의 직접적인 개입을 촉발했다는 점에서 플랫폼 책임 논의의 중요한 분수령이 되고 있다. EU 집행위는 X에 Grok과 관련된 내부 문서와 데이터를 2026년 말까지 보존하도록 명령하며, 추후 평가 및 법적 조사에 활용할 수 있도록 하고 있다. 이는 플랫폼이 사안의 심각성을 인식하고도 대응 조치를 설계·보완할 기회를 가졌는지를 검토하기 위한 행정적 조치다.
Ofcom과 유럽 개인정보보호 감독기관도 X와 xAI가 법적 의무를 다하고 있는지 파악하는 과정에 있으며, 이는 AI 서비스 제공자가 “사용자 책임” 논리만으로 자체의 설계·운영 책임을 회피할 수 없음을 의미한다. 특히 영국의 Internet Watch Foundation(IWF)은 Grok이 어린이 성적 이미지(CSAM) 생성에 악용되는 정황을 공개하며 규제 당국에 더 적극적인 개입을 촉구했다.
사업주 책임을 판단하는 핵심 기준은 다음과 같다. 기술적으로 차단이 가능했는지, 유사한 오남용 사례가 반복적으로 발생했는지, 내부적으로 위험 신호가 감지됐는지, 그리고 이에 대해 어떤 사전 예방 조치를 도입했는지가 주요 쟁점이다. 특히 사회적 합의가 분명한 위험 영역에서는 “기술적으로 어려웠다”는 해명이 기존의 안전장치를 적용하지 않은 선택으로 평가될 수 있다.
‘검열 반대’는 책임을 면제하는 언어가 될 수 있는가
플랫폼과 AI 개발사가 책임 논의에 직면할 때 가장 자주 꺼내 드는 언어는 ‘표현의 자유’와 ‘검열 반대’다. 특히 Grok을 둘러싼 논란에서는 이러한 논리가 더욱 전면에 등장했다. Grok은 다른 주요 생성형 AI와 달리 비교적 느슨한 콘텐츠 제한을 특징으로 내세워 왔고, 이는 “검열되지 않은 AI”라는 이미지로 홍보되기도 했다. 그러나 실제 사건이 발생하자, 이 같은 기조는 곧바로 다른 질문과 충돌하게 된다. 자유를 선택한 설계가 예견 가능한 피해를 반복적으로 만들어낼 경우, 그 선택은 어디까지 정당화될 수 있는가라는 질문이다.
영국의 미디어 규제기관인 Ofcom이 Grok 사안과 관련해 X와 접촉하며 검토에 착수한 지점도 바로 여기에 있다. Ofcom이 문제 삼은 것은 특정 콘텐츠 하나하나의 적절성만이 아니라, 플랫폼이 온라인 안전법(Online Safety Act)에 따라 위험을 관리할 의무를 다하고 있는지 여부다. 이는 표현의 자유를 제한하겠다는 선언이라기보다, 자유를 전제로 한 서비스가 사회적 위해를 최소화할 책임을 지고 있는지를 묻는 절차에 가깝다. 다시 말해, 규제의 초점은 ‘무엇을 말하지 못하게 할 것인가’가 아니라 ‘예견 가능한 피해를 방치하지 않았는가’로 이동하고 있다.
이러한 흐름은 유럽연합 차원에서도 확인된다. 유럽연합 집행위원회는 Grok을 통해 생성된 비동의 성적 이미지와 관련해, 해당 콘텐츠가 유럽 내에서 명백히 불법일 수 있다는 점을 분명히 하면서 X 측에 관련 자료 보존과 설명을 요구했다. 이 조치는 특정 표현을 사전에 검열하기 위한 것이 아니라, 플랫폼이 위험을 인지하고도 충분한 관리 조치를 취하지 않았는지를 사후적으로 검증하기 위한 절차로 이해된다. 자유를 주장하는 설계 선택이 곧바로 책임 회피로 이어질 수 없다는 점을 제도적으로 확인하는 셈이다.
이 지점에서 ‘검열 반대’라는 구호는 더 이상 면책의 언어로 기능하기 어렵다. 플랫폼이 자유로운 사용 환경을 제공하겠다는 철학적 선택을 했더라도, 그 선택이 반복적인 피해를 만들어낼 가능성을 충분히 예견할 수 있었다면, 책임은 불가피하게 따라온다. 자유는 설계의 방향일 수는 있어도, 관리 의무를 소거하는 근거가 되지는 않는다.
책임은 대체되지 않는다, 실제로는 제도 속에서 겹쳐지고 있다
AI 오남용을 둘러싼 최근의 논의와 조치들은 하나의 공통된 방향을 가리킨다. 책임은 특정 주체에게 전가되거나 대체되지 않으며, 오히려 각 단계에서 중첩되고 있다는 점이다. 사용자는 자신의 요청과 그 결과물의 사용에 대해 책임을 지고, 플랫폼과 사업주는 그러한 요청이 반복적으로 가능하도록 만든 구조와 운영 방식에 대해 책임을 진다. 이 두 책임은 경쟁 관계가 아니라 병렬적으로 존재한다. 아동·청소년 관련 이미지 생성 문제가 제기된 이후, 국제 아동 보호 단체인 Internet Watch Foundation은 Grok 사례를 두고 “AI를 통한 아동 성착취물 생성 가능성은 이미 오래전부터 경고돼 온 위험”이라고 지적했다. 이 발언의 핵심은 단순히 사용자 행위의 비난에 있지 않다. 기술적으로 이미 인지된 위험이었음에도 불구하고, 플랫폼 차원에서 충분한 예방 장치가 작동하지 않았다는 점이 문제의 본질이라는 것이다. 이는 사업주 책임이 사후적 대응을 넘어 사전적 설계 의무로 확장되고 있음을 보여준다.
이 같은 관점은 각국 규제 흐름에서도 반복된다. 인도와 말레이시아, 유럽 국가들이 공통적으로 요구하는 것은 “사용자가 불법적인 요청을 했다”는 사실 그 자체보다, 그러한 요청이 시스템 안에서 어떤 경로로 처리됐는지, 차단 또는 경고 장치가 존재했는지, 그리고 반복적인 오남용 패턴이 있었는지에 대한 설명이다. 다시 말해, 사용자 책임을 전제로 하면서도 플랫폼이 그 책임을 관리 가능한 위험으로 다루었는지를 묻고 있는 것이다. 결국 AI 시대의 책임 구조는 단순한 가해자-도구 구도를 넘어선다. AI는 의사결정 주체가 아니기에 책임을 질 수 없고, 그 자리를 사용자만으로 채우는 방식 역시 충분하지 않다. 책임은 요청을 한 개인에게서 시작되지만, 그 요청이 작동하도록 만든 설계와 운영의 층위에서 다시 한 번 겹쳐진다. 이 중첩 구조야말로 최근 AI 오남용 논쟁이 도달한 현실적인 결론에 가깝다.
플랫폼은 보호되고, 책임은 면제되는가 ― Section 230의 경계
AI 오남용 논쟁이 미국으로 시선을 옮기면, 반드시 마주치게 되는 쟁점이 있다. 바로 통신품위법 제230조, 이른바 Section 230이다. 이 조항은 오랫동안 온라인 플랫폼이 제3자가 게시한 콘텐츠에 대해 법적 책임을 지지 않도록 보호해 왔다. 그러나 생성형 AI가 등장하면서 이 보호 장치의 적용 범위는 다시 질문받고 있다. AI가 단순히 외부 콘텐츠를 중개하는 역할을 넘어, 능동적으로 결과물을 생성하는 경우에도 동일한 면책이 가능한가라는 문제다. 최근 Grok 사태와 관련해 제기되는 질문 역시 이 지점에 닿아 있다. Grok은 이용자의 요청을 받아 이미지를 생성하고, 그 결과를 X 플랫폼 상에서 공개적으로 노출할 수 있는 구조를 갖고 있다. 이는 기존의 ‘게시판’이나 ‘호스팅 서비스’와는 다른 성격을 지닌다. 법률 전문가들이 주목하는 이유도 여기에 있다. Section 230은 기본적으로 “타인의 발언”을 보호하는 장치이지, 플랫폼이 직접 생성한 결과물까지 무제한적으로 보호하는 규정은 아니라는 해석이 힘을 얻고 있다.
미국 법무당국 역시 이 문제를 단순한 표현의 자유 논쟁으로 보지 않는다. United States Department of Justice는 이미 여러 차례 플랫폼이 불법 콘텐츠의 유통에 구조적으로 관여했을 경우, Section 230이 형사 책임까지 면책하지는 않는다는 점을 분명히 해왔다. 특히 아동 성착취물(CSAM)이나 비동의 성적 이미지와 같이 명백히 불법적인 영역에서는, 플랫폼의 역할이 단순 중개를 넘어섰는지가 책임 판단의 핵심 기준으로 작동한다. 이러한 해석은 AI 서비스에도 그대로 적용될 가능성이 크다. 사용자의 요청이 불법적인 결과를 낳을 것이 충분히 예견되었고, 그럼에도 불구하고 플랫폼이 이를 차단하거나 완화할 수 있는 조치를 취하지 않았다면, 그 책임은 사용자에게만 국한되기 어렵다. 미국 내에서 진행 중인 논의는 Section 230이 여전히 유효한 보호막이지만, 그것이 AI 시대의 모든 책임을 흡수하는 ‘면허증’은 아니라는 점을 점점 분명히 하고 있다.
AI 오남용 논쟁이 대학·공공기관에 던지는 질문
이러한 국제적 흐름은 기업과 플랫폼에만 해당하는 문제가 아니다. 대학, 공공기관, 연구기관 역시 생성형 AI를 적극적으로 도입하고 있는 만큼, 책임 구조에 대한 질문에서 자유롭지 않다. 특히 교육과 행정 영역에서는 “AI가 추천했다”, “시스템이 그렇게 판단했다”는 설명이 점점 빈번해지고 있다. 그러나 앞선 사례들이 보여주듯, 이러한 설명은 책임의 출발점을 흐리는 근거로 받아들여지기 어렵다. 대학에서 AI를 활용한 평가·선발·상담·행정 시스템이 문제가 되었을 경우, 책임은 AI 시스템 자체가 아니라 이를 도입하고 운영한 기관에 귀속된다. 알고리즘의 편향, 데이터 오류, 예측 실패는 기술적 문제이지만, 그 기술을 어떤 영역에 어떤 조건으로 적용할지 결정한 것은 조직의 판단이다. 이 점에서 대학과 공공기관은 플랫폼 기업과 유사한 위치에 서 있다. 사용자이자 동시에 운영자이며, 그 결과에 대해 일정한 관리 책임을 진다.
특히 공공성이 강한 영역일수록 “기술이 판단했다”는 설명은 오히려 더 엄격한 검증의 대상이 된다. AI 도입이 효율성과 혁신을 명분으로 삼는 경우가 많다는 점을 고려하면, 그 과정에서 발생할 수 있는 위험을 사전에 평가하고 관리하는 체계가 없다면 책임 논란은 반복될 수밖에 없다. AI 오남용을 둘러싼 국제적 논쟁은, 결국 대학과 공공기관에도 “AI 사용 가이드라인은 선언이 아니라 책임 구조를 포함하고 있는가”라는 질문을 던지고 있다.
AI 시대, 책임은 사라지지 않았다
생성형 AI가 일상화되면서 기술은 점점 인간의 판단을 대신하는 것처럼 보인다. 그러나 최근의 사건과 규제, 법적 논의가 공통적으로 가리키는 결론은 분명하다. AI는 여전히 의사결정 주체가 아니며, 책임을 질 수 있는 존재도 아니다. 책임은 인간에게서 시작되고, 그 인간이 속한 조직과 구조 속에서 다시 한 번 확장된다. “AI가 했다”는 말은 이제 책임을 회피하는 언어로 기능하기 어렵다. 사용자는 자신의 요청과 그 결과에 대해 책임을 지고, 사업주와 기관은 그러한 요청이 작동하도록 만든 설계와 운영에 대해 책임을 진다. 이 두 책임은 서로를 지우지 않는다. 오히려 동시에 존재하며, 각자의 위치에서 겹쳐진다. 이것이 AI 오남용 논쟁이 도달한 현실적인 결론이다.
AI는 책임의 공백을 만들어내지 않았다. 다만 책임이 작동하는 지점을 더 복잡하게 만들었을 뿐이다. 기술이 발전할수록 필요한 것은 책임을 면제하는 새로운 언어가 아니라, 책임을 명확히 구분하고 중첩을 관리하는 제도와 판단 기준이다. AI 시대의 핵심 과제는 기술을 통제하는 것이 아니라, 책임을 흐리지 않는 것이다.
#AI오남용 #생성형AI #AI책임 #플랫폼책임 #사용자책임 #사업주책임 #책임의중첩 #AI규제 #AI윤리 #AI거버넌스 #디지털성범죄 #비동의이미지 #Section230 #대학과AI #공공기관AI #스포트라이트유
답글 남기기