성능은 공개되지만 책임은 숨겨진다… AI 시대의 ‘신뢰 격차’
22025년, AI는 가장 강력해졌고 동시에 가장 많은 사고를 기록했다. 문서화된 AI 사고는 362건으로 늘어 전년 233건보다 크게 증가했다. 그런데 더 불안한 것은 사고의 숫자만이 아니다. 오늘의 AI 산업은 모델이 얼마나 강력한지는 앞다퉈 공개하면서도, 그 모델이 얼마나 안전한지, 얼마나 공정한지, 어떤 위험을 품고 있는지는 점점 덜 말하고 있다. AI는 더 똑똑해졌지만, 우리는 그 AI를 오히려 덜 이해하게 됐다. 스탠퍼드 인간중심AI연구소의 AI Index 2026은 올해 AI를 둘러싼 가장 큰 균열을 바로 이 지점에서 포착한다. 기술 자체는 빠르게 진보하는데, 그것을 측정하고 통제하고 사회적으로 감당할 체계는 그 속도를 따라가지 못한다는 것이다. 특히 프론티어 AI를 개발하는 기업들은 능력 벤치마크 결과는 거의 모두 공개하지만, 책임 있는 AI 관련 벤치마크 보고는 훨씬 빈약하다. 다시 말해 지금의 경쟁은 ‘누가 더 강한 모델을 내놓는가’의 경쟁이면서 동시에 ‘누가 무엇을 감추고 경쟁하는가’의 경쟁이기도 하다.
오늘의 AI 산업은 성능을 보여주는 데 매우 익숙하다. 새 모델이 나올 때마다 코딩 점수, 추론 성능, 멀티모달 처리 능력, 인간 기준 대비 우위 같은 수치가 빠짐없이 따라붙는다. 이 수치들은 투자자를 설득하고, 기업 고객을 끌어들이고, 여론을 장악하는 가장 강력한 언어이기 때문이다. 실제로 AI Index 2026 전체를 관통하는 장면도 비슷하다. AI는 더 빠르게 확산되고, 더 많은 사람에게 도달했으며, 더 높은 성능을 보여주고 있다. 하지만 같은 방식으로 안전과 책임이 공개되지는 않는다. AI Index 2026은 거의 모든 선도 프론티어 모델 개발사가 능력 벤치마크 결과는 보고하지만, 책임 있는 AI 관련 벤치마크 보고는 들쭉날쭉하고 빈약하다고 지적한다. 여기에 더해 최근 연구들은 안전성을 한 축에서 개선하면 정확도 같은 다른 축이 악화될 수 있음을 보여준다고 정리한다. 책임성은 AI 산업의 중심 화두처럼 말해지지만, 실제 공개되는 정보는 성능에 비해 훨씬 적다. 이 불균형은 단순한 커뮤니케이션 전략의 문제가 아니다. 시장은 성능에 보상을 주고, 규제는 아직 책임성 공개를 충분히 강제하지 못하며, 사용자는 내부 구조를 알기 어려운 채 결과물만 소비한다. 그 결과 AI 기업들은 “얼마나 잘하느냐”는 경쟁에서는 공개를 택하고, “무엇이 잘못될 수 있느냐”는 경쟁에서는 침묵을 택하는 유인을 갖게 된다. AI가 사회적 인프라가 될수록 이 불균형은 더 위험해진다. 전기나 금융, 의료처럼 사회 전체가 의존하는 기술일수록 내부 원리와 위험 구조가 더 투명해야 하지만, AI는 오히려 그 반대 방향으로 움직이고 있기 때문이다.
가장 앞선 모델일수록 덜 알려진다는 역설
이러한 불투명성은 연구개발 단계에서도 확인된다. AI Index 2026은 2025년 산업이 주목할 만한 AI 모델의 90% 이상을 생산했지만, 가장 강력한 모델일수록 훈련 코드, 파라미터 수, 데이터셋 규모, 훈련 기간 같은 기본 정보조차 공개되지 않는 경우가 많다고 정리한다. OpenAI, Anthropic, Google 같은 선도 기업들의 최신 시스템은 높은 성능을 보이지만, 외부 연구자가 독립적으로 검증할 수 있는 정보는 과거보다 오히려 줄었다. 2025년 기준 주목할 만한 95개 모델 가운데 80개가 훈련 코드를 공개하지 않은 상태였다는 대목은 이 현실을 상징적으로 보여준다. 이것은 단순히 “기업 비밀이 늘었다”는 의미에 그치지 않는다. 외부 연구자들이 결과를 재현할 수 없고, 안전성 검증을 독립적으로 수행하기 어려우며, 개발사가 제시한 수치를 사실상 그대로 받아들일 수밖에 없는 구조가 됐다는 뜻이다. AI Index는 실제로 독립 테스트가 개발사가 보고한 성능을 항상 확인해주지는 않으며, 벤치마크 포화와 플랫폼 적응 문제까지 겹치면서 비교 자체가 점점 어려워지고 있다고 지적한다. 성능을 둘러싼 공개조차 완전히 신뢰하기 어려운 상황에서, 책임성과 위험에 대한 비공개는 더 큰 공백을 만든다.
결국 지금의 프론티어 AI는 “더 강력할수록 더 검증하기 어려운 기술”이 되고 있다. 이 역설은 AI 신뢰 위기의 출발점이다. 위험한 기술이라서 불신을 받는 것이 아니라, 위험을 측정하고 공개하는 기준이 약하기 때문에 불신을 낳는 구조가 형성되고 있는 것이다.
AI 사고는 왜 계속 늘어나는가
AI 사고 증가 역시 같은 구조와 맞물려 있다. 문서화된 AI 사고가 2024년 233건에서 2025년 362건으로 늘었다는 사실은, AI가 더 넓은 영역에 침투할수록 문제가 드러나는 빈도도 함께 상승하고 있음을 보여준다. 문제는 이것을 단순히 “기술이 아직 미성숙해서 벌어진 일”로만 보기 어렵다는 점이다. AI는 이제 대화형 서비스, 검색, 고객 응대, 교육, 채용, 금융, 의료, 콘텐츠 생성, 보안 등 매우 다양한 영역에 들어가 있다. 확산의 속도가 빨라질수록, 사고 역시 일종의 부산물처럼 늘어날 수밖에 없다. 여기서 주목해야 할 것은 사고의 유형이다. 초기의 AI 위험이 주로 편향된 추천이나 오분류 같은 기술적 오류에 머물렀다면, 이제는 혐오 발언, 사기, 조작, 위장, 허위정보, 딥페이크처럼 사회적 피해로 직결되는 형태가 늘어나고 있다. 이는 AI가 단순한 분석 도구에서 인간의 언어와 이미지, 영상, 음성을 직접 생산하는 인프라로 이동했기 때문이다. 생성 능력이 강해질수록 위험도 더 구체적이고 더 확산 가능해진다.
또한 사고는 “고장이 난 AI”에서만 발생하지 않는다. 정상적으로 작동하는 AI도 잘못된 목적과 결합하면 사회적 위해를 만들 수 있다. 편향 없는 모델이라도 악의적 사용자가 허위정보 생산에 활용하면 문제가 되고, 안전 필터가 다소 완화된 모델은 극단적 발언이나 위험 행동을 더 쉽게 생성할 수 있다. 그래서 AI 사고를 줄인다는 것은 모델의 정확도를 높이는 일만으로 해결되지 않는다. 설계, 공개, 배포, 사용자 인터페이스, 정책, 감시 체계까지 함께 움직여야 한다.
완벽한 ‘책임 있는 AI’는 존재하지 않는다
그렇다고 해서 완벽한 해답이 이미 나와 있는 것도 아니다. AI Index 2026은 최근 연구를 인용해 책임 있는 AI의 여러 축이 서로 충돌할 수 있다고 설명한다. 안전성을 높이면 정확도가 떨어질 수 있고, 어떤 책임성 지표를 개선하면 다른 지표가 악화될 수 있다는 것이다. 이 대목은 매우 중요하다. 많은 조직이 “안전하고 공정하며 프라이버시를 지키고 설명 가능하며 성능도 뛰어난 AI”를 원하지만, 실제 기술은 그렇게 모든 가치를 동시에 최대화하는 방식으로 작동하지 않는다. 이 상충 구조는 책임 있는 AI를 기술적 해법만으로 해결할 수 없게 만든다. 어떤 조직은 정확도 저하를 감수하고 프라이버시를 더 중요하게 볼 수 있고, 어떤 조직은 설명 가능성을 높이는 대신 일부 성능 손실을 받아들일 수 있다. 다시 말해 책임성은 단지 엔지니어링 문제가 아니라 우선순위의 문제이며, 가치 선택의 문제다. 그래서 “책임 있는 AI는 가능한가”라는 질문보다 더 정확한 질문은 “어떤 책임을 우선시할 것인가”다.
여기서 정책과 기업 전략의 차이도 드러난다. 기업은 시장과 비용, 출시 속도를 우선할 가능성이 높고, 공공부문은 안전성과 형평성을 더 중시할 수 있다. 국가마다 규제 접근이 다른 이유도 이와 무관하지 않다. 동일한 기술을 두고도 어디에 위험을 더 크게 느끼는지, 무엇을 더 보호해야 한다고 보는지에 따라 제도적 답은 달라진다. 책임 있는 AI는 하나의 보편 공식이 아니라, 경쟁하는 사회적 선택들의 결과로 나타나는 셈이다.
전문가와 대중은 같은 미래를 보고 있지 않다
AI 신뢰의 문제는 기술 내부에서만 벌어지지 않는다. 그것은 결국 사회가 AI를 어떻게 받아들이느냐의 문제로 이어진다. AI Index 2026은 AI가 일, 경제, 의료에 미칠 영향에 대해 전문가와 대중의 시각 차이가 매우 크다고 지적한다. 사람들이 자신의 일을 하는 방식에 대해 전문가의 73%는 AI의 영향이 긍정적일 것이라 봤지만, 일반 대중은 23%만 긍정적으로 평가했다. 경제와 의료에서도 비슷한 격차가 나타난다. 전문가에게 AI는 가능성의 기술이지만, 대중에게 AI는 불안의 기술로 읽히는 경우가 많다는 뜻이다. 이 격차는 단순한 정보 부족 때문만은 아니다. 전문가 집단은 AI의 잠재력과 적용 방식을 더 잘 이해하지만, 대중은 기술이 삶에 미칠 구체적 비용과 위험을 더 직접적으로 체감한다. 일자리 변화, 허위정보, 사생활 침해, 자동화에 따른 소외 같은 우려는 기술적으로 정교한 설명보다 더 빠르게 사람들의 인식을 형성한다. AI가 아무리 성능이 좋아도, 사회가 그것을 위협으로 받아들이면 신뢰는 형성되지 않는다.
정부에 대한 신뢰도도 마찬가지다. AI Index 2026은 조사 대상국 가운데 미국이 자국 정부의 AI 규제 역량을 가장 낮게 신뢰하는 국가라고 정리한다. 글로벌 차원에서는 유럽연합이 미국이나 중국보다 AI를 더 잘 규제할 주체로 인식되는 경향도 나타난다. 이는 AI 경쟁이 단지 민간 기업 사이의 성능 경쟁이 아니라, 어떤 제도권이 더 신뢰를 얻는가의 경쟁으로도 전개되고 있음을 보여준다.
결국 AI 신뢰를 만드는 것은 더 높은 점수만이 아니다. 투명성, 독립 검증, 책임 구조, 사용자의 이해 가능성, 제도적 보호장치가 함께 필요하다. 그러나 지금의 산업 구조는 이 모든 요소를 자연스럽게 생산하지 않는다. 기업은 경쟁 압력 때문에 더 많이 숨기려는 유인을 갖고, 규제기관은 기술 속도를 따라가기 어렵고, 사용자는 결과물은 빠르게 접하지만 내부 구조는 여전히 알기 어렵다. 그래서 신뢰는 저절로 생기지 않는다. 설계되어야 하고, 강제되어야 하며, 반복적으로 입증되어야 한다. 성능 공개가 시장 경쟁의 언어라면, 책임 공개는 공공 신뢰의 언어다. 문제는 오늘의 AI 산업이 첫 번째 언어에는 능숙하지만 두 번째 언어에는 아직 서툴다는 데 있다.
이 지점에서 필요한 것은 “AI가 안전한가”에 대한 단일한 선언이 아니다. 오히려 어떤 위험이 존재하는지, 무엇이 검증됐고 무엇은 아직 검증되지 않았는지, 누가 평가했고 누가 책임지는지를 분리해서 공개하는 방식이 필요하다. 성능 리더보드만큼이나 책임성 리더보드가 중요해지는 이유도 여기에 있다. 지금까지 AI 산업은 “더 강한 모델”을 빠르게 만들었다. 앞으로는 “더 설명 가능한 모델”, “더 검증 가능한 모델”, “더 책임을 질 수 있는 모델”을 요구받게 될 가능성이 크다.
성능 이후의 경쟁, 이제는 신뢰를 둘러싼 싸움
AI는 이미 성능 경쟁에서 새로운 단계에 들어섰다. 상위 모델 간 격차는 줄어들고 있고, 일부 영역에서는 인간 기준을 넘는 성과도 나타난다. 그렇다면 다음 경쟁은 무엇이 될까. 흔히 “신뢰 경쟁”이라고 말하지만, 더 정확한 표현은 따로 있다. 앞으로의 싸움은 신뢰 그 자체보다도, 신뢰를 누가 정의하고 측정하며 공개할 것인가를 둘러싼 경쟁이 될 가능성이 크다. 이 문장은 중요하다. 신뢰는 점수처럼 단순 비교되지 않는다. 어떤 조직은 안전성을, 어떤 조직은 프라이버시를, 어떤 조직은 설명 가능성을 더 중시할 수 있다. 즉 AI 신뢰는 기술 회사가 혼자 선언할 수 있는 가치가 아니라, 사회 전체가 협상해야 하는 가치다. 지금의 AI 위기는 기술이 너무 위험해서 생긴 것만이 아니다. 더 큰 문제는 그 위험을 어떤 기준으로 판단하고 누가 공개할 것인지조차 아직 충분히 정해져 있지 않다는 데 있다.
한국에도 이 질문은 곧바로 닿는다. 공공기관, 대학, 병원, 기업은 AI의 성능만으로 도입을 정당화하기 어려운 단계에 들어서고 있다. 어떤 데이터로 학습했는지, 어떤 오류 가능성이 있는지, 외부 검증을 거쳤는지, 문제가 생기면 누가 책임지는지 같은 질문이 함께 가야 한다. 성능 경쟁이 끝나지 않았더라도, 신뢰 경쟁은 이미 시작됐다.
AI Index 2026이 남기는 가장 날카로운 메시지는 이것이다. AI의 다음 전장은 기술이 아니라 신뢰다. 더 정확히 말하면, 신뢰를 누가 정의할 것인가의 전장이다. 그리고 이 싸움에서 뒤처지는 쪽은 더 낮은 점수를 받은 기업이 아니라, 더 강한 모델을 만들고도 사회의 신뢰를 얻지 못한 주체일 가능성이 크다.
#AI신뢰 #책임있는AI #AIIndex2026 #AI사고 #AI윤리 #AI규제 #AI투명성 #인공지능리스크 #AI거버넌스 #AI안전 #생성형AI #기술신뢰
답글 남기기