효율의 이름으로 위임된 판단, AI는 누구의 기준으로 학생을 평가하는가
2025년 현재, 인공지능은 더 이상 교육의 보조 도구가 아니다. 대학은 학생의 과제나 에세이를 채점하는 데 AI를 적극 도입하고 있고, 일부 학술지 논문 심사자들은 논문 심사평 초안을 생성하는 데 대형 언어모델(LLM)을 사용하기 시작했다. 심사자에게는 AI가 작성한 요약 보고서가 제공되고, 편집위원은 AI가 표시한 ‘논문 품질 점수’를 참고해 최종 결정을 내린다. 이 변화는 놀라운 속도로 확산되고 있다. 피드백 자동화, 채점 효율화, 심사 일관성 제고 등은 모두 ‘객관성’과 ‘생산성’이라는 그럴듯한 명분 아래에서 추진된다. 그러나 바로 그 지점에서 질문이 생긴다. AI가 내린 평가는 과연 누구의 판단을 대변하는가? 그리고 그 판단은, 정말로 공정한가?
AI는 인간 교사가 감당하기 어려운 양의 과제를 빠르고 일관되게 처리할 수 있다. 특히 대규모 수업이나 온라인 강의에서 AI 채점은 ‘구조적 구세주’로 받아들여진다. 한 번의 클릭으로 에세이 수백 편을 분석하고, 문법·논리·구조별 점수를 제시한다. 이러한 효율성은 평가의 오랜 난제를 해결해주는 듯 보인다. 심리측정학의 세계에서 ‘채점자 간 불일치’는 늘 문제였다. 교사마다 기준이 다르고, 피로와 주관이 개입된다. AI는 이 불확실성을 제거할 수 있는 대안으로 등장했다. 인간의 편견 대신 수학적 일관성을 제공하고, 주관 대신 통계적 패턴을 따르는 기계적 공정성이 강조된다. 하지만 교육의 세계에서 ‘일관성’은 곧 ‘진실성’을 의미하지 않는다. AI가 반복 가능한 결과를 내놓는다고 해서, 그것이 인간의 학습을 정확히 반영하는 것은 아니다.
심리측정학의 잣대로 본 AI 채점의 한계
하버드대 연구자 맥스 루(Max Lu)는 최근 「Rethinking student assessment in the age of AI」에서 이렇게 묻는다. “ChatGPT가 4점을 주고, Gemini가 같은 답안에 4점을 주며, Claude가 5점을 줄 때, 학생의 실제 점수는 몇 점인가?” 이 질문은 교육평가의 핵심을 찌른다. 신뢰도(reliability)와 타당도(validity), 즉 평가가 일관되게 작동하는가와 평가가 측정하려는 것을 실제로 측정하는가의 문제다. AI는 놀라운 계산 능력을 지녔지만, 바로 이 두 기준에서 심각한 불안정을 보인다. 대형 언어모델은 본질적으로 비결정적(non-deterministic)이다. 같은 답안을 두 번 채점해도, 그 결과가 매번 달라질 수 있다. 이는 모델의 내부 확률 계산과 학습 데이터 분포에 기인한다. 인간의 주관적 편향을 제거하려다, 오히려 불확정성과 불투명성이라는 새로운 편향을 만들어낸 셈이다.
AI 채점의 문제는 단순한 기술적 오류가 아니다. 그것은 사회적 구조의 불평등을 기술이 재현하는 방식과 맞닿아 있다. 예를 들어, 영어 작문 평가에서 일부 모델은 특정 문체나 논리 구조에 높은 점수를 주도록 훈련되어 있다. 서구적 논증 구조를 따르는 문장은 ‘논리적’으로 평가받지만, 다른 문화적 표현 방식은 ‘비논리적’으로 감점된다. 다시 말해, AI의 기준은 중립적이지 않다. 그것은 특정 언어와 문화, 그리고 데이터의 지배구조를 반영한다. 결과적으로 AI는 새로운 형태의 차별을 만든다. 특정 모델로 평가받는 학생이 더 ‘유리한’ 점수를 받을 수 있고, 같은 내용이라도 다른 언어모델로 평가되면 점수가 달라진다. 이것은 단순히 채점 방식의 문제를 넘어, 교육의 공정성 자체를 흔드는 구조적 위험이다.
‘AI의 공정성’이라는 착시
AI 평가를 옹호하는 쪽은 흔히 이렇게 말한다. “기계는 감정이 없으니 더 공정하다.” 하지만 공정성은 감정의 부재가 아니라, 판단 기준의 투명성에서 비롯된다. AI의 학습 데이터와 알고리즘 구조는 대부분 기업의 독점 자산이다. 즉, 학생들은 자신이 어떤 기준으로 평가받았는지를 알 수 없고, 이의 제기도 불가능하다. 과거 인간 교사의 채점이 불완전했더라도, 적어도 교사는 자신의 판단을 설명할 수 있었다. AI는 설명하지 않는다. ‘왜 이 점수인가’라는 질문 앞에서 침묵하는 평가자가 된 것이다. 이 침묵은 교육의 신뢰를 잠식한다. 교사는 더 이상 평가의 주체가 아니고, 학생은 학습의 의미를 스스로 확인할 수 없다. 교육의 핵심인 피드백의 순환 구조가 사라지는 것이다.
AI가 채점하고, 교사는 결과만 확인하는 구조에서는 책임의 주체가 모호해진다. 평가 오류가 발생했을 때, 누구의 잘못으로 돌려야 할까? 시스템의 버그인가, 교사의 감독 소홀인가? 이 모호성은 평가의 법적·윤리적 문제로 이어진다. 실제로 미국과 영국에서는 AI 기반 채점 결과에 불복한 학생들의 항의가 잇따르고 있다. “인공지능이 내 점수를 결정했다”는 호소는 단순한 감정 표현이 아니라, 책임의 주체가 사라진 평가체계에 대한 사회적 경고다.
교육평가에서 기술의 목표는 인간의 판단을 대체하는 것이 아니라, 판단의 근거를 더 투명하게 만드는 것이어야 한다. AI가 도입되어야 할 곳은 채점의 전면이 아니라, 채점 과정의 보조선이다. 예를 들어, AI는 인간 채점자의 일관성을 감시하는 ‘보정 도구’로서 작동할 수 있다. 특정 답안의 점수가 평균과 과도하게 다를 때 경고를 띄우거나, 채점자 간 차이를 통계적으로 분석하는 데 활용될 수 있다. 이 경우 AI는 평가의 주체가 아니라 평가 공정성을 감시하는 메타평가자가 된다.
AI 평가의 현실 – 효율과 윤리 사이의 긴장
대학 현장에서는 이미 이러한 긴장이 나타난다. 일부 대학은 AI 기반 에세이 평가 시스템을 시험적으로 도입했지만, 결과의 불일치와 불신으로 인해 다시 철회했다. 반면 다른 대학은 AI 피드백을 수업 보조도구로 활용하며 ‘학습의 촉진자’로 자리매김하고 있다. 이 두 사례의 차이는 기술이 아니라 철학이다. 전자는 효율을 위해 인간을 대체했고, 후자는 학습의 질을 높이기 위해 인간과 협력했다.
학술지의 논문 심사 과정에서도 비슷한 현상이 나타난다. 일부 저널은 심사자의 피로를 줄이기 위해 AI에게 심사평 초안을 작성하게 한다. 그러나 이 과정에서도 AI가 어떤 논문에 호의적이고, 어떤 주제를 낮게 평가하는지 알 수 없다. 특정 연구자 집단의 글쓰기 스타일이나 학문적 용어가 데이터에 더 자주 노출되어 있다면, AI는 그들을 ‘더 전문적’으로 인식할 가능성이 높다. 결국 학문적 공정성마저 알고리즘의 편향에 의해 흔들릴 수 있다.
AI가 평가의 모든 문제를 해결해줄 것이라는 기대는, 교육을 ‘데이터 입력-출력의 체계’로 오해한 결과다. 평가란 점수를 매기는 행위가 아니라, 학습의 방향을 제시하는 대화다. AI는 정보를 계산하지만, 학생의 맥락을 읽지 못한다. 학습의 동기, 성장의 궤적, 시도의 흔적은 점수로 환산되지 않는다. 평가의 본질이 이해와 해석에 있다면, 그것은 여전히 인간의 언어로만 가능하다.
AI와 인간의 협력 모델을 설계하라
AI가 평가에 참여할 수 있는 길은 단 하나다. 인간의 해석을 확장하는 조력자로서의 역할이다. AI가 초안을 만들고, 교사가 그 결과를 검토해 해석의 근거를 추가하는 방식은 교육의 새로운 가능성을 연다. 이 협력 모델은 이미 일부 대학에서 실험되고 있다. 교수는 AI가 제시한 평가 이유를 바탕으로 학생과 피드백 대화를 나눈다. 이때 AI는 판단자가 아니라, 질문을 던지는 파트너가 된다.
인공지능 시대의 평가 혁신은 기술의 진보가 아니라, 책임의 복원에서 시작되어야 한다. 우리가 AI에게 맡겨야 할 것은 ‘점수 산출’이 아니라 ‘판단의 과정’이다. AI가 제시한 결과를 인간이 해석하고, 그 근거를 공개하며, 오류를 함께 수정하는 체계야말로 진정한 공정성을 확보하는 길이다. 효율을 위해 속도를 높이는 것보다, 신뢰를 위해 기준을 다시 세우는 일이 더 시급하다.
#AI평가 #공정성 #교육불평등 #LLM #대학평가 #심리측정 #ChatGPT #교육정책
답글 남기기