KAIST 김민수 교수팀, AI 데이터 검색 오류 틀린 부분만 고치는 ‘세이프큐엘’ 개발

BIRD 벤치마크에서 실행 오류 최대 87.4% 해결… 토큰 사용량 15.1배·수정 시간 29.6배 절감

“지난해 가장 많이 팔린 상품을 찾아줘.” 인공지능(AI)이 회사 자료를 찾는 과정에서 존재하지 않는 항목을 잘못 사용하면 검색이 실패할 수 있다. 지금까지는 작은 오류 하나에도 검색 명령 전체를 다시 만들어야 했지만, KAIST 연구진이 틀린 부분만 찾아 바로잡는 기술을 개발했다.

KAIST(총장 배충식)는 전산학부 김민수 교수 연구팀이 사람의 일상적인 질문을 데이터베이스에서 원하는 정보를 찾는 컴퓨터 명령어인 SQL로 바꾸는 과정에서 발생하는 오류를 찾아 수정하는 기술 ‘세이프큐엘(SafeQL)’을 개발했다고 4일 밝혔다.

최근에는 “지난해 매출이 가장 많이 늘어난 상품은?”, “재고가 부족한 상품은?”처럼 일상적인 말로 질문하면 AI가 이를 SQL로 바꿔 회사의 매출·고객·재고 자료를 찾아주는 ‘Text-to-SQL’ 기술이 활용되고 있다. 복잡한 컴퓨터 명령어를 몰라도 말이나 글로 질문해 필요한 데이터를 찾을 수 있게 해주는 기술이다. 문제는 AI가 검색 명령을 만들면서 데이터베이스에 실제로 없는 테이블이나 항목의 이름을 잘못 사용하거나 자료를 잘못 연결하는 등의 실수를 할 수 있다는 점이다. 이 경우 SQL이 실행되지 않아 AI가 필요한 데이터를 가져오지 못한다.

기존에는 이런 작은 오류 하나에도 오류 내용을 대형언어모델(LLM)에 다시 보내 검색 명령 전체를 새로 만들게 했다. 보고서에서 단어 하나가 틀렸다는 이유로 문서 전체를 다시 쓰는 것과 비슷한 방식으로, 이미 맞았던 부분까지 달라지거나 새로운 오류가 생길 수 있고 AI를 반복해서 사용하는 만큼 비용과 시간도 늘어난다.

SafeQL은 AI에게 검색 명령 전체를 다시 만들게 하는 대신, 데이터베이스가 알려주는 오류와 실제 저장된 정보를 이용해 어디가 잘못됐는지 찾아 해당 부분만 고친다. 존재하지 않는 테이블이나 항목을 사용했는지 확인하고, 빠진 자료의 연결이나 잘못 사용한 함수·검색값 등도 찾아 수정한다.

연구팀은 이를 위해 데이터베이스에서 실제로 실행할 수 있는 여러 수정안 가운데 원래 AI가 만든 명령과 가장 가까운 답부터 찾아가는 ‘안전 질의 공간(Safe Query Space)’ 방식을 설계했다. 가능한 수정안을 모두 확인하는 대신 제대로 작동할 가능성이 높은 답부터 골라 확인하는 방식으로, 맞지 않는 후보를 미리 제외해 수정에 필요한 시간도 줄였다. 연구팀은 유한한 단계 안에 반드시 실행 가능한 SQL에 도달함을 수학적으로 증명했다.

또한 SafeQL을 세계적으로 널리 사용되는 공개형 데이터베이스 관리 프로그램인 PostgreSQL 내부에 구현해 복잡한 명령에서도 오류가 발생한 위치를 정확하게 찾도록 했다. 반복적으로 필요한 의미 유사도 계산은 임베딩 캐시와 벡터 인덱스로 효율화했고, 틀린 부분만 고쳐서는 해결하기 어려운 경우에만 LLM을 다시 사용하도록 해 불필요한 AI 사용도 줄였다.

연구팀은 전 세계 연구자들이 AI의 데이터베이스 검색 능력을 비교하는 데 널리 사용하는 BIRD와 Spider 벤치마크를 통해 SafeQL의 성능을 검증했다.

BIRD 벤치마크 평가에서 SafeQL은 AI가 처음 만든 SQL의 실행 오류를 최대 87.4% 해결했으며, 원하는 답을 정확하게 찾아내는 실행 정확도도 기존 최고 기술보다 최대 5.8%포인트 높였다. 검색 명령 전체를 AI에게 다시 만들게 하는 기존 방식과 비교하면 토큰 사용량은 최대 15.1배 줄이고 오류 수정 시간은 최대 29.6배 단축했다. Spider 벤치마크에서도 91.7%의 실행 정확도를 기록했고, 기존 기술 대비 토큰 사용량은 최대 96.5배, 수정 시간은 최대 34.5배 줄이는 등 서로 다른 Text-to-SQL 환경에서도 성능과 효율성을 확인했다.

SafeQL은 많은 데이터 요청을 처리하는 기업에서 특히 유용할 것으로 기대된다. AI가 매출·고객·재고 등 사내 데이터를 찾는 과정에서 오류가 발생해도 검색 명령 전체를 다시 만들지 않고 잘못된 부분만 빠르게 수정할 수 있기 때문이다. 이를 통해 AI 운영에 필요한 비용과 시간을 줄이고, 기업 데이터를 보다 정확하고 안정적으로 활용하는 ‘AI 에이전트’ 기반 업무 자동화를 앞당길 수 있을 것으로 연구팀은 보고 있다.

김민수 교수는 “기업에서 AI가 실제 업무를 맡으려면 필요한 데이터를 정확하게 찾는 것이 중요하다”며 “SafeQL은 AI가 검색 과정에서 실수하더라도 처음부터 다시 하는 대신 틀린 부분만 바로잡아 오류와 비용, 시간을 함께 줄이는 기술로, 신뢰할 수 있는 AI 업무 자동화를 앞당길 것으로 기대한다”고 말했다.

이번 연구에는 KAIST 전산학부 이건호 연구원이 제1저자로 참여했으며 김민수 교수가 교신저자를 맡았다. 연구 결과는 9월 1일부터 5일까지 미국 보스턴에서 열리는 데이터베이스 분야 국제학술대회 VLDB(International Conference on Very Large Data Bases)에서 발표될 예정이다. 이번 연구는 과학기술정보통신부의 지원을 받은 한국연구재단(NRF)과 정보통신기획평가원(IITP)의 SW스타랩 사업 지원을 받아 수행됐다.

#KAIST #세이프큐엘 #Text-to-SQL #김민수교수 #VLDB