메모하며 글을 쓰는 모습. 회사는 검사 결과를 증거가 아닌 확률 신호로 안내한다.
AI 글 검사기를 둘러싼 가장 큰 불안은 점수 하나가 한 사람의 글, 나아가 그 사람의 성실함까지 재단하는 근거로 쓰일 수 있다는 데 있다. 생성형 AI가 글쓰기 곳곳에 스며들면서 대학과 기업이 제출물을 확인하기 시작했고, 검사기가 내놓는 숫자의 무게도 그만큼 커졌다.
이런 흐름 속에서 서울 마포구의 주식회사 에이디엑스스튜디오가 운영하는 한국어 AI 글 검사기 AI킬러는 2일 서비스 현황을 알리며 자신들의 운영 원칙을 함께 내세웠다. 검사 결과는 증거가 아니라 확률 신호이며, 검증을 마치지 않은 숫자는 아예 보여 주지 않는다는 것이 골자다.
2026년 9월 문을 연 이 서비스는 두 달 만에 누적 검사 8만 8천 건을 넘겼다고 밝혔다. 정작 눈여겨볼 대목은 회사가 내놓은 숫자의 종류다. 검사 건수와 가입자 수는 공개했지만, 검사기의 성능을 가늠할 때 많은 이가 먼저 떠올리는 정확도 수치는 이번 발표에 들어 있지 않았다.
숫자를 앞세우기보다 숫자를 내놓는 기준을 먼저 밝힌 셈인데, 이는 검사기라는 도구의 성격을 어떻게 보느냐와 맞닿아 있다.
결과를 판정으로 볼지 신호로 볼지에 따라 같은 점수도 전혀 다른 의미를 갖기 때문이다. 그 차이를 짚어 보면 이번에 밝힌 원칙이 단순한 안내 문구 이상의 무게를 갖는다는 점이 드러난다.
■ 점수는 판결문이 아니라 신호다
회사는 검사 결과를 증거가 아닌 확률 신호로 안내한다. 0~30점이면 사람이 쓴 글에 가깝고 30~70점은 혼합, 70~100점은 AI가 쓴 글에 가깝다고 읽으라는 것인데, 여기서 핵심은 '가깝다'는 표현이다. 어느 구간에 들었다고 해서 그 글이 쓰인 경위가 확정되는 것은 아니라는 뜻이다.
이 구분은 검사기를 쓰는 쪽의 태도를 바꾼다. 결과를 판결문처럼 받아들이면 70점을 넘긴 글은 곧 AI 글이 되고 작성자는 해명해야 하는 처지에 놓인다. 반면 신호로 받아들이면 그 점수는 어느 문장을 다시 읽어 볼지 알려 주는 안내에 그치고, 판단의 몫은 여전히 글을 읽는 사람에게 남는다.
점수 구간을 셋으로 나눈 방식에도 이런 태도가 묻어난다. 30~70점을 혼합으로 따로 둔 것은 사람의 문장과 AI의 흔적이 한 글 안에 섞여 있을 수 있다는 현실을 인정한 설계로, 모든 글을 둘 중 하나로 단정하지 않겠다는 뜻으로 읽힌다.
점수보다 하이라이트를 더 중요한 정보로 안내하는 것도 같은 맥락이다. 문서 전체의 숫자는 요약에 지나지 않고, 실제로 쓸모 있는 정보는 어떤 문장이 AI 신호를 보였는지에 있다는 입장이다. 숫자 하나에 매달리기보다 표시된 문장을 읽게 만드는 화면 구성이 원칙을 뒷받침하고 있다.
같은 글은 언제 넣어도 같은 점수가 나오도록 설계했다는 점도 신호로서의 신뢰를 떠받친다. 검사할 때마다 점수가 흔들린다면 그 숫자는 신호라기보다 잡음에 가깝다. 고친 뒤 다시 검사했을 때 달라진 점수가 수정의 효과를 그대로 보여 줘야, 이용자도 결과를 근거 삼아 글을 손볼 수 있다.
■ 오탐 가능성을 결과 화면에 적는다는 것
AI킬러는 사람이 쓴 글이 AI로 표시될 수 있다는 오탐 가능성을 결과 화면에서 함께 밝힌다. 검사기가 스스로의 한계를 결과 바로 옆에 적어 두는 방식이다. 이용자는 점수를 확인하는 바로 그 자리에서 이 판정이 틀릴 수도 있다는 사실을 함께 마주하게 된다.
이 안내가 특히 무게를 갖는 곳은 자기소개서다.
지원자 본인이 직접 쓴 글이라도 격식을 갖춘 문체 탓에 AI 글로 몰리는 일이 잦다는 점은 회사가 이번 발표에서 직접 짚은 문제이기도 하다. 그런 글을 쓴 사람에게 오탐 가능성 안내는 결과를 지나치게 무겁게 받아들이지 않도록 붙잡아 주는 장치가 된다.
결과 화면의 오탐 안내는 그 결과를 전해 받는 다른 사람에게도 의미가 있다. 지원자가 미리 점검한 결과든 기관이 확인한 결과든, 화면에 함께 적힌 한계를 읽은 사람이라면 점수만 보고 성급하게 결론을 내리기 어렵다. 점수가 여러 사람의 손을 오가는 동안에도 그 한계가 함께 따라다니는 셈이다.
오탐을 화면에 적는 일과 오탐을 줄이려는 노력은 서로 떨어져 있지 않다. 회사는 영어로 학습한 모델을 한국어에 옮겨 쓰는 대신 한국어 자기소개서와 격식체 글로 자체 모델을 학습시켰고, 공들여 쓴 글이 억울하게 판정받는 일을 줄이는 데서 설계를 시작했다고 설명한다.
어미와 조사가 끝없이 바뀌고 격식을 차린 문장과 말하듯 쓴 문장의 거리가 먼 한국어에서는, 영어 기준을 그대로 들여온 판정이 엉뚱하게 빗나가기 쉽다는 것이 회사의 진단이다. 오탐을 줄이는 작업이 곧 한국어에 맞는 판정을 만드는 작업이었던 셈이다.
줄이려 애쓰되 남은 가능성은 감추지 않는 것, 이 두 가지가 함께 있어야 확률 신호라는 말이 빈말이 되지 않는다. 오탐 가능성을 결과 옆에 적어 두는 검사기는 결과를 받아 드는 사람에게 판단의 여지를 남긴다는 점에서, 숫자만 내미는 방식보다 한결 정직한 도구라고 할 수 있다.
■ 검증 전 숫자는 보여 주지 않는다
운영 원칙 가운데 가장 눈에 띄는 것은 숫자를 다루는 방식이다. 회사는 검사 건수와 정확도를 실측값으로만 표시하고, 검증이 끝나지 않은 숫자는 아예 내보이지 않는다고 밝혔다. 서비스를 알려야 하는 처지에서 큰 숫자를 내걸고 싶은 유혹을 스스로 막아 둔 셈이다.
이번에 공개한 누적 검사 8만 8천 건과 가입자 4,400명, 하루 평균 약 1,400건이라는 숫자도 이 기준 아래에서 나왔다. 정확도 수치는 발표 내용에 넣지 않았다는 점에서, 회사가 말한 원칙과 실제 발표가 같은 방향을 가리키고 있다.
검증 전 숫자를 보여 주지 않는다는 것은 바꿔 말하면, 화면에 오르는 숫자는 실제로 측정을 거친 것이라는 약속이기도 하다. 이용자로서는 서비스가 내놓는 수치를 홍보 문구가 아닌 측정 결과로 읽을 근거가 생긴다. 숫자가 작더라도 믿을 수 있는 숫자만 내놓겠다는 선택이다.
AI킬러 측은 "한국어에 맞는 판정, 문장 단위 근거, 그리고 숫자를 부풀리지 않는 운영을 기준으로 삼고 있다"고 말했다. 판정이 얼마나 정확한가만큼이나 그 판정과 서비스를 어떻게 소개하느냐도 서비스의 일부라는 인식이 담긴 말이다.
숫자를 부풀리지 않는다는 원칙은 이용자에게도 실질적인 의미가 있다. 검사기가 스스로의 성능을 과장하면 이용자는 결과를 실제보다 무겁게 받아들이게 되고, 그 무게는 결국 글을 쓴 사람에게 돌아간다. 검증된 숫자만 내놓는 태도는 결과를 알맞은 무게로 읽게 하는 출발점이다.
■ 원칙이 이용자에게 남기는 것
이런 원칙은 검사기를 쓰는 순서에도 영향을 준다. 결과를 확률 신호로 받아들이는 이용자는 점수를 확인한 뒤 하이라이트된 문장을 읽고, 소감형 마무리나 습관적인 연결어처럼 안내된 문장 습관을 고친 다음, 다시 검사해 점수 변화를 확인하는 흐름을 밟게 된다.
AI킬러의 유료 기능 '정밀분석'도 이 원칙의 연장선에 있다. 어떤 문장이 왜 AI 신호를 보였는지 문장별 점수와 판단 근거를 보여 주는 리포트여서, 이용자는 점수가 나온 이유를 확인하고 그 문장을 직접 고칠지 스스로 판단할 수 있다.
표현을 손보는 '자소서 다듬기' 역시 원문이 이미 30점 미만이면 손대지 않고 이용권도 차감하지 않는다. 고칠 필요가 없는 글에 수정을 권하지 않는 이 방식도, 점수를 낮추는 일 자체가 목적이 아니라는 태도와 이어진다. 필요한 이용권 회수도 글을 넣는 단계에서 미리 보여 준다.
입력한 원문을 결과를 만드는 데에만 쓰고 저장하지 않는다는 방침도 같은 결의 원칙이다. 제출을 앞둔 글을 맡기는 이용자에게는 결과를 어떻게 해석할지만큼이나 내 글이 어떻게 다뤄지는지가 중요하다. 검사는 로그인 없이 하루 3회, 로그인하면 횟수 제한 없이 무료로 쓸 수 있다.
회사 측의 다른 발언도 같은 방향을 가리킨다. AI킬러 측은 "AI 검사기는 사람을 가려내는 도구가 아니라 제출 전에 자기 글을 다시 읽게 하는 도구여야 한다"고 강조했다. 검사기의 쓸모를 적발이 아니라 자기 점검에 두겠다는 선언으로 읽힌다.
새 생성형 AI 모델은 앞으로도 계속 나올 것이고, 회사는 그때마다 학습 데이터를 보강해 판정 모델을 갱신하겠다고 밝혔다. 모델이 바뀌더라도 결과를 신호로 다루고 숫자를 부풀리지 않는다는 원칙이 지켜진다면, 이용자는 점수의 크기보다 그 점수가 무엇을 뜻하는지를 먼저 묻게 될 것이다.
AI킬러는 웹사이트(aikiller.app)에서 따로 설치하지 않고 이용할 수 있다. 점수 옆에 오탐 가능성을 적고, 검증된 숫자만 내놓으며, 문장 단위 근거를 보여 준다는 세 가지가 이 서비스가 내세운 운영 원칙을 이용자가 직접 확인할 수 있는 대목이다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}