얼마 전 한 공인노무사가 부당해고 구제 심판 과정에서 AI를 활용해 답변서를 냈다가, 존재하지 않는 판례를 인용한 사실이 언론에 보도되었습니다.
회사 측 논리를 뒷받침하기 위해 AI와 인터넷을 통해 판례를 찾는 과정에서, 인공지능이 만든 '환각' 판결문을 진위 여부 확인 없이 답변서에 그대로 기재한 것입니다.
당시 사건을 담당했던 지방노동위원회 역시 해당 판례가 허위라는 사실을 인지하지 못했으나, 반대편 당사자인 신청인이 허위를 발견하여 정정할 수 있었습니다.
이 사례는 검색 AI 에이전트의 편의성이 커질수록, 검증 없는 인용이 얼마나 쉽게 발생하는지를 보여줍니다.
검색 AI 에이전트는 검색 시간을 획기적으로 단축합니다. 규정 중심 업무를 수행하는 변호사, 회계사, 세무사, 노무사 등 전문 직종에서는 검색 AI 에이전트가 주니어의 리서치 기능을 상당 부분 대체할 수 있는 유용한 도구가 되었습니다.
하지만 검색 속도와 편의성만큼이나 환각 현상에 대한 통제가 필수입니다. 환각 현상은 전문가에게 절대 용납될 수 없는 오류를 발생시키기 때문입니다.
환각 현상(Hallucination)이란 대형언어모델(Large Language Model)이 실제로 존재하지 않거나 부정확한 정보를, 마치 사실인 것처럼 자신있게 생성하는 현상을 말합니다.
환각의 문제는 인공지능이 사전 학습(Pre-training)한 데이터가 제한적이거나 질문에 대해 가장 그럴듯한 답변을 생성하는 과정에서 AI의 과도한 자신감으로 인해 발생합니다. 또한, 사전 학습 단계에서 인간의 선호에 최적화되도록 AI를 훈련하는 것도 그 원인이 됩니다. 아첨 현상이라고 불립니다.
환각 현상이 전문가에게 치명적이라고 해서 AI 사용 자체를 회피할 수는 없습니다. 환각을 이유로 생성형 AI 활용을 꺼린다면, 생산성과 창의성을 발휘할 기회가 제한될 수 있기 때문입니다. 좀더 긍정적인 접근이 필요합니다.
한편, 환각 현상을 단순히 오류나 결함으로 보지 않고 창의성과 연결되는 AI의 고유한 특성으로 이해하는 긍정적 견해가 있습니다. 생성형(generative) AI이므로 환각은 근본적으로 AI의 생성 능력에서 비롯되며, 창의성을 발휘하는 데서 오는 부산물 정도로 여깁니다.
요점은 간단합니다. 환각을 없애려 하기보다, '줄이고 통제하는 체계'를 갖추는 것이 실무적으로 중요합니다.
첫째, 최신 개정세법을 활용하여 맞춤형 AI 챗봇을 만듭니다. 맞춤형 AI 챗봇이란 사용자의 특정 요구나 목적에 맞게 기능과 데이터를 최적화한 인공지능 기반의 대화형 소프트웨어를 말합니다.
가장 최신의 개정세법을 맞춤형 AI 챗봇의 지식 데이터베이스에 주기적으로 업데이트하거나, 외부 API를 이용해 개정세법을 반영할 수 있습니다.
둘째, 최신의 AI 웹브라우저를 활용하는 방법입니다. AI 웹브라우저란 웹브라우저 자체에 AI가 내장되어 있는 것을 말합니다. 검색할 데이터베이스가 있는 인터넷 사이트에 접속한 후 화면을 분할하여 어시스턴트 패널을 통해 AI 검색에이전트를 직접 실행하여 해당 사이트를 검색하는 방식입니다.
예를 들어 퍼플렉시티(perplexity)에서 출시한 코멧(comet) 웹 브라우저를 사용하면 국세청 국세법령정보시스템의 예규 전체를 대상으로 직접 질의하여 최신 예규까지 검색할 수 있습니다. 이런 접근은 '대상 범위가 명확한 원문 검색'이므로, 일반 웹 검색 대비 환각 위험을 낮추는 데 도움이 됩니다.
셋째, AI 챗봇이 제공하는 답변에 출처를 명시하도록 프롬프트를 설계합니다. 사용자는 출처를 통해 잘못된 정보를 쉽게 식별할 수있고 답변의 신뢰성을 검증할 수 있습니다.
출처 제시는 단순히 신뢰성을 높이는 수준을 넘어, 생성형 AI가 제공하는 답변의 정확성, 객관성, 투명성을 확보하는 데 필수적입니다. 특히 세무 업무처럼 정확한 법령, 예규, 판례 등의 인용이 중요한 분야에서는 출처 표기가 더욱 필요합니다.
그리고, 내부 데이터베이스를 사용하는 맞춤형 AI 챗봇의 경우 "문서에서 답을 찾을 수 없는 경우 '정보 부족'이라고 답해줘"라는 프롬프트를 추가하면 환각 현상을 방지하고 답변의 신뢰성을 높일 수 있습니다.
외부 검색을 허용한다면 유사 내용을 찾아 답을 구성할 수 있지만, 내부 데이터베이스로 범위를 제한하면 정보 부족 상황에서 환각에 빠질 가능성이 커집니다. 따라서 정보 공백을 만났을 때의 반응 규칙을 미리 지정해 두는 것이 바람직합니다.
넷째, 일반 모델 보다 높은 추론 과정을 수행하는 모델이나 기능을 사용합니다. 순차적 사고(Chain of Thought)나 추론(Reasoning) 모델에서는 사용자의 질문을 여러 단계로 나누어 접근할 뿐 아니라 자체 오류 검증 과정을 수행하여 이전 단계로 돌아가 재검토할 수 있습니다.
순차적 사고란 대형언어모델(LLM)이 복잡한 문제를 해결할 때 논리적 사고 과정을 단계적으로 표현하여 최종 답변에 도달하도록 유도하는 프롬프트 기법을 말하며, 추론 모델이란 단순한 패턴 인식을 넘어 정보를 분석하고 논리적으로 사고하는 능력을 갖춘 AI 모델입니다.
최신 모델에서는 이러한 오류 검증 과정을 통해 환각 현상의 대다수를 제거할 수 있습니다. 따라서, 최신의 고급 모델, 비싼 모델을 사용하는 것을 추천합니다.
마지막으로, 최종적 검토는 세무대리인의 몫입니다. 아직까지 AI 챗봇은 전문가를 대체하는 것이 아니라 보조하는 도구로 사용되어야 합니다.
2~3년 차의 주니어에게 일을 맡기더라도 상급자가 최종 검수를 수행하듯, AI 에이전트가 수행한 리서치·초안·인용 역시 동일한 검증 절차를 거쳐야 합니다. 사용자가 AI 답변을 직접 검토하고, 필요한 경우 AI와 세무대리인이 협의하는 과정을 갖추면, AI를 보다 안전하고 효율적으로 활용할 수 있습니다.
☞최문진 회계사는?
서울대 경영학과를 졸업하고, 한국 및 미국 공인회계사 자격을 보유하고 있다. 기획재정부 국세예규심사위원회 민간위원을 맡고 있으며, 조세특례 분야의 이론과 실무를 친절하게 담은 필독서 '조세특례제한법 해석과 사례'를 2014년부터 매년 집필하고 있다.
