필자는 수년 동안 택스넷과 한국공인회계사회에서 일반 기업체와 세무 대리인을 상대로 세무 상담을 진행해 왔습니다. 과거에는 택스넷, 삼일인포마인 등 조세포털에서 질의 내용에 가장 적합한 예규 판례를 찾기 위해 적게는 10분, 많게는 1시간 이상 씨름했었습니다.
하지만, 작년 가을부터 Perplexity Pro(이하 '퍼플렉시티')를 사용하고 나서부터는 세무 상담을 위한 목적으로 더 이상 조세포탈에서 예규·판례를 먼저 검색하지 않게 되었습니다. AI를 활용하면 보통 5분, 길어도 15분 이내에 세무 상담을 마치고 있습니다. 엄청난 시간 단축이라 할 수 있습니다.
그리고, 답변의 품질도 예전보다 더 좋아졌음을 느낍니다. 질의가 들어오면 네다섯 개 정도의 챗봇을 활용하는데, 마치 여러 명의 주니어 스탭에게 기초 리서치를 의뢰한 효과를 얻을 수 있습니다. 거기에 AI와 상호 검증이 이루어져서 쟁점에서 벗어나는 경우도 훨씬 줄어들게 되었습니다.
세무 상담에 AI를 활용하기 위해서는 AI 챗봇이 필요하므로 AI 챗봇의 종류를 먼저 살펴보겠습니다. 이러한 분류는, 세무 상담의 결과가 크게 달라질 수 있는 요인을 기준으로 한 분류임을 밝힙니다.
첫 번째, LLM(Large Language Model)입니다. 기초 모델(Foundation Model)이라고도 부르며, ChatGPT 4o, Claude가 대표적인 모델입니다. 방대한 양의 데이터를 사전 학습(Pre-training)한 후, 번역, 요약 등 다양한 응용 작업에 적용할 수 있는 범용성을 가지고 있습니다.
Large Language Model이라는 이름에서 알 수 있듯이, 쉽게 말해 '빅마우스'입니다. 한국어로 표현하자면 긍정적으로 달변가, 부정적으로는 수다쟁이라고 볼 수 있겠습니다.
그러나, LLM은 최근 예규·판례를 검색하지 않고 훈련 당시의 과거 데이터만을 기반으로 답변하기 때문에, 최근 예규·판례를 반영해야 하는 세무 상담에는 적합하지 않습니다. 또한, 세무 등 특정 분야의 전문지식도 부족하기 때문에, 실제 사용 빈도는 낮은 편입니다.
두 번째, AI 기반의 대화형 검색 엔진(이하 'AI 검색')입니다. 퍼플렉시티와 ChatGPT 4o search(이하 '서치GPT')가 대표적입니다. AI 검색이란 인공지능 기술을 활용하여 사용자의 질문을 이해하고, 온라인에서 실시간으로 정보를 수집하여 LLM을 활용하여 요약된 답변을 제공하는 고급 검색시스템입니다.
가장 큰 특징은 LLM을 기반으로 하되 실시간 정보를 반영하며, 출처를 제공하여 환각 현상(Hallucination) 여부를 쉽게 검증할 수 있다는 점입니다. 답변 중에서 의심 가는 부분에 한하여, 해당 출처를 클릭하여 그 부분만 검증하는 방식입니다. 따라서, AI 검색에서는 시간이 매우 크게 감소합니다. 종종 상황에 꼭 들어맞는 예규 번호까지 제시하는 횡재도 발생합니다.
위에서 보았던 달변가(또는 수다쟁이)가 오픈북으로 시험을 친다고 생각하시면 됩니다. 오픈북이다 보니 더 정확하고 최신의 정보를 반영한 답변이 가능합니다.
AI 검색의 워크플로우를 보자면, 법규 정보 검색, 예규 확인, 정리 등 실제 세무 대리인의 워크플로우와도 매우 유사합니다.
필자는 AI 검색을 많이 활용하며 그중에서도 퍼플렉시티를 특히 선호합니다. 퍼플렉시티는 생각의 사슬(Chain-of-thought)이 작동되어 여러 단계들을 거쳐서 답변을 만들어 가는 과정을 보여주며, 실제 AI의 작업수행 능력을 향상시켜 줍니다.
세 번째, 맞춤형 AI 챗봇입니다. ChatGPTs, ChatGPT의 프로젝트 기능, 퍼플렉시티의 공간(space) 기능, 클로드(Claude)의 프로젝트 기능이 있습니다.
맞춤형 AI 챗봇이란 LLM을 기반으로 사용자의 목적에 맞게 지침(instruction), 추가 지식, 다양한 기능을 조합하여 AI 챗봇을 구축할 수 있도록 합니다. 프롬프트로 지시문을 작성하고, 데이터 파일을 첨부하거나 작업 기능을 통해 외부 API를 연결합니다.
AI 검색이 오픈북 시험을 보는 것으로 비유된다면, 맞춤형 AI 챗봇은 기출문제가 있는 족보를 가지고 시험을 치르는 것으로 비교될 수 있습니다. 인터넷에서 블로그 등의 자료를 참고하기보다는, 세법 기본서나 예규·판례 모음집을 보고 답변을 생성하면 더욱 높은 정확성을 담보해 줄 수 있기 때문입니다.
맞춤형 AI 챗봇을 실제 사용할 때 가장 큰 제약은 추가 지식으로 업로드할 수 있는 파일의 최대 크기와 개수입니다. 개인적 경험으로는 ChatGPT의 프로젝트 기능, 퍼플렉시티의 공간(space)에는 조세특례제한법 기본서 2000페이지를 업로드할 수 있었습니다. 그래서, 맞춤형 AI 챗봇에서는 2개의 기능을 주로 사용합니다. 두 기능의 우위는 특정 상황에 따라 다르게 나타나므로, 필요에 따라 선택할 수 있습니다.
네 번째, 추론 모델입니다. ChatGPT o1이 선두입니다. ChatGPT o1도 사전 학습된 데이터에 한정되어 답변하지만, 상당한 시간 동안 추론 과정을 거쳐 응답합니다.
추론 과정에서는 복잡한 문제를 여러 작은 단계로 나누어 해결하는 '생각의 사슬(Chain-of-Thought)' 기법을 사용하며, 자체 오류 검증을 수행하여 필요한 경우 이전 단계로 돌아가 답변을 수정하는 방식으로 작동합니다.
추론 모델은 달변가가 사유의 깊은 골짜기를 지나 사색가(思索家) 또는 철인(哲人)이 된 것으로 비유해 보겠습니다. 세무 상담시 모든 사안에 대해 예규나 판례가 존재하는 것은 아니므로, 단계별로 논리와 근거를 제시하는 추론 모델이 큰 도움이 되는 경우가 많습니다.
종합해 보자면, 필자가 조세특례제한법 사례를 상담할 때 사용하는 모델은, AI 검색인 퍼플렉시티와 서치GPT, 맞춤형 AI 챗봇인 ChatGPT의 프로젝트와 퍼플렉시티의 공간(space) 기능, 마지막으로 추론 모델인 ChatGPT o1 등 5가지 모델입니다. 챗GPT 구독료 월 20달러와 퍼플렉시티 구독료 월 20달러, 합하여 한화 월 6만원으로 주니어 스탭 5명을 고용할 수 있는 세상이 되었습니다.
다음 칼럼에서는 세무 상담 목적으로 맞춤형 AI 챗봇 만들기와 세무 상담에 필요한 프롬프트 엔지니어링(Prompt Engineering)에 대해서 순차적으로 알아보겠습니다.
☞최문진 회계사는?
서울대 경영학과를 졸업하고, 한국 및 미국 공인회계사 자격을 보유하고 있다. 기획재정부 국세예규심사위원회 민간위원을 맡고 있으며, 조세특례 분야의 이론과 실무를 친절하게 담은 필독서 '조세특례제한법 해석과 사례'를 2014년부터 매년 집필하고 있다.
