#. AI가 시장 상황을 분석한 뒤 "한 비거래처에서 원자재 500톤을 미리 사두는 것이 85% 확률로 최적"이라고 제안했다. 경영진이 이 판단만 믿고 수십억원 규모의 발주를 결정했다가 문제가 생겼다면 책임은 누가 져야 할까.
이는 실제 기업 현장에서 충분히 벌어질 수 있는 상황이다.
AI가 사람보다 빠르게 날씨와 물류비, 환율 등 수많은 데이터를 분석해 최적의 선택지를 찾아낼 수 있기 때문이다.
지용구 더존비즈온 공동대표는 22일 서울 더존을지타워에서 열린 한국AI서비스학회 AI경영정보서비스분과 3분기 정기세미나에서 'AI와 거버넌스' 발표를 통해 "AI의 판단만 믿고 곧바로 발주해서는 안 된다"고 강조했다.
AI가 회사의 구매 예산이 충분한지, 해당 거래처가 내부 규정에 맞는 곳인지까지 모두 책임질 수는 없기 때문이다.
지 대표는 이를 '확률을 계산하는 AI, 규칙을 검증하는 시스템, 결단하는 인간'의 구조로 설명했다. 그는 "AI의 실행 능력이 커질수록 경영자는 위임의 범위와 검증 책임의 구조를 함께 설계해야 한다"고 강조했다.
AI가 똑똑해졌는데…왜 회사 일은 그대로일까
개인이 AI를 쓰는 것과 기업이 AI를 쓰는 것은 다르다.
개인은 챗GPT 등 생성형 AI가 틀린 답을 내놓으면 다시 질문하면 된다. 하지만 회사에서는 AI의 잘못된 판단 하나가 계약이나 구매, 회계처리 등 실제 업무로 이어질 수 있다. 잘못된 판단이 곧 금전적 손실이나 법적 책임으로 번질 수 있다는 의미다.
그래서 기업에는 AI가 어디까지 스스로 판단할 수 있는지, 언제 사람에게 보고하고 승인을 받아야 하는지, 결과는 누가 확인할 것인지에 대한 규칙이 필요하다. 이것이 지 대표가 강조한 'AI 거버넌스'다.
지 대표는 "직원에게 중요한 업무를 맡길 때도 어디까지 스스로 판단할 수 있는지, 언제 보고하고 승인을 받아야 하는지, 결과는 누가 확인할지를 정한다"며 "AI에게 일을 맡길수록 운영자의 책임은 더 구체적이어야 한다"고 말했다.
기업들이 AI를 도입하고도 기대만큼 성과를 내지 못하는 이유도 AI 모델 자체의 성능에만 있는 것은 아니라는 설명이다.
데이터가 정리돼 있지 않거나 서로 연결돼 있지 않고, AI가 참고해야 할 업무 지식과 회사 규정도 시스템화돼 있지 않은 상태에서 AI부터 들여오는 경우가 적지 않기 때문이다.
지 대표는 "데이터가 구조화돼 있지 않고 AI를 잘 사용할 수 있는 도메인 지식을 가진 사람이 없으며 거버넌스 체계도 없는 경우가 있다"며 이를 단순한 AI 도입의 '실패'로 볼 것이 아니라 AI를 활용하기 위해 조직이 준비해야 할 시간이 더 필요한 것으로 봐야 한다고 설명했다.
숫자 기록하는 DX, 숫자의 이유 찾는 AX
지 대표는 기존의 디지털전환(DX)과 AI전환(AX)의 차이도 구분했다.
기업의 ERP 등 기존 정보시스템은 기본적으로 '기록의 시스템'이다. 지난해 매출이 얼마였는지, 올해 매출이 얼마나 증가했는지처럼 이미 확정된 사실을 정확하게 기록하고 찾아내는 것이 중요하다.
예를 들어 지난해보다 매출이 16% 증가했다면 어느 직원이 시스템에 접속하더라도 같은 숫자가 나와야 한다. 지 대표는 이를 '결정론적 시스템'이라고 설명했다.
AI의 역할은 여기서 한 단계 더 나아간다.
매출은 늘었는데 이익이 줄었다면 AI는 재무제표뿐 아니라 거래명세서와 계약서, 담당자가 주고받은 문서 등 서로 다른 자료의 관계를 분석해 이익 감소 원인으로 추정되는 요인을 제시할 수 있다.
확정된 숫자를 보여주는 DX와 달리 AX는 여러 데이터의 관계를 토대로 가능성이 높은 답을 제시하는 '확률론적 시스템'이라는 설명이다.
예컨대 매출 규모가 가장 큰 거래처가 잦은 사양 변경과 반품을 요구했고, 이 때문에 생산비와 인건비 등이 늘어 수익성이 떨어졌다는 식의 관계를 찾아낼 수 있다.
다만 AI가 내놓는 것은 어디까지나 가능성이 높은 해석과 추천이다. 최종 결론 자체는 아니다.
지 대표는 "데이터가 의미 있게 관계적으로 연결돼 있어야 AI가 좋은 확률을 제시할 수 있다"며 "결정은 인간의 몫"이라고 말했다.
이 과정에서 ERP는 AI의 판단을 다시 검증하는 '방어막'이 된다.
AI가 원자재를 대량 선구매하는 것이 유리하다고 판단하더라도 ERP가 부서별 구매예산과 거래처 규정 등 이미 확정된 정보를 점검한다. AI의 제안이 내부 통제 기준을 통과한 뒤에야 인간에게 최종 판단을 맡기는 구조다.
즉 AI가 최적의 선택지를 제시하더라도 내부 시스템의 검증과 인간의 최종 승인을 거쳐야 실제 업무로 이어질 수 있다는 것이다.
AI로 3시간짜리 일을 30분 만에 했다면
AI가 기업의 업무시간을 줄이기 시작하면서 경영자가 풀어야 할 숙제도 생겼다.
직원이 AI를 이용해 3시간 걸리던 일을 30분 만에 끝냈다면 남은 2시간30분을 어떻게 활용할 것인지다.
단순히 AI를 도입하는 데서 끝날 것이 아니라 줄어든 시간을 어떤 새로운 업무와 부가가치 창출에 사용할 것인지까지 조직이 설계해야 한다는 것이다.
지 대표는 AI로 업무시간을 줄이는 것 못지않게 그렇게 확보한 시간을 어디에 사용할지를 정하는 것이 중요하다고 강조했다.
AI가 사람의 약점을 보완하는 단계에서 나아가 사람이 가진 전문성과 판단 능력을 더욱 끌어올리는 방향으로 활용해야 한다는 것이다.
지 대표는 "기업에서 인간 담당자의 약점을 보완하는 단계가 아니라 강점을 증강시키는 단계로 가야 한다"며 "그래야 고객도 AI의 가치를 느낀다"고 말했다.
아울러 지 대표는 기업이 AI 도입에 앞서 세 가지를 먼저 물어야 한다고 강조했다.
회사 업무가 AI가 이해할 수 있는 형태로 정의돼 있는지, AI가 판단할 영역과 사람이 판단할 영역이 구분돼 있는지, AI의 실행을 실제 업무에 연결하면서 통제할 안전장치를 갖추고 있는지다.
결국 AI 시대 기업의 경쟁력을 가르는 것은 어떤 생성형 AI 서비스를 쓰느냐만이 아니다.
지 대표는 챗GPT와 클로드, 제미나이 등 어떤 AI를 사용하느냐를 따지는 단계를 넘어, AI를 통해 일하는 방식을 어떻게 바꿨는지가 중요해졌다고 강조했다.
한편 이날 세미나에서는 중국의 DX to AX 전략과 사례(박지민 36케이알코리아 대표), AI Factory가 바꾸는 기업 AI의 경제성(박현근 네이버 PM), 복합업무 사례로 본 제조 에이전틱 AI의 현재와 미래(박은규 퓨처워크랩 대표)의 발표도 이어졌다.
