"사내 챗봇, 문서는 잘 찾는데 왜 실적 분석은 못 할까?"
이 글에서 다루는 내용
|
문서는 잘 찾지만 일은 못 하는 사내 AI, RAG의 한계일까?
사내 AI 도입의 첫걸음으로 RAG(검색 증강 생성) 기반 챗봇을 선택하는 기업이 많습니다. 규정집, 복리후생 안내서, 사내 매뉴얼을 연결하면 "연차 신청 기준이 어떻게 돼?", "법인카드 정산 기한이 언제야?" 같은 반복 문의가 눈에 띄게 줄어듭니다.
문제는 그다음입니다. 경영 회의나 주간 보고 자리에서 "이번 분기 원가율이 급등해 위험한 프로젝트가 어디야?"라고 물으면, AI는 '원가', '지연'이라는 단어가 들어간 과거 주간 보고서 문장만 나열할 뿐입니다. 정작 지금 회사의 기준에서 어떤 프로젝트가 위험군인지, 원인이 무엇인지는 짚어내지 못합니다.
영업 파이프라인, 프로젝트 진척률, 목표 달성률처럼 의사결정과 직결된 질문일수록 챗봇은 침묵하거나 엉뚱한 문장만 끌어옵니다.
이는 LLM이나 RAG 모델의 성능 부족 때문이 아닙니다. 기업 업무의 본질이 단순 '문서 검색'에 머물러 있지 않기 때문입니다.
RAG가 가장 빛나는 순간: 답이 '문서 안'에 있을 때
RAG의 작동 메커니즘은 명확합니다.
LLM의 범용 지식이 아니라 우리 회사의 실제 문서를 근거로 답을 만듭니다. 덕분에 거짓 정보를 지어내는 환각(Hallucination)을 줄이고, 문서에 기반한 정확한 인용을 제공합니다.
즉, 답의 근거가 고정된 텍스트로 존재하는 업무라면 RAG만으로도 충분히 기대한 효과를 냅니다.
사내 규정·복리후생·인사 절차 안내
제품 카탈로그, 기술 백서, 업무 매뉴얼 검색
과거 제안서, 완료 보고서, 기획서 아카이브 탐색
표준 계약서 양식 및 법무 가이드라인 확인
만약 이 영역에서 답변 품질이 떨어진다면 새로운 기술을 덧붙이기 전에 사내 문서의 최신화와 검색 엔진(임베딩, 리랭킹) 튜닝이 우선입니다.
RAG가 멈춰 서는 5가지 병목: 답이 '문서 밖'에 있을 때
반면 실무에서 의사 결정을 내릴 때 필요한 답은 문서 밖, 즉 실시간 시스템 데이터와 회사의 판단 기준 속에 있습니다. RAG 단독 구조가 실제 질문에서 무너지는 대표적인 5가지 상황입니다.
실무 상황 | RAG만으로 어려운 이유 | 실제 필요한 접근 |
1. 실시간 확정 수치 | 문서 속 숫자는 과거 작성 시점의 값에 불과함 | ERP·CRM 등 원천 시스템 직접 조회 |
2. 회사 고유의 계산식 | 실적 인정 기준, 마진율 등 복잡한 사내 산식을 모름 | 비즈니스 로직으로 정의된 계산 엔진 |
3. 권한 및 보안 통제 | 문서를 '찾는 것'과 '그 사람이 봐도 되는가'는 별개 | 사용자 직급·조직별 접근 권한(RBAC) 제어 |
4. 여러 시스템 간 엮임 | 고객-계약-인력-원가 간의 연결 관계와 상태를 모름 | 데이터 간 관계 및 상태 구조화 (지식그래프) |
5. 의사결정 판단 지원 | 키워드 유사도 검색과 비즈니스 룰 기반 판단은 다름 | 규칙·근거 기반의 논리적 추론 구조 |
1. 숫자는 문서가 아니라 원천 시스템에 있습니다
"매출 인식 기준이 뭐야?"라는 질문에는 규정 문서가 답이 됩니다. 하지만 "오늘 기준 이번 달 누적 매출이 얼마야?"는 ERP에서 실시간으로 확인해야 합니다. 여기에 목표 달성률 같은 계산식까지 얽혀 있다면, LLM이 문서를 대충 읽고 짐작해 계산하도록 두는 것은 치명적인 오류를 낳습니다. 자연어로 묻고 답하는 인터페이스와 정확한 데이터를 뽑아 계산하는 로직은 분리되어야 합니다.
2. 찾을 수 있는 정보와 보여줄 수 있는 정보는 다릅니다
팀장이 다른 본부의 인사 평가를 열람하거나, 일반 프로젝트 담당자가 전사 원가 구조를 볼 수 없어야 하는 경우가 많습니다. RAG에 문서를 무작정 많이 연결할수록 보안 위험은 오히려 커집니다. 사내 AI는 "무엇을 알고 있는가"보다 "이 사용자에게 어디까지 보여줄 수 있는가"가 먼저 설계되어야 합니다.
3. 판단은 단 하나의 시스템에서 끝나지 않습니다
프로젝트의 위험 여부를 판단하려면, 일정은 PMS에서, 매출·원가는 ERP에서, 투입 인력은 HR에서, 계약 변경 사항은 CRM에서 가져와야 합니다. AI가 읽어내야 하는 핵심은 개별 시스템의 단편적 수치가 아니라 '시스템 간의 관계'입니다. 비용 증가와 검수 지연이 동시에 발생하고 있음을 연결해서 파악해야 비로소 '위험'이라는 결론을 내릴 수 있습니다.
"더 많은 문서"가 정답이 아닙니다
문서 검색은 잘 되는데 실무 질문 앞에서 AI가 멈춘다면, 문서를 더 채워 넣는 방식으로는 문제를 풀 수 없습니다.
RAG라는 탄탄한 토대 위에, 기업의 실시간 데이터와 업무 규칙을 엮어주는 '새로운 두뇌 구조'가 필요합니다.
👉 2편 예고:
RAG를 버리지 않고 그 위에 '업무의 뇌'를 얹는 방법은 무엇일까요?
[2편] 더 많은 문서 대신 필요한 것: RAG 위에 ‘업무의 뇌(온톨로지)’ 얹기에서 구체적인 아키텍처와 실무 적용 사례를 살펴봅니다.
