더 많은 문서 대신 필요한 것: RAG 위에 ‘업무의 뇌(온톨로지)’ 얹기
챗봇을 넘어 의사결정 파트너로: RAG + 기업 온톨로지(시맨틱 레이어) 설계법
이 글에서 다루는 내용
|
이전 글에서 살펴보았듯, 문서 검색 중심의 RAG만으로는 실시간 데이터, 계산 공식, 보안 권한, 복합 시스템이 얽힌 기업의 실무 질문을 해결하기 어렵습니다.
그렇다면 RAG를 걷어내고 완전히 새로운 시스템을 구축해야 할까요?
전혀 아닙니다. 문서를 검색하고 요약하는 RAG의 역할은 그대로 살리되, 그 위에 데이터 간의 관계와 회사의 업무 규칙을 해석해 주는 '업무의 뇌', 즉 기업 온톨로지(Ontology/Semantic Layer)를 더해주면 됩니다.
사서와 실무 팀장의 협업: 온톨로지와 RAG의 차이
두 기술은 대체 관계가 아니라 완벽한 보완 관계입니다.
RAG의 역할 (노련한 사서): "질문과 관련된 사내 규정집, 매뉴얼, 보고서를 서고에서 신속하게 찾아 꺼내옵니다."
온톨로지의 역할 (판단력 있는 실무 팀장): "꺼내온 자료와 ERP/HR의 실시간 수치를 엮어, 회사의 계산식과 보안 규칙에 맞춰 의사결정용 답을 만듭니다."
구분 | RAG 중심 구조 | RAG + 기업 온톨로지 |
주요 정보원 | 비정형 텍스트 문서 | 문서 + 기간계 시스템 실시간 데이터 + 지식 구조 |
수치 확인 | 문서에 적힌 과거 값에 의존 | 원천 시스템(ERP/CRM 등) API 실시간 조회 |
KPI 및 산식 | LLM의 임의 해석에 의존 | 사전에 정의된 비즈니스 로직으로 정확히 계산 |
업무 규칙 | 문서 속 문장으로 존재 | Rule 엔진으로 구조화하여 엄격히 적용 |
접근 권한 | 검색 단계에서 개별 통제 어려움 | 질문자의 직급·권한을 처음부터 반영해 필터링 |
답변의 성격 | 문서 요약 및 인용 | 분석, 추천, 실무 의사결정 지원 |
[실무 사례 비교] "다음 달 시작하는 프로젝트에 투입 가능한 인력은?"
신규 AI 프로젝트에 Python과 SQL 경험이 있는 내부 인력을 배치해야 하는 실무 상황을 비교해 보겠습니다.
❌ RAG 기반 답변
"인력 투입 요청은 사내 PMS 시스템에 접속하여 프로젝트 관리팀에 신청서를 제출하시면 됩니다. (출처: 프로젝트 운영 매뉴얼 제4조)"
한계: 절차는 안내하지만, 정작 질문자가 알고 싶은 '누가 투입 가능한지'는 답하지 못합니다. 인력 현황은 정적 문서가 아니라 동적 데이터이기 때문입니다.
⭕ RAG + 온톨로지 기반 답변
"이달 말 프로젝트가 종료되는 인력 중, 최근 가동률 기준을 충족하고 Python·SQL 프로젝트 경험이 2회 이상인 후보는 총 3명(김○○ 책임, 이○○ 선임 등)입니다.(근거: PMS 프로젝트 종료 일정, HR 시스템 경력 데이터, 사업관리팀 인력 가동률 규칙 적용 / 질문자 권한 확인 완료)"
차이점: PMS의 프로젝트 종료일, HR의 역량·경력, 회사의 가동률 산식, 질문자의 열람 권한을 유기적으로 엮어 실제 업무에 필요한 판단을 제공합니다.
우리 회사 AI, 다음 단계가 필요하다는 7가지 신호
사내 RAG를 운영하면서 아래 현상 중 2개 이상을 겪고 있다면, 문서를 더 긁어모으기보다 데이터 연결과 지식 구조 설계를 점검할 타이밍입니다.
[ ] 문서 관련 규정은 잘 답하지만, 시스템의 현재 수치나 현황을 물으면 엉뚱한 답을 한다.
[ ] 동일한 KPI(예: 영업 이익률, 파이프라인 전환율)를 부서마다 다른 산식으로 부르고 있다.
[ ] 하나의 질문에 제대로 답하기 위해 최소 2~3개 이상의 시스템(ERP, CRM, HR 등)을 동시에 봐야 한다.
[ ] AI 답변을 볼 때마다 "이게 언제 기준 데이터인가?" 출처와 시점을 매번 의심하게 된다.
[ ] 직급이나 담당 업무에 따라 열람할 수 있는 데이터 범위가 철저히 나뉘어야 한다.
[ ] 정형화된 데이터뿐 아니라 사내 베테랑의 예외 처리 규칙과 노하우가 판단을 좌우한다.
[ ] 향후 AI가 단순 답변을 넘어 실제 업무를 처리하는 'AI Agent'로의 확장을 준비 중이다.
시작점은 거창한 기술이 아니라 '핵심 질문 5개'
온톨로지나 지식그래프를 도입한다고 해서 회사의 모든 기간계 시스템을 처음부터 한꺼번에 뒤엎을 필요는 없습니다.
가장 효과적인 접근법은 매주 경영진이나 실무자가 반복해서 묻지만, 담당자가 취합하고 계산하느라 반나절 이상 걸리는 '핵심 질문 5개'를 선정하는 것입니다.
질문 정의: "이번 분기 원가율 110%를 초과할 위험이 있는 프로젝트는 무엇인가?"
필요 요소 도출:
필요 문서: 사업 수행 계약서, 변경 합의서 (RAG)
필요 데이터: ERP 실시간 원가 집계, PMS 공정 진척률 (API 연동)
필요 규칙: 회사가 정의한 원가율 산식, 위험군 판정 기준 (온톨로지)
보안 권한: 프로젝트 PM 및 본부장급 이상 열람 가능 (RBAC)
이 5가지 질문을 검토하다 보면 RAG만으로 충분한 영역과, 데이터 연동 및 온톨로지 설계가 반드시 필요한 영역의 경계선이 뚜렷해집니다.
결론: 더 많은 문서보다, 답을 만드는 구조
RAG는 기업 AI의 훌륭한 출발점입니다. 하지만 비즈니스는 문서만으로 움직이지 않습니다.
실시간 데이터, 명확한 계산 공식, 업무 규칙, 그리고 보안 권한이 유기적으로 맞물릴 때 AI는 비로소 단순한 '문서 검색기'를 넘어 '신뢰할 수 있는 비즈니스 파트너'로 진화합니다.
이제 고민의 방향을 "어떻게 문서를 더 많이 읽힐까"에서 "AI가 답해야 할 비즈니스 질문에 어떤 데이터와 규칙이 필요한가"로 옮겨갈 때입니다.
