사내 문서를 색인한 챗봇을 붙여두면 온보딩 교육이 필요 없어질 것처럼 보입니다. 실제로 많은 조직이 그 기대로 위키와 정책 문서를 넣어 사내 어시스턴트를 열었습니다. 효과가 없지는 않습니다. 신규 입사자가 연차 신청 경로를 묻기 위해 옆자리 선임을 방해할 일은 확실히 줄었습니다.
그런데 두세 달쯤 지나면 비슷한 이야기가 나옵니다. 챗봇은 잘 쓰는데 여전히 판단은 못 한다는 것입니다. 이 글은 챗봇과 시나리오 퀘스트가 각각 어떤 문제를 푸는지, 왜 둘을 같이 두는 편이 나은지를 정리합니다.
사내 문서 챗봇이 잘하는 일
검색형 챗봇의 강점은 명확합니다. 사실 조회입니다. 규정, 절차 문서, 툴 사용법, 담당 조직, 용어 정의처럼 답이 이미 문서 안에 존재하는 질문에 강합니다. 답이 하나로 정해져 있고 검증도 쉽습니다.
여기에 두 가지 부수 효과가 붙습니다. 첫째, 질문 비용이 낮아집니다. 사람에게 묻기 민망한 기초 질문을 언제든 할 수 있습니다. 둘째, 반복 질문 로그가 쌓입니다. 어떤 질문이 계속 들어오는지 보면 문서가 부족한 지점이 그대로 드러납니다. 이 로그는 뒤에서 다시 쓰게 됩니다.
온보딩에서 챗봇을 빼야 한다는 이야기를 하려는 게 아닙니다. 조회 계층은 있는 편이 확실히 낫습니다.
챗봇이 대신해주지 못하는 일
문제는 실무 질문의 상당수가 조회형이 아니라는 데 있습니다.
"고객이 오픈 3일 전에 신규 섹션을 추가해달라고 합니다. 지금 뭘 먼저 해야 하나요?" 이런 질문에 챗봇은 변경 관리 절차 문서를 요약해 줍니다. 틀린 답은 아닙니다. 그런데 신규 입사자가 실제로 막히는 지점은 절차의 존재가 아니라 순서입니다. 영향도를 먼저 볼지, 디자이너에게 먼저 물을지, 고객에게 회신 시점을 먼저 알릴지. 문서에는 그 순서가 잘 적혀 있지 않습니다. 조직 안에서 암묵적으로 공유되기 때문입니다.
챗봇이 구조적으로 약한 영역은 세 가지입니다. 판단의 순서, 기준의 내재화, 그리고 평가입니다. 순서는 문서에 없는 경우가 많고, 기준은 읽어서가 아니라 몇 번 틀려보면서 몸에 붙습니다. 평가는 원리상 어렵습니다. 챗봇 대화 로그로는 그 사람이 판단할 수 있는지 알 수 없습니다. 답을 받아 적은 것과 스스로 고른 것이 구분되지 않기 때문입니다.
챗봇이 퀘스트보다 나은 경우
균형을 위해 반대쪽도 적어둡니다. 아래 경우에는 퀘스트를 만들지 말고 챗봇에 맡기는 편이 낫습니다.
- 답이 자주 바뀌는 정보. 담당자, 툴 버전, 승인 한도 같은 항목은 퀘스트에 넣으면 금방 낡습니다.
- 한 번만 필요한 절차. 장비 신청이나 계정 발급은 연습할 대상이 아닙니다.
- 개인차가 큰 질문. 계약 형태나 조직별 예외는 대화로 답하는 쪽이 정확합니다.
- 문서를 그대로 읽으면 되는 사실. 퀘스트로 만들면 결국 퀴즈가 됩니다.
퀘스트는 제작 비용이 큰 콘텐츠입니다. 판단이 필요하고, 자주 반복되고, 틀렸을 때 손실이 있는 상황에만 쓰는 것이 맞습니다.
참조와 연습을 나누어 쓰기
정리하면 역할 분담은 단순합니다. 챗봇은 참조 계층, 퀘스트는 연습과 평가 계층입니다.
실제 구성은 이렇게 됩니다. 신규 입사자는 시나리오 퀘스트를 풀면서 판단을 연습합니다. 퀘스트 안에서 모르는 용어나 절차가 나오면 챗봇에 물어봅니다. 퀘스트가 끝나면 어떤 유형에서 반복해서 틀렸는지 리포트에 남습니다. 매니저는 그 리포트를 1대1에서 쓰고, 반복 오답이 많은 영역은 문서를 고칩니다.
이 순환에서 중요한 건 방향입니다. 챗봇 로그가 퀘스트 소재를 알려주고, 퀘스트 결과가 문서 개선 지점을 알려줍니다. 두 도구가 서로의 입력이 됩니다.
AI로 퀘스트 초안을 만들고 사람이 검수하기
퀘스트 제작 비용이 크다는 문제는 AI로 상당히 줄일 수 있습니다. 다만 작업 단위를 나눠야 합니다.
AI에게 맡기기 좋은 부분은 초안입니다. 반복 질문 로그와 관련 문서를 주고 상황 카드 초안과 선택지 후보를 여러 개 뽑게 합니다. 그럴듯한 오답을 만드는 일은 특히 AI가 빠릅니다. 사람이 쓰면 오답이 티가 나게 나쁜 경우가 많은데, 실제로 신규 입사자가 헷갈리는 선택지는 절반쯤 맞는 선택지입니다.
사람이 반드시 해야 하는 부분은 검수입니다. 우리 조직에서 실제로 그렇게 하는지, 정답 방향이 현재 프로세스와 맞는지, 오답 피드백이 이유를 설명하는지, 특정 팀을 부정적으로 묘사하지 않는지 확인해야 합니다. 문서가 이미 낡은 경우 AI는 낡은 절차를 그대로 정답으로 만들어 줍니다. 이걸 잡아낼 수 있는 사람은 조직 안에만 있습니다.
작업 순서는 이렇게 두면 무난합니다. 반복 질문 수집, AI 초안 생성, 실무자 검수, 5~10명 파일럿 플레이, 오답 분포 확인 후 선택지 수정. 한 번에 스무 개를 만들지 않고 다섯 개로 시작하는 편이 낫습니다.
과신 리스크와 주의할 점
AI를 온보딩에 붙일 때 실제로 문제가 되는 지점들입니다.
- 환각된 절차. 챗봇이 문서에 없는 승인 단계를 만들어 답하면 신규 입사자는 그대로 따릅니다. 출처 링크를 함께 보여주고, 절차 답변에는 원문 확인을 권하는 문구를 붙이는 편이 낫습니다.
- 문서 최신성. 챗봇 품질은 색인된 문서의 품질을 넘지 못합니다. 오래된 문서를 정리하는 작업이 챗봇 도입보다 먼저입니다.
- 판단 위탁. 챗봇이 결론을 주면 사람은 생각을 멈춥니다. 조회는 위임해도 되지만 판단까지 위임하면 기준이 몸에 붙지 않습니다.
- 평가 오용. 퀘스트 점수나 챗봇 사용량을 인사 평가에 연결하면 데이터가 즉시 왜곡됩니다. 교육 설계용으로만 쓰는 것이 안전합니다.
- 민감 정보. 어떤 문서까지 색인할지, 어떤 질문 로그를 얼마나 보관할지는 도입 전에 정해둬야 합니다.
AI가 조회를 대신해주는 만큼, 온보딩에서 사람이 해야 할 일은 오히려 더 좁고 분명해졌습니다. 판단 순서를 익히고, 기준을 몸에 붙이고, 그걸 확인하는 일입니다. 시나리오 퀘스트가 남아야 하는 이유도 여기까지입니다.
---