01
근거가 있는 답변
법령, 고시, 시설기준, 매뉴얼, Q&A, 해외기준 등 업로드된 지식문서와 발행 글을 검색해 답합니다. “그럴 것 같다”가 아니라 “어디에 나와 있는지”까지 보여줍니다.
Insight Archive AI 에이전트
Insight Archive RAG Agent
법령·시설기준·매뉴얼을 근거로,
현장에서 바로 쓸 수 있게 답합니다.
어린이놀이시설 안전관리 전문 아카이브 위에 얹힌 RAG 챗봇. 콜센터형 FAQ가 아니라, 등록 문서를 찾아 출처와 함께 안내합니다.
User benefits
질문하는 순간, 실무가 빨라집니다
긴 법령 PDF를 뒤지거나, 상담원 대기·고정 스크립트에 막히지 않아도 됩니다. 등록된 전문자료를 검색해 결론·체크리스트·출처까지 한 번에 제공합니다.
02
현장에서 바로 쓰는 구조
한 줄 결론 → 핵심 설명 → 실무 체크리스트 → 근거 배지 → 관련 글. 채팅 말풍선이 아니라 지식 카드로 정리되어, 점검·보고·교육에 바로 옮길 수 있습니다.
03
아카이브를 읽다 바로 질문
메인 화면을 챗봇으로 바꾸지 않습니다. 글을 읽다가 궁금할 때 우측 하단에서 AI 에이전트를 열어 이어서 질문하면 됩니다.
04
과신을 막는 안내
유사도가 낮으면 GENERAL로 단정을 피하고, 후보가 여러 주제에 흩어지면 CLARIFY로 되묻습니다. 모든 답변에 면책 문구를 붙이며, RAG에서는 원문 인용을 우선해 수치·조문을 임의로 재서술하지 않습니다.
05
말로 달라도 찾아줍니다
Query Rewrite가 “소독”→감염병·위생, “난간 높이”→guardrail height처럼 표현을 확장해 검색합니다. 어휘가 달라도 EN 1176 영문 자료까지 이어질 수 있습니다.
Why not a call-center bot
콜센터 봇과 무엇이 다른가
기존 고객센터 챗봇은 “의도 분류 + 고정 답변”에 가깝습니다. AI 에이전트는 등록 문서를 검색하는 RAG로, 출처·실무 체크·되묻기·시설 레짐 분기까지 함께 줍니다.
Traditional
일반 콜센터 · FAQ 봇
- 미리 정해 둔 의도·스크립트로 응답
- 긴 채팅 말풍선, “상담원 연결” 중심
- 출처 없이 단정하거나 동문서답하기 쉬움
- 문서가 바뀌면 시나리오를 다시 짜야 함
- 애매한 질문도 고정 답으로 밀어붙이기 쉬움
- 범용 CS·접수 업무에 최적화
Insight Archive
AI 에이전트 · RAG Agent
- 업로드된 전문자료를 벡터·키워드·멀티쿼리로 검색
- 결론·체크리스트·근거 배지·관련 글 카드
- 답변에 문서명·유형 등 출처를 함께 표시
- 새 법령·매뉴얼 업로드 후 전처리하면 반영
- 유사도 게이트·Judge·CLARIFY 되묻기로 과신 방지
- 일반 시설 / 신종유사 가이드 레짐별 검색 격리
Answer experience
답변이 곧 업무 메모가 됩니다
단순 문장형 채팅이 아닙니다. 한 번의 질문으로 결론, 설명, 점검 항목, 근거 자료, 관련 아카이브 글까지 이어집니다.
질문 · 무인 키즈카페도 안전관리 의무가 있나요?
한 줄 결론
설치된 놀이기구와 운영 형태에 따라 어린이놀이시설 안전관리 대상 여부를 검토해야 합니다.
핵심 설명
- 법정 놀이기구·설치 장소·관리주체 요건을 함께 확인합니다.
- 대상이면 점검·보험·사고보고 의무가 이어질 수 있습니다.
실무 체크
- 설치된 기구가 법정 놀이기구에 해당하는가
- 설치 장소가 관리 대상 장소에 해당하는가
- 관리주체가 지정되어 있는가
근거 자료
법령 · 안전관리법
Q&A · 관리주체 의무
매뉴얼 · 안전점검
AI 답변은 일반적인 정보 제공을 목적으로 하며, 최종 해석은 관계기관의 공식 확인이 필요할 수 있습니다.
Document preprocessing
문서가 지식이 되는 과정
관리자가 PDF·TXT·MD를 올리면, 텍스트 추출 → 청킹 → 임베딩 → 검색 가능 상태로 자동 전환됩니다. 사용자 입장에서는 “최신 기준이 반영된 에이전트”로 체감됩니다.
Upload
PDF, TXT, Markdown. 문서유형(법령·매뉴얼·Q&A 등)과 함께 등록합니다.
Text Extraction
PDF는 페이지를 병합해 본문을 추출하고, 텍스트 파일은 UTF-8로 읽습니다.
Chunking
기본 800자 / overlap 100. 스마트 청킹(옵션) 시 법령·기술기준·매뉴얼·사례 유형별로 표·수치를 보존해 쪼갭니다.
Embedding
청크별 벡터(text-embedding-3-small, 1536차원)를 생성해 pgvector에 저장합니다.
READY
하이브리드 검색(벡터 + 한국어 키워드)에 바로 쓰입니다. 재임베딩도 가능합니다.
법령
고시·행정규칙
시설기준
매뉴얼
점검표
안전관리계획
Q&A·해석
해외기준
사고사례
교육·홍보
Development specs
안정적인 운영 노하우 축적
사용자에게는 “빠르고 믿을 수 있는 답”으로 보이도록, 시설 레짐 분기 · Query Rewrite · 하이브리드·멀티쿼리 검색 · legalWeight 리랭킹 · 유사도 게이트 · CLARIFY · 구조화 응답까지 파이프라인을 나눴습니다.
질문 유입
플로팅 패널 → POST /api/ai/ask · 후속 질문은 직전 사용자 발화로 검색어 보강
고정 의도
인사 · 시스템 소개 · 등록 문서 목록 · FAQ 목록은 고정 응답으로 즉시 안내 (검색 생략)
시설 레짐
일반 시설(standard) / 신종유사(emerging) 판별 — 신종유사는 가이드 문서만 검색·법령 리라이트 생략
Query Rewrite
일반 도메인 질문에만 동의어·한↔영 변형 3~5개 생성 후 Multi-Query로 병렬 검색
검색
KnowledgeChunk 하이브리드 검색(pgvector 코사인 + 키워드)과 발행 Post 검색을 병렬 수행
재순위·게이트
legalWeight·priority 리랭킹 → 0.55 / 0.70 게이트 · Judge · 미달 시 CLARIFY(0.35) 또는 GENERAL응답
구조화 JSON → 결론 · 설명 · 체크리스트 · 출처 · 관련 카드 (원문 인용 우선 · CLARIFY는 후보 항목)
- 앱
- Next.js App Router · React · TypeScript · Tailwind (Ledger 디자인 시스템)
- 데이터
- PostgreSQL · Prisma · pgvector (1536차원 임베딩)
- AI
- OpenAI 임베딩·생성 · Admin AES-GCM 키 보관 · 모델 설정 UI
- 문서
- unpdf 추출 · 청크 800 / overlap 100 · 유형별 스마트 청킹(옵션) · 재임베딩
- 검색 품질
- 시설 레짐 · Query Rewrite · Multi-Query · legalWeight · 0.55/0.70 게이트 · Judge · CLARIFY
- 운영
- 지식문서·문서유형·질문 로그·AI 설정 Admin · 골든셋 평가(
npm run eval) · 면책 문구
Production RAG Pipeline
Grounded Intelligence
등록 문서를 찾아
출처와 함께 답합니다
단순 LLM 래핑이 아닙니다. 고정 의도 분기, 시설 레짐(일반/신종유사), Query Rewrite + Multi-Query 하이브리드 검색,
legalWeight 리랭킹, 0.55 / 0.70 유사도 게이트, LLM Judge, CLARIFY 되묻기,
원문 인용 우선 구조화 응답까지 — 어린이놀이시설 안전관리 코퍼스에 맞춘 실제 운영 파이프라인입니다.
- Answer Mode
- 4종RAG · GENERAL · FIXED · CLARIFY
- Similarity Gate
- 0.55 / 0.70진입 최소 · 고신뢰 시 Judge 생략 · CLARIFY 0.35
- Mode Accuracy
- 97.8%골든셋 45문항 · 2026-07-15
Query Processing Flow
Production Pipeline
질문
detectFixedIntent()
detectFaqListIntent()
detectFaqListIntent()
고정 의도
인사 · 시스템 · 문서목록
FAQ — FIXED 응답
FAQ — FIXED 응답
도메인 질문
resolveFacilityRegime()
standard · emerging
standard · emerging
rewriteQuery()
한↔영 · 동의어 3~5
한↔영 · 동의어 3~5
searchChunksMultiQuery()
+ Post 검색
+ Post 검색
rerankChunks()
legalWeight · priority
legalWeight · priority
resolveSources()
0.55 / 0.70 · Judge · CLARIFY
0.55 / 0.70 · Judge · CLARIFY
RAG
llmAsk()
원문 인용 · 출처
원문 인용 · 출처
CLARIFY
후보 항목
되묻기
되묻기
GENERAL
일반 안내
+ 면책 문구
+ 면책 문구
01 · Fixed Intent First
검색 전 고정 의도로 오검색을 줄입니다
인사·시스템 소개·등록 문서 목록·FAQ 목록은 RAG 검색 없이 결정론적 응답으로 분기합니다.
나머지 도메인 질문은 시설 레짐·검색·게이트 파이프라인으로 처리하고,
근거가 약하면 CLARIFY로 되묻거나 GENERAL로 폴백합니다.
02 · Query Rewrite · Multi-Query
표현이 달라도 찾아내는 교차언어 검색
일반 도메인 질문에만 Query Rewrite를 적용해 동의어·한↔영 변형을 만든 뒤 Multi-Query로 병렬 검색합니다. “소독”↔감염병, “난간 높이”↔guardrail처럼 어휘 불일치와 EN 1176 영문 원문 검색을 보강합니다. 후속 질문은 직전 사용자 발화로 검색어를 보강합니다.
03 · Dual Similarity Gate
0.55 / 0.70 게이트 + Judge + CLARIFY
최소 유사도 0.55 미만이면 발행글만 쓰거나, 후보가 여러 주제에 흩어지면 CLARIFY(0.35), 아니면 GENERAL.
0.70 이상이면 Judge를 생략하고 RAG로 진입합니다.
그 사이 구간은 LLM Judge가 지식문서 관련성을 재판정해, 단일 threshold가 놓치는 경계를 보완합니다.
04 · legalWeight Rerank
법적 가중치 기반 동적 재순위
벡터 0.4 · 키워드 0.5 · legalWeight 가산(binding~public_guidance)으로 재순위합니다.
새 문서유형은 DB 가중치만 맞으면 코드 수정 없이 반영되며, priority로 동일 가중치 내 순서를 미세 조정합니다.
05 · Citation-First Generation
원문 인용 우선 구조화 출력
출력은 자유 텍스트가 아닌 구조화 JSON(결론·설명·체크리스트·출처·관련 카드)입니다. 수치·조문은 원문 표현을 우선 인용하고, 근거 없는 단정은 프롬프트에서 금지합니다. CLARIFY 모드에서는 후보 항목으로 질문을 좁히도록 안내합니다.
06 · Facility Regime
일반 시설 · 신종유사 검색 격리
무인 키즈카페·키즈풀 등 신종유사 질문은 「신종유사놀이시설 가이드」만 검색하고 일반 법령 리라이트를 건너뜁니다. 일반 어린이놀이시설 질문과 근거가 섞이지 않도록 발행글도 레짐에 맞게 필터합니다.
Typical LLM / FAQ Bot
- 모든 질문에 단일 프롬프트 + LLM 호출
- 표현이 다르면 검색 실패하기 쉬움
- 검색 결과 무관해도 컨텍스트 강제 주입
- 출처 없는 자유 텍스트 응답
- 애매해도 단정하거나 상담원 연결로 넘김
- 문서 갱신 시 시나리오 재작성 필요
Insight Archive RAG Engine
- 고정 의도 분기 → 도메인만 검색
- Query Rewrite + Hybrid Multi-Query · 후속 맥락 보강
- legalWeight 리랭크 · 0.55/0.70 게이트 · Judge
- CLARIFY 되묻기 · 원문 인용 · 구조화 지식 카드
- 일반 / 신종유사 레짐별 가이드 검색 격리
- 문서 업로드 → 전처리 → 즉시 검색 반영
Measured quality
골든셋으로 검증한 개선
2026-07-15, 골든셋 45문항 기준 baseline 대비 improved(Query Rewrite · legalWeight 리랭킹 · 원문 인용 프롬프트) 측정 결과입니다.
추측이 아니라 npm run eval로 반복 확인합니다.
한줄 요약 라우팅·문서유형 인용·어휘 불일치에서 개선이 확인됐습니다. Answer Point 전체는 -1.9pp로 소폭 하락했지만, Query Rewrite 목표인 어휘불일치형은 +33.3pp 상승했습니다.
Answer Mode
97.8%
+2.2pp
Doc Type Coverage
77.8%
+6.7pp
어휘 불일치형 Points
88.9%
+33.3pp
평균 Latency
5.9s
+0.96s
전체 지표 비교
Source: npm run eval · eval/golden-set.json (45 questions) · Y축: 정확도/커버리지 (%)
| 지표 | Baseline | Improved | Δ |
|---|---|---|---|
| Intent Accuracy | 95.6% | 97.8% | +2.2pp |
| Answer Mode Accuracy | 95.6% | 97.8% | +2.2pp |
| Doc Type Coverage | 71.1% | 77.8% | +6.7pp |
| Answer Point Coverage | 76.7% | 74.8% | -1.9pp |
RAG 질문만 (39문항)
고정응답·범위밖을 제외한 도메인 RAG 문항 기준
| 지표 | Baseline | Improved | Δ |
|---|---|---|---|
| Mode Accuracy | 94.9% | 97.4% | +2.6pp |
| Doc Type Coverage | 66.7% | 74.4% | +7.7pp |
| Answer Point Coverage | 79.5% | 78.6% | -0.9pp |
카테고리별 Answer Point Coverage
기대 핵심점이 답변에 포함된 비율 (%) · Query Rewrite 목표인 어휘불일치형이 +33.3pp
카테고리별 Mode Accuracy
기대 answerMode(RAG / GENERAL / FIXED / CLARIFY)와 실제 일치 비율 (%)
뚜렷한 개선 케이스
개선| ID | 유형 | 질문 | 전→후 |
|---|---|---|---|
| Q016 | 어휘불일치 | 소독 기준이 뭐야? | 67% → 100% |
| Q017 | 어휘불일치 | 놀이터 청소 주기는? | 33% → 67% |
| Q018 | 어휘불일치 | 안전교육 받아야 해? | 67% → 100% |
| Q037 | 모드 | 위험 구역 표시 방법은? | GENERAL → RAG |
| Q013 | 수치규격 | 놀이시설 틈새 기준이 뭐야? | 67% → 100% |
효과 있는 변경
- Query Rewrite 목표(어휘 불일치)에서 +33.3pp
- legalWeight 리랭커로 문서유형 인용 +6.7pp
- 매뉴얼형 Mode Accuracy 87.5% → 100%
- 예: “소독 기준이 뭐야?” 67% → 100%
트레이드오프 · 한계
- Rewrite LLM 1회로 평균 응답 약 1초 증가
- Answer Point 전체는 -1.9pp로 소폭 하락
- 코퍼스에 없는 주제(예: 하자보수)는 GENERAL · 포괄 질문은 CLARIFY
- 스마트 청킹은 기존 문서 재처리 후에 본격 반영
STRICT_MODE(근거 없으면 LLM 차단)는 아직 미적용입니다. 현재는 CLARIFY 되묻기 · GENERAL 폴백 · 면책 문구로 단정을 제한합니다. 원본: eval/results/baseline-*.json, improved-*.json, comparison.json