ServicesWorkClientsResourcesInsightsAbout과제 검토 요청
● RAG BENCHMARK · DATASET 01

같은 문서, 다른 RAG 구성. 응답과 근거를 나란히 본다.

Titan Text Embeddings V2를 공통 조건으로 두고 Aurora PostgreSQL db.t4g.medium의 pgvector, AWS Bedrock Knowledge Bases · Basic, AWS Bedrock Knowledge Bases + Smart Parser를 단건 30문항과 멀티턴 8개 스레드에서 비교했다.

질의별 비교 보기 →원본 엑셀 받기 ↓
한국어 PDF 2종단건 30문항멀티턴 8스레드원문 페이지 연결
● TECHNICAL SUMMARY

빠른 쪽과 더 잘 찾는 쪽은 같지 않았다.

Knowledge Bases · Basic은 이 실행에서 평균·p95 지연시간이 더 짧았다. pgvector는 멀티턴 후속 응답 품질 평가에서 8건 중 5건 우세했고, Smart Parser는 Basic 대비 6건을 개선했지만 2건은 악화됐다. 단건 전체 정답 채점은 없으므로 종합 승자를 선언하지 않는다.

지연시간
KB 기본 평균 4.847초, pgvector 평균 5.392초
파서 변화
Smart Parser 적용 후 개선 6·동일 22·악화 2
멀티턴 품질
pgvector 우세 5·대등 2·KB 기본 우세 1
● SYSTEM CONFIGURATION

벤더가 아니라 구성요소 단위로 비교한다

임베딩·파서·벡터 저장소·검색·생성 모델을 독립적으로 기록한다. 다음 실행에서 Titan V2를 Cohere로, Aurora를 OpenSearch로 바꿔도 같은 데이터셋과 지표 정의를 재사용할 수 있다.

01
PGVECTOR

Aurora pgvector

  1. EmbeddingTitan Text Embeddings V2AWS
  2. ParsingDocument parserOpenDataLoader
  3. Vector storeAurora PostgreSQL + pgvectorAWS · db.t4g.medium
  4. RetrievalCustom retrieval pipeline801 PLANET
  5. GenerationBedrock Claude Sonnet 4.6AWS
02
KB BASIC

AWS Bedrock Knowledge Bases · Basic

  1. EmbeddingTitan Text Embeddings V2AWS
  2. ParsingBasicAWS Bedrock Knowledge Bases
  3. Vector storeKnowledge Bases for Amazon BedrockAWS · 하위 벡터 저장소는 원본에 미기록
  4. RetrievalKnowledge Bases retrievalAWS
  5. GenerationBedrock Claude Sonnet 4.6AWS
03
KB SMARTPARSER

AWS Bedrock Knowledge Bases + Smart Parser

  1. EmbeddingTitan Text Embeddings V2AWS
  2. ParsingSmart ParserAWS Bedrock Knowledge Bases · SMART_PARSING
  3. Vector storeKnowledge Bases for Amazon BedrockAWS · 하위 벡터 저장소는 원본에 미기록
  4. RetrievalKnowledge Bases retrievalAWS
  5. GenerationBedrock Claude Sonnet 4.6AWS
● MEASURED RESULTS

평균 하나가 아니라 표본과 분포를 함께 본다

지연시간은 단건 30개 실행의 종단 시간이며 p95는 선형 보간으로 계산했다. 품질 평가는 엑셀에 기록된 비교 라벨만 집계하고 없는 점수는 만들지 않았다.

PERFORMANCE · N=30

단건 응답 지연시간

동일한 30개 질의의 종단 응답시간이다. 평균만으로 꼬리 지연을 숨기지 않도록 p50과 p95를 함께 표시한다.

PGVECTOR
5.392s
KB BASIC
4.847s
평균 p95
System평균p50p95최소-최대표본
PGVECTOR5.392s5.010s7.534s3.411s-8.929s30
KB BASIC4.847s4.832s6.039s3.726s-6.519s30
PARSER CHANGE · N=30

Smart Parser 적용 결과

Knowledge Bases · Basic을 기준선으로 두고 같은 30개 단건 질의의 Smart Parser 응답 변화를 채점했다. 이 값은 전체 정답률이 아니라 파서 변경 전후의 상대 평가다.

개선
6/30
동일·응답
11/30
동일·미검색
11/30
악화
2/30
MULTI-TURN · N=8

멀티턴 후속 질의

8개 스레드의 두 번째 질문을 기준으로 맥락 유지와 pgvector 대 KB 기본의 응답 품질을 분리해 봤다.

맥락 유지
PGVECTOR8/8
KB BASIC8/8
KB SMARTPARSER8/8
pgvector 우세 5대등 2KB 기본 우세 1

READ THIS FIRST단건 30문항에는 pgvector 대 Knowledge Bases · Basic의 정답 채점이 없어 전체 승률을 만들지 않았다.

● QUESTION-BY-QUESTION

질문 하나를 고르고 세 응답을 동시에 읽는다

pgvector 응답의 인용 번호를 누르면 보고된 PDF 페이지가 옆에서 열린다. Knowledge Bases · Basic과 Smart Parser는 원본에 페이지 번호가 없어 검색 문서와 유사도까지만 보존했다.

Knowledge Bases · Basic과 Smart Parser 결과는 원본 엑셀에 페이지 번호가 없어 검색 문서와 유사도만 표시한다.

질문 · Q01

학생이 발열 증상을 보일 때 단계별 대응 절차는 무엇인가요?

Smart Parser 변화개선
PGVECTOR

Aurora pgvector

지연시간
4.980s
학생 발열 증상 시 단계별 대응 절차
1단계: 등교 시 발열 발견

발열 검사 실시

비접촉 체온계로 측정 (원칙)

실외에서 측정하도록 함

재측정

발열 확인 시 일정 시간 안정을 취함

고막 체온계로 재측정

(비접촉 체온계 없으면 고막 체온계 사용)

조치

재측정 후에도 발열 확인 시:

추가 의심 증상 확인

보호자에게 즉시 연락

지정의료기관 또는 선별진료소 방문 안내

일시적 관찰실 마련 (혼자 귀가 불가 시)

2단계: 일과 중 발열 발견

즉시 조치

보건용 마스크 착용시킴

일시적 관찰실로 이동

의료기관 연결

보호자에게 연락하여 귀가 조치

지정의료기관 또는 선별진료소 방문 안내

역학적 연관성 조사 수행

주의사항

의학적 판단이 필요하면 반드시 의료진 상담을 우선합니다

응급 상황(의식 저하, 호흡 곤란 등) 의심 시 119 신고 먼저 진행하세요

궁금한 점이 더 있으신가요?

근거·검색 출처
KB BASIC

AWS Bedrock Knowledge Bases · Basic

지연시간
5.936s
학생 발열 증상 시 단계별 대응 절차

학교 감염병 대응의 기본 흐름에 따라 다음과 같이 진행됩니다:

1단계: 예방준비/대응 제1단계 [4]

우중감시(일상 감시) 실시 [2]

학교에서 발열 등 증상 정보 수집

보건당국에 보고

2단계: 대응 제2단계 [4]

임상감시 실시

의심 사례에 대한 상세 감시

보건 사업 효과성 검토 및 필요시 교정

⚠️ 현장 활용 시 안내

의료진 상담 권고:

발열의 원인 파악과 진단은 의료진 평가가 필요합니다

학생의 구체적 증상, 경과, 노출 이력 등을 종합하여 의료기관 방문을 권고하세요

추가 정보:

더 구체적인 증상별 초기 조치(격리, 접촉 제한 등)는 제공된 가이드라인에서 찾을 수 없습니다. '궁금해요, 교수님!'으로 전문 교수에게 문의해 주세요.

*궁금한 점이 있으신가요? 언제든지 질문해 주세요!*

근거·검색 출처
  1. 012025학년도 학교보건 기본방향(학교 보건 분야)0.625
  2. 022025학년도 학교보건 기본방향(학교 보건 분야)0.572
  3. 03학교 감염병 예방·위기대응 매뉴얼 제3차 개정판0.461
  4. 042025학년도 학교보건 기본방향(학교 보건 분야)0.437
KB SMARTPARSER

AWS Bedrock Knowledge Bases + Smart Parser

학생 발열 증상 시 단계별 대응 절차
1단계: 초기 발견 및 대응 [4]

보건교사 또는 담임/교과담당자가 발열 증상 학생 발견

해당 학생을 격리 조치 [4]

담임교사에게 연락 [4]

기본 위생·환경 프로토콜 시행 [4]

2단계: 의료 상담 여부 확인 [4]

핵심 판단 사항: 학생이 의료기관에서 진료받았는가? [4]

진료 받음 → 의료진 소견 확인

진료 미실시 → 보호자에게 의료 상담 권고

3단계: 보고 및 문서화 [3]

보건교사, 감염병담당자 등에 사례 기록 [3]

필요시 보건소 등 관련 기관에 보고 [3]

교육청/교육청과 협조 [3]

4단계: 위험도 평가 및 추가 조치 [3]

확진 여부 판정 후 위험도 분류 [3]

교직원 위험도 평가 [3]

위험 수준에 따른 관리 프로토콜 실행 [3]

⚠️ 주의:

발열의 원인·진단·처방은 의료진만 가능합니다. 의학적 판단이 필요하면 반드시 의료기관 상담을 권고해 주세요.

구체적인 상황이 있으시면 알려주세요!

근거·검색 출처
  1. 012025학년도 학교보건 기본방향(학교 보건 분야)0.516
  2. 02학교 감염병 예방·위기대응 매뉴얼 제3차 개정판0.504
  3. 032025학년도 학교보건 기본방향(학교 보건 분야)0.446
● SCOPE · METHOD · LIMITS

비교가 말하는 범위와 말하지 않는 범위

01비교 단위
동일 질문에 대한 시스템별 최종 응답. 단건 30개와 2턴짜리 스레드 8개를 사용했다.
02공통 조건
세 구성 모두 Titan Text Embeddings V2와 Bedrock Claude Sonnet 4.6을 사용했다. pgvector는 Aurora PostgreSQL db.t4g.medium에서 실행했다.
03지연시간
질문별 종단 응답시간(ms). 지연시간이 기록된 pgvector와 Knowledge Bases · Basic의 단건 30개 실행만 비교했다.
04품질 평가
Smart Parser는 Basic 대비 개선·동일·악화, 멀티턴은 pgvector·Basic·대등 라벨을 집계했다. 단건 pgvector 대 Basic의 정답률은 평가하지 않았다.
05페이지 근거
pgvector 출력에 있는 페이지 번호만 PDF Viewer에 연결한다. KB 검색 결과에는 파일명과 유사도만 있고 페이지 메타데이터는 없다.
06재현 한계
실행 시점의 청킹 파라미터, 검색 개수와 리랭킹 설정이 모두 기록돼 있지 않아 동일 결과의 완전 재현을 보장하지 않는다.
● SOURCE MATERIAL

원본 자료를 직접 확인한다

화면은 원본 엑셀을 정규화한 읽기 인터페이스다. 수치나 문구가 의심되면 엑셀과 두 PDF로 돌아가 확인할 수 있다.

원본 질의와 응답은 한국어이며 번역하지 않았다.
XLSX벤치마크 엑셀↓PDF · 230P학교 감염병 예방·위기대응 매뉴얼 제3차 개정판↗PDF · 152P2025학년도 학교보건 기본방향(학교 보건 분야)↗
● RELATED INSIGHTS

비교 결과와 평가 방법을 함께 읽는다

우리 문서와 실제 질문으로 RAG 구성을 검증한다.

도입 후보를 데모만으로 고르지 않도록 검색 품질, 응답 근거와 지연시간을 같은 조건에서 비교해 선택 기준을 만든다.

● 이미 금융·헬스케어·미디어·공공의 팀들과 함께
우리 환경의 RAG 비교 설계하기 →