ServicesWorkClientsResourcesInsightsAboutContact
● RAG BENCHMARK · DATASET 01

Same documents, different RAG systems—responses and evidence side by side.

Compare pgvector on Aurora PostgreSQL db.t4g.medium, AWS Bedrock Knowledge Bases · Basic, and Knowledge Bases + Smart Parser using Titan V2.

Explore prompt comparisons →Download source workbook ↓
2 Korean PDFs30 single-turn prompts8 multi-turn threadsPage-linked evidence
● TECHNICAL SUMMARY

The faster system and the stronger retriever were not always the same.

Knowledge Bases · Basic had lower mean and p95 latency in this run. pgvector was preferred on five of eight multi-turn follow-ups, while Smart Parser improved six prompts and regressed two. No overall winner is claimed because the 30 single-turn answers were not scored end to end.

Latency
KB basic mean 4.847s; pgvector mean 5.392s
Parser change
Smart Parser: 6 improved, 22 unchanged, 2 regressed
Multi-turn quality
pgvector 5, tie 2, KB basic 1
● SYSTEM CONFIGURATION

Compare components, not just vendor labels

Embedding, parsing, vector storage, retrieval, and generation are recorded independently. A future Cohere or OpenSearch run can reuse the same dataset and metric definitions.

01
PGVECTOR

Aurora pgvector

  1. EmbeddingTitan Text Embeddings V2AWS
  2. ParsingDocument parserOpenDataLoader
  3. Vector storeAurora PostgreSQL + pgvectorAWS · db.t4g.medium
  4. RetrievalCustom retrieval pipeline801 PLANET
  5. GenerationBedrock Claude Sonnet 4.6AWS
02
KB BASIC

AWS Bedrock Knowledge Bases · Basic

  1. EmbeddingTitan Text Embeddings V2AWS
  2. ParsingBasicAWS Bedrock Knowledge Bases
  3. Vector storeKnowledge Bases for Amazon BedrockAWS · 하위 벡터 저장소는 원본에 미기록
  4. RetrievalKnowledge Bases retrievalAWS
  5. GenerationBedrock Claude Sonnet 4.6AWS
03
KB SMARTPARSER

AWS Bedrock Knowledge Bases + Smart Parser

  1. EmbeddingTitan Text Embeddings V2AWS
  2. ParsingSmart ParserAWS Bedrock Knowledge Bases · SMART_PARSING
  3. Vector storeKnowledge Bases for Amazon BedrockAWS · 하위 벡터 저장소는 원본에 미기록
  4. RetrievalKnowledge Bases retrievalAWS
  5. GenerationBedrock Claude Sonnet 4.6AWS
● MEASURED RESULTS

Show the denominator and distribution—not just one average

Latency is end-to-end time over 30 single-turn prompts; p95 uses linear interpolation. Quality summaries only aggregate labels present in the workbook.

PERFORMANCE · N=30

Single-turn response latency

End-to-end response time over the same 30 prompts. The median and p95 are shown with the mean so tail latency stays visible.

PGVECTOR
5.392s
KB BASIC
4.847s
Mean p95
SystemMeanp50p95Min-maxSamples
PGVECTOR5.392s5.010s7.534s3.411s-8.929s30
KB BASIC4.847s4.832s6.039s3.726s-6.519s30
PARSER CHANGE · N=30

Effect of Smart Parser

The default KB parser is the baseline. Outcomes describe the relative response change over 30 prompts, not an overall accuracy score.

Improved
6/30
Same · answered
11/30
Same · missed
11/30
Regressed
2/30
MULTI-TURN · N=8

Multi-turn follow-ups

Context retention and answer-quality preference are reported separately over the second turn of eight threads.

Context retained
PGVECTOR8/8
KB BASIC8/8
KB SMARTPARSER8/8
pgvector better 5Tie 2KB basic better 1

READ THIS FIRSTThe 30 single-turn prompts were not scored for pgvector versus Knowledge Bases · Basic, so no overall win rate is inferred.

● QUESTION-BY-QUESTION

Select one prompt and read all three responses together

A pgvector citation opens the reported PDF page in a side viewer. Knowledge Bases · Basic and Smart Parser retain document names and similarity scores because their page metadata was not exported.

The workbook does not contain page numbers for Knowledge Bases · Basic or Smart Parser, so only retrieved documents and similarity scores are shown.

Prompt · Q01

학생이 발열 증상을 보일 때 단계별 대응 절차는 무엇인가요?

Smart Parser changeImproved
PGVECTOR

Aurora pgvector

Latency
4.980s
학생 발열 증상 시 단계별 대응 절차
1단계: 등교 시 발열 발견

발열 검사 실시

비접촉 체온계로 측정 (원칙)

실외에서 측정하도록 함

재측정

발열 확인 시 일정 시간 안정을 취함

고막 체온계로 재측정

(비접촉 체온계 없으면 고막 체온계 사용)

조치

재측정 후에도 발열 확인 시:

추가 의심 증상 확인

보호자에게 즉시 연락

지정의료기관 또는 선별진료소 방문 안내

일시적 관찰실 마련 (혼자 귀가 불가 시)

2단계: 일과 중 발열 발견

즉시 조치

보건용 마스크 착용시킴

일시적 관찰실로 이동

의료기관 연결

보호자에게 연락하여 귀가 조치

지정의료기관 또는 선별진료소 방문 안내

역학적 연관성 조사 수행

주의사항

의학적 판단이 필요하면 반드시 의료진 상담을 우선합니다

응급 상황(의식 저하, 호흡 곤란 등) 의심 시 119 신고 먼저 진행하세요

궁금한 점이 더 있으신가요?

Evidence and retrieval sources
KB BASIC

AWS Bedrock Knowledge Bases · Basic

Latency
5.936s
학생 발열 증상 시 단계별 대응 절차

학교 감염병 대응의 기본 흐름에 따라 다음과 같이 진행됩니다:

1단계: 예방준비/대응 제1단계 [4]

우중감시(일상 감시) 실시 [2]

학교에서 발열 등 증상 정보 수집

보건당국에 보고

2단계: 대응 제2단계 [4]

임상감시 실시

의심 사례에 대한 상세 감시

보건 사업 효과성 검토 및 필요시 교정

⚠️ 현장 활용 시 안내

의료진 상담 권고:

발열의 원인 파악과 진단은 의료진 평가가 필요합니다

학생의 구체적 증상, 경과, 노출 이력 등을 종합하여 의료기관 방문을 권고하세요

추가 정보:

더 구체적인 증상별 초기 조치(격리, 접촉 제한 등)는 제공된 가이드라인에서 찾을 수 없습니다. '궁금해요, 교수님!'으로 전문 교수에게 문의해 주세요.

*궁금한 점이 있으신가요? 언제든지 질문해 주세요!*

Evidence and retrieval sources
  1. 012025 School Health Policy Direction0.625
  2. 022025 School Health Policy Direction0.572
  3. 03School Infectious Disease Prevention and Crisis Response Manual, 3rd revision0.461
  4. 042025 School Health Policy Direction0.437
KB SMARTPARSER

AWS Bedrock Knowledge Bases + Smart Parser

학생 발열 증상 시 단계별 대응 절차
1단계: 초기 발견 및 대응 [4]

보건교사 또는 담임/교과담당자가 발열 증상 학생 발견

해당 학생을 격리 조치 [4]

담임교사에게 연락 [4]

기본 위생·환경 프로토콜 시행 [4]

2단계: 의료 상담 여부 확인 [4]

핵심 판단 사항: 학생이 의료기관에서 진료받았는가? [4]

진료 받음 → 의료진 소견 확인

진료 미실시 → 보호자에게 의료 상담 권고

3단계: 보고 및 문서화 [3]

보건교사, 감염병담당자 등에 사례 기록 [3]

필요시 보건소 등 관련 기관에 보고 [3]

교육청/교육청과 협조 [3]

4단계: 위험도 평가 및 추가 조치 [3]

확진 여부 판정 후 위험도 분류 [3]

교직원 위험도 평가 [3]

위험 수준에 따른 관리 프로토콜 실행 [3]

⚠️ 주의:

발열의 원인·진단·처방은 의료진만 가능합니다. 의학적 판단이 필요하면 반드시 의료기관 상담을 권고해 주세요.

구체적인 상황이 있으시면 알려주세요!

Evidence and retrieval sources
  1. 012025 School Health Policy Direction0.516
  2. 02School Infectious Disease Prevention and Crisis Response Manual, 3rd revision0.504
  3. 032025 School Health Policy Direction0.446
● SCOPE · METHOD · LIMITS

What this comparison does—and does not—establish

01Unit
One final response per system for 30 single-turn prompts and eight two-turn threads.
02Held constant
All systems use Titan Text Embeddings V2 and Bedrock Claude Sonnet 4.6. pgvector ran on Aurora PostgreSQL db.t4g.medium.
03Latency
End-to-end milliseconds for the 30 single-turn prompts, comparing only pgvector and Knowledge Bases · Basic, where timings were recorded.
04Quality
Smart Parser uses improved/same/regressed labels against Basic; follow-ups use pgvector/Basic/tie labels. Single-turn pgvector versus Basic accuracy was not scored.
05Page evidence
Only page numbers emitted by pgvector are linked to the PDFs. KB exports contain document names and similarity scores, not pages.
06Reproduction
Chunking, retrieval count, and reranking settings are incomplete, so exact result reproduction is not claimed.
● SOURCE MATERIAL

Inspect the original material

This interface is a normalized reading layer over the workbook. Use the workbook and two PDFs to audit any number or passage.

Prompts and model outputs remain in the original Korean.
XLSXBenchmark workbook↓PDF · 230PSchool Infectious Disease Prevention and Crisis Response Manual, 3rd revision↗PDF · 152P2025 School Health Policy Direction↗
● RELATED INSIGHTS

Read the architecture decision with its evaluation method

Validate RAG choices with your own documents and questions.

Compare retrieval quality, cited evidence, and latency under the same conditions before choosing an architecture.

● Already trusted by teams across finance · healthcare · media · public
Design a benchmark for your environment →