RAG·MLOps를 프로덕션에서 안정적으로 운영합니다.

• 노트북 함정

  모델은 되는데 서빙·확장·비용이 안 풀린다.

• GPU 낭비

  비싼 카드가 스케줄링 없이 논다.

• 엣지 제약

  온디바이스로 내려야 하는데 변환·최적화가 막막.

1. 01
   파이프라인데이터 수집·정제·피처
2. 02
   서빙엔드포인트 또는 온디바이스 빌드
3. 03
   스케줄링GPU 자원 배분·오토스케일
4. 04
   운영모니터링·드리프트·비용 최적화

• 
  모델을 바꿀까, 프롬프트를 고칠까 — 실데이터 200건으로 만든 LLM 선정 평가엔지니어링 딥다이브 · 2026년 8월 8일
  정답 세트 없이 운영 데이터 200건에서 3개 모델과 3단계 프롬프트로 구성한 6개 조합을 비교했다. 모델 교체는 기준 일치율을 14%p, 프롬프트 개선은 37%p 높였다. 월 $7.20 구성의 평가 설계와 판정 근거를 정리한다.
  →
• 
  LLM API를 사설망으로 연결하면 충분할까 — Bedrock부터 자체 호스팅까지 의료 데이터의 네 가지 경계규제 · 컴플라이언스 · 2026년 8월 2일
  OpenAI·Anthropic 직접 API, Amazon Bedrock, Microsoft Foundry, Gemini Enterprise Agent Platform, VPC·온프레미스 배포를 네트워크 경로·처리 리전·보존·법적 근거로 비교한다.
  →
• 
  AI 콘텐츠 자동화는 어디까지 맡겨야 할까 — 월 수만 건의 태깅·번역을 운영에 올린 방법AX 사례 · 방법론 · 2026년 7월 24일
  수작업 콘텐츠 태깅·번역을 4주 PoC로 검증해 월 수만 건 규모로 운영한 사례. 자동 처리, 예외 검수, 자동화 제외의 경계와 평가 방법을 정리했다.
  →
• 
  RAG 품질은 어떻게 검증할까 — 30개 질문과 8개 후속 대화로 만든 회귀 평가엔지니어링 딥다이브 · 2026년 7월 17일
  표가 많은 한국어 공문서 RAG를 30개 단일 질의와 8개 후속 질의 세트로 검증했다. 검색·생성·대화를 분리해 정답 근거와 회귀를 출시 게이트로 바꾸는 방법을 정리한다.
  →
• 
  에이전트 준비도 점수, 그대로 쫓아야 할까 — 레벨 1에서 Agent-Native까지엔지니어링 딥다이브 · 2026년 7월 16일 업데이트
  isitagentready.com이 지적한 10개 항목을 그대로 채우지 않고 실체 기준으로 선별했다. Content Signals, 마크다운 협상, MCP 서버, DNS-AID·DNSSEC를 직접 구축해 29점 레벨 1에서 71점 레벨 5(Agent-Native)에 도달한 과정과, 에이전트 점수가 실제로 측정하는 것에 대한 판단.
  →
• 
  완전관리형 RAG는 우리가 만든 파이프라인을 이겼을까엔지니어링 딥다이브 · 2026년 7월 16일 업데이트
  학교 보건 의료자문 챗봇의 RAG를, 직접 만든 pgvector 파이프라인과 Amazon Bedrock 완전관리형 Knowledge Base로 맞붙였다. 한국어 표 문서 앞에서 무엇이 승부를 갈랐나.
  →

대규모 GPU 운영과 엣지 제약을 함께 다뤄본 팀입니다.