데이터 품질, SLO와 데이터 계약

품질 규칙은 소비자가 내리는 결정과 실패 비용에서 역산한다. 재무 마감의 완전성과 고객 알림의 적시성은 같은 임계값을 쓸 이유가 없다. 정확성, 완전성, 적시성, 일관성, 유일성, 유효성 가운데 중요한 차원을 고르고 측정 대상·분모·시간 창·허용 예외를 적는다.

데이터 오너는 업무상 허용 가능한 품질과 우선순위를 승인한다. 생산자는 원천 정확성과 변경 통지를, 파이프라인 오너는 변환·전달 품질을 책임진다. 소비자는 기대 사용법과 문제 사례를 제공한다. 스튜어드는 이슈를 분류하고 반복 원인을 추적한다.

프로파일링으로 분포·결측·중복·이상값을 파악한 뒤 핵심 규칙만 운영 게이트로 올린다. 각 규칙에는 식별자, 설명, SQL 또는 검사 논리, 측정 위치, 임계값, 심각도, 오너, 알림, 재처리 조건을 둔다. 이상 탐지는 통계 신호를 제안으로 쓰고 업무 캘린더와 캠페인 같은 맥락으로 오탐을 줄인다.

데이터 계약은 생산자·소비자 사이에 스키마, 의미, 갱신, 품질 SLO, 호환성, 변경 통지, 지원 창구를 명시한다. 계약을 YAML로 저장해 CI에서 스키마와 필수 품질 규칙을 검증하고 사람의 승인 기록과 연결한다.

프로파일링 기준선, 품질 규칙, SLO·SLA, 데이터 계약, 알림·사고 기록, 재발 방지 조치를 남긴다. KPI는 SLO 충족률, 소비자 영향 사고 수, 탐지 시간, 복구 시간, 반복 사고율, 계약 없는 핵심 인터페이스 수를 중요도별로 본다.

• 규칙마다 이용 목적과 실패 영향을 설명할 수 있다.
• 분모·시간 창·허용 예외가 있는 측정식으로 적었다.
• 품질 실패 때 경고·차단·격리 가운데 동작이 정해졌다.
• 핵심 생산자와 소비자 사이에 변경 통지 기간이 있다.
• 사고 후 규칙·계약·테스트 중 하나가 실제로 개선된다.

모든 열에 동일한 결측률 기준을 적용하면 알림은 많고 행동은 적다. 평균 품질 점수 하나는 중요한 오류를 숨길 수 있다. 데이터 계약을 문서로만 두면 배포와 분리되고 생산자에게 책임을 모두 넘기면 소비자의 잘못된 사용을 막지 못한다. 계약은 양쪽의 의무와 변경 절차를 함께 다뤄야 한다.