데이터 아키텍처와 생명주기

아키텍처는 실시간·배치 같은 기술 선호보다 업무 지연 허용치, 원본 복구 필요, 변환 책임, 소비 계약, 비용과 규제 경계로 고른다. ETL·ELT·스트리밍·zero-ETL은 목적에 맞춰 섞을 수 있지만 원천 시스템과 분석 저장소 사이의 책임은 분명해야 한다.

엔터프라이즈·데이터 아키텍트는 공통 원칙과 경계를 정한다. 소스 오너는 추출 허용 범위와 변경 통지를 책임지고 파이프라인 오너는 변환·재처리·복구를 맡는다. 데이터 제품 오너는 소비 계약과 서비스 수준을 승인한다. 보안·개인정보 담당자는 저장 위치와 보호 조치를 검토한다.

원천 계층은 재처리 가능한 원본과 수집 시각을 보존한다. 정제 계층은 표준화·중복 제거·품질 규칙을 적용하고 제품 계층은 업무 의미와 소비 계약을 제공한다. 계층 이름보다 중요한 것은 누가 수정할 수 있고 재생산할 수 있으며 어떤 소비자가 의존하는지다.

생명주기 정책은 생성·수집·이용·공유·보존·백업·파기까지 잇는다. 백업도 같은 보존·삭제 범위에 포함하고 논리 삭제와 물리 파기를 구분한다. 파기 전에 법적 보존, 분쟁 보존, 하위 소비, 모델·임베딩 파생물까지 확인한다.

참조 아키텍처, 데이터 흐름, 영역별 책임, 복구 목표, 보존 일정, 백업·복구 시험, 변경 기록, 파기 증적이 필요하다. KPI는 수집 지연, 파이프라인 성공률, 재처리 시간, 복구 시험 성공률, 보존 기한 초과 자산, 미사용 저장 비용을 본다.

• 원본을 재현할 수 있는 수집 시각과 식별자가 있다.
• 변환 코드와 스키마, 품질 규칙을 같은 릴리스로 추적한다.
• 데이터 제품별 주요 소비자와 호환성 약속이 있다.
• 백업 복구 시험을 정기적으로 수행한다.
• 파기 범위에 복제본·백업·임베딩 등 파생 자산이 포함된다.

레이크·웨어하우스·레이크하우스라는 제품 구분만으로 아키텍처를 설명하면 책임과 통제가 빠진다. 원본을 무기한 보관하는 관행은 복구 편의와 위험을 맞바꾼다. 파기 작업이 성공했다는 로그만 남기지 말고 대상 범위와 예외, 백업 반영 시점을 확인해야 한다.