구현보다 중요한 것은 설계와 검증이다 : 24회의 반복적 검토와 감사로 완성도를 높인 AI 시스템 개발 --- BiliDAP

AI 데이터 탐정단 구축기 #10 (최종회)

구현보다 중요한 것은 설계와 검증이다
24회의 반복적 검토와 감사로 완성도를 높인 AI 시스템 개발

AI 기반 시스템의 품질은 모델의 성능만으로 결정되지 않습니다. 요구사항의 명확성, 아키텍처의 일관성, 변경 영향 분석, 실행 검증 및 반복적인 감사가 함께 확보되어야 합니다. 10부작의 마지막에서는 Bilient Data Agent Platform을 구축하며 적용한 설계·검증 원칙과 개발 프로세스를 정리합니다.

최근 생성형 AI 기반 개발 도구의 생산성이 크게 향상되면서, 자연어 요구사항만으로도 상당한 수준의 코드를 단시간에 생성할 수 있게 되었습니다. 그러나 코드 생성 속도와 시스템 품질은 동일한 개념이 아닙니다. 실제 운영 환경에서는 예외 처리, 데이터 정합성, 모듈 간 의존성, 인터페이스 계약 및 변경 영향까지 함께 검증해야 합니다.

초기 구현이 정상적인 시나리오에서 동작하더라도, 실제 데이터와 다양한 운영 조건이 투입되면 잠재된 결함이 표면화될 수 있습니다. 특히 AI 에이전트 기반 시스템은 데이터, 도구 호출, 상태 관리, 모델 응답 및 외부 시스템 간의 상호작용이 복합적으로 발생하므로, 단순한 기능 동작 여부만으로 품질을 판단하기 어렵습니다.

🏗️ "구현에 앞서 요구사항·인터페이스·의존성·검증 기준을 반복적으로 검토했다"

실제 구현에 앞서 요구사항과 설계 문서를 24차례에 걸쳐 반복 검토(Audit)했습니다. 이 과정의 목적은 모든 결함을 사전에 완벽하게 제거한다는 선언보다는, 요구사항 누락·모듈 간 불일치·인터페이스 충돌·예외 시나리오를 가능한 한 구현 이전 단계에서 식별하고 해소하는 것이었습니다.

---

1. AI 기반 개발 협업에서 재작업을 최소화한 3가지 원칙

AI 기반 개발에서는 개별 수정이 다른 모듈의 동작이나 인터페이스에 연쇄적인 영향을 미칠 수 있습니다. 따라서 단순한 코드 수정이 아니라 변경 범위와 시스템 전체 영향을 함께 관리하는 방식을 적용했습니다.

🔗 (1) 인터페이스 또는 공통 구성요소 변경 시 영향 범위를 전수 검토한다

공통 함수, 데이터 구조, API 계약 또는 설정값과 같이 여러 모듈에서 참조되는 구성요소를 변경할 경우에는 해당 구성요소의 참조 관계와 의존성을 함께 추적해야 합니다. 변경 대상만 수정하고 관련 사용처를 방치하면 잠재적인 회귀 결함(regression)이 발생할 수 있습니다.

⚙️ (2) 설계 적합성을 실제 실행 경로를 통해 검증한다

기능 단위의 정상 동작뿐 아니라 입력 → 처리 → 도구 호출 → 결과 생성 → 후속 처리로 이어지는 전체 실행 경로를 검증합니다. 문서상으로 연결된 컴포넌트라도 실제 런타임 환경에서는 데이터 형식, 상태 전달, 예외 처리 등의 문제로 연결이 단절될 수 있기 때문입니다.

🩹 (3) 반복 결함 발생 시 국소 수정보다 구조적 원인을 재검토한다

동일 영역에서 유사한 결함이 반복적으로 발생한다면 개별 오류를 순차적으로 수정하기보다 요구사항, 데이터 모델, 인터페이스 또는 모듈 경계에 구조적 문제가 없는지 재검토합니다. 반복적인 예외 처리를 코드에 추가하는 것보다 결함의 원인을 설계 단계에서 제거하는 것이 장기적인 유지보수성과 안정성 측면에서 효과적입니다.

---

2. 반복 검증을 통한 최종 품질 게이트 — 연속 2회 무결점 기준

최종 단계에서는 일회성 테스트 결과가 아니라 반복 실행에서도 동일한 품질 기준을 만족하는지를 확인하는 검증 게이트를 적용했습니다.

전체 시스템을 대상으로 요구사항, 기능, 인터페이스 및 실행 경로를 점검하는 전수 검증에서 결함 0건 상태를 연속 2회 확인하는 것을 최종 품질 게이트의 기준으로 삼았습니다. 이는 특정 시점의 우연한 정상 동작이 아니라 반복 검증을 통해 안정성을 확인하기 위한 절차입니다.

이와 같은 반복 검증을 거친 결과, 최종 구현 단계에서 300개 이상의 단위 테스트를 통과하고 91% 이상의 테스트 커버리지를 확보할 수 있었습니다. 테스트 커버리지는 시스템 품질을 판단하는 하나의 지표이며, 그 자체가 결함의 부재를 의미하지 않는다는 점도 함께 고려해야 합니다.

---

🎉 10부작을 마치며: AI 시대의 핵심은 모델이 아니라 시스템 엔지니어링

AI 기반 애플리케이션의 경쟁력은 단순히 코드를 얼마나 빠르게 생성하느냐로 결정되지 않습니다.
AI의 자율 실행 범위, 인간의 검토·승인 지점, 오류 발생 시의 통제 절차를 어떻게 설계하느냐가 시스템의 신뢰성과 운영 가능성을 좌우합니다. 결국 중요한 것은 AI를 무조건 신뢰하거나 배제하는 것이 아니라, 명확한 검증과 통제 체계 안에서 AI의 생산성을 활용하는 것입니다.

Bilient Data Agent Platform 구축 과정에서 다룬 요구사항 분석, 에이전트 협업, 데이터 처리, 사용자 인터페이스, 검증 및 품질관리의 원칙이 AI 데이터 시스템을 설계·구축하는 실무자에게 참고가 되기를 바랍니다.

[AI 데이터 탐정단 구축기] 10부작을 통해 Bilient Data Agent Platform의 설계와 구현 과정을 함께 살펴보았습니다.

프로젝트의 세부 설계나 구현 과정에 대한 의견과 질문을 남겨주시면 향후 기술 콘텐츠에서 다루도록 하겠습니다.

1편: AI 데이터 탐정단 아키텍처와 구축 배경 다시 보기 ↺