사용자별 업무 맥락과 조직 지식을 분리하는 개인화 Data Agent 설계 --- BiliDAP

Bilient Data Agent Platform 구축기 #8

사용자별 업무 맥락과 조직 지식을 분리하는
개인화 Data Agent 설계

사용자별 응답 선호도와 조직 차원의 업무 규칙을 동일한 지식 영역에 혼합하지 않고, 개인 컨텍스트와 조직 공통 지식을 분리 관리하는 구조를 적용합니다.

업무용 AI Agent의 품질을 결정하는 핵심 요소 중 하나는 단순한 모델 성능이 아니라 사용자별 업무 컨텍스트를 얼마나 일관되게 반영할 수 있는가입니다.

사용자가 선호하는 응답 형식, 용어, 분석 관점, 보고서 구성 등을 지속적으로 반영할 수 있어야 합니다. 즉, 동일한 LLM을 사용하더라도 개인별 컨텍스트가 달라지면 최종 Agent의 동작 역시 달라져야 합니다. 이러한 개인화는 단순한 대화 이력 저장이 아니라, 사용자의 반복적인 선택과 수정 패턴을 구조화하여 이후 요청의 컨텍스트로 재사용하는 방식으로 구현할 수 있습니다.

💡 사용자별 컨텍스트를 지속적으로 반영하는 Data Agent

Bilient Data Agent Platform은 사용자 피드백과 업무 수행 결과를 활용하여 개인화된 응답 정책과 지식 컨텍스트를 지속적으로 개선할 수 있는 구조를 지향합니다. 여기서 중요한 것은 LLM 자체를 무분별하게 재학습시키는 것이 아니라, 운영 데이터와 피드백을 검증·정제하여 Agent의 실행 컨텍스트에 반영하는 것입니다.

---

1. 개인 컨텍스트와 조직 지식의 분리 관리

개인화 기능을 구현할 때 가장 중요한 설계 원칙 중 하나는 지식의 소유 범위와 적용 범위(Visibility / Scope)를 명확히 분리하는 것입니다. 개인의 선호 정보와 조직의 표준 업무 지식을 하나의 저장 영역에서 관리하면 정보 오염과 권한 경계 문제가 발생할 수 있습니다.

따라서 지식과 컨텍스트를 최소한 개인 영역과 조직 공통 영역으로 분리하고, Agent가 요청을 처리할 때 두 영역의 정보를 정의된 우선순위와 권한 정책에 따라 결합하도록 설계합니다.

📒 1. Personal Context Store

예: 사용자는 요약형 응답을 선호
사용자의 질의 패턴, 선호하는 응답 포맷, 용어 선택, 업무상 반복되는 지시사항 등 개인화에 필요한 컨텍스트를 별도로 관리합니다. 해당 정보는 권한 정책에 따라 해당 사용자 또는 허용된 범위에서만 사용됩니다.

📚 2. Organization Knowledge Store

예: 조직 표준에서 PV는 Production Volume을 의미
조직의 업무 규칙, 데이터 정의, 표준 용어, 프로세스 및 공통 지식을 관리하는 영역입니다. 실제 적용에서는 지식의 공개 범위와 사용자 권한을 기준으로 접근 제어를 수행해야 합니다.

Agent가 요청을 처리할 때는 사용자 개인 컨텍스트와 조직 공통 지식을 각각 독립적으로 조회한 후 정책에 따라 결합합니다. 이를 통해 개인화와 조직 표준 준수라는 두 가지 요구사항을 동시에 만족시킬 수 있습니다.

---

2. 사용자 피드백 기반의 개선 루프와 Regression Test

사용자 피드백은 단순한 만족도 지표가 아니라, Agent의 응답 품질을 개선하기 위한 운영 데이터로 활용할 수 있습니다. 다만 피드백을 즉시 모델에 반영하기보다 검증·정제·승인 단계를 거쳐 정책 또는 지식으로 승격하는 것이 안정적인 운영에 적합합니다.

🔄 Feedback-driven Improvement Pipeline

① Feedback Capture & Curation: 사용자의 수정 요청, 선호 응답, 명시적 평가 등을 수집하고 품질 개선에 유효한 사례를 선별합니다. 예를 들어 동일한 분석 요청에서 평균 대신 중앙값을 요구한 사례를 구조화된 피드백 데이터로 축적할 수 있습니다.

② Regression Test: 변경된 Prompt, 지식, 정책 또는 Agent Workflow가 기존 기능의 품질을 저하시키지 않는지 Golden Dataset을 이용해 정기적으로 검증합니다. 신규 요구사항을 반영하면서 기존 업무 시나리오의 정확도와 일관성이 저하되는 것을 방지하는 핵심 품질관리 절차입니다.

이와 같은 Feedback Loop와 Regression Test를 운영 파이프라인에 포함하면, 사용자 요구 변화에 대응하면서도 기존 품질 수준을 안정적으로 유지할 수 있습니다. 결과적으로 개인화는 단순한 '기억 기능'이 아니라 지식 관리와 평가 체계가 결합된 지속적 개선 프로세스로 구현됩니다.

---

🎯 핵심 내용 정리

1. Context Isolation: 개인 선호 정보와 조직 공통 지식을 Scope별로 분리하여 저장·조회·적용한다.
2. Feedback Loop: 사용자 피드백을 수집·정제하여 Prompt, 정책 또는 지식 개선에 활용한다.
3. Regression Test: Golden Dataset 기반의 반복 평가를 통해 변경 이후 기존 업무 품질이 저하되지 않는지 검증한다.

👉 다음 9편 예고: 복잡한 Data Agent의 실행 상태와 분석 결과를 사용자가 직관적으로 확인하려면 어떻게 해야 할까요? 'Data Agent를 위한 운영 대시보드와 사용자 인터페이스 설계'를 살펴봅니다.

Data Agent의 개인화는 단순히 사용자의 대화 이력을 기억하는 기능으로 정의해서는 안 됩니다. 개인 컨텍스트, 조직 지식, 권한 정책, 피드백 및 평가 체계를 하나의 운영 구조로 연결해야 실제 업무 환경에서 지속 가능한 개인화를 구현할 수 있습니다.

다음 편: Data Agent 운영 대시보드와 사용자 인터페이스 설계 👉