업무 질문으로 온톨로지 설계 검증
구조 검토는 온톨로지(Ontology)의 실체, 관계와 자료형이 일관되는지 확인합니다. 사용자가 실제 질문에서 답까지 갈 수 있는지는 별도로 확인해야 합니다. 업무 기반 검증은 객체 유형(Object type), 링크(Link)와 로직을 실제 조사 과제에 적용하는 방법입니다.
구조 검토만으로 알 수 없는 것
사용자는 스키마 그림보다 생산 감소, 지연 배송, 재고 부족이나 예정 업무의 위험 같은 운영 상황에서 출발합니다. 그 상황을 온톨로지의 용어로 바꾸고 시작할 객체 유형을 찾은 뒤 관계를 따라가야 합니다.
이름이 모호하거나 익숙한 별칭이 없고, 시스템 조인만 반영한 링크 또는 중복 개념이 있으면 사용자가 추가 맥락을 기억해야 합니다. 구축자는 구현을 기억하여 경로를 찾을 수 있지만 그 사실만으로 다른 사람도 사용할 수 있다고 판단하지 않습니다.
실제 질문 수집
이미 만든 모델이 답할 수 있는 질문만 고르면 빠진 개념을 발견하기 어렵습니다. 다음과 같은 실제 업무 요구에서 질문을 수집합니다.
- 책임자가 반복해서 묻는 내용
- 다른 팀의 정보가 있어야 내릴 수 있는 결정
- 정보 위치를 아는 숙련자에게 의존하는 조사
- 답을 모으기 어려워 별도 보고서로 반복 작성하는 내용
- 기술 팀에 요청하지 않고 사용자가 알고 싶어 하는 정보
자주 발생하며 지연이나 오류의 영향이 큰 질문을 포함합니다. 상황을 파악하고, 원인에 기여한 주문이나 사건 및 관측을 추적한 뒤, 다른 업무의 위험과 대응 지점을 확인하는 순서로 구성할 수 있습니다.
중요한 질문을 자연스럽게 표현할 수 없으면 더 쉬운 질문으로 교체하지 않습니다. 질문을 유지하고 빠진 개념, 관계나 로직을 결과로 기록합니다.
도구와 참가자
이 연습에서는 미리 만든 업무 앱이 정답 경로를 대신 제공하지 않도록 합니다. Workshop 앱이 훌륭해도 시작점, 필터와 계산을 미리 넣었다면 온톨로지 자체를 발견하고 사용할 수 있는지는 알기 어렵습니다.
구축 경험자, 설계에 참여하지 않은 분야 전문가와 신규 사용자는 서로 다른 증거를 제공합니다. 경험자는 구현 지식을 가진 상태의 가능성을, 분야 전문가는 업무 용어의 적절성을, 신규 사용자는 사전 기억 없이 배울 수 있는지를 확인합니다.
팀 연습은 모델을 서로 설명하는 공통 이해를 보고, 개인 연습은 도움 없이 사용할 수 있는지를 구분합니다. 팀도 처음에는 도움 없이 시도한 다음 코칭을 허용하여 혼란 지점을 가리지 않습니다.
관찰 항목
질문별로 정답 여부와 조사 시간을 기록합니다. 망설인 위치, 검색한 용어, 선택한 객체 유형과 링크, 도움 여부 및 데이터 내보내기나 수동 조인을 함께 기록합니다. 정답만 맞았다는 사실로 경로의 문제를 놓치지 않습니다.
사용자가 혼란스러워하면 무엇을 찾을 것으로 예상했는지 묻습니다. 예상과 다른 경로는 유용한 대안일 수도 있고 답의 불일치를 만드는 모호성일 수도 있습니다.
| 관찰 | 검토할 부분 |
|---|---|
| 시작할 유형을 찾지 못함 | 이름, 별칭, 설명과 기본 노출 유형 수 |
| 같은 개념에서 서로 다른 유형을 선택 | 중복되거나 충분히 구분하지 않은 개념 |
| 관련 있다고 생각한 개념 사이를 이동하지 못함 | 빠진 링크, 이름이나 방향 문제 및 사용 가능 범위 |
| 데이터를 내보내 수동으로 조인 | 온톨로지가 표현하지 않은 업무 관계 또는 재사용할 분석 개념 |
| 타당해 보이는 경로의 답이 서로 다름 | 주문, 주문 품목과 배송 같은 데이터 단위, 식별, 단위, 날짜와 집계 로직 |
| 구축자나 기술 숙련자만 성공 | 원천 시스템 용어, 숨은 관례와 부족한 설명 |
| 타당한 경로가 반복해서 느림 | 질의, 인덱싱, 데이터 규모와 모델링 성능 |
| 어떤 경로로도 답할 수 없음 | 원천 데이터 부족, 도메인 누락 또는 지원하지 않는 분석 |
문제의 위치가 모델, 기반 데이터, 권한, 분석 앱 또는 사용자 교육 중 어디인지 먼저 구분합니다. 한 번의 실패도 기록하되 예외 사례인지 확인하고 같은 유형이나 관계에서 반복하는 혼란을 구조적 신호로 봅니다.
사람과 에이전트 비교
사람은 분야 지식과 조직 맥락을 보충할 수 있고, 에이전트는 많은 자료를 탐색하거나 여러 경로를 시험할 수 있습니다. 사람의 연습 후 같은 질문을 AIP Analyst 또는 AI FDE에 제공합니다. 필요한 온톨로지 접근은 제공하되 사람이 사용한 정답 경로를 알려 주지는 않습니다.
| 결과 | 다음 조사 |
|---|---|
| 사람과 AI 모두 성공 | 해당 질문에 발견 가능하고 표현력 있는 경로가 있는지 확인합니다. |
| AI만 성공 | 사람에게 보이는 이름, 별칭, 설명, 기본 보기와 시각적 계층을 검토합니다. 대규모 자동 분석에 적합한 과제인지도 봅니다. |
| 사람만 성공 | 사람이 경험으로 보충한 업무 로직과 지식 중 모델에 없는 부분을 찾습니다. |
| 둘 다 어려움 | 데이터, 링크, 의미 또는 재사용할 업무 로직이 빠졌는지 봅니다. |
AI만으로 검증하면 사람이 사용하는 경험을 대체할 수 없습니다. 에이전트 비교는 팀의 암묵적 지식 없이도 필요한 맥락을 찾을 수 있는지를 보여 줍니다.
폭넓은 퀴즈 방식
여러 독립 질문을 사용하여 발견 가능성과 팀의 공통 이해를 확인합니다.
- 시작 전까지 질문을 공개하지 않습니다. 온톨로지에 익숙해지는 준비는 가능하지만 특정 분석을 미리 만들게 하지 않습니다.
- 단순 조회, 개수와 한 객체의 조사에는 낮은 점수를, 여러 유형과 링크를 거치는 분석에는 높은 점수를 정할 수 있습니다.
- 팀에서 온톨로지가 가장 낯선 참가자가 앱을 조작하게 합니다. 다른 참가자는 질문 해석과 경로를 설명할 수 있습니다.
- Insight, Contour와 Quiver 같은 범용 분석 앱을 허용하고 목적형 Workshop 앱 및 AIP Analyst나 AI FDE의 도움은 사람 연습에서 제외합니다.
- 정답뿐 아니라 조사 경로를 심사자에게 보여 주게 합니다. 근거 없는 숫자를 답으로 받지 않습니다.
시간 측정 드릴다운
한 조직 수준 질문에서 세부 업무까지 이어지는 연속 경로를 평가합니다. 각 질문이 앞 질문의 답이나 맥락에 의존하도록 만들고 여러 수준과 도메인을 자연스럽게 이동할 수 있는지 봅니다. 전체 완료 시간과 경로를 기록합니다.
두 방식 모두 경쟁은 선택 사항입니다. 경쟁을 한다면 빠르게 근거를 제시한 팀에 점수를 주거나 완료 시간을 비교할 수 있지만 모든 팀의 경로가 설계 증거입니다.
도메인별 연습 질문
다음 질문은 상황 파악, 기여 요인 추적과 영향 평가를 연결하는 예시입니다. 실제 조직의 용어와 책임 및 허용된 데이터 범위에 맞춰 정합니다.
제조
- 올해 가장 많은 제품 물량을 주문한 고객은 누구인가요?
- 그 고객의 주문량에서 가장 큰 비중을 차지한 제품은 무엇인가요?
- 그 제품을 생산하는 작업 지시는 무엇인가요?
- 해당 작업 지시에 필요한 구성품은 무엇이며 자재 명세의 여러 하위 단계에는 무엇이 있나요?
- 생산 위치에 부족한 필수 구성품은 무엇인가요?
- 어떤 공급업체 지연이 가장 많은 예정 작업 지시를 위험하게 하나요?
의료 운영
- 이번 분기에 예약 취소율이 가장 높은 시설은 어디인가요?
- 어느 진료 분야가 그 비율에 가장 크게 기여하나요?
- 어느 예약 종류에서 취소가 가장 많이 발생하나요?
- 해당 예약의 취소 사유 중 가장 큰 비중은 무엇인가요?
- 영향을 받은 예약을 다시 배정할 여력이 있는 시설은 어디인가요?
- 앞으로 취소 위험이 남은 예약은 몇 건인가요?
물류와 유통
- 이번 달 지연 배송량이 가장 큰 지역은 어디인가요?
- 그 지역에서 가장 많은 지연을 만드는 유통센터는 어디인가요?
- 어느 고객 주문이 가장 큰 비중을 차지하나요?
- 그 주문을 이행하는 배송 건은 무엇인가요?
- 어느 경로 구간이나 취급 사건이 지연에 가장 크게 기여하나요?
- 앞으로 같은 경로나 병목을 통과하는 배송은 무엇인가요?
금융 서비스
- 집중 위험이 가장 큰 포트폴리오는 무엇인가요?
- 어느 업종이 그 집중에 가장 크게 기여하나요?
- 노출을 구성하는 발행사와 포지션은 무엇인가요?
- 최근 어떤 거래가 노출을 늘렸나요?
- 연결된 위험 사건 중 해당 포지션에 영향을 줄 수 있는 것은 무엇인가요?
- 제안된 거래 중 포트폴리오의 위험 한도를 넘는 것은 무엇인가요?
센서 분석
- 이번 달 생산 부족이 가장 큰 시설은 어디인가요?
- 어느 자산이 그 부족에 가장 크게 기여하나요?
- 생산이 감소하기 전에 어떤 센서값이 바뀌었나요?
- 그 변화와 같은 시기에 발생한 정비 사건이나 운영 조건은 무엇인가요?
- 같은 센서 패턴이 이전에는 어디에서 나타났나요?
- 현재 비슷한 패턴을 보이는 다른 자산은 무엇인가요?
국방 정보 분석
- 특정 관심 구역에 선박이 몇 척 있나요?
- 어느 함급이 그 구역의 활동에서 가장 큰 비중을 차지하나요?
- 가장 최근에 구역으로 들어온 개별 선박은 무엇인가요?
- 그 선박들은 진입 전에 어떤 경로를 따랐나요?
- 그 경로에서 방문한 항구는 어디인가요?
- 같은 기간에 어떤 다른 선박과 조우했나요?
국방 운영 관리
- 현재 준비도가 가장 낮은 부대는 어디인가요?
- 어느 예하 부대가 준비도 격차에 가장 크게 기여하나요?
- 해당 부대가 충족하지 못한 준비도 요건은 무엇인가요?
- 어떤 정비 작업이나 보급 부족이 제약을 만들고 있나요?
- 필요한 자원을 제공할 수 있는 지원 부대나 위치는 어디인가요?
- 예정된 훈련 중 예상 복구 일정과 충돌하는 것은 무엇인가요?
반복하는 설계 검토
처음에는 중요한 질문 몇 개, 모델을 만들지 않은 대표 참가자와 범용 분석 앱으로 시작할 수 있습니다. 진행자는 정확성, 시간, 혼란 및 도움을 기록합니다. 여러 질문에 영향을 주거나 중요한 업무를 막는 문제부터 개선합니다.
개선 후 일부 같은 질문으로 변화를 비교하고, 보지 못한 새 질문도 넣어 특정 과제에만 맞춘 개선이 아닌지 확인합니다. 질문 집합을 온톨로지의 평가 묶음으로 유지하여 새 유형, 링크, 원천과 로직을 추가할 때 반복 사용합니다. 구조가 완성되어 있거나 전문가가 결국 답을 찾았다는 사실만으로 사용성을 판단하지 않습니다.