AI 윤리와 거버넌스
AI 시스템을 설계할 때는 데이터가 누구를 대표하는지 검토합니다. 결과를 설명하는 방법과 실패를 발견하고 되돌리는 절차를 마련하고, 의사결정에 책임질 사람을 정해야 합니다.
AIP와 Foundry는 데이터 관리, 평가, 추적, 권한 및 승인 수단을 제공합니다. 조직은 업무의 목적과 위험에 맞는 평가 기준과 운영 절차를 정하고 공정성과 법적 적합성을 검토해야 합니다.
공정성: 데이터와 모델을 함께 평가
학습 데이터, 평가 데이터 또는 모델의 동작에 편향이 있을 수 있습니다. 전체 평균 성능이 좋더라도 특정 집단에 오류가 집중될 수 있으므로 집단과 상황을 나누어 평가합니다.
| 수단 | 활용 |
|---|---|
| Sensitive Data Scanner | 민감한 속성과 보호 대상 특성에 해당할 수 있는 데이터를 식별하고 잠재적 편향을 검토 |
| Modeling Objectives | 인구통계학적 집단 등 데이터 부분집합별로 모델 성능을 평가 |
| AIP Evals | 다양한 사례를 평가 모음에 넣고, 매개변수를 바꾸어 결과 차이를 실험 |
| 데이터 상태 점검 | 품질 문제와 데이터 대표성의 변화를 확인 |
평가 결과에 따라 데이터를 재표집하거나 부족한 집단을 대표하는 데이터를 추가할 수 있습니다. 모델이나 알고리즘을 바꾸는 선택도 가능합니다. 어떤 대응이 적절한지는 편향이 생긴 단계와 업무의 오류 비용에 따라 판단합니다.
설명 가능성: 결과가 만들어진 과정을 검토
설명 가능성은 결과를 사용하거나 검토하는 사람이 그 결과의 근거와 한계를 이해할 수 있게 하는 것입니다.
- Modeling Objectives에서는 특성 중요도와 성능 지표를 활용하여 모델의 동작을 평가합니다.
- AIP Evals에서는 기본 평가 함수와 사용자 지정 평가 함수를 조합하여 결과를 검사합니다.
- AIP Logic에서는 목적이 분명한 도구를 구성하고, 디버그 화면에서 추론 관련 정보를 확인하며 도구 호출과 실행 과정을 살펴봅니다.
- Ontology와 AIP 운영 관측 기능에서는 업무 맥락과 실행 추적, 지표를 연결하여 분석합니다.
- 버전 관리와 변경 기록으로 어떤 설정을 왜 바꾸었는지 남깁니다.
디버그 정보나 도구 호출 추적을 볼 수 있다는 사실이 모든 모델의 비공개 내부 사고 과정을 제공한다는 뜻은 아닙니다. 실제로 제공되는 실행 정보와 평가 결과를 바탕으로 결과를 검토해야 합니다.
신뢰성: 배포부터 운영까지 관리
운영 중에도 입력 데이터나 사용 방식, 모델 버전이 바뀌었을 때 요구 수준을 유지하는지 확인해야 합니다.
전통적인 AI 모델은 직접 배포하거나 Modeling Objectives의 온라인 추론 배포를 통해 운영할 수 있습니다. 배포 버전은 자동 또는 수동으로 갱신하도록 관리합니다. 생성형 AI 기능을 함수로 제공할 때는 의미적 버전 관리 규칙과 릴리스 절차를 정하고 하위 호환성을 확인합니다.
운영 설계에는 다음을 포함합니다.
- 단계적인 시험과 배포, 문제가 생겼을 때 되돌릴 수 있는 버전 관리
- 추론 이력, 경보 및 지속적인 평가를 통한 성능 변화 확인
- 역할과 보안 표지, 지리적 제한 및 암호화에 따른 접근 보호
- 용량 제한과 실제 사용량을 고려한 운영
자동 갱신을 선택할지, 검토 후 수동 갱신할지는 업무의 위험과 변경 검증 방식에 맞게 결정합니다.
추적 가능성: 데이터·실행·결정의 연결
추적 가능성은 데이터와 모델의 출처, 처리 및 변경 이력을 통해 결과가 만들어진 과정을 확인할 수 있는 상태입니다.
| 기능 | 추적 대상과 용도 |
|---|---|
| Data Lineage | 데이터의 입력, 변환 및 의존 관계 |
| Workflow Lineage | 애플리케이션과 워크플로 구성 요소의 연결 및 실행 흐름 |
| Audit logs | 시스템 상호작용과 평가·배포 관련 작업의 감사 기록 |
| Modeling Objectives | 모델 개발과 평가에 관한 설명 및 이력 |
| Notepad | 목적, 방법, 한계 등을 공통 양식으로 기록 |
| Resource Management | 사용량과 비용을 검토하고 운영 책임에 연결 |
변경 이유와 결정의 적절성을 검토할 수 있도록 실행 로그 등 기술적 기록과 업무 목표, 평가 기준을 함께 남깁니다.
협업: 업무 전문가와 함께 평가하기
책임 있는 AI에는 데이터 과학자와 개발자 외에도 해당 업무를 이해하는 전문가의 참여가 필요합니다.
- 역할과 권한으로 각 참여자의 작업 범위를 정합니다.
- Code Workspaces와 Code Repositories에서 코드 기반 개발과 검토를 수행합니다.
- Workshop에서 분석과 평가 결과를 업무 사용자와 공유합니다.
- 외부 공유가 필요한 경우 데이터와 리소스에 적용된 공유 거버넌스를 유지합니다.
- 코드가 필요 없는 평가, 적은 코드로 구성하는 평가, 직접 코드를 작성하는 평가를 함께 활용하여 다양한 전문성을 반영합니다.
업무 전문가는 유용한 답변인지, 중요한 예외를 빠뜨렸는지, 실제 의사결정에 적합한지를 평가할 수 있습니다. 기술 지표만으로 판단하기 어려운 부분을 평가 사례와 기준에 포함합니다.
책임성: 권한과 승인 주체를 명확히 지정
AI 시스템의 결과에 책임질 주체는 사람과 조직입니다. 역할별 책임, 변경 권한, 배포 승인과 운영 대응 주체를 명확히 해야 합니다.
감사 기록은 누가 언제 어떤 작업을 했는지 검토하는 데 사용합니다. Approvals로 필요한 승인 단계를 구성하고, Checkpoints의 사유 확인 단계로 확인, 사유 제시와 서명 절차를 중앙에서 관리할 수 있습니다.
여기서 사유 확인 단계는 사용자가 작업 목적이나 정당한 사유를 확인하도록 하는 통제입니다. 스트리밍 처리의 복구 상태를 저장하는 체크포인트와는 다른 개념입니다.
업무에서 사람의 검토와 승인이 필요한 단계를 정하고 그 지점에 승인 절차를 구성합니다.
인간 중심성: 중요한 결정에 사람의 통제 유지
Ontology는 모델 결과를 실제 업무의 객체와 관계, 액션에 연결합니다. 이렇게 연결한 결과가 사용자의 판단을 지원하도록 설계하고, 중요한 결정을 모델 출력만으로 확정하지 않도록 필요한 검토 단계를 둡니다.
- 액션과 승인 절차로 업무 변경의 권한과 검토 지점을 구성합니다.
- 대시보드와 시각화로 사용자에게 판단에 필요한 맥락을 제공합니다.
- 사유 확인 단계가 필요한 곳에는 Checkpoints를 배치하여 검토를 업무 흐름에 포함합니다.
- AI 사용을 선택하지 않거나 실패 시 다른 절차로 전환할 경로를 설계합니다.
- 사용자 피드백을 평가 사례, 설정 및 업무 절차 개선에 반영합니다.
피드백을 수집하고 개선에 활용하는 것과 타사 모델이 사용자 데이터를 자동으로 재학습하는 것은 다릅니다. 데이터 사용과 학습은 보안 및 개인정보 처리 조건에 맞게 별도로 관리합니다.
운영 원칙
운영 원칙에는 전체 시스템 관점, 기술 한계에 대한 인식, 적절한 문제 선택과 건전한 데이터 과학이 포함됩니다. 사람의 책임과 다양한 이해관계자의 참여를 유지하고, 기술과 거버넌스, 조직 문화를 함께 관리합니다.
업무의 목적을 정하고, 대표성 있는 평가 사례를 만들고, 실패 대응과 승인 주체를 지정합니다. 시스템을 사용하는 동안 운영 기록과 사용자 피드백을 바탕으로 반복해서 평가합니다.