AIP의 역할과 운영 기반
AIP는 조직의 데이터와 업무에 AI를 연결하는 플랫폼입니다. 개발자가 AI 함수를 만들거나 챗봇을 구성하는 작업부터, 현장 사용자가 업무 애플리케이션 안에서 AI를 사용하는 작업까지 지원합니다.
AIP Logic, AIP Chatbot Studio와 AIP Evals는 온톨로지와 개발 도구 위에서 AI 기반 워크플로, 에이전트와 함수를 만드는 데 사용합니다. AIP Chatbot Studio는 이전에 AIP Agent Studio라는 이름으로 사용되었습니다.
AI 기능은 기존의 보안, 감사와 자원 관리 체계 안에서 구성합니다. 격리된 실행 환경이나 자동 확장을 활용하는 애플리케이션에도 생성형 AI 기능을 연결할 수 있습니다.
Foundry와 Apollo의 관계
Foundry는 데이터를 수집하고 가공하며 업무 객체와 관계, 로직을 관리하는 기반입니다. AIP는 이 기반의 데이터와 기능을 언어 모델 및 AI 도구에 연결합니다. Apollo는 이러한 플랫폼을 구성하는 소프트웨어의 배포와 운영을 관리합니다.
세 플랫폼을 함께 사용하면 서로 다른 형태의 AI 애플리케이션을 구성할 수 있습니다. LLM을 사용하는 웹 앱, 시각과 언어 모델을 사용하는 모바일 앱, 로컬 AI를 사용하는 엣지 애플리케이션 등이 그 예입니다. 구체적으로 어떤 실행 방식과 모델을 지원하는지는 해당 환경과 기능의 구성에 따라 확인해야 합니다.
기존 데이터와 업무에 연결하기
AIP는 Foundry 플랫폼 인스턴스(Enrollment)의 데이터를 사용하여 모델 기반 에이전트와 워크플로를 구성할 수 있습니다. 입력은 다양한 원천과 형식의 자료일 수 있으며, 온톨로지에 모델링된 객체와 관계 및 업무 기능을 활용할 수 있습니다.
고객 문의에 답하는 기능을 만드는 가상의 사례에서는 필요한 고객 정보와 주문 상태를 조회하고, 허용된 업무 기능을 모델의 도구로 제공할 수 있습니다. 제작자는 모델이 읽을 자료와 호출할 기능을 정하고 권한을 구성해야 합니다.
모델에 전달할 입력 문맥, 호출할 도구와 실행 맥락을 구체적으로 정의합니다.
보안과 거버넌스
AI 처리에도 접근 통제, 암호화와 감사 기능을 적용합니다. 어떤 사용자나 실행 주체가 어떤 데이터에 접근하는지와 그 처리 결과를 누가 사용할 수 있는지를 구분하여 관리해야 합니다.
거버넌스 기능은 AI 작업의 책임과 이력을 추적하는 데 사용합니다. 예를 들어 어느 로직과 모델 구성을 사용해 어떤 실행이 이루어졌는지 조사할 수 있어야 운영 중의 문제와 변경 영향을 이해할 수 있습니다.
외부에서 호스팅하는 LLM을 사용할 때는 선택한 모델의 연결 방식과 데이터 처리 조건이 조직의 데이터 보호 요구에 맞는지 검토하고, 그에 맞게 접근 정책과 기능을 구성해야 합니다.
모델 선택과 수명주기 관리
AIP는 여러 대규모 언어 모델을 사용하는 구성을 지원합니다. 데이터 과학자와 개발자는 업무에 맞는 모델과 도구를 선택하고, 필요한 모델을 구축하거나 통합하며 학습과 배포에 필요한 플랫폼 기능을 활용할 수 있습니다.
버전과 협업 기능으로 모델 변경을 관리하고, 모델을 바꾸었을 때 업무 결과가 어떻게 달라지는지 평가해야 합니다.
| 판단 항목 | 확인할 질문 |
|---|---|
| 업무 적합성 | 필요한 입력과 출력, 도구 사용 및 처리 방식에 맞는가? |
| 데이터 접근 | 실행에 필요한 자료를 허용된 범위에서 사용할 수 있는가? |
| 변경 관리 | 어떤 모델 및 함수 버전을 사용하고 있는가? |
| 평가 | 중요한 사례에서 기대하는 결과를 제공하는가? |
| 자원 사용 | 사용량과 비용 및 실행 한도를 어떻게 관리할 것인가? |
규모와 성능 관리
AIP는 플랫폼의 대규모 데이터 처리와 분산 연산 기반을 활용합니다. 모델을 업무에 연결할 때에는 처리 규모에 맞게 배포하고 자원을 조정할 수 있으며, 사용량을 세부적으로 관리하고 한도를 설정할 수 있습니다.
응답 지연, 처리량과 자원 사용은 입력, 모델, 애플리케이션 구성에 따라 달라집니다. 업무에 사용할 구성에서 실행 상태와 사용량을 관측해야 합니다.
온톨로지와 AIP의 관측 기능으로 함수, 액션과 LLM 호출의 실행 이력, 로그, 지표와 추적 정보를 조사할 수 있습니다. 성능을 개선하려면 지연이 모델 호출에서 발생하는지, 입력 데이터 조회나 다른 도구 호출에서 발생하는지 확인합니다.
결과 설명과 평가
실행의 입력과 출력, 사용한 도구와 처리 단계, 감사 기록과 평가 결과를 함께 검토하여 결과를 해석하고 변경의 영향을 판단합니다.
AIP Evals는 평가 사례와 기준을 구성하여 함수와 프롬프트를 비교하고 반복 실행의 변동을 살펴보는 환경입니다. AIP Logic은 블록을 연결한 처리 로직을 구성하며, AIP 챗봇은 문맥과 도구를 대화에 연결합니다.
설명 기능은 결과를 해석하는 데 활용하고, 그 결과가 업무 규칙과 실제 사실에 맞는지는 별도로 평가합니다.
사용 가능 범위
AIP 기능의 제공 범위는 고객과 환경에 따라 다를 수 있고 변경될 수 있습니다. 실제 기능을 설계할 때에는 해당 플랫폼 인스턴스에서 사용할 수 있는 모델과 기능, 활성화 설정과 권한을 확인합니다.