Pipeline Builder의 AIP 기능
Pipeline Builder의 AIP 기능은 데이터에 모델을 적용하는 연산과 파이프라인 작성을 돕는 보조 기능으로 나뉩니다. 기능 제공 여부는 플랫폼 인스턴스에 따라 달라질 수 있습니다.
데이터 처리에 모델 사용
사용자 데이터에 LLM이나 embedding을 적용하려면 플랫폼 관리자가 custom workflow용 AIP 기능 권한을 부여해야 합니다.
Use LLM 노드는 변환 경로 중간에서 입력 열을 프롬프트에 넣고 결과 열을 만듭니다. Palantir 제공 모델과 함께 Data Connection의 REST API 소스 또는 compute module로 등록한 모델을 사용할 수 있습니다. 모델 선택기의 Registered에서 찾습니다.
Fallback 모델은 우선순위 목록으로 지정할 수 있습니다. 주 모델에 재시도할 수 없는 오류가 생기면 다음 모델을 순서대로 시도하며, 모델 전환을 알리는 debug 메시지가 표시됩니다.
Text to embeddings 표현식은 문자열을 의미를 표현하는 벡터로 바꿉니다. REST API 소스나 compute module로 등록한 embedding 모델도 선택할 수 있습니다. 연산 비용이 크므로 미리보기와 빌드가 느려질 수 있습니다.
LLM 평가 모음은 Use LLM 노드를 테스트 데이터와 평가기로 실행하여 기대 결과와 비교합니다. 학습된 모델 노드는 Foundry 안팎에서 학습한 별도 ML 모델을 배치 또는 스트리밍에서 실행하는 경로입니다.
파이프라인 설명
그래프 위 가운데의 보라색 AIP 전구에서 Explain을 선택합니다. 설명할 노드들은 하나의 연결된 집합이어야 하고, 변환 노드가 하나 이상이며 출력은 하나여야 합니다.
안내에 따라 그래프의 노드를 선택하고 필요한 노드를 추가하거나 제외합니다.
Explain xx nodes를 선택하면 해당 변환들의 설명을 생성합니다.
노드 하나를 선택하고 오른쪽 메뉴의 Explain으로 설명할 수도 있습니다.
노드 내부의 일부 변환 보드만 선택하여 설명하는 경로도 제공합니다.
이름과 설명 제안
변환의 기본 이름 옆 AIP 아이콘은 이름을 제안합니다.
가상 청구 데이터 예시에서는 Transform path 대신 Open claims by landlord...처럼 수행 작업을 드러내는 이름을 제안합니다.
설명 칸의 보라색 Generate는 변환 경로의 짧은 설명을 만듭니다.
이름이나 설명을 저장하면 파이프라인에 유지되고 다른 협업자에게도 보입니다.
여러 노드의 제안
아래쪽 Suggestions 탭에서 한 번에 최대 10개 노드의 이름과 설명을 제안받을 수 있습니다.
노드를 하나 이상 선택하면 아직 이름이나 설명이 없는 항목의 제안이 나타납니다.
각 제안의 Apply로 해당 노드에 저장합니다.
Transform Assist
정규식 작성과 수정
Regex extract, regex extract all, regex replace, regex find 또는 regex match처럼 정규식을 받는 보드에서 사용할 수 있습니다. Pattern 옆 AIP 아이콘에 원하는 추출, 치환 또는 검색 조건을 설명합니다. 예를 들어 email_string에서 이메일 도메인을 추출하도록 요청할 수 있습니다.
Generate로 결과를 확인하고 데이터에 적용합니다.
기존 정규식도 같은 창에서 수정할 수 있습니다. 예를 들어 @([\da-z\.-]+\.([a-z\.]{2,63}))를 제시하고 대문자도 포함하도록 요청합니다. 이 패턴은 도메인 추출 예시이며 전체 이메일 문법을 검증하는 규칙은 아닙니다.
Generate로 수정 결과를 확인합니다.
Timestamp 형식
String을 Timestamp로 바꾸는 Cast 보드를 만들고 Generate를 선택합니다.
파싱할 문자열 예시를 입력합니다. 서로 다른 형식이 있다면 여러 예시를 함께 넣을 수 있습니다.
AIP는 예시에 맞는 형식들을 만들어 보드에 추가합니다. 확인 후 Apply를 선택합니다.
원래 문자열과 파싱한 Timestamp 열을 결과에서 비교할 수 있습니다.
Proposal 설명 생성
변경 후 오른쪽 위 Propose로 제안 생성 화면을 엽니다.
Generate를 선택하면 브랜치의 로직 및 설정 변경을 설명합니다.
중요한 맥락이나 강조할 변경을 먼저 입력한 뒤 생성할 수도 있습니다. AIP는 그 맥락을 사용하고 기존 글 아래에 구분하여 설명을 추가합니다.
다시 생성할 때는 관련된 입력 문장만 남기고 이전에 생성한 설명 등 불필요한 내용을 지우면 중복된 설명을 피할 수 있습니다.
자연어로 변환 생성
Generate는 선택한 노드의 메타데이터와 사용자의 요청으로 변환 로직을 제안합니다. 이 기능은 기반 데이터 자체를 노출하지 않고 메타데이터로 로직을 생성합니다. 실제 입력값을 모델에 전달하는 Use LLM 노드의 동작과 구분합니다.
그래프 위 가운데의 별 두 개 AIP 아이콘을 선택하고 입력 노드들을 고릅니다. macOS의 Cmd 또는 Windows의 Ctrl을 누르며 노드를 선택하면 추가하거나 제외할 수 있습니다.
요청을 적고 Generate를 선택합니다.
하나 이상의 변환 노드가 보라색으로 강조되고 생성한 로직의 설명이 함께 나타납니다. 일반 변환처럼 파이프라인 로직에 저장할 수 있습니다.
계속 작성하려면 Back to generate에서 다음 입력 노드들과 요청을 지정합니다.
입력창을 선택하면 최근 요청을 볼 수 있습니다. 이전 항목을 고르면 원래 입력 노드들도 자동 선택되어 같은 요청을 다시 시도할 수 있습니다.