Logic 구성과 오류에 관한 질문

토큰 수와 블록 분할

LLM 프롬프트와 도구 응답은 토큰 한도에 포함되며 한도는 블록마다 적용됩니다. Debugger의 메시지 끝에서 사용량을 확인합니다. 표시 막대가 빨간색이면 문맥을 줄이는 것이 좋습니다.

입력 객체와 Query objects에서 필요한 속성만 선택합니다. Show raw로 모델이 주고받은 문자열을 확인합니다. 큰 블록을 여러 Use LLM 단계로 나누거나 32k처럼 필요한 문맥 크기를 지원하는 사용 가능한 모델을 선택할 수 있습니다. 변환, 함수 실행과 액션 적용을 결정적 블록으로 처리하면 그 단계 자체에서 LLM 토큰을 쓰지 않습니다.

하나의 큰 블록은 초기 실험에서 크게 바꾸기 쉽습니다. 여러 단계의 결과가 일관되지 않거나 문맥 한도에 도달하거나 실행이 너무 느리면 나누는 편이 적합할 수 있습니다. 각 블록에는 명시적으로 전달한 정보만 들어가므로 불필요한 중간 정보를 줄이고 문맥 초과를 피할 수 있습니다. 여러 작은 작업이 더 빨리 실행될 수도 있지만 실제 성능은 평가해야 합니다.

품질 개선과 피드백

입출력 사례 5~10개를 저장하고 프롬프트 변경마다 평가합니다. Few-shot 예시로 기대 형식을 제공하고, 예상하지 못한 실패에서는 모델에 작업 이해와 계획을 설명하게 하여 빠진 문맥을 조사할 수 있습니다. 재사용 가능한 계산은 결정적 블록에 두고 AIP Evals로 실패 유형과 변경 영향을 비교합니다.

피드백을 다시 문맥으로 활용하는 예시에서는 권고와 그 이유, 사람의 검토 피드백 및 확인한 최종 결정을 가상의 Suggestion 객체에 저장합니다. 다음 실행은 Query objects로 비슷한 권고의 과거 피드백을 검색하여 판단에 활용합니다. 이는 검색한 사례를 입력에 제공하는 방식이며 모델 가중치를 자동 학습하는 기능을 뜻하지 않습니다.

온도와 의미 검색

Use LLM > Configuration에서 온도를 설정할 수 있습니다. 기본은 0이며 낮은 값은 출력의 무작위성을 줄입니다. 다음은 0.9를 지정하는 예시입니다.

{
    "temperature": 0.9
}

온톨로지 의미 검색은 이를 수행하는 액션이나 객체 함수를 만들고 Logic의 도구로 호출하는 방식으로 연결할 수 있습니다.

평가 사례와 버전

함수 실행 성공 여부와 기대 출력을 단위 평가로 확인합니다. Evals 탭의 Generate evals는 사례, 평가 함수와 지표를 구성하지만 생성 내용을 검토하고 보완해야 합니다. 결과 분석은 실패를 원인별로 묶고 대표 사례와 프롬프트 변경안을 제공합니다. Run history > Add as test case로 이전 실행을 새 모음이나 기존 모음에 추가할 수 있습니다.

버전 이력에서 저장된 이전 버전을 선택하여 현재 구성과 비교하거나 되돌릴 수 있습니다.

여러 반환값과 객체 수 제한

하나의 LLM 블록에서 이름이 있는 여러 값을 반환하려면 Struct 출력을 사용합니다.

Object Query 또는 Function 도구의 Configure object return limits에서 도구 사용 시 LLM에 제공할 객체 수를 조정할 수 있습니다.

Debugger에서는 되지만 외부 호출이 실패하는 경우

Logic Debugger의 개발 및 시험 실행에는 5분 실행 제한이 적용되지 않습니다. Workshop이나 함수 실행 API로 호출하면 5분 제한이 적용됩니다. 따라서 편집기 성공만으로 외부 호출에서의 실행 시간을 충족한다고 판단하지 않습니다. 앱 연결 방식은 함수 사용 절차를 확인합니다.