예비 모델

예비 모델은 현재 모델이 일시적으로 응답하지 않을 때 같은 작업을 이어받는 모델입니다. 등록한 모델 중에서 최대 5개까지 골라 시도할 순서를 정합니다.

설정하기

변경 내용은 바로 저장되며, 새 작업부터 적용됩니다.

순서 바꾸기와 빼기

• 카드 왼쪽의 손잡이를 끌어 순서를 바꿉니다. 위에 있는 모델부터 차례로 시도합니다.
• 카드 오른쪽의 X 버튼을 누르면 목록에서 뺍니다.

예비 모델로 넘어가는 경우

모델 요청이 실패하면 Butler는 오류 종류에 따라 다르게 처리합니다.

마지막 예비 모델까지 실패하면 오류를 표시합니다.

동작 방식

• 한 번 예비 모델로 넘어가면 그 요청의 나머지 처리는 예비 모델이 이어 갑니다. 다음 요청은 다시 현재 모델부터 시작합니다.
• 예비 모델이 현재 추론 강도를 지원하면 같은 강도를, 지원하지 않으면 그 모델의 기본 추론 강도를 씁니다.
• 현재 모델과 같은 모델(같은 제공자의 같은 모델 ID)은 예비 모델 목록에 나타나지 않습니다.
• 모델 관리에서 삭제한 모델은 예비 모델 목록에서도 빠집니다.
• 사용 한도 소진이나 제공자 장애에 대비하려면 다른 제공자의 모델을 예비 모델로 둡니다.

대화 기억 정리 모델

같은 섹션의 대화 기억 정리 모델과 추론은 예비 모델과 별개입니다. 대화 기억을 정리할 때 쓸 모델을 정하며, 모델 기본값을 고르면 현재 버틀러 기본 모델 설정을 그대로 따릅니다.

주의 사항

관련 문서