llama-server

문서 기준: AIMT PRO 1.17.0.0
최종 편집 일시: 2026-08-02

GGUF 로컬 모델을 AIMT에서 실행해 번역할 때 사용합니다.

1. 런타임 준비

  1. 설정 → AI-MODEL → Llama를 엽니다.
  2. 설치 안내가 나오면 사용할 런타임을 고릅니다.
  3. NVIDIA GPU는 CUDA, 그 밖의 환경은 Vulkan으로 시작합니다.
  4. 다운로드와 설치가 끝날 때까지 AIMT를 종료하지 않습니다.

런타임은 llama.cpp의 Windows용 GitHub Releases 파일을 사용합니다. 설치에는 인터넷 연결과 여유 디스크 공간이 필요합니다.

2. 모델 등록

  1. Llama 목록에서 모델 추가를 누릅니다.
  2. 표시 이름을 입력합니다.
  3. 이미 받은 모델은 Local Model Path에 .gguf 파일 경로를 입력합니다.
  4. 원격 모델은 Hugging Face Repo ID와 Filename을 입력합니다.
  5. 저장한 모델을 선택합니다.

GPU Layers와 Context Length는 기본값으로 먼저 시험하세요. 메모리 부족이 발생하면 GPU Layers 또는 Context Length를 낮춥니다.

3. 서버 실행과 종료

  1. 도구 → 기타 → llama-server를 누릅니다.
  2. 열린 번역 설정에서 Llama 모델과 값을 확인합니다.
  3. 서버를 시작합니다.
  4. 버튼이 llama-server 종료로 바뀌면 실행 중입니다.

작업이 끝나면 같은 버튼으로 서버를 종료할 수 있습니다.

런타임 업데이트

Llama 목록 아래의 Llama 업데이트를 누르고 CUDA 또는 Vulkan을 선택합니다. 실행 중인 서버를 종료한 뒤 기존 런타임을 최신 GitHub 빌드로 다시 설치합니다.

중요

업데이트 중 AIMT를 종료하지 마세요. 모델 파일은 별도 경로에 보관하고, 다운로드 실패 시 네트워크와 저장 공간을 확인한 뒤 다시 실행합니다.

실행되지 않을 때

  • 런타임 없음: Llama 탭에서 설치 또는 업데이트를 다시 실행합니다.
  • 모델 없음: Local Model Path 또는 Repo ID와 Filename을 확인합니다.
  • CUDA 오류: 드라이버를 확인하거나 Vulkan 런타임으로 시험합니다.
  • 메모리 부족: 더 작은 GGUF 양자화 모델을 사용하고 GPU Layers와 Context Length를 낮춥니다.
  • 응답 없음: 서버 상태와 번역 설정의 Timeout을 확인합니다.