ollama 한글모델 ggml-model-Q5_K_M.gguf 설치

https://huggingface.co/heegyu/EEVE-Korean-Instruct-10.8B-v1.0-GGUF/tree/main

heegyu/EEVE-Korean-Instruct-10.8B-v1.0-GGUF at main

에서 모델 파일 다운로드 합니다. 

 

저는ggml-model-Q5_K_M.gguf 을 다운로드 받았습니다.

 

다운로드 받고해당 프로젝트 폴더를 만듭니다.

 

• HuggingFace-Hub 설치

pip install huggingface-hub

 

Modelfile 생성

FROM ggml-model-Q5_K_M.gguf

TEMPLATE """{{- if .System }}
<s>{{ .System }}</s>
{{- end }}
<s>Human:
{{ .Prompt }}</s>
<s>Assistant:
"""

SYSTEM """A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions."""

PARAMETER stop <s>
PARAMETER stop </s>

 

• 아래와 같이 vs-code내에 같은 폴더에 만들어줍니다.

 

• 그리고 경로에 Model경로 에 맞게 넣어서 실행합니다.

ollama create EEVE-Korean-10.8B -f D:/Develop/ai/ollama/HuggingFacegguf/Modelfile

 

• 모델 목록으로 설치 확인합니다.

ollama list

설치된걸 확인할수 있습니다.

 

 

 

open-webui에 등록된걸 확인할수 있습니다.