본문 바로가기
IT/인공지능 AI

ollama Windows 와 ollama open-webui 의 기본 인공지능 모델 저장 경로

by RunningPencil 2024. 8. 8.

llama 3.1 이 출시된 이후로 로컬로 llama 3.1 을 사용중입니다.

윈도우 os 에서 작업을 하다보니, 그것도 윈도우 os 노트북으로 로컬 LLM 을 사용하고 싶어서 이것저것 시행착오가 많네요.

 

ollama Windows preview 버전의 성능이 좋긴 한데.. GUI 가 예쁘지 않아서 ollama open-webui 를 설치하였으나, cpu 만 있는 노트북 환경에서는 open-webui 가 성능 부족으로 원활하게 작동하진 않습니다.

 

  • ollama Windows 의 공식 다운로드 웹사이트 링크는 다음과 같습니다.

https://ollama.com/download/windows

 

Download Ollama on Windows

Download Ollama on Windows

ollama.com

  • ollama open-webui 의 공식 다운로드 웹사이트 경로는 다음과 같습니다.  

https://github.com/open-webui/open-webui

 

GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)

User-friendly WebUI for LLMs (Formerly Ollama WebUI) - open-webui/open-webui

github.com

 

// (*전 도커 설치하고 git clone 후 아래 docker run 했습니다)
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

 

  • ollama 를 통해 저장한 AI model 들의 기본 저장 경로 기본 위치는 다음과 같습니다.
C:\Users\user\.ollama\models

 

 

참고: 제 경우 ollama 를 백그라운드로 실행한 상태여야만 open-webui 가 실행, 정상 모델을 로드하였습니다. 따라서 모델 저장 경로가 ollama 의 저장 경로를 공유한 것 같습니다. 다른 부분이 있다면 답글로 의견 공유부탁드립니다.

반응형