llama 3.1 이 출시된 이후로 로컬로 llama 3.1 을 사용중입니다.
윈도우 os 에서 작업을 하다보니, 그것도 윈도우 os 노트북으로 로컬 LLM 을 사용하고 싶어서 이것저것 시행착오가 많네요.
ollama Windows preview 버전의 성능이 좋긴 한데.. GUI 가 예쁘지 않아서 ollama open-webui 를 설치하였으나, cpu 만 있는 노트북 환경에서는 open-webui 가 성능 부족으로 원활하게 작동하진 않습니다.
- ollama Windows 의 공식 다운로드 웹사이트 링크는 다음과 같습니다.
https://ollama.com/download/windows
- ollama open-webui 의 공식 다운로드 웹사이트 경로는 다음과 같습니다.
https://github.com/open-webui/open-webui
// (*전 도커 설치하고 git clone 후 아래 docker run 했습니다)
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
- ollama 를 통해 저장한 AI model 들의 기본 저장 경로 기본 위치는 다음과 같습니다.
C:\Users\user\.ollama\models
참고: 제 경우 ollama 를 백그라운드로 실행한 상태여야만 open-webui 가 실행, 정상 모델을 로드하였습니다. 따라서 모델 저장 경로가 ollama 의 저장 경로를 공유한 것 같습니다. 다른 부분이 있다면 답글로 의견 공유부탁드립니다.
반응형