IT/인공지능 AI4 [sLLM 로컬 프로젝트] 3.Notebook llama 를 통해 Meta 의 LLM 가이드라인을 분석하기 (feat. Meta 가 목표하는 llama의 활용법) * 지난번처럼 본 글도 o1-preview 의 도움을 받았으나, 매크로 생성 글은 아닙니다.* 이번 글은 Notebook llama 를 중 Step-1 코드를 구동해보는 기록이라 내용에 분량이 좀 있습니다.* 따라서 결론 5번(5. Notebook llama 의 시사점 및 코드 실행 결과)만 보시는 것도 좋습니다. 1. Notebook llama 란? Meta 가 Notebook llama 를 발표했습니다. 아니, 발표라고 해야할지 공유라고 해야할지. Github 에 Notebook llama 라는 걸 출시했습니다. 먼저 Notebook llama 의 Github 링크는 아래와 같습니다.https://github.com/meta-llama/llama-recipes/blob/main/recipes/quic.. 2024. 10. 29. [sLLM 로컬 프로젝트] 2.ollama 와 Python 으로 소통하기 (feat. 파일 로컬 LLM 에 요청 및 응답 수신 성공) * 본 글은 GPT o1-preview 의 도움을 받아 코드 부분을 작성하였습니다.* 다만 본 글은 매크로 생성 글은 아닙니다. 1. ollama APIollama 는 api 를 제공합니다.https://github.com/ollama/ollama/blob/main/docs/api.md ollama/docs/api.md at main · ollama/ollamaGet up and running with Llama 3.2, Mistral, Gemma 2, and other large language models. - ollama/ollamagithub.com ollama 가 api 를 제공한다는 건, LLM 모델을 구동하고 있는 ollama 에게 별도 명령을 내릴 수 있다는 의미입니다.ollama api .. 2024. 10. 22. [sLLM 로컬 프로젝트] 1.ollama 와 OpenWebui 설정하기 (feat. 첨부 파일 리딩 기능 개선 필요) *본 글은 인공지능으로 작성하지 않았습니다. sLLM 이 지속적으로 출시되고 있습니다. GPT를 쓰다보면 생기는 생각은, 비용이 조금만 더 싸면 좋을 텐데.. 라는 부분입니다.무료로 LLM 을 쓸 수 있는 방법이 있을까? 는 국내외적으로도 계속 연구되고 있는 부분인 것 같고, 현재로서는 ollama 와 OpenWebUI를 사용한 방법이 그나마 LLM을 로컬에서 사용하는 현실적인 방법인 것 같습니다. 제 환경은 윈도우, 16GB RAM 입니다. (*그래픽카드 없는 노트북) 1. ollama 설치https://ollama.com/download/windows Download Ollama on WindowsDownload Ollama on Windowsollama.com ollama 를 설치하고, 모델을 다운.. 2024. 10. 7. ollama Windows 와 ollama open-webui 의 기본 인공지능 모델 저장 경로 llama 3.1 이 출시된 이후로 로컬로 llama 3.1 을 사용중입니다.윈도우 os 에서 작업을 하다보니, 그것도 윈도우 os 노트북으로 로컬 LLM 을 사용하고 싶어서 이것저것 시행착오가 많네요. ollama Windows preview 버전의 성능이 좋긴 한데.. GUI 가 예쁘지 않아서 ollama open-webui 를 설치하였으나, cpu 만 있는 노트북 환경에서는 open-webui 가 성능 부족으로 원활하게 작동하진 않습니다. ollama Windows 의 공식 다운로드 웹사이트 링크는 다음과 같습니다.https://ollama.com/download/windows Download Ollama on WindowsDownload Ollama on Windowsollama.comollama.. 2024. 8. 8. 이전 1 다음 반응형
