[#03] llama.cpp를 사용하여 cpu만으로 챗봇(LLM) 돌리는 방법(2)

저번에는 c++, cmake 등의 프로그램을 통해 직접 llama.cpp를 빌드하는 방법을 알아보았습니다.

(저도 잘은 모르지만 사실 python은 굳이 설치할 필요가 없었던 것 같구요... 그리고 아마 c++은 컴파일러 때문에? 설치를 하는 것 같네요. cmake 빌드하는 데 컴파일러가 필요하니까)

 

아무튼 사설이 길어졌는데 조금 더 찾아보니 아예 빌드된 걸 푼 게 있더라구요? ㅋㅋㅋㅋㅋ

(약간 유튜브 리밴스드 쓰는 분들이라면 이해하기 쉬우실텐데 revanced manager를 설치해서 youtube 앱을 직접 revanced로 빌드하는 방법이 있고, 요새는 그냥 빌드되어 있는 revanced만 바로 설치하는 방법도 있잖아요? 그거랑 똑같다고 보시면 됩니다.)

 

아무튼 이번엔 정말정말 간단합니다. 우선 이번에도 gpu가 아닌 cpu만 가지고 계신 분들을 위한 방법이구요. 저번 글에서는 아예 언급을 안했었는데 gpu를 쓰더라도 그냥 별도 gpu 옵션을 넣어주시면 됩니다. (non-option 시에도 자동으로 gpu를 잡아주는 지는 잘 모르겠습니다.)

 

이번에는 빌드된 파일을 받는 것이다 보니 처음부터 gpu, cpu-only user를 구분하여 받아주게 됩니다. 그럼 바로 본론으로 넘어가봅시다.

---

https://github.com/ggml-org/llama.cpp/releases

Releases · ggml-org/llama.cpp

우선 여기에 들어가서 본인 운영체제와 아키텍처에 맞는 버전을 받아주시기 바랍니다. 만약 나는 아예 컴맹이고 그냥 컴퓨터 쓴다~ 하시는 분들은 100에 99는 llama-b6992-bin-win-cpu-x64일테니 그냥 저걸로 받아주시면 됩니다.

(혹시나 맥 쓰시는 분들은 요즘 m1, m2 뭐 이런거면 x64가 아니라 arm 버전으로 받아주시면 되구요.)

 

그리고 gpu가 있으신 분들은 cpu가 아닌 cuda가 들어간 버전으로 받아주시면 되겠쬬?

 

받고 나면 압축을 풀어주시고 이름을 그냥 편의를 고려하여 llama.cpp로 바꿔주시기 바랍니다.

 

그리고 안에 models 폴더를 생성 후 안에 llm model file을 넣어주시면 됩니다. 다만 해당 버전은 최신 버전으로 최신 확장자인 gguf를 제외한 ggml을 지원하지 않습니다..! 그러므로 gguf 확장자의 모델만 받아주시기 바랍니다.

 

이렇게 모델 폴더를 생성하고 파일까지 넣어주셨으면 그냥 llama.cpp 폴더에서 빈 공간에 마우스 우클릭 '터미널에서 열기(T)'를 누른 뒤 아래 명령어를 입력하시면 끝납니다!

 

./llama-server -m ./models/[modelname.gguf] --host 0.0.0.0 --port 8080

 

[modelname.gguf] 부분에는 직접 받은 모델명을 적어주시면 되구요. 만약 오류 없이 잘 나온다면 아래와 같은 화면이 나오게 됩니다.

1번 사진

위 화면처럼 마지막 줄에 http://0.0.0.0:8080이 있고, 입력 창이 아니라 그냥 커서만 깜빡거리고 있다면 제대로 실행 중인 겁니다. 그럼 이제 웹브라우저로 들어간 다음 localhost:8080 혹은 127.0.0.1:8080을 입력하여 사이트로 들어가 바로 채팅을 해주시면 되겠습니다~

 

개인적으로 요게 속도도 좀 더 빠르고 웹 UI/UX도 더 좋은 것 같네요.

 

그럼 이만!

 

[ref.] https://arca.live/b/alpaca/151553124?mode=best