[#04] kobold를 사용한 로컬 챗봇 돌리기

안녕하세요.

오랜만에 돌아온 포스팅이네요 ㅎ_ㅎ

 

오늘의 주제는 지난번에 이어 돌아온 kobold를 사용하는 로컬 챗봇입니다.

(이번에는 gpu를 사용합니다!)

 

그리고 이번에는 kobold를 이용해서 해보겠습니다.

kobold는 지난번 llama.cpp보다 훨씬 간단한데요.

 

https://github.com/LostRuins/koboldcpp

GitHub - LostRuins/koboldcpp: Run GGUF models easily with a KoboldAI UI. One File. Zero Install.

위 링크로 들어간 뒤,

이 화면의 ~release here 부분을 눌러줍니다.

그리고 밑으로 내려가면 이렇게 파일이 있는데 각자 pc에 맞는 것으로 받아주시면 됩니다.

일반적으로 윈도우+최신그래픽카드 조합이라면 밑에서 3번째 koboldcpp.exe로 받아주시면 됩니다.

 

그리고 다운로드 받은 exe를 실행해줍니다. (잘은 모르겠지만 exe 안에 전부 포팅되어있는 프로그램 같습니다?)

별도로 설치과정 없이 바로 실행됩니다. 그리고 채팅 내용이 저장되던데 아마 웹 캐시 같은 걸로 저장되는 게 아닐지?

(다 의문형이네요 ㅋㅋ;;)

실행하면 터미널 창과 함께 이런 화면이 나올텐데 굳이 따로 바꿔줄 필요는 없습니다. 거의 다 자동으로 설정이 되어있습니다.

 

그냥 아래 Launch를 누르면 바로 모델 선택하는 탐색기 창이 나옵니다. 그러면 다운로드 받아둔 ggml, gguf 파일을 선택하여 실행해주면 되겠습니다.

---

 

참고로 저는 5070ti로 vram이 16gb이고, 모니터를 직결한 상태라서 idle vram이 1.5gb 정도 나옵니다. 즉, 최대로 끌어도 14.5gb 정도인데...

 

모델에 필요한 vram 계산은 간단하게 적어보자면 다음과 같습니다.

- 13B Q8 모델 기준

모델 13.2GB + 컨텍스트 메모리(8192토큰 기준) 6.4GB = 19.6GB

 

컨텍스트를 절반으로 줄여도 안 올라가지구요 ㅋㅋ

2048토큰까지 줄이면 되긴 하겠네요.

 

그리고 23년 하반기를 기점으로 llama.cpp와 kobold 모두 구버전 확장자인 ggml의 지원이 종료되었습니다.

속도가 매우 느리거나, 아예 지원을 하지 않습니다. (버전이나 빌드 방법에 따라 다름)

 

참고로 ggml(.bin)은 gguf의 구버전이라고 보시면 됩니다.

그냥 gguf 모델 받아서 사용하시는걸 추천드려요.

 

개인적인 의견인데 역시 llm 만큼은 mac이나 dgx spark 같이 ARM 아키텍처로 GPU 통합메모리가 지원되는 플랫폼에서만 사용하는 것이 맞는 것 같습니다. 도저히 써먹을 수 있는 수준이 아닙니다.

 

회사에서도 total 64gb의 살짝 구형 nvidia vga가 있어서 여러모로 돌려보는데 그게 진짜 마지노선이 아닐까 싶습니다.

20B 이상의 모델 정도? 그 이하는 제가 노하우가 부족한건진 몰라도 도저히 사람과 대화하는 느낌을 낼 수가 없습니다.