비큐냐(Vicuna)와 text-generation-webu
* Vicuna: https://vicuna.lmsys.org/
* text-generation-webui: https://github.com/oobabooga/text-gen...
- Powershell에서 다음 실행
iex (irm vicuna.tb.ag)
- 출처: 
/ @troublechute
설치 과정:
- Nvidia GPU 있는지 물어봄
- 모델 설치: GPU only, CPU only, GPU+CPU
- 바탕화면 아이콘 설치 여부
설치 시간: 30분~1시간
- oobabooga text-generation-webui 설치
- 모델 다운로드 : 7GB (GPU) + 7.5GB (CPU)
설치 조건:
- GPU: VRAM 12GB 이상 Nvidia 카드에서 이상적으로 동작. 그 이하에서 돌릴수는 있지만 속도 느리고 시행착오 필요. (https://github.com/oobabooga/text-gen..., —pre_layer 로 검색)
| RTX 3070 | 8GB |
| RTX 3080 | 10GB |
| RTX 3090 | 24GB |
| RTX 4070 | 12GB |
| RTX 4080 | 16GB |
| RTX 4090 | 24GB |
- CPU: 가능하지만 속도는 느림.
#vicuna #text-generation-webui #oobabooga #windows #gpu #chatgpt
