LM Studio – Discover, download, and run local LLMs
Źródło/Cytat: Jarek @ https://www.facebook.com/groups/886325572551447/
Uruchom LLM na swoim laptopie, całkowicie offline
Korzystaj z modeli za pomocą wbudowanego interfejsu czatu w aplikacji
Lokalny serwer API LLM ala OpenAI API
Pobierz dowolne kompatybilne pliki modelu z repozytoriów HuggingFace
DOWOLNY MODEL LLM:
LLaMa
Falcon
MPT
StarCoder
Replit
GPT-Neo-X
gguf
itp.z repozytorium Hugging Face na lokalnym komputerze z macOS/Win.
Minimalne wymagania: Mac z procesorem M1/M2 lub komputer z systemem Windows z procesorem obsługującym AVX2. Linux jest w trakcie opracowywania.
Link: https://lmstudio.ai/