Løsninger · Chat med flere modeller
En VPS til LibreChat
LibreChat er open source-chatgrænsefladen til mange modeller på én gang: OpenAI, Anthropic, Google og lokale modeller via et OpenAI-kompatibelt endpoint, med agenter, filsøgning og konti til et helt team. Dokumentationen angiver ingen tal for RAM eller CPU, og den officielle Docker Compose-fil starter seks containere, så vi dimensionerer ud fra det. BD-8 til $12.90 om måneden er den billigste maskine med reel plads; C2-4-80 til $37.90 er den mindre udgave til én bruger eller en lille gruppe.
Hvad den kræver
Software fra dokumentationen, størrelser mærket efter kilde
Softwaren og sikkerhedsopsætningen kommer fra projektets egen dokumentation. Hvor projektet ikke oplyser hardwarekrav, står det ved størrelserne, hvis tal de er.
Fra LibreChats dokumentation og dens compose-fil
- Git og Docker på Linux. Docker-vejledningen på librechat.ai nævner intet andet og angiver intet krav til RAM, CPU eller disk.
- Installation: klon repositoriet, og kør derefter
cp .env.example .env && docker compose up -d. Appen svarer på port 3080; en anden container, adminpanelet, svarer på port 3000. - Den officielle compose-fil starter seks containere: LibreChat-appen, dens adminpanel, MongoDB til samtaler og konti, Meilisearch til samtalesøgning, en pgvector-database og RAG API'et til filsøgning.
- Modeller er nøgler, ikke hardware. Nøgler til OpenAI, Anthropic og Google lægges i .env, eller hver bruger indtaster sin egen i grænsefladen. En lokal model er et separat Ollama- eller andet OpenAI-kompatibelt endpoint, som du tilføjer i librechat.yaml, så denne maskine behøver ingen GPU.
Størrelser (vores, ud fra de seks containere, compose-filen starter)
| Arbejdsbyrde | vCPU | RAM |
|---|---|---|
| Én bruger eller en lille gruppe, få chats, ingen tung filsøgningVores. Seks containere bruger hukommelse alene i tomgang; det er det mindste, vi ville køre dem på. | 2 | 4 GB |
| Et team, filsøgning slået til, voksende søgeindeksVores. MongoDB, Meilisearch og vektordatabasen skal hver have luft, og embedding af uploads er CPU-arbejde. | 4 | 8 GB |
| Mange brugere, store dokumentsamlinger, samtaler gemt i årevisVores. Samtalelageret, søgeindekset og vektorerne vokser alle med brugen. | 8 | 16 GB |
De planer, der passer
5 maskiner, aktuelt prissat
Billigste passende maskine først. Priserne er dagens, pr. måned, hentet fra kataloget.
- BD-8$12.90/md.
4 vCPU · 8 GB · 100 GB disk · 32 TB
Billigst med plads til hele stakken. Rigeligt til et team: de seks containere, uploads og søgeindekset, med hukommelse til overs.
- BD-12$17.90/md.
6 vCPU · 12 GB · 200 GB disk · 32 TB
Mere disk til uploads og vektorer. Til et rigtigt dokumentbibliotek bag filsøgningen og mange års gemte samtaler.
- BD-24$31.90/md.
8 vCPU · 24 GB · 300 GB disk · 32 TB
Et stort team eller flere tunge brugere. Rigeligt med hukommelse, som MongoDB, Meilisearch og vektordatabasen kan vokse ind i.
- C2-4-80$37.90/md.
2 vCPU · 4 GB · 80 GB disk · 3 TB
Den mindre udgave, til én eller få brugere. Kører stakken; kør ikke også en lokal model eller builds på den. Vælg den for byens skyld, ikke størrelsens.
- C4-8-160$75.90/md.
4 vCPU · 8 GB · 160 GB disk · 3 TB
Den komfortable størrelse, når den billigste rækkes byer ikke passer dig. Samme udgave som den billigste række, til et team, der har brug for en anden by.
Der findes endnu ingen opstartsskabelon til LibreChat: installationen er trinene nedenfor, som du selv skriver. Det er kommandoerne fra LibreChats egen dokumentation plus de hemmeligheder, compose-filen beder om.
Installationen
Fire trin fra LibreChats dokumentation
Docker, compose-stakken, den første konto og derefter dine modeller. Registrer din egen konto, så snart stakken kører: den første konto, der oprettes, bliver administrator.
- Docker.
curl -fsSL https://get.docker.com | shKontrollér derefter, atdocker compose versionsvarer. - Klon og konfigurer.
git clone https://github.com/LibreChat-AI/LibreChat.git cd LibreChat && cp .env.example .envI .env angiver duMEILI_MASTER_KEY(mindst 16 tegn) ogADMIN_PANEL_SESSION_SECRET, som adminpanelet ikke starter uden. Hvis containerne rapporterer fejl med tilladelser, så sætUIDogGIDtil den bruger, der kører compose. - Start den, og registrer dig først.
docker compose up -ddocker compose psbør vise alle seks containere kørende. Åbn http://your-ip:3080, og tryk på Register: der er ingen standardbruger. Indtil HTTPS er sat foran, holder du 3080 og 3000 bag firewallen og tilgår appen over SSH:ssh -N -L 3080:127.0.0.1:3080 root@your-server - Tilføj modeller og derefter et domæne. Angiv
OPENAI_API_KEY,ANTHROPIC_API_KEYogGOOGLE_KEYi .env, eller lad dem stå som user_provided, så hver bruger indtaster sin egen nøgle. For en lokal model tilføjer du et Ollama-endpoint i librechat.yaml; inde fra containeren er adressen host.docker.internal, ikke localhost. Til HTTPS peger du en A-record på serveren, sætter en reverse proxy foran og angiverDOMAIN_CLIENTogDOMAIN_SERVERi .env til den offentlige adresse. Når dine folk har registreret sig, sætter duALLOW_REGISTRATIONtil false.
Helt ærligt
Det, vi selv ville købe
LibreChat angiver intet minimum, og den starter seks containere. Køb maskinen med 8 GB.
Til LibreChat og et team
BD-8 · $12.90/md.
4 vCPU, 8 GB og 100 GB til $12.90: hele den officielle stak med hukommelse til overs, så MongoDB, Meilisearch og vektordatabasen kan vokse, disk til uploads og CPU til at embedde dokumenter, uden at chatten går i stå. Modellerne ligger andre steder, bag en API-nøgle, så denne maskine har aldrig brug for en GPU. Har du brug for en by, som den billigste række ikke har, er C4-8-160 til $75.90 samme udgave et andet sted.
Spørgsmål