Spring til indhold

Løsninger · Chat med flere modeller

En VPS til LibreChat

LibreChat er open source-chatgrænsefladen til mange modeller på én gang: OpenAI, Anthropic, Google og lokale modeller via et OpenAI-kompatibelt endpoint, med agenter, filsøgning og konti til et helt team. Dokumentationen angiver ingen tal for RAM eller CPU, og den officielle Docker Compose-fil starter seks containere, så vi dimensionerer ud fra det. BD-8 til $12.90 om måneden er den billigste maskine med reel plads; C2-4-80 til $37.90 er den mindre udgave til én bruger eller en lille gruppe.

Hvad den kræver

Software fra dokumentationen, størrelser mærket efter kilde

Softwaren og sikkerhedsopsætningen kommer fra projektets egen dokumentation. Hvor projektet ikke oplyser hardwarekrav, står det ved størrelserne, hvis tal de er.

Fra LibreChats dokumentation og dens compose-fil

  • Git og Docker på Linux. Docker-vejledningen på librechat.ai nævner intet andet og angiver intet krav til RAM, CPU eller disk.
  • Installation: klon repositoriet, og kør derefter cp .env.example .env && docker compose up -d. Appen svarer på port 3080; en anden container, adminpanelet, svarer på port 3000.
  • Den officielle compose-fil starter seks containere: LibreChat-appen, dens adminpanel, MongoDB til samtaler og konti, Meilisearch til samtalesøgning, en pgvector-database og RAG API'et til filsøgning.
  • Modeller er nøgler, ikke hardware. Nøgler til OpenAI, Anthropic og Google lægges i .env, eller hver bruger indtaster sin egen i grænsefladen. En lokal model er et separat Ollama- eller andet OpenAI-kompatibelt endpoint, som du tilføjer i librechat.yaml, så denne maskine behøver ingen GPU.

Størrelser (vores, ud fra de seks containere, compose-filen starter)

Dimensionering efter anvendelse
ArbejdsbyrdevCPURAM
Én bruger eller en lille gruppe, få chats, ingen tung filsøgningVores. Seks containere bruger hukommelse alene i tomgang; det er det mindste, vi ville køre dem på.24 GB
Et team, filsøgning slået til, voksende søgeindeksVores. MongoDB, Meilisearch og vektordatabasen skal hver have luft, og embedding af uploads er CPU-arbejde.48 GB
Mange brugere, store dokumentsamlinger, samtaler gemt i årevisVores. Samtalelageret, søgeindekset og vektorerne vokser alle med brugen.816 GB

De planer, der passer

5 maskiner, aktuelt prissat

Billigste passende maskine først. Priserne er dagens, pr. måned, hentet fra kataloget.

  • BD-8$12.90/md.

    4 vCPU · 8 GB · 100 GB disk · 32 TB

    Billigst med plads til hele stakken. Rigeligt til et team: de seks containere, uploads og søgeindekset, med hukommelse til overs.

  • BD-12$17.90/md.

    6 vCPU · 12 GB · 200 GB disk · 32 TB

    Mere disk til uploads og vektorer. Til et rigtigt dokumentbibliotek bag filsøgningen og mange års gemte samtaler.

  • BD-24$31.90/md.

    8 vCPU · 24 GB · 300 GB disk · 32 TB

    Et stort team eller flere tunge brugere. Rigeligt med hukommelse, som MongoDB, Meilisearch og vektordatabasen kan vokse ind i.

  • C2-4-80$37.90/md.

    2 vCPU · 4 GB · 80 GB disk · 3 TB

    Den mindre udgave, til én eller få brugere. Kører stakken; kør ikke også en lokal model eller builds på den. Vælg den for byens skyld, ikke størrelsens.

  • C4-8-160$75.90/md.

    4 vCPU · 8 GB · 160 GB disk · 3 TB

    Den komfortable størrelse, når den billigste rækkes byer ikke passer dig. Samme udgave som den billigste række, til et team, der har brug for en anden by.

Der findes endnu ingen opstartsskabelon til LibreChat: installationen er trinene nedenfor, som du selv skriver. Det er kommandoerne fra LibreChats egen dokumentation plus de hemmeligheder, compose-filen beder om.

Installationen

Fire trin fra LibreChats dokumentation

Docker, compose-stakken, den første konto og derefter dine modeller. Registrer din egen konto, så snart stakken kører: den første konto, der oprettes, bliver administrator.

  1. Docker. curl -fsSL https://get.docker.com | sh Kontrollér derefter, at docker compose version svarer.
  2. Klon og konfigurer. git clone https://github.com/LibreChat-AI/LibreChat.git cd LibreChat && cp .env.example .env I .env angiver du MEILI_MASTER_KEY (mindst 16 tegn) og ADMIN_PANEL_SESSION_SECRET, som adminpanelet ikke starter uden. Hvis containerne rapporterer fejl med tilladelser, så sæt UID og GID til den bruger, der kører compose.
  3. Start den, og registrer dig først. docker compose up -d docker compose ps bør vise alle seks containere kørende. Åbn http://your-ip:3080, og tryk på Register: der er ingen standardbruger. Indtil HTTPS er sat foran, holder du 3080 og 3000 bag firewallen og tilgår appen over SSH: ssh -N -L 3080:127.0.0.1:3080 root@your-server
  4. Tilføj modeller og derefter et domæne. Angiv OPENAI_API_KEY, ANTHROPIC_API_KEY og GOOGLE_KEY i .env, eller lad dem stå som user_provided, så hver bruger indtaster sin egen nøgle. For en lokal model tilføjer du et Ollama-endpoint i librechat.yaml; inde fra containeren er adressen host.docker.internal, ikke localhost. Til HTTPS peger du en A-record på serveren, sætter en reverse proxy foran og angiver DOMAIN_CLIENT og DOMAIN_SERVER i .env til den offentlige adresse. Når dine folk har registreret sig, sætter du ALLOW_REGISTRATION til false.

Helt ærligt

Det, vi selv ville købe

LibreChat angiver intet minimum, og den starter seks containere. Køb maskinen med 8 GB.

Til LibreChat og et team

BD-8 · $12.90/md.

4 vCPU, 8 GB og 100 GB til $12.90: hele den officielle stak med hukommelse til overs, så MongoDB, Meilisearch og vektordatabasen kan vokse, disk til uploads og CPU til at embedde dokumenter, uden at chatten går i stå. Modellerne ligger andre steder, bag en API-nøgle, så denne maskine har aldrig brug for en GPU. Har du brug for en by, som den billigste række ikke har, er C4-8-160 til $75.90 samme udgave et andet sted.

Spørgsmål

Hvad folk spørger om, før de køber.

Hvad er systemkravene til LibreChat?
Dokumentationen angiver ingen. Docker-guiden nævner Git og Docker som forudsætninger og siger intet om RAM, CPU eller disk. Det, vi kan læse, er den officielle compose-fil, som starter seks containere: LibreChat-appen, et adminpanel, MongoDB, Meilisearch, en pgvector-database og RAG API'et. Størrelserne på denne side er vores egne, udledt af den stak, og det står der også i tabellen. En maskine med 8 GB er der, hvor et team ikke længere har for trangt.
Kræver LibreChat en GPU?
Nej. LibreChat er grænsefladen: den kalder den model, du konfigurerer, via en API-nøgle til OpenAI, Anthropic, Google og andre eller via et brugerdefineret endpoint som Ollama. Vil du også selv hoste en model, er det en separat maskine og et separat spørgsmål: Ollama-siden dimensionerer CPU-inferens efter model, og GPU-linjen er der, hvor interaktiv hastighed findes.
Hvilke porte bruger det?
Compose-filen udstiller appen på den PORT, der står i .env, som standard 3080, og adminpanelet på 3000. MongoDB, Meilisearch, vektordatabasen og RAG API'et udstilles ikke og forbliver på compose-netværket. Appen kører over almindelig HTTP, så hold 3080 og 3000 lukket i firewallen, indtil en reverse proxy giver dig HTTPS, og registrer din egen konto først: den første konto, der oprettes, bliver administrator.
Hvilke API-nøgler skal jeg bruge?
Ingen for at starte stakken, og én pr. udbyder, du vil bruge. OPENAI_API_KEY, ANTHROPIC_API_KEY og GOOGLE_KEY står som standard til user_provided i .env.example, hvilket betyder, at hver bruger indtaster sin egen nøgle i grænsefladen; indsæt en rigtig nøgle der for i stedet at dele én med alle. Filsøgning er separat: RAG API'et bruger som standard OpenAI-embeddings, og RAG_OPENAI_API_KEY tilsidesætter OPENAI_API_KEY for det, så filsøgning kræver en embeddings-nøgle, medmindre du skifter udbyder.
Hvordan bruger jeg lokale modeller med den?
Tilføj et brugerdefineret endpoint i librechat.yaml, der peger på en OpenAI-kompatibel server som Ollama, på dens /v1/-adresse på port 11434. LibreChats egen vejledning siger, at man skal bruge host.docker.internal i stedet for localhost, når LibreChat kører i en container, og at Ollama ignorerer API-nøglen, men feltet må ikke være tomt. Kør modellen på sin egen maskine, hvis den er mere end en lille model; maskinerne på denne side er dimensioneret til brugerfladen.
LibreChat, Open WebUI eller Dify?
LibreChat og Open WebUI er begge chatgrænseflader til mange modeller, og LibreChat lægger vægt på flerbrugerkonti, agenter og MCP-værktøjer på tværs af hostede udbydere. Dify er en platform til LLM-apps: prompts, workflows og RAG-apps, som du bygger og gør tilgængelige, snarere end en chatfrontend til et team. De kører alle på de samme maskiner, og vi har en side til hver.
Hvordan opdaterer jeg den?
Fra dokumentationen: docker compose down, fjern de gamle images, git pull, docker compose pull og derefter docker compose up. Tag først backup af data-node-mappen (MongoDB), Meilisearch-datamappen og din .env: det er samtalerne, søgeindekset og nøglerne.