Vai al contenuto

Soluzioni · Chat multimodello

Un VPS per LibreChat

LibreChat è l'interfaccia di chat open source per molti modelli insieme: OpenAI, Anthropic, Google e modelli locali tramite un endpoint compatibile con OpenAI, con agenti, ricerca nei file e account per un intero team. La documentazione non indica valori di RAM o CPU e il file Docker Compose ufficiale avvia sei container, quindi dimensioniamo a partire da questo. BD-8 a $12.90 al mese è la macchina più economica con spazio reale; C2-4-80 a $37.90 è la configurazione più piccola per un utente o un piccolo gruppo.

Attiva BD-8Confronta tutti i piani

Cosa richiede

Software dalla documentazione, dimensioni con la fonte indicata

Il software e le impostazioni di sicurezza provengono dalla documentazione del progetto stesso. Dove il progetto non pubblica requisiti hardware, le dimensioni indicano di chi sono.

Dalla documentazione di LibreChat e dal suo file compose

  • Git e Docker, su Linux. La guida Docker su librechat.ai non elenca altro e non indica requisiti di RAM, CPU o disco.
  • Installazione: clonate il repository, poi cp .env.example .env && docker compose up -d. L'app risponde sulla porta 3080; un secondo container, il pannello di amministrazione, risponde sulla porta 3000.
  • Il file compose ufficiale avvia sei container: l'app LibreChat, il suo pannello di amministrazione, MongoDB per conversazioni e account, Meilisearch per la ricerca nelle conversazioni, un database pgvector e la RAG API per la ricerca nei file.
  • I modelli sono chiavi, non hardware. Le chiavi OpenAI, Anthropic e Google vanno in .env, oppure ogni utente inserisce la propria nell'interfaccia. Un modello locale è un endpoint Ollama separato, o un altro endpoint compatibile con OpenAI, che aggiungete in librechat.yaml: questa macchina quindi non ha bisogno di GPU.

Dimensioni (nostre, dai sei container avviati dal file compose)

Dimensionamento per carico di lavoro
Carico di lavorovCPURAM
Un utente o un piccolo gruppo, poche chat, nessuna ricerca intensiva nei fileNostra. Sei container occupano memoria propria anche a riposo; è il minimo su cui li faremmo girare.24 GB
Un team, ricerca nei file attiva, indice di ricerca in crescitaNostra. MongoDB, Meilisearch e il database vettoriale vogliono ciascuno margine, e l'embedding degli upload è lavoro per la CPU.48 GB
Molti utenti, grandi raccolte di documenti, conversazioni conservate per anniNostra. L'archivio delle conversazioni, l'indice di ricerca e i vettori crescono con l'uso.816 GB

I piani adatti

5 macchine, con prezzi in tempo reale

Prima la macchina adatta più economica. Prezzi odierni, al mese, letti dal catalogo.

  • BD-8$12.90/mese

    4 vCPU · 8 GB · 100 GB di disco · 32 TB

    Il più economico con spazio per l'intero stack. Comodo per un team: i sei container, i caricamenti e l'indice di ricerca, con memoria in avanzo.

    Attiva
  • BD-12$17.90/mese

    6 vCPU · 12 GB · 200 GB di disco · 32 TB

    Più disco per upload e vettori. Per un vero archivio di documenti dietro la ricerca nei file e anni di conversazioni salvate.

    Attiva
  • BD-24$31.90/mese

    8 vCPU · 24 GB · 300 GB di disco · 32 TB

    Un team numeroso o diversi utenti intensivi. Memoria abbondante in cui MongoDB, Meilisearch e il database vettoriale possono crescere.

    Attiva
  • C2-4-80$37.90/mese

    2 vCPU · 4 GB · 80 GB di disco · 3 TB

    La configurazione più piccola, per uno o pochi utenti. Fa girare lo stack; non usatela anche per un modello locale o per build. Sceglietela per la città, non per la dimensione.

    Attiva
  • C4-8-160$75.90/mese

    4 vCPU · 8 GB · 160 GB di disco · 3 TB

    La dimensione comoda se le città della riga più economica non fanno per voi. La stessa configurazione della riga più economica, per un team che ha bisogno di un'altra città.

    Attiva

Non esiste ancora un preset di avvio per LibreChat: l'installazione consiste nei passaggi qui sotto, digitati da voi. Sono i comandi della documentazione di LibreChat, più i segreti richiesti dal suo file compose.

L'installazione

Quattro passi, dalla documentazione di LibreChat

Docker, lo stack compose, il primo account, poi i vostri modelli. Registrate il vostro account appena lo stack è attivo: il primo account creato diventa l'amministratore.

  1. Docker. curl -fsSL https://get.docker.com | sh Poi verificate che docker compose version risponda.
  2. Clonate e configurate. git clone https://github.com/LibreChat-AI/LibreChat.git cd LibreChat && cp .env.example .env In .env impostate MEILI_MASTER_KEY (almeno 16 caratteri) e ADMIN_PANEL_SESSION_SECRET, senza il quale il pannello di amministrazione non si avvia. Se i container segnalano errori di permessi, impostate UID e GID sull'utente che esegue compose.
  3. Avviatelo e registratevi per primi. docker compose up -d docker compose ps dovrebbe mostrare tutti e sei i container attivi. Aprite http://your-ip:3080 e premete Register: non esiste un utente predefinito. Finché non c'è HTTPS davanti, tenete le porte 3080 e 3000 dietro il firewall e raggiungete l'app tramite SSH: ssh -N -L 3080:127.0.0.1:3080 root@your-server
  4. Aggiungete i modelli, poi un dominio. Inserite OPENAI_API_KEY, ANTHROPIC_API_KEY e GOOGLE_KEY in .env, oppure lasciateli come user_provided così ogni utente inserisce la propria chiave. Per un modello locale, aggiungete un endpoint Ollama in librechat.yaml; dall'interno del container l'indirizzo è host.docker.internal, non localhost. Per HTTPS, puntate un record A al server, mettete un reverse proxy davanti e impostate DOMAIN_CLIENT e DOMAIN_SERVER in .env sull'indirizzo pubblico. Quando le vostre persone si sono registrate, impostate ALLOW_REGISTRATION su false.

Onestamente

Cosa acquisteremmo davvero

LibreChat non indica un minimo e avvia sei container. Scegliete la macchina da 8 GB.

Per LibreChat e un team

BD-8 · $12.90/mese

4 vCPU, 8 GB e 100 GB a $12.90: l'intero stack ufficiale con memoria libera per la crescita di MongoDB, Meilisearch e del database vettoriale, disco per gli upload e CPU per l'embedding dei documenti senza bloccare la chat. I modelli stanno altrove, dietro una chiave API, quindi questa macchina non ha mai bisogno di una GPU. Se vi serve una città che la riga più economica non offre, C4-8-160 a $75.90 è la stessa configurazione altrove.

Attiva BD-8C4-8-160 in altre città

Domande

Le domande che si pongono prima dell'acquisto.

Quali sono i requisiti di sistema di LibreChat?
La documentazione non ne pubblica alcuno. La guida Docker indica Git e Docker come prerequisiti e non dice nulla su RAM, CPU o disco. Quello che possiamo leggere è il file compose ufficiale, che avvia sei container: l'app LibreChat, un pannello di amministrazione, MongoDB, Meilisearch, un database pgvector e la RAG API. Le dimensioni in questa pagina sono nostre, ricavate da questo stack, e la tabella lo indica. Con una macchina da 8 GB un team smette di stare stretto.
LibreChat richiede una GPU?
No. LibreChat è l'interfaccia: chiama il modello che configurate, tramite una chiave API per OpenAI, Anthropic, Google e altri, oppure tramite un endpoint personalizzato come Ollama. Se volete ospitare anche un modello, si tratta di una macchina separata e di una questione separata: la pagina Ollama dimensiona l'inferenza su CPU in base al modello, e la linea GPU è quella per la velocità interattiva.
Quali porte utilizza?
Il file compose pubblica l'app sulla PORT indicata in .env, 3080 per default, e il pannello di amministrazione sulla 3000. MongoDB, Meilisearch, il database vettoriale e la RAG API non sono pubblicati e restano sulla rete compose. L'app usa HTTP semplice, quindi tenete 3080 e 3000 chiuse dal firewall finché un reverse proxy non vi fornisce HTTPS, e registrate per primo il vostro account: il primo creato diventa l'amministratore.
Di quali chiavi API ho bisogno?
Nessuna per avviare lo stack, e una per ogni provider che volete usare. In .env.example OPENAI_API_KEY, ANTHROPIC_API_KEY e GOOGLE_KEY sono impostate per default a user_provided, il che significa che ogni utente inserisce la propria chiave nell'interfaccia; inserite lì una chiave reale per condividerne invece una sola con tutti. La ricerca nei file è a parte: la RAG API usa per default gli embedding di OpenAI e RAG_OPENAI_API_KEY sostituisce OPENAI_API_KEY per questo uso, quindi la ricerca nei file richiede una chiave per gli embedding, a meno che non cambiate provider.
Come lo uso con modelli locali?
Aggiungete un endpoint personalizzato in librechat.yaml che punti a un server compatibile con OpenAI come Ollama, al suo indirizzo /v1/ sulla porta 11434. La guida di LibreChat indica di usare host.docker.internal invece di localhost quando LibreChat gira in un container, e che Ollama ignora la chiave API ma il campo non può essere vuoto. Eseguite il modello su una macchina dedicata se non è piccolo; le macchine di questa pagina sono dimensionate per l'interfaccia.
LibreChat, Open WebUI o Dify?
LibreChat e Open WebUI sono entrambe interfacce di chat per molti modelli, e LibreChat punta su account multiutente, agenti e strumenti MCP con diversi provider in hosting. Dify è una piattaforma per app LLM: prompt, workflow e app RAG che costruite ed esponete, più che un front end di chat per un team. Girano tutte sulle stesse macchine, e per ognuna abbiamo una pagina.
Come lo aggiorno?
Dalla documentazione: docker compose down, rimuovete le vecchie immagini, git pull, docker compose pull, poi docker compose up. Prima fate un backup della directory data-node (MongoDB), della directory dei dati di Meilisearch e del vostro .env: contengono le conversazioni, l'indice di ricerca e le chiavi.

Continua a leggere

Correlati