Soluzioni · Modelli locali

Un VPS per Ollama

Ollama serve modelli aperti tramite un'API locale, e l'unica regola rigida è che il modello deve stare in memoria: un modello da 8 miliardi di parametri è un download di 4.9 GB, uno da 70B è di 42.5 GB. Su CPU risponde a pochi token al secondo, sufficiente per un assistente privato, job batch ed embedding, non per un prodotto di chat. BD-8 a $12.90 esegue i modelli 8B; BD-64 a $84.90 esegue quelli 70B.

Attiva BD-8 Attiva C4-8-160 con Ollama installato

Cosa richiede

Software dalla documentazione, dimensioni con la fonte indicata

Il software e le impostazioni di sicurezza provengono dalla documentazione del progetto stesso. Dove il progetto non pubblica requisiti hardware, le dimensioni indicano di chi sono.

Da docs.ollama.com e dal registry

Installazione: curl -fsSL https://ollama.com/install.sh | sh: crea l'utente ollama e un servizio systemd.
Per impostazione predefinita è in ascolto su 127.0.0.1:11434; OLLAMA_HOST=0.0.0.0 lo espone, e Ollama non ha autenticazione propria, quindi mettete prima davanti un proxy con autenticazione.
I modelli si trovano in /usr/share/ollama/.ollama/models; dimensioni dal registry: llama3.1:8b 4.9 GB · qwen3:14b 9.3 GB · gemma3:27b 17.4 GB · qwen3:32b 20.2 GB · llama3.3:70b 42.5 GB.
Una GPU è facoltativa: senza, il modello gira su CPU e RAM, lentamente; con una GPU gira dalla VRAM, velocemente.

Dimensioni (nostre: il modello deve stare in RAM con margine)

Dimensionamento per carico di lavoro
Carico di lavoro	vCPU	RAM
Modelli 4B–8B (gemma3:4b 3.3 GB, llama3.1:8b 4.9 GB)Assistenti, riassunti, embedding. Pochi token al secondo su CPU.	4	8 GB
Modelli 12B–14B (gemma3:12b 8.1 GB, qwen3:14b 9.3 GB)Risposte nettamente migliori, nettamente più lente.	6	16 GB
Modelli 27B–32B (gemma3:27b 17.4 GB, qwen3:32b 20.2 GB)Utilizzabile per lavori batch, non per un utente in attesa.	8	32 GB
Modelli 70B (llama3.3:70b 42.5 GB)Ci sta. Lento. Per l'uso interattivo, la risposta onesta è un server GPU.	16	64 GB

I piani adatti

4 macchine, con prezzi in tempo reale

Ordinati per memoria, che è ciò che determina il modello. Prezzi attuali, al mese, letti dal catalogo.

BD-8$12.90/mese
4 vCPU · 8 GB · 100 GB di disco · 32 TB
8 GB: i modelli 8B. 4 vCPU, 8 GB, 100 GB per i download. Esegue llama3.1:8b, qwen3:8b, gemma3:4b. Incollate voi l'installer di una riga.
Attiva
U6-16-120$47.90/mese
6 vCPU · 16 GB · 120 GB di disco · Unmetered
16 GB: i modelli 14B, unmetered, Istanbul. 6 vCPU e 16 GB eseguono qwen3:14b e gemma3:12b; traffico non conteggiato per scaricare modelli liberamente.
Attiva
BD-64$84.90/mese
16 vCPU · 64 GB · 500 GB di disco · 32 TB
64 GB: fino a 70B, 16 core. La macchina più economica di questa pagina che contiene in memoria llama3.3:70b o qwen3:32b. Aspettatevi un paio di token al secondo con quelli grandi.
Attiva
C4-8-160$75.90/mese
4 vCPU · 8 GB · 160 GB di disco · 3 TB
8 GB, arriva con Ollama installato. Il preset installa il servizio su un fornitore che esegue gli script di avvio; 160 GB di disco per una libreria di modelli.
Attiva con installazione

Piani adatti, con prezzi in tempo reale
Piano	vCPU	RAM	Disco	Traffico	Prezzo	Attiva
BD-88 GB: i modelli 8B4 vCPU, 8 GB, 100 GB per i download. Esegue llama3.1:8b, qwen3:8b, gemma3:4b. Incollate voi l'installer di una riga.	4	8 GB	100 GB	32 TB	$12.90/mese	Attiva
U6-16-12016 GB: i modelli 14B, unmetered, Istanbul6 vCPU e 16 GB eseguono qwen3:14b e gemma3:12b; traffico non conteggiato per scaricare modelli liberamente.	6	16 GB	120 GB	Unmetered	$47.90/mese	Attiva
BD-6464 GB: fino a 70B, 16 coreLa macchina più economica di questa pagina che contiene in memoria llama3.3:70b o qwen3:32b. Aspettatevi un paio di token al secondo con quelli grandi.	16	64 GB	500 GB	32 TB	$84.90/mese	Attiva
C4-8-1608 GB, arriva con Ollama installatoIl preset installa il servizio su un fornitore che esegue gli script di avvio; 160 GB di disco per una libreria di modelli.	4	8 GB	160 GB	3 TB	$75.90/mese	Attiva con installazione

“Attiva con installazione” apre il configuratore con il nostro script di avvio per Ollama nella casella dello script, per intero, prima dell'acquisto. Installa il servizio e non scarica nulla; il modello lo scegliete voi. Nelle altre righe l'installazione è una riga da incollare.

L'installazione

Quattro passaggi

Installate, scaricate un modello adatto, interrogatelo, mantenetelo privato.

Installate. curl -fsSL https://ollama.com/install.sh | sh Il servizio si avvia su 127.0.0.1:11434 e resta attivo dopo i riavvii.
Scaricate un modello adatto a questa macchina. ollama pull llama3.1:8b su 8 GB; qwen3:14b su 16 GB; gemma3:27b o qwen3:32b su 32 GB; llama3.3:70b su 64 GB.
Usatelo. ollama run llama3.1:8b, oppure l'API: curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.1:8b","prompt":"hello"}'. Dal vostro portatile, ssh -N -L 11434:127.0.0.1:11434 root@your-server.
Solo allora esponetelo, dietro autenticazione. systemctl edit ollama.service con Environment="OLLAMA_HOST=0.0.0.0:11434" lo rende raggiungibile; un reverse proxy con password o chiave API davanti non è facoltativo, perché Ollama non ne ha.

Onestamente

Cosa acquisteremmo davvero

Acquistate per il modello che eseguirete davvero, e sappiate com'è l'inferenza su CPU prima di farlo.

Per i modelli 8B

BD-8 · $12.90/mese

4 vCPU e 8 GB a $12.90 eseguono llama3.1:8b o qwen3:8b con margine, a pochi token al secondo: adatto a un assistente privato che usate voi, riassunti notturni o embedding per un indice di ricerca. Se volete risposte di classe 27B, BD-64 a $84.90 le gestisce, e anche i modelli 70B, lentamente. Se ci saranno persone in attesa delle risposte, smettete di leggere questa pagina e guardate la linea GPU.

Attiva BD-8 BD-64 per i modelli grandi

Domande

Le domande che si pongono prima dell'acquisto.

Quanta RAM serve a Ollama?

Quanta ne serve al modello più un piccolo margine: il file del modello viene caricato in memoria. Il registry di Ollama indica llama3.1:8b a 4.9 GB, qwen3:14b a 9.3 GB, gemma3:27b a 17.4 GB, qwen3:32b a 20.2 GB e llama3.3:70b a 42.5 GB, quindi i livelli sono 8, 16, 32 e 64 GB. Il sistema operativo e Ollama stesso richiedono un altro gigabyte o due. Un modello che non ci sta o non si carica o va in swap, che è peggio.

Quanto è veloce su un VPS con sola CPU?

Lento, e lo diciamo onestamente: pochi token al secondo per un modello 8B su quattro core, meno per quelli più grandi. Va bene per job che girano senza supervisione e per una persona che chatta, non va bene per un prodotto con utenti in attesa. Più core aiutano un po'; il vero limite è la larghezza di banda della memoria. Per una velocità interattiva serve una GPU, che è un'altra pagina.

Mi serve una GPU?

Non per eseguire Ollama. Ne serve una per eseguirlo velocemente. Tutto ciò che c'è in questa pagina è inferenza su CPU; la linea GPU ha schede a partire da una singola L4, e un modello 7B che su CPU procede a fatica lì risponde all'istante. Decidete in base a chi aspetta la risposta.

Cosa fa il preset di avvio?

Esegue l'installer ufficiale di Ollama, che crea l'utente ollama e un servizio systemd vincolato a 127.0.0.1:11434, lo abilita e sul firewall non apre altro che SSH. Non scarica alcun modello (la scelta dipende dalla macchina acquistata) e lascia /root/OLLAMA-NEXT-STEPS.txt con i comandi pull per livello di RAM, il comando del tunnel e l'avvertenza sull'esposizione dell'API.

Altre macchine possono usarlo?

Sì, dopo aver impostato OLLAMA_HOST=0.0.0.0:11434 tramite systemctl edit ollama.service e aperto la porta. Non fatelo senza un reverse proxy che richieda una chiave o una password: Ollama non ha autenticazione propria, e un Ollama aperto è una donazione gratuita di calcolo senza GPU a Internet. Tramite tunnel SSH o VPN, nulla di tutto ciò è necessario.

Dove vengono salvati i modelli e quanto diventano grandi?

/usr/share/ollama/.ollama/models per impostazione predefinita, modificabile con OLLAMA_MODELS (la directory deve appartenere all'utente ollama). Una libreria modesta (un 8B, un 14B e un 32B) occupa circa 35 GB, ed è per questo che ogni riga di questa pagina ha 100 GB o più.

Continua a leggere