İçeriğe geç

Çözümler · Yerel modeller

Ollama için VPS

Ollama açık modelleri yerel bir API üzerinden sunar ve tek katı kural modelin belleğe sığmasıdır: 8 milyar parametreli bir model 4.9 GB indirmedir, 70B olan ise 42.5 GB. CPU'da saniyede birkaç token hızında yanıt verir; bu, kişisel bir asistan, toplu işler ve embedding'ler için yeterlidir, bir sohbet ürünü için yeterli değildir. BD-8, $12.90, 8B modelleri çalıştırır; BD-64, $84.90, 70B modelleri çalıştırır.

BD-8 oluşturC4-8-160 planını Ollama kurulu olarak oluştur

Gereksinimleri

Yazılım belgelerden, boyutlar kaynağıyla etiketli

Yazılım ve güvenlik yaklaşımı, projenin kendi belgelerinden alınmıştır. Projenin donanım değeri yayımlamadığı durumlarda boyutlar, kime ait olduklarını belirtir.

docs.ollama.com ve kayıt deposundan

  • Kurulum: curl -fsSL https://ollama.com/install.sh | sh; ollama kullanıcısını ve bir systemd hizmetini oluşturur.
  • Varsayılan olarak 127.0.0.1:11434 üzerinde dinler; OLLAMA_HOST=0.0.0.0 onu dışa açar ve Ollama'nın kendi kimlik doğrulaması yoktur, bu yüzden önce önüne kimlik doğrulamalı bir proxy koyun.
  • Modeller /usr/share/ollama/.ollama/models içinde durur; kayıt deposundaki boyutlar: llama3.1:8b 4.9 GB · qwen3:14b 9.3 GB · gemma3:27b 17.4 GB · qwen3:32b 20.2 GB · llama3.3:70b 42.5 GB.
  • GPU isteğe bağlıdır: GPU olmadan model CPU ve RAM üzerinde yavaşça çalışır; GPU ile VRAM'den hızlıca çalışır.

Boyutlar (bizim önerimiz: model, pay bırakarak RAM'e sığmalıdır)

İş yüküne göre boyutlandırma
İş yüküvCPURAM
4B–8B modeller (gemma3:4b 3.3 GB, llama3.1:8b 4.9 GB)Asistanlar, özetler, embedding'ler. CPU'da saniyede birkaç token.48 GB
12B–14B modeller (gemma3:12b 8.1 GB, qwen3:14b 9.3 GB)Belirgin şekilde daha iyi yanıtlar, belirgin şekilde daha yavaş.616 GB
27B–32B modeller (gemma3:27b 17.4 GB, qwen3:32b 20.2 GB)Toplu işler için kullanılabilir, bekleyen bir kullanıcı için değil.832 GB
70B modeller (llama3.3:70b 42.5 GB)Sığar. Yavaştır. Etkileşimli kullanım için dürüst cevap bir GPU sunucusudur.1664 GB

Uygun planlar

4 makine, canlı fiyatlı

Modeli belirleyen şey olan belleğe göre sıralanmıştır. Fiyatlar günceldir, aylıktır ve katalogdan alınır.

  • BD-8$12.90/ay

    4 vCPU · 8 GB · 100 GB disk · 32 TB

    8 GB: 8B modeller. 4 vCPU, 8 GB, indirmeler için 100 GB. llama3.1:8b, qwen3:8b, gemma3:4b çalıştırır. Tek satırlık kurulum komutunu kendiniz yapıştırın.

    Oluştur
  • U6-16-120$47.90/ay

    6 vCPU · 16 GB · 120 GB disk · Unmetered

    16 GB: 14B modeller, Unmetered, İstanbul. 6 vCPU ve 16 GB, qwen3:14b ve gemma3:12b çalıştırır; modelleri rahatça indirmek için ölçülmeyen trafik.

    Oluştur
  • BD-64$84.90/ay

    16 vCPU · 64 GB · 500 GB disk · 32 TB

    64 GB: 70B'ye kadar, 16 çekirdek. Bu sayfada llama3.3:70b veya qwen3:32b'yi belleğe sığdıran en ucuz makine. Büyük modellerde saniyede birkaç token bekleyin.

    Oluştur
  • C4-8-160$75.90/ay

    4 vCPU · 8 GB · 160 GB disk · 3 TB

    8 GB, Ollama kurulu olarak teslim edilir. Ön ayar, hizmeti başlangıç betiklerini çalıştıran bir sağlayıcıda kurar; bir model kitaplığı için 160 GB disk.

    Kurulu olarak oluştur

“Kurulu olarak oluştur”, satın almadan önce yapılandırıcıyı Ollama başlangıç betiğimiz başlangıç kutusunda eksiksiz olarak açar. Hizmeti kurar ve hiçbir şey indirmez; modeli siz seçersiniz. Diğer satırlarda kurulum, yapıştırılan tek bir satırdır.

Kurulum

Dört adım

Kurun, sığan bir model indirin, onunla konuşun, gizli tutun.

  1. Kurun. curl -fsSL https://ollama.com/install.sh | sh Hizmet 127.0.0.1:11434 üzerinde başlar ve yeniden başlatmalardan sonra da çalışır.
  2. Bu makineye sığan bir model indirin. 8 GB'ta ollama pull llama3.1:8b; 16 GB'ta qwen3:14b; 32 GB'ta gemma3:27b veya qwen3:32b; 64 GB'ta llama3.3:70b.
  3. Kullanın. ollama run llama3.1:8b veya API: curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.1:8b","prompt":"hello"}'. Dizüstü bilgisayarınızdan: ssh -N -L 11434:127.0.0.1:11434 root@your-server.
  4. Ancak bundan sonra, kimlik doğrulamanın arkasında dışa açın. Environment="OLLAMA_HOST=0.0.0.0:11434" ile systemctl edit ollama.service onu erişilebilir yapar; önünde parola veya API anahtarı isteyen bir ters proxy isteğe bağlı değildir, çünkü Ollama'nın kendisinde yoktur.

Dürüstçe

Gerçekte ne alırdık

Gerçekten çalıştıracağınız modele göre satın alın ve bunu yapmadan önce CPU çıkarımının nasıl bir deneyim olduğunu bilin.

8B modeller için

BD-8 · $12.90/ay

4 vCPU ve 8 GB, $12.90, llama3.1:8b veya qwen3:8b'yi rahatça, saniyede birkaç token hızında çalıştırır: kendinizin konuştuğu kişisel bir asistan, gece özetleri veya bir arama dizini için embedding'ler için uygundur. 27B sınıfı yanıtlar istiyorsanız BD-64, $84.90, bunları ve 70B modelleri de yavaşça taşır. İnsanlar yanıtları bekleyecekse bu sayfayı okumayı bırakın ve GPU serisine bakın.

BD-8 oluşturBüyük modeller için BD-64

Sorular

Satın almadan önce sorulanlar.

Ollama ne kadar RAM gerektirir?
Model kadar, artı biraz pay: model dosyası belleğe yüklenir. Ollama kayıt deposu llama3.1:8b'yi 4.9 GB, qwen3:14b'yi 9.3 GB, gemma3:27b'yi 17.4 GB, qwen3:32b'yi 20.2 GB ve llama3.3:70b'yi 42.5 GB olarak listeler; bu yüzden kademeler 8, 16, 32 ve 64 GB'tır. İşletim sistemi ve Ollama'nın kendisi bir iki gigabayt daha ister. Sığmayan bir model ya yüklenemez ya da takas alanına yazar ki bu daha kötüdür.
CPU VPS'te ne kadar hızlı?
Yavaştır ve bunu açıkça söylüyoruz: dört çekirdekte bir 8B model için saniyede birkaç token, daha büyükleri için daha az. Gözetimsiz çalışan işler ve tek kişinin sohbeti için bu yeterlidir; kullanıcıların beklediği bir ürün için yeterli değildir. Daha fazla çekirdek biraz yardımcı olur; asıl sınır bellek bant genişliğidir. Etkileşimli hız için GPU gerekir; bu başka bir sayfanın konusu.
GPU'ya ihtiyacım var mı?
Ollama'yı çalıştırmak için gerekmez. Hızlı çalıştırmak için gerekir. Bu sayfadaki her şey CPU çıkarımıdır; GPU serisinde tek bir L4'ten başlayan kartlar vardır ve CPU'da sürünen bir 7B model orada anında yanıt verir. Kararı, yanıtı kimin beklediğine göre verin.
Başlangıç ön ayarı ne yapar?
Ollama'nın resmi kurulum betiğini çalıştırır; bu betik ollama kullanıcısını ve 127.0.0.1:11434'e bağlı bir systemd hizmetini oluşturur, hizmeti etkinleştirir ve güvenlik duvarında SSH dışında hiçbir şey açmaz. Hiçbir model indirmez (bu seçim satın aldığınız makineye bağlıdır) ve RAM kademesine göre indirme komutlarını, tünel komutunu ve API'yi dışa açmayla ilgili uyarıyı içeren /root/OLLAMA-NEXT-STEPS.txt dosyasını bırakır.
Diğer makineler kullanabilir mi?
Evet, systemctl edit ollama.service ile OLLAMA_HOST=0.0.0.0:11434 ayarlayıp portu açtığınızda. Bunu anahtar veya parola isteyen bir ters proxy olmadan yapmayın: Ollama'nın kendi kimlik doğrulaması yoktur ve açık bir Ollama, internete ücretsiz, GPU'suz bir işlem gücü bağışıdır. SSH tünelleri veya bir VPN üzerinden kullanıyorsanız bunların hiçbiri gerekmez.
Modeller nereye kaydedilir ve ne kadar büyürler?
Varsayılan olarak /usr/share/ollama/.ollama/models, OLLAMA_MODELS ile değiştirilebilir (dizinin sahibi ollama kullanıcısı olmalıdır). Mütevazı bir kitaplık (bir 8B, bir 14B ve bir 32B) yaklaşık 35 GB tutar; bu sayfadaki her satırın 100 GB veya daha fazla diske sahip olmasının nedeni budur.

Okumaya devam edin

İlgili