Langsung ke konten

Solusi · Model lokal

Sewa VPS untuk Ollama

Ollama menyajikan model terbuka melalui API lokal, dan satu-satunya aturan mutlak adalah model harus muat di memori: model 8 miliar parameter berukuran unduhan 4.9 GB, model 70B berukuran 42.5 GB. Di CPU, ia menjawab dengan kecepatan beberapa token per detik, cukup untuk asisten pribadi, pekerjaan batch, dan embedding, tetapi tidak cukup untuk produk chat. BD-8 seharga $12.90 menjalankan model 8B; BD-64 seharga $84.90 menjalankan model 70B.

Deploy BD-8Deploy C4-8-160 dengan Ollama terinstal

Yang dibutuhkan

Perangkat lunak dari dokumentasi, ukuran diberi label sesuai sumbernya

Perangkat lunak dan postur keamanannya berasal dari dokumentasi proyek itu sendiri. Jika proyek tidak menerbitkan angka perangkat keras, ukuran yang ditampilkan menyebutkan sumbernya.

Dari docs.ollama.com dan registry

  • Instal: curl -fsSL https://ollama.com/install.sh | sh: membuat pengguna ollama dan layanan systemd.
  • Secara default, layanan ini mendengarkan di 127.0.0.1:11434; OLLAMA_HOST=0.0.0.0 mengeksposnya, dan Ollama sendiri tidak memiliki autentikasi, jadi pasang dulu proxy dengan autentikasi di depannya.
  • Model disimpan di /usr/share/ollama/.ollama/models; ukuran dari registry: llama3.1:8b 4.9 GB · qwen3:14b 9.3 GB · gemma3:27b 17.4 GB · qwen3:32b 20.2 GB · llama3.3:70b 42.5 GB.
  • GPU bersifat opsional: tanpa GPU, model berjalan di CPU dan RAM, dengan lambat; dengan GPU, model berjalan dari VRAM, dengan cepat.

Ukuran (dari kami: model harus muat di RAM dengan ruang cadangan)

Penentuan ukuran berdasarkan beban kerja
Beban kerjavCPURAM
Model 4B–8B (gemma3:4b 3.3 GB, llama3.1:8b 4.9 GB)Asisten, ringkasan, embedding. Beberapa token per detik di CPU.48 GB
Model 12B–14B (gemma3:12b 8.1 GB, qwen3:14b 9.3 GB)Jawaban yang terasa lebih baik, terasa lebih lambat.616 GB
Model 27B–32B (gemma3:27b 17.4 GB, qwen3:32b 20.2 GB)Dapat dipakai untuk pekerjaan batch, bukan untuk pengguna yang menunggu.832 GB
Model 70B (llama3.3:70b 42.5 GB)Muat. Lambat. Untuk penggunaan interaktif, server GPU adalah jawaban yang jujur.1664 GB

Paket yang cocok

4 mesin, dengan harga terkini

Diurutkan berdasarkan memori, yang menentukan model. Harga adalah harga hari ini, per bulan, dibaca dari katalog.

  • BD-8$12.90/bln

    4 vCPU · 8 GB · disk 100 GB · 32 TB

    8 GB: model 8B. 4 vCPU, 8 GB, 100 GB untuk unduhan. Menjalankan llama3.1:8b, qwen3:8b, gemma3:4b. Tempel sendiri installer satu barisnya.

    Deploy
  • U6-16-120$47.90/bln

    6 vCPU · 16 GB · disk 120 GB · Unmetered

    16 GB: model 14B, unmetered, Istanbul. 6 vCPU dan 16 GB menjalankan qwen3:14b dan gemma3:12b; lalu lintas unmetered untuk menarik model dengan leluasa.

    Deploy
  • BD-64$84.90/bln

    16 vCPU · 64 GB · disk 500 GB · 32 TB

    64 GB: hingga 70B, 16 core. Mesin termurah di halaman ini yang dapat memuat llama3.3:70b atau qwen3:32b di memori. Harapkan sekitar dua token per detik pada model besar.

    Deploy
  • C4-8-160$75.90/bln

    4 vCPU · 8 GB · disk 160 GB · 3 TB

    8 GB, diterima dengan Ollama sudah terpasang. Preset menginstal layanan pada pemasok yang menjalankan skrip startup; disk 160 GB untuk koleksi model.

    Deploy dengan instalasi

“Deploy terinstal” membuka konfigurator dengan skrip startup Ollama kami di kotak startup, lengkap, sebelum Anda membeli. Skrip ini menginstal layanan dan tidak menarik apa pun; Anda yang memilih modelnya. Pada baris lain, instalasinya cukup satu baris yang ditempel.

Instalasi

Empat langkah

Instal, tarik model yang muat, ajak bicara, jaga tetap privat.

  1. Instal. curl -fsSL https://ollama.com/install.sh | sh Layanan berjalan di 127.0.0.1:11434 dan tetap aktif setelah reboot.
  2. Tarik model yang sesuai dengan mesin ini. ollama pull llama3.1:8b di 8 GB; qwen3:14b di 16 GB; gemma3:27b atau qwen3:32b di 32 GB; llama3.3:70b di 64 GB.
  3. Gunakan. ollama run llama3.1:8b, atau API: curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.1:8b","prompt":"hello"}'. Dari laptop Anda, ssh -N -L 11434:127.0.0.1:11434 root@your-server.
  4. Baru setelah itu buka aksesnya, di balik autentikasi. systemctl edit ollama.service dengan Environment="OLLAMA_HOST=0.0.0.0:11434" membuatnya dapat dijangkau; reverse proxy dengan kata sandi atau API key di depannya tidak opsional, karena Ollama tidak memilikinya.

Terus terang

Yang benar-benar akan kami beli

Belilah untuk model yang benar-benar akan Anda jalankan, dan pahami seperti apa inferensi CPU sebelum membeli.

Untuk model 8B

BD-8 · $12.90/bln

4 vCPU dan 8 GB seharga $12.90 menjalankan llama3.1:8b atau qwen3:8b dengan ruang tersisa, pada beberapa token per detik: tepat untuk asisten pribadi yang Anda ajak bicara sendiri, ringkasan setiap malam, atau embedding untuk indeks pencarian. Jika Anda menginginkan jawaban kelas 27B, BD-64 seharga $84.90 dapat memuatnya, juga model 70B, dengan lambat. Jika orang akan menunggu jawabannya, berhentilah membaca halaman ini dan lihat lini GPU.

Deploy BD-8BD-64 untuk model besar

Pertanyaan

Pertanyaan orang sebelum membelinya.

Berapa banyak RAM yang dibutuhkan Ollama?
Sebanyak ukuran model ditambah sedikit ruang cadangan: file model dimuat ke memori. Registry Ollama mencantumkan llama3.1:8b sebesar 4.9 GB, qwen3:14b 9.3 GB, gemma3:27b 17.4 GB, qwen3:32b 20.2 GB, dan llama3.3:70b 42.5 GB, sehingga tingkatannya adalah 8, 16, 32, dan 64 GB. Sistem operasi dan Ollama sendiri membutuhkan satu atau dua gigabyte lagi. Model yang tidak muat akan gagal dimuat atau melakukan swap, dan itu lebih buruk.
Seberapa cepat di VPS CPU?
Lambat, dan kami jujur soal itu: beberapa token per detik untuk model 8B pada empat core, lebih sedikit untuk model yang lebih besar. Itu tidak masalah untuk pekerjaan yang berjalan tanpa pengawasan dan untuk satu orang yang mengobrol, tetapi tidak cocok untuk produk dengan pengguna yang menunggu. Core tambahan sedikit membantu; batas sebenarnya adalah bandwidth memori. Untuk kecepatan interaktif, Anda membutuhkan GPU, dan itu dibahas di halaman lain.
Apakah saya memerlukan GPU?
Tidak untuk menjalankan Ollama. Anda membutuhkannya agar Ollama berjalan cepat. Semua yang ada di halaman ini adalah inferensi CPU; lini GPU memiliki kartu mulai dari satu L4 ke atas, dan model 7B yang merayap di CPU menjawab seketika di sana. Putuskan berdasarkan siapa yang menunggu jawabannya.
Apa fungsi preset startup?
Skrip ini menjalankan installer resmi Ollama, yang membuat pengguna ollama dan layanan systemd yang terikat ke 127.0.0.1:11434, mengaktifkannya, dan tidak membuka apa pun di firewall selain SSH. Skrip ini tidak menarik model apa pun (pilihan itu bergantung pada mesin yang Anda beli) dan meninggalkan /root/OLLAMA-NEXT-STEPS.txt berisi perintah pull per tingkat RAM, perintah tunnel, dan peringatan tentang mengekspos API.
Bisakah mesin lain menggunakannya?
Ya, setelah Anda mengatur OLLAMA_HOST=0.0.0.0:11434 melalui systemctl edit ollama.service dan membuka port-nya. Jangan lakukan itu tanpa reverse proxy yang mewajibkan kunci atau kata sandi: Ollama tidak memiliki autentikasi sendiri, dan Ollama yang terbuka sama saja dengan menyumbangkan komputasi tanpa GPU secara gratis ke internet. Melalui tunnel SSH atau VPN, semua ini tidak diperlukan.
Di mana model disimpan, dan seberapa besar ukurannya?
Secara default di /usr/share/ollama/.ollama/models, dapat diubah dengan OLLAMA_MODELS (pengguna ollama harus memiliki direktori tersebut). Pustaka sederhana (satu 8B, satu 14B, dan satu 32B) berukuran sekitar 35 GB, itulah sebabnya setiap baris di halaman ini memiliki 100 GB atau lebih.

Baca selanjutnya

Terkait