Przejdź do treści

Rozwiązania · Modele lokalne

Serwer VPS dla Ollama

Ollama udostępnia otwarte modele przez lokalne API, a jedyna twarda zasada brzmi: model musi zmieścić się w pamięci. Model z 8 miliardami parametrów to 4.9 GB do pobrania, model 70B to 42.5 GB. Na CPU odpowiada z prędkością kilku tokenów na sekundę, co wystarcza do prywatnego asystenta, zadań wsadowych i embeddingów, ale nie do produktu czatowego. BD-8 za $12.90 uruchamia modele 8B; BD-64 za $84.90 uruchamia modele 70B.

Wdróż BD-8Wdróż C4-8-160 z zainstalowanym Ollama

Czego potrzebuje

Oprogramowanie według dokumentacji, rozmiary z podanym źródłem

Oprogramowanie i zalecenia bezpieczeństwa pochodzą z dokumentacji danego projektu. Tam, gdzie projekt nie podaje wymagań sprzętowych, przy rozmiarach zaznaczamy, czyje to zalecenia.

Z docs.ollama.com i rejestru

  • Instalacja: curl -fsSL https://ollama.com/install.sh | sh: tworzy użytkownika ollama i usługę systemd.
  • Domyślnie nasłuchuje na 127.0.0.1:11434; OLLAMA_HOST=0.0.0.0 wystawia ją na zewnątrz, a sama Ollama nie ma uwierzytelniania, więc najpierw postaw przed nią proxy z uwierzytelnianiem.
  • Modele trafiają do /usr/share/ollama/.ollama/models; rozmiary z rejestru: llama3.1:8b 4.9 GB · qwen3:14b 9.3 GB · gemma3:27b 17.4 GB · qwen3:32b 20.2 GB · llama3.3:70b 42.5 GB.
  • GPU jest opcjonalne: bez niego model działa na CPU i RAM, powoli; z nim działa z VRAM, szybko.

Rozmiary (nasze: model musi zmieścić się w RAM z zapasem)

Dobór rozmiaru według zastosowania
ObciążenievCPURAM
Modele 4B–8B (gemma3:4b 3.3 GB, llama3.1:8b 4.9 GB)Asystenci, streszczenia, embeddingi. Kilka tokenów na sekundę na CPU.48 GB
Modele 12B–14B (gemma3:12b 8.1 GB, qwen3:14b 9.3 GB)Wyraźnie lepsze odpowiedzi, wyraźnie wolniej.616 GB
Modele 27B–32B (gemma3:27b 17.4 GB, qwen3:32b 20.2 GB)Nadaje się do pracy wsadowej, nie dla czekającego użytkownika.832 GB
Modele 70B (llama3.3:70b 42.5 GB)Mieści się. Wolno. Do pracy interaktywnej uczciwą odpowiedzią jest serwer GPU.1664 GB

Pasujące plany

Maszyny: 4, aktualne ceny

Uporządkowane według pamięci, bo to ona decyduje o modelu. Ceny są dzisiejsze, miesięczne, pobrane z katalogu.

  • BD-8$12.90/mies.

    4 vCPU · 8 GB · dysk 100 GB · 32 TB

    8 GB: modele 8B. 4 vCPU, 8 GB, 100 GB na pobrane modele. Uruchamia llama3.1:8b, qwen3:8b, gemma3:4b. Jednoliniowy instalator wklejasz samodzielnie.

    Wdróż
  • U6-16-120$47.90/mies.

    6 vCPU · 16 GB · dysk 120 GB · Unmetered

    16 GB: modele 14B, Unmetered, Stambuł. 6 vCPU i 16 GB uruchamiają qwen3:14b i gemma3:12b; ruch nie jest liczony, więc modele pobierasz swobodnie.

    Wdróż
  • BD-64$84.90/mies.

    16 vCPU · 64 GB · dysk 500 GB · 32 TB

    64 GB: do 70B, 16 rdzeni. Najtańsza maszyna na tej stronie, która mieści w pamięci llama3.3:70b lub qwen3:32b. Na dużych modelach spodziewaj się paru tokenów na sekundę.

    Wdróż
  • C4-8-160$75.90/mies.

    4 vCPU · 8 GB · dysk 160 GB · 3 TB

    8 GB, dostarczany z zainstalowaną Ollama. Preset instaluje usługę u dostawcy, który obsługuje skrypty startowe; 160 GB dysku na bibliotekę modeli.

    Wdróż z instalacją

„Wdróż z instalacją” otwiera konfigurator z naszym skryptem startowym Ollama w polu skryptu, w całości, zanim kupisz. Instaluje usługę i niczego nie pobiera; model wybierasz Ty. W pozostałych wierszach instalacja to jedna wklejona linia.

Instalacja

Cztery kroki

Zainstaluj, pobierz model, który się zmieści, rozmawiaj z nim, zachowaj prywatność.

  1. Zainstaluj. curl -fsSL https://ollama.com/install.sh | sh Usługa startuje na 127.0.0.1:11434 i działa po restartach.
  2. Pobierz model, który zmieści się na tej maszynie. ollama pull llama3.1:8b na 8 GB; qwen3:14b na 16 GB; gemma3:27b lub qwen3:32b na 32 GB; llama3.3:70b na 64 GB.
  3. Korzystaj. ollama run llama3.1:8b lub API: curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.1:8b","prompt":"hello"}'. Z laptopa: ssh -N -L 11434:127.0.0.1:11434 root@your-server.
  4. Dopiero wtedy ją udostępnij, za uwierzytelnianiem. systemctl edit ollama.service z Environment="OLLAMA_HOST=0.0.0.0:11434" sprawia, że staje się osiągalna; reverse proxy z hasłem lub kluczem API przed nią nie jest opcjonalne, bo Ollama nie ma żadnego.

Szczerze

Co kupilibyśmy sami

Kupuj pod model, który faktycznie będziesz uruchamiać, i zanim to zrobisz, dowiedz się, jak działa wnioskowanie na CPU.

Dla modeli 8B

BD-8 · $12.90/mies.

4 vCPU i 8 GB za $12.90 uruchamiają llama3.1:8b lub qwen3:8b z zapasem, z prędkością kilku tokenów na sekundę: w sam raz dla prywatnego asystenta, z którym rozmawiasz sam, nocnych streszczeń lub embeddingów dla indeksu wyszukiwania. Jeśli chcesz odpowiedzi klasy 27B, BD-64 za $84.90 je pomieści, a także modele 70B, choć wolno. Jeśli ludzie będą czekać na odpowiedzi, przestań czytać tę stronę i zajrzyj do linii GPU.

Wdróż BD-8BD-64 dla dużych modeli

Pytania

O co ludzie pytają przed zakupem.

Ile RAM potrzebuje Ollama?
Tyle, ile zajmuje model, plus niewielki zapas: plik modelu jest ładowany do pamięci. Rejestr Ollama podaje llama3.1:8b jako 4.9 GB, qwen3:14b jako 9.3 GB, gemma3:27b jako 17.4 GB, qwen3:32b jako 20.2 GB i llama3.3:70b jako 42.5 GB, stąd poziomy 8, 16, 32 i 64 GB. System operacyjny i sama Ollama potrzebują jeszcze gigabajta lub dwóch. Model, który się nie mieści, albo nie załaduje się, albo zacznie korzystać z pamięci wymiany, co jest gorsze.
Jak szybko działa na VPS z CPU?
Wolno, i mówimy to uczciwie: kilka tokenów na sekundę dla modelu 8B na czterech rdzeniach, mniej dla większych. To wystarcza do zadań działających bez nadzoru i dla jednej osoby prowadzącej rozmowę, ale nie dla produktu, na którego odpowiedzi czekają użytkownicy. Więcej rdzeni trochę pomaga; prawdziwym ograniczeniem jest przepustowość pamięci. Do szybkości interaktywnej potrzebujesz GPU, a to temat na inną stronę.
Czy potrzebuję GPU?
Do uruchomienia Ollama nie. Potrzebujesz go, żeby działała szybko. Wszystko na tej stronie to wnioskowanie na CPU; linia GPU ma karty od pojedynczej L4 w górę, a model 7B, który na CPU się wlecze, odpowiada tam natychmiast. Zdecyduj na podstawie tego, kto czeka na odpowiedź.
Co robi gotowy skrypt startowy?
Uruchamia oficjalny instalator Ollama, który tworzy użytkownika ollama i usługę systemd powiązaną z 127.0.0.1:11434, włącza ją i otwiera w zaporze wyłącznie SSH. Nie pobiera żadnego modelu (ten wybór zależy od kupionej maszyny) i zostawia plik /root/OLLAMA-NEXT-STEPS.txt z poleceniami pobierania dla każdego poziomu RAM, poleceniem tunelu i ostrzeżeniem o wystawianiu API.
Czy inne maszyny mogą z niej korzystać?
Tak, po ustawieniu OLLAMA_HOST=0.0.0.0:11434 przez systemctl edit ollama.service i otwarciu portu. Nie rób tego bez reverse proxy wymagającego klucza lub hasła: Ollama nie ma własnego uwierzytelniania, a otwarta Ollama to darmowa moc obliczeniowa (bez GPU) podarowana internetowi. Przy tunelach SSH lub VPN nic z tego nie jest potrzebne.
Gdzie trafiają modele i jak duże bywają?
Domyślnie /usr/share/ollama/.ollama/models, można to zmienić przez OLLAMA_MODELS (właścicielem katalogu musi być użytkownik ollama). Skromna biblioteka (model 8B, 14B i 32B) zajmuje około 35 GB, dlatego każdy wiersz na tej stronie ma 100 GB lub więcej.

Czytaj dalej

Powiązane