Rozwiązania · Interfejs czatu
Serwer VPS dla Open WebUI
Open WebUI to samodzielnie hostowany interfejs czatu dla Ollama i dowolnego API zgodnego z OpenAI: konta, historia, dokumenty i wyszukiwanie w sieci w jednej karcie przeglądarki. Nie publikuje minimalnych wymagań sprzętowych, więc rozmiary tutaj są nasze i tak oznaczone. Podłączone do hostowanego modelu jest lekką aplikacją i C2-4-80 za $37.90 w zupełności wystarczy; z Ollama, którą może zawierać, model musi także zmieścić się w pamięci, a BD-8 za $12.90 to najtańsza maszyna, która mieści model 8B z zapasem.
Czego potrzebuje
Oprogramowanie według dokumentacji, rozmiary z podanym źródłem
Oprogramowanie i zalecenia bezpieczeństwa pochodzą z dokumentacji danego projektu. Tam, gdzie projekt nie podaje wymagań sprzętowych, przy rozmiarach zaznaczamy, czyje to zalecenia.
Z README Open WebUI i docs.openwebui.com
- Instalacja przez Docker:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:mainInterfejs nasłuchuje na porcie 8080 wewnątrz kontenera; dokumentacja mapuje go na 3000 na hoście. - Czy zawiera Ollama? Tylko w obrazie
:ollama, który łączy obie w jednym kontenerze. Obraz:mainnie: łączy się z Ollama lub dowolnym API zgodnym z OpenAI, które wskażesz przezOLLAMA_BASE_URL. - Obraz to 1.66 GB do pobrania, a domyślny model embeddingów do wyszukiwania w dokumentach zajmuje około 500 MB RAM na workera. Dokumentacja nie publikuje minimum dla CPU, RAM ani dysku.
- Wszystko, co utworzysz, trafia do wolumenu
/app/backend/data; dokumentacja ostrzega, by nigdy nie uruchamiać bez niego. Pierwsze utworzone konto staje się administratorem, a rejestracja zamyka się, gdy ono istnieje.
Rozmiary (nasze: dokumentacja nie publikuje minimum)
| Obciążenie | vCPU | RAM |
|---|---|---|
| Open WebUI z hostowanym API lub osobną OllamaNasze. Obraz, aplikacja i model embeddingów do wyszukiwania w dokumentach mieszczą się z zapasem; kilku użytkowników na czacie. | 2 | 4 GB |
| Open WebUI z wbudowaną Ollama i modelem 8BNasze. Model 8B to 4.9 GB do pobrania i musi zmieścić się w pamięci obok aplikacji. Kilka tokenów na sekundę na CPU. | 4 | 8 GB |
| Wbudowana Ollama z modelem 14B lub kilka osób narazNasze. Model 14B to 9.3 GB; reszta to pamięć dla aplikacji, jej modelu embeddingów i równoczesnych czatów. | 8 | 24 GB |
Pasujące plany
Maszyny: 4, aktualne ceny
Najpierw najtańsza pasująca maszyna. Ceny dzisiejsze, miesięczne, z katalogu.
- C2-4-80$37.90/mies.
2 vCPU · 4 GB · dysk 80 GB · 3 TB
Tylko hostowane modele: lekka instalacja. 2 vCPU / 4 GB / 80 GB. Open WebUI z kluczem API lub z Ollama gdzie indziej. Wybierz go ze względu na miasto, nie rozmiar.
- BD-8$12.90/mies.
4 vCPU · 8 GB · dysk 100 GB · 32 TB
Najtańszy z miejscem na wbudowaną Ollama i model 8B. 4 vCPU, 8 GB, 100 GB na obraz i pobrane modele. Dwa razy więcej pamięci niż w lekkiej instalacji, dla modelu.
- C4-8-160$75.90/mies.
4 vCPU · 8 GB · dysk 160 GB · 3 TB
Ta sama konfiguracja ze 160 GB, w większej liczbie miast. 4 vCPU / 8 GB / 160 GB, gdy miasta najtańszego wiersza Ci nie odpowiadają lub chcesz większej biblioteki modeli.
- BD-24$31.90/mies.
8 vCPU · 24 GB · dysk 300 GB · 32 TB
8 vCPU / 24 GB dla modeli 14B i zespołu. Model 14B i kilka równoczesnych czatów, z dyskiem na bibliotekę dokumentów.
Nie ma jeszcze presetu startowego dla Open WebUI: instalacja to cztery poniższe kroki, wpisywane przez Państwa. To polecenia z jego własnej dokumentacji, z jedną oznaczoną zmianą.
Instalacja
Cztery kroki, z dokumentacji Open WebUI
Docker, kontener, konto administratora, potem model. Krok 3 wykonaj od razu: pierwsze utworzone konto jest kontem administratora.
- Docker.
curl -fsSL https://get.docker.com | shSprawdź poleceniemdocker --version. - Wygeneruj tajny klucz i uruchom. Uruchom
openssl rand -hex 32i zachowaj wynik; dokumentacja przekazuje go jako WEBUI_SECRET_KEY. Nasza jedyna zmiana w ich poleceniu:127.0.0.1:3000:8080trzyma port z dala od publicznego internetu, dopóki nie masz HTTPS.docker run -d -p 127.0.0.1:3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=your-secret-key --name open-webui --restart always ghcr.io/open-webui/open-webui:mainDla wbudowanej Ollama zamień obraz naghcr.io/open-webui/open-webui:ollamai dodaj-v ollama:/root/.ollama. - Utwórz administratora od razu. Z laptopa:
ssh -N -L 3000:127.0.0.1:3000 root@your-server, potem otwórzhttp://127.0.0.1:3000. Pierwszy ekran proponuje Create Admin Account; to konto zarządza wszystkimi ustawieniami, a rejestracja po nim sama się wyłącza. - Podłącz model, potem domenę. W ustawieniach administratora, w sekcji Connections: dodaj klucz API zgodny z OpenAI lub adres swojej Ollama. Dla Ollama na tym samym hoście README zaleca użycie
--network=hostz-e OLLAMA_BASE_URL=http://127.0.0.1:11434; port zmienia się wtedy na 8080. Dla HTTPS postaw przed nią reverse proxy i ustawproxy_buffering off;w jego bloku location, inaczej strumieniowane odpowiedzi dotrą zniekształcone.
Szczerze
Co kupilibyśmy sami
Projekt nie podaje minimum, więc kupuj pod model, nie pod interfejs.
Dla Open WebUI z własną Ollama
BD-8 · $12.90/mies.
4 vCPU, 8 GB i 100 GB za $12.90: obraz 1,66 GB, model embeddingów i model 8B w pamięci obok nich, odpowiadający z prędkością kilku tokenów na sekundę na CPU. To wystarczy jednej osobie lub małemu zespołowi, który pyta cierpliwie, a nie całej sali czekających ludzi. Jeśli wszystkie Państwa modele są hostowane, C2-4-80 za $37.90 to ten sam interfejs taniej. Jeśli ludzie potrzebują szybkich lokalnych odpowiedzi, uczciwą odpowiedzią jest linia GPU, a obraz :cuda jest do tego przygotowany.
Pytania