Řešení · Chatovací rozhraní
VPS pro Open WebUI
Open WebUI je self-hosted chatovací rozhraní pro Ollama a jakékoli API kompatibilní s OpenAI: účty, historie, dokumenty a webové vyhledávání v jedné záložce prohlížeče. Neuvádí žádné minimální požadavky na hardware, proto jsou velikosti zde naše a takto označené. S hostovaným modelem je to lehká aplikace a C2-4-80 za $37.90 bohatě stačí; s Ollama, kterou může obsahovat, se do paměti musí vejít i model a BD-8 za $12.90 je nejlevnější stroj, který pojme model 8B s rezervou.
Co potřebuje
Software podle dokumentace, velikosti s uvedeným zdrojem
Software a bezpečnostní nastavení vycházejí z vlastní dokumentace projektu. Kde projekt neuvádí žádné hardwarové údaje, velikosti uvádějí, odkud pocházejí.
Z README Open WebUI a docs.openwebui.com
- Instalace přes Docker:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:mainRozhraní naslouchá uvnitř kontejneru na portu 8080; dokumentace jej na hostiteli mapuje na 3000. - Obsahuje Ollama? Jen image
:ollama, který obojí spojuje v jednom kontejneru. Image:mainne: připojí se k Ollama nebo k jakémukoli API kompatibilnímu s OpenAI, na které jej nasměrujete pomocíOLLAMA_BASE_URL. - Image má ke stažení 1.66 GB a výchozí embedding model pro vyhledávání v dokumentech zabírá asi 500 MB RAM na worker. Dokumentace neuvádí žádné minimum pro CPU, RAM ani disk.
- Vše, co vytvoříte, je uloženo ve svazku
/app/backend/data; dokumentace varuje, abyste aplikaci nikdy nespouštěli bez něj. První vytvořený účet se stane administrátorem a registrace se poté uzavře.
Velikosti (naše: dokumentace žádné minimum neuvádí)
| Zátěž | vCPU | RAM |
|---|---|---|
| Open WebUI s hostovaným API nebo samostatnou OllamaNaše. Image, aplikace a embedder pro vyhledávání v dokumentech se vejdou s rezervou; pro hrstku chatujících uživatelů. | 2 | 4 GB |
| Open WebUI s přibalenou Ollama a modelem 8BNaše. Model 8B je ke stažení 4.9 GB a musí se vejít do paměti vedle aplikace. Na CPU několik tokenů za sekundu. | 4 | 8 GB |
| Přibalená Ollama s modelem 14B, nebo několik lidí najednouNaše. Model 14B má 9.3 GB; zbytek je paměť pro aplikaci, její embedder a souběžné konverzace. | 8 | 24 GB |
Vhodné tarify
4 počítačů s aktuálními cenami
Nejlevnější vyhovující stroj první. Ceny jsou dnešní, měsíční, načtené z katalogu.
- C2-4-80$37.90/měs.
2 vCPU · 4 GB · 80 GB disk · 3 TB
Jen hostované modely: lehká instalace. 2 vCPU / 4 GB / 80 GB. Open WebUI s klíčem API nebo s Ollamou jinde. Vyberte jej kvůli městu, ne kvůli velikosti.
- BD-8$12.90/měs.
4 vCPU · 8 GB · 100 GB disk · 32 TB
Nejlevnější s místem pro přibalenou Ollama a model 8B. 4 vCPU, 8 GB, 100 GB pro image a stažené modely. Dvojnásobek paměti oproti lehké instalaci, kvůli modelu.
- C4-8-160$75.90/měs.
4 vCPU · 8 GB · 160 GB disk · 3 TB
Stejná konfigurace se 160 GB, ve více městech. 4 vCPU / 8 GB / 160 GB, pro případ, že vám města nejlevnějšího řádku nevyhovují nebo chcete větší knihovnu modelů.
- BD-24$31.90/měs.
8 vCPU · 24 GB · 300 GB disk · 32 TB
8 vCPU / 24 GB pro modely 14B a tým. Model 14B a několik souběžných chatů, s diskem pro knihovnu dokumentů.
Pro Open WebUI zatím neexistuje startovací předvolba: instalace jsou čtyři níže uvedené kroky, které zadáte sami. Jde o příkazy z jeho vlastní dokumentace s jednou označenou změnou.
Instalace
Čtyři kroky podle dokumentace Open WebUI
Docker, kontejner, účet administrátora a pak model. Krok 3 proveďte hned: první vytvořený účet se stane administrátorem.
- Docker.
curl -fsSL https://get.docker.com | shOvěřte jej pomocídocker --version. - Vytvořte tajný klíč a spusťte ji. Spusťte
openssl rand -hex 32a výstup si uschovejte; dokumentace jej předává jako WEBUI_SECRET_KEY. Naše jediná změna jejich příkazu:127.0.0.1:3000:8080drží port mimo veřejný internet, dokud nemáte HTTPS.docker run -d -p 127.0.0.1:3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=your-secret-key --name open-webui --restart always ghcr.io/open-webui/open-webui:mainPro přibalenou Ollamu zaměňte image zaghcr.io/open-webui/open-webui:ollamaa přidejte-v ollama:/root/.ollama. - Hned vytvořte správce. Z notebooku spusťte
ssh -N -L 3000:127.0.0.1:3000 root@your-servera pak otevřetehttp://127.0.0.1:3000. První obrazovka nabízí Create Admin Account; tento účet spravuje všechna nastavení a registrace se poté sama vypne. - Připojte model, pak doménu. V nastavení správce, v části Connections: přidejte klíč API kompatibilní s OpenAI nebo adresu své Ollamy. Pro Ollamu na stejném hostiteli README doporučuje použít
--network=hosts-e OLLAMA_BASE_URL=http://127.0.0.1:11434; port se pak změní na 8080. Pro HTTPS dejte před ni reverzní proxy a v jejím bloku location nastavteproxy_buffering off;, jinak streamované odpovědi dorazí poškozené.
Upřímně
Co bychom skutečně koupili
Projekt neuvádí žádné minimum, proto kupujte podle modelu, ne podle rozhraní.
Pro Open WebUI s vlastní Ollama
BD-8 · $12.90/měs.
4 vCPU, 8 GB a 100 GB za $12.90: image 1.66 GB, embedder a vedle nich v paměti model 8B, který na CPU odpovídá rychlostí několika tokenů za sekundu. To se hodí pro jednoho člověka nebo malý tým, který se trpělivě ptá, ne pro místnost čekajících lidí. Pokud jsou všechny vaše modely hostované, C2-4-80 za $37.90 je totéž rozhraní za méně. Pokud lidé potřebují rychlé lokální odpovědi, poctivou odpovědí je řada GPU a image :cuda je pro ni určen.
Otázky