Ugrás a tartalomra

Megoldások · Csevegőfelület

VPS az Open WebUI-hoz

Az Open WebUI az Ollamához és bármely OpenAI-kompatibilis API-hoz készült, saját szerveren futtatható csevegőfelület: fiókok, előzmények, dokumentumok és webes keresés egyetlen böngészőfülön. Nem tesz közzé hardveres minimumot, így az itteni méretek a sajátjaink, és ezt jelöljük is. Hosztolt modellhez kapcsolva könnyű alkalmazás, és a C2-4-80 $37.90 áron bőven elég; a beépíthető Ollamával a modellnek is el kell férnie a memóriában, és a BD-8 $12.90 áron a legolcsóbb gép, amely bőséges tartalékkal elbír egy 8B modellt.

BD-8 üzembe helyezéseAz összes csomag összehasonlítása

Amire szüksége van

Szoftver a dokumentációból, a méreteknél feltüntetett forrással

A szoftver és a biztonsági beállítások a projekt saját dokumentációjából származnak. Ahol a projekt nem közöl hardverigényt, a méreteknél fel van tüntetve, kitől származnak.

Az Open WebUI README-je és a docs.openwebui.com alapján

  • Telepítés Dockerrel: docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main A felület a konténeren belül a 8080-as porton figyel; a dokumentáció ezt a gazdagép 3000-es portjára képezi le.
  • Tartalmazza az Ollamát? Csak a :ollama image, amely mindkettőt egy konténerbe csomagolja. A :main image nem: egy Ollamához vagy bármely OpenAI-kompatibilis API-hoz csatlakozik, amelyet a OLLAMA_BASE_URL segítségével ad meg.
  • Az image letöltési mérete 1,66 GB, a dokumentumkereséshez használt alapértelmezett beágyazó modell pedig workerenként kb. 500 MB RAM-ot foglal. A dokumentáció nem tesz közzé CPU-, RAM- vagy lemezminimumot.
  • Minden, amit létrehoz, a /app/backend/data kötetben tárolódik; a dokumentáció figyelmeztet, hogy soha ne futtassa nélküle. Az elsőként létrehozott fiók lesz az adminisztrátor, és amint létezik, a regisztráció lezárul.

Méretek (a sajátjaink: a dokumentáció nem ad meg minimumot)

Méretezés felhasználás szerint
MunkaterhelésvCPURAM
Open WebUI hosztolt API-val vagy különálló OllamávalA sajátunk. Az image, az alkalmazás és a dokumentumkereséshez szükséges beágyazó modell tartalékkal elfér; néhány csevegő felhasználó.24 GB
Open WebUI a beépített Ollamával és egy 8B modellelA sajátunk. Egy 8B modell 4,9 GB-os letöltés, és el kell férnie a memóriában az alkalmazás mellett. CPU-n néhány token másodpercenként.48 GB
Beépített Ollama 14B modellel, vagy egyszerre több felhasználóA sajátunk. Egy 14B modell 9,3 GB; a többi memória az alkalmazásnak, a beágyazó modellnek és az egyidejű csevegéseknek.824 GB

A megfelelő csomagok

4 gép, aktuális árakon

A legolcsóbb megfelelő gép elöl. Az árak a mai havi árak, a katalógusból.

  • C2-4-80$37.90/hó

    2 vCPU · 4 GB · 80 GB lemez · 3 TB

    Csak hosztolt modellek: a könnyű telepítés. 2 vCPU / 4 GB / 80 GB. Open WebUI API-kulccsal vagy máshol futó Ollamával. A város miatt válassza, ne a méret miatt.

    Üzembe helyezés
  • BD-8$12.90/hó

    4 vCPU · 8 GB · 100 GB lemez · 32 TB

    A legolcsóbb, amelyben elfér a beépített Ollama és egy 8B modell. 4 vCPU, 8 GB, 100 GB az image-nek és a modellletöltéseknek. A könnyű telepítés memóriájának kétszerese, a modell miatt.

    Üzembe helyezés
  • C4-8-160$75.90/hó

    4 vCPU · 8 GB · 160 GB lemez · 3 TB

    Ugyanez a felépítés 160 GB-tal, több városban. 4 vCPU / 8 GB / 160 GB, ha a legolcsóbb sor városai nem felelnek meg, vagy nagyobb modellkönyvtárat szeretne.

    Üzembe helyezés
  • BD-24$31.90/hó

    8 vCPU · 24 GB · 300 GB lemez · 32 TB

    8 vCPU / 24 GB 14B modellekhez és egy csapathoz. Egy 14B modell és több egyidejű csevegés, lemezterülettel egy dokumentumtár számára.

    Üzembe helyezés

Az Open WebUI-hoz még nincs indítási preset: a telepítés az alábbi négy lépés, amelyet Ön gépel be. Ezek a saját dokumentációjának parancsai, egy jelölt módosítással.

A telepítés

Négy lépés az Open WebUI dokumentációja alapján

Docker, a konténer, az adminisztrátori fiók, majd egy modell. A 3. lépést azonnal végezze el: az elsőként létrehozott fiók lesz az adminisztrátor.

  1. Docker. curl -fsSL https://get.docker.com | sh Ellenőrizze ezzel: docker --version.
  2. Készítsen titkos kulcsot, és indítsa el. Futtassa a(z) openssl rand -hex 32 parancsot, és őrizze meg a kimenetet; a dokumentáció WEBUI_SECRET_KEY néven adja át. Egyetlen változtatásunk a parancsukon: a(z) 127.0.0.1:3000:8080 távol tartja a portot a nyilvános internettől, amíg nincs HTTPS. docker run -d -p 127.0.0.1:3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=your-secret-key --name open-webui --restart always ghcr.io/open-webui/open-webui:main A beépített Ollamához cserélje az image-et erre: ghcr.io/open-webui/open-webui:ollama, és adja hozzá: -v ollama:/root/.ollama.
  3. Hozza létre most az admint. A laptopjáról: ssh -N -L 3000:127.0.0.1:3000 root@your-server, majd nyissa meg: http://127.0.0.1:3000. Az első képernyő a Create Admin Account lehetőséget kínálja; ez a fiók kezel minden beállítást, és utána a regisztráció magától kikapcsol.
  4. Csatlakoztasson egy modellt, aztán egy domaint. Az Admin beállításokban, a Kapcsolatoknál: adjon meg egy OpenAI-kompatibilis API-kulcsot vagy az Ollama címét. Ugyanazon a gépen futó Ollamához a README szerint a(z) --network=host és a(z) -e OLLAMA_BASE_URL=http://127.0.0.1:11434 használandó; a port ekkor 8080 lesz. HTTPS-hez tegyen elé egy reverse proxyt, és állítsa be a(z) proxy_buffering off; értéket a location blokkjában, különben a streamelt válaszok összekeverve érkeznek.

Őszintén

Amit mi ténylegesen vennénk

A projekt nem ad meg minimumot, ezért a modellhez vásároljon, ne a felülethez.

Open WebUI-hoz saját Ollamával

BD-8 · $12.90/hó

4 vCPU, 8 GB és 100 GB $12.90 áron: az 1,66 GB-os image, a beágyazó modell és mellettük egy 8B modell a memóriában, amely CPU-n néhány token/másodperc sebességgel válaszol. Ez egy személynek vagy egy türelmesen kérdező kis csapatnak megfelel, nem egy teremnyi várakozó embernek. Ha minden modellje hosztolt, a C2-4-80 $37.90 áron ugyanez a felület olcsóbban. Ha gyors helyi válaszokra van szükség, a GPU termékvonal az őszinte válasz, és a :cuda image erre készült.

BD-8 üzembe helyezéseC2-4-80 csak hosztolt modellekhez

Kérdések

Amit vásárlás előtt kérdezni szoktak.

Mik az Open WebUI rendszerkövetelményei?
A projekt egyet sem tesz közzé: a README, a gyorsindítási útmutató és a teljesítményútmutató sem ad meg CPU-, RAM- vagy lemezminimumot. Azt viszont közlik, hogy a :main image 1,66 GB-os letöltés (a :slim image 176 MB, ebből kimarad a beépített gépi tanulási csomag), és hogy a dokumentumkereséshez használt alapértelmezett beágyazó modell minden worker folyamathoz kb. 500 MB RAM-ot igényel. Az oldalon szereplő méretek a sajátjaink, ezekből a számokból és a mellette futtatni kívánt modellből levezetve.
Tartalmazza az Open WebUI az Ollamát?
Csak ha kéri. Az :ollama image egy konténerbe csomagolja az Open WebUI-t és az Ollamát, egy második kötettel indítva a modellek számára. A :main image nem: egy máshol vagy ugyanazon a gépen futó Ollamához csatlakozik, illetve bármely OpenAI-kompatibilis API-hoz, például hosztolt szolgáltatókhoz vagy vLLM-hez. Ollama oldalunk RAM alapján méretezi a modelloldalt.
Melyik portot használja?
Az alkalmazás a konténeren belül a 8080-as porton figyel, a dokumentáció pedig a -p 3000:8080 kapcsolóval a gazdagép 3000-es portján teszi elérhetővé. Ha a --network=host kapcsolót használja egy ugyanazon a gépen futó Ollama eléréséhez, a port helyette 8080. Tartsa a loopback címen, és használjon SSH-alagutat, amíg létre nem jön az adminisztrátori fiók és elé nem kerül a HTTPS, mert az elsőként létrehozott fiók lesz az adminisztrátor.
Szükségem van GPU-ra?
Magához az Open WebUI-hoz nem, mivel az egy webalkalmazás. A GPU csak a modell szempontjából számít: a :cuda image Nvidia kártyán futtatja, kártya nélkül pedig a beépített vagy különálló Ollama a CPU-n válaszol, lassan. Ha a modellek API-kulcs mögött, hosztolva futnak, GPU-ra egyáltalán nincs szükség.
Hol vannak az adataim, és hogyan frissítek?
A /app/backend/data helyre csatolt kötetben: csevegések, felhasználók és beállítások, alapértelmezés szerint SQLite-ban. A dokumentáció szerint soha ne futtassa nélküle. Frissítéshez töltse le az új image-et, távolítsa el a konténert, és futtassa újra ugyanazt a parancsot ugyanazzal a kötettel és ugyanazzal a titkos kulccsal. A dokumentáció PostgreSQL-t javasol, ha sokan használják egyszerre.
Hány felhasználót tud kiszolgálni egy VPS?
A dokumentáció nem ad meg számot. Azt viszont közli, hogy az alapbeállítások személyes használatra valók: SQLite adatbázis, egy helyi vektortár, amely egynél több workerrel nem biztonságos, és magába az alkalmazásba betöltött beágyazó modell. Forgalmas csapat esetén PostgreSQL-t, Redist és külső beágyazó szolgáltatást javasol, és a beágyazás gépről való leválasztása workerenként több száz megabájtot szabadít fel.
Open WebUI, Dify vagy AnythingLLM?
Az Open WebUI a csevegőfelület: Ön biztosítja a modelleket, ő pedig fiókokat, előzményeket, dokumentumokat és eszközöket ad a felhasználóknak a böngészőben. A Dify egy platform LLM-alkalmazások és munkafolyamatok építésére, az AnythingLLM pedig saját, dokumentumcsevegésre épülő kialakítással rendelkezik. Mindhárom ugyanolyan gépen fut, és mindegyiknek van itt saját oldala a saját követelményeivel.

Olvasson tovább

Kapcsolódó