Ugrás a tartalomra

Megoldások · Csevegés dokumentumokkal

VPS AnythingLLM-hez

Az AnythingLLM egy privát csevegő munkaterület a saját dokumentumai felett: feltölti a fájlokat, ezek egy beépített vektoradatbázisba kerülnek beágyazva, Ön pedig egy API-kulccsal elért hosztolt modellen vagy az Ollamán keresztül futó helyi modellen keresztül cseveg velük. A dokumentációja 2 GB RAM-ot, AVX2-t támogató 2 magos CPU-t és 5 GB lemezt kér, és az AVX2-t nevezi az egyetlen kötelező követelménynek. A(z) GL2-4 havi $11.90 áron a legolcsóbb gép, amely ezt a minimumot teljesíti; a(z) BD-8 $12.90 áron az, amelyet mi vennénk, mert a beágyazó ennek a gépnek a CPU-ján fut.

BD-8 üzembe helyezéseAz összes csomag összehasonlítása

Amire szüksége van

Szoftver a dokumentációból, a méreteknél feltüntetett forrással

A szoftver és a biztonsági beállítások a projekt saját dokumentációjából származnak. Ahol a projekt nem közöl hardverigényt, a méreteknél fel van tüntetve, kitől származnak.

A docs.anythingllm.com és a projekt Docker-útmutatója alapján

  • „RAM 2GB, 2-core CPU with AVX2, Storage 5GB”: a dokumentáció minimuma. Felhőgépen a Docker-útmutató szerint legalább 2 GB RAM és minimum 10 GB lemez kell.
  • Az AVX2 „az egyetlen kötelező követelmény”: az alapértelmezett vektoradatbázis a 2013-tól gyártott CPU-kra készült, és nélküle a szerver indításkor leáll. Ellenőrizze a gépen: lscpu | grep -o avx2. Ha semmit sem ír ki, állítsa a(z) VECTOR_DB értékét egy másik vektoradatbázisra.
  • Telepítés: docker run -d -p 3001:3001 --cap-add SYS_ADMIN … mintplexlabs/anythingllm, a /app/server/storage helyre csatolt tárolókönyvtárral. Az alkalmazás a 3001-es porton fut.
  • A csevegéshez modell kell: egy hosztolt szolgáltató API-kulcsa, vagy Ollama ugyanezen vagy egy másik gépen. A beágyazás alapértelmezés szerint ennek a gépnek a CPU-ján fut. A jogosultságkezelős többfelhasználós mód a Docker-verzió funkciója. GPU nincs.

Méretek (a projekt minimuma, majd a miénk)

Méretezés felhasználás szerint
MunkaterhelésvCPURAM
Dokumentumok, csevegések, hosztolt modell (hivatalos minimum)Két mag AVX2-vel. 5 GB lemez, felhőgépen 10 GB; maguk az image-ek is néhány gigabájtot foglalnak.22 GB
Valódi dokumentumkönyvtár, a beépített CPU-s beágyazó, néhány felhasználóA miénk. A beágyazás ezen a CPU-n fut; egy nagy feltöltés két magon sokáig tart.48 GB
Mellette Ollama a teljesen helyi megoldáshozA miénk. Ez modellhosztolási kérdés, nem AnythingLLM-es: a méretet az Ollama-oldalon válassza ki.832 GB

A megfelelő csomagok

5 gép, aktuális árakon

Elöl a legolcsóbb megfelelő gép. Az árak a mai, havi árak, a katalógusból olvasva. Bármelyiket is veszi meg, az első percben futtassa le az AVX2-ellenőrzést.

  • GL2-4$11.90/hó

    2 vCPU · 4 GB · 40 GB lemez · Unmetered

    A legolcsóbb, amely eléri a minimumot, Unmetered. 2 vCPU / 4 GB / 40 GB, kétszer annyi memória, mint amennyit a dokumentáció kér, és nem mért forgalom a feltöltésekhez. Mindenekelőtt futtassa az AVX2-ellenőrzést.

    Üzembe helyezés
  • BD-8$12.90/hó

    4 vCPU · 8 GB · 100 GB lemez · 32 TB

    Amit mi vennénk: 4 mag a beágyazónak. 4 vCPU, 8 GB, 100 GB és 32 TB adatforgalom egy dollárral többért. Egy könyvtár beágyazása négy magon kettő helyett: ez az a különbség, amit érezni fog.

    Üzembe helyezés
  • BD-24$31.90/hó

    8 vCPU · 24 GB · 300 GB lemez · 32 TB

    8 vCPU / 24 GB sok felhasználóhoz, mellette Ollama. Hely egy 8B-s modellnek Ollamában ugyanazon a gépen, lassan, és egy csapat dokumentumainak.

    Üzembe helyezés
  • C2-4-80$37.90/hó

    2 vCPU · 4 GB · 80 GB lemez · 3 TB

    A minimumnak megfelelő gép, több tucat városban. 2 vCPU / 4 GB / 80 GB. A város miatt válassza. Hosztolt modell, szerény könyvtár.

    Üzembe helyezés
  • C4-8-160$75.90/hó

    4 vCPU · 8 GB · 160 GB lemez · 3 TB

    4 vCPU / 8 GB / 160 GB, több tucat városban. A kényelmes méret, lemezzel egy nagy dokumentumtárhoz és annak vektoraihoz.

    Üzembe helyezés

Az AnythingLLM-hez még nincs indítási sablon: a telepítés az alábbi öt lépés, amelyet Ön gépel be. A 3. lépés egyetlen kapcsolóban tér el a projekt parancsától, amely a portot a loopback címhez köti, és ezt jelzi is.

A telepítés

Öt lépés a projekt Docker-útmutatója alapján

Ellenőrizze a CPU-t, telepítse a Dockert, futtassa a konténert a loopback címen, állítsa be SSH-n keresztül, majd adjon neki domaint.

  1. Először ellenőrizze az AVX2-t. lscpu | grep -o avx2 Ki kell írnia: avx2. A dokumentáció egyértelmű: ez az egyetlen hardveres szabály, és nem emulálható; egy gépen, amelyen nincs, az első indítás előtt a(z) VECTOR_DB értékét egy külső vektoradatbázisra kell állítani.
  2. Docker. curl -fsSL https://get.docker.com | sh
  3. Futtassa a loopback címen. export STORAGE_LOCATION=/opt/anythingllm && mkdir -p $STORAGE_LOCATION && touch $STORAGE_LOCATION/.env docker run -d --name anythingllm --restart unless-stopped -p 127.0.0.1:3001:3001 --cap-add SYS_ADMIN --add-host=host.docker.internal:host-gateway -v $STORAGE_LOCATION:/app/server/storage -v $STORAGE_LOCATION/.env:/app/server/.env -e STORAGE_DIR="/app/server/storage" mintplexlabs/anythingllm Ez a projekt parancsa egy változtatással: -p 127.0.0.1:3001:3001 a(z) -p 3001:3001 helyett, így a csevegő nem kerül a nyílt internetre, mielőtt jelszót állított be. A tárolókönyvtár tartalmazza az adatbázist, a vektorokat és a dokumentumait; készítsen róla biztonsági mentést.
  4. Állítsa be SSH-n keresztül. ssh -N -L 3001:127.0.0.1:3001 root@your-server, majd http://127.0.0.1:3001. Válassza ki az LLM-et: egy hosztolt szolgáltatót és annak API-kulcsát, vagy az Ollamát itt: http://host.docker.internal:11434, ha ezen a gépen fut. Kapcsolja be a többfelhasználós módot, vagy állítsa be a példány jelszavát a Beállításokban, mielőtt bárki más elérné.
  5. Adjon neki domaint. Irányítson egy A rekordot a szerverre, telepítse a Caddyt, és egyetlen Caddyfile-blokk (reverse_proxy 127.0.0.1:3001) a domainje alatt megszerzi a tanúsítványt, és HTTPS-t tesz a 3001 elé. A tűzfalon a 80-as és 443-as portot nyissa meg, mást ne.

Őszintén

Amit mi ténylegesen vennénk

A minimum 2 mag és 2 GB, és a legolcsóbb sor ezt teljesíti. Mi mégis rászánnánk a plusz egy dollárt.

Olyan dokumentumtárhoz, amelyet ténylegesen használni fog

BD-8 · $12.90/hó

4 vCPU, 8 GB és 100 GB $12.90 áron, szemben a GL2-4 csomaggal $11.90 áron: havi egy dollárért két további magot kap a beágyazóhoz, amely minden feltöltéskor ezen a gépen fut, és 100 GB-ot a dokumentumoknak és vektoraiknak. A modell máshol fut, API-kulcs mögött, így GPU nem kell; ha mellette Ollamát szeretne, olvassa el az Ollama-oldalt, és a modellhez vásároljon, ne az AnythingLLM-hez. Bármelyiken futtassa le az AVX2-ellenőrzést, mielőtt egyetlen fájlt is feltöltene.

BD-8 üzembe helyezéseGL2-4, a legolcsóbb, amely eléri a minimumot

Kérdések

Amit vásárlás előtt kérdezni szoktak.

Mik az AnythingLLM rendszerkövetelményei?
A dokumentáció minimumként 2 GB RAM-ot, kétmagos, AVX2-t támogató CPU-t és 5 GB tárhelyet ad meg, és szerint ez elég néhány dokumentum tárolására, csevegésre és a funkciók használatára. A projekt Docker-útmutatója hozzáteszi, hogy felhőgépen legalább 2 GB RAM-mal és 10 GB lemezzel számoljon, mert a lemezigény nő a dokumentumokkal, a vektorokkal és a helyi modellekkel. A dokumentáció azt is írja, hogy az alkalmazás külső szolgáltatások köré épülő burok, így könnyű, ha a modell és a beágyazó máshol fut, és nehezebb, ha ugyanazon a gépen.
Mi az AVX2-követelmény, és lesz-e ilyen a VPS-emben?
Az alapértelmezett vektoradatbázis, a LanceDB, AVX2 utasításkészletet támogató CPU-kra van fordítva (Intel Haswell, 2013, és újabbak). Enélkül a szerverfolyamat abban a pillanatban leáll, amikor az adatbázis betöltődik, és a dokumentáció ezt nevezi az egyetlen kötelező hardverkövetelménynek. A virtuális gépeknél van a buktató: a hypervisor általános CPU-modellt mutathat, amely modern gazdagépen is elrejti az AVX2-t, ezért a dokumentáció szerint a vendégrendszeren belül kell ellenőrizni az lscpu | grep -o avx2 paranccsal, nem a gazdagépen. Olyan CPU-jelzőt nem ígérünk, amelyet a katalógusból nem látunk, ezért ezt az egy sort futtassa le az első percben. Ha semmit sem ír ki, állítsa a VECTOR_DB értékét valamelyik másik támogatott vektoradatbázisra, ezek külön szolgáltatásként futnak.
Kell hozzá GPU?
Nem. Maga az AnythingLLM a webalkalmazást, a dokumentumfeldolgozást és alapértelmezés szerint egy csak CPU-n futó beágyazót futtat. A csevegési válaszokat az Ön által csatlakoztatott LLM adja: egy hosztolt szolgáltató API-kulccsal, a dokumentáció szerint szinte nulla többletterheléssel, vagy egy helyi modell Ollamán keresztül. A dokumentáció saját tanácsa, hogy ha az AnythingLLM gépében nincs GPU, a helyi modellt egy másik, GPU-val rendelkező gépen futtassa. Ehhez az Ollama-oldal és a GPU-termékvonal való, nem ez az oldal.
Telepítés után elérhető a nyílt internetről?
A projekt parancsa minden interfészen közzéteszi a 3001-es portot, és egy friss példánynak nincs jelszava, amíg Ön be nem állít egyet. Ennek az oldalnak a telepítése ehelyett a 127.0.0.1 címhez köti a 3001-es portot, így amíg nem ad hozzá domaint, csak SSH-alagúton lehet bejutni. Ezután a Settings menüben állítsa be a példány jelszavát, vagy kapcsolja be a többfelhasználós módot, amelyet a README a Docker-verzió funkciójaként sorol fel, mielőtt HTTPS-t tenne elé.
Hol tárolódnak az adataim?
A /app/server/storage helyre csatolt tárolókönyvtárban: az SQLite-adatbázis, a LanceDB-vektorok, a feltöltött dokumentumok és a helyben letöltött modellek. A Docker-útmutató éppen azért javasolja a gazdagépre csatolni, hogy adatvesztés nélkül tölthessen le új image-et. Mentse ezt a könyvtárat és a mellette lévő .env fájlt; a kettő együtt a teljes példány.
Használhatja az ugyanazon a gépen futó Ollamát?
Igen. A konténeren belülről a gazdagép a http://host.docker.internal:11434 címen érhető el, amihez Linuxon a futtatási parancsba kell a --add-host=host.docker.internal:host-gateway; a fenti lépés ezt tartalmazza. Ilyenkor a gépet a modellhez méretezze: egy 8B-s modellnek 8 GB kell önmagában az AnythingLLM felett, és CPU-n másodpercenként néhány tokennel válaszol. A 24 GB-os sor a legkisebb ezen az oldalon, ahol ez kényelmes.

Olvasson tovább

Kapcsolódó