Přeskočit na obsah

Řešení · Chat s dokumenty

VPS pro AnythingLLM

AnythingLLM je soukromý chatovací prostor nad vašimi vlastními dokumenty: nahrajete soubory, ty se převedou do vestavěné vektorové databáze a vy s nimi chatujete přes hostovaný model za API klíčem nebo lokální model přes Ollama. Jeho dokumentace požaduje 2 GB RAM, dvoujádrový procesor s AVX2 a 5 GB disku a AVX2 označuje za jediný pevný požadavek. GL2-4 za $11.90 měsíčně je nejlevnější stroj, který toto minimum splňuje; BD-8 za $12.90 je ten, který bychom koupili my, protože embedder běží na CPU tohoto stroje.

Nasadit BD-8Porovnat všechny tarify

Co potřebuje

Software podle dokumentace, velikosti s uvedeným zdrojem

Software a bezpečnostní nastavení vycházejí z vlastní dokumentace projektu. Kde projekt neuvádí žádné hardwarové údaje, velikosti uvádějí, odkud pocházejí.

Z docs.anythingllm.com a návodu projektu pro Docker

  • „RAM 2GB, 2-core CPU with AVX2, Storage 5GB“: minimum podle dokumentace. Na cloudovém stroji návod pro Docker uvádí alespoň 2 GB RAM a minimálně 10 GB disku.
  • AVX2 je „jediný pevný požadavek“: výchozí vektorová databáze je sestavena pro procesory od roku 2013 a bez něj server při spuštění spadne. Zkontrolujte to uvnitř stroje: lscpu | grep -o avx2. Pokud nic nevypíše, nastavte VECTOR_DB na jinou vektorovou databázi.
  • Instalace: docker run -d -p 3001:3001 --cap-add SYS_ADMIN … mintplexlabs/anythingllm s adresářem úložiště připojeným do /app/server/storage. Aplikace běží na portu 3001.
  • Chat potřebuje model: API klíč k hostovanému poskytovateli, nebo Ollama na stejném či jiném stroji. Embedding ve výchozím nastavení běží na CPU tohoto stroje. Víceuživatelský režim s oprávněními je funkcí verze pro Docker. Bez GPU.

Velikosti (minimum projektu, pak naše)

Dimenzování podle použití
ZátěžvCPURAM
Dokumenty, chaty, hostovaný model (oficiální minimum)Dvě jádra s AVX2. 5 GB disku, na cloudovém stroji 10 GB; samotné obrazy zaberou několik gigabajtů.22 GB
Skutečná knihovna dokumentů, vestavěný CPU embedder, několik uživatelůNaše. Embedding běží na tomto CPU; velké nahrání na dvou jádrech trvá dlouho.48 GB
Ollama vedle něj pro zcela lokální sestavuNaše. To je otázka hostování modelu, ne AnythingLLM: velikost zvolte na stránce Ollama.832 GB

Vhodné tarify

5 počítačů s aktuálními cenami

Nejlevnější vyhovující stroj jako první. Ceny jsou dnešní, měsíční, načtené z katalogu. Na stroji, který koupíte, spusťte hned v první minutě kontrolu AVX2.

  • GL2-4$11.90/měs.

    2 vCPU · 4 GB · 40 GB disk · Unmetered

    Nejlevnější, který splňuje minimum, Unmetered. 2 vCPU / 4 GB / 40 GB, dvojnásobek paměti, než požaduje dokumentace, a neměřený provoz pro nahrávání. Nejdřív ze všeho spusťte kontrolu AVX2.

    Nasadit
  • BD-8$12.90/měs.

    4 vCPU · 8 GB · 100 GB disk · 32 TB

    Ten, který bychom koupili my: 4 jádra pro embedder. 4 vCPU, 8 GB, 100 GB a 32 TB přenosu za dolar navíc. Embedding knihovny na čtyřech jádrech místo dvou je rozdíl, který poznáte.

    Nasadit
  • BD-24$31.90/měs.

    8 vCPU · 24 GB · 300 GB disk · 32 TB

    8 vCPU / 24 GB pro mnoho uživatelů a Ollama vedle. Místo pro 8B model v Ollama na stejném stroji (pomalu) a dokumenty celého týmu.

    Nasadit
  • C2-4-80$37.90/měs.

    2 vCPU · 4 GB · 80 GB disk · 3 TB

    Parametry minima, v desítkách měst. 2 vCPU / 4 GB / 80 GB. Vyberte ho kvůli městu. Hostovaný model, skromná knihovna.

    Nasadit
  • C4-8-160$75.90/měs.

    4 vCPU · 8 GB · 160 GB disk · 3 TB

    4 vCPU / 8 GB / 160 GB, v desítkách měst. Pohodlná velikost s diskem pro velkou knihovnu a její vektory.

    Nasadit

Pro AnythingLLM zatím neexistuje předvolba při spuštění: instalaci tvoří pět kroků níže, které zadáte sami. Krok 3 se od příkazu projektu liší jedním přepínačem, který váže port na loopback, a výslovně to uvádí.

Instalace

Pět kroků podle návodu projektu pro Docker

Zkontrolujte CPU, nainstalujte Docker, spusťte kontejner na loopbacku, nastavte ho přes SSH a pak mu přidělte doménu.

  1. Nejdřív zkontrolujte AVX2. lscpu | grep -o avx2 Musí vypsat avx2. Dokumentace jasně říká, že jde o jediný hardwarový požadavek a že ho nelze emulovat; stroj bez něj potřebuje před prvním spuštěním nastavit VECTOR_DB na externí vektorovou databázi.
  2. Docker. curl -fsSL https://get.docker.com | sh
  3. Spusťte ho na loopbacku. export STORAGE_LOCATION=/opt/anythingllm && mkdir -p $STORAGE_LOCATION && touch $STORAGE_LOCATION/.env docker run -d --name anythingllm --restart unless-stopped -p 127.0.0.1:3001:3001 --cap-add SYS_ADMIN --add-host=host.docker.internal:host-gateway -v $STORAGE_LOCATION:/app/server/storage -v $STORAGE_LOCATION/.env:/app/server/.env -e STORAGE_DIR="/app/server/storage" mintplexlabs/anythingllm Je to příkaz projektu s jednou změnou: -p 127.0.0.1:3001:3001 místo -p 3001:3001, aby chat nebyl na otevřeném internetu dříve, než nastavíte heslo. Adresář úložiště obsahuje databázi, vektory a vaše dokumenty; zálohujte ho.
  4. Nastavte ho přes SSH. ssh -N -L 3001:127.0.0.1:3001 root@your-server a pak http://127.0.0.1:3001. Vyberte LLM: hostovaného poskytovatele a jeho API klíč, nebo Ollama na http://host.docker.internal:11434, pokud běží na tomto stroji. Než se k němu dostane kdokoli jiný, zapněte v Nastavení režim více uživatelů nebo nastavte heslo instance.
  5. Přidělte mu doménu. Nasměrujte na server záznam A, nainstalujte Caddy a jeden blok v Caddyfile reverse_proxy 127.0.0.1:3001 pod vaší doménou získá certifikát a postaví HTTPS před port 3001. Ve firewallu otevřete 80 a 443, nic jiného.

Upřímně

Co bychom skutečně koupili

Minimum jsou 2 jádra a 2 GB a nejlevnější řádek ho splňuje. My bychom si ten dolar navíc přesto připlatili.

Pro knihovnu dokumentů, kterou budete opravdu používat

BD-8 · $12.90/měs.

4 vCPU, 8 GB a 100 GB za $12.90 oproti GL2-4 za $11.90: za dolar měsíčně získáte dvě jádra navíc pro embedder, který na tomto stroji běží při každém nahrání, a 100 GB pro dokumenty a jejich vektory. Model je jinde, za API klíčem, takže bez GPU; pokud chcete Ollama vedle něj, přečtěte si stránku Ollama a kupujte podle modelu, ne podle AnythingLLM. Na kterémkoli z nich spusťte kontrolu AVX2 dříve, než nahrajete jediný soubor.

Nasadit BD-8GL2-4, nejlevnější, který splňuje minimum

Otázky

Na co se lidé ptají před koupí.

Jaké jsou systémové požadavky AnythingLLM?
Dokumentace uvádí minimum 2 GB RAM, dvoujádrové CPU s AVX2 a 5 GB úložiště a říká, že to stačí k uložení několika dokumentů, chatování a používání funkcí. Návod projektu pro Docker dodává, že na cloudovém stroji byste měli počítat alespoň se 2 GB RAM a 10 GB disku, protože disk roste s dokumenty, vektory a lokálními modely. Dokumentace také uvádí, že aplikace je obal nad externími službami, takže je nenáročná, když model a embedder běží jinde, a náročnější, když běží na stejném stroji.
Co je požadavek AVX2 a bude ho moje VPS mít?
Výchozí vektorová databáze LanceDB je zkompilována pro CPU s instrukční sadou AVX2 (Intel Haswell, 2013, a novější). Bez ní je serverový proces ukončen ve chvíli, kdy se databáze načte, a dokumentace to označuje za jediný pevný hardwarový požadavek. Háček je u virtuálních strojů: hypervizor může předávat obecný model CPU, který AVX2 skryje i na moderním hostiteli, proto dokumentace radí kontrolovat uvnitř hosta příkazem lscpu | grep -o avx2, ne na hostiteli. Neslibujeme příznak CPU, který z katalogu nevidíme, takže tento jeden řádek spusťte v první minutě. Pokud nic nevypíše, nastavte VECTOR_DB na jinou podporovanou vektorovou databázi; ty běží jako samostatné služby.
Potřebuje GPU?
Ne. AnythingLLM sám provozuje webovou aplikaci, zpracování dokumentů a ve výchozím nastavení embedder pouze na CPU. Odpovědi v chatu přicházejí z LLM, které připojíte: z hostovaného poskytovatele přes API klíč, s podle dokumentace téměř nulovou režií, nebo z lokálního přes Ollama. Dokumentace sama doporučuje hostovat lokální model na jiném stroji s GPU, pokud ho stroj s AnythingLLM nemá. To řeší stránka Ollama a řada GPU, ne tato.
Je po instalaci přístupná z internetu?
Příkaz projektu publikuje port 3001 na všech rozhraních a nová instance nemá heslo, dokud ho nenastavíte. Instalace na této stránce místo toho váže port 3001 na 127.0.0.1, takže dokud nepřidáte doménu, jediný přístup je přes SSH tunel. Poté v Nastavení nastavte heslo instance nebo zapněte víceuživatelský režim, který README uvádí jako funkci verze pro Docker, a teprve potom před ni dejte HTTPS.
Kde jsou uložena moje data?
V adresáři úložiště, který připojíte do /app/server/storage: databáze SQLite, vektory LanceDB, nahrané dokumenty a všechny lokálně stažené modely. Návod pro Docker radí připojit ho na hostiteli právě proto, abyste mohli stáhnout nový obraz a nic neztratili. Zálohujte tento adresář a soubor .env vedle něj; dohromady tvoří celou instanci.
Může používat Ollama na stejném stroji?
Ano. Zevnitř kontejneru je hostitel http://host.docker.internal:11434, což na Linuxu vyžaduje v příkazu run --add-host=host.docker.internal:host-gateway; výše uvedený krok to obsahuje. Velikost stroje pak volte podle modelu: 8B model potřebuje vlastních 8 GB navíc k AnythingLLM a na CPU odpovídá rychlostí několika tokenů za sekundu. Řádek s 24 GB je na této stránce nejmenší, kde je to pohodlné.

Čtěte dál

Související