Spring til indhold

Løsninger · Dokumentchat

En VPS til AnythingLLM

AnythingLLM er et privat chatarbejdsområde oven på dine egne dokumenter: du uploader filer, de embeddes i en indbygget vektordatabase, og du chatter med dem via en hostet model bag en API-nøgle eller en lokal model via Ollama. Dokumentationen kræver 2 GB RAM, en CPU med 2 kerner og AVX2 samt 5 GB disk og kalder AVX2 det ene ufravigelige krav. GL2-4 til $11.90 om måneden er den billigste maskine, der opfylder minimumskravet; BD-8 til $12.90 er den, vi selv ville købe, fordi embedderen kører på maskinens CPU.

Udrul BD-8Sammenlign alle planer

Hvad den kræver

Software fra dokumentationen, størrelser mærket efter kilde

Softwaren og sikkerhedsopsætningen kommer fra projektets egen dokumentation. Hvor projektet ikke oplyser hardwarekrav, står det ved størrelserne, hvis tal de er.

Fra docs.anythingllm.com og projektets Docker-guide

  • "RAM 2GB, 2-core CPU with AVX2, Storage 5GB": dokumentationens minimum. På en cloudmaskine siger Docker-guiden mindst 2 GB RAM og minimum 10 GB disk.
  • AVX2 er “det ene ufravigelige krav”: standardvektordatabasen er bygget til CPU'er fra 2013 og frem, og uden det går serveren ned ved start. Tjek inde i maskinen: lscpu | grep -o avx2. Hvis den ikke udskriver noget, så sæt VECTOR_DB til en anden vektordatabase.
  • Installation: docker run -d -p 3001:3001 --cap-add SYS_ADMIN … mintplexlabs/anythingllm med en lagermappe monteret på /app/server/storage. Appen kører på port 3001.
  • Chat kræver en model: en API-nøgle til en hostet udbyder eller Ollama på samme eller en anden maskine. Embedding kører som standard på denne maskines CPU. Flerbrugertilstand med rettigheder er en funktion i Docker-versionen. Ingen GPU.

Størrelser (projektets minimum, derefter vores)

Dimensionering efter anvendelse
ArbejdsbyrdevCPURAM
Dokumenter, chats, en hostet model (officielt minimum)To kerner med AVX2. 5 GB disk, 10 GB på en cloudmaskine; alene images fylder et par gigabyte.22 GB
Et rigtigt dokumentbibliotek, den indbyggede CPU-embedder, nogle få brugereVores. Embedding kører på denne CPU; en stor upload på to kerner tager lang tid.48 GB
Ollama ved siden af til en helt lokal opsætningVores. Det er et spørgsmål om modelhosting, ikke om AnythingLLM: dimensioner den på Ollama-siden.832 GB

De planer, der passer

5 maskiner, aktuelt prissat

Billigste passende maskine først. Priserne er dagens, pr. måned, hentet fra kataloget. Kør AVX2-tjekket på den, du køber, i første minut.

  • GL2-4$11.90/md.

    2 vCPU · 4 GB · 40 GB disk · Unmetered

    Billigste, der opfylder minimumskravet, unmetered. 2 vCPU / 4 GB / 40 GB, dobbelt så meget hukommelse som dokumentationen kræver, og trafik der ikke måles, til uploads. Kør AVX2-tjekket før alt andet.

    Udrul
  • BD-8$12.90/md.

    4 vCPU · 8 GB · 100 GB disk · 32 TB

    Den, vi ville købe: 4 kerner til embedderen. 4 vCPU, 8 GB, 100 GB og 32 TB dataoverførsel for en dollar mere. At embedde et bibliotek på fire kerner i stedet for to er den forskel, du mærker.

    Udrul
  • BD-24$31.90/md.

    8 vCPU · 24 GB · 300 GB disk · 32 TB

    8 vCPU / 24 GB til mange brugere og Ollama ved siden af. Plads til en 8B-model i Ollama på samme maskine, langsomt, og et teams dokumenter.

    Udrul
  • C2-4-80$37.90/md.

    2 vCPU · 4 GB · 80 GB disk · 3 TB

    Minimumskravets profil i snesevis af byer. 2 vCPU / 4 GB / 80 GB. Vælg den for byens skyld. Hostet model, beskedent bibliotek.

    Udrul
  • C4-8-160$75.90/md.

    4 vCPU · 8 GB · 160 GB disk · 3 TB

    4 vCPU / 8 GB / 160 GB, i snesevis af byer. Den komfortable størrelse med disk til et stort bibliotek og dets vektorer.

    Udrul

Der findes endnu ingen opstartsskabelon til AnythingLLM: installationen er de fem trin nedenfor, som du selv indtaster. Trin 3 afviger fra projektets kommando med ét flag, der binder porten til loopback, og det står der.

Installationen

Fem trin fra projektets Docker-guide

Tjek CPU'en, installer Docker, kør containeren på loopback, opsæt den via SSH, og giv den derefter et domæne.

  1. Tjek AVX2 først. lscpu | grep -o avx2 Det skal udskrive avx2. Dokumentationen er klar på, at dette er det ene hardwarekrav, og at det ikke kan emuleres; en maskine uden det skal have VECTOR_DB sat til en ekstern vektordatabase før første start.
  2. Docker. curl -fsSL https://get.docker.com | sh
  3. Kør den på loopback. export STORAGE_LOCATION=/opt/anythingllm && mkdir -p $STORAGE_LOCATION && touch $STORAGE_LOCATION/.env docker run -d --name anythingllm --restart unless-stopped -p 127.0.0.1:3001:3001 --cap-add SYS_ADMIN --add-host=host.docker.internal:host-gateway -v $STORAGE_LOCATION:/app/server/storage -v $STORAGE_LOCATION/.env:/app/server/.env -e STORAGE_DIR="/app/server/storage" mintplexlabs/anythingllm Dette er projektets kommando med én ændring: -p 127.0.0.1:3001:3001 i stedet for -p 3001:3001, så chatten ikke er på det åbne internet, før du har sat en adgangskode. Lagermappen indeholder databasen, vektorerne og dine dokumenter; tag backup af den.
  4. Konfigurer den over SSH. ssh -N -L 3001:127.0.0.1:3001 root@your-server og derefter http://127.0.0.1:3001. Vælg LLM: en hostet udbyder og dens API-nøgle, eller Ollama på http://host.docker.internal:11434, hvis den kører på denne maskine. Slå flerbrugertilstand til, eller sæt instansens adgangskode under Settings, før andre kan nå den.
  5. Giv den et domæne. Peg en A-record på serveren, installer Caddy, og én Caddyfile-blok reverse_proxy 127.0.0.1:3001 under dit domæne henter certifikatet og sætter HTTPS foran 3001. Åbn 80 og 443 i firewallen, intet andet.

Helt ærligt

Det, vi selv ville købe

Minimumskravet er 2 kerner og 2 GB, og den billigste række opfylder det. Vi ville alligevel bruge den ekstra dollar.

Til et dokumentbibliotek, du rent faktisk bruger

BD-8 · $12.90/md.

4 vCPU, 8 GB og 100 GB til $12.90 mod GL2-4 til $11.90: en dollar om måneden giver to kerner mere til embedderen, der kører på denne maskine, hver gang du uploader, og 100 GB til dokumenterne og deres vektorer. Modellen ligger et andet sted, bag en API-nøgle, så ingen GPU; vil du have Ollama ved siden af, så læs Ollama-siden, og køb efter modellen, ikke efter AnythingLLM. Uanset hvilken du vælger, så kør AVX2-tjekket, før du uploader en eneste fil.

Udrul BD-8GL2-4, den billigste, der opfylder minimumskravet

Spørgsmål

Hvad folk spørger om, før de køber.

Hvad er AnythingLLM's systemkrav?
Dokumentationen angiver et minimum på 2 GB RAM, en CPU med 2 kerner og AVX2 samt 5 GB lagerplads og siger, at det er nok til at gemme nogle dokumenter, chatte og bruge funktionerne. Projektets Docker-guide tilføjer, at du på en cloudmaskine bør sigte efter mindst 2 GB RAM og 10 GB disk, fordi diskforbruget vokser med dokumenter, vektorer og eventuelle lokale modeller. Dokumentationen siger også, at appen er en wrapper omkring eksterne tjenester, så den er let, når modellen og embedderen ligger andre steder, og tungere, når de kører på samme maskine.
Hvad er AVX2-kravet, og har min VPS det?
Standardvektordatabasen, LanceDB, er kompileret til CPU'er med instruktionssættet AVX2 (Intel Haswell, 2013, og nyere). Uden det bliver serverprocessen dræbt i det øjeblik, databasen indlæses, og dokumentationen kalder det det ene ufravigelige hardwarekrav. Virtuelle maskiner er faldgruben: en hypervisor kan præsentere en generisk CPU-model, der skjuler AVX2 selv på en moderne vært, så dokumentationen siger, at du skal tjekke inde i gæsten med lscpu | grep -o avx2, ikke på værten. Vi lover ikke et CPU-flag, vi ikke kan se i kataloget, så kør den ene linje i første minut. Hvis den ikke udskriver noget, så sæt VECTOR_DB til en af de andre understøttede vektordatabaser, som kører som separate tjenester.
Kræver den en GPU?
Nej. AnythingLLM kører selv webappen, dokumentpipelinen og som standard en embedder, der kun bruger CPU. Chatsvar kommer fra den LLM, du forbinder: en hostet udbyder via en API-nøgle, med det dokumentationen kalder næsten intet overhead, eller en lokal model via Ollama. Dokumentationens eget råd er at hoste en lokal model på en anden maskine med GPU, hvis AnythingLLM-maskinen ikke har en. Det hører til Ollama-siden og GPU-linjen, ikke denne.
Er den åben på internettet efter installationen?
Projektets kommando udgiver port 3001 på alle interfaces, og en ny instans har ingen adgangskode, før du sætter en. Installationen på denne side binder i stedet 3001 til 127.0.0.1, så indtil du tilføjer et domæne, er den eneste vej ind en SSH-tunnel. Sæt derefter i Settings en adgangskode til instansen, eller slå flerbrugertilstand til, som README'en angiver som en funktion i Docker-versionen, før du sætter HTTPS foran.
Hvor ligger mine data?
I den lagermappe, du monterer på /app/server/storage: SQLite-databasen, LanceDB-vektorerne, uploadede dokumenter og eventuelle lokalt downloadede modeller. Docker-guiden beder dig montere den på værten netop for at du kan hente et nyt image uden at miste noget. Tag backup af den mappe og .env-filen ved siden af; tilsammen udgør de hele instansen.
Kan den bruge Ollama på samme maskine?
Ja. Inde fra containeren er værten http://host.docker.internal:11434, hvilket på Linux kræver --add-host=host.docker.internal:host-gateway i run-kommandoen; trinnet ovenfor inkluderer det. Dimensioner så maskinen efter modellen: en 8B-model kræver 8 GB for sig selv oven i AnythingLLM og svarer med nogle få tokens i sekundet på CPU. Rækken med 24 GB er den mindste på denne side, hvor det er komfortabelt.

Læs videre

Relateret