Langsung ke konten

Solusi · Chat dokumen

VPS untuk AnythingLLM

AnythingLLM adalah ruang kerja chat privat atas dokumen Anda sendiri: unggah file, file tersebut di-embed ke database vektor bawaan, dan Anda chat dengannya melalui model hosted dengan API key atau model lokal melalui Ollama. Dokumentasinya meminta RAM 2 GB, CPU 2 core dengan AVX2, dan disk 5 GB, serta menyebut AVX2 sebagai satu-satunya persyaratan mutlak. GL2-4 seharga $11.90 per bulan adalah mesin termurah yang memenuhi batas minimum itu; BD-8 seharga $12.90 adalah yang akan kami beli, karena embedder berjalan di CPU mesin ini.

Deploy BD-8Bandingkan setiap paket

Yang dibutuhkan

Perangkat lunak dari dokumentasi, ukuran diberi label sesuai sumbernya

Perangkat lunak dan postur keamanannya berasal dari dokumentasi proyek itu sendiri. Jika proyek tidak menerbitkan angka perangkat keras, ukuran yang ditampilkan menyebutkan sumbernya.

Dari docs.anythingllm.com dan panduan Docker proyek

  • “RAM 2GB, 2-core CPU with AVX2, Storage 5GB”: batas minimum menurut dokumentasinya. Di mesin cloud, panduan Docker menyebut RAM minimal 2 GB dan disk minimal 10 GB.
  • AVX2 adalah “satu-satunya persyaratan mutlak”: database vektor bawaan dibuat untuk CPU tahun 2013 ke atas, dan tanpanya server mati saat dijalankan. Periksa di dalam mesin: lscpu | grep -o avx2. Jika tidak menampilkan apa pun, atur VECTOR_DB ke database vektor lain.
  • Instalasi: docker run -d -p 3001:3001 --cap-add SYS_ADMIN … mintplexlabs/anythingllm dengan direktori storage di-mount di /app/server/storage. Aplikasi berjalan di port 3001.
  • Chat memerlukan model: API key untuk penyedia hosted, atau Ollama di mesin yang sama atau mesin lain. Embedding secara default berjalan di CPU mesin ini. Mode multi-user dengan izin adalah fitur versi Docker. Tanpa GPU.

Ukuran (minimum proyek, lalu pilihan kami)

Penentuan ukuran berdasarkan beban kerja
Beban kerjavCPURAM
Dokumen, chat, model hosted (minimum resmi)Dua core dengan AVX2. Disk 5 GB, 10 GB di mesin cloud; image-nya saja memakan beberapa gigabyte.22 GB
Pustaka dokumen sungguhan, embedder CPU bawaan, beberapa penggunaPilihan kami. Embedding berjalan di CPU ini; unggahan besar di dua core memakan waktu lama.48 GB
Ollama di sampingnya untuk stack yang sepenuhnya lokalPilihan kami. Itu pertanyaan hosting model, bukan AnythingLLM: tentukan ukurannya di halaman Ollama.832 GB

Paket yang cocok

5 mesin, dengan harga terkini

Mesin termurah yang sesuai ditampilkan pertama. Harga berlaku hari ini, per bulan, diambil dari katalog. Jalankan pemeriksaan AVX2 pada mesin mana pun yang Anda beli, di menit pertama.

  • GL2-4$11.90/bln

    2 vCPU · 4 GB · disk 40 GB · Unmetered

    Termurah yang memenuhi batas minimum, unmetered. 2 vCPU / 4 GB / 40 GB, dua kali memori yang diminta dokumentasi, dan trafik unmetered (tidak dihitung) untuk unggahan. Jalankan pemeriksaan AVX2 sebelum hal lainnya.

    Deploy
  • BD-8$12.90/bln

    4 vCPU · 8 GB · disk 100 GB · 32 TB

    Yang akan kami beli: 4 core untuk embedder. 4 vCPU, 8 GB, 100 GB, dan transfer 32 TB dengan tambahan satu dolar. Membuat embedding pustaka di empat core alih-alih dua adalah perbedaan yang terasa.

    Deploy
  • BD-24$31.90/bln

    8 vCPU · 24 GB · disk 300 GB · 32 TB

    8 vCPU / 24 GB untuk banyak pengguna dan Ollama di sampingnya. Cukup untuk model 8B di Ollama pada mesin yang sama, secara lambat, dan dokumen sebuah tim.

    Deploy
  • C2-4-80$37.90/bln

    2 vCPU · 4 GB · disk 80 GB · 3 TB

    Bentuk batas minimum, di puluhan kota. 2 vCPU / 4 GB / 80 GB. Pilih karena kotanya. Model hosted, pustaka kecil.

    Deploy
  • C4-8-160$75.90/bln

    4 vCPU · 8 GB · disk 160 GB · 3 TB

    4 vCPU / 8 GB / 160 GB, di puluhan kota. Ukuran yang nyaman dengan disk untuk pustaka besar beserta vektornya.

    Deploy

Belum ada preset start-up untuk AnythingLLM: instalasinya adalah lima langkah di bawah, yang Anda ketik sendiri. Langkah 3 berbeda dari perintah proyek pada satu flag, yang mengikat port ke loopback, dan hal itu disebutkan.

Instalasi

Lima langkah, dari panduan Docker proyek

Periksa CPU, pasang Docker, jalankan container di loopback, siapkan melalui SSH, lalu berikan domain.

  1. Periksa AVX2 terlebih dahulu. lscpu | grep -o avx2 Hasilnya harus menampilkan avx2. Dokumentasi menegaskan bahwa ini satu-satunya aturan perangkat keras dan tidak dapat diemulasikan; mesin tanpa AVX2 memerlukan VECTOR_DB diatur ke database vektor eksternal sebelum start pertama.
  2. Docker. curl -fsSL https://get.docker.com | sh
  3. Jalankan di loopback. export STORAGE_LOCATION=/opt/anythingllm && mkdir -p $STORAGE_LOCATION && touch $STORAGE_LOCATION/.env docker run -d --name anythingllm --restart unless-stopped -p 127.0.0.1:3001:3001 --cap-add SYS_ADMIN --add-host=host.docker.internal:host-gateway -v $STORAGE_LOCATION:/app/server/storage -v $STORAGE_LOCATION/.env:/app/server/.env -e STORAGE_DIR="/app/server/storage" mintplexlabs/anythingllm Ini adalah perintah dari proyek dengan satu perubahan: -p 127.0.0.1:3001:3001 alih-alih -p 3001:3001, sehingga chat tidak terbuka di internet sebelum Anda mengatur kata sandi. Direktori storage berisi database, vektor, dan dokumen Anda; cadangkan direktori ini.
  4. Siapkan melalui SSH. ssh -N -L 3001:127.0.0.1:3001 root@your-server lalu buka http://127.0.0.1:3001. Pilih LLM: penyedia hosted beserta API key-nya, atau Ollama di http://host.docker.internal:11434 jika berjalan di mesin ini. Aktifkan mode multi-user atau atur kata sandi instance di Settings sebelum orang lain dapat mengaksesnya.
  5. Berikan domain. Arahkan A record ke server, pasang Caddy, dan satu blok Caddyfile reverse_proxy 127.0.0.1:3001 di bawah domain Anda akan mendapatkan sertifikat dan menempatkan HTTPS di depan port 3001. Buka port 80 dan 443 di firewall, tidak yang lain.

Terus terang

Yang benar-benar akan kami beli

Batas minimumnya 2 core dan 2 GB, dan baris termurah memenuhinya. Kami tetap akan mengeluarkan satu dolar tambahan.

Untuk pustaka dokumen yang benar-benar akan Anda gunakan

BD-8 · $12.90/bln

4 vCPU, 8 GB, dan 100 GB seharga $12.90, dibandingkan GL2-4 seharga $11.90: satu dolar per bulan memberi dua core tambahan untuk embedder yang berjalan di mesin ini setiap kali Anda mengunggah, serta 100 GB untuk dokumen dan vektornya. Modelnya berada di tempat lain, di balik API key, jadi tidak perlu GPU; jika Anda ingin Ollama di sampingnya, baca halaman Ollama dan pilih ukuran untuk modelnya, bukan untuk AnythingLLM. Di mesin mana pun, jalankan pemeriksaan AVX2 sebelum Anda mengunggah satu file pun.

Deploy BD-8GL2-4, termurah yang memenuhi batas minimum

Pertanyaan

Pertanyaan orang sebelum membelinya.

Apa persyaratan sistem AnythingLLM?
Dokumentasinya menyebutkan minimum RAM 2 GB, CPU 2 core dengan AVX2, dan penyimpanan 5 GB, dan menyatakan itu cukup untuk menyimpan beberapa dokumen, chat, dan menggunakan fiturnya. Panduan Docker proyek menambahkan bahwa di mesin cloud sebaiknya Anda menargetkan setidaknya RAM 2 GB dan disk 10 GB, karena disk bertambah seiring dokumen, vektor, dan model lokal. Dokumentasi juga menyebut aplikasi ini adalah pembungkus layanan eksternal, sehingga ringan saat model dan embedder berada di tempat lain, dan lebih berat saat berjalan di mesin yang sama.
Apa itu persyaratan AVX2, dan apakah VPS saya memilikinya?
Database vektor bawaan, LanceDB, dikompilasi untuk CPU dengan set instruksi AVX2 (Intel Haswell, 2013, dan yang lebih baru). Tanpanya, proses server dihentikan begitu database dimuat, dan dokumentasi menyebutnya satu-satunya persyaratan perangkat keras mutlak. Mesin virtual adalah jebakannya: hypervisor dapat menyajikan model CPU generik yang menyembunyikan AVX2 bahkan di host modern, sehingga dokumentasi menyarankan untuk memeriksa di dalam guest dengan lscpu | grep -o avx2, bukan di host. Kami tidak menjanjikan flag CPU yang tidak dapat kami lihat dari katalog, jadi jalankan satu baris itu di menit pertama. Jika tidak menampilkan apa pun, atur VECTOR_DB ke salah satu database vektor lain yang didukung, yang berjalan sebagai layanan terpisah.
Apakah memerlukan GPU?
Tidak. AnythingLLM sendiri menjalankan aplikasi web, pipeline dokumen, dan secara default embedder khusus CPU. Jawaban chat berasal dari LLM mana pun yang Anda hubungkan: penyedia hosted melalui API key, dengan apa yang disebut dokumentasi sebagai overhead hampir nol, atau model lokal melalui Ollama. Saran dari dokumentasi sendiri adalah meng-host model lokal di mesin lain yang memiliki GPU jika mesin AnythingLLM tidak memilikinya. Itu adalah halaman Ollama dan lini GPU, bukan halaman ini.
Apakah terbuka di internet setelah instalasi?
Perintah proyek membuka port 3001 di semua interface, dan instance baru tidak memiliki kata sandi sampai Anda mengaturnya. Instalasi di halaman ini justru mengikat 3001 ke 127.0.0.1, sehingga sampai Anda menambahkan domain, satu-satunya jalan masuk adalah tunnel SSH. Kemudian, di Settings, atur kata sandi instance atau aktifkan mode multi-user, yang dicantumkan README sebagai fitur versi Docker, sebelum Anda menempatkan HTTPS di depannya.
Di mana data saya disimpan?
Di direktori storage yang Anda mount di /app/server/storage: database SQLite, vektor LanceDB, dokumen yang diunggah, dan model apa pun yang diunduh secara lokal. Panduan Docker meminta Anda me-mount-nya di host justru agar Anda dapat menarik image baru tanpa kehilangan apa pun. Cadangkan direktori itu dan file .env di sampingnya; keduanya bersama-sama adalah keseluruhan instance.
Bisakah menggunakan Ollama di mesin yang sama?
Ya. Dari dalam container, host adalah http://host.docker.internal:11434, yang di Linux memerlukan --add-host=host.docker.internal:host-gateway pada perintah run; langkah di atas sudah menyertakannya. Lalu tentukan ukuran mesin untuk modelnya: model 8B membutuhkan 8 GB tersendiri di luar AnythingLLM, dan menjawab dengan kecepatan beberapa token per detik di CPU. Baris 24 GB adalah yang terkecil di halaman ini yang nyaman untuk itu.

Baca selanjutnya

Terkait