Chuyển đến nội dung

Giải pháp · Trò chuyện với tài liệu

VPS cho AnythingLLM

AnythingLLM là không gian trò chuyện riêng tư trên chính tài liệu của bạn: bạn tải tệp lên, tệp được nhúng vào cơ sở dữ liệu vector tích hợp sẵn, và bạn trò chuyện với chúng thông qua một mô hình được lưu trữ (dùng API key) hoặc một mô hình cục bộ qua Ollama. Tài liệu của dự án yêu cầu 2 GB RAM, CPU 2 nhân có AVX2 và 5 GB ổ đĩa, và gọi AVX2 là yêu cầu bắt buộc duy nhất. GL2-4 giá $11.90 mỗi tháng là máy rẻ nhất đáp ứng mức tối thiểu đó; BD-8 giá $12.90 là máy chúng tôi sẽ chọn mua, vì bộ nhúng chạy trên CPU của máy này.

Triển khai BD-8So sánh mọi gói

Những gì nó cần

Phần mềm theo tài liệu chính thức, cấu hình ghi rõ nguồn

Phần mềm và cách thiết lập bảo mật lấy từ tài liệu của chính dự án. Khi dự án không công bố thông số phần cứng, cấu hình sẽ ghi rõ con số đó là của ai.

Theo docs.anythingllm.com và hướng dẫn Docker của dự án

  • “RAM 2GB, 2-core CPU with AVX2, Storage 5GB”: mức tối thiểu trong tài liệu. Trên máy cloud, hướng dẫn Docker yêu cầu ít nhất 2 GB RAM và tối thiểu 10 GB ổ đĩa.
  • AVX2 là “yêu cầu bắt buộc duy nhất”: cơ sở dữ liệu vector mặc định được xây dựng cho CPU từ năm 2013 trở đi, và thiếu nó máy chủ sẽ dừng ngay khi khởi động. Kiểm tra bên trong máy: lscpu | grep -o avx2. Nếu không in ra gì, hãy đặt VECTOR_DB sang một cơ sở dữ liệu vector khác.
  • Cài đặt: docker run -d -p 3001:3001 --cap-add SYS_ADMIN … mintplexlabs/anythingllm với thư mục lưu trữ được gắn vào /app/server/storage. Ứng dụng chạy trên cổng 3001.
  • Phần trò chuyện cần một mô hình: API key của một nhà cung cấp lưu trữ mô hình, hoặc Ollama trên cùng máy hay một máy khác. Mặc định, việc nhúng chạy trên CPU của máy này. Chế độ nhiều người dùng có phân quyền là tính năng của phiên bản Docker. Không cần GPU.

Cấu hình (mức tối thiểu của dự án, rồi đến của chúng tôi)

Chọn cấu hình theo mục đích sử dụng
Khối lượng công việcvCPURAM
Tài liệu, trò chuyện, mô hình được lưu trữ (mức tối thiểu chính thức)Hai nhân có AVX2. 5 GB ổ đĩa, 10 GB trên máy cloud; riêng các image đã chiếm vài gigabyte.22 GB
Một thư viện tài liệu thực sự, bộ nhúng CPU tích hợp, vài người dùngCủa chúng tôi. Việc nhúng chạy trên CPU này; một lần tải lên lớn trên hai nhân sẽ mất khá lâu.48 GB
Ollama chạy kèm cho một hệ thống hoàn toàn cục bộCủa chúng tôi. Đó là câu hỏi về lưu trữ mô hình, không phải về AnythingLLM: hãy chọn cấu hình trên trang Ollama.832 GB

Các gói phù hợp

5 máy, giá trực tiếp

Máy phù hợp rẻ nhất xếp đầu. Giá là giá hôm nay, theo tháng, lấy từ danh mục. Dù mua máy nào, hãy chạy lệnh kiểm tra AVX2 ngay trong phút đầu tiên.

  • GL2-4$11.90/tháng

    2 vCPU · 4 GB · 40 GB ổ đĩa · Unmetered

    Rẻ nhất đạt mức tối thiểu, Unmetered. 2 vCPU / 4 GB / 40 GB, gấp đôi bộ nhớ tài liệu yêu cầu, và lưu lượng không đo đếm cho việc tải lên. Hãy kiểm tra AVX2 trước tiên.

    Triển khai
  • BD-8$12.90/tháng

    4 vCPU · 8 GB · 100 GB ổ đĩa · 32 TB

    Máy chúng tôi sẽ mua: 4 nhân cho bộ nhúng. 4 vCPU, 8 GB, 100 GB và 32 TB lưu lượng truyền tải với thêm một đô la. Nhúng một thư viện trên bốn nhân thay vì hai là khác biệt bạn cảm nhận được.

    Triển khai
  • BD-24$31.90/tháng

    8 vCPU · 24 GB · 300 GB ổ đĩa · 32 TB

    8 vCPU / 24 GB cho nhiều người dùng và Ollama chạy cùng. Đủ chỗ cho một mô hình 8B trong Ollama trên cùng máy (chạy chậm) và tài liệu của cả một nhóm.

    Triển khai
  • C2-4-80$37.90/tháng

    2 vCPU · 4 GB · 80 GB ổ đĩa · 3 TB

    Đúng cấu hình tối thiểu, tại hàng chục thành phố. 2 vCPU / 4 GB / 80 GB. Chọn nó vì thành phố. Mô hình được lưu trữ bên ngoài, thư viện vừa phải.

    Triển khai
  • C4-8-160$75.90/tháng

    4 vCPU · 8 GB · 160 GB ổ đĩa · 3 TB

    4 vCPU / 8 GB / 160 GB, tại hàng chục thành phố. Cấu hình thoải mái, có dung lượng ổ đĩa cho một thư viện lớn và các vector của nó.

    Triển khai

Hiện chưa có preset khởi tạo cho AnythingLLM: việc cài đặt là năm bước dưới đây, do bạn tự gõ. Bước 3 khác lệnh của dự án ở một cờ, dùng để gắn cổng vào loopback, và có ghi rõ điều đó.

Cài đặt

Năm bước, theo hướng dẫn Docker của dự án

Kiểm tra CPU, cài Docker, chạy container trên loopback, thiết lập qua SSH, rồi gán tên miền.

  1. Kiểm tra AVX2 trước. lscpu | grep -o avx2 Lệnh phải in ra avx2. Tài liệu nêu rõ đây là quy tắc phần cứng duy nhất và không thể giả lập; máy không có AVX2 cần đặt VECTOR_DB trỏ tới một cơ sở dữ liệu vector bên ngoài trước lần khởi động đầu tiên.
  2. Docker. curl -fsSL https://get.docker.com | sh
  3. Chạy nó trên loopback. export STORAGE_LOCATION=/opt/anythingllm && mkdir -p $STORAGE_LOCATION && touch $STORAGE_LOCATION/.env docker run -d --name anythingllm --restart unless-stopped -p 127.0.0.1:3001:3001 --cap-add SYS_ADMIN --add-host=host.docker.internal:host-gateway -v $STORAGE_LOCATION:/app/server/storage -v $STORAGE_LOCATION/.env:/app/server/.env -e STORAGE_DIR="/app/server/storage" mintplexlabs/anythingllm Đây là lệnh của dự án với một thay đổi: -p 127.0.0.1:3001:3001 thay vì -p 3001:3001, để giao diện chat không lộ ra internet trước khi bạn đặt mật khẩu. Thư mục lưu trữ chứa cơ sở dữ liệu, vector và tài liệu của bạn; hãy sao lưu nó.
  4. Thiết lập qua SSH. ssh -N -L 3001:127.0.0.1:3001 root@your-server rồi mở http://127.0.0.1:3001. Chọn LLM: một nhà cung cấp lưu trữ cùng khóa API của họ, hoặc Ollama tại http://host.docker.internal:11434 nếu nó chạy trên máy này. Bật chế độ nhiều người dùng hoặc đặt mật khẩu instance trong Settings trước khi bất kỳ ai khác truy cập được.
  5. Gán tên miền. Trỏ bản ghi A tới máy chủ, cài Caddy, và một khối Caddyfile reverse_proxy 127.0.0.1:3001 dưới tên miền của bạn sẽ lấy chứng chỉ và đặt HTTPS trước cổng 3001. Chỉ mở cổng 80 và 443 trên tường lửa, không gì khác.

Nói thẳng

Gói chúng tôi thực sự sẽ mua

Mức tối thiểu là 2 nhân và 2 GB, và hàng rẻ nhất đáp ứng được. Dù vậy chúng tôi vẫn sẽ chi thêm một đô la.

Cho một thư viện tài liệu bạn thực sự dùng

BD-8 · $12.90/tháng

4 vCPU, 8 GB và 100 GB giá $12.90, so với GL2-4 giá $11.90: thêm một đô la mỗi tháng bạn có thêm hai nhân cho bộ nhúng chạy trên máy này mỗi lần bạn tải lên, và 100 GB cho tài liệu cùng các vector của chúng. Mô hình nằm ở nơi khác, sau một API key, nên không cần GPU; nếu bạn muốn chạy Ollama kèm theo, hãy đọc trang Ollama và mua theo nhu cầu của mô hình, không phải của AnythingLLM. Với bất kỳ máy nào, hãy chạy lệnh kiểm tra AVX2 trước khi tải lên dù chỉ một tệp.

Triển khai BD-8GL2-4, rẻ nhất đạt mức tối thiểu

Câu hỏi

Những điều mọi người hỏi trước khi mua.

Yêu cầu hệ thống của AnythingLLM là gì?
Tài liệu của dự án đưa ra mức tối thiểu 2 GB RAM, CPU 2 nhân có AVX2 và 5 GB lưu trữ, và cho biết như vậy là đủ để lưu một số tài liệu, trò chuyện và dùng các tính năng. Hướng dẫn Docker của dự án bổ sung rằng trên máy cloud, bạn nên nhắm tới ít nhất 2 GB RAM và 10 GB ổ đĩa, vì dung lượng tăng theo tài liệu, vector và mọi mô hình cục bộ. Tài liệu cũng nói ứng dụng là lớp bao quanh các dịch vụ bên ngoài, nên nó nhẹ khi mô hình và bộ nhúng nằm ở nơi khác, và nặng hơn khi chúng chạy trên cùng máy.
Yêu cầu AVX2 là gì, và VPS của tôi có không?
Cơ sở dữ liệu vector mặc định, LanceDB, được biên dịch cho CPU có tập lệnh AVX2 (Intel Haswell, 2013, và mới hơn). Nếu không có, tiến trình máy chủ sẽ bị dừng ngay khi cơ sở dữ liệu được nạp, và tài liệu gọi đây là yêu cầu phần cứng bắt buộc duy nhất. Máy ảo là điểm cần lưu ý: hypervisor có thể hiển thị một mẫu CPU chung chung che mất AVX2 ngay cả trên máy chủ hiện đại, nên tài liệu khuyên kiểm tra bên trong máy khách bằng lscpu | grep -o avx2, không phải trên máy chủ vật lý. Chúng tôi không cam kết một cờ CPU mà chúng tôi không thể thấy từ danh mục, vì vậy hãy chạy dòng lệnh đó trong phút đầu tiên. Nếu nó không in ra gì, hãy đặt VECTOR_DB thành một trong các cơ sở dữ liệu vector được hỗ trợ khác, vốn chạy như các dịch vụ riêng.
Có cần GPU không?
Không. Bản thân AnythingLLM chạy ứng dụng web, quy trình xử lý tài liệu và, theo mặc định, một bộ nhúng chỉ dùng CPU. Câu trả lời trò chuyện đến từ LLM mà bạn kết nối: một nhà cung cấp lưu trữ mô hình qua API key, với mức tiêu tốn mà tài liệu gọi là gần như bằng không, hoặc một mô hình cục bộ qua Ollama. Chính tài liệu khuyên nên lưu trữ mô hình cục bộ trên một máy khác có GPU nếu máy chạy AnythingLLM không có. Việc đó thuộc trang Ollama và dòng GPU, không phải trang này.
Sau khi cài, nó có mở ra internet không?
Lệnh của dự án mở cổng 3001 trên mọi giao diện mạng, và một instance mới không có mật khẩu cho đến khi bạn đặt. Cách cài trên trang này thay vào đó gắn cổng 3001 vào 127.0.0.1, nên cho đến khi bạn thêm tên miền, cách duy nhất để truy cập là qua đường hầm SSH. Sau đó, trong Settings, hãy đặt mật khẩu instance hoặc bật chế độ nhiều người dùng (README ghi đây là tính năng của phiên bản Docker) trước khi đặt HTTPS phía trước.
Dữ liệu của tôi nằm ở đâu?
Trong thư mục lưu trữ bạn gắn vào /app/server/storage: cơ sở dữ liệu SQLite, các vector LanceDB, tài liệu đã tải lên và mọi mô hình đã tải về cục bộ. Hướng dẫn Docker yêu cầu gắn thư mục này trên máy chủ chính là để bạn có thể kéo image mới mà không mất gì. Hãy sao lưu thư mục đó và tệp .env bên cạnh; hai thứ này gộp lại là toàn bộ instance.
Có dùng được Ollama trên cùng máy không?
Có. Từ bên trong container, máy chủ là http://host.docker.internal:11434, mà trên Linux cần thêm --add-host=host.docker.internal:host-gateway vào lệnh run; bước ở trên đã có sẵn. Khi đó hãy chọn cấu hình máy theo mô hình: một mô hình 8B cần riêng 8 GB ngoài phần của AnythingLLM, và trả lời với tốc độ vài token mỗi giây trên CPU. Hàng 24 GB là cấu hình nhỏ nhất trên trang này đáp ứng thoải mái việc đó.

Đọc tiếp

Liên quan