ข้ามไปยังเนื้อหา

โซลูชัน · แชตกับเอกสาร

VPS สำหรับ AnythingLLM

AnythingLLM คือพื้นที่แชตส่วนตัวที่ทำงานกับเอกสารของคุณเอง: อัปโหลดไฟล์ ไฟล์จะถูกฝัง (embed) ลงในฐานข้อมูลเวกเตอร์ในตัว แล้วคุณแชตกับเอกสารเหล่านั้นผ่านโมเดลแบบโฮสต์ที่ใช้ API key หรือโมเดลในเครื่องผ่าน Ollama เอกสารของโปรเจกต์ระบุ RAM 2 GB, CPU 2 คอร์ที่รองรับ AVX2 และดิสก์ 5 GB และระบุว่า AVX2 เป็นข้อกำหนดบังคับเพียงข้อเดียว GL2-4 ราคา $11.90 ต่อเดือนคือเครื่องที่ถูกที่สุดที่ผ่านเกณฑ์ขั้นต่ำนี้ ส่วน BD-8 ราคา $12.90 คือเครื่องที่เราจะเลือกซื้อ เพราะตัว embedder ทำงานบน CPU ของเครื่องนี้

ปรับใช้ BD-8เปรียบเทียบทุกแพ็กเกจ

สิ่งที่ต้องใช้

ซอฟต์แวร์ตามเอกสาร ขนาดระบุแหล่งที่มา

ซอฟต์แวร์และแนวทางด้านความปลอดภัยมาจากเอกสารของโปรเจกต์เอง หากโปรเจกต์ไม่ได้เผยแพร่ข้อมูลฮาร์ดแวร์ ขนาดจะระบุว่าเป็นตัวเลขของใคร

จาก docs.anythingllm.com และคู่มือ Docker ของโปรเจกต์

  • “RAM 2GB, CPU 2 คอร์ที่รองรับ AVX2, พื้นที่เก็บข้อมูล 5GB”: ขั้นต่ำตามเอกสาร บนเครื่องคลาวด์ คู่มือ Docker ระบุ RAM อย่างน้อย 2 GB และดิสก์ขั้นต่ำ 10 GB
  • AVX2 คือ “ข้อกำหนดบังคับข้อเดียว”: ฐานข้อมูลเวกเตอร์เริ่มต้นสร้างมาสำหรับ CPU ตั้งแต่ปี 2013 เป็นต้นไป และหากไม่มี เซิร์ฟเวอร์จะหยุดทำงานตั้งแต่เริ่ม ตรวจสอบภายในเครื่อง: lscpu | grep -o avx2 หากไม่แสดงผลใด ๆ ให้ตั้งค่า VECTOR_DB เป็นฐานข้อมูลเวกเตอร์อื่น
  • ติดตั้ง: docker run -d -p 3001:3001 --cap-add SYS_ADMIN … mintplexlabs/anythingllm โดยเมานต์ไดเรกทอรีพื้นที่เก็บข้อมูลไว้ที่ /app/server/storage แอปทำงานบนพอร์ต 3001
  • การแชตต้องมีโมเดล: API key ของผู้ให้บริการแบบโฮสต์ หรือ Ollama บนเครื่องเดียวกันหรือเครื่องอื่น โดยค่าเริ่มต้น การ embed ทำงานบน CPU ของเครื่องนี้ โหมดหลายผู้ใช้พร้อมการกำหนดสิทธิ์เป็นฟีเจอร์ของเวอร์ชัน Docker ไม่ต้องใช้ GPU

ขนาด (ขั้นต่ำของโปรเจกต์ ตามด้วยของเรา)

กำหนดขนาดตามประเภทงาน
ปริมาณงานvCPURAM
เอกสาร แชต และโมเดลแบบโฮสต์ (ขั้นต่ำอย่างเป็นทางการ)สองคอร์ที่รองรับ AVX2 ดิสก์ 5 GB และ 10 GB บนเครื่องคลาวด์ อิมเมจอย่างเดียวก็ใช้หลายกิกะไบต์แล้ว22 GB
คลังเอกสารจริงจัง ตัวฝังเวกเตอร์บน CPU ในตัว และผู้ใช้ไม่กี่คนของเรา การ embed ทำงานบน CPU นี้ การอัปโหลดขนาดใหญ่บนสองคอร์ใช้เวลานานมาก48 GB
Ollama ข้างกันสำหรับระบบที่ทำงานในเครื่องทั้งหมดของเรา นั่นเป็นคำถามเรื่องการโฮสต์โมเดล ไม่ใช่เรื่อง AnythingLLM: กำหนดขนาดได้ที่หน้า Ollama832 GB

แพ็กเกจที่เหมาะสม

5 เครื่อง ราคาปัจจุบัน

เรียงจากเครื่องที่เหมาะสมและถูกที่สุดก่อน ราคาเป็นราคาวันนี้ ต่อเดือน อ่านจากแคตตาล็อก ไม่ว่าคุณซื้อเครื่องใด ให้ตรวจสอบ AVX2 ในนาทีแรก

  • GL2-4$11.90/เดือน

    2 vCPU · 4 GB · ดิสก์ 40 GB · Unmetered

    ถูกที่สุดที่ผ่านเกณฑ์ขั้นต่ำ, Unmetered. 2 vCPU / 4 GB / 40 GB หน่วยความจำเป็นสองเท่าของที่เอกสารกำหนด และทราฟฟิกแบบไม่นับปริมาณสำหรับการอัปโหลด ตรวจสอบ AVX2 ก่อนทำอย่างอื่น

    ปรับใช้
  • BD-8$12.90/เดือน

    4 vCPU · 8 GB · ดิสก์ 100 GB · 32 TB

    เครื่องที่เราจะเลือกซื้อ: 4 คอร์สำหรับ embedder. 4 vCPU, 8 GB, 100 GB และปริมาณรับส่งข้อมูล 32 TB ในราคาเพิ่มอีกหนึ่งดอลลาร์ การฝังเวกเตอร์คลังเอกสารบนสี่คอร์แทนสองคอร์คือความต่างที่คุณรู้สึกได้

    ปรับใช้
  • BD-24$31.90/เดือน

    8 vCPU · 24 GB · ดิสก์ 300 GB · 32 TB

    8 vCPU / 24 GB สำหรับผู้ใช้จำนวนมากและ Ollama ที่รันอยู่ข้างกัน. มีพื้นที่สำหรับโมเดล 8B ใน Ollama บนเครื่องเดียวกัน (ช้า) และเอกสารของทั้งทีม

    ปรับใช้
  • C2-4-80$37.90/เดือน

    2 vCPU · 4 GB · ดิสก์ 80 GB · 3 TB

    สเปกตามเกณฑ์ขั้นต่ำ ในหลายสิบเมือง. 2 vCPU / 4 GB / 80 GB เลือกเพราะเมืองที่ตั้ง ใช้โมเดลแบบโฮสต์ และคลังเอกสารขนาดไม่ใหญ่

    ปรับใช้
  • C4-8-160$75.90/เดือน

    4 vCPU · 8 GB · ดิสก์ 160 GB · 3 TB

    4 vCPU / 8 GB / 160 GB ในหลายสิบเมือง. ขนาดที่สบาย พร้อมดิสก์สำหรับคลังเอกสารขนาดใหญ่และเวกเตอร์

    ปรับใช้

ยังไม่มีพรีเซ็ตเริ่มต้นสำหรับ AnythingLLM: การติดตั้งคือห้าขั้นตอนด้านล่างที่คุณพิมพ์เอง ขั้นตอนที่ 3 ต่างจากคำสั่งของโปรเจกต์หนึ่ง flag ซึ่งผูกพอร์ตไว้กับ loopback และมีระบุไว้

การติดตั้ง

ห้าขั้นตอน จากคู่มือ Docker ของโปรเจกต์

ตรวจสอบ CPU ติดตั้ง Docker รันคอนเทนเนอร์บน loopback ตั้งค่าผ่าน SSH แล้วจึงผูกโดเมน

  1. ตรวจสอบ AVX2 ก่อน lscpu | grep -o avx2 ต้องแสดงคำว่า avx2 เอกสารระบุชัดว่านี่คือข้อกำหนดด้านฮาร์ดแวร์ข้อเดียว และไม่สามารถจำลองได้ เครื่องที่ไม่มีต้องตั้งค่า VECTOR_DB ให้ชี้ไปยังฐานข้อมูลเวกเตอร์ภายนอกก่อนเริ่มครั้งแรก
  2. Docker curl -fsSL https://get.docker.com | sh
  3. รันบน loopback export STORAGE_LOCATION=/opt/anythingllm && mkdir -p $STORAGE_LOCATION && touch $STORAGE_LOCATION/.env docker run -d --name anythingllm --restart unless-stopped -p 127.0.0.1:3001:3001 --cap-add SYS_ADMIN --add-host=host.docker.internal:host-gateway -v $STORAGE_LOCATION:/app/server/storage -v $STORAGE_LOCATION/.env:/app/server/.env -e STORAGE_DIR="/app/server/storage" mintplexlabs/anythingllm นี่คือคำสั่งของโปรเจกต์ที่เปลี่ยนเพียงจุดเดียว: -p 127.0.0.1:3001:3001 แทน -p 3001:3001 เพื่อไม่ให้หน้าแชตเปิดสู่อินเทอร์เน็ตก่อนที่คุณจะตั้งรหัสผ่าน ไดเรกทอรีจัดเก็บข้อมูลมีฐานข้อมูล เวกเตอร์ และเอกสารของคุณ โปรดสำรองข้อมูลไว้
  4. ตั้งค่าผ่าน SSH ssh -N -L 3001:127.0.0.1:3001 root@your-server แล้วไปที่ http://127.0.0.1:3001 เลือก LLM: ผู้ให้บริการแบบโฮสต์พร้อมคีย์ API หรือ Ollama ที่ http://host.docker.internal:11434 หากรันบนเครื่องนี้ เปิดโหมดหลายผู้ใช้หรือตั้งรหัสผ่านอินสแตนซ์ในการตั้งค่า ก่อนที่ผู้อื่นจะเข้าถึงได้
  5. กำหนดโดเมนให้ ชี้ A record มายังเซิร์ฟเวอร์ ติดตั้ง Caddy แล้วบล็อก Caddyfile เพียงบล็อกเดียว reverse_proxy 127.0.0.1:3001 ภายใต้โดเมนของคุณจะได้รับใบรับรองและวาง HTTPS ไว้หน้าพอร์ต 3001 เปิดพอร์ต 80 และ 443 บนไฟร์วอลล์ ไม่ต้องเปิดอย่างอื่น

พูดกันตรง ๆ

สิ่งที่เราจะซื้อจริงๆ

เกณฑ์ขั้นต่ำคือ 2 คอร์และ 2 GB และแถวที่ถูกที่สุดผ่านเกณฑ์นี้ แต่เราก็ยังจะจ่ายเพิ่มอีกหนึ่งดอลลาร์

สำหรับคลังเอกสารที่คุณจะใช้งานจริง

BD-8 · $12.90/เดือน

4 vCPU, 8 GB และ 100 GB ราคา $12.90 เทียบกับ GL2-4 ราคา $11.90: เพิ่มเดือนละหนึ่งดอลลาร์ได้อีกสองคอร์สำหรับ embedder ที่ทำงานบนเครื่องนี้ทุกครั้งที่คุณอัปโหลด และ 100 GB สำหรับเอกสารและเวกเตอร์ โมเดลอยู่ที่อื่นผ่าน API key จึงไม่ต้องใช้ GPU หากต้องการ Ollama ข้างกัน ให้อ่านหน้า Ollama และซื้อตามโมเดล ไม่ใช่ตาม AnythingLLM ไม่ว่าเครื่องใด ให้ตรวจสอบ AVX2 ก่อนอัปโหลดไฟล์แรก

ปรับใช้ BD-8GL2-4 ถูกที่สุดที่ผ่านเกณฑ์ขั้นต่ำ

คำถาม

คำถามที่ผู้คนถามก่อนซื้อ

AnythingLLM มีข้อกำหนดระบบอะไรบ้าง
เอกสารระบุขั้นต่ำเป็น RAM 2 GB, CPU 2 คอร์ที่รองรับ AVX2 และพื้นที่เก็บข้อมูล 5 GB และบอกว่าเพียงพอสำหรับเก็บเอกสารจำนวนหนึ่ง แชต และใช้ฟีเจอร์ต่าง ๆ คู่มือ Docker ของโปรเจกต์เสริมว่าบนเครื่องคลาวด์ควรมี RAM อย่างน้อย 2 GB และดิสก์ 10 GB เพราะดิสก์จะเพิ่มขึ้นตามเอกสาร เวกเตอร์ และโมเดลในเครื่อง เอกสารยังระบุว่าแอปนี้เป็นตัวครอบบริการภายนอก จึงเบาเมื่อโมเดลและ embedder อยู่ที่อื่น และหนักขึ้นเมื่อรันบนเครื่องเดียวกัน
ข้อกำหนด AVX2 คืออะไร และ VPS ของฉันจะมีหรือไม่
ฐานข้อมูลเวกเตอร์เริ่มต้น LanceDB ถูกคอมไพล์สำหรับ CPU ที่มีชุดคำสั่ง AVX2 (Intel Haswell ปี 2013 และใหม่กว่า) หากไม่มี โปรเซสของเซิร์ฟเวอร์จะถูก kill ทันทีที่โหลดฐานข้อมูล และเอกสารระบุว่านี่เป็นข้อกำหนดฮาร์ดแวร์บังคับเพียงข้อเดียว จุดที่ต้องระวังคือเครื่องเสมือน: hypervisor อาจแสดง CPU รุ่นทั่วไปที่ซ่อน AVX2 แม้โฮสต์จะทันสมัย เอกสารจึงให้ตรวจสอบภายใน guest ด้วย lscpu | grep -o avx2 ไม่ใช่บนโฮสต์ เราไม่รับประกัน CPU flag ที่เรามองไม่เห็นจากแคตตาล็อก ดังนั้นให้รันคำสั่งบรรทัดนี้ในนาทีแรก หากไม่มีผลลัพธ์ ให้ตั้งค่า VECTOR_DB เป็นฐานข้อมูลเวกเตอร์อื่นที่รองรับ ซึ่งรันเป็นบริการแยกต่างหาก
ต้องใช้ GPU หรือไม่
ไม่ต้อง ตัว AnythingLLM รันเว็บแอป ไปป์ไลน์เอกสาร และโดยค่าเริ่มต้นคือ embedder ที่ใช้ CPU เท่านั้น คำตอบในแชตมาจาก LLM ที่คุณเชื่อมต่อ: ผู้ให้บริการแบบโฮสต์ผ่าน API key ซึ่งเอกสารบอกว่าแทบไม่มีภาระเพิ่ม หรือโมเดลในเครื่องผ่าน Ollama คำแนะนำของเอกสารเองคือให้โฮสต์โมเดลในเครื่องบนเครื่องอื่นที่มี GPU หากเครื่อง AnythingLLM ไม่มี นั่นคือหน้า Ollama และไลน์ GPU ไม่ใช่หน้านี้
หลังติดตั้งแล้ว แอปเปิดสู่อินเทอร์เน็ตหรือไม่
คำสั่งของโปรเจกต์เปิดพอร์ต 3001 บนทุกอินเทอร์เฟซ และอินสแตนซ์ใหม่ไม่มีรหัสผ่านจนกว่าคุณจะตั้ง การติดตั้งในหน้านี้ผูกพอร์ต 3001 ไว้กับ 127.0.0.1 แทน ดังนั้นจนกว่าคุณจะเพิ่มโดเมน ทางเข้าเดียวคือ SSH tunnel จากนั้นในการตั้งค่า ให้ตั้งรหัสผ่านอินสแตนซ์หรือเปิดโหมดหลายผู้ใช้ (ซึ่ง README ระบุว่าเป็นฟีเจอร์ของเวอร์ชัน Docker) ก่อนวาง HTTPS ไว้ด้านหน้า
ข้อมูลของฉันเก็บอยู่ที่ไหน
อยู่ในไดเรกทอรีพื้นที่เก็บข้อมูลที่คุณเมานต์ไว้ที่ /app/server/storage ได้แก่ ฐานข้อมูล SQLite, เวกเตอร์ LanceDB, เอกสารที่อัปโหลด และโมเดลที่ดาวน์โหลดไว้ในเครื่อง คู่มือ Docker ให้เมานต์ไว้บนโฮสต์ก็เพื่อให้คุณดึงอิมเมจใหม่ได้โดยไม่สูญเสียข้อมูลใด ๆ ให้สำรองไดเรกทอรีนี้และไฟล์ .env ที่อยู่ข้างกัน ทั้งสองอย่างรวมกันคืออินสแตนซ์ทั้งหมด
ใช้ Ollama บนเครื่องเดียวกันได้หรือไม่
ได้ จากภายในคอนเทนเนอร์ โฮสต์คือ http://host.docker.internal:11434 ซึ่งบน Linux ต้องใส่ --add-host=host.docker.internal:host-gateway ในคำสั่ง run โดยขั้นตอนด้านบนใส่ไว้แล้ว ในกรณีนี้ให้กำหนดขนาดเครื่องตามโมเดล: โมเดล 8B ต้องการ 8 GB ของตัวเองเพิ่มจาก AnythingLLM และตอบได้ไม่กี่โทเคนต่อวินาทีบน CPU แถว 24 GB คือแถวที่เล็กที่สุดในหน้านี้ที่รองรับได้สบาย

อ่านต่อ

ที่เกี่ยวข้อง