ข้ามไปยังเนื้อหา

โซลูชัน · โมเดลในเครื่อง

VPS สำหรับ Ollama

Ollama ให้บริการโมเดลแบบเปิดผ่าน API ในเครื่อง และกฎตายตัวข้อเดียวคือโมเดลต้องใส่ในหน่วยความจำได้: โมเดล 8 พันล้านพารามิเตอร์มีขนาดดาวน์โหลด 4.9 GB ส่วนโมเดล 70B มีขนาด 42.5 GB บน CPU จะตอบได้ไม่กี่โทเค็นต่อวินาที ซึ่งเพียงพอสำหรับผู้ช่วยส่วนตัว งานแบบ batch และ embeddings แต่ไม่เพียงพอสำหรับผลิตภัณฑ์แชต BD-8 ราคา $12.90 รันโมเดล 8B ได้ BD-64 ราคา $84.90 รันโมเดล 70B ได้

ปรับใช้ BD-8ปรับใช้ C4-8-160 พร้อมติดตั้ง Ollama

สิ่งที่ต้องใช้

ซอฟต์แวร์ตามเอกสาร ขนาดระบุแหล่งที่มา

ซอฟต์แวร์และแนวทางด้านความปลอดภัยมาจากเอกสารของโปรเจกต์เอง หากโปรเจกต์ไม่ได้เผยแพร่ข้อมูลฮาร์ดแวร์ ขนาดจะระบุว่าเป็นตัวเลขของใคร

จาก docs.ollama.com และรีจิสทรี

  • ติดตั้ง: curl -fsSL https://ollama.com/install.sh | sh จะสร้างผู้ใช้ ollama และบริการ systemd
  • ค่าเริ่มต้นจะรับฟังบน 127.0.0.1:11434; OLLAMA_HOST=0.0.0.0 จะเปิดให้เข้าถึง และตัว Ollama ไม่มีการยืนยันตัวตน จึงควรวาง proxy ที่มีการยืนยันตัวตนไว้ด้านหน้าก่อน
  • โมเดลอยู่ใน /usr/share/ollama/.ollama/models ขนาดจากรีจิสทรี: llama3.1:8b 4.9 GB · qwen3:14b 9.3 GB · gemma3:27b 17.4 GB · qwen3:32b 20.2 GB · llama3.3:70b 42.5 GB
  • GPU เป็นตัวเลือกเสริม: หากไม่มี โมเดลจะรันบน CPU และ RAM อย่างช้า ๆ หากมี โมเดลจะรันจาก VRAM อย่างรวดเร็ว

ขนาด (ของเรา: โมเดลต้องใส่ใน RAM ได้โดยมีที่เผื่อ)

กำหนดขนาดตามประเภทงาน
ปริมาณงานvCPURAM
โมเดล 4B–8B (gemma3:4b 3.3 GB, llama3.1:8b 4.9 GB)ผู้ช่วย สรุปความ embeddings ได้ไม่กี่โทเค็นต่อวินาทีบน CPU48 GB
โมเดล 12B–14B (gemma3:12b 8.1 GB, qwen3:14b 9.3 GB)คำตอบดีขึ้นอย่างเห็นได้ชัด แต่ช้าลงอย่างเห็นได้ชัด616 GB
โมเดล 27B–32B (gemma3:27b 17.4 GB, qwen3:32b 20.2 GB)ใช้ได้กับงานแบบ batch ไม่เหมาะกับผู้ใช้ที่รออยู่832 GB
โมเดล 70B (llama3.3:70b 42.5 GB)ใส่ได้ แต่ช้า สำหรับการใช้งานแบบโต้ตอบ เซิร์ฟเวอร์ GPU คือคำตอบที่ตรงไปตรงมา1664 GB

แพ็กเกจที่เหมาะสม

4 เครื่อง ราคาปัจจุบัน

เรียงตามหน่วยความจำ ซึ่งเป็นตัวกำหนดโมเดล ราคาเป็นราคาวันนี้ ต่อเดือน ดึงจากแคตตาล็อก

  • BD-8$12.90/เดือน

    4 vCPU · 8 GB · ดิสก์ 100 GB · 32 TB

    8 GB: โมเดล 8B. 4 vCPU, 8 GB, 100 GB สำหรับการดาวน์โหลด รัน llama3.1:8b, qwen3:8b, gemma3:4b ได้ วางตัวติดตั้งบรรทัดเดียวด้วยตนเอง

    ปรับใช้
  • U6-16-120$47.90/เดือน

    6 vCPU · 16 GB · ดิสก์ 120 GB · Unmetered

    16 GB: โมเดล 14B, Unmetered, อิสตันบูล. 6 vCPU และ 16 GB รัน qwen3:14b และ gemma3:12b ได้ ทราฟฟิกไม่นับปริมาณสำหรับดึงโมเดลได้ตามต้องการ

    ปรับใช้
  • BD-64$84.90/เดือน

    16 vCPU · 64 GB · ดิสก์ 500 GB · 32 TB

    64 GB: สูงสุด 70B, 16 คอร์. เครื่องที่ถูกที่สุดในหน้านี้ที่ใส่ llama3.3:70b หรือ qwen3:32b ในหน่วยความจำได้ คาดว่าจะได้ราวสองโทเค็นต่อวินาทีกับโมเดลใหญ่

    ปรับใช้
  • C4-8-160$75.90/เดือน

    4 vCPU · 8 GB · ดิสก์ 160 GB · 3 TB

    8 GB ส่งมอบพร้อมติดตั้ง Ollama แล้ว. พรีเซ็ตจะติดตั้งบริการบนผู้ให้บริการที่รันสคริปต์เริ่มต้นได้ ดิสก์ 160 GB สำหรับคลังโมเดล

    ปรับใช้แบบติดตั้งแล้ว

"ปรับใช้พร้อมติดตั้ง" จะเปิดหน้ากำหนดค่าพร้อมสคริปต์เริ่มต้น Ollama ของเราในช่องสคริปต์เริ่มต้นแบบเต็ม ก่อนที่คุณจะซื้อ สคริปต์จะติดตั้งบริการและไม่ดึงโมเดลใด คุณเป็นผู้เลือกโมเดลเอง ในแถวอื่น การติดตั้งคือการวางคำสั่งหนึ่งบรรทัด

การติดตั้ง

สี่ขั้นตอน

ติดตั้ง ดึงโมเดลที่พอดี คุยกับมัน และเก็บไว้ใช้เป็นส่วนตัว

  1. ติดตั้ง curl -fsSL https://ollama.com/install.sh | sh บริการจะเริ่มทำงานบน 127.0.0.1:11434 และยังทำงานต่อหลังรีบูต
  2. ดึงโมเดลที่พอดีกับเครื่องนี้ ollama pull llama3.1:8b บน 8 GB; qwen3:14b บน 16 GB; gemma3:27b หรือ qwen3:32b บน 32 GB; llama3.3:70b บน 64 GB
  3. ใช้งาน ollama run llama3.1:8b หรือผ่าน API: curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.1:8b","prompt":"hello"}' จากแล็ปท็อปของคุณ ssh -N -L 11434:127.0.0.1:11434 root@your-server
  4. จากนั้นจึงเปิดให้เข้าถึง โดยมีการยืนยันตัวตนอยู่ด้านหน้า systemctl edit ollama.service พร้อม Environment="OLLAMA_HOST=0.0.0.0:11434" จะทำให้เข้าถึงได้ ต้องมี reverse proxy ที่ใช้รหัสผ่านหรือคีย์ API อยู่ด้านหน้า เพราะ Ollama ไม่มีการยืนยันตัวตนเลย

พูดกันตรง ๆ

สิ่งที่เราจะซื้อจริงๆ

เลือกซื้อตามโมเดลที่คุณจะรันจริง และรู้ไว้ก่อนว่าการอนุมานบน CPU ให้ความรู้สึกอย่างไร

สำหรับโมเดล 8B

BD-8 · $12.90/เดือน

4 vCPU และ 8 GB ราคา $12.90 รัน llama3.1:8b หรือ qwen3:8b ได้อย่างเหลือเฟือ ที่ไม่กี่โทเค็นต่อวินาที: เหมาะกับผู้ช่วยส่วนตัวที่คุณคุยเอง การสรุปทุกคืน หรือ embeddings สำหรับดัชนีการค้นหา หากต้องการคำตอบระดับ 27B BD-64 ราคา $84.90 รองรับได้ รวมถึงโมเดล 70B ด้วย แต่ช้า หากจะมีคนรอคำตอบ ให้หยุดอ่านหน้านี้และไปดูไลน์ GPU

ปรับใช้ BD-8BD-64 สำหรับโมเดลใหญ่

คำถาม

คำถามที่ผู้คนถามก่อนซื้อ

Ollama ต้องใช้ RAM เท่าไร
เท่ากับขนาดโมเดลบวกเผื่ออีกเล็กน้อย เพราะไฟล์โมเดลจะถูกโหลดเข้าหน่วยความจำ รีจิสทรีของ Ollama ระบุ llama3.1:8b ไว้ที่ 4.9 GB, qwen3:14b ที่ 9.3 GB, gemma3:27b ที่ 17.4 GB, qwen3:32b ที่ 20.2 GB และ llama3.3:70b ที่ 42.5 GB ระดับจึงเป็น 8, 16, 32 และ 64 GB ระบบปฏิบัติการและตัว Ollama เองต้องการอีกหนึ่งถึงสองกิกะไบต์ โมเดลที่ใส่ไม่พอจะโหลดไม่ขึ้นหรือไม่ก็ใช้ swap ซึ่งแย่กว่า
บน VPS แบบ CPU เร็วแค่ไหน
ช้า และพูดกันตรง ๆ ว่าช้าจริง: ไม่กี่โทเค็นต่อวินาทีสำหรับโมเดล 8B บนสี่คอร์ และน้อยกว่านั้นสำหรับโมเดลที่ใหญ่กว่า ใช้ได้ดีกับงานที่รันโดยไม่ต้องมีคนเฝ้าและสำหรับคนคนเดียวที่แชต แต่ไม่เหมาะกับผลิตภัณฑ์ที่มีผู้ใช้รออยู่ คอร์ที่มากขึ้นช่วยได้เล็กน้อย ข้อจำกัดจริงคือแบนด์วิดท์หน่วยความจำ หากต้องการความเร็วแบบโต้ตอบ คุณต้องใช้ GPU ซึ่งเป็นอีกหน้าหนึ่ง
ต้องใช้ GPU หรือไม่
ไม่จำเป็นสำหรับการรัน Ollama แต่จำเป็นหากต้องการให้รันเร็ว ทุกอย่างในหน้านี้เป็นการอนุมานบน CPU ไลน์ GPU มีการ์ดตั้งแต่ L4 ตัวเดียวขึ้นไป และโมเดล 7B ที่ช้ามากบน CPU จะตอบได้ทันทีบนนั้น ตัดสินใจจากว่าใครเป็นผู้รอคำตอบ
พรีเซ็ตเริ่มต้นทำอะไรบ้าง
สคริปต์จะรันตัวติดตั้งทางการของ Ollama ซึ่งสร้างผู้ใช้ ollama และบริการ systemd ที่ผูกกับ 127.0.0.1:11434 เปิดใช้งานบริการ และไม่เปิดพอร์ตใดบนไฟร์วอลล์นอกจาก SSH สคริปต์ไม่ดึงโมเดลใด (เพราะขึ้นอยู่กับเครื่องที่คุณซื้อ) และทิ้งไฟล์ /root/OLLAMA-NEXT-STEPS.txt ไว้พร้อมคำสั่งดึงโมเดลตามระดับ RAM คำสั่งทำ tunnel และคำเตือนเรื่องการเปิด API ให้เข้าถึง
เครื่องอื่นใช้งานได้หรือไม่
ได้ เมื่อคุณตั้ง OLLAMA_HOST=0.0.0.0:11434 ผ่าน systemctl edit ollama.service และเปิดพอร์ต อย่าทำเช่นนั้นหากไม่มี reverse proxy ที่ต้องใช้คีย์หรือรหัสผ่าน: Ollama ไม่มีการยืนยันตัวตนของตัวเอง และ Ollama ที่เปิดไว้ก็คือการบริจาคพลังประมวลผล (แม้ไม่มี GPU) ให้อินเทอร์เน็ตใช้ฟรี หากใช้ผ่าน SSH tunnel หรือ VPN ก็ไม่จำเป็นต้องทำสิ่งเหล่านี้
โมเดลเก็บไว้ที่ไหน และมีขนาดใหญ่แค่ไหน
ค่าเริ่มต้นคือ /usr/share/ollama/.ollama/models เปลี่ยนได้ด้วย OLLAMA_MODELS (ผู้ใช้ ollama ต้องเป็นเจ้าของไดเรกทอรี) คลังโมเดลขนาดพอประมาณ (8B, 14B และ 32B อย่างละตัว) ใช้ราว 35 GB นี่จึงเป็นเหตุผลที่ทุกแถวในหน้านี้มีดิสก์ 100 GB ขึ้นไป

อ่านต่อ

ที่เกี่ยวข้อง