Çözümler · Çok modelli sohbet
LibreChat için VPS
LibreChat, aynı anda birçok model için açık kaynaklı sohbet arayüzüdür: OpenAI, Anthropic, Google ve OpenAI uyumlu bir uç nokta üzerinden yerel modeller; ajanlar, dosya araması ve tüm ekip için hesaplarla birlikte. Belgeleri hiçbir RAM veya CPU rakamı yayımlamıyor ve resmi Docker Compose dosyası altı konteyner başlatıyor; bu yüzden boyutlandırmayı buna göre yapıyoruz. Aylık $12.90 ile BD-8, gerçek anlamda yeri olan en ucuz makinedir; $37.90 ile C2-4-80, tek kullanıcı veya küçük bir grup için daha küçük yapılandırmadır.
Gereksinimleri
Yazılım belgelerden, boyutlar kaynağıyla etiketli
Yazılım ve güvenlik yaklaşımı, projenin kendi belgelerinden alınmıştır. Projenin donanım değeri yayımlamadığı durumlarda boyutlar, kime ait olduklarını belirtir.
LibreChat belgelerinden ve compose dosyasından
- Linux üzerinde Git ve Docker. librechat.ai üzerindeki Docker rehberi başka bir şey listelemiyor ve RAM, CPU ya da disk gereksinimi belirtmiyor.
- Kurulum: depoyu klonlayın, ardından
cp .env.example .env && docker compose up -d. Uygulama 3080 numaralı portta yanıt verir; ikinci bir konteyner olan yönetim paneli 3000 numaralı portta yanıt verir. - Resmi compose dosyası altı konteyner başlatır: LibreChat uygulaması, yönetim paneli, konuşmalar ve hesaplar için MongoDB, konuşma araması için Meilisearch, dosya araması için bir pgvector veritabanı ve RAG API.
- Modeller donanım değil, anahtardır. OpenAI, Anthropic ve Google anahtarları .env dosyasına girer ya da her kullanıcı kendi anahtarını arayüzde girer. Yerel model, librechat.yaml dosyasına eklediğiniz ayrı bir Ollama veya OpenAI uyumlu başka bir uç noktadır; bu nedenle bu makinenin GPU'ya ihtiyacı yoktur.
Boyutlar (bizim önerimiz, compose dosyasının başlattığı altı konteynere göre)
| İş yükü | vCPU | RAM |
|---|---|---|
| Tek kullanıcı veya küçük bir grup, birkaç sohbet, yoğun dosya araması yokBizim önerimiz. Altı konteyner boşta bile kendi belleğini kullanır; bunları çalıştıracağımız en düşük boyut budur. | 2 | 4 GB |
| Bir ekip, dosya arama açık, arama dizini büyüyorBizim önerimiz. MongoDB, Meilisearch ve vektör veritabanının her biri pay ister ve yüklemelerin embedding işlemi CPU işidir. | 4 | 8 GB |
| Çok sayıda kullanıcı, büyük belge setleri, yıllarca saklanan konuşmalarBizim önerimiz. Konuşma deposu, arama dizini ve vektörler kullanımla birlikte büyür. | 8 | 16 GB |
Uygun planlar
5 makine, canlı fiyatlı
Uygun en ucuz makine önce. Fiyatlar bugünkü aylık fiyatlardır, katalogdan okunur.
- BD-8$12.90/ay
4 vCPU · 8 GB · 100 GB disk · 32 TB
Tüm yığına yer bırakan en ucuz seçenek. Bir ekip için rahat: altı container, yüklemeler ve arama dizini, artan bellekle birlikte.
- BD-12$17.90/ay
6 vCPU · 12 GB · 200 GB disk · 32 TB
Yüklemeler ve vektörler için daha fazla disk. Dosya aramasının arkasında gerçek bir belge kitaplığı ve yıllarca saklanan konuşmalar için.
- BD-24$31.90/ay
8 vCPU · 24 GB · 300 GB disk · 32 TB
Büyük bir ekip veya birkaç yoğun kullanıcı. MongoDB, Meilisearch ve vektör veritabanının büyümesi için bol bellek.
- C2-4-80$37.90/ay
2 vCPU · 4 GB · 80 GB disk · 3 TB
Bir veya birkaç kullanıcı için daha küçük yapılandırma. Yığını çalıştırır; üzerinde ayrıca yerel bir model veya derleme çalıştırmayın. Boyutu için değil, şehri için seçin.
- C4-8-160$75.90/ay
4 vCPU · 8 GB · 160 GB disk · 3 TB
En ucuz satırın şehirleri size uymadığında rahat boyut. En ucuz satırla aynı yapılandırma, farklı bir şehre ihtiyaç duyan bir ekip için.
LibreChat için henüz hazır bir başlangıç ayarı yok: kurulum, aşağıdaki adımları sizin yazmanızla yapılır. Bunlar LibreChat'in kendi belgelerindeki komutlar ve compose dosyasının istediği gizli anahtarlardır.
Kurulum
LibreChat belgelerinden dört adım
Docker, compose yığını, ilk hesap, ardından modelleriniz. Yığın ayağa kalkar kalkmaz kendi hesabınızı oluşturun: oluşturulan ilk hesap yönetici olur.
- Docker.
curl -fsSL https://get.docker.com | shArdındandocker compose versionkomutunun yanıt verdiğini kontrol edin. - Klonlayın ve yapılandırın.
git clone https://github.com/LibreChat-AI/LibreChat.git cd LibreChat && cp .env.example .env.env dosyasındaMEILI_MASTER_KEY(en az 16 karakter) ve yönetici panelinin onsuz başlamayacağıADMIN_PANEL_SESSION_SECRETdeğerlerini ayarlayın. Container'lar izin hataları bildirirseUIDveGIDdeğerlerini compose'u çalıştıran kullanıcıya ayarlayın. - Başlatın ve ilk kaydı yapın.
docker compose up -ddocker compose psaltı container'ın tamamını çalışır göstermelidir. http://your-ip:3080 adresini açın ve Kayıt'a basın: varsayılan kullanıcı yoktur. Önüne HTTPS konana kadar 3080 ve 3000 portlarını güvenlik duvarının arkasında tutun ve uygulamaya SSH üzerinden erişin:ssh -N -L 3080:127.0.0.1:3080 root@your-server - Modelleri, ardından bir alan adı ekleyin.
OPENAI_API_KEY,ANTHROPIC_API_KEYveGOOGLE_KEYdeğerlerini .env dosyasına girin ya da her kullanıcının kendi anahtarını girmesi için user_provided olarak bırakın. Yerel bir model için librechat.yaml dosyasına bir Ollama uç noktası ekleyin; container içinden adres localhost değil, host.docker.internal'dır. HTTPS için sunucuya bir A kaydı yönlendirin, önüne bir reverse proxy koyun ve .env dosyasındaDOMAIN_CLIENTileDOMAIN_SERVERdeğerlerini genel adrese ayarlayın. Kullanıcılarınız kaydolduktan sonraALLOW_REGISTRATIONdeğerini false yapın.
Dürüstçe
Gerçekte ne alırdık
LibreChat bir alt sınır belirtmiyor ve altı konteyner başlatıyor. 8 GB'lık makineyi alın.
LibreChat ve bir ekip için
BD-8 · $12.90/ay
$12.90 karşılığında 4 vCPU, 8 GB ve 100 GB: MongoDB, Meilisearch ve vektör veritabanının büyümesi için bellek payı bırakan tüm resmi yığın, yüklemeler için disk ve sohbeti aksatmadan belgelerin embedding işlemi için CPU. Modeller başka bir yerde, bir API anahtarının arkasında çalışır; bu nedenle bu makine hiçbir zaman GPU gerektirmez. En ucuz satırda olmayan bir şehre ihtiyacınız varsa $75.90 ile C4-8-160, başka yerlerde aynı yapılandırmadır.
Sorular