Dil modellerini büyük ölçekte kullanıma sunma dünyasına girdiğimizde, en sık karşılaşılan sorunlardan biri, cüzdanımızı boşaltmadan hızlı çıkarım yapmanın yolunu bulmaktır. Başlangıçta, bir modeli laboratuvardan gerçek bir üretim ortamına taşımak büyük bir zorluktur, çünkü yapay zeka altyapısında verimlilik İşte bu, trafikte tıkanan bir hizmetle sorunsuz çalışan bir hizmet arasındaki farkı yaratır.
Bu senaryoda, GPU'lardan en iyi şekilde yararlanmak için tasarlanmış çeşitli araçlar ortaya çıkmıştır; bunlardan vLLM en popüler olanlarından biridir, ancak daha kapalı veya ultra özel çözümlerle doğrudan rekabet halindedir. Aceleci kararlar vermekten kaçınmak için, şunu anlamak çok önemlidir: çıkarım motorunun seçimi Bu tamamen, kurulum kolaylığına, çeşitli donanımlarla uyumluluğa veya en yüksek ham performansa öncelik verip vermediğimize bağlıdır.
vLLM: Çok yönlü ve açık standart
vLLM, esnekliğe odaklanması sayesinde vazgeçilmez bir araç olarak konumlanmıştır. En büyük gücü ise sistemindedir. PagedDikkatBu, GPU belleğini işletim sistemlerinin sanal belleği kullandığına benzer şekilde yönetir. Bu, etkin olmayan belirteçlerle boşa harcanan alanı önler ve GPU belleğinin daha verimli yönetilmesini sağlar. daha geniş bağlam pencereleri ve sistem çökmeden çok daha fazla eş zamanlı isteği işleyebilir.
- Ana avantajlar: Özellikle Hugging Face ile doğrudan entegrasyonu sayesinde iş akışını büyük ölçüde kolaylaştırması ve büyük veri kümelerini olağanüstü verimlilikle işleyebilmesiyle öne çıkıyor.
- Zayıf noktalar: Çok güçlü olmasına rağmen, yalnızca NVIDIA için tasarlanmış araçların en yüksek performansına ulaşamayabilir ve işlemci desteği oldukça sınırlı kalmaktadır.
TensorRT-LLM: NVIDIA'nın ağır topları
NVIDIA ekran kartınızdan en yüksek performansı almak istiyorsanız, TensorRT-LLM mantıklı bir seçimdir. Genel amaçlı bir motor değil, özel bir kütüphanedir ve belirli bir teknolojiyi kullanır. CUDA grafik optimizasyonları ve hesaplama hızını artırmak için çekirdekleri birleştirdi. Triton Çıkarım Sunucusu ve NeMo ile sorunsuz bir şekilde entegre olacak şekilde tasarlandı ve bu da onu en değerli parçası haline getiriyor. kurumsal ortamlar NVIDIA ekosistemine zaten dahil olmuş kişiler.
vLLM'den farklı olarak, TensorRT-LLM şunlara odaklanır: çekirdek düzeyinde optimizasyonFP8 veya INT4 gibi niceleme formatlarını destekler. Ancak bu gücün bir bedeli var: öğrenme eğrisi daha karmaşık, yapılandırma daha zor ve açıkçası, Bu özellik yalnızca NVIDIA donanımına özeldir.AMD veya diğer herhangi bir alternatif hariç.
Performans kapışması: vLLM, LMDeploy ve SGLang karşılaştırması
vLLM'nin gerçekte nerede durduğunu anlamak için, onu özellikle NVIDIA H100 gibi son teknoloji donanımlar üzerinde SGLang ve LMDeploy gibi diğer güçlü rakiplerle karşılaştırmak ilginçtir. Ham performans testlerinde (saniyede token sayısı), mimari boşluk Oldukça önemli. SGLang ve LMDeploy 16.200 tok/s'ye yakın rakamlara ulaşırken, vLLM, FlashInfer ile bile, 12.500 tok/s civarında kalıyor.
Bu %29'luk fark matematiksel hesaplamalardan değil, şunlardan kaynaklanmaktadır: orkestrasyon aşırı yüklenmesiSGLang, karmaşık desenleri işlemek için RadixAttention'ı kullanırken, LMDeploy ise Python yükünü ortadan kaldıran tamamen C++ tabanlı bir arka uç (TurboMind) tercih ediyor. vLLM ise birçok mimariyle uyumlu olmaya çalışarak ve esnek eklentiler sunarak, hızdan biraz ödün verir çok yönlülüğü korumak için.
Çıkarım motorunuzu seçmek için hızlı rehber
Tek bir çözüm yok, ancak her durum için bir araç var. İhtiyacınız olursa... hızlı prototipleme Eğer modeli basit bir pip kurulumuyla bugün çalıştırmak istiyorsanız, vLLM ekosistemi ve desteği sayesinde en iyi yardımcınız olacaktır.
Eğer özel bir çıkarım kümeniz ve karmaşık bağımlılıkları yönetebilecek yetenekli bir teknik ekibiniz varsa, şunlara bakın: maksimum performans Ve SGLang bir seçenek. Denge arayanlar için istikrarlı üretim ve performans H100'ün kolay kurulumu sayesinde LMDeploy sağlam bir tercih.
Teknik hususlar ve uygulama
Uygulama sırasında sorunlara yol açabilecek ayrıntılar vardır. Örneğin, GPU belleğinin %95'ini ayırmak, CUDA grafiğini yakalarken genellikle sistem hatalarına neden olur. Bunun yerine daha düşük bir oran kullanmak en iyisidir. %80 güvenlik payı İstikrarı sağlamak için.
Basitçe anlatmak gerekirse, Northflank gibi platformlar bu motorların konteynerler içinde çalıştırılmasına olanak tanır. GPU hızlandırma Altyapıyı manuel olarak kurmanıza gerek kalmadan, vLLM ve TensorRT-LLM'yi paralel olarak test edebilir ve ölçeklendirmeden önce hangisinin daha uygun olduğunu karşılaştırabilirsiniz.
Son karar, kurulum kolaylığı ve donanım optimizasyonu arasındaki dengeyi bulmaya bağlıdır. vLLM bu konuda öne çıkmaktadır. uyumluluk ve sadelikTensorRT-LLM ve SGLang, üst düzey altyapılarda performans sınırlarını aşarken, performansı en üst düzeye çıkarıyor. hafızanın birleşmesi ve her bir saatlik işlem gücünden en yüksek verimi almak için Tensor Çekirdeklerinin kullanımı.
