Cách build Docker image cho vLLM hỗ trợ CUDA 12.8 và GPU RTX 5090 (SM120)
Phiên bản nightly v0.8.3rc2.dev172+g3cdc57669
![Feature]: Support for RTX 5090 (CUDA 12.8) · Issue #13306 · vllm-project/ vllm · GitHub](https://substackcdn.com/image/fetch/$s_!ubZo!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F4563790a-44d5-4bbf-85e8-3e2c32d05c65_1200x600.png "Feature]: Support for RTX 5090 (CUDA 12.8) · Issue #13306 · vllm-project/ vllm · GitHub")
Ban đầu thì mình xài Ollama cho AI Inference kết hợp với Open WebUI. Em này cài là chạy, không phải suy nghĩ nhiều. Nhưng giờ do cần chạy dual RTX 5090 nên phải kiếm giải pháp thay thế. Hỏi em ChatGPT Lê Ky (tên mình đặt cho ẻm) thì em ấy gợi ý xài hàng top vLLM. Mình sẽ có bài so sánh 2 em này sau.
Ngặt nỗi vLLM chưa support chính thức cho dòng Blackwel…
