
vLLM 面向语言模型的高吞吐服务部署,可为适配的模型提供接口和运行性能设置。

| 功能 | 实际用法 |
|---|---|
| 模型服务 | 配置合适的模型和硬件 |
| 请求组织 | 观察批次、待处理请求与延迟 |
| 性能验证 | 用代表性用量复核结果及设备占用 |
| 产品 | 适用情形 |
|---|---|
| vLLM | 想在自己的算力上部署受支持的模型 |
| SGLang | 比较另一种优化的推理运行 |
| NVIDIA NIM | 希望按适配容器及计划尝试 |
官方 Python 包按 Apache 2.0 列出。模型、硬件、服务及云平台另计。
运行适用的开放模型,在不同请求数量下核对延迟。
按官方设备、模型和依赖列表检查。
模型的使用条件应另行核实。