
NVIDIA NIM 提供面向 GPU 加速的模型推理微服务。可通过 NVIDIA 托管端点先做开发试验,再根据 GPU、容器、供给区域及正式许可选择部署。

| 功能 | 实际用法 |
|---|---|
| 托管 API 试用 | 选择官方开发页展示的模型进行小规模请求。 |
| 容器与自托管 | 按兼容的 GPU、运行条件及容器说明验证部署。 |
| 推理测量 | 以同一模型和输入类型记录延迟、吞吐量与资源占用。 |
| 产品 | 适用情形 |
|---|---|
| NVIDIA NIM | 已有适配 GPU 环境或合规流程,希望自管推理运行。 |
| Modal | 想按用量运行自定义 Python 工作负载。 |
| Replicate | 想通过现成托管 API 试验多类模型。 |
NVIDIA 官网为原型开发提供相应免费入口,生产使用可通过 NVIDIA AI Enterprise 或适用的模型许可办理。硬件、云资源和运行支持费用分别核对。
用公开测试文本验证一个向量模型容器的吞吐量,检查客户端兼容和 GPU 用量。
请查看所选模型和账户条款中的生产许可与试用范围。
模型、量化和 GPU 规格都会影响结果,可用代表性负载实测。