产品简介
NVIDIA NIM 推理微服务与 TensorRT-LLM 优化引擎组成的模型服务技术栈。 使用边界：NIM 与 TensorRT-LLM 是不同层次，支持模型、GPU、许可和容器版本需分别核对。
核心功能
01
提供模型访问、推理、部署或弹性计算能力
该能力的实际入口、输入要求和边界以本页列出的官方资料为准。
02
支持 API、运行时或多种模型与硬件后端
该能力的实际入口、输入要求和边界以本页列出的官方资料为准。
03
提供性能、权限、日志和生产运行相关能力
该能力的实际入口、输入要求和边界以本页列出的官方资料为准。
适用场景
✓部署或调用生成式 AI 模型
✓为应用提供稳定的模型 API
✓比较模型质量、延迟、吞吐和成本
