借助 NVIDIA TensorRT 发挥 NVIDIA GPU 的全部潜能 TensorRT 是一款高性能推理平台,在充分发挥 NVIDIA Tensor Core GPU 的强大功能方面发挥着关键作用。与仅使用 CPU 的平台相比,TensorRT 最多可使吞吐量提升 40 倍,同时还可最大限度地降低延迟。使用 TensorRT,您可以从任何框架入手,并在生产环境中快速优化、验证和部署经过训练的神经网络。
统一的端到端可扩展深度学习推理 通过搭载统一架构,各深度学习框架上的神经网络均可由 NVIDIA TensorRT 进行训练和优化,并针对边缘实时推理进行部署。通过 NVIDIA DGX™ 系统、NVIDIA Tesla®、NVIDIA Jetson™ 和 NVIDIA DRIVE,NVIDIA 提供了一个端到端的完全可扩展的深度学习平台。
显著节省成本 要使服务器保持最高生产效率,数据中心管理者必须在性能与效率之间进行权衡。对于深度学习推理应用程序和服务而言,一台 NVIDIA Tesla T4 服务器可取代多台通用 CPU 服务器,从而降低能耗并节约购置和运营成本。