深度学习推理平台

适用于云、数据中心、边缘和自主机器的推理软件和加速器

NVIDIA 赢得新的 AI 推理基准测试,扩大了在 AI 领域的领导地位

更快速的 AI。更低的成本。

现今,先进的 AI 服务愈加受到市场青睐,其中包括图像和语音识别、自然语言处理、视觉搜索和个性化推荐。与此同时,数据集不断扩大,网络也变得越来越复杂,用户期望的延迟要求也愈发严格。

NVIDIA 的推理平台可在云中、数据中心、网络边缘以及自主机器等平台上提供至关重要的性能、效率和响应速度,以支持新一代 AI 产品和服务。

借助 NVIDIA TensorRT 发挥 NVIDIA GPU 的全部潜能

TensorRT 是一款高性能推理平台,在充分发挥 NVIDIA Tensor Core GPU 的强大功能方面发挥着关键作用。与仅使用 CPU 的平台相比,TensorRT 最多可使吞吐量提升 40 倍,同时还可最大限度地降低延迟。使用 TensorRT,您可以从任何框架入手,并在生产环境中快速优化、验证和部署经过训练的神经网络。

统一的端到端可扩展深度学习推理

通过搭载统一架构,各深度学习框架上的神经网络均可由 NVIDIA TensorRT 进行训练和优化,并针对边缘实时推理进行部署。通过 NVIDIA DGX™ 系统、NVIDIA Tesla®NVIDIA Jetson™NVIDIA DRIVE,NVIDIA 提供了一个端到端的完全可扩展的深度学习平台。

显著节省成本

要使服务器保持最高生产效率,数据中心管理者必须在性能与效率之间进行权衡。对于深度学习推理应用程序和服务而言,一台 NVIDIA Tesla T4 服务器可取代多台通用 CPU 服务器,从而降低能耗并节约购置和运营成本。

推理解决方案

了解如何实现更快速的 AI

深入了解 NVIDIA 深度学习推理在线研讨会系列