NVIDIA Triton 推理服务器

购买 NVIDIA AI Enterprise

购买 NVIDIA AI Enterprise，它提供适用于生产级推理的 Triton 推理服务器。

立即申请为期 90 天的
NVIDIA AI Enterprise 评估许可证 申请在 NVIDIA LaunchPad 上
试用 Triton 推理服务器     联系我们了解
如何购买 Triton    

访问开发代码

Triton 推理服务器在 GitHub 上作为开源软件提供，并包含端到端示例。

访问 GitHub 上的 Triton 推理服务器的
资源库 (Repository)

下载容器和不同版本

在 NVIDIA NGC™上下载适用于 x86 和 Arm® 架构的、基于 Linux 的 Triton 推理服务器容器。
GitHub 上提供客户端库以及适用于 Windows 和 NVIDIA Jetson JetPack 的二进制版 Triton 推理服务器。

从 NGC 中拉取 Triton 推理服务器     下载适用于 Windows 或 Jetson 的软件

大语言模型

大语言模型 (LLM) 是一种日益重要的深度学习模型类型，它们需要独特的特征来更大限度地加速。这份资料包将介绍 Triton 推理服务器基于 LLM 构建的特征，以及如何利用它们。

• 使用 NVIDIA NeMo™ 框架部署一个 13 亿参数的 GPT-3 模型
• 使用 NVIDIA Triton 推理服务器加速大型 Transformer 模型的推理
• 如何使用 PyTriton 在 Python 中部署 AI 模型
• 利用 Triton 推理服务器部署、优化和基准测试大语言模型

开始使用

云上部署

Triton 推理服务器包含许多功能和工具，可帮助云上的大规模深度学习部署。借助此资料包，您可以探索如何在不同的云环境和编排环境中部署 Triton 推理服务器。

• 使用 Amazon SageMaker 运行多个 AI 模型
• 在 Azure 机器学习平台上提升 AI 模型推理性能
• 借助 MIG 和 Kubernetes 大规模部署 NVIDIA Triton
• 一键部署 NVIDIA Triton 推理服务器 GKE
• 利用云上就绪的 AI 推理解决方案的强大功能
• 使用 Stable Diffusion XL 生成令人惊叹的图像

开始使用

模型集成

现代深度学习系统通常需要在开发管道中使用多个模型，并需要加速预处理和后处理步骤。了解如何在 Triton 推理服务器中使用模型集成和业务逻辑脚本高效实施这些步骤。

• 使用集成模型在 NVIDIA Triton 推理服务器为机器学习模型管道提供服务
• 使用 NVIDIA Triton 推理服务器和 NVIDIA DALI 加速推理
• 基于 NVIDIA Triton Inference Server 端到端部署 LLM serving

开始使用

只需一台联网的计算机，即可随时随地学习 AI 推理相关主题的在线自主培训课程。