案例简介

本案例通过利用NVIDIA TensorRT-LLM加速指令识别深度学习模型，并借助NVIDIA Triton推理服务器在NVIDIA V100 GPU上进行高效部署，帮助必优科技的文档智能体 UTalk-Doc 将用户指令识别服务吞吐量提升了 5 倍，单个请求响应时间缩减了三分之一，大幅提升服务运行效率，提升资源利用率。Triton 模型分析能力还协助必优科技，将寻找最佳推理配置所需的时间从数周减少到数小时。

智能体迭代和

用户增长的并发压力

必优科技旗下 UTalk-Doc 是新一代协助用户进行表达的办公产品。其中“用户指令识别”能力是产品组成中十分重要的一环。目前该能力主要由底层指令识别深度学习模型提供服务支持。

深度学习模型在运行过程中需要较大的计算量，在用 Pytorch 进行模型的推理时，一方面时延特别大，导致用户体验受损；另一方面，显存占用很大，导致推理请求的并发数上不去，请求失败的概率太高，只能通过增加机器的方式来提高并发能力，业务部署成本较高；再次，使用的模型经常变化，而业务需要更换后的模型能够快速地加速和上线部署。NVIDIA GPU 硬件和软件框架的强大性能帮助企业解决了海量计算需求，满足了必优科技多模态 office 智能体的迭代和用户几何倍增长的并发压力。

利用 NVIDIA产品技术组合

提升用户体验

基于以上挑战，必优科技选择了采用 NVIDIA 的 TensorRT-LLM SDK 对模型进行推理加速，并利用 NVIDIA Triton推理服务器在 V100 GPU 上进行在线部署，在提升用户体验的同时，大幅降低了服务成本。

通过使用 TensorRT-LLM 对指令识别深度学习模型进行加速，在都使用 FP32 的情况下，与 Pytorch 相对，时延降低 50% 左右。

使用 TensorRT-LLM 结合 NVIDIA V100 GPU 的 FP16 Tensor Core，在保证精度的同时，模型推理的时延进一步降低了 40%。

Triton 的 dynamic batch 及多实例特性，在满足时延要求的同时， 电子元器件采购网 提高了系统整体的并发能力。

TensorRT-LLM 可以对模型进行快速地加速，Triton 则可以对加速后的模型进行快速地部署，满足了业务对修改后的模型进行快速部署的需求，同时也大大减少了工程人员的工作量。

NVIDIA 赋能文档智能体

在 NVIDIA 技术和初创加速生态的加持中，必优科技旗下应用产品 ChatPPT（UTalk-Doc）在短短几个月内自然注册用户破 100 万，同时通过内容表达场景（如 PPT 演示），赋能了如金融、教育、医疗等垂直行业领域客户，并且在硬件生态合作等方面也做了更多的探索，共同推进整个 AI 行业的快速发展。

“NVIDIA 提供的 GPU 解决方案，解决了深度学习和机器学习的技术难题，是我们公司在人工智能道路上一路狂飙所不可或缺的一环。”必优科技创始人兼 CTO 陈润天博士表示。

必优科技成立于 2020 年，是国内较早期就专注于人工智能领域的智能内容生成技术的科技型公司，公司目前主要围绕智慧办公场景做相关业务开发服务，如 2023 年 3 月上线的 Chatppt（AI 生成 PPT）6 个月用户过百万；全新下一代产品 UTalk-Doc——不拘泥于格式、自由切换文档格式的产品，将彻底颠覆、改变和引领下一代 office 产品，帮助用户更好地进行表达。

NVIDIA 初创加速计划

必优科技是 NVIDIA 初创加速计划 (NVIDIA Inception) 会员企业。NVIDIA 初创加速计划为免费会员制，旨在培养颠覆行业格局的优秀创业公司。该计划联合国内外知名的风投机构，创业孵化器，创业加速器，行业合作伙伴以及科技创业媒体等，打造创业加速生态系统。能够提供产品折扣，技术支持，市场宣传，融资对接，业务推荐等一系列服务，加速创业公司的发展。

• 技术
• 产品
• 利用
• NVIDIA
• 组合