利用NVIDIA产品技术组合提升用户体验
2024-01-18案例简介 本案例通过利用NVIDIA TensorRT-LLM加速指令识别深度学习模型，并借助NVIDIA Triton推理服务器在NVIDIA V100 GPU上进行高效部署，帮助必优科技的文档智能体 UTalk-Doc 将用户指令识别服务吞吐量提升了 5 倍，单个请求响应时间缩减了三分之一，大幅提升服务运行效率，提升资源利用率。Triton 模型分析能力还协助必优科技，将寻找最佳推理配置所需的时间从数周减少到数小时。 智能体迭代和 用户增长的并发压力 必优科技旗下 UTalk-Doc 是新