关于深度学习推理时使用tensorrt(trt)和Triton Inference Server(Triton)的可行性探讨

[1746104160]

说说你遇到的问题？

局限性

tensorrt

1. trt需要本地安装cuda环境
2. trt需要重新转换onnx模型，不同gpu不可使用同一个engine/plan文件。
3. 只有n卡gpu才能使用trt。

Triton Inference Server

1. Triton需要通过docker安装运行，如选择使用Triton至少需要用户具有使用docker的能力。
2. 用docker运行安装Triton后，可以挂载代码库的/models文件，无需不懂深度学习的用户手动编写pbtxt配置文件；但是每次模型更新版本时无法覆盖旧版本的模型文件夹。

优点

tensorrt

trt是n卡专用的c++深度学习推理框架，maa项目也是基于c++的。满足在极其特殊的情况下需要快速推理的需求。

Triton Inference Server

Triton可以在n卡gpu和cpu上实现高性能高并发推理，并且有专门的Triton client库用于c++运行推理。满足在极其特殊的情况下需要快速推理的需求。