如何配置tensorrt

⑴ 模型部署入門教程（七）：TensorRT 模型構建與推理

模型部署入門教程繼續更新！通過前幾期的學習，我們對 ONNX 這一中間表示有了全面理解。然而，在實際生產環境中，ONNX 模型往往需要轉換為可被具體推理後端使用的模型格式。本篇，我們探索深度學習框架中的巨人 - TensorRT。

TensorRT，由 NVIDIA 推出，專用於在其硬體上執行深度學習推理。它提供量化感知訓練和離線量化功能，支持 INT8 和 FP16 兩種優化模式。TensorRT 的應用廣泛，包括視頻流、語音識別、推薦、欺詐檢測、文本生成和自然語言處理等領域。作為 NVIDIA GPU 上運行模型最快的推理引擎之一，TensorRT 經過高度優化。

安裝 TensorRT：
- **Windows**：在帶有 NVIDIA 顯卡的機器上，確保安裝了 CUDA 和 CUDNN。從 NVIDIA 官網下載與主機 CUDA 版本匹配的 TensorRT 壓縮包。以 CUDA 10.2 為例，選擇適配的 zip 包，使用命令行驗證安裝。

- **Linux**：安裝流程與 Windows 類似，從 NVIDIA 官網下載適配的 tar 包，並執行安裝測試命令。確認版本為 8.2.5.1，表示安裝成功。

模型構建：
- **直接構建**：使用 TensorRT API 構建網路，類似於使用 Pytorch 或 TensorFlow 搭建網路。注意權重內容賦值至 TensorRT 網路。
- **Python API 構建**：利用 tensorrt.Builder 的功能構建配置和網路，設置參數、添加層，定義輸入和輸出名稱，序列化網路保存。
- **C++ API 構建**：流程與 Python 類似，需注意細節，代碼實現同步。

IR 轉換模型：
- **Python API 轉換**：使用 Pytorch 實現模型，轉換為 ONNX，再轉換至 TensorRT 模型。
- **C++ API 轉換**：利用 NvOnnxParser 將 ONNX 文件解析至 TensorRT 網路中。

模型推理：
- **Python API 推理**：使用 MMDeploy 運行代碼，驗證輸入輸出符合預期。
- **C++ API 推理**：使用 C++ 語言實現模型推理，對比 Python API 的效果。

總結：通過本文，您掌握了構建 TensorRT 模型的兩種方式：直接構建和模型轉換。學習了使用 Python 和 C++ 完成構建及推理。期待下一篇文章，我們將探討如何在 TensorRT 中添加自定義運算元，敬請期待！