TensorRT 是 NVIDIA 推出的用于高性能深度學習推理的 C++ 庫，適用于以下場景：
實時推理：TensorRT 提供了高效的優化技術，可以加速深度學習模型的推理過程，適用于需要實時性能的應用，如視頻分析、自動駕駛等。
邊緣計算：TensorRT 可以在邊緣設備上部署深度學習模型，提供快速的推理速度和低延遲，適用于需要在本地端進行推理的應用。
批量推理：TensorRT 支持批量推理，可以同時處理多個輸入數據，提高性能和效率。
高性能計算：TensorRT 使用 GPU 進行加速，可以充分利用 GPU 的并行計算能力，提供高性能的深度學習推理。
總的來說，TensorRT 適用于需要高性能深度學習推理的場景，尤其是對實時性能和低延遲要求較高的應用。
