はじめに

　今まで6回に分けてJetson Xavier NXで機械学習を実行する環境開発をしてきました。今回はこのシリーズの最終回となります。nVIDIAより様々なToolが出ておりその中で非常に興味深いのがTensorRTです。これはEdge AIを実現するために使用されるToolで、既存MLモデルを少ないリソースで高速に処理できるように最適化してくれるToolです。Google Colab等のようなリソースが豊富な環境でモデルを構築し、それをTensorRTで高速化しEdge AIを実現するという使い方が想定されます。ですが、TensorRTはC++で実装されたライブラリーでPythonのインターフェイスがありますが、問題なのは学習済みモデルからTensorRTで処理可能なデーター構造にするには、かなり特殊なコーディング技術が必要となってきます。そこをうまい具合に仲介し、TensorRTとの橋渡しをしてくれるのがtorch2trtです。つまりtorch2trtがコンパイラーのような仕事をしてくれて、学習済みモデルを入力するとTensorRTで解釈できるフォーマットに変換してくれて、出力としてTensorRT用モデルが出力されます。

インストール準備

 TensorRTは基本、OSインストール時のパック(Jetpack)に含まれているため、自分でインストールする必要はありません。一応確認のためVersionは確認しておきましょう。