情報を探したり少し手間だったのでメモです。
なお、TensorFlowのバージョン依存はこちらの「テストされたビルド構成」で確認出来ます（ヘッダーまで翻訳されていますが・・・）
「Ubuntu Server 20.04 LTS」のAMIで作成しています。

NVIDIAドライバのインストール

AWSのドキュメントの「パブリック NVIDIA ドライバー」を参考にしました。
「G4dn」は「Tesla / T シリーズ / T4」のようです。
AWSのドキュメントにも記載がありますが、NVIDIAのサイトでCUDAのバージョンに合わせてドライバーのバージョンを確認します。

Quickstart Guideでコマンドも確認出来ます。

curl -fSsl -O https://us.download.nvidia.com/tesla/515.105.01/NVIDIA-Linux-x86_64-515.105.01.run
chmod +x NVIDIA-Linux-x86_64-515.105.01.run
sudo sh NVIDIA-Linux-x86_64-515.105.01.run --silent

`nvidia-smi` コマンドで確認出来ます。

CUDAのインストール

CUDA Toolkitからコマンドを確認出来ます。
「Download Now」の「Archive of Previous CUDA Releases」から他のバージョンを確認出来ます。

wget https://developer.download.nvidia.com/compute/cuda/11.2.2/local_installers/cuda_11.2.2_460.32.03_linux.run
chmod +x cuda_11.2.2_460.32.03_linux.run
sudo sh cuda_11.2.2_460.32.03_linux.run --silent --override --toolkit --samples --toolkitpath=/usr/local/cuda-11.2.2 --samplespath=/usr/local/cuda --no-opengl-libs
echo 'export PATH=/usr/local/cuda-11.2.2/bin:$PATH' >> .zshrc
echo 'export LD_LIBRARY_PATH=/usr/local/cuda-11.2.2/lib64:$LD_LIBRARY_PATH' >> .zshrc

`nvcc --version`コマンドで確認出来ます。

cuDNNのインストール

cuDNN Archiveからダウンロード出来ます。
一旦S3に置いてEC2インスタンスにコピーしています。

aws s3 cp s3://your-own-bucket/libcudnn8_8.1.1.33-1+cuda11.2_amd64.deb ~/
sudo dpkg -i libcudnn8_8.1.1.33-1+cuda11.2_amd64.deb
aws s3 cp s3://your-own-bucket/libcudnn8-dev_8.1.1.33-1+cuda11.2_amd64.deb ~/
sudo dpkg -i libcudnn8-dev_8.1.1.33-1+cuda11.2_amd64.deb
dpkg -L libcudnn8
dpkg -L libcudnn8-dev
echo 'export LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu:$LD_LIBRARY_PATH' >> .zshrc