Pyro と PyMC3 は、両方とも確率的プログラミングのための Python ライブラリですが、いくつかの重要な違いがあります。背景と目的:
Pyro は Uber AI Labs によって開発されました。Pyro は、深層学習と確率的プログラムの両方に対応するために設計されており、それによって複雑な確率モデルを構築し、それらを効率的に推論することができます。
PyMC3 は、統計的モデリングとベイズ推論に特化しています。PyMC3は、MCMC（Markov Chain Monte Carlo）サンプリングアルゴリズムや変分推論を使って、ベイズ統計モデルの推論を行うことができます。
インターフェースと機能:
Pyro は、PyTorch をベースにしており、PyTorch の機能（例えば、自動微分）を活用しながら、確率的プログラムを構築することができます。Pyro は、ユーザーが独自の確率的プログラムを定義し、それを最適化するためのツールを提供します。
PyMC3 は、Theano をベースにしており、Theano の機能を活用して、統計モデルの構築と推論を行います。PyMC3 は、ベイズ統計モデルを構築するための高レベルの API を提供し、MCMC サンプリングや変分推論を行うことができます。
パフォーマンス:
Pyro は、PyTorch の GPU サポートを利用して、高速な計算を行うことができます。
PyMC3 は、Theano の GPU サポートを利用して、高速な計算を行うことができますが、PyTorch の GPU サポートほど効率的ではないかもしれません。
コミュニティとサポート:
Pyro は、Uber AI Labs によって開発されており、アクティブな開発コミュニティがあります。
PyMC3 は、長い間開発されてきたライブラリで、大きなユーザーコミュニティと豊富なドキュメントがあります。

確率プログラムは、通常の決定論的な計算と、データの生成過程を表すランダムなサンプリング値を混ぜたものである。

確率的プログラムの結果を観察することで、推論問題を記述することができる。"このランダムな選択がある観測値を持った場合、何が真でなければならないか"。PPLは、モデルの指定、答えるべき問合せ、答えを計算するアルゴリズムとの間で、確率の数学ですでに暗黙の了解となっている関心事の分離を明示的に強制する。

Pyroのプログラムは単なるPythonのプログラムですが、主な推論技術は確率変分推論で、抽象的な確率計算をPyTorchの確率勾配降下で解く具体的な最適化問題に変換し、これまで困難だったモデルやデータセットサイズに確率的手法を適用できるようにしています。

PyTorchはTensor (torch.Tensor) というクラスを定義し、数値の均質な多次元矩形配列を保存し操作できるようにしています。PyTorchのテンソルはNumPyの配列に似ていますが、CUDA対応のNVIDIA GPUでも操作することができます。

ベイズデータ解析（ベイズ線形回帰モデルの推定など）を行うには、通常、何らかの形の確率的プログラミング言語（PPL）が必要になります。
PPL はマルコフ連鎖モンテカルロ法(MCMC)を実装しており、観測データを条件として、パラメータの尤度と事前分布が意味する事後分布からサンプルを抽出し、推論を行うことができます。
MCMCアルゴリズムは、一般的に言って、計算コストが高く、例えば、ディープニューラルネットワークの学習に用いられる最適化アルゴリズム（例：確率的勾配降下(SDG)）と比較すると、これらのアルゴリズムの実行をマシンのクラスタに分散させることは容易ではありません。

ここ数年、計算コストのかかるランダムサンプリングに大きく依存しない、ベイズモデルの推論を行う新しいアルゴリズムが開発されている。これらのアルゴリズムは変分推論（VI:Variational Interface）アルゴリズムと呼ばれ、「大規模」なデータセットに拡張できる可能性を持つ成功例として示されている