The linear Monge-Kantorovich colour mapping for example-based colour transfer (DOI: 10.1049/cp:20070055) の要約。

最適輸送理論における Monge-Kantorovich 理論を応用した、カラーグレーディング(ある画像のトーンを別の画像のトーンに変換する画像処理)の自動化方法。

画像をPDF(確率密度関数)として考える

オリジナル画像と目標画像のカラーサンプル RGB を3次元の確率変数 u, v ∈ (R, G, B)、それぞれのPDFを f(u), g(v) として、g(v) = f(t(u)) となるような変換 t(u) をみつける。

これを質量保存輸送問題として考えて、線形問題に制限すると変換は t(u) = T u + t0 {T : N x N 行列, N = 3 (カラー) } という形なる。これは、f, g が MVG (多変量ガウス分布) N(μu, Σu), N(μv, Σv) , { μ : 期待値, Σ : 共分散 } であればかならず見つかるということがわかっている。

f, g の MVG 近似は、その期待値と共分散行列がわかれば必ず得られるので、その近似の上での変換を考える。

複数の解が存在する

共分散 Σu, Σv の平方根 A, B { Σu ＝A A^T, ... }  を考えると、正定値行列の平方根は、直交変換Qが存在して相互に変換できるため、解 T = B Q A^-1 が複数存在する。したがって、変換方法の違いというのはこの Q の選び方の違いによる。

既存の方法

Reinhard (2002) の方法は、各要素で独立に、平均と分散を考えて変換を行う方法。シンプルな方法のためあまりうまく行かない。

コレスキー分解を使った方法は、反復的な手法なので要素の順番を入れ替える (RGB → BGR) と結果が変わってしまうという問題がある。

平方根分解を使った方法は、共分散行列をスペクトル分解によって正値対称行列に分解し、共分散の主成分を調整することで変換する。

線形 Monge-Kantorovitch の方法

Monge 最適輸送問題として最小移動変換を求めることで、黒いピクセルが白いピクセルになったり、その逆になったりしないようにできる。

MVG に対する MK 解は、線形で単純な閉形式であり、凸関数のグラディエントになるので、行列 T は正値対称行列となり、一意に求まる。