背景差分

背景差分（はいけいさぶん、英: background subtraction）とは、観測画像と事前に取得しておいた画像を比較することで、事前に取得した画像には存在しない物体を抽出する処理を指す。このとき、事前に取得した画像を背景画像と呼ぶ。また、背景画像に存在しない物体が占める領域を前景領域、それ以外を背景領域と呼ぶ。手法によっては、事前に複数枚の画像を取得して背景モデルを構築し、その背景モデルと新たに観測された画像の比較により前景領域と背景領域を分割する場合もある。さらに、より広義の意味として、事前に背景画像を取得せずに前景領域と背景領域に分割する処理一般を指して背景差分と呼ぶ場合もある。本記事では事前に背景画像を取得したり、背景モデルを構築しておく狭義の意味での背景差分について説明する。

概要

事前に取得した背景のみからなる画像は背景画像と呼ばれる。これを$B$とする。 また、前景領域と背景領域の両方を含む、処理の対象となる画像を$I$とする。 背景差分のもっとも単純な手法は画素$p$における画像の画素値を比較する方法である。 画像$B$, $I$の$p$における画素値をそれぞれ$B(p),I(p)$とする。 画素値はグレイスケール画像の場合は輝度値と一致する。カラー画像の場合は様々な色空間で表現された3または4次元のベクトルで表される。 通常、画素値は撮影したカメラに応じたノイズによる影響を受ける。そのため、$B(p)$と$I(p)$の画素値が完全に一致することはほとんどない。従って、閾値$\Theta$を用いて、画素値の相違度$Diff(I(p),B(p))$が閾値$\Theta$以下なら背景、それ以外は前景と判定する場合が多い。

画素値の相違度としては単純に輝度の差分を用いる場合が最も単純である。ただし輝度は影などの影響を受けやすいため、正規化RGBを用いたり、輝度を軸としてもつHSV、HLS、YUVなどの色空間において輝度以外の軸のみを用いるなどの工夫が行われる。この場合の輝度成分を除いた成分を特に色度 (Chroma) と呼ぶこともある。 特に、撮影する際にシーンの背景として特定の色のつい立てなどを用意しておくと、後から背景差分処理を行う際に、その色と同じ色度の画素を背景とするだけで影などの影響を受けにくい背景差分を行うことができる。この処理はクロマキーとして古くからテレビや映画における特殊撮影のために用いられている。

課題

背景差分を適用する上で、前景領域に影が含まれてしまう、背景物体が風などで揺れる、太陽の位置や雲の動きにより照明環境が変化する、といった問題が課題としてあげられる。 前景領域に影が含まれる問題に対しては、多くの場合に前述の色度を用いた解決がなされる。背景物体が揺れる問題に対しては混合正規分布 (Mixture of Gaussian Distribution, MoG) を用いた背景のモデル化などによる対処が最も有名である。MoGは新たに観測された画像を用いて逐次的に背景モデルを更新することから、太陽の位置の変化のような、ゆっくりとした照明環境の変化にも対処できる。ただし、雲間が晴れた場合のような急激な照明環境の変化には対処が難しく、そのような変化には別途対処する必要がある。

逐次的な背景モデルの更新における一般的な問題点

MoGのように、処理対象の画像を用いてオンラインで逐次的に背景モデルを更新していく手法では、背景領域の画素のみを用いて背景モデルを更新する方法と、前景領域と背景領域を区別せず、全ての画素で背景モデルを更新する方法の2つの戦略が考えられる。

前者の更新方法では、本来背景となるべき画素を前景として誤検出した場合に、その画素がいつまでたっても背景モデルに取り込まれず、ずっと前景として誤検出しつづけてしまうというデッドロックと呼ばれる状態になる危険がある。後者の更新方法ではデッドロックは起きないが、代わりに前景領域に相当する物体が長時間同じところに居続けると、それが背景モデルに取り込まれ、検出見逃しを起こすという問題がある。

その他の手法

影や照明環境の変化による影響を受けにくい手法として、複数の画素の輝度の相対的な関係を利用した正規化ベクトルやRadial Reach Filterなどの背景差分手法が知られている。

また、背景差分の結果得られた前景領域や背景領域の中に存在するゴマ塩ノイズのような誤りに対してはモルフォロジー演算やマルコフ確率場、あるいはグラフカットを利用した結果の平滑化手法が知られている。

さらに、回転する看板のように背景物体が規則的な動きをする場合には、画素の共起確率を共分散行列によりモデル化して対処する手法が知られている。

応用

背景差分を用いることで、実際には存在しない物体（人やCGモデルやテロップなど）を映像中に合成することも可能となる。たとえばスポーツ中継において、実際には存在しない「世界記録のライン」や「残り距離の数字」などを競技フィールド上に埋め込む手法が身近であろう。このような合成を最初に行ったのは1998年11月のNFL中継とされる。 また、背景差分の一手法であるクロマキーはバーチャルスタジオだけでなく、屋外での映画撮影などにも用いられている。

外部リンク

• 画面の上で線を引く！ -スポーツ中継を分かりやすくする技術-@TDK テクの雑学