基礎行列 (コンピュータビジョン)

基礎行列（きそぎょうれつ、英 : fundamental matrix）$\mathbf {F}$は、コンピュータビジョンの分野で用いられる、ステレオ画像間の対応する点を関係を表す 3 × 3 行列である。エピポーラ幾何学では、ステレオ画像ペア内の対応する2点の同次画像座標xとx'を使用して、Fxは他の画像上の対応する点x'が存在しなければならない線（エピポーラ線）を記述する。すなわち、対応する点のすべてのペアに対して以下の式が成り立つ。

$\mathbf {x} '^{\top }\mathbf {Fx} =0.$

ランク2であり、スケールまでしか決定されない基礎行列は、少なくとも7点の対応があれば推定できる。その7つのパラメーターは、点の対応だけで取得できるカメラに関する唯一の幾何学的情報を表す。

「基礎行列（英: fundamental matrix）」という用語は、QT・ルオンによる影響力のある博士論文で造られた。 「二焦点テンソル（英: bifocal tensor）」と呼ばれることもある。テンソルとしては、異なる座標系の点を関連付ける双線型形式であるという点で、 ツーポイントテンソルである。

基礎行列を定義する上記の関係は、1992年にオリヴィエ・フォージェラとリチャード・ハートレーによって発表された。 H.クリストファー・ロンゲ・ヒギンズの基本行列（英: essential matrix）は同様の関係を満たすが、基本行列はキャリブレーションされたカメラに関連する計量オブジェクトであり、基礎行列は射影幾何学のより一般的で基本的な用語で対応を記述する。これは、基礎行列$\mathbf {F}$とそれに対応する基本行列$\mathbf {E}$間の関係によって次のように数学的に捉えられる。

$\mathbf {E} =({\mathbf {K} '})^{\top }\;\mathbf {F} \;\mathbf {K}$

$\mathbf {K}$と$\mathbf {K} '$は、関連する2画像の固有のキャリブレーション行列である。

導入

基礎行列は、同じシーンの任意の2つの画像間の関係であり、両方の画像でシーンからの点が射影される場所に制約を与える。一方の画像にシーン上の点を投影すると、他方の画像の対応する点が線に拘束され、探索が容易になり、対応の誤り検出が可能になる。基礎行列が表す対応点間の関係は、エピポーラ拘束条件（英: epipolar constraint）、マッチング拘束条件（英: matching constraint）、離散マッチング拘束条件（英: discrete matching constraint）、または結合関係（英: incidence relation）と呼ばれる。

射影復元定理

基礎行列は、一連の点対応によって決定できる。さらに、これらの対応する画像点は、この基礎行列から直接導出されたカメラ行列を用いて、三角測量をして空間上の点を求めることができる。これらの空間上の点で構築されたシーンは、実際のシーンの射影変換内にある。

証明

画像点対応$\mathbf {x} \leftrightarrow \mathbf {x'}$は、次の式としてカメラ行列$\left({\textbf {P}},{\textbf {P}}'\right)$の下で空間上の点${\textbf {X}}$から導かれるとする。

${\begin{aligned}\mathbf {x} &={\textbf {P}}{\textbf {X}}\\\mathbf {x'} &={\textbf {P}}'{\textbf {X}}\end{aligned}}$

${\textbf {X}}_{0}={\textbf {H}}{\textbf {X}}$であるような一般ホモグラフィ行列${\textbf {H}}_{4\times 4}$で空間を変換するとする。

カメラは次のように変換される。

${\begin{aligned}{\textbf {P}}_{0}&={\textbf {P}}{\textbf {H}}^{-1}\\{\textbf {P}}_{0}'&={\textbf {P}}'{\textbf {H}}^{-1}\end{aligned}}$

${\textbf {P}}_{0}{\textbf {X}}_{0}={\textbf {P}}{\textbf {H}}^{-1}{\textbf {H}}{\textbf {X}}={\textbf {P}}{\textbf {X}}=\mathbf {x}$ そして ${\textbf {P}}_{0}'$ も同様に画像点が得られる。

共平面条件を使用した基礎行列の導出

基礎行列は、共平面条件を使用して導出することもできる。

衛星画像の場合

基礎行列は、ステレオ画像のエピポーラ幾何を表現する。透視カメラで撮影した画像のエピポーラ幾何は、直線として表示される。ただし、衛星画像では、センサーが軌道に沿って移動している間に画像が形成される（プッシュブルームセンサー）。したがって、1つの映像シーンに対して複数の投影中心が存在し、エピポーラ線はエピポーラ曲線として形成される。ただし、小さな画像タイルなどの特殊な条件下では、基礎行列を使用して衛星画像を調整できる。

性質

基礎行列はランク2である。そのカーネルはエピポールを定義する。

関連項目

• エピポーラ幾何
• 基本行列
• 三焦点テンソル
• 8点アルゴリズム

参考文献

• Olivier D. Faugeras (1992). "What can be seen in three dimensions with an uncalibrated stereo rig?". Proceedings of European Conference on Computer Vision.

• Olivier D. Faugeras; Q.T. Luong; Steven Maybank (1992). "Camera self-calibration: Theory and experiments". Proceedings of European Conference on Computer Vision. doi:10.1007/3-540-55426-2_37。

• Q.T. Luong and Olivier D. Faugeras (1996). “The Fundamental Matrix: Theory, Algorithms, and Stability Analysis”. International Journal of Computer Vision 17 (1): 43–75. doi:10.1007/BF00127818. 

• Olivier Faugeras and Q.T. Luong (2001). The Geometry of Multiple Images. MIT Press. ISBN 978-0-262-06220-6 

• Richard I. Hartley (1992). "Estimation of relative camera positions for uncalibrated cameras" (PDF). Proceedings of European Conference on Computer Vision.

• Richard Hartley and Andrew Zisserman (2003). Multiple View Geometry in Computer Vision. Cambridge University Press. ISBN 978-0-521-54051-3 

• Richard I. Hartley (1997). “In Defense of the Eight-Point Algorithm”. IEEE Transactions on Pattern Analysis and Machine Intelligence 19 (6): 580–593. doi:10.1109/34.601246. 
• Nurollah Tatar (2019). “Stereo rectification of pushbroom satellite images by robustly estimating the fundamental matrix”. International Journal of Remote Sensing 40 (20): 1–19. doi:10.1080/01431161.2019.1624862. 

• Q.T. Luong (1992). Matrice fondamentale et auto-calibration en vision par ordinateur. PhD Thesis, University of Paris, Orsay. https://www.theses.fr/1992PA112454 

• Yi Ma; Stefano Soatto; Jana Košecká; S. Shankar Sastry (2004). An Invitation to 3-D Vision. Springer. ISBN 978-0-387-00893-6 

• Marc Pollefeys, Reinhard Koch and Luc van Gool (1999). “Self-Calibration and Metric Reconstruction in spite of Varying and Unknown Intrinsic Camera Parameters”. International Journal of Computer Vision 32 (1): 7–25. doi:10.1023/A:1008109111715. 

• Philip H. S. Torr (1997). “The Development and Comparison of Robust Methods for Estimating the Fundamental Matrix”. International Journal of Computer Vision 24 (3): 271–300. doi:10.1023/A:1007927408552. 

• Philip H. S. Torr and A. Zisserman (2000). “MLESAC: A New Robust Estimator with Application to Estimating Image Geometry”. Computer Vision and Image Understanding 78 (1): 138–156. doi:10.1006/cviu.1999.0832. 

• Gang Xu and Zhengyou Zhang (1996). Epipolar geometry in Stereo, Motion and Object Recognition. Kluwer Academic Publishers. ISBN 978-0-7923-4199-4 

• Zhengyou Zhang (1998). “Determining the epipolar geometry and its uncertainty: A review”. International Journal of Computer Vision 27 (2): 161–195. doi:10.1023/A:1007941100561. 

ツール

• Fundestは、対応する点のペアとさまざまな目的関数（Manolis Lourakis）からのロバスト性のある非線形 ( レーベンバーグ・マルカート法に基づく）基本的な行列推定のためのGPL C / C++ライブラリ。
• MATLAB の Structure and Motion Toolkit (Philip HS Torr)
• Fundamental Matrix Estimation Toolbox (Joaquim Salvi)
• Epipolar Geometry Toolbox (EGT)

外部リンク

• Epipolar Geometry and the Fundamental Matrix (chapter from Hartley & Zisserman)
• Determining the epipolar geometry and its uncertainty: A review (Zhengyou Zhang)
• Visualization of epipolar geometry (originally by Sylvain Bougnoux of INRIA Robotvis, requires Java)
• The Fundamental Matrix Song Video demonstrating laws of epipolar geometry.