(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-10
(45)【発行日】2024-06-18
(54)【発明の名称】環境のトポグラフィを測定するための方法
(51)【国際特許分類】
G01B 11/24 20060101AFI20240611BHJP
G01C 3/06 20060101ALI20240611BHJP
【ＦＩ】
G01B11/24 K
G01C3/06 110Z
G01C3/06 140
【請求項の数】
14
(21)【出願番号】P 2022535783
(86)(22)【出願日】2020-12-08
(65)【公表番号】
(43)【公表日】2023-02-13
(86)【国際出願番号】 EP2020085023
(87)【国際公開番号】W WO2021116078
(87)【国際公開日】2021-06-17
【審査請求日】2022-08-05
(31)【優先権主張番号】102019134324.0
(32)【優先日】2019-12-13
(33)【優先権主張国・地域又は機関】DE
(73)【特許権者】
【識別番号】514189527
【氏名又は名称】コノート、エレクトロニクス、リミテッド
【氏名又は名称原語表記】ＣＯＮＮＡＵＧＨＴ ＥＬＥＣＴＲＯＮＩＣＳ ＬＴＤ．
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100202429
【弁理士】
【氏名又は名称】石原 信人
(72)【発明者】
【氏名】キアラン、ヒューズ
(72)【発明者】
【氏名】パンテリス、エルミリオス
(72)【発明者】
【氏名】マティアス、レンク
(72)【発明者】
【氏名】スニル、チャンドラ
【審査官】佐藤 久則
(56)【参考文献】
【文献】特開平０３－１１３３０５（ＪＰ，Ａ）
【文献】国際公開第２０１３／１９０７７２（ＷＯ，Ａ１）
【文献】特開２０１１－０６４５６６（ＪＰ，Ａ）
【文献】特開２０１３－０２５５２８（ＪＰ，Ａ）
【文献】特開２００８－２０５９１４（ＪＰ，Ａ）
【文献】国際公開第２０１７／２１２９２７（ＷＯ，Ａ１）
【文献】特開２０１２－２５３７５８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／２４
Ｇ０１Ｃ ３／０６
(57)【特許請求の範囲】
【請求項1】
撮像環境のトポグラフィに対応する点群を形成するための方法であって、車両に搭載された広視野レンズを有するカメラ（Ｃ１）で前記撮像環境の第１の画像を取得することと、
閾値よりも大きい調整によって前記カメラの姿勢を変更することと、前記変更された姿勢（Ｃ２）の前記カメラで前記撮像環境の第２の画像を取得することと、
前記第１の画像を第１の表面にマッピングして第１のマッピングされた画像を形成することと、
前記第２の画像を第２の表面にマッピングして、第２のマッピングされた画像を形成することであって、前記第１の表面および前記第２の表面が、同じ非平面形状（１２０、１２２、１２４）によって画定される、第２のマッピングされた画像を形成することと、
前記第１のマッピングされた画像または前記第２のマッピングされた画像のうちの一方を画素のブロックに分割することと、
画素のブロックごとに、前記第１のマッピングされた画像または前記第２のマッピングされた画像の他方を探索して、前記マッピングされた画像の各々における前記画素のブロックの場所の位置の視差を評価することによって深さマップを形成することと、
前記車両が前記撮像環境を移動するときに前記車両を取り囲む前記撮像環境の局所的なトポグラフィに対応する点群の一部に前記深さマップを変換することと、
前記カメラの姿勢の調整に従って前記点群をスケーリングすることと、
を含み、
光軸が前方向に位置合わせされ、前記非平面形状が光軸を中心に対称である第１カメラと、
光軸が、前記前方向とは反対の後方向に位置合わせされ、前記非平面形状が光軸を中心に対称である第２カメラと、
前記前方向に垂直である対向する方向に位置合わせされ、前記第１カメラ及び前記第2カメラのそれぞれと視野の一部を共有する第３カメラ及び第４カメラと、
において、前記第１カメラ、前記第２カメラ、前記第３カメラ及び前記第４カメラのそれぞれについて、前記点群のスケーリングまでのステップを実行する、方法。
【請求項2】
探索を実施することが、修正（rectified）エピポーラ線（ｂ）に沿って画像データの一次元探索を実施することを含む、請求項１に記載の方法。
【請求項3】
前記方法が、車両オドメトリセンサから供給されたオドメトリ情報を用いてそれぞれの前記カメラの姿勢の変化を評価することをさらに含む、請求項１または２に記載の方法。
【請求項4】
前記広視野レンズが魚眼レンズである、請求項１から３のいずれか一項に記載の方法。
【請求項5】
前記非平面形状が、円錐面を画定する、請求項１から４のいずれか一項に記載の方法。
【請求項6】
前記非平面形状が球面を画定する、請求項１から４のいずれか一項に記載の方法。
【請求項7】
前記非平面形状が円筒面を画定する、請求項１から４のいずれか一項に記載の方法。
【請求項8】
前記非平面形状が、第１の非平面（１２０）と、第２の非平面（１２２、１２４）と、を含み、前記第１の非平面が、前記第１カメラ及び前記第２カメラのそれぞれから前記第２の非平面に延び、前記第２の非平面が、前記第１の非平面から前記光軸に向かって収束する、請求項７に記載の方法。
【請求項9】
前記第２の非平面が、円錐台表面（１２２）を画定する、請求項８に記載の方法。
【請求項10】
前記第２の非平面が半球面（１２４）を画定する、請求項８に記載の方法。
【請求項11】
前記マッピングが、前記マッピングされた画像内の画素のサブセットのための低密度ルックアップテーブルを構築することおよび小数精度でその画素の対応するカメラ画像座標を格納することによって実施される、請求項１から１０のいずれか一項に記載の方法。
【請求項12】
前方向への移動のための車両（１００）であって、光軸が前記前方向に位置合わせされ前記非平面形状が光軸を中心に対称である第１カメラ（１０１）と、
光軸が、前記前方向とは反対の後方向に位置合わせされ前記非平面形状が光軸を中心に対称である第２カメラ（１０４）と、
前記前方向に垂直である対向する方向に位置合わせされ、それぞれが前記第１カメラ及び前記第２カメラと視野の一部を共有する第３カメラ及び第４カメラ（１０２，１０３）と、
を備え、それぞれの前記カメラが、請求項１から１１のいずれか一項に記載の方法に従って動作する、車両（１００）。
【請求項13】
それぞれの前記カメラが、前記車両の自動駐車または自律運転のためのシステムに情報を提供する、請求項１２に記載の車両。
【請求項14】
車両の周囲にシーンを表示するための方法であって、視野が重複する前記車両の周囲に配置された複数のカメラから画像を取得することと、前記画像をつなぎ合わされた画像につなぎ合わすことと、請求項１から１１のいずれか一項に記載の方法によって生成された前記点群によって画定された表面上に前記つなぎ合わされた画像をマッピングすることと、を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、カメラによって撮像される環境のトポグラフィを測定するための方法に関する。より詳細には、本発明は、環境のモーションステレオ画像から評価された高密度深さ測定値を使用して撮像される環境のトポグラフィを測定する方法に関する。
【背景技術】
【0002】
カメラは、シーンまたは環境の画像を生成するための装置である。２つのカメラが異なる位置から同じシーンの画像を生成する場合、異なる画像を比較してシーンの部分の深さを確認することができ、深さは、２つのカメラの位置によって定義される平面からの相対距離の尺度である。特定の仮定の下で、および／または特定の情報を用いて、相対深さを絶対距離測定値に較正することができる。これが視差イメージングからの深さの原理である。深さ測定値を使用して、撮像される環境のトポグラフィを近似することができる。
【0003】
典型的には、視差イメージングからの深さは、Ｎ＞１である、典型的には両眼システムが、シーンの同期された一対の画像を生成する２つのカメラを有するＮ個の接眼システムを必要とする。一対の画像のうちの一方の画像の特徴は、他方の画像の対応する特徴と一致し得る。特徴は、同様の画素、ブロブの角または領域などの別個の画像化要素を含み得るが、特徴はまた、画像の任意の所与の画素を含み得る。次いで、画像間の一致した特徴の位置付けの差を使用して、視差を計算することができる。特徴の視差および両眼システムのカメラの既知の分離から、特徴の深さが評価され得る。多くの場合、両眼システムによって取得された画像は、後続の画像処理を支援するために、または取得された画像を見るためにより適したものにするため、表面にマッピングされる。
【0004】
OmniVis,1,2005のGehrigによる“Large Field of View Stereo for Automotive Applications”は、自動車のバックミラーの左右に配置されるカメラに関し、広い視野でステレオビジョンを分析し、物体検出を実施するオプションを説明する。
【0005】
２０１１年に出版された、Yamaguchiによる本“Three Dimensional Measurement Using Fisheye Stereo Vision, Advances in Theory and Applications of Stereo Vision”の第８章“Three Dimensional Measurement Using Fisheye Stereo Vision, Advances in Theory and Applications of Stereo Vision”は、魚眼画像を平面にマッピングし、特徴を一致させることを開示し、魚眼ステレオビジョンにより比較的広い空間で３Ｄ物体の測定が可能になると結論付ける。
【0006】
IEEE ICAR,2001のZhuによる“Omnidirectional Stereo Vision”は、全方向ステレオイメージングの構成に関し、全方向表現、エピポーラ幾何、および深さ誤差特性に関する数値解析を提示する。
【0007】
ICARCV2016のBogdanらによる”Direct Fisheye Stereo Correspondence Using Enhanced Unified Camera Model and Semi-Global Matching Algorithm”は、円錐セクションに直線を投影する魚眼カメラのモデルを提示し、魚眼画像の修正なしに高密度の直接ステレオ対応を計算するための魚眼ステレオシステムのマッチングアルゴリズムを説明している。
【0008】
IEEE trans. on Intelligent Transportation Systems 9,589,2008のLiによる “Binocular Spherical Stereo”は、両眼魚眼ステレオに関し、特徴点マッチングを高速化するための球面画像への変換および緯度経度表現の使用を説明する。
【0009】
J. of Photogrammetry and Remote Sensing 59,278,2005のAbrahamらによる“Fish-Eye-Stereo Calibration and Epipolar Rectification”は、魚眼ステレオ画像の較正およびエピポーラ修正に関し、エピポーラ画像の生成について論じている。
【0010】
IEEE Robotics and Automation,1,227,2016のSchnedierらによる“On the Accuracy of Dense Fisheye Stereo”は、魚眼ステレオカメラのエピポーラ修正モデルを分析し、関連する精度を論じている。
【0011】
IEEE,ICCP,2014のDruleaらによる“Omnidirectional stereo vision using fisheye lenses”は、全方向ステレオシステムおよび魚眼画像の修正画像への分割に関する。ステレオマッチングアルゴリズムが、点群を形成するために各対の修正画像に適用される。
【0012】
本発明の目的は、この関連する研究の制限の少なくともいくつかを克服することである。
【先行技術文献】
【非特許文献】
【0013】
【文献】”Large Field of View Stereo for Automotive Applications” by Gehrig in OmniVis,1,2005
【文献】”Three Dimensional Measurement Using Fisheye Stereo Vision,Advances in Theory and Applications of Stereo Vision” by Yamaguchi in chapter eight of the book ”Three Dimensional Measurement Using Fisheye Stereo Vision,Advances in Theory and Applications of Stereo Vision” published in 2011
【文献】”Omnidirectional Stereo Vision” by Zhu in IEEE ICAR,2001
【文献】”Direct Fisheye Stereo Correspondence Using Enhanced Unified Camera Model and Semi-Global Matching Algorithm” by Bogdan et al in ICARCV 2016
【文献】”Binocular Spherical Stereo” by Li in IEEE trans.on Intelligent Transportation Systems 9,589,2008
【文献】”Fish-Eye-Stereo Calibration and Epipolar Rectification” by Abraham et al in J.of Photogrammetry and Remote Sensing 59,278,2005
【文献】”On the Accuracy of Dense Fisheye Stereo” by Schnedier et al in IEEE Robotics and Automation,1,227,2016
【文献】”Omnidirectional stereo vision using fisheye lenses” by Drulea et al IEEE,ICCP,2014
【発明の概要】
【0014】
本発明は、独立請求項によって定義される。
【0015】
本発明の実施形態は、広視野レンズを有するカメラによって取得された画像から高密度で正確な深さ情報を復元する方法を提供する。
【0016】
これにより、車両上の単眼カメラからの画像は、車両が環境を移動するときに車両を取り囲む環境の局所的なトポグラフィに対応する点群の一部を形成することができる。
【0017】
従属請求項は、さらなる任意選択の特徴を提供する。
【0018】
ここで、添付図面を参照して、本発明の実施形態を例として説明する。
【図面の簡単な説明】
【0019】
【図1】本発明に従ってそれぞれ動作することができる、カメラが取り付けられた車両を概略的に示す。
【図2】複数のカメラからのつなぎ合わされた画像をマッピングすることができるボウル面を示す。
【図3】修正されていないステレオカメラの設定を示す。
【図4】修正されたステレオカメラの設定における視差を示す。
【図5a】移動するカメラの球面エピポーラ修正面およびカメラが運動軸に沿って見ているときの状況を示す。
【図5b】移動するカメラの球面エピポーラ修正面およびカメラが運動軸に対して垂直に見ているときの状況を示す。
【図6a】移動するカメラの円筒形エピポーラ修正面およびカメラが運動軸に沿って見ているときの状況を示す。
【図6b】移動するカメラの円筒形エピポーラ修正面およびカメラが運動軸に対して垂直に見ているときの状況を示す。
【図7】カメラが運動軸に沿って見ている、かつ円筒が運動軸と同心であるときの、移動するカメラの円筒形修正面を示す。
【図8a】ベースラインに位置合わせされた球面修正面を示す。
【図8b】ベースラインに位置合わせされた円筒形修正面を示す。
【図9】エピポーラ修正のための球面座標系を示す。
【図10】円錐修正面を示す。
【図11】複数の平面を含む修正面を示す。
【図12a】本発明の実施形態によるそれぞれのマルチパート修正面を示す。
【図12b】本発明の実施形態によるそれぞれのマルチパート修正面を示す。
【図13a】平面修正面を使用して深さを計算するための幾何学的関係を示す。
【図13b】平面修正面を使用して深さを計算するための幾何学的関係を示す。
【図14】球面修正面を使用して深さを計算するための幾何学的関係を示す。
【発明を実施するための形態】
【0020】
車両の運転を伴う多くの作業にとって、局所的な環境に関する情報を取得することは、作業を安全に完了するために重要である。例えば、車両を駐車するとき、車両の周囲の環境のライブ画像を運転者に表示することは有利である。
【0021】
車両の運転者は、車両が自動運転、すなわち自律型車両であり得るため、人間である必要はない。この場合、取得された情報の精度は、物体を識別し、取得された情報が車両駆動システムに誤解を与えることを回避するために特に重要である。運転者はまた、人間と運転を支援するための１つまたは複数の自動化システムとの組み合わせであってもよい。
【0022】
本発明で使用されるカメラの感度は、任意の特定の波長範囲に限定される必要はないが、最も一般的には、可視光に敏感なカメラで使用される。カメラは、一般に、レンズ用のハウジングとセンサとを備えるカメラモジュールの形態であり、レンズは、センサ上に光を集束させる役割を果たす。カメラモジュールはまた、センサに電力を供給し、センサとの通信を可能にするための電子機器、ならびに場合によっては画像を処理するための処理電子機器を有することができる。処理は、低レベルの画像信号処理、例えば、利得制御、露出制御、ホワイトバランス、デノイズなどであってもよく、および／または、例えば、コンピュータビジョンのためのより強力な処理を含んでもよい。
【0023】
車両の周囲の環境を撮像する場合、１つのカメラは一般に、すべての必要なデータを取得するのに十分な視野を持たない。この問題に対処する１つの方法は、複数のカメラを使用することである。図１では、車両の周囲に４つのカメラ１０１、１０２、１０３、１０４が配置された車両１００が示されている。各カメラの視野の一方の縁部は、点線１０１ａ、１０２ａ、１０３ａ、１０４ａで印を付けられている。このようなカメラの構成は、領域１０１ｂ、１０２ｂ、１０３ｂ、１０４ｂにおいて重なり合う視野をもたらす。図示された構成は単なる例示である。開示された教示は、他のカメラ構成でも同様に有効である。
【0024】
図示された視野は、約１８０度に対応する。広視野は、典型的には、魚眼レンズのような広視野レンズを有するカメラによって達成される。魚眼レンズは概ね円筒対称であるため好ましい。本発明の他の用途では、視野は、１８０度未満または１８０度超であってよい。魚眼レンズが好ましいが、広視野を提供する任意の他のレンズを使用することができる。これに関連して、広視野は、１００度を超え、好ましくは１５０度を超え、より好ましくは１７０度を超える視野を有するレンズである。通常、そのような広視野を有するカメラは、取得された画像に撮像アーチファクトおよび歪みをもたらす。
【0025】
レンズは、典型的には長方形であるセンサに光を集束させる。したがって、取得されるデータは、レンズのアーチファクトおよび歪みの複合効果、ならびにセンサの限定された敏感な表面効果によって影響を受ける。その結果、取得された画像は、撮像されたシーンの歪んだ表現である。取得された歪んだ画像は、取得されたデータを別の表面にマッピングすることを含むプロセスによって少なくとも部分的に補正され得る。いくつかの表面上のマッピングは、後続の処理技術をより正確またはより容易にする。いくつかの特に有利な表面については、後でより詳細に説明する。
【0026】
図１に示すような複数のカメラを有する車両の状況では、複数のカメラからの複数の画像ではなく、局所的な環境の単一の画像を表示することが好ましい。したがって、カメラからの画像が合成される。この合成を実施するための複数の既知の方法がある。例えば、画像は、重複領域内の特徴を識別することによってつなぎ合わせることができる。次いで、画像内の識別された特徴の位置を使用して、１つの画像を別の画像にマッピングすることができる。重複領域を有する画像をつなぎ合わせるための他の多くの方法は当業者には既知であり、例えば、２０１９年１１月２６日出願の”An image processing module”と題するドイツ特許出願第102019131971.4号（参照番号、2018 PF 02667）および２０１９年１０月７日出願の”An electronic control unit”と題するドイツ特許出願第102019126814.1号（参照番号、2019 PF 00721）は、特に車両を駐車する際に、運転者を支援するために車両のサラウンドビューを提供する電子制御ユニットの例を示している。
【0027】
図１のように、カメラの構成が車両の周囲の全方向からの画像を提供するような構成である場合、つなぎ合わされた画像は、他の方向からのビューを生成するのに十分な情報ビューを提供する。
【0028】
つなぎ合わされた画像は、一緒につなぎ合わされた平坦な画像を含むので、つなぎ合わされた画像自体は平坦に見える。つなぎ合わされた画像のより良好な表示は、つなぎ合わされた画像を非平坦面にマッピングすることによって達成され得る。一例として、図２に示すボウル形状の表面３００を使用することができる。この表面について、近くの物体は平坦な床にマッピングされ、一方、遠くの物体は便器の側壁にマッピングされる。車両は、遠くにある木および建物などの物体を有する平地にあることが多いので、そのようなマッピングは、通常、フラットマッピングよりも良好でより正確なつなぎ合わされた画像の表示を生成する。
【0029】
最適な表面は、カメラによって撮像されたシーンのトポグラフィに対応する表面である。本発明は、画像の一部分の深さの計算によって周囲のトポグラフィの近似を生成する方法を提供する。これは、両眼ステレオカメラおよび／または非標準レンズを使用するカメラの費用を負担する必要なくリアルタイムで達成される。
【0030】
モーションステレオモジュール
本発明は、モーションステレオモジュールを用いて単眼カメラからのモーションステレオ画像を処理する方法に関する。モーションステレオモジュールは、シーンの一対の画像から高密度で正確な深さ測定値を復元し、それによって撮像されたシーンのトポグラフィの再構成を可能にする。以下に説明する方法を使用することにより、モーションステレオモジュールは、リアルタイムで完了することができるほど十分迅速に動作され得る。言い換えれば、処理は、ライブカメラフィードに基づく画像の表示が悪影響を受けないほど十分に迅速である。
本発明は、モーションステレオモジュールを用いて単眼カメラからのモーションステレオ画像を処理する方法に関する。モーションステレオモジュールは、シーンの一対の画像から高密度で正確な深さ測定値を復元し、それによって撮像されたシーンのトポグラフィの再構成を可能にする。以下に説明する方法を使用することにより、モーションステレオモジュールは、リアルタイムで完了することができるほど十分迅速に動作され得る。言い換えれば、処理は、ライブカメラフィードに基づく画像の表示が悪影響を受けないほど十分に迅速である。
【0031】
視差イメージングからの深さにより、深さ測定値をシーンの一対の画像から抽出することが可能になる。典型的には、視差イメージングからの深さは、同期された一対の画像が直接取得され得るように互いに近接して位置付けられた、または同じ装置に統合された、２つのカメラを備えるステレオカメラから取得された一対の画像を使用する。しかしながら、本発明は、移動式単眼カメラに基づいている。単眼カメラからの一対の画像は、単眼カメラで１つの画像を捕捉し、次いで単眼カメラの姿勢を調整する、すなわち単眼カメラを移動させ、別の画像を取得することによって取得される。
【0032】
結果として得られる深さ測定値は、カメラによって撮像された環境のトポグラフィに近似する３Ｄ点群または同様の３Ｄ再構成の一部に形成され得る。３Ｄ再構成は、静的特徴のより良好な評価および測定を可能にする。カメラが自動車に取り付けられている場合、一般的な静的特徴の例には、縁石、傾斜、表面の凹凸、またはポール、樹木、障壁、壁、および駐車車両などのより大きな物体が含まれ、貴重な情報を提供する。したがって、本発明は、そのような物体を検出することをより容易にする。
【0033】
これにより、より高い解像度の３Ｄ再構成が可能になるため、多数の深さ測定を行うことが好ましい。既知の高密度再構成技術は、ステレオカメラを必要とする。単眼カメラに対して、ステレオカメラは複雑なハードウェアおよびフレーム同期を必要とするが、２つのカメラ間の固定された分離により、カメラの動きに関係なく深さ推定および３Ｄ再構成に十分な両眼視差を提供するので有利である。
【0034】
ステレオおよび動きからの構造
移動単眼カメラ技術を用いて３Ｄ再構成を形成することは、典型的には、古典的な動きからの構造技術を用いて試みられる。そのような技術は、深さ測定値の低密度のセットのみを生成する。そのような低密度のセットは、３Ｄ再構成において点の限定されたセットを生成し、局所トポグラフィをあまり表さないようにする。
移動単眼カメラ技術を用いて３Ｄ再構成を形成することは、典型的には、古典的な動きからの構造技術を用いて試みられる。そのような技術は、深さ測定値の低密度のセットのみを生成する。そのような低密度のセットは、３Ｄ再構成において点の限定されたセットを生成し、局所トポグラフィをあまり表さないようにする。
【0035】
本方法では、画像対は、捕捉された画像間のカメラ運動の知識を用いて生成される。視差処理のための深さが始まる前に、画像対の修正も一般に必要とされる。修正は、多くの表面で可能である。球面または円筒面へのエピポーラ修正（epipolar rectification）は、修正画像内のソース画像解像度を有利な方法で分配しながら、使用可能な視野が改善されるという特定の利点を有する。これは、魚眼レンズを有するカメラなど、高度に歪んだ形状を生成するカメラで作業する場合に特に重要である。
【0036】
典型的には、両眼視差およびエピポーラ幾何の原理を利用する３Ｄ再構成方法は、異なるカメラの姿勢から捕捉された同じシーンの少なくとも２つの画像を入力として取得する。カメラの正確な動き（位置および向きの変化）は、コンピュータビジョン技術または慣性センサを用いて動的に決定することができる。そのようなカメラが車両に搭載される場合、動きは、搭載されたオドメトリ情報から少なくとも部分的に評価され得る。そのような情報は、典型的には、現代の車両の車両ＣＡＮまたはＦｌｅｘＲａｙバスで利用可能である。
【0037】
その結果、深さ測定値を取得するために、まず、カメラでシーンの画像が取得され、カメラが移動され、シーンの別の画像が取得される。得られた画像は、共通平面または特定のエピポーラ幾何によって画定された適切な表面にマッピングすることによって修正される。修正画像は、視差からの深さを評価するために処理される。例えば、既知のマッチングアルゴリズムは、修正画像間のすべての画素の視差を計算する。視差情報は、続いて深さに、または３Ｄ点群に直接変換される。いくつかの実施形態では、各画素が一致するのではなく、画素のブロックが一致する。画素のブロックは、１つの画素が画素のいくつかのブロックに含まれるように重なり合ってもよい。ブロックは長方形である必要はなく、マッチングを可能にする任意のサイズとすることができる。
【0038】
単眼カメラが車両に結合されると、カメラの動きは、搭載されたオドメトリセンサから２つの自由度（２つのパラメータ）の低加速度で合理的な精度内で計算することができる。そのようなオドメトリセンサは、車両の長手速度およびヨーレートまたは操舵角を提供する。この情報は、車両の動きが真に平坦であれば十分である。しかしながら、実際には、路面の凹凸、加速、減速、および旋回に対するサスペンションの動的反応のために、車両の動きはより複雑である。この複雑さは、ピッチ、ロールおよび高さの瞬間的な変化をもたらす。また、機械的測定値およびシステムバス上のそれらの伝送は遅延の影響を受け、デフォルトではカメラフレームと同期されない。２０１９年５月２９日に出願の”Image acquisition system”と題するドイツ特許出願第102019114404.3号明細書（参照番号2018 PF02113(SIE0883））は、路面に対する車両の姿勢におけるこれらの変化に対処する技術を開示している。
【0039】
しかしながら、車両およびカメラの動的運動は、最小３つの位置パラメータ(X、Y、Z)および３つの回転パラメータ（ヨー、ピッチおよびロール）を用いて６自由度（６－ＤｏＦ）で完全に特徴付けることができる。モーションステレオモジュールは、２つの画像間の相対的なカメラの動きを６－ＤｏＦで推定することができるとき、最も信頼性が高く正確な結果を生成する。６－ＤｏＦはまた、スケール情報、すなわち３Ｄ再構成（例えば、点群）を正しくスケーリングするために使用される並進ベクトルの長さを提供する。修正画像および視差マップは、推定されたスケールに対して不変である。既知の関連する相対姿勢推定問題は、既知の技術を使用して解決される。
【0040】
エピポーラ修正
図３を見て、カメラＣ１およびＣ２をピンホールカメラとして考慮し、カメラＣ１およびＣ２の光学中心の前の仮想画像平面を考慮することによって、以下の有用な用語を定義することができる。エピポールは、光学中心と画像平面との間に延びるベースラインの交点である。エピポールは、一方のカメラにおける、他方のカメラの光学中心の画像と考えられ得る。エピポーラ平面は、３Ｄ点Ｚ１と光学中心とによって画定される平面である。エピポーラ線は、エピポーラ平面と画像平面との交差の直線である。これは、光学中心を通る光線の一方のカメラにおける画像であり、他方のカメラにおける画像点である。すべてのエピポーラ線は、エピポールで交差する。
図３を見て、カメラＣ１およびＣ２をピンホールカメラとして考慮し、カメラＣ１およびＣ２の光学中心の前の仮想画像平面を考慮することによって、以下の有用な用語を定義することができる。エピポールは、光学中心と画像平面との間に延びるベースラインの交点である。エピポールは、一方のカメラにおける、他方のカメラの光学中心の画像と考えられ得る。エピポーラ平面は、３Ｄ点Ｚ１と光学中心とによって画定される平面である。エピポーラ線は、エピポーラ平面と画像平面との交差の直線である。これは、光学中心を通る光線の一方のカメラにおける画像であり、他方のカメラにおける画像点である。すべてのエピポーラ線は、エピポールで交差する。
【0041】
モーションステレオの場合、既知のステレオマッチングモジュール（例えば、Ｒｅｎｅｓａｓ ＳＴＶハードウェアアクセラレータ）を使用して深さ分析を実施することができ、これは入力として修正画像を取り込み、エピポーラ線が水平走査線にマッピングされ、両方の画像で同じ垂直オフセットにある２つの画像を意味する。原則として、任意のシーンの幾何学的形状は、これらの画像間の特徴点の対応関係の知識によって、異なるカメラ姿勢から捕捉される２つ以上の画像から再構成され得る。
【0042】
例えば高密度オプティカルフローフィールドの形態で、そのような対応関係を考慮すると、３Ｄ点群または３Ｄ再構成は、光線がカメラ視点からそれぞれの画像点を通って逆投影され、誤差メトリックを最小化することによって３Ｄ空間で交差する三角測量として知られる数学的プロセスによって計算することができる。しかしながら、オプティカルフローとは異なり、エピポーラ（すなわち、ステレオ）修正の場合、対応問題は共役エピポーラ線に沿った１Ｄ探索に縮小され、三角測量は類似の三角形間の比を解く単純な式に単純化される。１Ｄ検索は、典型的には、複数の検索からの情報を集計し、視差マップの形式で堅牢な１Ｄ対応関係を生成する技術を適用するステレオマッチングアルゴリズムによって効率的に実施される。このようにして、三角測量の計算負荷の大部分は、エピポーラ修正に移される。この効果の一例は、エピポーラが画像平面を横切る対角線である図３とは対照的に、左側の画像の修正が水平エピポーラ線をもたらす図４で見られることができる。
【0043】
１つの画像が基準姿勢を提供する各捕捉画像の内部較正パラメータおよびカメラの相対姿勢の知識は、画像の較正を可能にする。基準姿勢は、外部基準フレームに対して与えられてもよく、または任意に０に設定する、すなわち、（０、０、０）のカメラ原点および標準基底ベクトル（単位回転行列）によって定義される軸を用いて設定することができる。内部パラメータは、常に既知で一定であると仮定することができる。しかしながら、これは、例えばカメラを含む材料の熱膨張および収縮によって引き起こされる変化に起因するなど、常に安全な想定であるとは限らない。代替的な手法は、そのような変化を特徴付けて考慮することによって、またはシステムに記憶された内部較正情報を定期的に更新するためにオンライン内部較正方法を使用することによって、任意の変化を補償することである。
【0044】
モーションステレオでは、相対姿勢は車両の動きに従って変化し、ステレオ画像対ごとに動的に推定することができる。相対姿勢は、最小６つのパラメータ（３つの位置パラメータおよび３つの回転パラメータ）によって、すなわち６自由度で完全に決定されるか、または最小５つのパラメータ（３つの回転パラメータおよび２つの位置パラメータ）によって、すなわち第６の自由度（スケール）が欠落している５自由度において、「最大スケール」で決定することができる。後者では、２つの位置パラメータは、並進ベクトルの方向を、例えば単位長さの射影座標または球面座標で表す。「スケール」の欠如またはいわゆる「スケールのあいまいさ」は、シーン幾何学的形状およびカメラ並進ベクトルが、捕捉された画像内の特徴点の位置およびそれらの対応関係に影響を与えることなく一緒にスケーリングされ得るという単純な事実から生じる単眼コンピュータビジョンにおける典型的な障害であり、したがって、逆に、スケールは、一般に、そのような対応関係のみから復元することはできない。スケールの推定または絶対スケーリングは、エピポーラ修正には必要ないことに留意されたい。言い換えれば、５自由度（３つの回転パラメータおよび２つの位置パラメータ）が十分な情報を提供するとき、エピポーラ修正画像は推定スケールに対して不変である。しかしながら、スケーリングは、正確な深さ測定値を得ることを可能にし、より現実的な３Ｄ再構成（すなわち、正しい３Ｄ点群座標）を形成することを可能にする。
【0045】
エピポーラ修正は、画像を適切な平面または表面に直接マッピングし、２つの単純な幾何学的制約、すなわち共役エピポーラ線または曲線が水平走査線に沿って、両方の修正（rectified）画像において同じ垂直オフセットでマッピングされることを満たす方法で再サンプリングすることによって実施され得る。エピポーラ修正の最も単純な形態は、ベースライン（カメラ並進ベクトル）およびデカルトサンプリンググリッドに平行に配向された２つの同一平面上の表面（画像平面）を使用する。魚眼レンズを使用するカメラの場合、この方法は、遠近法投影の数学的制限、および画素「伸長」などの広角遠近効果による修正画像の品質の損失のために取得される視野を厳しく制限する。
【0046】
再構成された視野を増加させるために複数の平面が使用されたとしても、これらは依然として、無限サイズに近づく画像平面を必要とするため、拡張の焦点に近い領域に到達することができない。これは、車両が直線経路を移動しているときに拡張の焦点が魚眼画像のほぼ中心付近に位置する、車両上の前方および後方に向くカメラにとって特に懸念事項である。
【0047】
側面カメラまたはウィングミラーカメラの拡張の焦点は、通常、関心の低い画像の領域に位置する。しかしながら、これらのカメラでさえ、平面表面は再構成された視野に制限を課す。
【0048】
一般化エピポーラ修正
上記の問題を軽減し、水平方向（ＨＦＯＶ）、垂直方向（ＶＦＯＶ）、または両方向の再構築された視野を強化するために、球、円柱、または多項式面などの非平面マッピング面をエピポーラ修正に効果的に使用することができる。
上記の問題を軽減し、水平方向（ＨＦＯＶ）、垂直方向（ＶＦＯＶ）、または両方向の再構築された視野を強化するために、球、円柱、または多項式面などの非平面マッピング面をエピポーラ修正に効果的に使用することができる。
【0049】
一例として、カメラ視点を表す２つの点Ｃ１およびＣ２が「ベースライン」である並進ベクトルを定義する図５ａを考える。ベースラインと各マッピング面との交点は、エピポールＥ１およびＥ２であり、シーン内の任意の物体点Ｐおよび２つの点Ｃ１およびＣ２は、エピポーラ平面を画定する。ベースラインの周りを互いに回転する無数のエピポーラ平面が存在する。この群の平面は、エピポーラペンシルとして知られている。これらの平面のいずれかとマッピング面との交差は、この場合には「エピポーラ線」または曲線を画定し、これは球面マッピング面の円または直立円筒マッピング面の楕円である。任意の物体点Ｐは、同じエピポーラ平面に属する点Ｑ１およびＱ２にマッピングされ、両方の修正画像において水平走査線上に同じ垂直オフセットでマッピングされる共役エピポーラ曲線にマッピングされる。
【0050】
エピポーラ線または曲線に沿った魚眼画像画素の、修正画像内の水平走査線の画素へのマッピングは、各エピポーラ線または曲線に沿った光線をそれぞれの視点を通して「サンプリング」し、次いで、内部較正および相対姿勢情報を使用して各光線を魚眼画像にトレースバックすることによって達成することができる。このようにして、修正画像内のすべての画素を魚眼画像内の画像点までトレースバックすることができる。最も近いソース画素の強度値は、直接的に、または双線形フィルタ（すなわち、バイリニア補間が使用され得る）などの隣接画素の値を考慮に入れる再構成および／またはアンチエイリアシングフィルタを使用することによって取得することができる。
【0051】
このプロセスは、メモリ帯域幅を節約し、実行時性能を向上させるために、例えば１２整数ビットおよび４小数ビット、すなわち座標あたり１６ビットまたは画素あたり３２ビットで、その画素の対応する魚眼画像座標を小数精度で格納する、修正画像内の画素のサブセットのための低密度ルックアップテーブル（例えば、水平方向および垂直方向の１６番目の画素ごとに）を構築することによって、非常に高い計算効率で実施され得る。ソフトウェアまたはハードウェア加速「レンダラ」を使用して、欠落画素の座標を補間することによって、これらのルックアップテーブルを使用して修正画像を非常に迅速に「レンダリング」することができる。これにより、修正画像ごとに計算する必要がある光線の数が、例えば、両方向で１：１６のサブサンプリングが使用される場合、２５６分の１に低減される。
【0052】
メモリ帯域幅を節約するために、絶対画像座標（例えば、４小数ビットを有する４ビット整数デルタ、すなわち座標ごとに８ビットまたは画素ごとに１６ビット）ではなくデルタを格納することによってこのルックアップテーブルを圧縮することも可能である。この場合、初期絶対座標は、絶対座標が、レンダリング中に格納されたデルタから増分的に復元され得るように、テーブル全体または行ごとにシードとして格納される。それに加えて、ルックアップテーブルは、各領域がレンダリング中にその領域内のすべてのデルタに適用されるオフセット値を割り当てられる、より小さな領域に細分されてもよい。
【0053】
球面の場合、光線は、球面の円である各エピポーラ曲線に沿って角度間隔でサンプリングされ得る。エピポーラ平面は、各平面が修正画像内の離散水平走査線上にマッピングされるように、ベースラインの周りを回転する角度間隔で定義することができる。修正画像の水平画素座標ｘを極角θに、および垂直画素座標ｙ（走査線番号）を方位角φにマッピングする数学関数は、θ＝ｆ（ｘ）およびφ＝ｇ（ｙ）として一般化することができるか、または最も単純な場合には、線形とすることができ、ｓｘおよびｓｙが一定のスケール係数であるθ＝ｓｘｘおよびφ＝ｓｙｙである。極角および方位角は、魚眼画像画素をサンプリングするために使用される光線方向を定義する。より複雑な関数が、修正画像にわたってソース画像解像度を有利な方法で分配するために使用され得る。
【0054】
球形（図５ａおよび図５ｂ）または円柱（図６ａおよび図６ｂ）などのマッピング面の概念は、このプロセスを数学的およびプログラム的に抽象化することができるため、モデリング支援としてのみ使用されることに留意されたい。エピポーラ平面とマッピング面との交差は、修正画像内のエピポーラ線または曲線の所望の位置合わせを達成するために光線がサンプリングされる経路を単に定義する。この経路に沿った光線は、角度間隔ではなく「弧長」の間隔でサンプリングすることもできる。３Ｄ表面の形状（例えば、扁円または偏重回転楕円体に）またはマッピング関数若しくはその両方を変更することによって、両方の表現を同等にすることができる。
【0055】
直立円筒面の場合、図６ａおよび図６ｂに示すように、光線は、この場合は楕円である各エピポーラ曲線に沿って角度間隔でサンプリングすることができるが、垂直寸法が直線であるため、エピポーラ平面は平面と同様のデカルト座標間隔で定義される。同様に、水平な円筒面の場合、水平寸法は直線であり、エピポーラ平面はベースラインの周りを回転する角度間隔で定義されるため、各エピポーラ線に沿ってデカルト座標間隔で光線をサンプリングすることができる。
【0056】
図５ａ、図５ｂ、図６ａ、図６ｂ、および図７を参照すると、長方形によって表される平面は、限られた視野を有する平面が球面または円筒面の代わりにエピポーラ修正にどのように使用され得るかを示す。前方および後方に面する車両搭載カメラの場合、これらの平面は、カメラの動きの方向でもあるベースラインに垂直に向けることができる。この場合、エピポーラ線は、エピポールＥ１およびＥ２から半径方向に生じ、極（polar）サンプリンググリッドを使用して、修正画像内の水平走査線に沿ってそれらをマッピングすることができる。この構成は、球面モデリングと同様の方法で画像の中央部分を修正することを可能にする。視野は、画像平面が無限サイズに近づくと、理論上の最大１８０度に制限される。
【0057】
一般的な場合、エピポールは、画像内（具体的には、前方または後方から画像を取得するときの前方の動き）または画像の近くにあってもよい。このような場合、線形変換を使用できない。ここでは、半径変換を使用できる。しかしながら、左方向または右方向から画像を取得するときに、前方向の動きの場合のように、エピポールが画像の外側にある場合、変換は線形変換と同様である。
【0058】
魚眼補正
魚眼の歪みを補正するためにメッシュを計算する。歪んでいない画像内の各メッシュ点ｘ、ｙについて、歪んだ空間内のメッシュ点ｘ’、ｙ’は、以下に従って定義することができる。
焦点距離ｆの値は、以下のように決定されるべきである。歪みは、歪みの中心ｃｘ、ｃｙの周りで最小である。出力画像内の画素は圧縮（または拡大）されるべきではない。歪みの中心付近では、ｋ１パラメータが支配的である。ｆ＝ｋ１の場合、歪み中心の周りの小さな角度θに対して、ｒ＝ｆ・ｔａｎ（θ）≒ｆθおよびｒ’≒ｋ１θであるため、歪みのない画像内の画素は同じスケールを使用する。
魚眼の歪みを補正するためにメッシュを計算する。歪んでいない画像内の各メッシュ点ｘ、ｙについて、歪んだ空間内のメッシュ点ｘ’、ｙ’は、以下に従って定義することができる。
【数1】
【数2】
【数3】
【数4】
【数5】
【数6】
【数7】
【0059】
しかしながら、カメラは、その歪みパラメータ、この場合はｋ１．．．ｋ４へのアクセスを許可しない場合がある。この場合、歪みが最小となる小さな角度の人工光線を用いて焦点距離を決定することができる。結果として得られる画素位置を使用して、焦点距離を推定することができる。選択された仮想画像平面内の方向のメッシュ点（ｘ、ｙ）ごとにメッシュを計算すると、以下の光線ｖ＝（ｘ，－ｙ，－ｆ・ｓ）が生成され、式中、ｓはスケール係数である。
【0060】
この光線は、カメラの元の画像平面に対して画像平面の回転行列によって回転される。結果として得られるベクトルを使用して、元のカメラ画像の画素座標に戻すことができる。
【0061】
汎用単一ステップ画像マッピング
平面または半径平面マッピングは、歪んでいない（魚眼補正された）画像で動作し得る。歪みおよび修正を補正するステップは、単一の画像マッピングプロセスに組み合わせることもできる。これは、より効率的であり、メモリを節約することができる。
平面または半径平面マッピングは、歪んでいない（魚眼補正された）画像で動作し得る。歪みおよび修正を補正するステップは、単一の画像マッピングプロセスに組み合わせることもできる。これは、より効率的であり、メモリを節約することができる。
【0062】
上記で説明したように、修正に使用することができるのは、平面だけでなく、球形または円柱などの他の形状でもある。これらの他の形状は、画像歪みと深さ推定の実現可能性との間のトレードオフの点で有益であり得る。一般的な場合、エピポーラ線はエピポーラ曲線である。図８ａおよび図８ｂは、ベースラインに位置合わせされた球面、平面および円筒マッピングを示す。エピポールは、カメラの動きによって決定される。
【0063】
球面または平面マッピングに基づいて、他のマッピングは、座標ワーピングによって達成され得る。
【0064】
３Ｄエピポールの決定
車両に取り付けられたカメラを有する実施形態では、車両システムバスからのオドメトリは、車両の回転および動きを提供することができる。現在のカメラのエピポールの位置を計算するために、前のカメラの位置が現在の車両座標系で計算される。前のカメラのエピポールを計算するために、前の車両カメラシステムにおける現在のカメラの位置が計算される。現在のカメラから前のカメラへの（またはその逆の）ベクトルは、エピポールを指し、このベクトルはベースラインと呼ばれる。以下の式は、測定された機械的オドメトリに基づく。
式中、ＲＷＶ
Ｃは現在の車両から世界（world）への回転であり、ＲＶＷ
Ｐは前の世界から車両への回転である。２つの行列は、デルタ回転行列に組み合わせることができる。ｃｖは、車両座標におけるカメラの位置（カメラの外部較正）である。δは、世界座標におけるデルタ並進である。視覚的オドメトリは、車両座標におけるデルタ並進を提供することができ、その場合、方程式はさらに単純化される。
車両に取り付けられたカメラを有する実施形態では、車両システムバスからのオドメトリは、車両の回転および動きを提供することができる。現在のカメラのエピポールの位置を計算するために、前のカメラの位置が現在の車両座標系で計算される。前のカメラのエピポールを計算するために、前の車両カメラシステムにおける現在のカメラの位置が計算される。現在のカメラから前のカメラへの（またはその逆の）ベクトルは、エピポールを指し、このベクトルはベースラインと呼ばれる。以下の式は、測定された機械的オドメトリに基づく。
【数8】
【数9】
【0065】
ベースライン位置合わせ
マッピングの計算を容易にするために、得られた画像はベースラインに位置合わせされ得る。幾何学的に、これは、仮想カメラがベースラインに対して垂直または同一直線上にあるように、仮想カメラがカメラの動きを補正するように回転されることを意味する。これにより、車両座標系がベースラインに対して回転される。この回転は、軸および角度の周りの回転によって決定され得る。エピポールベクトルと車両座標軸との間の角度は、以下のように決定される。
回転軸は、２つのベクトルの外積である。
次いで、回転行列は、例えば標準的な軸角度式を使用して決定され得る。
この回転（Ｒｅｐｉ
Ｃと呼ぶ）を使用して、エピポーラ座標系の任意の光線を車両座標系に変換することができ、その逆も可能である。
マッピングの計算を容易にするために、得られた画像はベースラインに位置合わせされ得る。幾何学的に、これは、仮想カメラがベースラインに対して垂直または同一直線上にあるように、仮想カメラがカメラの動きを補正するように回転されることを意味する。これにより、車両座標系がベースラインに対して回転される。この回転は、軸および角度の周りの回転によって決定され得る。エピポールベクトルと車両座標軸との間の角度は、以下のように決定される。
【数10】
【数11】
【数12】
【0066】
エピポーラ座標系
修正のためのマッピングを定義するために、図９に示されているように、エピポールを極として有し、緯度および経度の角度を使用する球面座標系が定義される。回転（車の純粋な前後運動）なしで、エピポールは車両座標系のＸ軸の方向を指す。その場合、緯度±９０°はＸ軸に沿った方向を指し、、経度０°は車の上方（０，０，１）の方向を指す。Ｘ軸に平行な平面を画定する球形を囲む円は、球形上のエピポーラ円を示す。任意のマッピングは、これらの円を修正画像内の水平線にマッピングすべきである。
修正のためのマッピングを定義するために、図９に示されているように、エピポールを極として有し、緯度および経度の角度を使用する球面座標系が定義される。回転（車の純粋な前後運動）なしで、エピポールは車両座標系のＸ軸の方向を指す。その場合、緯度±９０°はＸ軸に沿った方向を指し、、経度０°は車の上方（０，０，１）の方向を指す。Ｘ軸に平行な平面を画定する球形を囲む円は、球形上のエピポーラ円を示す。任意のマッピングは、これらの円を修正画像内の水平線にマッピングすべきである。
【0067】
球面マッピング
図９に示す幾何学的形状を考慮すると、球面マッピングでは、エピポーラ座標は出力画像内のｘおよびｙ座標に直接マッピングされる。緯度はｙにマッピングされ、経度はｘ座標にマッピングされる。出力画像の画素密度は、角度の密度を定義する。各ビューについて、経度および緯度の範囲を定義することができる。例えば、図１に示す車両の状況では、以下のとおりである。
図９に示す幾何学的形状を考慮すると、球面マッピングでは、エピポーラ座標は出力画像内のｘおよびｙ座標に直接マッピングされる。緯度はｙにマッピングされ、経度はｘ座標にマッピングされる。出力画像の画素密度は、角度の密度を定義する。各ビューについて、経度および緯度の範囲を定義することができる。例えば、図１に示す車両の状況では、以下のとおりである。
【0068】
・後方カメラ、経度［０°、３６０°］、緯度［－１０°、－９０°］
・前方カメラ、経度［０°、３６０°］、緯度［１０°、９０°］
・ミラー左カメラ、経度［７０°、１８０°］、緯度［－８０°、８０°］
・ミラー右カメラ、経度［－７０°、－１８０°］、緯度［－８０°、８０°］
次に、これらは以下の順序でカメラ画像座標にマッピングされる。
・前方カメラ、経度［０°、３６０°］、緯度［１０°、９０°］
・ミラー左カメラ、経度［７０°、１８０°］、緯度［－８０°、８０°］
・ミラー右カメラ、経度［－７０°、－１８０°］、緯度［－８０°、８０°］
次に、これらは以下の順序でカメラ画像座標にマッピングされる。
【0069】
・エピポーラ座標を（ｘ、ｙ、ｚ）座標を有する光線ベクトルに変換する。
【0070】
・エピポーラ座標から車両座標に光線を回転させる。
【0071】
・車両からカメラ座標系に光線を回転させる。
【0072】
・カメラ投影を使用して生のソース画像座標を決定する。
【0073】
次の式は、エピポーラ座標を（ｘ、ｙ、ｚ）座標を有する光線ベクトルに変換する。
式中、φは経度でγは緯度である。光線は、以下によってカメラ光線に変換される。
ＲＶＣは、車両からカメラ座標系へのカメラ回転行列である。次に、組み込み関数を適用して、エピポーラ座標（φ、γ）のソース画像内の画素座標を検索する。
【数13】
【数14】
【0074】
ベースラインに位置合わせされた平面マッピング
平面マッピングの場合、球面マッピングと同じ仕組みが使用される。平面座標（ｘ、ｙ）は、最初にエピポーラ座標に変換されるが、その後の計算ステップは同じである。変換は以下の通りである。
車両上の後方および前方カメラの場合、緯度値はラジアルマッピングを必要とする特異点で収束するため、変換は代わりに次のようになる。
ビューポートは、開口角として球面マッピングと同様に定義することができる。これらは、所与の画素密度で画素範囲に変換され得る平面座標の範囲に変換することができる。
平面マッピングの場合、球面マッピングと同じ仕組みが使用される。平面座標（ｘ、ｙ）は、最初にエピポーラ座標に変換されるが、その後の計算ステップは同じである。変換は以下の通りである。
【数15】
【数16】
【0075】
円筒マッピング
円筒マッピングは、球面と平面を混合したものである。それらは、車両上のミラービューカメラのための特に有用なマッピングである。垂直または水平円柱のマッピングはそれぞれ、以下のとおりである。
円錐マッピング
円錐および球面マッピングは、マッピング面の形状に起因して、必要な伸長が少ないため、円筒マッピングよりも拡張の焦点に近いところに到達することができるという特性を有する。欠点は、これらのマッピングは、あるカメラ画像から次のカメラ画像に移動するときに物体の形状を維持しないことである。
円筒マッピングは、球面と平面を混合したものである。それらは、車両上のミラービューカメラのための特に有用なマッピングである。垂直または水平円柱のマッピングはそれぞれ、以下のとおりである。
【数17】
円錐および球面マッピングは、マッピング面の形状に起因して、必要な伸長が少ないため、円筒マッピングよりも拡張の焦点に近いところに到達することができるという特性を有する。欠点は、これらのマッピングは、あるカメラ画像から次のカメラ画像に移動するときに物体の形状を維持しないことである。
【0076】
しかしながら、円錐の視野では範囲がはるかに良好であり、特に近くの検出品質は円筒マッピングよりも良好である。
【0077】
一部の車両では、円錐のビューポートは地面および縁石の検出を劣化させる可能性があるが、それらは球面よりも計算コストが低い。円錐マッピング面の例を図１０に示す。車両に搭載されたカメラを有する実施形態を考慮すると、円錐図は、側面カメラではなく前面および後面カメラにのみ使用される可能性が高い。
【0078】
汎用マッピング
球面の代わりに、平面または円柱また他のマッピングも可能である。これらは、３つの関数ｆ（ｘ）、ｇ（ｙ）およびｈ（ｘ）によって定義することができる。図１のカメラ構成を仮定すると、以下の変換が与えられ得る。
球面の代わりに、平面または円柱また他のマッピングも可能である。これらは、３つの関数ｆ（ｘ）、ｇ（ｙ）およびｈ（ｘ）によって定義することができる。図１のカメラ構成を仮定すると、以下の変換が与えられ得る。
【0079】
ミラー（左右の視野）の場合：
後方および前方ビューの場合：
平面の場合：
球面の場合：
カスタム設計された関数は、ステレオマッチャの深さマップまたは歪みにおける視野と空間解像度との間の正しいバランスにおいて有益であり得る。
【数18】
【数19】
【数20】
【数21】
【0080】
理想的には、関数ｆ（ｘ）、ｇ（ｙ）およびｈ（ｘ）について以下の目標が満たされるべきである。
【0081】
空間解像度、視野および歪みの間の良好なバランスを達成するためのａｔａｎ（ｘ）≦ｆ（ｘ）≦ｘおよびａｔａｎ（ｙ）≦ｇ（ｙ）≦ｙ、
この関数がエピポール付近に伸長して、そこでより大きな視差解像度を有するが、ｘがより大きくなると線形挙動に戻ることを必要とするｘ≦ｈ（ｘ）≦ｃ・ｘ、および
計算労力をほとんど伴わない単純な定式化。
この関数がエピポール付近に伸長して、そこでより大きな視差解像度を有するが、ｘがより大きくなると線形挙動に戻ることを必要とするｘ≦ｈ（ｘ）≦ｃ・ｘ、および
計算労力をほとんど伴わない単純な定式化。
【0082】
例えば、
である。
【数22】
【数23】
【0083】
メッシュへのマッピング
１つの宛先画素ごとにエピポーラ座標からソース画素座標へのマッピングを計算することは時間がかかる。これは、目的地座標のグリッドに対してのみこれらのマッピングを計算することによって高速化することができる。マッピングは、目的地座標内の規則的なグリッドを使用した自動目的地座標生成を使用することができる。グリッド上の各ノードについて、生のソース画素座標へのマッピングが計算される。バイリニア補間により、宛先画像内の画素は、提供されたメッシュに従ってマッピングされる。グリッドセルサイズは、メッシュ作成の実行時間が実現可能であるが、一方でメッシュによる歪みが十分に小さいように定義され得る。
１つの宛先画素ごとにエピポーラ座標からソース画素座標へのマッピングを計算することは時間がかかる。これは、目的地座標のグリッドに対してのみこれらのマッピングを計算することによって高速化することができる。マッピングは、目的地座標内の規則的なグリッドを使用した自動目的地座標生成を使用することができる。グリッド上の各ノードについて、生のソース画素座標へのマッピングが計算される。バイリニア補間により、宛先画像内の画素は、提供されたメッシュに従ってマッピングされる。グリッドセルサイズは、メッシュ作成の実行時間が実現可能であるが、一方でメッシュによる歪みが十分に小さいように定義され得る。
【0084】
表面の組み合わせ
エピポーラ修正のために複数の平面を使用することを含む、エピポーラマッピングのための表面の組み合わせを有することも可能である。これについては、上記のＤｒｕｌｅａらによる”Omnidirectional stereo vision using fisheye lenses”で説明されている。一例として、２つの平面を含むマッピング面が図１１に示されている。これが車両搭載カメラの状況で考慮される場合、第１の水平面Ｈは、例えば、地面を再構成するために使用され、第１の平面に垂直な第２の平面Ｖは、他の物体のために使用される。
エピポーラ修正のために複数の平面を使用することを含む、エピポーラマッピングのための表面の組み合わせを有することも可能である。これについては、上記のＤｒｕｌｅａらによる”Omnidirectional stereo vision using fisheye lenses”で説明されている。一例として、２つの平面を含むマッピング面が図１１に示されている。これが車両搭載カメラの状況で考慮される場合、第１の水平面Ｈは、例えば、地面を再構成するために使用され、第１の平面に垂直な第２の平面Ｖは、他の物体のために使用される。
【0085】
複数の他の表面を使用することが可能である。円筒形（および平面）のビューポートは、地面、縁石、および物体を検出するとき、自動車の近くで良好な性能を示すので、それらの特性の恩恵を受け続けることが有利である。拡張の焦点付近にも検出を有するために、この領域をカバーするためだけに別の表面を追加することができる。理想的には、マッピング面は、画像の伸長のバランスをとるべきである。拡張の焦点は画像の小さな部分であるため、ビューポートも小さくなければならなく、また、円筒形の視野の検出の終わりからの範囲をカバーし、拡張の焦点に近づくべきである。
【0086】
図１２ａは、円筒形１２０と円錐台１２２（カットオフされたコーンに基づく）のビューポートの組み合わせを示している。このような修正面は、カメラがシーンに出入りする車両の前方および後方カメラに有利である。ウィングミラーカメラは、典型的には、シーンに対して横方向に移動するとき、円筒面のみを使用する。
【0087】
図１２ｂは、半球面１２４が円筒面１２０に追加された別の修正面を示す。なお、両方の修正面について、有効な視差および深さをその領域で抽出することができないため、拡張の焦点に直ぐ隣接する領域をマッピングすることは有用ではないことに留意されたい。したがって、考慮される表面は、図１２ａおよび図１２ｂに示すように、拡張の焦点で欠落した表面１２６の一部を有することができる。
【0088】
深さ計算および点群生成
ステレオマッチャを実行した後、結果として得られる視差マップは、前の画像から現在の画像への水平移動を含む画像である。これらの動きは、深さ情報に変換されてもよく、または３Ｄ点の点群に直接変換されてもよい。使用されるエピポーラ修正方法に応じて、この変換は異なる式を使用して計算され得る。
ステレオマッチャを実行した後、結果として得られる視差マップは、前の画像から現在の画像への水平移動を含む画像である。これらの動きは、深さ情報に変換されてもよく、または３Ｄ点の点群に直接変換されてもよい。使用されるエピポーラ修正方法に応じて、この変換は異なる式を使用して計算され得る。
【0089】
平面深さ計算
ベースラインに位置合わせされた平面エピポーラ修正は、深さを決定するための単純な計算手順を可能にする特別なケースである。図１３ａを参照し、車両の側面に取り付けられたカメラを考慮する。深さｄは、同様の三角形を用いて算出することができる。視差ｑは、深さｄを有する焦点距離ｆに対するベースラインｂ＝｜δ｜に類似している。
式中、ｆおよびｑは画素で与えられてもよい。
ベースラインに位置合わせされた平面エピポーラ修正は、深さを決定するための単純な計算手順を可能にする特別なケースである。図１３ａを参照し、車両の側面に取り付けられたカメラを考慮する。深さｄは、同様の三角形を用いて算出することができる。視差ｑは、深さｄを有する焦点距離ｆに対するベースラインｂ＝｜δ｜に類似している。
【数24】
【0090】
関連して、図１３ｂを参照し、車両の前方または後方に取り付けられたカメラを考慮すると、以下の関係が導出され得る。
これは、以下のように簡略化することができる。
見て分かるように、視差ｑ２－ｑ１だけでなくｑ１にも依存性がある。これは、視差マップにおける深さ計算が、マップ内のどこにいるかに依存することを意味する。また、ｑ１が小さい物体は、ｑ１が大きい物体よりも同じ距離での視差が小さいことを意味する。これは、特徴マッチャが画素レベルで動作するため、これらの場合に空間解像度を低下させる。当然ながら、エピポールに近づくにつれて空間解像度は０に近づく。しかしながら、異なるマッピング関数は、深さと視差の関係をある程度均等化することによって効果を低減することができる。
【数25】
【数26】
【数27】
【0091】
球面深さ計算
図１４に示す球面の場合、深さ計算はより困難であるが、球面マッピングにおける単一のエピポーラ円を考慮することにより、以下の三角形の関係を導き出すことができる。
角度αおよびβ（緯度）は、球面に修正画像内の一致する画素の水平画素位置に対応し、検索が容易である。また、経度を考慮してもよい。上記で計算された深さｄは、ベースラインからの距離であり、したがって、
は、仮想カメラ平面からの深さである。球面マッピングは広い視野を提供するが、距離関係に対する視差はあまり好ましくない。小さい角度α、βについての上記の式の近似変形は以下の通りである。
深さに対する視差の関係は一定ではなく、深さの場合には入射角に対して二乗依存性を持つことさえある。これは、ミラービューカメラのための修正画像の縁部において空間解像度が非常に低いことを意味する。結果として、視野と空間解像度とのバランスをとる異なるマッピングが有利であり得る。
図１４に示す球面の場合、深さ計算はより困難であるが、球面マッピングにおける単一のエピポーラ円を考慮することにより、以下の三角形の関係を導き出すことができる。
【数28】
【数29】
【数30】
【数31】
【数32】
【0092】
円筒深さ計算
円筒形のケースもまた、平面と球面を混合したものである。それが水平か垂直の円筒であるかに応じて、深さは、上述した平面方法または球面方法のいずれかを使用して計算される。平面深さの場合、経度調整は球面経度調整と同等に実施される。
円筒形のケースもまた、平面と球面を混合したものである。それが水平か垂直の円筒であるかに応じて、深さは、上述した平面方法または球面方法のいずれかを使用して計算される。平面深さの場合、経度調整は球面経度調整と同等に実施される。
【0093】
汎用深さ計算
球面マッピングについては、以下の式が使用される。
上記の定義（「汎用マッピング」の項を参照）によれば、以下が使用され得る。
経度を考慮に入れると、収率は、
深さからの点群
上記の方法を使用して、仮想カメラ平面に対する個々の視差マップ画素の距離を計算する場合、得られた座標を車両座標に変換して点群を形成することができる。選択されたカメラ（現在の）行列Ｒｅｐｉ Ｃに対してエピポーラ基準フレーム内のユークリッド座標を仮定することは、車両座標系に対して回転し、カメラの外部位置を追加して車両座標を取得するために使用され得る。計算上、この手法は、各画素に対して非常にわずかで非常に単純な操作が含まれるため、ベースラインに位置合わせされた平面マッピングに非常に効率的である。
球面マッピングについては、以下の式が使用される。
【数33】
【数34】
【数35】
【数36】
上記の方法を使用して、仮想カメラ平面に対する個々の視差マップ画素の距離を計算する場合、得られた座標を車両座標に変換して点群を形成することができる。選択されたカメラ（現在の）行列Ｒｅｐｉ Ｃに対してエピポーラ基準フレーム内のユークリッド座標を仮定することは、車両座標系に対して回転し、カメラの外部位置を追加して車両座標を取得するために使用され得る。計算上、この手法は、各画素に対して非常にわずかで非常に単純な操作が含まれるため、ベースラインに位置合わせされた平面マッピングに非常に効率的である。
【0094】
三角測量による点群
深さから点群を形成する代替手法として、視差マップから点群を生成するために三角測量が使用されてもよい。これは入力として、考慮される座標系における車両の２つの光線および動きベクトルをとる。いくつかの基本的かつ既知の操作（乗算、加算、減算および除算）によって、三角測量される光線の３Ｄ位置の出力を得ることができる。
深さから点群を形成する代替手法として、視差マップから点群を生成するために三角測量が使用されてもよい。これは入力として、考慮される座標系における車両の２つの光線および動きベクトルをとる。いくつかの基本的かつ既知の操作（乗算、加算、減算および除算）によって、三角測量される光線の３Ｄ位置の出力を得ることができる。
【0095】
視差マップから光線を決定するために、上記の深さ計算を使用するか、または事前に計算された光線のグリッドを使用する、２つの手法を選択することができる。
【0096】
前者の手法は、深さ値から直接点群を生成するより効率的ではない。後者の手法は効率的である。必要な光線はまた、上記のエピポーラマッピングのためのメッシュを生成するときに計算される。以下の中間結果、
は、メッシュ内の各ノードに利用可能であり、後で使用するために格納することができる。ｒは、エピポーラ座標系から車両座標系への回転後の光線であった。ここで、視差マップ内の各画素について、対応する光線は、画素の周囲のノードに格納された光線から二線（またはより高度な方法、例えばスプラインを用いて、）補間され得る。エピポーラマッピングのためのグリッドセルサイズを選択するとき、結果として得られる点群の精度が十分であるように、この項で説明する方法を考慮に入れることができる。
【数37】
【0097】
三角測量法
三角測量の方法は既知であるため、簡潔にするために最終式のみを示す。２つの車両線ｒｃ、ｒｐおよび車両δのデルタ運動が与えられると、以下の６つの量が定義され得る。
両方の光線が単位ベクトルである場合、ａおよびｃは１つの値を有し、以下の式をさらに簡略化して、
光線の２つの交点を提供することができる。通常、３Ｄ空間内の２つの光線は必ずしも交差しない。２つの３Ｄ点の平均は、両方の光線の最も近い点になる。しかしながら、本発明者らの場合、２つの光線はエピポーラ曲線と交差し、したがって交点を有する。これは、上記の式のうちの１つだけで十分であることを意味する。しかしながら、補間から生じるような光線の計算の不正確さは、両方の３Ｄ点を計算し、平均結果を最終的な３Ｄ点出力として使用することによって少なくとも部分的に説明することができる。
三角測量の方法は既知であるため、簡潔にするために最終式のみを示す。２つの車両線ｒｃ、ｒｐおよび車両δのデルタ運動が与えられると、以下の６つの量が定義され得る。
【数38】
【数39】
【0098】
適用
上記の技術を使用することにより、広視野レンズを有する車両上の移動単眼カメラからの画像を使用して、車両が環境を移動するときに車両を取り囲む環境の局所的なトポグラフィの一部に近似する点群の一部を形成することができる。移動する単眼カメラからの画像をつなぎ合わせることによって形成された画像は、点群によって画定された表面にマッピングすることができる。得られた仮想シーンの画像は、任意の仮想カメラの姿勢から評価することができる。仮想画像は、仮想カメラの姿勢に関係なく撮像シーンと同様のトポグラフィを有するので、提供される画像は現実的である。
上記の技術を使用することにより、広視野レンズを有する車両上の移動単眼カメラからの画像を使用して、車両が環境を移動するときに車両を取り囲む環境の局所的なトポグラフィの一部に近似する点群の一部を形成することができる。移動する単眼カメラからの画像をつなぎ合わせることによって形成された画像は、点群によって画定された表面にマッピングすることができる。得られた仮想シーンの画像は、任意の仮想カメラの姿勢から評価することができる。仮想画像は、仮想カメラの姿勢に関係なく撮像シーンと同様のトポグラフィを有するので、提供される画像は現実的である。
【図1】
【図2】
【図3】
【図4】
【図5a】
【図5b】
【図6a】
【図6b】
【図7】
【図8a】
【図8b】
【図9】
【図10】
【図11】
【図12a】
【図12b】
【図13a】
【図13b】
【図14】