知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024049235
(43)【公開日】2024-04-09
(54)【発明の名称】画像処理装置、ステレオカメラ装置及び画像処理方法
(51)【国際特許分類】
G06T 7/593 20170101AFI20240402BHJP
G06T 7/60 20170101ALI20240402BHJP
【ＦＩ】
G06T7/593
G06T7/60 180B
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022155578
(22)【出願日】2022-09-28
(71)【出願人】
【識別番号】000006633
【氏名又は名称】京セラ株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100132045
【弁理士】
【氏名又は名称】坪内 伸
(74)【代理人】
【識別番号】100203264
【弁理士】
【氏名又は名称】塩川 未久
(72)【発明者】
【氏名】渋沢 英次郎
(72)【発明者】
【氏名】外舘 弘理
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA05
5L096FA26
5L096FA66
5L096FA67
(57)【要約】
【課題】被写体までの距離をより精度良く測定することができる技術を提供する。
【解決手段】画像処理装置は、取得部と、制御部とを備える。制御部は、複数の平面射影変換によって基準画像の第１基準画素の座標を参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した複数の参照画素のうちで第１基準画素と同じ被写体を含む参照画素を特定し、第１基準画素と特定した参照画素とを対応付ける対応付け処理を実行する。制御部は、複数の平面射影変換の逆変換によって第１基準画素に対応付けた参照画素の座標を基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した複数の基準画素のうちで第１基準画素に対応付けた参照画素と同じ被写体を含む第２基準画素を特定し、第１基準画素と第２基準画素とに基づいて、第１基準画素と参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行する。
【選択図】図１
【解決手段】画像処理装置は、取得部と、制御部とを備える。制御部は、複数の平面射影変換によって基準画像の第１基準画素の座標を参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した複数の参照画素のうちで第１基準画素と同じ被写体を含む参照画素を特定し、第１基準画素と特定した参照画素とを対応付ける対応付け処理を実行する。制御部は、複数の平面射影変換の逆変換によって第１基準画素に対応付けた参照画素の座標を基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した複数の基準画素のうちで第１基準画素に対応付けた参照画素と同じ被写体を含む第２基準画素を特定し、第１基準画素と第２基準画素とに基づいて、第１基準画素と参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行する。
【選択図】図１
【特許請求の範囲】
【請求項1】
基準位置で撮像により生成された基準画像のデータと、前記基準画像とは異なる位置で撮像により生成された参照画像のデータとを取得する取得部と、
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行する制御部と、を備え、
前記制御部は、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行し、
前記複数の平面射影変換は、前記基準画像を生成したカメラへの光線であって、複数の仮想平面のそれぞれに位置する複数の仮想点を通る光線を、前記参照画像を生成したカメラへの光線であって、前記複数の仮想点を通る光線に変換する、
画像処理装置。
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行する制御部と、を備え、
前記制御部は、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行し、
前記複数の平面射影変換は、前記基準画像を生成したカメラへの光線であって、複数の仮想平面のそれぞれに位置する複数の仮想点を通る光線を、前記参照画像を生成したカメラへの光線であって、前記複数の仮想点を通る光線に変換する、
画像処理装置。
【請求項2】
前記基準画像及び前記参照画像は、広角レンズによって撮像された画像である、請求項１に記載の画像処理装置。
【請求項3】
前記制御部は、前記判定処理において、
前記参照画像を生成したカメラへの光線であって、前記第１基準画素に対応付けられた前記参照画素を通る光線のデータを取得し、
取得した前記光線を前記複数の平面射影変換の逆変換によって前記基準画像を生成したカメラへの光線に変換し、変換した前記光線を前記基準画像に投影することにより、前記複数の基準画素の座標を取得する、請求項２に記載の画像処理装置。
前記参照画像を生成したカメラへの光線であって、前記第１基準画素に対応付けられた前記参照画素を通る光線のデータを取得し、
取得した前記光線を前記複数の平面射影変換の逆変換によって前記基準画像を生成したカメラへの光線に変換し、変換した前記光線を前記基準画像に投影することにより、前記複数の基準画素の座標を取得する、請求項２に記載の画像処理装置。
【請求項4】
前記制御部は、前記判定処理において、前記第１基準画素と前記第２基準画素との間の距離が閾値以上であると判定した場合、前記第１基準画素と前記参照画素との対応付けが誤対応であると判定する、請求項１に記載の画像処理装置。
【請求項5】
前記仮想平面の法線方向は、前記基準画像を生成したカメラの光軸方向に基づいて設定され、
前記制御部は、前記第１基準画素に含まれる被写体までの距離を、前記基準位置から、前記第１基準画素に対応付けられた前記参照画素の座標の取得に用いられた前記仮想平面までの距離に基づいて取得する、請求項１に記載の画像処理装置。
前記制御部は、前記第１基準画素に含まれる被写体までの距離を、前記基準位置から、前記第１基準画素に対応付けられた前記参照画素の座標の取得に用いられた前記仮想平面までの距離に基づいて取得する、請求項１に記載の画像処理装置。
【請求項6】
前記複数の仮想平面は、第１仮想平面及び第２仮想平面の両方を含み、
前記第１仮想平面の法線方向は、前記基準画像を生成したカメラの光軸方向である第１方向に一致し、
前記第１仮想平面は、前記第１方向に沿って前記基準位置から第１距離離れて位置し、
前記第２仮想平面の法線方向は、前記第１方向とは異なる第２方向に一致し、
前記第２仮想平面は、前記第２方向に沿って前記基準位置から第２距離離れて位置する、請求項１に記載の画像処理装置。
前記第１仮想平面の法線方向は、前記基準画像を生成したカメラの光軸方向である第１方向に一致し、
前記第１仮想平面は、前記第１方向に沿って前記基準位置から第１距離離れて位置し、
前記第２仮想平面の法線方向は、前記第１方向とは異なる第２方向に一致し、
前記第２仮想平面は、前記第２方向に沿って前記基準位置から第２距離離れて位置する、請求項１に記載の画像処理装置。
【請求項7】
前記制御部は、
前記対応付け処理において、前記第１基準画素の特徴量及び前記複数の参照画素の特徴量を抽出し、抽出した前記第１基準画素の特徴量と前記複数の参照画素のそれぞれの特徴量との間の類似度をそれぞれ示す複数のコスト値を算出し、前記複数のコスト値に基づいて、前記第１基準画素と同じ被写体を含む参照画素を特定し、
前記判定処理において、前記対応付け処理にて算出した前記複数のコスト値に基づいて、前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定する、請求項１に記載の画像処理装置。
前記対応付け処理において、前記第１基準画素の特徴量及び前記複数の参照画素の特徴量を抽出し、抽出した前記第１基準画素の特徴量と前記複数の参照画素のそれぞれの特徴量との間の類似度をそれぞれ示す複数のコスト値を算出し、前記複数のコスト値に基づいて、前記第１基準画素と同じ被写体を含む参照画素を特定し、
前記判定処理において、前記対応付け処理にて算出した前記複数のコスト値に基づいて、前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定する、請求項１に記載の画像処理装置。
【請求項8】
前記制御部は、前記被写体までの距離の情報に基づいた画素値を有する距離画素を含む距離画像を生成する、請求項５に記載の画像処理装置。
【請求項9】
前記制御部は、前記誤対応であると判定した前記第１基準画素に対応する前記距離画素を無効にする、請求項８に記載の画像処理装置。
【請求項10】
前記制御部は、複数の前記距離画素のうち、無効にした前記距離画素の画素値を、他の前記距離画素の画素値によって補間する、請求項９に記載の画像処理装置。
【請求項11】
出力部をさらに備え、
前記制御部は、前記距離画像のデータを外部機器に前記出力部によって出力する、請求項８から１０までの何れか一項に記載の画像処理装置。
前記制御部は、前記距離画像のデータを外部機器に前記出力部によって出力する、請求項８から１０までの何れか一項に記載の画像処理装置。
【請求項12】
前記制御部は、前記第１基準画素と前記第２基準画素との間の距離に基づいて、取得した前記被写体までの距離に対して信頼度を付与する、請求項５に記載の画像処理装置。
【請求項13】
出力部をさらに備え、
前記制御部は、前記被写体までの距離の情報及び前記信頼度を外部機器に前記出力部によって出力する、請求項１２に記載の画像処理装置。
前記制御部は、前記被写体までの距離の情報及び前記信頼度を外部機器に前記出力部によって出力する、請求項１２に記載の画像処理装置。
【請求項14】
基準位置で撮像により基準画像を生成する第１カメラと、前記基準画像とは異なる位置で撮像により参照画像を生成する第２カメラとを含むステレオカメラと、
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行する画像処理装置と、を備え、
前記画像処理装置は、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行し、
前記複数の平面射影変換は、複数の仮想平面のそれぞれに位置する複数の仮想点を通る前記第１カメラへの光線を前記複数の仮想点を通る前記第２カメラへの光線に変換する、
ステレオカメラ装置。
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行する画像処理装置と、を備え、
前記画像処理装置は、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行し、
前記複数の平面射影変換は、複数の仮想平面のそれぞれに位置する複数の仮想点を通る前記第１カメラへの光線を前記複数の仮想点を通る前記第２カメラへの光線に変換する、
ステレオカメラ装置。
【請求項15】
基準位置で撮像により生成された基準画像のデータと、前記基準画像とは異なる位置で撮像により生成された参照画像のデータとを取得することと、
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行することと、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行することと、を含み、
前記複数の平面射影変換は、前記基準画像を生成したカメラへの光線であって、複数の仮想平面のそれぞれに位置する複数の仮想点を通る光線を、前記参照画像を生成したカメラへの光線であって、前記複数の仮想点を通る光線に変換する、
画像処理方法。
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行することと、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行することと、を含み、
前記複数の平面射影変換は、前記基準画像を生成したカメラへの光線であって、複数の仮想平面のそれぞれに位置する複数の仮想点を通る光線を、前記参照画像を生成したカメラへの光線であって、前記複数の仮想点を通る光線に変換する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、ステレオカメラ装置及び画像処理方法に関する。
【背景技術】
【0002】
特許文献１には、第１の視野及び第１の光軸を有する第１のカメラと、第２の視野及び第２の光軸を有する第２のカメラとを備える撮像システムが開示されている。特許文献１には、第１の視野及び第２の視野が少なくとも部分的に重複し、組み合わされた視野を形成することが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特表２０２０－５２２９０６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
被写体までの距離をより精度良く測定することが求められる。
【0005】
かかる点に鑑みてなされた本開示の目的は、被写体までの距離をより精度良く測定することができる技術を提供することにある。
【課題を解決するための手段】
【0006】
本開示の一実施形態に係る画像処理装置は、
基準位置で撮像により生成された基準画像のデータと、前記基準画像とは異なる位置で撮像により生成された参照画像のデータとを取得する取得部と、
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行する制御部と、を備え、
前記制御部は、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行し、
前記複数の平面射影変換は、前記基準画像を生成したカメラへの光線であって、複数の仮想平面のそれぞれに位置する複数の仮想点を通る光線を、前記参照画像を生成したカメラへの光線であって、前記複数の仮想点を通る光線に変換する。
基準位置で撮像により生成された基準画像のデータと、前記基準画像とは異なる位置で撮像により生成された参照画像のデータとを取得する取得部と、
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行する制御部と、を備え、
前記制御部は、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行し、
前記複数の平面射影変換は、前記基準画像を生成したカメラへの光線であって、複数の仮想平面のそれぞれに位置する複数の仮想点を通る光線を、前記参照画像を生成したカメラへの光線であって、前記複数の仮想点を通る光線に変換する。
【0007】
本開示の一実施形態に係るステレオカメラ装置は、
基準位置で撮像により基準画像を生成する第１カメラと、前記基準画像とは異なる位置で撮像により参照画像を生成する第２カメラとを含むステレオカメラと、
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行する画像処理装置と、を備え、
前記画像処理装置は、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行し、
前記複数の平面射影変換は、複数の仮想平面のそれぞれに位置する複数の仮想点を通る前記第１カメラへの光線を前記複数の仮想点を通る前記第２カメラへの光線に変換する。
基準位置で撮像により基準画像を生成する第１カメラと、前記基準画像とは異なる位置で撮像により参照画像を生成する第２カメラとを含むステレオカメラと、
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行する画像処理装置と、を備え、
前記画像処理装置は、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行し、
前記複数の平面射影変換は、複数の仮想平面のそれぞれに位置する複数の仮想点を通る前記第１カメラへの光線を前記複数の仮想点を通る前記第２カメラへの光線に変換する。
【0008】
本開示の一実施形態に係る画像処理方法は、
基準位置で撮像により生成された基準画像のデータと、前記基準画像とは異なる位置で撮像により生成された参照画像のデータとを取得することと、
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行することと、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行することと、を含み、
前記複数の平面射影変換は、前記基準画像を生成したカメラへの光線であって、複数の仮想平面のそれぞれに位置する複数の仮想点を通る光線を、前記参照画像を生成したカメラへの光線であって、前記複数の仮想点を通る光線に変換する。
基準位置で撮像により生成された基準画像のデータと、前記基準画像とは異なる位置で撮像により生成された参照画像のデータとを取得することと、
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行することと、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行することと、を含み、
前記複数の平面射影変換は、前記基準画像を生成したカメラへの光線であって、複数の仮想平面のそれぞれに位置する複数の仮想点を通る光線を、前記参照画像を生成したカメラへの光線であって、前記複数の仮想点を通る光線に変換する。
【発明の効果】
【0009】
本開示の一実施形態によれば、被写体までの距離をより精度良く測定することができる技術を提供することができる。
【図面の簡単な説明】
【0010】
【図1】本開示の一実施形態に係るステレオカメラ装置の概略構成を示すブロック図である。
【図4】第１仮想画像及び第１仮想平面を説明するための図である。
【図5】第１仮想画像における第１被写体の位置を説明するための図である。
【図6】第２仮想画像及び第２仮想平面を説明するための図である。
【図7】第２仮想画像における第２被写体の位置を説明するための図である。
【図8】距離画像の一例を示す図である。
【図9】対応付け処理の手順を示すフローチャートである。
【図10】対応付け処理の手順を示すフローチャートである。
【図11】誤対応の判定処理の手順を示すフローチャートである。
【図12】誤対応の判定処理の手順を示すフローチャートである。
【図13】魚眼レンズによって撮像された画像を説明するための図である。
【発明を実施するための形態】
【0011】
本開示において「ワールド座標系」とは、カメラの外部の実空間に基づいて設定された３次元座標系である。本開示において「カメラ座標系」は、カメラの位置を基準として設定される３次元座標系である。カメラ座標系とワールド座標系との間の変換は、カメラの外部パラメータによって規定される。本開示において「カメラの外部パラメータ」は、カメラの位置姿勢を意味する。本開示において「カメラの位置姿勢」とは、ワールド座標系において、基準となる位置に対するカメラの位置及び基準となる方向に対するカメラの傾き（姿勢）を意味する。
【0012】
本開示において「画像座標系」とは、カメラが生成した画像において設定される２次元座標系である。本開示において「カメラの内部パラメータ」は、カメラの焦点距離及び画像座標系の画像中心の情報を含む。
【0013】
本開示において「正規化画像座標系」とは、カメラが生成した画像において設定される画像座標系を正規化した２次元座標系である。正規化画像座標系は、カメラの光軸上の点が原点となり、カメラの焦点距離が１となるように正規化される。正規化画像座標系を構成する２つの軸は、カメラの光軸に直交する。
【0014】
本開示において、被写体を含む画像とは、被写体が描画された画像を意味する。被写体を含む画素とは、被写体が描画された画素を意味する。画像には、複数の画素が縦方向及び横方向に沿って並ぶ。本開示では、画像に画素が並ぶ縦方向及び横方向のうちの、一方が「行」と記載され、他方が「列」と記載される。
【0015】
以下、本開示に係る実施形態について、図面を参照して説明する。
【0016】
（ステレオカメラ装置の構成）
図１に示すように、ステレオカメラ装置１は、ステレオカメラ１０と、画像処理装置２０とを備える。図２及び図３に示すように、ステレオカメラ装置１は、例えば、移動体３０に搭載される。
図１に示すように、ステレオカメラ装置１は、ステレオカメラ１０と、画像処理装置２０とを備える。図２及び図３に示すように、ステレオカメラ装置１は、例えば、移動体３０に搭載される。
【0017】
移動体３０は、路面上を走行する。路面は、例えば、道路又は滑走路等を含む走行路の表面である。移動体３０は、例えば、自動車、産業車両、鉄道車両又は生活車両等の車両である。ただし、移動体３０は、車両に限定されない。他の例として、移動体３０は、航空機、船舶又はドローン等であってもよい。航空機は、例えば、固定翼機又は回転翼機等である。
【0018】
ステレオカメラ１０と画像処理装置２０とは、有線又は無線通信により通信可能である。ステレオカメラ１０と画像処理装置２０とは、ネットワークを介して通信してよい。ネットワークは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ又はＣＡＮ（Controller Area Network）等である。ステレオカメラ１０及び画像処理装置２０は、移動体３０内の電子制御ユニット（ＥＣＵ：Electronic Control Unit）と通信可能に構成されてよい。
【0019】
ステレオカメラ１０は、移動体３０の種々の箇所に搭載されてよい。複数の実施形態のうちの１つにおいて、ステレオカメラ１０は、車両である移動体３０の内部に搭載され、ウインドシールドを介して移動体３０の外部を撮像してよい。例えば、ステレオカメラ１０は、ルームミラーの前方、又は、ダッシュボード上に配置される。複数の実施形態の１つにおいて、ステレオカメラ１０は、車両のフロントバンパー、フェンダーグリル、サイドフェンダー、ライトモジュール及びボンネットの何れかに固定されてよい。
【0020】
画像処理装置２０は、移動体３０の種々の箇所に搭載されてよい。例えば、画像処理装置２０は、移動体３０のダッシュボード内に搭載されてよい。
【0021】
【0022】
ステレオカメラ１０は、互いに視差を有し、互いに協働する複数のカメラを含む。ステレオカメラ１０は、少なくとも２つ以上のカメラを含む。本実施形態では、ステレオカメラ１０は、第１カメラ１１と、第２カメラ１２とを含む。ステレオカメラ１０は、複数のカメラを協働させて、複数の方向から対象を撮像することが可能である。ステレオカメラ１０は、同じ筐体に複数のカメラが含まれる機器であってよい。ステレオカメラ１０は、互いに独立し、且つ、互いに離れて位置する２台以上のカメラを含む機器であってよい。ただし、ステレオカメラ１０は、互いに独立した複数のカメラに限定されない。本開示のステレオカメラ１０には、例えば、離れた２箇所に入射される光を１つの受光素子に導く光学機構を有するカメラを採用することもできる。本開示では、同じ被写体を異なる視点から撮像して生成された複数の画像は、「ステレオ画像」とも記載される。
【0023】
第１カメラ１１は、光軸ОＸ１を規定する光学系と、撮像素子とを備える。第２カメラ１２は、光軸ＯＸ２を規定する光学系と、撮像素子とを備える。第１カメラ１１の光軸ＯＸ１と第２カメラの光軸ＯＸ２とは、異なる。第１カメラ１１及び第２カメラ１２のそれぞれの光学系は、レンズ又はミラーを含む。第１カメラ１１及び第２カメラ１２のそれぞれの光学系は、被写体像を撮像素子の受光面に結像させてよい。第１カメラ１１及び第２カメラ１２のそれぞれの光学系は、魚眼レンズ等の広角レンズを含んでよい。ただし、第１カメラ１１及び第２カメラ１２のそれぞれの光学系は、広角レンズに限定されず、任意のレンズを含んでよい。第１カメラ１１及び第２カメラ１２のそれぞれの撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。第１カメラ１１及び第２カメラ１２のそれぞれの撮像素子は、それぞれ、光軸ＯＸ１及び光軸ＯＸ２に垂直な同じ面内に存在してよい。第１カメラ１１及び第２カメラ１２は、画像のデータを撮像により生成する。画像のデータは、撮像素子で結像された画像を表すデータである。
【0024】
第１カメラ１１及び第２カメラ１２は、例えば、互いに固定される。第１カメラ１１と第２カメラ１２との間では、例えば第１カメラ１１と第２カメラ１２とが互いに固定されることにより、相対的な位置姿勢が互いに定められる。
【0025】
第１カメラ１１の光軸ＯＸ１と第２カメラ１２の光軸ＯＸ２とは、互いに同じ被写体を撮像可能な方向を向いている。第１カメラ１１及び第２カメラ１２がそれぞれ撮像した画像に少なくとも同じ被写体が含まれるように、第１カメラ１１の位置及び光軸ＯＸ１と、第２カメラ１２の位置及び光軸ОＸ２とが定められる。第１カメラ１１の光軸ＯＸ１と第２カメラ１２の光軸ＯＸ２とは、互いに平行になるように向けられる。この平行は、厳密な平行に限定されず、組み立てのずれ、取付けのずれ及びこれらの経時によるずれを許容する。第１カメラ１１の光軸ＯＸ１と第２カメラ１２の光軸ＯＸ２とは、平行に限定されず、互いに異なる方向を向いてよい。第１カメラ１１の光軸ＯＸ１と第２カメラ１２の光軸ＯＸ２とが互いに平行ではない場合でも、ステレオカメラ１０又は画像処理装置２０内で、画像を変換することによりステレオ画像を生成可能である。基線長は、第１カメラ１１の光学中心と第２カメラ１２の光学中心との間の距離である。例えば、基線長は、第１カメラ１１の受光面への光軸ОＸ１の交点と、第２カメラ１２の受光面への光軸ОＸ２の交点との間の距離に相当する。基線長方向は、第１カメラ１１の光学中心と第２カメラ１２の光学中心とを結ぶ方向である。
【0026】
図２に示すように、第１カメラ１１及び第２カメラ１２は、移動体３０の前方を撮像可能となるように配置される。例えば、第１カメラ１１の光軸ОＸ１及び第２カメラ１２の光軸ＯＸ２が移動体３０の直進方向と平行となるように、第１カメラ１１及び第２カメラ１２が配置される。
【0027】
第１カメラ１１及び第２カメラ１２は、光軸ＯＸ１及び光軸ОＸ２に交わる方向において離れて位置する。複数の実施形態のうちの１つにおいて、第１カメラ１１及び第２カメラ１２は、移動体３０の左右方向に沿って離れて位置する。第１カメラ１１は、前方を向いたときに第２カメラ１２の左側に位置する。第２カメラ１２は、前方を向いたときに第１カメラ１１の右側に位置する。
【0028】
第１カメラ１１は、被写体を撮像して基準画像を生成する。基準画像が撮像により生成される位置すなわち第１カメラ１１の位置は、「基準位置」とも記載される。第２カメラ１２は、被写体を撮像して参照画像を生成する。参照画像が撮像により生成される位置すなわち第２カメラ１２の位置は、第１カメラ１１の位置とは異なる。第１カメラ１１の位置と第２カメラ１２の位置とが異なることにより、同じ被写体であっても、基準画像における被写体の位置と参照画像における被写体の位置とは、異なる。基準画像及び参照画像は、異なる視点から被写体を撮像して生成されたステレオ画像となる。第１カメラ１１及び第２カメラ１２は、所定のフレームレート（例えば３０ｆｐｓ）で被写体を撮像してよい。
【0029】
図１に示すように、画像処理装置２０は、取得部２１と、出力部２２と、記憶部２３と、制御部２４とを備える。
【0030】
取得部２１は、画像処理装置２０の入力用インタフェースである。取得部２１は、ステレオカメラ１０及び他の装置から情報の入力を受け付け可能である。取得部２１には、物理コネクタ、及び、無線通信モジュールが採用可能である。物理コネクタには、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び、電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタには、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ RC-5237に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及び、ＢＮＣを含む同軸ケーブルに対応するコネクタが含まれる。光コネクタには、IEC 61754に準拠する種々のコネクタが含まれる。無線通信モジュールには、Bluetooth（登録商標）、及び、IEEE802.11を含む各規格に準拠する無線通信モジュールが含まれる。
【0031】
取得部２１は、第１カメラ１１が生成した基準画像４０のデータと、第２カメラ１２が生成した参照画像４１のデータとを取得する。取得部２１は、取得した基準画像４０のデータ及び参照画像４１のデータを、制御部２４に出力する。取得部２１は、ステレオカメラ１０のデータの伝送方式に対応してよい。取得部２１は、ネットワークを介してステレオカメラ１０の出力用インタフェースに接続されてよい。取得部２１は、ネットワークを介して移動体３０内の電子制御ユニットに接続されてよい。
【0032】
出力部２２は、画像処理装置２０の出力用インタフェースである。出力部２２は、画像処理装置２０の処理結果を、外部機器に出力可能である。外部機器は、例えば、移動体３０内の他の装置又は移動体３０外の他の装置等である。移動体３０内の他の装置は、オートクルーズコントロール等の走行支援装置、及び、自動ブレーキ装置等の安全装置を含んでよい。移動体３０外の他の装置は、他車両及び路測機等を含んでよい。移動体３０内の他の装置又は移動体３０外の他の装置は、画像処理装置２０から受信した情報を適宜使用することができる。出力部２２は、取得部２１と同じ又は類似に、有線及び無線の通信に対応した種々のインタフェースを含んでよい。
【0033】
記憶部２３は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ又はこれらのうちの少なくとも２種類の組み合わせを含んで構成される。半導体メモリは、例えば、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）等である。ＲＡＭは、例えば、ＳＲＡＭ（Static Random Access Memory）又はＤＲＡＭ（Dynamic Random Access Memory）等である。ＲＯＭは、例えば、ＥＥＰＲＯＭ(Electrically Erasable Programmable Read Only Memory)等である。記憶部２３は、主記憶装置、補助記憶装置又はキャッシュメモリとして機能してよい。記憶部２３は、画像処理装置２０の動作に用いられるデータと、画像処理装置２０の動作によって得られたデータとを記憶する。
【0034】
記憶部２３は、第１カメラ１１及び第２カメラ１２の内部パラメータを記憶する。記憶部２３は、第１カメラ１１及び第２カメラ１２の外部パラメータを記憶する。記憶部２３は、後述する回転行列Ｒ、並進ベクトルｔ及びパラメータＫ１，Ｋ２，ρ１，ρ２を記憶する。
【0035】
制御部２４は、少なくとも１つのプロセッサ、少なくとも１つの専用回路又はこれらの組み合わせを含んで構成される。プロセッサは、ＣＰＵ（Central Processing Unit）若しくはＧＰＵ（Graphics Processing Unit）等の汎用プロセッサ又は特定の処理に特化した専用プロセッサである。専用回路は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit）等である。制御部２４は、画像処理装置２０の各部を制御しながら、画像処理装置２０の動作に関わる処理を実行する。
【0036】
制御部２４は、基準画像４０及び参照画像４１のデータを取得部２１によって取得する。
【0037】
以下、第１カメラ１１の正規化画像座標系は、「正規化画像座標系Ｃ１」とも記載される。つまり、正規化画像座標系Ｃ１は、第１カメラ１１が生成した画像において設定される画像座標系を正規化した２次元座標系である。第２カメラ１２の正規化画像座標系は、「正規化画像座標系Ｃ２」とも記載される。つまり、正規化画像座標系Ｃ２は、第２カメラ１２が生成した画像において設定される画像座標系を正規化した２次元座標系である。
【0038】
以下、第１カメラ１１のカメラ座標系は、「カメラ座標系Ｃ１１」とも記載される。第２カメラ１２のカメラ座標系は、「カメラ座標系Ｃ１２」とも記載される。
【0039】
以下、被写体までの距離を取得する取得処理の概要を説明した後、本実施形態に係る対応付け処理について説明する。この取得処理は、後述する第１仮想画像４２が用いられる第１取得処理と、後述する第２仮想画像４３が用いられる第２取得処理とがある。
【0040】
＜第１取得処理＞
制御部２４は、参照画像４１を第１仮想画像４２に変換する。第１仮想画像４２は、図４に示すような実空間上の仮想点Ｘ１ｑ（ｑ＝１，…，ｍ１）（ｍ１は１以上の整数）を基準位置で撮像したと仮想した画像である。仮想点Ｘ１ｑは、実空間において第１方向Ｄ１に沿って基準位置から第１距離ｄ１ｑ離れて位置する。第１方向Ｄ１は、第１カメラ１１の光軸ОＸ１に沿う方向すなわち第１カメラ１１の光軸方向である。第１方向Ｄ１の情報は、第１カメラ１１のカメラ座標系Ｃ１１に対応付けられて記憶部２３に予め記憶されてよい。制御部２４は、記憶部２３から、カメラ座標系Ｃ１１に対応付けられた第１方向Ｄ１の情報を取得することにより、第１方向Ｄ１を特定してよい。以下、第１距離ｄ１ｑに対応する第１仮想画像４２は、「第１仮想画像４２ｑ」とも記載される。
制御部２４は、参照画像４１を第１仮想画像４２に変換する。第１仮想画像４２は、図４に示すような実空間上の仮想点Ｘ１ｑ（ｑ＝１，…，ｍ１）（ｍ１は１以上の整数）を基準位置で撮像したと仮想した画像である。仮想点Ｘ１ｑは、実空間において第１方向Ｄ１に沿って基準位置から第１距離ｄ１ｑ離れて位置する。第１方向Ｄ１は、第１カメラ１１の光軸ОＸ１に沿う方向すなわち第１カメラ１１の光軸方向である。第１方向Ｄ１の情報は、第１カメラ１１のカメラ座標系Ｃ１１に対応付けられて記憶部２３に予め記憶されてよい。制御部２４は、記憶部２３から、カメラ座標系Ｃ１１に対応付けられた第１方向Ｄ１の情報を取得することにより、第１方向Ｄ１を特定してよい。以下、第１距離ｄ１ｑに対応する第１仮想画像４２は、「第１仮想画像４２ｑ」とも記載される。
【0041】
制御部２４は、参照画像４１を第１仮想平面Ｖ１ｑに射影変換し、射影変換後の参照画像４１を第１仮想画像４２ｑとして取得する。第１仮想平面Ｖ１ｑは、仮想点Ｘ１ｑが位置する仮想的な平面である。第１仮想平面Ｖ１ｑは、第１方向Ｄ１に沿って基準位置から第１距離ｄ１ｑ離れて位置する。つまり、第１距離ｄ１ｑに対応する第１仮想画像４２ｑは、第１方向Ｄ１に沿って基準位置から第１距離ｄ１ｑ離れて位置する第１仮想平面Ｖ１ｑに参照画像４１を射影変換した後の画像とも言える。第１仮想平面Ｖ１ｑの法線方向は、第１方向Ｄ１と一致する。参照画像４１を第１仮想平面Ｖ１ｑに射影変換して第１仮想画像４２ｑを取得する処理は、プレーンスイープ法（Plane Sweep）による処理とも言える。ここで、図４において、座標ｘ１は、仮想点Ｘ１ｑを基準画像４０に投影させた場合に仮想点Ｘ１ｑが基準画像４０に描画される画素の座標である。座標ｘ１は、正規化画像座標系Ｃ１における座標として与えられる。座標ｘ２は、仮想点Ｘ１ｑを参照画像４１に投影させた場合に仮想点Ｘ１ｑが参照画像４１に描画される画素の座標である。座標ｘ２は、正規化画像座標系Ｃ２における座標として与えられる。制御部２４は、平面射影変換Ｈｑによって、仮想点Ｘ１ｑを通る第１カメラ１１の光線を、仮想点Ｘ１ｑを通る第２カメラ１２の光線に変換することができる。平面射影変換Ｈｑは、式（１）によって表される。
式（１）において、回転行列Ｒは、第１カメラ１１を基準とする第２カメラ１２の回転を示す回転行列である。並進ベクトルｔは、第１カメラ１１を基準とする第２カメラ１２の並進を示すベクトルである。回転行列Ｒと並進ベクトルｔは、第１カメラ１１と第２カメラ１２との間で相対的な位置姿勢が互いに定められていることにより既知である。制御部２４は、記憶部２３から回転行列Ｒ及び並進ベクトルｔの情報を取得する。
式（１）において、法線ベクトルｎｑは、第１仮想平面Ｖ１ｑの法線ベクトルである。
式（１）において、第１距離ｄ１ｑは、第１方向Ｄ１における第１仮想平面Ｖ１ｑの基準位置からの距離である。
【数1】
式（１）において、法線ベクトルｎｑは、第１仮想平面Ｖ１ｑの法線ベクトルである。
式（１）において、第１距離ｄ１ｑは、第１方向Ｄ１における第１仮想平面Ｖ１ｑの基準位置からの距離である。
【0042】
制御部２４は、第１仮想画像４２ｑによって、実空間上の第１被写体までの距離を取得することができる。第１被写体は、第１仮想平面Ｖ１ｑに平行な面を含む被写体である。つまり、第１被写体の少なくとも一部の面の法線方向は、第１仮想平面Ｖ１ｑの法線方向すなわち第１方向Ｄ１と一致する。第１被写体に含まれる面の法線方向が第１方向Ｄ１と一致することにより、第１方向Ｄ１に沿う第１距離ｄ１ｑを変化させながら複数の第１仮想画像４２ｑを取得した場合、第１仮想画像４２ｑにおける第１被写体の位置は、第１距離ｄ１ｑに応じて変化する。さらに、第１距離ｄ１ｑが第１方向Ｄ１における基準位置から第１被写体までの距離と一致する場合、第１仮想画像４２ｑにおける第１被写体の位置は、基準画像４０における第１被写体の位置と一致する。つまり、第１仮想画像４２ｑにおける第１被写体の位置と基準画像４０における第１被写体の位置とが一致する場合、当該第１仮想画像４２ｑに対応する第１距離ｄ１ｑは、第１方向Ｄ１における基準位置から第１被写体までの距離となる。
【0043】
そこで、制御部２４は、基準画像４０における第１被写体の位置と、複数の第１仮想画像４２ｑのそれぞれにおける第１被写体の位置とを比較する。制御部２４は、複数の第１仮想画像４２ｑのうちから、その第１仮想画像４２ｑにおける第１被写体の位置が基準画像４０における第１被写体の位置に最も近い第１仮想画像４２ｑを特定する。制御部２４は、特定した第１仮想画像４２ｑに対応する第１距離ｄ１ｑを、実空間上の第１方向Ｄ１における基準位置から第１被写体までの距離として取得する。この処理は、後述する対応付け処理によって実行可能である。以下、図５を参照して説明する。
【0044】
図５には、基準画像４０ａ及び参照画像４１ａを示す。基準画像４０ａは、部分画像４０оｂ１を含む。部分画像４０оｂ１は、基準画像４０ａのうちで、第１カメラ１１によって撮像された第１被写体оｂ１が描画された部分である。参照画像４１ａは、部分画像４１оｂ１を含む。部分画像４１оｂ１は、参照画像４１ａのうちで、第２カメラ１２によって撮像された第１被写体оｂ１が描画された部分である。第１被写体оｂ１の正面の法線方向は、第１方向Ｄ１に一致する。
【0045】
図５では、ｑ＝１，２，３とする。参照画像４１ａの右側に、第１仮想画像４２ａ１、第１仮想画像４２ａ２及び第１仮想画像４２ａ３を示す。第１仮想画像４２ａ１は、第１距離ｄ１１に対応する。第１仮想画像４２ａ２は、第１距離ｄ１２に対応する。第１仮想画像４２ａ３は、第１距離ｄ１３に対応する。
【0046】
図５では、説明の便宜上、第１仮想画像４２ａ１～４２ａ３のそれぞれにおいて、基準画像４０ａの部分画像４０оｂ１を破線で示す。第１仮想画像４２ａ１～４２ａ３のそれぞれにおいて、部分画像４１оｂ１の位置すなわち第１被写体оｂ１の位置は、第１距離ｄ１ｑに応じて変化する。ここで、第１仮想画像４２ａ２における第１被写体оｂ１の位置と、基準画像４０ａにおける第１被写体оｂ１の位置とは、一致する。つまり、第１方向Ｄ１における基準位置から第１被写体оｂ１までの距離は、第１距離ｄ１２となる。制御部２４は、第１仮想画像４２ａ１～４２ａ３のうちから、基準画像４０ａにおける第１被写体оｂ１の位置と第１被写体оｂ１の位置が最も近い第１仮想画像４２ａ２を特定する。制御部２４は、特定した第１仮想画像４２ａ２に対応する第１距離ｄ１２を、実空間上の第１方向Ｄ１における基準位置から第１被写体оｂ１までの距離として取得する。
【0047】
制御部２４は、取得した第１距離ｄ１ｑすなわち第１方向Ｄ１における基準位置から第１被写体までの距離によって、基準位置から第１被写体までの直線距離を算出してもよい。例えば、制御部２４は、式（２）によって、基準位置から第１被写体までの直線距離Ｚを算出してよい。
式（２）において、単位ベクトルｂは、正規化画像座標系Ｃ１の原点から第１被写体を含む画素に向かう方向に対応するカメラ座標系Ｃ１１の方向の単位ベクトルである。
【数2】
【0048】
＜第２取得処理＞
制御部２４は、参照画像４１を第２仮想画像４３に変換する。第２仮想画像４３は、図６に示すような実空間上の仮想点Ｘ２ｑ（ｑ＝１，…，ｍ２）（ｍ２は１以上の整数）を基準位置で撮像したと仮想した画像である。仮想点Ｘ２ｑは、実空間において第２方向Ｄ２に沿って基準位置から第２距離ｄ２ｑ離れて位置する。第２方向Ｄ２は、第１方向Ｄ１とは異なる方向である。例えば、第２方向Ｄ２におけるベクトルと、第１方向Ｄ１におけるベクトルとの内積は、ゼロ以外の値となる。第２方向Ｄ２は、水平面の法線方向であってよい。以下、第２方向Ｄ２は、路面の法線方向であるものとする。ただし、第２方向Ｄ２は、第１方向Ｄ１とは異なる方向であればよく、路面の法線方向に限定されない。第２方向Ｄ２の情報は、カメラ座標系Ｃ１１に対応付けられて記憶部２３に予め記憶されてよい。制御部２４は、記憶部２３からカメラ座標系Ｃ１１に対応付けられた第２方向Ｄ２の情報を取得することにより、第２方向Ｄ２を特定してよい。以下、第２距離ｄ２ｑに対応する第２仮想画像４３は、「第２仮想画像４３ｑ」とも記載される。
制御部２４は、参照画像４１を第２仮想画像４３に変換する。第２仮想画像４３は、図６に示すような実空間上の仮想点Ｘ２ｑ（ｑ＝１，…，ｍ２）（ｍ２は１以上の整数）を基準位置で撮像したと仮想した画像である。仮想点Ｘ２ｑは、実空間において第２方向Ｄ２に沿って基準位置から第２距離ｄ２ｑ離れて位置する。第２方向Ｄ２は、第１方向Ｄ１とは異なる方向である。例えば、第２方向Ｄ２におけるベクトルと、第１方向Ｄ１におけるベクトルとの内積は、ゼロ以外の値となる。第２方向Ｄ２は、水平面の法線方向であってよい。以下、第２方向Ｄ２は、路面の法線方向であるものとする。ただし、第２方向Ｄ２は、第１方向Ｄ１とは異なる方向であればよく、路面の法線方向に限定されない。第２方向Ｄ２の情報は、カメラ座標系Ｃ１１に対応付けられて記憶部２３に予め記憶されてよい。制御部２４は、記憶部２３からカメラ座標系Ｃ１１に対応付けられた第２方向Ｄ２の情報を取得することにより、第２方向Ｄ２を特定してよい。以下、第２距離ｄ２ｑに対応する第２仮想画像４３は、「第２仮想画像４３ｑ」とも記載される。
【0049】
制御部２４は、参照画像４１を第２仮想平面Ｖ２ｑに射影変換し、射影変換後の参照画像４１を第２仮想画像４３ｑとして取得する。第２仮想平面Ｖ２ｑは、仮想点Ｘ２ｑが位置する仮想的な平面である。第２仮想平面Ｖ２ｑは、基準位置から第２距離ｄ２ｑ離れて位置する。つまり、第２距離ｄ２ｑに対応する第２仮想画像４３ｑは、第２方向Ｄ２に沿って基準位置から第２距離ｄ２ｑ離れて位置する第２仮想平面Ｖ２ｑに参照画像４１を射影変換した後の画像とも言える。第２仮想平面Ｖ２ｑの法線方向は、第２方向Ｄ２に一致する。第１方向Ｄ１と同じ又は類似に、制御部２４は、式（１）の平面射影変換Ｈｑによって、仮想点Ｘ２ｑを通る第１カメラ１１への光線を、仮想点Ｘ２ｑを通る第２カメラ１２への光線に変換することができる。この変換では、式（１）の第１距離ｄ１ｑの代わりに、第２距離ｄ２ｑが用いられる。また、式（１）の法線ベクトルｎｑは、第２仮想平面Ｖ２ｑの法線ベクトルとなる。
【0050】
制御部２４は、第２仮想画像４３ｑによって、実空間上の第２被写体までの距離を取得することができる。第２被写体は、第２仮想平面Ｖ２ｑに平行な面を含む被写体である。つまり、第２被写体の少なくとも一部の面の法線方向は、第２仮想平面Ｖ２ｑの法線方向すなわち第２方向Ｄ２と一致する。第２被写体の例として、車止め及び路面の凹凸等が挙げられる。第２被写体は、第１被写体と同じ物体であってもよいし、第１被写体とは異なる物体であってもよい。第２被写体が第１被写体と同じ物体である場合、第２被写体は、第１仮想平面Ｖ１ｑに平行な面と、第２仮想平面Ｖ２ｑに平行な面とを含む。ここで、第２被写体に含まれる面の法線方向が第２方向Ｄ２と一致することにより、第２方向Ｄ２に沿う第２距離２ｑを変化させながら複数の第２仮想画像４３ｑを取得した場合、第２仮想画像４３ｑにおける第２被写体の位置は、第２距離ｄ２ｑに応じて変化する。第２距離ｄ２ｑが第２方向Ｄ２における基準位置から第２被写体までの距離と一致する場合、第２仮想画像４３ｑにおける第２被写体の位置は、基準画像４０における第２被写体の位置と一致する。つまり、第２仮想画像４３ｑにおける第２被写体の位置と基準画像４０における第２被写体の位置とが一致する場合、当該第２仮想画像４３ｑに対応する第２距離ｄ２ｑは、第２方向Ｄ２における基準位置から第２被写体までの距離となる。
【0051】
そこで、制御部２４は、基準画像４０における第２被写体の位置と、複数の第２仮想画像４３ｑのそれぞれにおける第２被写体の位置とを比較する。制御部２４は、複数の第２仮想画像４３ｑのうちから、その第２仮想画像４３ｑにおける第２被写体の位置が基準画像４０における第２被写体の位置に最も近い第２仮想画像４３ｑを特定する。制御部２４は、特定した第２仮想画像４３ｑに対応する第２距離ｄ２ｑを、実空間上の第２方向Ｄ２における基準位置から第２被写体までの距離として取得する。この処理は、後述する対応付け処理によって実行可能である。以下、図７を参照して説明する。
【0052】
図７には、基準画像４０ｂ及び参照画像４１ｂを示す。基準画像４０ｂは、部分画像４０оｂ２を含む。部分画像４０оｂ２は、基準画像４０ｂのうちで、第１カメラ１１によって撮像された第２被写体оｂ２が描画された部分である。参照画像４１ｂは、部分画像４１оｂ２を含む。部分画像４１оｂ２は、参照画像４１ｂのうちで、第２カメラ１２によって撮像された第２被写体оｂ２が描画された部分である。第２被写体оｂ２の上面の法線方向は、第２方向Ｄ２に一致する。
【0053】
図７では、ｑ＝１，２，３とする。参照画像４１ｂの右側に、第２仮想画像４３ｂ１、第２仮想画像４３ｂ２及び第２仮想画像４３ｂ３を示す。第２仮想画像４３ｂ１は、第２距離ｄ２１に対応する。第２仮想画像４３ｂ２は、第２距離ｄ２２に対応する。第２仮想画像４３ｂ３は、第２距離ｄ２３に対応する。
【0054】
図７では、説明の便宜上、第２仮想画像４３ｂ１～４３ｂ３のそれぞれにおいて、基準画像４０ｂの部分画像４０оｂ２を破線で示す。第２仮想画像４３ｂ１～４３ｂ３のそれぞれにおいて、部分画像４１оｂ２の位置すなわち第２被写体оｂ２の位置は、第２距離ｄ２ｑに応じて変化する。ここで、第２仮想画像４３ｂ２における第２被写体оｂ２の位置と、基準画像４０ｂにおける第２被写体оｂ２の位置とは、一致する。つまり、第２方向Ｄ２における基準位置から第２被写体оｂ２までの距離は、第２距離ｄ２２となる。制御部２４は、第２仮想画像４３ｂ１～４３ｂ３のうちから、基準画像４０ｂにおける第２被写体оｂ２の位置と第２被写体оｂ２の位置が最も近い第２仮想画像４３ｂ２を特定する。制御部２４は、特定した第２仮想画像４３ｂ２に対応する第２距離ｄ２２を、実空間上の第２方向Ｄ２における基準位置から第２被写体оｂ２までの距離として取得する。
【0055】
制御部２４は、取得した第２距離ｄ２ｑすなわち第２方向Ｄ２における基準位置から第２被写体までの距離によって、基準位置から第２被写体までの直線距離を算出してもよい。制御部２４は、式（２）によって、基準位置から第２被写体までの直線距離Ｚを算出してもよい。第２方向Ｄ２では、式（２）の法線ベクトルｎｑは、第２仮想平面Ｖ２ｑの法線ベクトルとなる。また、式（２）の単位ベクトルｂは、正規化画像座標系Ｃ１の原点から第２被写体を含む画素に向かう方向に対応するカメラ座標系Ｃ１１の方向の単位ベクトルである。
【0056】
＜対応付け処理＞
以下、基準画像４０に含まれる画素は、「基準画素Ｐ４０」とも記載される。参照画像４１に含まれる画素は、「参照画素Ｐ４１」とも記載される。
以下、基準画像４０に含まれる画素は、「基準画素Ｐ４０」とも記載される。参照画像４１に含まれる画素は、「参照画素Ｐ４１」とも記載される。
【0057】
以下において、仮想平面Ｖ３とは、仮想平面Ｖ３の法線方向が第１カメラ１１の光軸ＯＸ１に沿う方向に基づいて設定される任意の仮想平面である。仮想平面Ｖ３は、第１仮想平面Ｖ１であってもよいし、第２仮想平面Ｖ２であってもよい。ただし、仮想平面Ｖ３は、第１仮想平面Ｖ１及び第２仮想平面Ｖ２に限定されない。仮想平面Ｖ３は、仮想平面Ｖ３の法線方向が第１カメラ１１の光軸ＯＸ１に沿う方向に基づいて設定されれば、任意の仮想平面であってよい。つまり、仮想平面Ｖ３の法線方向と第１カメラ１１の光軸ＯＸ１に沿う方向とがなす角度は、任意に設定されてよい。
【0058】
以下において、平面射影変換Ｈｋ（ｋは、「１≦ｋ≦Ｎ」を満たす整数）は、仮想平面Ｖ３ｋに位置する仮想点Ｘ３ｋを通る第１カメラ１１への光線を、当該仮想点Ｘ３ｋを通る第２カメラ１２への光線に変換するための変換式である。仮想平面Ｖ３ｋ（ｋは、「１≦ｋ≦Ｎ」を満たす整数）の集合すなわち仮想平面Ｖ３１～Ｖ３Ｎは、第１仮想平面Ｖ１及び第２仮想平面Ｖ２の両方を含んでもよいし、第１仮想平面Ｖ１及び第２仮想平面Ｖ２の何れか一方のみを含んでもよい。又は、仮想平面Ｖ３ｋの集合（ｋは、「１≦ｋ≦Ｎ」を満たす整数）は、第１仮想平面Ｖ１及び第２仮想平面Ｖ２に加えて又は第１仮想平面Ｖ１及び第２仮想平面Ｖ２の何れか一方に代えて、第１仮想平面Ｖ１及び第２仮想平面Ｖ２以外の仮想平面を含んでもよい。平面射影変換Ｈｋは、式（３）によって表される。
式（３）の平面射影変換Ｈｋは、式（１）の平面射影変換Ｈｑの添え字ｑ（ｑは、「１≦ｋ≦ｍ１」を満たす整数）を添え字ｋ（ｋは、「１≦ｋ≦Ｎ」を満たす整数）に置き換えたものとして理解することができる。
式（３）において、距離ｄｋは、仮想平面Ｖ３ｋの法線方向における基準位置から仮想平面Ｖ３ｋまでの距離である。距離ｄｋは、仮想平面Ｖ３ｋが第１仮想平面Ｖ１ｋである場合、第１距離ｄ１ｋとなる。距離ｄｋは、仮想平面Ｖ３ｋが第２仮想平面Ｖ２ｋである場合、第２距離ｄ２ｋとなる。
式（３）において、法線ベクトルｎｋは、仮想平面Ｖ３ｋの法線ベクトルである。法線ベクトルｎｋは、仮想平面Ｖ３ｋが第１仮想平面Ｖ１ｋである場合、第１方向Ｄ１と一致する。法線ベクトルｎｋは、仮想平面Ｖ３ｋが第２仮想平面Ｖ２ｋである場合、第２方向Ｄ２と一致する。
【数3】
式（３）において、距離ｄｋは、仮想平面Ｖ３ｋの法線方向における基準位置から仮想平面Ｖ３ｋまでの距離である。距離ｄｋは、仮想平面Ｖ３ｋが第１仮想平面Ｖ１ｋである場合、第１距離ｄ１ｋとなる。距離ｄｋは、仮想平面Ｖ３ｋが第２仮想平面Ｖ２ｋである場合、第２距離ｄ２ｋとなる。
式（３）において、法線ベクトルｎｋは、仮想平面Ｖ３ｋの法線ベクトルである。法線ベクトルｎｋは、仮想平面Ｖ３ｋが第１仮想平面Ｖ１ｋである場合、第１方向Ｄ１と一致する。法線ベクトルｎｋは、仮想平面Ｖ３ｋが第２仮想平面Ｖ２ｋである場合、第２方向Ｄ２と一致する。
【0059】
以下、本実施形態に係る対応付け処理について説明する。
【0060】
制御部２４は、第１基準画素Ｐ４０ｉ，ｊの座標ｕｉ，ｊのデータを取得する。座標ｕｉ，ｊは、基準画像４０において設定される画像座標系の座標である。行番号ｉは、基準画像４０に並ぶ基準画素Ｐ４０の行に対応する。列番号ｊは、基準画像４０に並ぶ基準画素Ｐ４０の列に対応する。
【0061】
制御部２４は、第１基準画素Ｐ４０ｉ，ｊの座標ｕｉ，ｊを第１カメラ１１への光線ρ１
－１（Ｋ１
－１ｕｉ，ｊ）に逆投影する。パラメータＫ１は、第１カメラ１１の内部パラメータである。つまり、座標ｕｉ，ｊとパラメータＫ１
－１とによって算出される座標Ｋ１
－１ｕｉ，ｊは、正規化画像座標系Ｃ１の座標となる。また、パラメータρ１は、第１カメラ１１への光線を正規化画像座標系Ｃ１の座標に投影するためのパラメータである。つまり、パラメータρ１
－１は、正規化画像座標系Ｃ１の座標を第１カメラへの光線に逆投影するためのパラメータとなる。したがって、座標Ｋ１
－１ｕｉ，ｊとパラメータρ１
－１とによって、第１カメラ１１への光線ρ１
－１（Ｋ１
－１ｕｉ，ｊ）が算出される。ここで、第１カメラ１１の光軸ОＸ１と第１カメラ１１への光線とのなす角度θ１と、正規化画像座標系Ｃ１における座標（ｘ，ｙ）の像の高さｒ＝（ｘ２＋ｙ２）１／２との間の関係は、式（３）によって表される。
ｒ＝ρ（θ１）≡θ１＋ｋ１θ１＋ｋ２θ１ ３＋ｋ３θ１ ５＋ｋ４θ１ ７ 式（４）
式（４）において、係数ｋｊ（ｊ＝１～４）は、第１カメラ１１のレンズにおける歪みの特性を表す係数である。
ｒ＝ρ（θ１）≡θ１＋ｋ１θ１＋ｋ２θ１ ３＋ｋ３θ１ ５＋ｋ４θ１ ７ 式（４）
式（４）において、係数ｋｊ（ｊ＝１～４）は、第１カメラ１１のレンズにおける歪みの特性を表す係数である。
【0062】
制御部２４は、第１カメラ１１への光線ρ１
－１（Ｋ１
－１ｕｉ，ｊ）を平面射影変換Ｈｋによって第２カメラ１２への光線Ｈｋρ１
－１（Ｋ１
－１ｕｉ，ｊ）に変換する。制御部２４は、変換後の第２カメラ１２への光線Ｈｋρ１
－１（Ｋ１
－１ｕｉ，ｊ）を参照画像４１に投影し、座標Ｋ２ρ２｛Ｈｋρ１
－１（Ｋ１
－１ｕｉ，ｊ）｝を取得する。座標Ｋ２ρ２｛Ｈｋρ１
－１（Ｋ１
－１ｕｉ，ｊ）｝は、参照画像４１において設定される画像座標系の座標となる。パラメータＫ２は、第２カメラ１２の内部パラメータである。パラメータρ２は、第２カメラ１２への光線を正規化画像座標系Ｃ２の座標に投影するためのパラメータである。ここで、第２カメラ１２の光軸ОＸ２と第２カメラ１２への光線とのなす角度θ２と、正規化画像座標系Ｃ２における座標（ｘ，ｙ）の像の高さｒ＝（ｘ２＋ｙ２）１／２との間の関係は、式（５）によって表される。
ｒ＝ρ（θ２）≡θ２＋ｋ１θ２＋ｋ２θ２ ３＋ｋ３θ２ ５＋ｋ４θ２ ７ 式（５）
式（５）において、係数ｋｊ（ｊ＝１～４）は、第２カメラ１２のレンズにおける歪みの特性を表す係数である。
ｒ＝ρ（θ２）≡θ２＋ｋ１θ２＋ｋ２θ２ ３＋ｋ３θ２ ５＋ｋ４θ２ ７ 式（５）
式（５）において、係数ｋｊ（ｊ＝１～４）は、第２カメラ１２のレンズにおける歪みの特性を表す係数である。
【0063】
制御部２４は、第１基準画素Ｐ４０ｉ，ｊの座標ｕｉ，ｊに、座標Ｋ２ρ２｛Ｈｋρ１
－１（Ｋ１
－１ｕｉ，ｊ）｝を対応付ける。制御部２４は、行番号ｉ及び列番号ｊを変化させながら上述した処理を繰り返し実行することにより、全ての第１基準画素Ｐ４０ｉ，ｊの座標ｕｉ，ｊに、座標Ｋ２ρ２｛Ｈｋρ１
－１（Ｋ１
－１ｕｉ，ｊ）｝を対応付ける。
【0064】
制御部２４は、複数の参照画素Ｐ４１ｋ，ｉ，ｊのうちで、第１基準画素Ｐ４０ｉ，ｊと同じ被写体を含む参照画素Ｐ４１ｋ，ｉ，ｊを特定する。参照画素Ｐ４１ｋ，ｉ，ｊは、第１基準画素Ｐ４０ｉ，ｊの座標ｕｉ，ｊに対応付けられた座標Ｋ２ρ２｛Ｈｋρ１
－１（Ｋ１
－１ｕｉ，ｊ）｝に位置する参照画素Ｐ４１である。本実施形態では、制御部２４は、マッチング処理によって、第１基準画素と同じ被写体を含む参照画素Ｐ４１ｋ，ｉ，ｊを特定する。
【0065】
マッチング処理では、制御部２４は、第１基準画素Ｐ４０ｉ，ｊの特徴量及び参照画素Ｐ４１ｋ，ｉ，ｊの特徴量を抽出する。特徴量は、例えば、画素の輝度及び色の少なくとも何れかを含む。制御部２４は、ＡＫＡＺＥ（Accelerated-KAZE）、ＯＲＢ（Oriented FAST and Rotated BRIEF）又はＳＩＦＴ（Scale-Invariant Feature Transform）等の任意のアルゴリズムによって、特徴量を抽出してよい。特徴量は、ＡＫＡＺＥ、ＯＲＢ又はＳＩＦＴ等の形式で表されてもよいし、他の種々の形式で表されてもよい。
【0066】
マッチング処理では、制御部２４は、ｋを変えていきながら、参照画素Ｐ４１ｋ，ｉ，ｊの特徴量を抽出しつつ、第１基準画素Ｐ４０ｉ，ｊの特徴量と参照画素Ｐ４１ｋ，ｉ，ｊの特徴量との間の類似度を示すコスト値Ｃｋ，ｉ，ｊを算出する。本実施形態では、コスト値Ｃｋ，ｉ，ｊが小さいほど、第１基準画素Ｐ４０ｉ，ｊの特徴量と参照画素Ｐ４１ｋ，ｉ，ｊの特徴量との間の類似度が高いものとする。制御部２４は、基準ブロックＢ４０と参照ブロックＢ４１とについて、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）、ＺＳＳＤ（Zero-mean Sum of Squared Difference）又はＺＮＣＣ（Zero means Normalized Cross Correlation）等を算出することにより、コスト値Ｃｋ，ｉ，ｊを算出してよい。基準ブロックＢ４０は、コスト値Ｃｋ，ｉ，ｊの算出対象となる第１基準画素Ｐ４０ｉ，ｊを中心とする複数の基準画素Ｐ４０のブロックである。参照ブロックＢ４１は、コスト値Ｃｋ，ｉ，ｊの算出対象となる参照画素Ｐ４１ｋ，ｉ，ｊを中心とする複数の参照画素Ｐ４１のブロックである。基準ブロックＢ４０及び参照ブロックＢ４１は、例えば、３画素×３画素のブロックである。
【0067】
制御部２４は、算出したコスト値Ｃｋ，ｉ，ｊのデータを記憶部２３に記憶させる。記憶部２３に記憶されたコスト値Ｃｋ，ｉ，ｊは、後述の誤対応の判定処理に用いられる。
【0068】
制御部２４は、第１基準画素Ｐ４０ｉ，ｊのそれぞれにおいてコスト値Ｃｋ，ｉ，ｊが最小になるときのｋを特定する。以下、ｋ＝αのとき、第１基準画素Ｐ４０ｉ，ｊについてのコスト値Ｃｋ，ｉ，ｊが最小になるものとする。つまり、制御部２４は、複数の参照画素Ｐ４１ｋ，ｉ，ｊのうちで参照画素Ｐ４１α，ｉ，ｊが第１基準画素Ｐ４０ｉ，ｊと同じ被写体を含む参照画素Ｐ４１ｋ，ｉ，ｊであると特定する。制御部２４は、第１基準画素Ｐ４０ｉ，ｊに距離ｄαを対応づけて記憶部２３に記憶させる。制御部２４は、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊと対応付ける。
【0069】
＜誤対応の判定処理＞
制御部２４は、誤対応の判定処理を実行する。誤対応の判定処理は、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊとの対応付けが誤対応であるか否かを判定する処理である。
制御部２４は、誤対応の判定処理を実行する。誤対応の判定処理は、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊとの対応付けが誤対応であるか否かを判定する処理である。
【0070】
制御部２４は、第２カメラ１２への光線Ｈαρ１
－１（Ｋ１
－１ｕｉ，ｊ）のデータを取得する。第２カメラ１２への光線Ｈαρ１
－１（Ｋ１
－１ｕｉ，ｊ）は、第１基準画素Ｐ４０ｉ，ｊに対応付けられた参照画素Ｐ４１α，ｉ，ｊを通る光線である。
【0071】
制御部２４は、第２カメラ１２への光線Ｈαρ１
－１（Ｋ１
－１ｕｉ，ｊ）を平面射影変換Ｈｋの逆変換すなわち平面射影変換Ｈｋ
－１（ｋは、「１≦ｋ≦Ｎ」を満たす整数）によって、第１カメラ１１への光線Ｈｋ
－１Ｈαρ１
－１（Ｋ１
－１ｕｉ，ｊ）に変換する。制御部２４は、第１カメラ１１への光線Ｈｋ
－１Ｈαρ１
－１（Ｋ１
－１ｕｉ，ｊ）を基準画像４０に投影し、基準画素Ｐ４０ｋ，Ｉ，Ｊの座標ｕｋ，Ｉ，Ｊを取得する。座標ｕｋ，Ｉ，Ｊは、基準画像４０において設定された画像座標系における座標である。行番号Ｉは、基準画像４０に並ぶ基準画素Ｐ４０の行に対応する。列番号Ｊは、基準画像４０に並ぶ基準画素Ｐ４０の列に対応する。制御部２４は、式（６）によって、座標ｕｋ，Ｉ，Ｊを取得する。ただし、式（６）の右辺の計算結果が整数にならない場合、制御部２４は、式（６）の右辺の計算結果を四捨五入等によって整数化した後の座標ｕｋ，Ｉ，Ｊを取得する。
ｕｋ，Ｉ，Ｊ＝Ｋ１ρ１｛Ｈｋ －１Ｈαρ１ －１（Ｋ１ －１ｕｉ，ｊ）｝ 式（６）
ｕｋ，Ｉ，Ｊ＝Ｋ１ρ１｛Ｈｋ －１Ｈαρ１ －１（Ｋ１ －１ｕｉ，ｊ）｝ 式（６）
【0072】
制御部２４は、複数の基準画素Ｐ４０ｋ，Ｉ，Ｊのうちで、参照画素Ｐ４１α，ｉ，ｊと同じ被写体を含む第２基準画素Ｐ４０ｋ，Ｉ，Ｊを特定する。本実施形態では、制御部２４は、マッチング処理によって、参照画素Ｐ４１α，ｉ，ｊと同じ被写体を含む第２基準画素Ｐ４０ｋ，Ｉ，Ｊを特定する。
【0073】
マッチング処理では、制御部２４は、ｋを変えていきながら、参照画素Ｐ４１α，ｉ，ｊの特徴量と基準画素Ｐ４０ｋ，Ｉ，Ｊの特徴量との間の類似度を示すコスト値Ｃｋ，Ｉ，Ｊが最小になるときのｋを特定する。制御部２４は、コスト値Ｃｋ，Ｉ，Ｊが最小になるときのｋを特定することにより、第２基準画素Ｐ４０ｋ，Ｉ，Ｊを特定する。ここで、誤対応の判定処理では、制御部２４は、記憶部２３に記憶されたコスト値Ｃｋ，ｉ，ｊのデータを用いて、コスト値Ｃｋ，Ｉ，Ｊが最小になるときのｋを特定する。このような構成により、誤対応の判定処理では、コスト値Ｃｋ，Ｉ，Ｊを算出しなく済む。以下、ｋ＝βであるとき、参照画素Ｐ４１α，ｉ，ｊの特徴量と基準画素Ｐ４０ｋ，Ｉ，Ｊの特徴量との間の類似度を示すコスト値Ｃｋ，Ｉ，Ｊが最小になるものとする。つまり、制御部２４は、複数の基準画素Ｐ４０ｋ，Ｉ，Ｊのうちで基準画素Ｐ４０β，Ｉ，Ｊが参照画素Ｐ４１α，ｉ，ｊと同じ被写体を含む第２基準画素Ｐ４０β，Ｉ，Ｊであると特定する。
【0074】
制御部２４は、第１基準画素Ｐ４０ｉ，ｊと第２基準画素Ｐ４０β，Ｉ，Ｊとに基づいて、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊと対応付けが誤対応であるか否かを判定する。
【0075】
本実施形態では、制御部２４は、第１基準画素Ｐ４０ｉ，ｊと第２基準画素Ｐ４０β，Ｉ，Ｊとの間の距離によって、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊと対応付けが誤対応であるか否かを判定する。制御部２４は、第１基準画素Ｐ４０ｉ，ｊと基準画素Ｐ４０β，Ｉ，Ｊとの間の距離を、第１基準画素Ｐ４０ｉ，ｊの座標ｕｉ，ｊと基準画素Ｐ４０β，Ｉ，Ｊの座標Ｋ１ρ１｛Ｈβ
－１Ｈαρ１
－１（Ｋ１
－１ｕｉ，ｊ）｝との差によって取得してよい。ここで、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊと対応付けが誤対応ではない場合、理想的には、第１基準画素Ｐ４０ｉ，ｊと第２基準画素Ｐ４０β，Ｉ，Ｊとは同じ基準画素Ｐ４０になる。そのため、対応付けが誤対応ではない場合、第１基準画素Ｐ４０ｉ，ｊと第２基準画素Ｐ４０β，Ｉ，Ｊとの間の距離はゼロになる。しかしながら、実際には、仮想平面Ｖ３ｋの数が有限であったり、第１カメラ１１及び第２カメラ１２のレンズに歪み等があったりするため、第１基準画素Ｐ４０ｉ，ｊと第２基準画素Ｐ４０β，Ｉ，Ｊとは、同じ基準画素Ｐ４０にはならない。つまり、仮想平面Ｖ３ｋの数がＮ個であったり、式（６）等にパラメータρ１，ρ２，Ｋ１，Ｋ２が含まれたりすることにより、第１基準画素Ｐ４０ｉ，ｊと第２基準画素Ｐ４０β，Ｉ，Ｊとの間の距離は、ゼロにはならない。
【0076】
そこで、制御部２４は、第１基準画素Ｐ４０ｉ，ｊと第２基準画素Ｐ４０β，Ｉ，Ｊとの間の距離が閾値を下回ると判定した場合、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊと対応付けが誤対応ではないと判定する。一方、制御部２４は、第１基準画素Ｐ４０ｉ，ｊと第２基準画素Ｐ４０β，Ｉ，Ｊとの間の距離が閾値以上であると判定した場合、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊと対応付けが誤対応であると判定する。本実施形態では、第１基準画素Ｐ４０ｉ，ｊと第２基準画素Ｐ４０β，Ｉ，Ｊとの間の距離が画素数によって与えられるものとする。閾値は、第１カメラ１１及び第２カメラ１２のレンズの歪みの度合いに基づいて設定されてよい。閾値は、例えば、１画素である。
【0077】
制御部２４は、行番号ｉ及び列番号ｊを変えていきながら、上述した処理を繰り返し実行する。制御部２４は、上述した処理を繰り返し実行することにより、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊと対応付けのうちから、誤対応である対応付けを検出する。
【0078】
＜距離の取得処理＞
制御部２４は、基準画素Ｐ４０ｉ，ｊに含まれる被写体までの距離を取得する。例えば、制御部２４は、記憶部２３から、第１基準画素Ｐ４０ｉ，ｊに対応付けた距離ｄαを取得する。制御部２４は、取得した距離ｄαと式（２）とによって、基準位置から被写体までの直線距離Ｚを算出する。制御部２４は、算出した直線距離Ｚを、第１基準画素Ｐ４０ｉ，ｊに含まれる被写体までの距離として取得する。又は、制御部２４は、第１基準画素Ｐ４０ｉ，ｊに対応付けた距離ｄαを、第１基準画素Ｐ４０ｉ，ｊに含まれる被写体までの距離として取得してもよい。
制御部２４は、基準画素Ｐ４０ｉ，ｊに含まれる被写体までの距離を取得する。例えば、制御部２４は、記憶部２３から、第１基準画素Ｐ４０ｉ，ｊに対応付けた距離ｄαを取得する。制御部２４は、取得した距離ｄαと式（２）とによって、基準位置から被写体までの直線距離Ｚを算出する。制御部２４は、算出した直線距離Ｚを、第１基準画素Ｐ４０ｉ，ｊに含まれる被写体までの距離として取得する。又は、制御部２４は、第１基準画素Ｐ４０ｉ，ｊに対応付けた距離ｄαを、第１基準画素Ｐ４０ｉ，ｊに含まれる被写体までの距離として取得してもよい。
【0079】
＜距離画像の生成処理＞
制御部２４は、第１基準画素Ｐ４０ｉ，ｊに含まれる被写体までの距離を取得すると、取得した被写体までの距離の情報に基づいて、距離画像を生成する。距離画像は、複数の距離画素を含む。距離画像の各距離画素の画素値は、被写体までの距離に対応する。制御部２４は、距離画素の画素値を、当該距離画素に対応する第１基準画素Ｐ４０ｉ，ｊに含まれる被写体までの距離の情報に基づいて生成することにより、距離画像を生成する。
制御部２４は、第１基準画素Ｐ４０ｉ，ｊに含まれる被写体までの距離を取得すると、取得した被写体までの距離の情報に基づいて、距離画像を生成する。距離画像は、複数の距離画素を含む。距離画像の各距離画素の画素値は、被写体までの距離に対応する。制御部２４は、距離画素の画素値を、当該距離画素に対応する第１基準画素Ｐ４０ｉ，ｊに含まれる被写体までの距離の情報に基づいて生成することにより、距離画像を生成する。
【0080】
例えば、制御部２４は、図８に示すような距離画像４４を生成する。距離画像４４は、複数の距離画素Ｐ４４を含む。複数の距離画素Ｐ４４のそれぞれは、複数の第１基準画素Ｐ４０のそれぞれに対応する。距離画像４４に並ぶ複数の距離画素Ｐ４４において、行番号ｉ及び列番号ｊに位置する距離画素Ｐ４４は、「距離画素Ｐ４４ｉ，ｊ」とも記載される。距離画素Ｐ４４ｉ，ｊは、第１基準画素Ｐ４０ｉ，ｊに対応する。制御部２４は、距離画素Ｐ４４ｉ，ｊの画素値を第１基準画素Ｐ４０ｉ，ｊに含まれる被写体までの距離に基づいて生成する。
【0081】
制御部２４は、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊとの対応付けが誤対応であると判定した場合、第１基準画素Ｐ４０ｉ，ｊに対応する距離画素Ｐ４４ｉ，ｊを無効にしてもよい。距離画素を無効にするとは、当該距離画素が距離の情報を有さないようにすることであってよい。例えば、距離画素を無効にするとは、距離画素の画素値をゼロにすることであってよい。
【0082】
例えば、図８に示すような複数の距離画素Ｐ４４は、複数の距離画素Ｐ４４ａ及び複数の距離画素Ｐ４４ｂを含む。図８では、距離画素Ｐ４４ａに、ハッチングを付す。距離画素Ｐ４４ｂには、ハッチングを付さない。距離画素Ｐ４４ａは、制御部２４が第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊとの対応付けが誤対応であると判定したことにより、無効にされた画素である。距離画素Ｐ４４ｂは、参照画素Ｐ４１との対応付けが誤対応ではないと判定された第１基準画素Ｐ４０ｉ，ｊに対応する。距離画素Ｐ４４ｂの画素値は、第１基準画素Ｐ４０に含まれる被写体までの距離の情報に基づいて生成されている。
【0083】
制御部２４は、複数の距離画素のうち、無効にした距離画素の画素値を、他の距離画素の画素値によって補間してもよい。例えば、図８では、制御部２４は、距離画素Ｐ４４ａの画素値を、距離画素Ｐ４４ａの周囲に位置する距離画素Ｐ４４ｂの画素値によって補間してよい。
【0084】
制御部２４は、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊとの対応付けが誤対応であると判定した場合であっても、当該第１基準画素Ｐ４０ｉ，ｊに対応する距離画素を無効にしなくてもよい。つまり、制御部２４は、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊとの対応付けが誤対応であると判定した場合であっても、距離画像の全ての距離画素の画素値を、被写体までの距離の情報に基づいて生成してよい。この場合、制御部２４は、距離画像と後述する信頼度とを、外部機器に出力部２２によって出力してもよい。
【0085】
＜信頼度の付与処理＞
制御部２４は、第１基準画素Ｐ４０ｉ，ｊに含まれる被写体までの距離を取得すると、取得した被写体までの距離に対して信頼度を付与してよい。信頼度は、取得した被写体までの距離の信頼性の高さを示す指標である。本実施形態では、信頼度が高いほど、信頼度が付与された被写体までの距離の信頼性が高いものとする。
制御部２４は、第１基準画素Ｐ４０ｉ，ｊに含まれる被写体までの距離を取得すると、取得した被写体までの距離に対して信頼度を付与してよい。信頼度は、取得した被写体までの距離の信頼性の高さを示す指標である。本実施形態では、信頼度が高いほど、信頼度が付与された被写体までの距離の信頼性が高いものとする。
【0086】
制御部２４は、第１基準画素Ｐ４０ｉ，ｊと第２基準画素Ｐ４０β，Ｉ，Ｊとの間の距離に基づいて、第１基準画素Ｐ４０ｉ，ｊに含まれる被写体までの距離に対して信頼度を付与してよい。上述したように、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊとの対応付けが誤対応ではない場合、理想的には、第１基準画素Ｐ４０ｉ，ｊと第２基準画素Ｐ４０β，Ｉ，Ｊとの間の距離は、ゼロになる。そこで、制御部２４は、第１基準画素Ｐ４０ｉ，ｊと第２基準画素Ｐ４０β，Ｉ，Ｊとの間の距離が短いほど、高い信頼度を付与してよい。
【0087】
＜出力処理＞
制御部２４は、生成した距離画像を外部機器に出力部２２によって出力する。制御部２４は、被写体までの距離に対して信頼度を付与した場合、距離画像と信頼度とを外部機器に出力部２２によって出力してもよい。
制御部２４は、生成した距離画像を外部機器に出力部２２によって出力する。制御部２４は、被写体までの距離に対して信頼度を付与した場合、距離画像と信頼度とを外部機器に出力部２２によって出力してもよい。
【0088】
（ステレオカメラ装置の動作）
図９及び図１０は、対応付け処理の手順を示すフローチャートである。図９及び図１０に示すような対応付け処理は、本実施形態に係る画像処理方法の一例に相当する。画像処理装置２０の制御部２４は、ステレオカメラ１０が撮像を開始すると、図９に示すようなステップＳ１の処理を開始する。
図９及び図１０は、対応付け処理の手順を示すフローチャートである。図９及び図１０に示すような対応付け処理は、本実施形態に係る画像処理方法の一例に相当する。画像処理装置２０の制御部２４は、ステレオカメラ１０が撮像を開始すると、図９に示すようなステップＳ１の処理を開始する。
【0089】
制御部２４は、基準画像４０のデータ及び参照画像４１のデータを取得部２１によって取得する（ステップＳ１）。
【0090】
制御部２４は、第１基準画素Ｐ４０ｉ，ｊの座標ｕｉ，ｊのデータを取得する（ステップＳ２）。
【0091】
制御部２４は、第１基準画素Ｐ４０ｉ，ｊの座標ｕｉ，ｊを第１カメラ１１への光線ρ１
－１（Ｋ１
－１ｕｉ，ｊ）に逆投影する（ステップＳ３）。
【0092】
制御部２４は、第１カメラ１１への光線ρ１
－１（Ｋ１
－１ｕｉ，ｊ）を平面射影変換Ｈｋによって第２カメラ１２への光線Ｈｋρ１
－１（Ｋ１
－１ｕｉ，ｊ）に変換する（ステップＳ４）。
【0093】
制御部２４は、第１基準画素Ｐ４０ｉ，ｊの座標ｕｉ，ｊに、座標Ｋ２ρ２｛Ｈｋρ１
－１（Ｋ１
－１ｕｉ，ｊ）｝を対応付ける（ステップＳ５）。
【0094】
制御部２４は、全ての第１基準画素Ｐ４０ｉ，ｊの座標ｕｉ，ｊに、座標Ｋ２ρ２｛Ｈｋρ１
－１（Ｋ１
－１ｕｉ，ｊ）｝を対応付けたか否かを判定する（ステップＳ６）。制御部２４は、全ての第１基準画素Ｐ４０ｉ，ｊの座標ｕｉ，ｊに、座標Ｋ２ρ２｛Ｈｋρ１
－１（Ｋ１
－１ｕｉ，ｊ）｝を対応付けたと判定しない場合（ステップＳ６：ＮＯ）、行番号ｉ及び列番号ｊを変化させ、ステップＳ１の処理に戻る。一方、制御部２４は、全ての第１基準画素Ｐ４０ｉ，ｊの座標ｕｉ，ｊに、座標Ｋ２ρ２｛Ｈｋρ１
－１（Ｋ１
－１ｕｉ，ｊ）｝を対応付けたと判定した場合（ステップＳ６：ＹＥＳ）、図１０に示すようなステップＳ７の処理に進む。
【0095】
図１０に示すようなステップＳ７の処理では、制御部２４は、第１基準画素Ｐ４０ｉ，ｊの特徴量及び複数の参照画素Ｐ４１ｋ，ｉ，ｊの特徴量を抽出する。制御部２４は、コスト値Ｃｋ，ｉ，ｊを算出する（ステップＳ８）。制御部２４は、ステップＳ８の処理で算出したコスト値Ｃｋ，ｉ，ｊのデータを記憶部２３に記憶させる（ステップＳ９）。
【0096】
制御部２４は、第１基準画素Ｐ４０ｉ，ｊのそれぞれにおいてコスト値Ｃｋ，ｉ，ｊが最小になるときのｋを特定する（ステップＳ１０）。制御部２４は、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊと対応付ける（ステップＳ１１）。ステップＳ１１の処理では、制御部２４は、第１基準画素Ｐ４０ｉ，ｊに距離ｄαを対応づけて記憶部２３に記憶させる。
【0097】
図１１及び図１２は、誤対応の判定処理の手順を示すフローチャートである。図１１及び図１２に示すような誤対応の判定処理は、本実施形態に係る画像処理方法の一例に相当する。画像処理装置２０の制御部２４は、図１０に示すようなステップＳ１１の処理後、図１１に示すようなステップＳ２１の処理を開始する。
【0098】
制御部２４は、第２カメラ１２への光線Ｈαρ１
－１（Ｋ１
－１ｕｉ，ｊ）のデータを取得する（ステップＳ２１）。
【0099】
制御部２４は、第２カメラ１２への光線Ｈαρ１
－１（Ｋ１
－１ｕｉ，ｊ）を平面射影変換Ｈｋの逆変換すなわち平面射影変換Ｈｋ
－１によって、第１カメラ１１への光線Ｈｋ
－１Ｈαρ１
－１（Ｋ１
－１ｕｉ，ｊ）に変換する（ステップＳ２２）。
【0100】
制御部２４は、第１カメラ１１への光線Ｈｋ
－１Ｈαρ１
－１（Ｋ１
－１ｕｉ，ｊ）を基準画像４０に投影し、基準画素Ｐ４０ｋ，Ｉ，Ｊの座標ｕｋ，Ｉ，Ｊを取得する（ステップＳ２３）。
【0101】
制御部２４は、記憶部２３から、コスト値Ｃｋ，ｉ，ｊのデータをコスト値Ｃｋ，Ｉ，Ｊのデータとして取得する（ステップＳ２４）。
【0102】
制御部２４は、ｋを変えていきながら、コスト値Ｃｋ，Ｉ，Ｊが最小になるときのｋを特定する（ステップＳ２５）。制御部２４は、コスト値Ｃｋ，Ｉ，Ｊが最小になるときのｋを特定することにより、第２基準画素Ｐ４０β，Ｉ，Ｊを特定する。
【0103】
制御部２４は、ステップＳ２５の処理の実行後、図１２に示すようなステップＳ２６の処理に進む。
【0104】
制御部２４は、第１基準画素Ｐ４０ｉ，ｊと第２基準画素Ｐ４０β，Ｉ，Ｊとの間の距離が閾値を下回るか否かを判定する（ステップＳ２６）。
【0105】
制御部２４は、第１基準画素Ｐ４０ｉ，ｊと第２基準画素Ｐ４０β，Ｉ，Ｊとの間の距離が閾値を下回ると判定した場合（ステップＳ２６：ＹＥＳ）、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊと対応付けが誤対応ではないと判定する（ステップＳ２７）。一方、制御部２４は、第１基準画素Ｐ４０ｉ，ｊと第２基準画素Ｐ４０β，Ｉ，Ｊとの間の距離が閾値以上であると判定した場合（ステップＳ２６：ＮＯ）、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊと対応付けが誤対応であると判定する（ステップＳ２８）。
【0106】
ステップＳ２９の処理では、全ての第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊとの対応付けについてステップＳ１～Ｓ２８の処理を実行したか否かを判定する。制御部２４は、全ての第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊとの対応付けについてステップＳ１～Ｓ２８の処理を実行したと判定しない場合（ステップＳ２９：ＮＯ）、行番号ｉ及び列番号ｊを変え、ステップＳ２１の処理に戻る。制御部２４は、全ての第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊとの対応付けについてステップＳ１～Ｓ２８の処理を実行したと判定した場合（ステップＳ２９：ＹＥＳ）、誤対応の判定処理を終了する。
【0107】
このように本実施形態に係る画像処理装置２０では、制御部２４は、複数の平面射影変換Ｈｋによって第１基準画素Ｐ４０ｉ，ｊの座標ｕｉ，ｊを複数の参照画素Ｐ４１の座標Ｋ２ρ２｛Ｈｋρ１
－１（Ｋ１
－１ｕｉ，ｊ）｝座標に変換する。制御部２４は、複数の参照画素Ｐ４１ｋ，ｉ，ｊのうちで第１基準画素Ｐ４０ｉ，ｊと同じ被写体を含む参照画素Ｐ４０α，ｉ，ｊを特定する。制御部２５は、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４０α，ｉ，ｊとを対応付ける対応付け処理を実行する。ここで、上述したように、平面射影変換Ｈｋ（ｋは、「１≦ｋ≦Ｎ」を満たす整数）は、仮想平面Ｖ３ｋに位置する仮想点Ｘ３ｋを通る第１カメラ１１への光線を、当該仮想点Ｘ３ｋを通る第２カメラ１２への光線に変換するための変換式である。仮想平面Ｖ３ｋは、仮想平面Ｖ３ｋの法線方向が第１カメラ１１の光軸ＯＸ１に沿う方向に基づいて設定される任意の仮想平面であってよい。つまり、本実施形態では、制御部２４は、第１仮想平面Ｖ１ｋを用いたプレーンスイープ法による処理に加えて、第１仮想平面Ｖ１ｋ以外の仮想平面Ｖ３ｋを用いた処理を実行することができる。このような構成により、以下に説明するように、被写体までの距離をより精度良く測定することができる。
【0108】
第１比較例として、仮想平面Ｖ３ｋ（ｋは、「１≦ｋ≦Ｎ」を満たす整数）の集合すなわち仮想平面Ｖ３１～Ｖ３Ｎが第１仮想平面Ｖ１のみを含む場合を考える。つまり、第１比較例では、制御部２４は、プレーンスイープ法による処理のみを実行し、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊとを対応付ける対応付け処理を実行する。ここで、図７に示すような、第２被写体оｂ２は、第１仮想平面Ｖ１に平行な面を含まない。つまり、第２被写体оｂ２の何れの面の法線方向も、第１仮想平面Ｖ１ｋの法線方向すなわち第１方向Ｄ１と一致しない。そのため、第１方向Ｄ１の第１距離ｄ１ｋを変化させながら複数の平面射影変換Ｈｋによって複数の参照画素Ｐ４１ｋ，ｉ，ｊのデータを取得しても、第１基準画素Ｐ４０ｉ，ｊと同じ被写体を含む参照画素Ｐ４１α，ｉ，ｊを精度良く特定することができない。
【0109】
このような第１比較例に対し、本実施形態では、仮想平面Ｖ３ｋは、第１仮想平面Ｖ１ｋ以外の仮想平面Ｖ３ｋを含むことができる。このような構成により、第１仮想平面Ｖ１に平行な面を含まない被写体についても、制御部２４は、その被写体を含む第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊとを精度良く対応付けることができる。例えば、図７では、仮想平面Ｖ３ｋが第２仮想平面Ｖ２を含めば、制御部２４は、第２被写体оｂ２を含む第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊとを対応付けることができる。ここで、例えば、第２被写体оｂ２が路面の凹凸である場合、本実施形態では、第２被写体оｂ２を含む第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊとを対応付けることにより、路面の凹凸までの距離を算出することができる。したがって、本実施形態では、路面形状をより高精度に検出することができる。
【0110】
第２比較例として、魚眼レンズによって撮像された基準画像及び参照画像によって被写体までの距離を測定することを考える。図１３に、魚眼レンズによって撮像された画像４０Ｘを説明するための図を示す。画像４０Ｘにおける実線は、路面からの高さが同じになる地点を結んだ線である。画像４０Ｘは、領域Ｒ１，Ｒ２を含む。領域Ｒ１では、領域Ｒ２と比較して実線の間隔が広い。領域Ｒ１では、実線の間隔が広いため、画像４０Ｘに対して歪み補正を実行した場合、路面からの高さが異なる地点は、異なる画素に対応する。しかしながら、領域Ｒ２では、実線の間隔が狭いため、画像４０Ｘに対して歪み補正を実行した場合、路面からの高さが異なる地点が、同じ画素に対応し得る。領域Ｒ２では、路面からの高さが異なる地点が同じ画素に対応するため、画像４０Ｘのような基準画像及び参照画像にプレーンスイープ法を適用しても、被写体までの距離を取得できない場合がある。
【0111】
このような第２比較例に対し、本実施形態では、制御部２４は、仮想平面Ｖ３ｋは、プレーンスイープ法による第１仮想平面Ｖ１ｋ以外の仮想平面Ｖ３ｋを含むことができる。つまり、仮想平面Ｖ３ｋを適宜設定すれば、制御部２４は、領域Ｒ２に写る被写体を含む第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊとを対応付けることができる。つまり、本実施形態では、第１カメラ１１及び第２カメラ１２の光学系に魚眼レンズを採用しても、被写体までの距離を取得することができる。本実施形態では、第１カメラ１１及び第２カメラ１２の光学系に魚眼レンズを採用することにより、より広い領域に存在する被写体の距離を取得することができる。
【0112】
さらに、本実施形態では、制御部２４は、第１基準画素Ｐ４０ｉ，ｊと第２基準画素Ｐ４０β，Ｉ，Ｊとに基づいて、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊとの対応付けが誤対応であるか否かを判定する。ここで、ステレオ画像には、オクルージョン領域が生じる場合がある。オクルージョン領域とは、基準画像４０及び参照画像４１のうちの、一方に撮像され、他方には撮像されない領域である。オクルージョン領域が生じると、制御部２４は、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１とを間違えて対応付けてしまう場合がある。また、格子模様等の周期的な模様が基準画像４０及び参照画像４１に含まれると、制御部２４は、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１とを間違えて対応付けてしまう場合がある。このような場合でも、本実施形態では、第１基準画素Ｐ４０ｉ，ｊと第２基準画素Ｐ４１β，Ｉ，Ｊとに基づいて、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊとの対応付けが誤対応であるか否かを判定することができる。このような構成により、被写体までの距離をより精度良く測定することができる。
【0113】
よって、本実施形態によれば、被写体までの距離をより精度良く測定することができる技術を提供することができる。
【0114】
さらに、本実施形態では、第１カメラ１１のレンズ及び第２カメラ１２のレンズは、それぞれ、広角レンズであってもよい。この場合、制御部２４は、誤対応の判定処理において、第１基準画素Ｐ４０ｉ，ｊに対応付けられた参照画素Ｐ４１α，ｉ，ｊを通る第２カメラ１２への光線Ｈαρ１
－１（Ｋ１
－１ｕｉ，ｊ）のデータを取得してもよい。制御部２４は、取得した第２カメラへの光線Ｈαρ１
－１（Ｋ１
－１ｕｉ，ｊ）を複数の平面射影変換Ｈｋの逆変換すなわち複数の平面射影変換Ｈｋ
－１によって第１カメラ１１への光線Ｈｋ
－１Ｈαρ１
－１（Ｋ１
－１ｕｉ，ｊ）に変換してもよい。制御部２４は、変換した第１カメラへの光線Ｈｋ
－１Ｈαρ１
－１（Ｋ１
－１ｕｉ，ｊ）を基準画像４０に投影することにより、複数の基準画素Ｐ４０ｋ，Ｉ，Ｊの座標ｕｋ，Ｉ，Ｊを取得してもよい。ここで、第１カメラ１１及び第２カメラ１２のレンズに広角レンズが採用される場合、第１カメラ１１及び第２カメラ１２のレンズの歪みの度合いが大きくなる。第１カメラ１１及び第２カメラ１２のレンズの歪みの度合いが大きくなると、基準画像４０において設定された画像座標系から参照画像４１において設定された画像座標系への単純な変換式によって、基準画素Ｐ４１ｋ，Ｉ，Ｊの座標を精度良く取得できなくなる。本実施形態では、第２カメラ１２への光線Ｈαρ１
－１（Ｋ１
－１ｕｉ，ｊ）を平面射影変換Ｈｋの逆変換によって第１カメラ１１への光線Ｈｋ
－１Ｈαρ１
－１（Ｋ１
－１ｕｉ，ｊ）に変換することができる。このような構成により、第１カメラ１１及び第２カメラ１２のレンズの歪みの度合いが大きくても、複数の基準画素Ｐ４０ｋ，Ｉ，Ｊの座標を精度良く取得することができる。よって、本実施形態では、第１基準画素Ｐ４０ｉ，ｊと第２基準画素Ｐ４０β，Ｉ，Ｊとに基づいて、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊとの対応付けが誤対応であるか否かを精度良く判定することができる。
【0115】
さらに、本実施形態では、複数の仮想平面Ｖ３ｋは、第１仮想平面Ｖ１及び第２仮想平面Ｖ２の両方を含んでもよい。このような構成により、制御部２４は、上述したように第１仮想平面Ｖ１に平行な面を含まない第２被写体оｂ２について、第２被写体оｂ２を含む第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１α，ｉ，ｊとを対応付けることができる。ここで、被写体によっては、第１仮想平面Ｖ１に平行な面及び第２仮想平面Ｖ２に平行な面の両方を含むことにより、第１被写体及び第２被写体の両方に該当する場合がある。このような第１被写体及び第２被写体の両方に該当する被写体について、制御部２４は、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１との対応付けを間違える場合がある。このような場合でも、制御部２４は、第１基準画素Ｐ４０ｉ，ｊと第２基準画素Ｐ４０β，Ｉ，Ｊとに基づいて、第１基準画素Ｐ４０ｉ，ｊと参照画素Ｐ４１との対応付けが誤対応であるか否かを判定することができる。よって、複数の仮想平面Ｖ３ｋが第１仮想平面Ｖ１及び第２仮想平面Ｖ２の両方を含んでも、誤対応であるか否かを判定することができるため、より多くの被写体までの距離を精度良く測定することができる。
【0116】
また、本実施形態では、制御部２４は、誤対応の判定処理において、対応付け処理にて算出したコスト値Ｃｋ，ｉ，ｊに基づいて、複数の基準画素Ｐ４０ｋ，Ｉ，Ｊのうちで、参照画素Ｐ４１α，ｉ，ｊと同じ被写体を含む第２基準画素Ｐ４０β，Ｉ，Ｊを特定してもよい。このような構成により、誤対応の判定処理では、特徴量を抽出する処理を実行しなくてよい。また、誤対応の判定処理では、コスト値Ｃｋ，ｉ，ｊを算出する処理を実行しなくてよい。結果として、制御部２４は、より高速に、参照画素Ｐ４１α，ｉ，ｊと同じ被写体を含む第２基準画素Ｐ４０β，Ｉ，Ｊを特定することができる。
【0117】
また、本実施形態では、第１基準画素Ｐ４０ｉ，ｊと第２基準画素Ｐ４０β，Ｉ，Ｊとの間の距離に基づいて、被写体までの距離に対して信頼度を付与してもよい。制御部２４は、被写体までの距離の情報及び信頼度を外部機器に出力部２２によって出力してもよい。制御部２４は、被写体までの距離の情報としての距離画像と、信頼度とを外部機器に出力部２２によって出力してもよい。このような構成により、外部機器は、信頼度を参照することにより、被写体までの距離の情報を適切に処理することができる。
【0118】
一実施形態において、（１）画像処理装置は、
基準位置で撮像により生成された基準画像のデータと、前記基準画像とは異なる位置で撮像により生成された参照画像のデータとを取得する取得部と、
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行する制御部と、を備え、
前記制御部は、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行し、
前記複数の平面射影変換は、前記基準画像を生成したカメラへの光線であって、複数の仮想平面のそれぞれに位置する複数の仮想点を通る光線を、前記参照画像を生成したカメラへの光線であって、前記複数の仮想点を通る光線に変換する。
基準位置で撮像により生成された基準画像のデータと、前記基準画像とは異なる位置で撮像により生成された参照画像のデータとを取得する取得部と、
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行する制御部と、を備え、
前記制御部は、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行し、
前記複数の平面射影変換は、前記基準画像を生成したカメラへの光線であって、複数の仮想平面のそれぞれに位置する複数の仮想点を通る光線を、前記参照画像を生成したカメラへの光線であって、前記複数の仮想点を通る光線に変換する。
【0119】
（２）上記（１）に記載の画像処理装置では、
前記基準画像及び前記参照画像は、広角レンズによって撮像された画像であってもよい。
前記基準画像及び前記参照画像は、広角レンズによって撮像された画像であってもよい。
【0120】
（３）上記（１）又は（２）に記載の画像処理装置では、
前記制御部は、前記判定処理において、
前記参照画像を生成したカメラへの光線であって、前記第１基準画素に対応付けられた前記参照画素を通る光線のデータを取得し、
取得した前記光線を前記複数の平面射影変換の逆変換によって前記基準画像を生成したカメラへの光線に変換し、変換した前記光線を前記基準画像に投影することにより、前記複数の基準画素の座標を取得してもよい。
前記制御部は、前記判定処理において、
前記参照画像を生成したカメラへの光線であって、前記第１基準画素に対応付けられた前記参照画素を通る光線のデータを取得し、
取得した前記光線を前記複数の平面射影変換の逆変換によって前記基準画像を生成したカメラへの光線に変換し、変換した前記光線を前記基準画像に投影することにより、前記複数の基準画素の座標を取得してもよい。
【0121】
（４）上記（１）から（３）までの何れか１つに記載の画像処理装置では、
前記制御部は、前記判定処理において、前記第１基準画素と前記第２基準画素との間の距離が閾値以上であると判定した場合、前記第１基準画素と前記参照画素との対応付けが誤対応であると判定してもよい。
前記制御部は、前記判定処理において、前記第１基準画素と前記第２基準画素との間の距離が閾値以上であると判定した場合、前記第１基準画素と前記参照画素との対応付けが誤対応であると判定してもよい。
【0122】
（５）上記（１）から（４）までの何れか１つに記載の画像処理装置では、
前記仮想平面の法線方向は、前記基準画像を生成したカメラの光軸方向に基づいて設定され、
前記制御部は、前記第１基準画素に含まれる被写体までの距離を、前記基準位置から、前記第１基準画素に対応付けられた前記参照画素の座標の取得に用いられた前記仮想平面までの距離に基づいて取得してもよい。
前記仮想平面の法線方向は、前記基準画像を生成したカメラの光軸方向に基づいて設定され、
前記制御部は、前記第１基準画素に含まれる被写体までの距離を、前記基準位置から、前記第１基準画素に対応付けられた前記参照画素の座標の取得に用いられた前記仮想平面までの距離に基づいて取得してもよい。
【0123】
（６）上記（１）から（５）までの何れか１つに記載の画像処理装置では、
前記複数の仮想平面は、第１仮想平面及び第２仮想平面の両方を含み、
前記第１仮想平面の法線方向は、前記基準画像を生成したカメラの光軸方向である第１方向に一致し、
前記第１仮想平面は、前記第１方向に沿って前記基準位置から第１距離離れて位置し、
前記第２仮想平面の法線方向は、前記第１方向とは異なる第２方向に一致し、
前記第２仮想平面は、前記第２方向に沿って前記基準位置から第２距離離れて位置してもよい。
前記複数の仮想平面は、第１仮想平面及び第２仮想平面の両方を含み、
前記第１仮想平面の法線方向は、前記基準画像を生成したカメラの光軸方向である第１方向に一致し、
前記第１仮想平面は、前記第１方向に沿って前記基準位置から第１距離離れて位置し、
前記第２仮想平面の法線方向は、前記第１方向とは異なる第２方向に一致し、
前記第２仮想平面は、前記第２方向に沿って前記基準位置から第２距離離れて位置してもよい。
【0124】
（７）上記（１）から（６）までの何れか１つに記載の画像処理装置では、
前記制御部は、
前記対応付け処理において、前記第１基準画素の特徴量及び前記複数の参照画素の特徴量を抽出し、抽出した前記第１基準画素の特徴量と前記複数の参照画素のそれぞれの特徴量との間の類似度をそれぞれ示す複数のコスト値を算出し、前記複数のコスト値に基づいて、前記第１基準画素と同じ被写体を含む参照画素を特定し、
前記判定処理において、前記対応付け処理にて算出した前記複数のコスト値に基づいて、前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定してもよい。
前記制御部は、
前記対応付け処理において、前記第１基準画素の特徴量及び前記複数の参照画素の特徴量を抽出し、抽出した前記第１基準画素の特徴量と前記複数の参照画素のそれぞれの特徴量との間の類似度をそれぞれ示す複数のコスト値を算出し、前記複数のコスト値に基づいて、前記第１基準画素と同じ被写体を含む参照画素を特定し、
前記判定処理において、前記対応付け処理にて算出した前記複数のコスト値に基づいて、前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定してもよい。
【0125】
（８）上記（１）から（７）までの何れか１つに記載の画像処理装置では、
前記制御部は、前記被写体までの距離の情報に基づいた画素値を有する距離画素を含む距離画像を生成してもよい。
前記制御部は、前記被写体までの距離の情報に基づいた画素値を有する距離画素を含む距離画像を生成してもよい。
【0126】
（９）上記（１）から（８）までの何れか１つに記載の画像処理装置では、
前記制御部は、前記誤対応であると判定した前記第１基準画素に対応する前記距離画素を無効にしてもよい。
前記制御部は、前記誤対応であると判定した前記第１基準画素に対応する前記距離画素を無効にしてもよい。
【0127】
（１０）上記（１）から（９）までの何れか１つに記載の画像処理装置では、
前記制御部は、複数の前記距離画素のうち、無効にした前記距離画素の画素値を、他の前記距離画素の画素値によって補間してもよい。
前記制御部は、複数の前記距離画素のうち、無効にした前記距離画素の画素値を、他の前記距離画素の画素値によって補間してもよい。
【0128】
（１１）上記（１）から（１０）までの何れか１つに記載の画像処理装置では、
出力部をさらに備え、
前記制御部は、前記距離画像のデータを外部機器に前記出力部によって出力してもよい。
出力部をさらに備え、
前記制御部は、前記距離画像のデータを外部機器に前記出力部によって出力してもよい。
【0129】
（１２）上記（１）から（１１）までの何れか１つに記載の画像処理装置では、
前記制御部は、前記第１基準画素と前記第２基準画素との間の距離に基づいて、取得した前記被写体までの距離に対して信頼度を付与してもよい。
前記制御部は、前記第１基準画素と前記第２基準画素との間の距離に基づいて、取得した前記被写体までの距離に対して信頼度を付与してもよい。
【0130】
（１３）上記（１）から（１２）までの何れか１つに記載の画像処理装置では、
出力部をさらに備え、
前記制御部は、前記被写体までの距離の情報及び前記信頼度を外部機器に前記出力部によって出力してもよい。
出力部をさらに備え、
前記制御部は、前記被写体までの距離の情報及び前記信頼度を外部機器に前記出力部によって出力してもよい。
【0131】
一実施形態において、（１４）ステレオカメラ装置は、
基準位置で撮像により基準画像を生成する第１カメラと、前記基準画像とは異なる位置で撮像により参照画像を生成する第２カメラとを含むステレオカメラと、
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行する画像処理装置と、を備え、
前記画像処理装置は、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行し、
前記複数の平面射影変換は、複数の仮想平面のそれぞれに位置する複数の仮想点を通る前記第１カメラへの光線を前記複数の仮想点を通る前記第２カメラへの光線に変換する。
基準位置で撮像により基準画像を生成する第１カメラと、前記基準画像とは異なる位置で撮像により参照画像を生成する第２カメラとを含むステレオカメラと、
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行する画像処理装置と、を備え、
前記画像処理装置は、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行し、
前記複数の平面射影変換は、複数の仮想平面のそれぞれに位置する複数の仮想点を通る前記第１カメラへの光線を前記複数の仮想点を通る前記第２カメラへの光線に変換する。
【0132】
一実施形態において、（１５）画像処理方法は、
基準位置で撮像により生成された基準画像のデータと、前記基準画像とは異なる位置で撮像により生成された参照画像のデータとを取得することと、
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行することと、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行することと、を含み、
前記複数の平面射影変換は、前記基準画像を生成したカメラへの光線であって、複数の仮想平面のそれぞれに位置する複数の仮想点を通る光線を、前記参照画像を生成したカメラへの光線であって、前記複数の仮想点を通る光線に変換する。
基準位置で撮像により生成された基準画像のデータと、前記基準画像とは異なる位置で撮像により生成された参照画像のデータとを取得することと、
複数の平面射影変換によって前記基準画像の第１基準画素の座標を前記参照画像に含まれる複数の参照画素の座標に変換し、座標を変換した前記複数の参照画素のうちで前記第１基準画素と同じ被写体を含む参照画素を特定し、前記第１基準画素と特定した前記参照画素とを対応付ける対応付け処理を実行することと、
前記複数の平面射影変換の逆変換によって前記第１基準画素に対応付けた前記参照画素の座標を前記基準画像に含まれる複数の基準画素の座標に変換し、座標を変換した前記複数の基準画素のうちで前記第１基準画素に対応付けた前記参照画素と同じ被写体を含む第２基準画素を特定し、前記第１基準画素と前記第２基準画素とに基づいて、前記第１基準画素と前記参照画素との対応付けが誤対応であるか否かを判定する判定処理を実行することと、を含み、
前記複数の平面射影変換は、前記基準画像を生成したカメラへの光線であって、複数の仮想平面のそれぞれに位置する複数の仮想点を通る光線を、前記参照画像を生成したカメラへの光線であって、前記複数の仮想点を通る光線に変換する。
【0133】
本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。したがって、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各機能部に含まれる機能等は論理的に矛盾しないように再配置可能である。複数の機能部等は、１つに組み合わせられたり、分割されたりしてよい。上述した本開示に係る各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施され得る。つまり、本開示の内容は、当業者であれば本開示に基づき種々の変形及び修正を行うことができる。したがって、これらの変形及び修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段、各ステップ等は論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段、各ステップ等と置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段又は各ステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。
【0134】
例えば、画像処理装置２０の制御部２４は、基準画像４０及び参照画像４１に対して、明度調整処理、コントラスト調整処理又はガンマ補正処理等の任意の画像処理を実行してもよい。又は、第１カメラ１１及び第２カメラ１２は、それぞれ、基準画像４０及び参照画像４１に対して、明度調整処理、コントラスト調整処理又はガンマ補正処理等の任意の画像処理を実行してもよい。
【0135】
例えば、上述した実施形態では、図３に示すように、第１カメラ１１及び第２カメラ１２が移動体３０の左右方向に沿って位置するものとして説明した。ただし、第１カメラ１１及び第２カメラ１２の位置は、これに限定されない。他の例として、第１カメラ１１及び第２カメラ１２は、移動体３０の上下方向に沿って位置してもよい。
【0136】
例えば、上述した実施形態では、第１カメラ１１が基準画像４０を生成し、第２カメラ１２が参照画像４１を生成するものとして説明した。ただし、基準画像４０及び参照画像４１は、１つのカメラによって生成されてもよい。つまり、第１カメラと第２カメラとは、同じカメラであってよい。この場合、カメラは、移動することにより、基準位置で撮像により基準画像４０を生成し、基準位置とは異なる位置で撮像により参照画像４１を生成する。
【符号の説明】
【0137】
１ ステレオカメラ装置
１０ ステレオカメラ
１１ 第１カメラ
１２ 第２カメラ
２０ 画像処理装置
２１ 取得部
２２ 出力部
２３ 記憶部
２４ 制御部
３０ 移動体
４０，４０ａ，４０ｂ 基準画像
４０оｂ１，４０оｂ２，４１оｂ１，４１оｂ２ 部分画像
４０Ｘ 画像
４１，４１ａ，４１ｂ 参照画像
４２，４２ａ１，４２ａ２，４２ａ３，４２ｑ 第１仮想画像
４３，４３ｂ１，４３ｂ２，４３ｂ３，４３ｑ 第２仮想画像
４５ 距離画像
Ｐ４０ 基準画素
Ｐ４１ 参照画素
Ｐ４４，Ｐ４４ａ，Ｐ４４ｂ 距離画素
Ｖ１，Ｖ１ｋ，Ｖ１ｑ 第１仮想平面
Ｖ２，Ｖ２ｋ，Ｖ２ｑ 第２仮想平面
Ｖ３，Ｖ３ｋ 仮想平面
１０ ステレオカメラ
１１ 第１カメラ
１２ 第２カメラ
２０ 画像処理装置
２１ 取得部
２２ 出力部
２３ 記憶部
２４ 制御部
３０ 移動体
４０，４０ａ，４０ｂ 基準画像
４０оｂ１，４０оｂ２，４１оｂ１，４１оｂ２ 部分画像
４０Ｘ 画像
４１，４１ａ，４１ｂ 参照画像
４２，４２ａ１，４２ａ２，４２ａ３，４２ｑ 第１仮想画像
４３，４３ｂ１，４３ｂ２，４３ｂ３，４３ｑ 第２仮想画像
４５ 距離画像
Ｐ４０ 基準画素
Ｐ４１ 参照画素
Ｐ４４，Ｐ４４ａ，Ｐ４４ｂ 距離画素
Ｖ１，Ｖ１ｋ，Ｖ１ｑ 第１仮想平面
Ｖ２，Ｖ２ｋ，Ｖ２ｑ 第２仮想平面
Ｖ３，Ｖ３ｋ 仮想平面
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】