特開 2024-161036 測距装置、移動体制御システムおよび測距方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024161036

(43)【公開日】2024-11-15

(54)【発明の名称】測距装置、移動体制御システムおよび測距方法

(51)【国際特許分類】

   G01C 3/06 20060101AFI20241108BHJP

   H04N 23/60 20230101ALI20241108BHJP

   H04N 23/73 20230101ALI20241108BHJP

   H04N 23/76 20230101ALI20241108BHJP

   H04N 23/45 20230101ALI20241108BHJP

   H04N 23/741 20230101ALI20241108BHJP

   G06T 7/593 20170101ALI20241108BHJP

   G08G 1/16 20060101ALI20241108BHJP

【ＦＩ】

G01C3/06 110V

H04N23/60 500

H04N23/73

H04N23/76

H04N23/45

H04N23/741

G06T7/593

G08G1/16 C

【審査請求】未請求

【請求項の数】23

【出願形態】ＯＬ

(21)【出願番号】P 2024140598

(22)【出願日】2024-08-22

(62)【分割の表示】P 2022171112の分割

【原出願日】2022-10-26

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】大井川 誠

(72)【発明者】

【氏名】野林 和哉

(57)【要約】

【課題】互いに露光条件が異なる複数対の画像から適切な対の画像を選択して良好な測距を行う。
【解決手段】測距装置は、撮像により互いに視差を有する対の画像を生成する撮像手段１１１，１１２と、対の画像から視差量を算出し、該視差量から距離に関する情報を生成する距離情報生成手段１０５と、撮像手段に、対の画像として、撮像における露光条件が互いに互いに異なる第１対の露光画像および第２対の露光画像を生成させる露光制御手段１１３と、第１対の露光画像および第２対の露光画像のそれぞれから算出される視差量の確からしさである信頼度を取得する信頼度取得手段１０３と、信頼度に基づいて、距離に関する情報を生成するための視差量を取得する対の画像としての視差算出画像を選択する選択手段１０４とを有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像手段によって撮像された互いに視差を有する対の撮影画像であって、第１の露光時間で撮像された前記対の撮影画像である第１対の撮影画像および、第２の露光時間で撮像された前記対の撮影画像である第２対の撮影画像を取得する画像取得手段と、
前記第１対の撮影画像および前記第２対の撮影画像を含む複数の前記対の撮影画像から、距離に関する情報を生成するために用いられる前記対の撮影画像を選択する選択手段と、を有することを特徴とする情報処理装置。

【請求項2】

前記対の撮影画像に基づいて視差量を算出し、前記視差量に基づいて、前記距離に関する情報を生成する生成手段を有することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記撮像手段の露光条件を制御する制御手段を有することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記選択手段は、前記距離に関する情報を生成するために用いられる前記対の撮影画像として、前記第１対の撮影画像と、前記第２対の撮影画像と、前記第１対の撮影画像および第２対の撮影画像を合成して得られる合成画像のいずれかを選択することを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記第１対の撮影画像および前記第２対の撮影画像について、それぞれの視差量の確からしさである信頼度を取得する信頼度取得手段を備え、
前記信頼度は、コントラストに関する信頼度、輝度飽和に関する信頼度および動き振れに関する信頼度のうち少なくとも１つであることを特徴とする請求項１に記載の情報処理装置。

【請求項6】

前記選択手段は、前記コントラストに関する信頼度、前記輝度飽和に関する信頼度および前記動き振れに関する信頼度を統合した信頼度に基づいて、前記距離に関する情報を生成するために用いられる前記対の撮影画像を選択することを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記選択手段は、前記輝度飽和に関する信頼度、前記動き振れに関する信頼度および前記コントラストに関する信頼度をこの順で用いて、前記距離に関する情報を生成するために用いられる前記対の撮影画像を選択することを特徴とする請求項５に記載の情報処理装置。

【請求項8】

前記選択手段は、前記輝度飽和に関する信頼度および前記コントラストに関する信頼度をこの順で用いて、前記距離に関する情報を生成するために用いられる前記対の撮影画像を選択することを特徴とする請求項５に記載の情報処理装置。

【請求項9】

前記選択手段は、前記第１対の撮影画像と前記第２対の撮影画像の前記コントラストに関する信頼度の差が所定値より小さい場合は、前記距離に関する情報を生成するために用いられる前記対の撮影画像として、前記第１対の撮影画像および第２対の撮影画像を合成して得られる合成画像を選択することを特徴とする請求項５に記載の情報処理装置。

【請求項10】

前記画像取得手段は、前記撮像手段における撮像素子の露光時間を変更することで前記第１対の撮影画像および第２対の撮影画像の前記対の撮影画像を取得することを特徴とする請求項１に記載の情報処理装置。

【請求項11】

前記画像取得手段は、前記撮像手段における撮像素子に設けられた互いに露光感度が異なる第１の画素と第２の画素を同一の露光時間で露光することで前記第１対の撮影画像および第２対の撮影画像の前記対の撮影画像を取得することを特徴とする請求項１に記載の情報処理装置。

【請求項12】

前記撮像手段は、互いに基線長を隔てて配置された、それぞれ結像光学系と撮像素子を有する２つの撮像ユニットにより構成されていることを特徴とする請求項１に記載の情報処理装置。

【請求項13】

前記撮像手段は、単一の結像光学系と、画素ごとに対の光電変換部を有する単一の撮像素子とを有することを特徴とする請求項１に記載の情報処理装置。

【請求項14】

移動体に搭載された請求項１に記載の情報処理装置と、
前記距離に関する情報に基づいて前記移動体の移動を制御する制御手段を有することを特徴とする移動体制御システム。

【請求項15】

前記制御手段は、前記距離に関する情報に基づいて前記移動体と物体との衝突可能性を判定することを特徴とする請求項１４に記載の移動体制御システム。

【請求項16】

前記制御手段は、前記移動体と前記物体との衝突可能性があると判定した場合に、前記移動体のブレーキまたはステアリングを制御することを特徴とする請求項１５に記載の移動体制御システム。

【請求項17】

前記制御手段は、前記移動体と前記物体との衝突可能性があると判定した場合に、前記移動体の運転者に対する警告を行うことを特徴とする請求項１５に記載の移動体制御システム。

【請求項18】

前記移動体と前記物体との衝突に関する情報を外部に通知する通知手段を有することを特徴とする請求項１５に記載の移動体制御システム。

【請求項19】

請求項１４から１８のいずれか一項に記載の移動体制御システムを備え、
前記情報処理を保持して移動可能であることを特徴とする移動体。

【請求項20】

撮像手段によって撮像された互いに視差を有する対の撮影画像であって、
第１の露光時間で撮像された前記対の撮影画像である第１対の撮影画像および、第２の露光時間で撮像された前記対の撮影画像である第２対の撮影画像を取得するステップと、
前記第１対の撮影画像および前記第２対の撮影画像を含む複数の前記対の撮影画像から、距離に関する情報を生成するために用いられる前記対の撮影画像を選択するステップと、を有することを特徴とする情報処理方法。

【請求項21】

コンピュータに、請求項２０に記載の情報処理方法に従う処理を実行させることを特徴とするプログラム。

【請求項22】

撮像手段によって撮像された互いに視差を有する対の撮影画像であって、第１の露光時間で撮像された前記対の撮影画像である第１対の撮影画像および、第２の露光時間で撮像された前記対の撮影画像である第２対の撮影画像を取得する画像取得手段と、
前記第１対の撮影画像および前記第２対の撮影画像について、それぞれの視差量の確からしさである信頼度を取得する信頼度取得手段と、
前記信頼度に基づいて、距離に関する情報を生成するために用いるために、前記第１対の撮影画像および前記第２対の撮影画像のいずれかを選択する選択手段と、を有することを特徴とする情報処理装置。

【請求項23】

撮像手段によって撮像された互いに視差を有する対の撮影画像であって、第１の露光時間で撮像された前記対の撮影画像である第１対の撮影画像および、第２の露光時間で撮像された前記対の撮影画像である第２対の撮影画像を取得する画像取得手段と、
前記第１対の撮影画像および前記第２対の撮影画像について、それぞれの視差量の確からしさである信頼度を取得する信頼度取得手段と、
前記信頼度に基づいて、距離に関する情報を生成するために用いるために、前記第１対の撮影画像と、前記第２対の撮影画像と、前記第１対の撮影画像および第２対の撮影画像を合成して得られる合成画像と、のいずれかを選択する選択手段と、を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、互いに視差を有する対の画像（視差画像）を用いて距離を計測する技術に関する。

【背景技術】

【0002】

自動車等の移動体には、撮像装置により視差画像を取得してステレオ測距の原理により距離に関する情報を得る測距装置が搭載される。また撮像装置には、露光条件を異ならせた撮像により得られる複数の画像データを合成することでダイナミックレンジを拡大したＨＤＲ（High Dynamic Range）画像を得られるものがある。特許文献１には、撮像素子が互いに位相差を有する信号を取得できる画素構成を有することで視差画像を取得できるとともに、高感度画素と低感度画素を備えることで露光条件が異なる画像も取得できる撮像装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６４０８３７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１には、視差画像間の視差を算出する際に用おける露光条件の選択について言及されていない。このため、高感度画素で取得した視差画像、低感度画素で取得した視差画像、さらにはＨＤＲ画像としての視差画像のいずれが視差量の算出に最適なのかを判断することが難しい。

【0005】

本発明は、互いに露光条件が異なる複数対の画像から適切な対の画像を選択して良好な測距を行えるようにした測距装置等を提供する。

【課題を解決するための手段】

【0006】

本発明の一側面としての情報処理装置は、撮像手段によって撮像された互いに視差を有する対の撮影画像であって、第１の露光時間で撮像された対の撮影画像である第１対の撮影画像および第２対の撮影画像を取得する画像取得手段と、第１対の撮影画像および第２対の撮影画像を含む複数の対の撮影画像から、距離に関する情報を生成するために用いられる視差画像を選択する選択手段とを有することを特徴とする。なお、移動体に搭載された上記測距装置と、距離に関する情報に基づいて移動体の移動を制御する制御手段を有する移動体制御システム、さらには該移動体制御システムを搭載した移動体も、本発明の他の一側面を構成する。

【0007】

また本発明の他の一側面としての情報処理方法は、撮像手段によって撮像された互いに視差を有する対の撮影画像であって、第１の露光時間で撮像された対の撮影画像である第１対の撮影画像および第２対の撮影画像を取得するステップと、第１対の撮影画像および第２対の撮影画像を含む複数の対の撮影画像から、距離に関する情報を生成するために用いられる対の撮影画像を選択するステップとを有することを特徴とする。なお、コンピュータに上記測距方法に従う処理を実行させるプログラムも、本発明の他の一側面を構成する。

【発明の効果】

【0008】

本発明によれば、互いに露光条件が異なる複数対の画像から適切な対の画像を選択して良好な測距を行うことができる。

【図面の簡単な説明】

【0009】

【図1】実施例１の測距装置の構成を示すブロック図。

【図2】実施例１における撮像素子の露光タイミングを示すタイミングチャート。

【図3】実施例１における測距処理を示すフローチャート。

【図4】実施例１における入力画像の例を示す図。

【図5】実施例２における信頼度判定処理を示すフローチャート。

【図6】実施例３における信頼度判定処理を示すフローチャート。

【図7】実施例４における信頼度判定処理を示すフローチャート。

【図8】実施例５における信頼度判定処理を示すフローチャート。

【図9】実施例６における測距装置および撮像素子の構成を示す図。

【図10】実施例７の移動体の構成を示す図。

【図11】実施例１、６のカメラユニットの構成を示す図。

【発明を実施するための形態】

【0010】

以下、本発明の実施例について図面を参照しながら説明する。

【実施例0011】

実施例１では、ステレオ撮像装置（ステレオカメラ）によりフレームごとに取得される互いに視差を有する対の画像の視差量から距離に関する情報を取得する測距装置について説明する。本実施例の測距装置は、デジタルカメラ、デジタルビデオカメラ、車載センサデバイス、ロボットビジョンセンサデバイス等に用いられる。

【0012】

図１は、本実施例の測距装置１００の構成を示している。測距装置１００は、ステレオカメラ（撮像手段）１０１、露光制御画像取得部１０２、視差信頼度推定部（信頼度取得手段）１０３、画像生成選択部（選択手段）１０４およびステレオ測距部（距離情報生成手段）１０５を備える。ステレオカメラ１０１は互いに所定距離（基線長）を隔てて並列配置された２つのカメラユニット（撮像ユニット）１１１、１１２を有する。カメラユニット１１１、１１２のそれぞれの撮像画角は、互いに共通する画角範囲が含まれるように設定されている。

【0013】

図１１は、カメラユニット１１１、１１２の構成を示している。各カメラユニットは、結像光学系９１２、撮像素子９１３、画像処理部９１４および画像格納部９１５を有する。撮像素子９１３はＣＭＯＳセンサやＣＣＤセンサ等の光電変換素子であり、結像光学系９１２により形成された被写体像を光電変換（撮像）することで画像信号を出力する。９２０は結像光学系の光軸を示している。

【0014】

画像処理部９１４は、撮像素子９１３から読み出された画像信号に対して各種画像処理を行って画像データ（以下、単に画像という）を生成する。生成された画像は、画像格納部９１５に蓄えられたり、不図示の信号伝送部を通じて後段の視差信頼度推定部１０３に伝送されたりする。カメラユニット１１１は第１の視点からの撮像を行って第１の画像を生成し、カメラユニット１１２は第１の視点とは異なる第２の視点からの撮像を行って第２の画像を生成する。第１の画像と第２の画像により、互いに視差を有する対の画像（ステレオ画像）が構成される。

【0015】

露光制御画像取得部１０２は、上記カメラユニット１１１、１１２と露光制御部（露光制御手段）１１３を有する。露光制御部１１３は、カメラユニット１１１、１１２の露光量を同時に制御する。ここでは、露光制御部１１３は、カメラユニット１１１、１１２の撮像における露光条件としての露光時間を変更する。これにより、カメラユニット１１１、１１２のそれぞれに、互いに露光条件が異なる画像として、第１の露光時間の画像（第１の露光画像：以下、長秒画像という）と、第１の露光時間より短い第２の露光時間の画像（第２の露光画像：以下（短秒画像という）を生成させることができる。カメラユニット１１１、１１２にて生成される互いに視差を有する２つの長秒画像および互いに視差を有する２つの短秒画像を、以下の説明においてそれぞれ、対の長秒画像（第１対の露光画像）および対の短秒画像（第２対の露光画像）という。

【0016】

図２は、各カメラユニットにおける撮像素子の画素行ごとの露光時間を示している。横軸は時刻ｔを、縦軸は撮像素子の画素行ｃを表している。画素行ｃは１画素行ごとに画像信号を読み出す読み出し行となる。最初の読み出し行において第１の露光時間２０１の画像信号と第２の露光時間２０２の画像信号を取得すると、次の読み出し行において第１の露光時間２１１の画像信号と第２の露光時間２１２の画像信号を取得する。こうして最終の読み出し行において第１の露光時間２ｎ１の画像信号と第２の露光時間２ｎ２の画像信号を取得すると、第１の露光時間２０１、２１１、…、２ｎ１で取得した異なる画素行の画像信号を結合して長秒画像を取得する。また、第２の露光時間２０２、２１２、…、２ｎ２で取得した異なる画素行の画像信号を合成（結合）して短秒画像を取得する。

【0017】

露光制御部１１３、視差信頼度推定部１０３、画像生成選択部１０４およびステレオ測距部１０５は１つ又は複数の半導体集積回路を含む演算処理装置（ＣＰＵ等のコンピュータ）により構成されている。

【0018】

カメラユニット１１１、１１２から取得された対の長秒画像および対の短秒画像は視差信頼度推定部１０３に伝送される。視差信頼度推定部１０３は、後述する信頼度判定処理により対の長秒画像から算出される視差量の確からしさである信頼度である長秒視差信頼度を推定する。また視差信頼度推定部１０３は、同処理により、対の短秒画像から算出される視差量の確からしさである信頼度である短秒視差信頼度を推定する。これら長秒および短秒視差信頼度を受けた画像生成選択部１０４は、距離に関する情報を生成するための視差量の算出に用いる対の画像（以下、視差算出画像という）として、対の長秒画像、対の短秒画像および対のＨＤＲ画像（合成画像）のいずれかを選択する。対のＨＤＲ画像は、カメラユニット１１１から取得された長秒画像と短秒画像を合成（ブレンディング）することで生成される第１のＨＤＲ画像と、カメラユニット１１２から取得された長秒画像と短秒画像を合成することで生成される第２のＨＤＲ画像とにより構成される。

【0019】

ステレオ測距部１０５は、画像生成選択部１０４で選択された対の視差演算画像を用いて公知の手法で視差量を演算し、さらに該視差量を用いて距離値を演算する。測距装置１００は、以上の処理を撮像素子の全画素からの画像信号に対して行うことで、撮像画角内の被写体までの距離に関する情報を含む距離画像を生成する。距離に関する情報は、距離自体を示す情報であってもよいし、参照テーブルや変換式等を用いて距離に変換可能な情報であってもよい。

【0020】

具体的には、入力された対の画像に対して幾何補正処理、光量補正処理およびバンドパスフィルタ処理によるノイズ低減処理を含む前処理を行い、前処理後の対の画像から視差量を算出して、得られた視差量を距離値に換算する。この視差量算出処理では、対の画像のうち一方の画像において注目点座標を中心とする照合領域を設定し、他方の画像において参照点座標を中心とする照合領域と同形状の参照領域を順次移動させながら相関値を算出する。そして、最も相関の高い注目点座標と参照点座標との位置ずれ量を視差量とする。相関値の算出方法としては、画像信号の差の二乗和を評価するＳＳＤ(Sum of Squared Difference)や、差の絶対値を評価するＳＡＤ(Sum of Absolute Difference)等を用いることができる。注目点座標と参照点座標の設定値は整数であるが、相関の極値をピークフィッティングすることにより、サブピクセル精度で視差量を算出することができる。そして視差量算出処理では、算出した視差量を予め設定されたカメラユニット１１１、１１２間の基線長Ｗと各カメラユニットの焦点距離ｆとを用いて幾何的な関係式を用いて距離値Ｌに換算する。このように、視差量と距離値を撮像素子の全画素について算出することで、距離画像を生成する。

【0021】

図３のフローチャートは、測距装置のコンピュータ（露光制御部１１３、視差信頼度推定部１０３、画像生成選択部１０４およびステレオ測距部１０５）がプログラムに従って実行する測距処理（測距方法）を示している。Ｓはステップを意味する。

【0022】

Ｓ３０１において、視差信頼度推定部１０３は、取得した入力画像（対の長秒画像および対の短秒画像）に対して信頼度判定処理を行う。信頼度判定処理では、対の画像において算出される視差量の確からしさとしての信頼度を表す、コントラスト信頼度、飽和信頼度および動き振れ信頼度を算出する。

【0023】

コントラスト信頼度Ｃｏｎｆ＿ｃは、被写体（画像）のコントラストに関する信頼度であり、以下の式により算出される。

【0024】

【数1】

【0025】

図４は、入力画像４０１の例を示す。入力画像４０１は、対の画像のうちの一方であり、図では注目点座標または参照点座標（以下、注目点／参照点座標と記す）（ｘ，ｙ）４０２を中心とする照合領域または参照領域（以下、照合／参照領域と記す）４０３を示している。以下の信頼度は、対の画像のうち少なくとも一方において算出すればよい。

【0026】

コントラスト信頼度Ｃｏｎｆ＿ｃの算出には、まず注目点／参照点座標（ｘ，ｙ）４０２を中心とする照合／参照領域４０３内の信号輝度値ＩのコントラストＣ（ｘ，ｙ）を求める。ｘとｈは入力画像における水平方向の座標を示し、ｙとｖは垂直方向の座標を示す。Ｉａｖｅは、照合領域４０３内の信号輝度値Ｉの平均値を示す。

【0027】

次に、照合／照合領域４０３内の推定ノイズ量ｎｏｉｓｅ（ｘ，ｙ）を算出する。ｑは撮像素子の特性等から事前に用意される係数である。そして、コントラストＣ（ｘ，ｙ）と推定ノイズ量ｎｏｉｓｅ（ｘ，ｙ）との比から、注目点／参照点座標（ｘ，ｙ）４０２のコントラスト信頼度Ｃｏｎｆ＿ｃ（ｘ，ｙ）を算出する。これらの算出を全画素に対して行うことで、入力画像のコントラスト信頼度が得られる。このようにして対の長秒画像および対の短秒画像のそれぞれのコントラスト信頼度Ｃｏｎｆ＿ｃを得る。

【0028】

視差量の算出において相関値を算出する際に、照合／参照領域４０３内のコントラストが高い場合やノイズ量が小さい場合は相関のピークが鋭くなり、信頼性の高い視差量を算出することができる。このため、コントラスト信頼度Ｃｏｎｆ＿ｃが高いほど、算出された視差量の信頼度を高信頼度と判定する。

【0029】

飽和信頼度Ｃｏｎｆ＿ｓは、照合／参照領域４０３内に輝度飽和またはそれに準ずる信号輝度値を出力している画素が存在しないかを判定するための輝度飽和に関する信頼度であり、以下のように定義される。

【0030】

【数2】

【0031】

すなわち、照合／参照領域４０３内に信号輝度値Ｉ（ｈ，ｖ）が信号輝度閾値Ｉｔｈ以上の画素が存在する場合は低信頼度０とし、信号輝度閾値Ｉｔｈ以上の画素が存在しない場合は高信頼度１とする。この判定を全画素に対して行うことで、入力画像の飽和信頼度が得られる。照合／参照領域４０３内に輝度飽和またはそれに準ずる信号輝度値を出力している画素が存在した場合は、相関値を出力する際に輝度飽和している領域が被写体の持つテクスチャとは異なる疑テクスチャとなって誤った相関値が算出されるおそれがある。この場合、被写体距離に応じた視差量とは異なる視差量が算出される。したがって、照合／参照領域４０３内に輝度飽和領域が存在しない場合は高信頼度と判定する。

【0032】

動き振れ信頼度Ｃｏｎｆ＿ｍは、照合／参照領域４０３内に動き振れの影響が大きい画素が存在しないかを判定するための動き振れに関する信頼度である。注目点座標（ｘ，ｙ）に対する照合／参照領域４０３内の信号輝度値Ｉ（ｈ，ｖ）に対してバンドパスフィルタ処理を行って得られたバンドパスフィルタ処理画像の振幅をＣｏｎｆ＿ｍ（ｘ，ｙ）とする。バンドパスフィルタの透過帯域は、動き振れの影響を考慮したい空間周波数帯域に適宜設定される。具体的には、測距装置の移動速度、主たる被写体の移動速度および各秒画像を取得するための露光時間に応じて設定される。照合／参照領域４０３内の動き振れが大きい場合は、被写体のテクスチャが劣化したり露光中に被写体の重心が移動したりすることにより、相関のピークが鈍くなる。つまり、視差量の算出精度が低下する。したがって、動き振れの影響を考慮したい空間周波数帯域の振幅が小さいほど動き振れの影響が大きいため、動き振れ信頼度Ｃｏｎｆ＿ｍの値が大きいほど高信頼度と判定する。

【0033】

これらコントラスト信頼度、飽和信頼度および動き振れ信頼度を以下の式のように統合して照合／参照領域ごとの視差量の信頼度を判定する。

【0034】

【数3】

【0035】

上記式において、α、β、γは重み係数である。

【0036】

次にＳ３０２では、画像生成選択部１０４は、Ｓ３０１で算出された統合的な信頼度判定値Ｃｏｎｆ＿ａｌｌを比較することで照合／参照領域ごとに視差量の信頼度が高いと推定される対の画像を選択する画像生成選択処理を行う。具体的には、画像生成選択部１０４は、対の長秒画像の照合／参照領域ごとの信頼度判定値Ｃｏｎｆ＿ａｌｌと対の短秒画像の照合／参照領域ごとの信頼度判定値Ｃｏｎｆ＿ａｌｌとを比較し、信頼度が高い方の照合／参照領域を有する対の画像を視差算出画像として選択する。つまり、視差算出画像を照合／参照領域ごとに選択する。

【0037】

信頼度判定値Ｃｏｎｆ＿ａｌｌを比較した結果、優位な差が認められない場合は、上述した対のＨＤＲ画像を視差算出画像として選択する。

【0038】

次にＳ３０３では、ステレオ測距部１０５は、Ｓ３０２で選択された視差算出画像を用いて、照合／参照領域ごとの視差量を算出し、さらに距離値を算出して距離画像を算出するステレオ測距処理を行う。

【0039】

このように、露光条件が異なる複数対の画像から視差信頼度に基づいて視差量の算出に適した対の画像を選択することで、高精度な測距を行うことが可能となる。

【0040】

なお、本実施例において、撮像素子の画素行ごとに長い露光時間と短い露光時間を交互に割り当て、等しい読み出しクロック周波数で駆動し、画像信号の読み出し後に隔画素行ごとの画像信号を合成して長秒画像と短秒画像を生成することが好ましい。これにより、長秒画像と短秒画像の露光重心のずれを抑えることができる。

【0041】

また、撮像素子に露光感度が互いに異なる第１の画素と第２の画素を設けることで露光条件を異ならせてもよい。これにより、露光時間が同一でも長秒画像に相当する高感度画像としての第１の露光画像と低秒画像に相当する低感度画像としての第２の露光画像とを同時に取得することができ、画像間で露光時間が異なることの影響を受けないようにすることができる。

【0042】

また、コントラスト信頼度Ｃｏｎｆ＿ｃは、コントラストＣのみで算出してもよい。また、動き振れ信頼度Ｃｏｎｆ＿ｍは、これを求める照合／参照領域の信号値をフーリエ変換し、対象の空間周波数帯域の振幅を用いて評価する等、周波数解析として評価してもよい。これにより、周波数成分ごとに分解して評価することができるため、測距精度をより向上させることができる。

【0043】

また、対の画像のうち一方の信頼度だけでなく他方の画像の信頼度も求め、これらの信頼度の総合評価（平均値や最高値等）が高い対の画像を視差算出画像として選択することで、測距精度をより向上させてもよい。

【0044】

また、長秒画像と短秒画像をブレンディングしてＨＤＲ画像を生成する際に、これらのコントラスト信頼度の比を用いてブレンド比率を決定してもよい。コントラスト信頼度は長秒画像と短秒画像ともに同条件で視差量の算出精度に影響するため、上述のようにブレンド比率を決定することは、測距精度の向上の観点から好ましい。例えば、長秒画像のコントラスト信頼度／短秒画像のコントラスト信頼度＝ｋのとき、
ＨＤＲ画像＝ｋ／（１＋ｋ）×長秒画像＋１／（１＋ｋ）×短秒画像、
としてＨＤＲ画像を生成してもよい。

【0045】

また、視差算出画像の選択においては、視差量を算出するための相関演算を行う領域ごとに対の画像を選択してもよい。これにより、被写体の種類や配置等の撮像するシーンに応じた適切な視差量を算出することができ、測距精度を向上させることができる。

【0046】

さらに、互いに異なる露光条件の第１対および第２対の露光画像のそれぞれに対する視差量をステレオ測距処理に先立って算出しておき、その後に信頼度に基づいて測距演算を行う対の画像を選択し、該選択した対の画像における視差量を用いて測距を行ってもよい。この処理は、ＦＰＧＡ(Field Programmable Gate Array)等の論理回路で行う場合に座標（ｘ、ｙ）ごとに対の画像を切り替えて視差量を算出するより、対の画像全体について視差量を算出して後から測距に使用する視差量を選択する方が実装コストの観点で好ましい。

【実施例0047】

実施例２では、実施例１で説明した飽和度信頼度、動き振れ信頼度およびコントラスト信頼度を順に用いて視差算出画像を選択する。測距装置の構成は、図１に示した測距装置１００と同じであり、実施例１と共通する構成要素には同符号を付す。測距処理は、図３のフローチャートで示したものと、Ｓ３０１を除いて同様である。

【0048】

図５のフローチャートは、図３のＳ３０１の代わりに本実施例にて視差信頼度推定部１０３が実行する信頼度判定処理を示している。

【0049】

Ｓ５０１において、視差信頼度推定部１０３は、入力画像としての対の長秒画像と対の短秒画像に対して飽和信頼度Ｃｏｎｆ＿ｓを算出する。そして、長秒画像と短秒画像のそれぞれにＣｏｎｆ＿ｓ＝０の照合／参照領域が存在するか否か、つまりは輝度飽和領域の存在の有無を判定する。輝度飽和領域が存在するＴｒｕｅの場合は、視差信頼度推定部１０３はＳ５１１に進み、視差算出画像として対の短秒画像を選択するという判定結果を出力する。これは、短秒画像の方が長秒画像よりも輝度飽和の影響が少ないため、視差算出画像として適しているためである。一方、輝度飽和領域が存在しないＦＡＬＳＥの場合は、視差信頼度推定部１０３はＳ５０２に進む。

【0050】

Ｓ５０２において、視差信頼度推定部１０３は、対の長秒画像と対の短秒画像に対して動き振れ信頼度Ｃｏｎｆ＿ｍを算出する。そして、動き振れ判定閾値ｔｈ＿ｍを用いて、Ｃｏｎｆ＿ｍ＜ｔｈ＿ｍの照合／参照領域が存在するか否か、つまりは動き振れの影響が大きくてＣｏｎｆ＿ｍの値が小さい照合／参照領域が存在するか否かを判定する。動き振れの影響が大きい（Ｃｏｎｆ＿ｍ＜ｔｈ＿ｍの）照合／参照領域が存在するＴＲＵＥの場合は、視差信頼度推定部１０３はＳ５１１に進み、視差算出画像として対の短秒画像を選択するという判定結果を出力する。これは、短秒画像の方が長秒画像よりも動き振れの影響が小さいため、視差算出画像として適しているためである。一方、動き振れの影響が大きい照合／参照領域が存在しないＦＡＬＳＥの場合は、視差信頼度推定部１０３はＳ５０３に進む。

【0051】

Ｓ５０３において、視差信頼度推定部１０３は、対の長秒画像と対の短秒画像に対してコントラスト信頼度Ｃｏｎｆ＿ｃを算出し、短秒画像のコントラスト信頼度Ｃｏｎｆ＿ｃ＿Ｌと長秒画像のコントラスト信頼度Ｃｏｎｆ＿ｃ＿Ｈとを比較する。さらに、これらコントラスト信頼度の差分と所定値としてのコントラスト判定閾値ｔｈ＿ｃ（０）を比較する。

【0052】

Ｃｏｎｆ＿ｃ＿Ｌ－ Ｃｏｎｆ＿ｃ＿Ｈ≧ｔｈ＿ｃである場合、すなわち短秒画像を方が長秒画像よりコントラスト信頼度が有意に高い場合は、視差信頼度推定部１０３はＳ５１１に進み、視差算出画像として対の短秒画像を選択するという判定結果を出力する。また、Ｃｏｎｆ＿ｃ＿Ｈ－Ｃｏｎｆ＿ｃ＿Ｌ≧ｔｈ＿ｃである場合、すなわち長秒画像を方が短秒画像よりコントラスト信頼度が有意に高い場合は、視差信頼度推定部１０３はＳ５１２に進み、視差算出画像として対の長秒画像を選択するという判定結果を出力する。さらに｜Ｃｏｎｆ＿ｃ＿Ｌ－Ｃｏｎｆ＿ｃ＿Ｈ｜＜ｔｈ＿ｃである場合、すなわち長秒画像と短秒画像のコントラスト信頼度に有意な差がない場合は、視差信頼度推定部１０３はＳ５１３に進み、視差算出画像として対のＨＤＲ画像を選択するという判定結果を出力する。

【0053】

Ｓ５１１、Ｓ５１２およびＳ５１３の判定結果は、画像生成選択部１０４（図１のＳ３０２）に渡される。画像生成選択部１０４は、判定結果に基づいて、視差算出画像を対の短秒画像、対の長秒画像および対のＨＤＲ画像のいずれかを選択する。ステレオ測距部１０５（図１のＳ３０３）は、選択された対の画像を用いてステレオ測距処理を行う。

【0054】

このように複数種類の信頼度を順に判定して視差算出画像を選択することで、全ての信頼度を算出してから視差算出画像を選択する場合と比較して、処理の高速化が望める。コントラストは短秒画像と長秒画像に関わらず同様な条件で視差算出（つまりは測距）の精度に影響するが、輝度飽和や動き振れについては短秒画像の方が長秒画像よりも影響を受けにくい。このため本実施例のように、飽和信頼度と動き振れ信頼度に基づく視差算出画像の選択をコントラスト信頼度に基づく視差算出画像の選択よりも先に行うことが好ましい。