特開 2024-92436 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024092436

(43)【公開日】2024-07-08

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 7/593 20170101AFI20240701BHJP

   G08G 1/16 20060101ALI20240701BHJP

   G01C 3/06 20060101ALI20240701BHJP

【ＦＩ】

G06T7/593

G08G1/16 C

G01C3/06 110V

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022208354

(22)【出願日】2022-12-26

(71)【出願人】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110001829

【氏名又は名称】弁理士法人開知

(72)【発明者】

【氏名】城戸 英彰

(72)【発明者】

【氏名】入江 耕太

【テーマコード（参考）】

2F112

5H181

5L096

【Ｆターム（参考）】

2F112AC03

2F112AC06

2F112BA05

2F112BA06

2F112CA05

2F112CA12

2F112DA32

2F112FA03

2F112FA07

2F112FA21

2F112FA35

2F112FA45

5H181AA01

5H181CC04

5H181LL01

5H181LL02

5H181LL04

5L096BA04

5L096CA05

5L096DA02

5L096FA09

5L096FA18

5L096FA26

5L096FA66

(57)【要約】

【課題】少ないデータ伝送量で被写体の三次元位置を推定する。
【解決手段】画像処理装置は、演算装置を備え、演算装置は、複数のカメラで各々撮影された複数の画像毎に物体を検知し、複数の画像毎に物体までの距離を推定し、推定された複数の画像毎の物体までの距離と、複数のカメラのカメラパラメータとを用いて、物体の特徴点のうち複数の画像のいずれにおいても取得可能な特徴点を決定し、複数の画像毎に決定された特徴点の周辺の特徴量を求め、複数の画像の特徴量を照合し、特徴量を照合した結果に基づいて、物体までの距離を測定する。
【選択図】図８

【特許請求の範囲】

【請求項1】

演算装置を備えた画像処理装置であって、
前記演算装置は、
複数のカメラで各々撮影された複数の画像毎に物体を検知し、
前記複数の画像毎に前記物体までの距離を推定し、
前記推定された前記複数の画像毎の前記物体までの距離と、前記複数のカメラのカメラパラメータとを用いて、前記物体の特徴点のうち前記複数の画像のいずれにおいても取得可能な特徴点を決定し、
前記複数の画像毎に前記決定された特徴点の周辺の特徴量を求め、
前記複数の画像の特徴量を照合し、
前記特徴量を照合した結果に基づいて、前記物体までの距離を測定する、
画像処理装置。

【請求項2】

請求項１に記載の画像処理装置において、
前記演算装置は、
複数の画像毎に前記物体を囲う三次元のバウンディングボックスを求め、
前記バウンディングボックスを構成する複数の面のうち、前記複数のカメラにより撮影可能な対象面を決定し、
前記対象面に含まれる前記特徴点の周辺の特徴量を求める、
画像処理装置。

【請求項3】

請求項１に記載の画像処理装置において、
前記演算装置は、
複数の画像毎に前記物体を囲う三次元のバウンディングボックスを求め、
前記バウンディングボックスを構成する複数の面に対して、前記複数のカメラにより撮影された画像間の射影変換を推定し、
前記推定された前記複数の面の射影変換における変形度に基づいて、前記特徴点を取得する対象面を決定し、
前記対象面に含まれる前記特徴点の周辺の特徴量を求める、
画像処理装置。

【請求項4】

請求項１に記載の画像処理装置において、
前記演算装置は、前記物体の検知結果と、物体の種別と当該物体の経時的な形状変化の度合いを対応付けた物体形状情報と、に基づいて、前記物体のうち前記特徴点を取得する位置を決定する、
画像処理装置。

【請求項5】

請求項１に記載の画像処理装置において、
前記演算装置は、
前記複数のカメラのうちの一部のカメラが接続された第１の計算資源と、
前記複数のカメラのうちの一部のカメラとは異なる別の一部のカメラが接続された第２の計算資源とを備え、
前記第１の計算資源および前記第２の計算資源のそれぞれは、
前記物体を検知し、
前記物体までの距離を推定し、
前記特徴点を決定し、
前記決定された特徴点の周辺の特徴量を求める、
画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置に関する。

【背景技術】

【0002】

従来、周囲を撮影した画像から物体を検出する技術が知られている。特許文献１には、複数のカメラで物体を撮影して得られた複数の画像データから被写体の三次元位置を推定する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１９４８９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

複数のカメラが、単一の計算資源ではなく複数の計算資源にそれぞれ接続されている場合、被写体の三次元位置を推定するために特定の計算資源に全ての画像データを集約する必要がある。例えば伝送路の容量や記憶容量等の都合により、他の計算資源から特定の計算資源に全ての画像データを集約することができない場合、特許文献１に記載の技術では被写体の三次元位置を推定することができないという問題があった。

【0005】

本発明は、全ての画像データよりも少ないデータ伝送量で被写体の三次元位置を推定することが可能な画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様による画像処理装置は、演算装置を備え、前記演算装置は、複数のカメラで各々撮影された複数の画像毎に物体を検知し、前記複数の画像毎に前記物体までの距離を推定し、前記推定された前記複数の画像毎の前記物体までの距離と、前記複数のカメラのカメラパラメータとを用いて、前記物体の特徴点のうち前記複数の画像のいずれにおいても取得可能な特徴点を決定し、前記複数の画像毎に前記決定された特徴点の周辺の特徴量を求め、前記複数の画像の特徴量を照合し、前記特徴量を照合した結果に基づいて、前記物体までの距離を測定する。

【発明の効果】

【0007】

本発明によれば、全ての画像データよりも少ないデータ伝送量で被写体の三次元位置を推定することが可能な画像処理装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の第１実施形態に係る画像処理装置のハードウェア構成を模式的に示すブロック図である。

【図2】図２は、第１演算部のハードウェア構成を模式的に示すブロック図である。

【図3】図３は、本発明の第１実施形態に係る画像処理装置を車両に搭載した例を示す平面図である。

【図4】図４は、本発明の第１実施形態に係る画像処理装置の構成を模式的に示すブロック図である。

【図5】図５は、カメラから観測される面を例示する模式図である。

【図6】図６は、車両座標系を示す模式図である。

【図7】図７は、第１カメラおよび第２カメラによる撮影画像を例示する模式図である。

【図8】図８は、第１実施形態に係る演算装置が実行するプログラムのフローチャートである。

【図9】図９は、第２実施形態に係る演算装置が実行するプログラムのフローチャートである。

【図10】図１０は、本発明の第３実施形態に係る画像処理装置の構成を模式的に示すブロック図である。

【図11】図１１は、二次元バウンディングボックスを複数の領域に分割する様子を示す模式図である。

【図12】図１２は、第３実施形態に係る演算装置が実行するプログラムのフローチャートである。

【図13】図１３は、本発明の第４実施形態に係る画像処理装置の構成を模式的に示すブロック図である。

【発明を実施するための形態】

【0009】

＜第１実施形態＞
図１～図８を参照して、本発明の第１実施形態に係る画像処理装置について説明する。

【0010】

図１は、本発明の第１実施形態に係る画像処理装置のハードウェア構成を模式的に示すブロック図である。画像処理装置１０は、演算装置２０を備える。演算装置２０は、第１演算部２１、第２演算部２２、第３演算部２３、および不揮発性メモリ２４を備える。第１演算部２１、第２演算部２２、第３演算部２３、および不揮発性メモリ２４は、例えばデータバス等により相互に接続される。第１演算部２１には、画像処理装置１０の外部に設けられた第１カメラ３０が接続される。第２演算部２２には、画像処理装置１０の外部に設けられた第２カメラ４０が接続される。

【0011】

第１演算部２１、第２演算部２２、および第３演算部２３は、例えばＳｏＣ（System On Chip）等の計算資源である。第１演算部２１、第２演算部２２、および第３演算部２３の構成については後に詳述する。

【0012】

不揮発性メモリ２４は、例えばＲＯＭ（Read Only Memory）、フラッシュメモリ、ハードディスクドライブ等の記憶媒体である。不揮発性メモリ２４には、各種演算が実行可能なプログラムが格納されている。すなわち、不揮発性メモリ２４は、本実施形態の機能を実現するプログラムを読み取り可能な記憶媒体（記憶装置）である。不揮発性メモリ２４には更に、第１カメラ３０および第２カメラ４０の取付位置や取付角度、カメラの仕様（焦点距離・光学中心位置・レンズ歪み等）に関する情報が、例えば外部パラメータ行列や内部パラメータ行列等の形式で格納されている。第１演算部２１、第２演算部２２、および第３演算部２３は、不揮発性メモリ２４から第１カメラ３０および第２カメラ４０に関するこれらの情報を読み出して、後述する制御に利用する。

【0013】

図２は、第１演算部２１のハードウェア構成を模式的に示すブロック図である。第１演算部２１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）等の処理装置６３、所謂ＲＡＭ（Random Access Memory）と呼ばれる揮発性メモリ６２、入出力インタフェース６１、および、その他の周辺回路で構成される。これらのハードウェアは、協働して不揮発性メモリ２４（図１）に記憶されているソフトウェアを動作させ、複数の機能を実現する。なお、第１演算部２１は、１つのコンピュータで構成してもよいし、複数のコンピュータで構成してもよい。また、処理装置６３としては、ＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを用いることができる。

【0014】

処理装置６３は、不揮発性メモリ２４（図１）に記憶されたプログラムを揮発性メモリ６２に展開して演算実行する装置であって、プログラムに従って入出力インタフェース６１、不揮発性メモリ２４および揮発性メモリ６２から取り入れたデータに対して所定の演算処理を行う。処理装置６３は、入出力インタフェース６１、揮発性メモリ６２のそれぞれに接続される。

【0015】

入出力インタフェース６１の入力部は、各種装置（第１カメラ３０等）から入力された信号を処理装置６３で演算可能なデータに変換する。また、入出力インタフェース６１の出力部は、処理装置６３での演算結果に応じた出力用の信号を生成し、その信号を各種装置（第３演算部２３等）に出力する。

【0016】

なお、第２演算部２２および第３演算部２３のハードウェア構成は、第１演算部２１のハードウェア構成と同一であるので、説明および図示を省略する。

【0017】

図３は、本発明の第１実施形態に係る画像処理装置１０を車両に搭載した例を示す平面図である。画像処理装置１０は、道路８０を走行する車両９０に設置される。第１カメラ３０は、例えばルームミラー付近など、車両９０の車室内に、車両９０の前方（図３に示す領域３１を含む範囲）を撮影可能に設置される。第２カメラ４０は、例えばドアミラー付近など、車両９０の左前方（図３に示す領域４１を含む範囲）を撮影可能に設置される。ここで、第１カメラ３０の撮影範囲と第２カメラ４０の撮影範囲は少なくとも一部が重複しているものとする。以下の説明において、車両９０の前方には横断歩道８１が存在するものとする。また、横断歩道８１のある一部が第１カメラ３０の撮影範囲と第２カメラ４０の撮影範囲に重複して存在するものとする。

【0018】

画像処理装置１０は、車両９０の周辺に存在する物体の情報を推定して取得する。処理対象となる物体は、移動物（例えば歩行者、車両など）であってもよいし、静止物（例えば白線、路面、標識、建物など）であってもよい。推定される物体の情報は、例えば物体の種類、車両９０から物体までの距離、物体のサイズや速度などである。取得した物体の情報は、例えば車両９０の制御量を決定する等、車両９０の自動運転や運転支援に用いられる。

【0019】

図４は、本発明の第１実施形態に係る画像処理装置１０の構成を模式的に示すブロック図である。第１演算部２１は、物体検出部２１ａおよび特徴選択部２１ｃを備える。第２演算部２２は、物体検出部２２ａおよび特徴選択部２２ｃを備える。第３演算部２３は、特徴照合部２３ａおよび距離算出部２３ｂを備える。

【0020】

第１カメラ３０は、撮影画像の画像信号を第１演算部２１内の物体検出部２１ａに送信する。物体検出部２１ａは、撮影画像（画像信号）を解析して目的とする物体を検出する。物体検出部２１ａは、検出した物体を直方体モデルにより近似する。つまり物体検出部２１ａは、検出した物体を囲う三次元の直方体により、その物体の位置や向き、サイズを表現する。直方体モデルは、例えば車両等の物体を表現するのに適した方式である。物体検出部２１ａは、検出結果情報を特徴選択部２１ｃおよび第３演算部２３内の特徴照合部２３ａに出力する。第１実施形態における検出結果情報には、検出した物体を囲う三次元の直方体であるバウンディングボックスを構成する各頂点の、世界座標系における三次元座標が含まれる。三次元のバウンディングボックスが世界座標系における三次元座標で表現されるということはすなわち、検出結果情報には、第１カメラ３０から検出された物体までの距離の情報も含まれているということである。つまり第１実施形態において、物体検出部２１ａは物体を検出するだけではなく、同時に、その物体までの距離も推定している。

【0021】

物体検出部２１ａは、１つの撮影画像から複数の物体を同時に検出可能に構成される。したがって、検出結果情報には、１つないし複数のバウンディングボックスに関する情報が含まれる。

【0022】

物体検出部２１ａは、例えば周知のニューラルネットワークモデルを用いて推論を行うことにより物体を検出する。このようなネットワークモデルとしては、例えばＹＯＬＯ等が知られている。

【0023】

特徴選択部２１ｃは、物体検出部２１ａが第１カメラ３０から検出した物体の各々について、その物体の画像特徴を、第１カメラ３０が出力した撮影画像から選択する。第１実施形態において画像特徴とは、検出した物体の画像に設けられた特徴点の位置およびその位置の周辺画素から得た画像特徴量のことを指す。特徴選択部２１ｃは、第１カメラ３０が出力した撮影画像から部分画像を切り出し、その部分画像から、コーナーなどの画像特徴の高い画像座標（すなわち特徴点）を探索する。その後、特徴選択部２１ｃは、発見した特徴点の各々について、その位置の周辺画素から画像特徴量を得る。特徴点の探索および画像特徴量の取得手法としては、ＳＩＦＴ（Scale Invariant Feature Transform）、ＯＲＢ（Oriented FAST and Rotated BRIEF）などを用いることができる。また、深層学習を用いて特徴量化を行う手法を採用してもよい。特徴選択部２１ｃによる部分画像の切り出し方法については後に詳述する。

【0024】

特徴選択部２１ｃは、画像特徴情報を第３演算部２３内の特徴照合部２３ａに出力する。第１実施形態における画像特徴情報には、検出された物体ごとに、複数の特徴点の位置および画像特徴量が含まれる。一般的に、複数の特徴点の位置および画像特徴量のデータ量は、物体の画像データのデータ量に比べて小さい。つまり、特徴選択部２１ｃが出力する画像特徴情報のデータ量は、検出した物体の画像データを直接出力する場合に比べて小さくなる。

【0025】

第２カメラ４０は、撮影画像の画像信号を第２演算部２２内の物体検出部２２ａに送信する。第２演算部２２が備える物体検出部２２ａおよび特徴選択部２２ｃは、第２カメラ４０によって撮影された撮影画像を対象とすることを除いて、それぞれ第１演算部２１が備える物体検出部２１ａおよび特徴選択部２１ｃと同様に機能する。

【0026】

以上のように、第１演算部２１および第２演算部２２から第３演算部２３には、検出結果情報および画像特徴情報が送信される。これらの情報のデータ量は、第１カメラ３０が出力する撮影画像のデータ量および第２カメラ４０が出力する撮影画像のデータ量の総和よりも小さい。したがって、第１演算部２１、第２演算部２２、および第３演算部２３の間で為されるデータ通信に要するデータ量は、すべてのカメラの撮影画像を第３演算部２３に集約する場合に比べて小さくて済む。換言すると、第１演算部２１、第２演算部２２、および第３演算部２３の間に設けられる通信路の通信容量は、すべてのカメラの撮影画像を第３演算部２３に集約する場合に比べて小さくて済む。

【0027】

特徴照合部２３ａは、第１演算部２１から出力された画像特徴情報と第２演算部２２から出力された画像特徴情報を照合し、照合結果を距離算出部２３ｂに出力する。特徴照合部２３ａによる画像特徴情報の照合方法については後に詳述する。

【0028】

距離算出部２３ｂは、特徴照合部２３ａによる照合の結果、第１演算部２１内の物体検出部２１ａによって検出された物体と第２演算部２２内の物体検出部２２ａによって検出された物体が同一の物体であると判断された場合、その物体までの距離を算出して出力する。距離算出部２３ｂによる距離の算出方法については後に詳述する。

【0029】

特徴選択部２１ｃによる部分画像の切り出し処理について説明する。特徴選択部２１ｃは、検出された物体を近似する直方体の全６面のうち、第１カメラ３０および第２カメラ４０の両方から観測可能な面を特定する。直方体モデルにより物体を近似する場合、直方体を構成する全６面のうち最大で３面が撮影画像上に投影される。特徴選択部２１ｃは、まず第１カメラ３０の撮影画像で当該物体のどの面が観測されたのかを調べる。物体が検出されているのだから、ここでは少なくとも１面が観測されているはずである。

【0030】

次に特徴選択部２１ｃは、他方のカメラ、すなわち第２カメラ４０においてそれらの面がどのように観測されるのかを予測する。特徴選択部２１ｃは、第１カメラ３０および第２カメラ４０の幾何情報と、物体検出部２１ａが出力した検出結果情報（例えば当該物体のバウンディングボックスを構成する頂点の情報）を用いて、第２カメラ４０においてそれらの面がどのように観測されるのかを予測する。例えば、直方体を構成する６面のうち、第２カメラ４０から見て他の面に遮蔽されている面は、第２カメラ４０から観測できないと判断することができる。また、ある面が第２カメラ４０の光軸と平行であった場合、その面は第２カメラ４０から観測できないと判断することができる。

【0031】

ここで用いられる第１カメラ３０および第２カメラ４０の幾何情報とは、第１カメラ３０および第２カメラ４０の取付位置や取付角度、カメラの仕様（焦点距離・光学中心位置・レンズ歪み等）に関する情報である。第１カメラ３０および第２カメラ４０の幾何情報は、予め不揮発性メモリ２４に格納される。

【0032】

特徴選択部２１ｃは、第１カメラ３０および第２カメラ４０の両方で観測される（観測可能な）面を特定し、それらの面すべてを含む部分画像を第１カメラ３０の撮影画像から切り出す。そして、特徴選択部２１ｃは、切り出した部分画像において、特徴点の探索および画像特徴量の取得を行う。

【0033】

図５は、カメラから観測される面を例示する模式図である。図５（ａ）に示すように、第１カメラ３０からは車両９１を囲うバウンディングボックスの背面９２のみが観測されている。図５（ｂ）に示すように、第２カメラ４０からは車両９１を囲うバウンディングボックスの背面９２および左側面９３が観測されている。この場合、特徴選択部２１ｃは、第１カメラ３０の撮影画像から背面９２の部分画像を切り出し、この部分画像について特徴点の探索および画像特徴量の取得を行う。つまり特徴選択部２１ｃは、車両９１の背面９２から特徴点の探索および画像特徴量の取得を行う。第２演算部２２の特徴選択部２２ｃにおいても第１演算部２１の特徴選択部２１ｃと同様の予測が為され、特徴選択部２２ｃも車両９１の背面９２から特徴点の探索および画像特徴量の取得を行う。したがって、第１演算部２１と第２演算部２２がそれぞれ出力する特徴点は互いにマッチングされる可能性が高くなる。少なくとも、第１演算部２１と第２演算部２２のうち一方でしか探索されず（一方のカメラからしか見えず）絶対に正しくマッチングできない無駄な特徴点は排除される。

【0034】

特徴照合部２３ａによる画像特徴情報の照合方法について説明する。もっとも単純な方法は、ある物体について一方の撮影画像から取得された複数の画像特徴量と他方の撮影画像から取得された複数の画像特徴量同士を総当りでマッチングし、十分に似ている一対の画像特徴量を探すやり方である。ただし、このような処理は画像特徴量の組み合わせの数が莫大になり計算量が大きくなる。また、本当は異なる特徴点同士を同一地点であると判断してしまう誤マッチングも発生する可能性が高くなる。

【0035】

これに対し、エピポール拘束式と呼ばれる式を用いることで、両方の撮影画像に写っている同一位置を効率的に探索できることが知られている。エピポール拘束式は、一方の撮影画像においてある位置が写っている二次元座標を与えた場合に、他方の撮影画像において同一位置が写っている可能性がある場所を直線（エピポーラ線）によって与える。つまり、他方の撮影画像の全体から同一位置を探索する必要はなく、エピポーラ線上だけを探索すればよいという条件を与える。例えば、ある物体について一方の撮影画像から探索された１つの特徴点について、エピポール拘束式によりエピポーラ線を得る。そして、同一の物体について他方の撮影画像から探索された複数の特徴点から、エピポーラ線上に存在する特徴点だけを抽出する。あとは、抽出した特徴点それぞれについて、前述した１つの特徴点と画像特徴量のマッチングを行えばよい。エピポール拘束式で用いられる基本行列は、第１カメラ３０の外部パラメータ行列および内部パラメータ行列と、第２カメラ４０の外部パラメータ行列および内部パラメータ行列から導かれる。これらのパラメータ行列は、予め不揮発性メモリ２４に格納される。

【0036】

また、上記に示したパラメータ行列を適切に用いて、予め撮影画像のペアに対して平行化として知られている前処理を施しておけば、世界座標系における同一地点が２つの撮影画像の両方で同一の高さに並ぶような画像に変換することができる。このように平行化された画像のペアを撮影画像の代わりに第１演算部２１および第２演算部２２に入力すると、同一地点に対応する特徴点同士は二次元座標の縦方向の値が同一の値となるため、比較的簡易な処理で同一位置の探索が実施できる。これは平行ステレオカメラの原理である。いずれにせよ、特徴照合部２３ａによる画像特徴情報の照合は、２つのカメラのパラメータや設置条件などの情報から実施することができる。

【0037】

距離算出部２３ｂによる距離の算出方法について説明する。

【0038】

図６は、車両座標系を示す模式図である。以下の説明において、車両９０の進行方向をｘ軸、車両９０の水平方向（幅方向）をｙ軸、車両９０の鉛直方向をｚ軸とする。

【0039】

図７は、第１カメラ３０および第２カメラ４０による撮影画像を例示する模式図である。第１カメラ３０による撮影画像８６は、車両９０の前方を写した画像である。また、第２カメラ４０による撮影画像８５は、車両９０の左前方を写した画像である。以下の説明において、撮影画像８５および撮影画像８６内の二次元座標を（ｕ，ｖ）と表記する。図７に示すように、撮影画像８５および撮影画像８６の右方向が＋ｕ、撮影画像８５および撮影画像８６の下方向が＋ｖである。

【0040】

車両９０から物体までの距離を推定する方法の一例として、複数のカメラにより同一の物体を撮影し、三角測量の原理で計測する方法が知られている。道路８０上に存在する世界座標系の任意の点を斉次座標系でＸ＝（ｘ，ｙ，ｚ，１）^Ｔ、カメラの回転角に関する外部パラメータ行列をＲ、カメラの設置位置に関する外部パラメータ行列をＴとして、外部パラメータ行列をＰ＝（Ｒ｜Ｔ）、カメラの焦点距離や光学中心など内部状態を管理する内部パラメータ行列をＫ、Ｘで示す点が撮像された画像座標を斉次座標系でＵ＝（ｕ，ｖ，１）^Ｔ、スケールパラメータをｓとすると、第１カメラ３０および第２カメラ４０において次式（１）、（２）が成り立つ。なお、ここでは透視投影モデルを仮定している。また、記号上の添え字はカメラの種類を表す。すなわち、添え字０の各記号は第１カメラ３０に関する記号を、添え字１の各記号は第２カメラ４０に関する記号をそれぞれ表す。

【0041】

【数1】

【0042】

第１カメラ３０の撮影画像８５において点Ｘ（物体上のある一点に対応する世界座標系の一地点）二次元座標がＵ_０であり、第２カメラ４０の撮影画像８６における点Ｘの二次元座標がＵ_１であった場合、例えば次式（３）を用いて最小二乗法を解くことにより、点Ｘの三次元座標を算出することができる。

【0043】

【数2】

【0044】

距離算出部２３ｂは、上式（３）を用いて最小二乗法を解くことにより、物体までの距離を算出する。例えば図７に示す物体８７において探索された特徴点８８は、図７（ａ）に示す撮影画像８５と、図７（ｂ）に示す撮影画像８６の両方で観測されている。特徴点８８は、物体８７の同一箇所を指す点である。換言すると、特徴点８８は、世界座標系において同一の三次元座標を有している。この場合、図７（ａ）に示す撮影画像８５における特徴点８８の二次元座標がＵ_０であり、図７（ｂ）に示す撮影画像８６における特徴点８８の二次元座標がＵ_１である。距離算出部２３ｂは、上式（３）にこれらの二次元座標の値を当てはめ、最小二乗法を解くことにより、車両９０から前方で検出された物体８７までの距離を算出する。

【0045】

なお、エピポール拘束式で用いられる基本行列Ｆは、第１カメラ３０および第２カメラ４０の外部パラメータ行列および内部パラメータ行列から導かれ、次式（４）で表される。

【0046】

【数3】

【0047】

図８は、演算装置２０が実行するプログラムのフローチャートである。図８に示す処理は、不揮発性メモリ２４に格納されている所定のプログラムを演算装置２０（第１演算部２１、第２演算部２２、および第３演算部２３）が読み出して実行することにより実現される。

【0048】

ステップＳ１００において、第１演算部２１および第２演算部２２が第１カメラ３０および第２カメラ４０に画像を撮影させる。第１カメラ３０による撮影画像は画像信号として第１演算部２１内の物体検出部２１ａに送信される。第２カメラ４０による撮影画像は画像信号として第２演算部２２内の物体検出部２２ａに送信される。

【0049】

ステップＳ１１０において、物体検出部２１ａが第１カメラ３０による撮影画像から１つ以上の物体を検出すると共に、物体検出部２２ａが第２カメラ４０による撮影画像から１つ以上の物体を検出する。

【0050】

ステップＳ１２０において、第１演算部２１内の特徴選択部２１ｃが物体検出部２１ａによる物体検出の結果（検出結果情報）および不揮発性メモリ２４に格納されている第１カメラ３０および第２カメラ４０に関する情報に基づき、検出された各物体について、第１カメラ３０と第２カメラ４０の両方から観測される面を特定する。換言すると、特徴選択部２１ｃは、第１カメラ３０と第２カメラ４０の両方から可視な面を特定する。

【0051】

ステップＳ１２０では更に、第２演算部２２内の特徴選択部２２ｃも、物体検出部２２ａによる物体検出の結果（検出結果情報）および不揮発性メモリ２４に格納されている第１カメラ３０および第２カメラ４０に関する情報に基づき、検出された各物体について、第１カメラ３０と第２カメラ４０の両方から観測される面を特定する。換言すると、特徴選択部２２ｃは、第１カメラ３０と第２カメラ４０の両方から可視な面を特定する。

【0052】

ステップＳ１３０において、特徴選択部２１ｃが第１カメラ３０による撮影画像からステップＳ１２０で特定した面に相当する部分画像を切り出す。また、特徴選択部２２ｃが第２カメラ４０による撮影画像からステップＳ１２０で特定した面に相当する部分画像を切り出す。

【0053】

ステップＳ１４０において、特徴選択部２１ｃがステップＳ１３０で切り出した部分画像からＳＩＦＴやＯＲＢ等の特徴点を探索する。また、特徴選択部２２ｃがステップＳ１３０で切り出した部分画像からＳＩＦＴやＯＲＢ等の特徴点を探索する。

【0054】

ステップＳ１５０において、特徴選択部２１ｃがステップＳ１４０で探索した特徴点の各々についてＳＩＦＴやＯＲＢ等の画像特徴量を取得する。また、特徴選択部２２ｃがステップＳ１４０で探索した特徴点の各々についてＳＩＦＴやＯＲＢ等の画像特徴量を取得する。

【0055】

ステップＳ１６０において、第３演算部２３内の特徴照合部２３ａが、ステップＳ１４０で特徴選択部２１ｃにより探索された複数の特徴点の画像特徴量と、ステップＳ１４０で特徴選択部２２ｃにより探索された複数の特徴点の画像特徴量とを照合する。つまり、特徴照合部２３ａは、同一地点を指し示している可能性のある特徴点のペアごとに、それらの特徴点に対応する画像特徴量同士を比較してそれらの画像特徴量同士が十分に似ている（近い）かどうかを調べ、同一地点を指し示している特徴量のペアを特定する。

【0056】

ステップＳ１７０において、距離算出部２３ｂは、ステップＳ１６０で照合した結果を上式（３）に当てはめ、最小二乗法を解くことによりステップＳ１１０で検出した物体の距離を算出する。

【0057】

上述した第１実施形態によれば、次の作用効果を奏する。

【0058】

（１）演算装置２０は、複数のカメラ（第１カメラ３０および第２カメラ４０）で各々撮影された複数の画像毎に物体を検知し、複数の画像毎に物体までの距離を推定する。演算装置２０は、推定された複数の画像毎の物体までの距離と、複数のカメラ（第１カメラ３０および第２カメラ４０）のカメラパラメータとを用いて、物体の特徴点のうち複数の画像のいずれにおいても取得可能な特徴点を決定する。演算装置２０は、複数の画像毎に決定された特徴点の周辺の特徴量を求め、複数の画像の特徴量を照合する。演算装置２０は、特徴量を照合した結果に基づいて、物体までの距離を測定する。このようにしたので、演算装置２０を複数の計算資源から構成した場合に、全ての画像データよりも少ないデータ伝送量で被写体の三次元位置を推定することができる。

【0059】

（２）演算装置２０は、複数の画像毎に物体を囲う三次元のバウンディングボックスを求め、バウンディングボックスを構成する複数の面のうち、複数のカメラ（第１カメラ３０および第２カメラ４０）により撮影可能な対象面を決定し、対象面に含まれる特徴点の周辺の特徴量を求める。このようにしたので、特定のカメラからしか観測されない場所にある特徴点を排除し、特徴点の照合精度を向上させることができる。

【0060】

（３）演算装置２０は、第１カメラ３０が接続された第１演算部２１（第１の計算資源）と、第２カメラ４０が接続された第２演算部２２（第２の計算資源）とを備え、第１演算部２１（第１の計算資源）および第２演算部２２（第２の計算資源）のそれぞれは、物体を検知し、物体までの距離を推定し、特徴点を決定し、決定された特徴点の周辺の特徴量を求める。このようにしたので、全ての画像データよりも少ないデータ伝送量で被写体の三次元位置を推定することができる。

【0061】

＜第２実施形態＞
図９を参照して、本発明の第２実施形態に係る画像処理装置１０について説明する。なお、第１実施形態で説明した構成と同一もしくは相当する構成には同一の参照記号を付し、相違点を主に説明する。

【0062】

図９は、図８と同様の図であり、第２実施形態に係る演算装置２０が実行するプログラムのフローチャートである。図９のフローチャートでは、図８のフローチャートのステップＳ１３０の処理に代えて、ステップＳ２００，Ｓ２１０の処理が実行される。

【0063】

ステップＳ２００において、特徴選択部２１ｃがステップＳ１２０で特定した全ての面（両方のカメラから観測される全ての面）について、第１カメラ３０の撮影画像におけるその面から第２カメラ４０の撮影画像におけるその面への射影変換行列を推定する。射影変換行列は３行３列の計９個のスカラー値から成る行列であるが、うち１つは値が「１」で固定なので８パラメータの行列とみなすことができる。射影変換行列は、第１カメラ３０の外部パラメータ行列および内部パラメータ行列、ならびに、第２カメラ４０の外部パラメータ行列および内部パラメータ行列から推定できることが知られている。

【0064】

ステップＳ２００では、上記の処理と並行して、第２演算部２２内の特徴選択部２２ｃも同様の処理を実行する。すなわち、特徴選択部２２ｃがステップＳ１２０で特定した全ての面（両方のカメラから観測される全ての面）について、第１カメラ３０の撮影画像におけるその面から第２カメラ４０の撮影画像におけるその面への射影変換行列を推定する。

【0065】

ステップＳ２１０において、ステップＳ１２０で特定した面（両方のカメラから観測される全ての面）のうち、カメラ間での変形度合いがもっとも小さい１つの面について、第１カメラ３０による撮影画像からその１つの面に相当する部分画像を切り出す。カメラ間での変形度合いは、ステップＳ２００で推定した射影変換行列に基づいて算出することができる。例えば、各面に対応する射影変換行列に対してフロベニウスノルムなどの行列ノルムを計算し、その値を「カメラ間での変形度合い」を示す値として扱う。この場合、行列ノルムの値がもっとも小さい面を、部分画像を切り出す面とする。

【0066】

ステップＳ２１０では、上記の処理と並行して、第２演算部２２内の特徴選択部２２ｃも同様の処理を実行する。すなわち、特徴選択部２２ｃがステップＳ１２０で特定した面（両方のカメラから観測される全ての面）のうち、カメラ間での変形度合いがもっとも小さい１つの面について、第２カメラ４０による撮影画像からその１つの面に相当する部分画像を切り出す。

【0067】

カメラ間での変形度合いがもっとも小さい面に相当する部分画像を切り出すのは、変形度合いが大きい場合、同一の地点から取得された画像特徴であっても照合できない可能性が高いからである。つまり、カメラ間での変形度合いが小さい箇所で取得された画像特徴の方が、照合の精度が高いため、そのような箇所を優先的に選択することで照合精度を高めることができる。

【0068】

上述した第２実施形態によれば、次の作用効果を奏する。

【0069】

（１）演算装置２０は、複数の画像毎に物体を囲う三次元のバウンディングボックスを求め、バウンディングボックスを構成する複数の面に対して、複数のカメラ（第１カメラ３０および第２カメラ４０）により撮影された画像間の射影変換を推定する。演算装置２０は、推定された複数の面の射影変換における変形度に基づいて、特徴点を取得する対象面を決定し、対象面に含まれる特徴点の周辺の特徴量を求める。このようにしたので、照合精度を高めることができる。

【0070】

＜第３実施形態＞
図１０～図１２を参照して、本発明の第３実施形態に係る画像処理装置１１０について説明する。なお、第１実施形態で説明した構成と同一もしくは相当する構成には同一の参照記号を付し、相違点を主に説明する。

【0071】

図１０は、図４と同様の図であり、本発明の第３実施形態に係る画像処理装置１１０の構成を模式的に示すブロック図である。図１０に示した第３実施形態に係る画像処理装置１１０は、演算装置２０に代えて演算装置１２０を備える。演算装置１２０は、第１演算部２１に代えて第１演算部１２１を、第２演算部２２に代えて第２演算部１２２を、第３演算部２３に代えて第３演算部１２３を備える。

【0072】

第１演算部１２１は、物体検出部１２１ａ、距離推定部１２１ｂ、および特徴選択部１２１ｃを備える。物体検出部１２１ａは、直方体モデルではなく二次元の矩形モデルを採用する。つまり第３実施形態に係る物体検出部１２１ａは、世界座標系において検出した物体を囲う三次元のバウンディングボックスの代わりに、撮影画像において検出した物体を囲う二次元のバウンディングボックスを用いる。第３実施形態における検出結果情報には、検出した物体の属性（例えば車両、歩行者など物体の種別を表す情報）と、撮影画像において検出した物体を囲う二次元のバウンディングボックスを構成する各頂点の撮影画像における二次元座標が含まれる。

【0073】

距離推定部１２１ｂは、第１カメラ３０から物体検出部１２１ａが検出した物体までの距離を推定する。距離推定部１２１ｂは、物体検出部１２１ａが出力した検出結果情報と、幾何拘束などの条件に基づき、物体までの距離を推定する。

【0074】

幾何拘束とは、第１カメラ３０の幾何的条件と観測している環境の幾何的条件に基づいて求められる。例えば検出対象の物体が他車両であった場合の例を以下で説明する。他車両が接地している道路をｚ＝０の平面とすると、他車両が道路に接している点は三次元座標（ｘ，ｙ，０）で表される。第１カメラ３０の設置位置や設置角度、第１カメラ３０の仕様等が判明していれば、その点が撮影画像上のどの位置に撮像されるかを推定することができる。他車両と道路の接地位置が撮影画像上のどこにあるのかが分かれば、その設置位置の世界座標系の三次元座標（ｘ，ｙ，０）を逆算できる。第１カメラ３０の設置位置や設置角度、第１カメラ３０の仕様等とは、すなわち第１カメラ３０の外部パラメータ行列および内部パラメータ行列である。距離推定部１２１ｂは、不揮発性メモリ２４から第１カメラ３０の外部パラメータ行列および内部パラメータ行列を読み出して、物体までの距離の推定に利用する。

【0075】

なお、距離推定部１２１ｂによる距離の推定方法は上述した方法に限らない。距離推定部１２１ｂは、距離情報を特徴選択部１２１ｃおよび第３演算部１２３内の特徴照合部１２３ａに出力する。距離情報とは、例えば物体ごとに推定した距離の情報である。距離推定部１２１ｂは、他車両以外の物体、例えば歩行者などについても同様の考え方でその物体までの距離を推定する。

【0076】

特徴選択部１２１ｃは、検出された物体の属性に基づき、その物体の二次元バウンディングボックスのどの位置が両方のカメラから可視であり、かつカメラ間での変形度合いが少ないかを、第１カメラ３０および第２カメラ４０の設置位置や設置角度、仕様等に基づき調べる。具体的には、検出された物体の二次元バウンディングボックスを複数の領域に分割し、各領域における変形度合いを算出する。特徴選択部１２１ｃは、それらの各領域のうち可視でありかつ変形度合いが小さい領域に対応する領域を部分画像の切り出し対象とする。

【0077】

図１１は、二次元バウンディングボックスを複数の領域に分割する様子を示す模式図である。図１１では、物体の属性が歩行者である場合を例示している。図１１に示す二次元バウンディングボックス９４が歩行者を囲っているのだとすれば、この二次元バウンディングボックス９４を縦方向に所定の比率で３つの領域に分割することにより、頭部、中央部、脚部をそれぞれ含む３つの領域９５、領域９６、領域９７に分割することができる。このとき、中央部の領域９６は歩行者の腕部を含んでいると推定されるので、他の領域よりも時系列的な変化が大きいと考えられる。したがって特徴選択部１２１ｃは、より確実に照合を行うことができるよう、時系列的な変化の少ない頭部や脚部を含む領域９５や領域９７を部分画像の切り出し対象とする。このように、第３実施形態に係る特徴選択部１２１ｃは、物体の検知結果だけでなく、物体の種別と物体の経時的な形状変化の度合いを対応付けた物体形状情報に基づいて、特徴点を取得する位置を決定する。

【0078】

図１０に示す第２演算部１２２は、物体検出部１２２ａ、距離推定部１２２ｂ、および特徴選択部１２２ｃを備える。これらの各部は、それぞれ第１演算部１２１が有する物体検出部１２１ａ、距離推定部１２１ｂ、および特徴選択部１２１ｃと同一の働きをするため、説明を省略する。

【0079】

第３演算部１２３は、図４に示した第３演算部２３の特徴照合部２３ａに代えて、特徴照合部１２３ａを備える。特徴照合部１２３ａは、距離推定部１２１ｂおよび距離推定部１２２ｂが出力する距離情報を用いることを除いて、第１実施形態の特徴照合部２３ａと同様の処理を実行する。

【0080】

図１２は、図８と同様の図であり、第３実施形態に係る演算装置１２０が実行するプログラムのフローチャートである。図１２のフローチャートでは、図８のフローチャートのステップＳ１１０～Ｓ１３０の処理に代えて、ステップＳ２２０～Ｓ２５０の処理が、ステップＳ１６０の処理に代えて、ステップＳ２６０の処理が、それぞれ実行される。

【0081】

ステップＳ２２０において、物体検出部１２１ａが第１カメラ３０による撮影画像から１つ以上の物体を検出すると共に、物体検出部１２２ａが第２カメラ４０による撮影画像から１つ以上の物体を検出する。

【0082】

ステップＳ２３０において、距離推定部１２１ｂが物体検出部１２１ａによる物体検出の結果（検出結果情報）に基づき、検出された各物体について、第１カメラ３０からその物体までの距離を推定する。また、距離推定部１２２ｂが物体検出部１２２ａによる物体検出の結果（検出結果情報）に基づき、検出された各物体について、第２カメラ４０からその物体までの距離を推定する。

【0083】

ステップＳ２４０において、第１演算部１２１内の特徴選択部１２１ｃが物体検出部１２１ａによる物体検出の結果（検出結果情報）と、距離推定部１２１ｂによる距離推定の結果（距離情報）と、不揮発性メモリ２４に格納されている第１カメラ３０および第２カメラ４０に関する情報とに基づき、検出された各物体について、第１カメラ３０と第２カメラ４０の両方から観測される面を特定する。換言すると、特徴選択部１２１ｃは、第１カメラ３０と第２カメラ４０の両方から可視な面を特定する。

【0084】

ステップＳ２４０では更に、第２演算部１２２内の特徴選択部１２２ｃが物体検出部１２２ａによる物体検出の結果（検出結果情報）と、距離推定部１２２ｂによる距離推定の結果（距離情報）と、不揮発性メモリ２４に格納されている第１カメラ３０および第２カメラ４０に関する情報とに基づき、検出された各物体について、第１カメラ３０と第２カメラ４０の両方から観測される面を特定する。換言すると、特徴選択部１２２ｃは、第１カメラ３０と第２カメラ４０の両方から可視な面を特定する。

【0085】

ステップＳ２５０において、特徴選択部１２１ｃが第１カメラ３０による撮影画像からステップＳ２４０で特定した面のうち、時系列的な変化度合いが小さい面に相当する部分画像を切り出す。また、特徴選択部１２２ｃが第２カメラ４０による撮影画像からステップＳ２４０で特定した面のうち、時系列的な変化度合いが小さい面に相当する部分画像を切り出す。

【0086】

ステップＳ２６０において、第３演算部１２３内の特徴照合部１２３ａが、ステップＳ１４０で特徴選択部１２１ｃにより探索された複数の特徴点の画像特徴量と、ステップＳ１４０で特徴選択部１２２ｃにより探索された複数の特徴点の画像特徴量とを照合する。

【0087】

上述した第３実施形態によれば、次の作用効果を奏する。

【0088】

（１）演算装置１２０は、物体の検知結果と、物体の種別と当該物体の経時的な形状変化の度合いを対応付けた物体形状情報と、に基づいて、物体のうち特徴点を取得する位置を決定する。このようにしたので、物体の種別に応じて最適な箇所から特徴点を取得することができ、照合精度が向上する。

【0089】

＜第４実施形態＞
図１３を参照して、本発明の第４実施形態に係る画像処理装置２１０について説明する。なお、第１実施形態で説明した構成と同一もしくは相当する構成には同一の参照記号を付し、相違点を主に説明する。

【0090】

図１３は、図４と同様の図であり、本発明の第４実施形態に係る画像処理装置２１０の構成を模式的に示すブロック図である。図１３に示した第４実施形態に係る画像処理装置２１０は、演算装置２０に代えて演算装置２２０を備える。演算装置２２０は、第２演算部２２および第３演算部２３に代えて第２演算部２２２を備える。

【0091】

第２演算部２２２は、図４に示した第２演算部２２および第３演算部２３を一体に構成したものである。すなわち第２演算部２２２は、物体検出部２２ａ、特徴選択部２２ｃ、特徴照合部２３ａ、および距離算出部２３ｂを備える。

【0092】

このように構成したので、第１実施形態において互いに独立した計算資源である第２演算部２２と第３演算部２３との間で行われていたデータ伝送は、第４実施形態では単一の計算資源である第２演算部２２２の内部に閉じた形となる。つまり、第４実施形態における計算資源間のデータ伝送は、第１演算部２１と第２演算部２２２との間でだけ行われる。

【0093】

上述した第４実施形態によれば、次の作用効果を奏する。

【0094】

（１）演算装置２２０は、第１カメラ３０が接続された第１演算部２１（第１の計算資源）と、第２カメラ４０が接続された第２演算部２２２（第２の計算資源）とを備え、第１演算部２１（第１の計算資源）および第２演算部２２２（第２の計算資源）のそれぞれは、物体を検知し、物体までの距離を推定し、特徴点を決定し、決定された特徴点の周辺の特徴量を求める。このようにしたので、全ての画像データよりも少ないデータ伝送量で被写体の三次元位置を推定することができる。

【0095】

次のような変形例も本発明の範囲内であり、変形例に示す構成と上述の実施形態で説明した構成を組み合わせたり、上述の異なる実施形態で説明した構成同士を組み合わせたり、以下の異なる変形例で説明する構成同士を組み合わせることも可能である。

【0096】

＜変形例１＞
上述した各実施形態では、カメラから観測される面について、カメラと処理対象の物体との間に別の物体が存在する可能性を考慮していない。特徴選択部２１ｃや特徴選択部２２ｃが、検出した他の物体によって処理対象の物体が遮蔽されているか否かを判定するように構成してもよい。このようにすることで、一方のカメラからしか観測されない面をより確実に排除できるので、画像特徴の照合をより確実に行うことができる。また、画像特徴の照合が決して成功しないような特徴点を排除することができるので、照合に要する計算量を削減することができる。

【0097】

＜変形例２＞
画像特徴量の取得に、上述したＳＩＦＴやＯＲＢ以外の手法を用いてもよい。例えばテンプレートマッチングを用いてもよい。テンプレートマッチングは、一方の撮影画像から関心のある画像座標周辺を矩形などの小さい領域で切り出し、その矩形内の画素分布に近い領域を他方の撮影画像から適当なコスト関数を用いて照合する手法である。また、特徴点をＳＩＦＴやＯＲＢにより取得した後に、ＳＩＦＴやＯＲＢによる特徴量を取得するのではなく、その特徴点近傍から画像の一部領域を切り出して、テンプレートマッチングで照合を行ってもよい。このようにすることで、ＳＩＦＴやＯＲＢが苦手とするシチュエーションであっても確実な照合を行うことができる。

【0098】

＜変形例３＞
画像処理装置に３台以上のカメラを接続してもよい。この場合において、１つの演算部（すなわち演算資源）に対して２台以上のカメラを接続してもよいし、カメラの台数に応じてより多くの演算部を設けてもよい。１つの演算部に対して２台以上のカメラを接続する場合、各カメラによる撮影画像それぞれに対して物体の検出や距離の推定、特徴点の選択等を行えばよい。例えば物体検出部等を演算部に接続されているカメラの台数分用意してもよいし、１つの物体検出部が演算部に接続されている全カメラの撮影画像から物体を検出するようにしてもよい。このようにカメラの台数が多い場合、本発明を適用することによるデータ伝送量の削減効果は（全てのカメラから画像データを集約する場合に比べて）より大きくなる。

【0099】

＜変形例４＞
三次元バウンディングボックスは、各頂点の三次元座標による表現を用いなくてもよい。例えば、三次元バウンディングボックスの中心位置の三次元座標と、三次元バウンディングボックスのサイズ（幅、奥行き、高さ）と、三次元バウンディングボックスの向きによる表現を用いてもよい。

【0100】

＜変形例５＞
カメラ間での面の変形度合いは、上述した射影変換行列の行列ノルムでなくてもよい。例えば、一方のカメラにおける面の各頂点の座標と、他方のカメラにおける対応する面の各頂点の座標との最小二乗和を算出し、その値をカメラ間での面の変形度合いとしてもよい。

【0101】

＜変形例６＞
カメラ間での面の変形度合いを射影変換行列により算出する際、射影変換行列の全体ではなく一部だけを用いるようにしてもよい。例えばＳＩＦＴはスケール変化（拡大・縮小）に対して耐性があるので、射影変換行列に含まれる拡大・縮小成分は無視しても変形度合いの記述には問題ない。そのため、射影変換行列から拡大・縮小成分を除去してから行列ノルムを算出してもよい。

【0102】

＜変形例７＞
第３実施形態のように、物体の属性（種類）に関する情報を利用可能な場合、より高度にその情報を利用してもよい。例えば検出された物体が歩行者であった場合、人の骨格情報などを推定することで、その歩行者の姿勢を推定することができる。この場合、単に二次元バウンディングボックスを一定比率で分割するのではなく、推定した姿勢に応じて時間的な変化の小さい領域をより精緻に特定することができる。

【0103】

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

【符号の説明】

【0104】

１０，１１０，２１０…画像処理装置、２０，１２０，２２０…演算装置、２１，１２１…第１演算部（計算資源）、２２，１２２，２２２…第２演算部（計算資源）、２３，１２３…第３演算部（計算資源）、２１ａ，２２ａ，１２１ａ，１２２ａ…物体検出部、１２１ｂ，１２２ｂ…距離推定部、２１ｃ，２２ｃ，１２１ｃ，１２２ｃ…特徴選択部、２３ａ，１２３ａ…特徴照合部、２３ｂ…距離算出部、３０…第１カメラ（カメラ）、４０…第２カメラ（カメラ）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】