特許 7483790 画像処理装置、画像処理方法、移動体、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-07

(45)【発行日】2024-05-15

(54)【発明の名称】画像処理装置、画像処理方法、移動体、及びコンピュータプログラム

(51)【国際特許分類】

   G01C 3/06 20060101AFI20240508BHJP

   G06T 7/00 20170101ALI20240508BHJP

   G08G 1/16 20060101ALI20240508BHJP

   G06T 7/593 20170101ALI20240508BHJP

【ＦＩ】

G01C3/06 110V

G06T7/00 650A

G08G1/16 C

G06T7/593

【請求項の数】 15

(21)【出願番号】P 2022082368

(22)【出願日】2022-05-19

(65)【公開番号】P2023170536

(43)【公開日】2023-12-01

【審査請求日】2022-12-15

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】田中 伸

(72)【発明者】

【氏名】大屋 強

(72)【発明者】

【氏名】浦野 雄太

【審査官】仲野 一秀

(56)【参考文献】

【文献】特開２０１９－２００７７６（ＪＰ，Ａ）

【文献】国際公開第２０１２／０１４６２７（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１６７２３８（ＷＯ，Ａ１）

【文献】国際公開第２０１７／０９８７０９（ＷＯ，Ａ１）

【文献】特開２０１７－０８４２５９（ＪＰ，Ａ）

【文献】国際公開第２０２１／１６１４４３（ＷＯ，Ａ１）

【文献】特開２０１８－００５８９１（ＪＰ，Ａ）

【文献】特開平０３－０９２９７８（ＪＰ，Ａ）

【文献】特開２０１９－０７８６２６（ＪＰ，Ａ）

【文献】特開２０２０－１０７０５２（ＪＰ，Ａ）

【文献】特開２００６－２６８０９７（ＪＰ，Ａ）

【文献】特開２００５－３４６６５２（ＪＰ，Ａ）

【文献】特開２０１７－０２１７８０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ３／０６

Ｇ０６Ｔ １／００

７／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

画像情報を、複数の分割領域に分割し、各分割領域内の画像に対して少なくとも色情報に基づく境界を検出する境界検出手段と、
前記画像情報の各画素の距離相当情報に基づき、前記分割領域内の前記境界で区切られたサブ領域毎に前記距離相当情報を統合して、前記サブ領域の夫々の距離を示す統合距離相当情報を決定する統合距離相当情報決定手段と、
前記サブ領域に対して、前記サブ領域の前記統合距離相当情報に応じて所定の分類分けをする分類手段と、を有することを特徴とする画像処理装置。

【請求項2】

前記分類手段は、前記サブ領域を空と道路とそれ以外の３つの分類のいずれかに分類分けすることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記境界検出手段は、前記画像情報を、画面の上端の画素から下端の画素まで縦方向に延びる複数の分割領域に分割することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記画像情報の各画素に対して前記距離相当情報を検出する距離相当情報測定手段を有することを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記距離相当情報測定手段は、前記色情報に基づいて各画素の距離相当情報の確からしさを表す信頼度を生成し、
前記統合距離相当情報決定手段は、前記信頼度に基づいて重み付けされた各画素の前記距離相当情報に基づいて前記サブ領域毎の統合距離相当情報を決定することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

被写体を撮像して視点が異なる複数の画像を生成する撮像手段を有し、
前記距離相当情報測定手段は、前記色情報に基づいて前記複数の画像の視差量を算出し、前記色情報に基づいて各画素の前記視差量の確からしさを示す視差信頼度を算出し、前記視差信頼度に基づいて前記信頼度を生成することを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記距離相当情報測定手段は、前記複数の画像の輝度値が所定値以上の画素の前記視差信頼度を、輝度値が所定未満の場合よりも低くなるように算出することを特徴とする請求項６に記載の画像処理装置。

【請求項8】

被写体を撮像して前記画像情報を生成する撮像手段を有し、
前記距離相当情報測定手段は、前記撮像手段の画素内に配置された第１の光電変換部と第２の光電変換部からの信号に基づき位相差測距方式により前記距離相当情報を測定することを特徴とする請求項４に記載の画像処理装置。

【請求項9】

前記距離相当情報測定手段は、ステレオカメラからの２つの画像信号に基づき位相差測距方式により前記距離相当情報を測定することを特徴とする請求項４に記載の画像処理装置。

【請求項10】

前記境界検出手段は、前記色情報が所定の閾値より変化する位置を前記境界として検出することを特徴とする請求項１に記載の画像処理装置。

【請求項11】

前記分割領域は、所定方向に複数の画素を有し、
前記色情報は前記複数の画素に基づいて求められる代表値であることを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

前記分類手段によって前記分類分けがされた前記サブ領域を含む複数の前記分割領域の画像を統合して物体検出を行う物体検出手段を有することを特徴とする請求項１に記載の画像処理装置。

【請求項13】

画像情報を、複数の分割領域に分割し、各分割領域内の画像に対して少なくとも色情報に基づく境界を検出する境界検出手段と、
前記画像情報の各画素の距離相当情報に基づき、前記分割領域内の前記境界で区切られたサブ領域毎に前記距離相当情報を統合して、前記サブ領域の夫々の距離を示す統合距離相当情報を決定する統合距離相当情報決定手段と、
前記統合距離相当情報が決定された前記サブ領域を含む複数の前記分割領域の画像を統合して物体検出を行う物体検出手段と、
前記物体検出手段により検出された物体の情報に基づき走行状態を制御する走行制御手段と、を有することを特徴とする移動体。

【請求項14】

画像情報を、複数の分割領域に分割し、各分割領域内の画像に対して少なくとも色情報に基づく境界を検出する境界検出ステップと、
前記画像情報の各画素の距離相当情報に基づき、前記分割領域内の前記境界で区切られたサブ領域毎に前記距離相当情報を統合して、前記サブ領域の夫々の距離を示す統合距離相当情報を決定する統合距離相当情報決定ステップと、
を有することを特徴とする画像処理方法。

【請求項15】

請求項１～１２のいずれか１項に記載の画像処理装置又は請求項１３に記載の移動体の各手段をコンピュータによって制御するためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体までの距離情報を処理する画像処理装置、画像処理方法、移動体、及びコンピュータプログラム等に関する。

【背景技術】

【0002】

光電変換機能を有する複数の画素領域を２次元状に配置したセンサを有し、各画素領域において、画像信号と距離情報とを取得可能な撮影装置がある。特許文献１に記載の固体撮像素子は、撮像素子の一部あるいは全部の画素に測距機能を有する画素を配置し、撮像面において検出した位相差に基づいて被写体距離を検出する（撮像面位相差方式）。

【0003】

即ち、撮影装置が備える撮像光学系の異なる瞳領域を通過した光束により生成される像に基づく２つの画像信号の相関関係に基づいて位置ずれを演算し、位置ずれに基づいて距離を取得する。２つの画像信号の相関関係は、各画像信号から所定の照合領域に含まれる画像信号を切り出して相関関係を評価する領域ベースのマッチング手法などの手法を用いて評価される。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００７－２８１２９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、画像信号に含まれる被写体のコントラスト変化が少ない場合、または、画像信号に含まれるノイズ量が多い場合など、被写体や撮影条件に起因して相関関係の誤評価が発生することがある。相関関係を誤評価の発生が一定以上含まれる場合、演算された２つの画像信号間の位置ズレ量が誤差を有し、取得される距離の精度が低下する恐れがある。

【0006】

本発明は、距離ばらつきの影響を低減可能な画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一側面に係る画像処理装置は、
画像情報を、複数の分割領域に分割し、各分割領域内の画像に対して少なくとも色情報に基づく境界を検出する境界検出手段と、
前記画像情報の各画素の距離相当情報に基づき、前記分割領域内の前記境界で区切られたサブ領域毎に前記距離相当情報を統合して、前記サブ領域の夫々の距離を示す統合距離相当情報を決定する統合距離相当情報決定手段と、
前記サブ領域に対して、前記サブ領域の前記統合距離相当情報に応じて所定の分類分けをする分類手段と、
を有することを特徴とする。

【発明の効果】

【0008】

本発明によれば、距離ばらつきの影響を低減可能な画像処理装置を実現することができる。

【図面の簡単な説明】

【0009】

【図1】第１の実施形態に係る車両１００の構成例を示す模式図である。

【図2】第１の実施形態に係る車両１００の内部の構成例を示すブロック図である。

【図3】第１の実施形態に係る経路生成装置１５０の構成例を示す機能ブロック図である。

【図4】（Ａ）、（Ｂ）は第１の実施形態に係る撮像素子の構成例を示す模式図である。

【図5】（Ａ）～（Ｄ）は撮像面位相差方式における被写体距離と入射光との関係を説明するための模式図である。

【図6】（Ａ）、（Ｂ）は第１の実施形態に係る画像処理部３１０が実行する処理例を示すフローチャートである。

【図7】（Ａ）、（Ｂ）は第１の実施形態に係る境界処理部３２１及び物体検出部３２３が実行する処理例を示すフローチャートである。

【図8】（Ａ）～（Ｅ）は第１の実施形態に係る物体情報生成部３２０が行う処理例における画像および情報の例を示す模式図である。

【図9】境界処理部３２１により行われる図７（Ｂ）のステップＳ７０１１の物体境界候補決定処理の具体例を示すフローチャートである。

【図10】距離情報生成部３２２による、図７（Ｂ）のステップ７０１２における距離相当情報統合処理の詳細な例を示すフローチャートである。

【図11】物体検出部３２３による、図７（Ｂ）のステップ７０１２における物体検出処理の詳細な例を示すフローチャートである。

【図12】距離情報生成部３２２が行う物体ごとの距離情報の生成処理例を示すフローチャートである。

【図13】第１の実施形態に係る経路生成部３３０が実行する経路生成処理例を示すフローチャートである。

【図14】変形例２における距離情報生成部３２２が行う物体距離情報生成処理例を示すフローチャートである。

【図15】Ｎ番目の物体と同一の識別番号の物体の、物体距離情報の時間変化の例を説明するための模式図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。尚、以下の説明では、撮影装置を備えた経路生成装置（電子機器）の例を用いて説明するが、本発明はこれに限定されない。

【0011】

＜第１の実施形態＞
図１は、第１の実施形態に係る車両１００の構成例を示す模式図である。移動体としての車両１００は、撮像装置１１０と、レーダ装置１２０と、経路生成ＥＣＵ１３０と、車両制御ＥＣＵ１４０と、計測器群１６０と、を備える。車両１００は、更に、車両１００の駆動を行うための駆動制御手段としての駆動部１７０、メモリ１９０等を備える。駆動部１７０、メモリ１９０等については、図２を用いて説明する。

【0012】

撮像装置１１０と経路生成ＥＣＵ１３０等は、画像処理装置としての経路生成装置１５０を構成している。車両１００は、運転者１０１が搭乗可能であって、走行時には運転者１０１が車両１００の前方（進行方向）を向いて搭乗する。運転者１０１は、車両１００のハンドルや、アクセルペダル、ブレーキペダルなどの操作部材を操作することによって、車両の動作を制御することができる。尚、車両１００は自動運転機能を有するものであっても良いし、外部からリモートコントロール可能であっても良い。

【0013】

撮像装置１１０は、車両１００の前方（通常の進行方向）を撮影するように配置される。撮像装置１１０は、図１に示すように車両１００の例えばフロントガラスの上端付近の内側に配置され、車両１００の前方に向かって所定の角度範囲（以降、撮影画角）の領域を撮影する。

【0014】

なお、撮像装置１１０は、車両１００の後方（通常の進行方向と逆、後退方向）を撮影するように配置された撮像装置を含んでもよいし、側方を撮影するように配置された撮像装置を含んでもよい。即ち、複数の撮像装置１１０が車両１００に配置されていてもよい。

【0015】

図２は、第１の実施形態に係る車両１００の内部の構成例を示すブロック図である。撮像装置１１０は、車両１００が走行する道路（走行道路）を含む、車両の周囲の環境（周囲環境）を撮影し、撮像装置１１０の撮影画角の範囲内に含まれる物体を検出する。

【0016】

又、撮像装置１１０は、検出した物体の情報（外界情報）と、検出した物体の距離に関する情報（物体距離情報）とを取得し、経路生成ＥＣＵ１３０に出力する。物体距離情報は、所定の参照テーブル、または所定の変換係数や変換式を用いて車両１００の所定の位置から物体までの距離に変換可能な情報であれば良い。例えば、距離を所定の整数値に割り当てた物体距離情報を経路生成ＥＣＵ１３０に逐次出力してもよい。

【0017】

撮像装置１１０は、光電変換機能を有する複数の画素領域を２次元状に配置した例えばＣＭＯＳイメージセンサなどを含み、撮像面位相差方式（撮像面位相差検出方式、撮像面位相差測距方式などとも呼ばれる。）で物体の距離を取得することが可能な構成となっている。撮像面位相差方式による、物体の距離情報の取得については、後述する。

【0018】

レーダ装置１２０は、例えばミリ波帯域からサブミリ波帯域と呼ばれる波長の電磁波を用いたミリ波レーダ装置であり、電磁波を照射し、その反射波を受信することで物体を検知する検知装置である。レーダ装置１２０は、電磁波を照射してから、反射波を受信するまでの時間と反射波の受信強度に基づいて、電磁波の送信方向の物体までの距離を示す距離情報（第４の距離情報）を取得する第４の距離情報取得手段として機能している。レーダ装置１２０は、距離情報を経路生成ＥＣＵ１３０に出力する。

【0019】

本実施形態において、車両１００には複数のレーダ装置１２０が取り付けられ、例えば、車両１００の前側の左右、および後側の左右にそれぞれレーダ装置１２０が取り付けられている。また、各レーダ装置１２０は、所定の角度範囲内に電磁波を照射し、電磁波を送信してから、反射波を受信するまでの時間と反射波の受信強度に基づいて、各レーダ装置１２０からの距離を計測し、物体までの距離情報を生成する。距離情報は、レーダ装置１２０からの距離の他に、反射波の受信強度や物体の相対速度に関する情報を含んでも良い。

【0020】

計測器群１６０は、例えば速度計測器１６１、舵角計測器１６２、角速度計測器１６３を含み、走行速度、舵角、角速度など、車両の駆動状態に関する車両情報を取得する。速度計測器１６１は、車両１００の走行速度を検出する計測器である。舵角計測器１６２は、車両１００の操舵角を検出する計測器である。

【0021】

角速度計測器１６３は、車両１００の旋回方向の角速度を検出する計測器である。各計測器は、計測したパラメータに対応する計測信号を車両情報として経路生成ＥＣＵ１３０に出力する。

【0022】

経路生成ＥＣＵ１３０は、コンピュータとしてのＣＰＵを内蔵し、計測信号、外界情報、物体距離情報、および距離情報等に基づき、車両１００の走行軌跡と、走行軌跡に関する経路情報を生成する。経路生成ＥＣＵ１３０はそれらの走行軌跡や経路情報を車両制御ＥＣＵ１４０に出力する。経路生成ＥＣＵ１３０が処理するデータや実行するコンピュータプログラムは、メモリ１８０に格納されている。

【0023】

ここで、走行軌跡は、車両１００が通過する軌跡（経路）を示す情報である。また、経路情報は、車両１００が通過するための経路に関する情報（道路情報等を含む。）である。

【0024】

車両制御ＥＣＵ１４０は、コンピュータとしてのＣＰＵを内蔵し、経路情報と計測器群１６０から取得した車両情報に基づき、車両１００が経路情報に対応した経路を通過するように、駆動部１７０を制御する。車両制御ＥＣＵ１４０が処理するデータや実行するコンピュータプログラムは、メモリ１９０に格納されている。

【0025】

駆動部１７０は、車両を駆動するための駆動部材であって、例えばタイヤを回転させるためのエネルギーを生成するエンジンやモーターなどの動力部（不図示）、および車両の進行方向を制御するステアリング部等を含む。また、駆動部１７０は、動力部が発生させたエネルギーを用いてタイヤを回転させるためのギアボックス、およびギアボックス内の構成を制御するギア制御ユニット、ブレーキ動作を行うブレーキユニットなどを含む。

【0026】

車両制御ＥＣＵ１４０は、経路情報に対応する経路を車両が通過するように、駆動部１７０を制御して、車両１００の駆動量、制動量、操舵量などを調整する。具体的には、車両制御ＥＣＵ１４０は、ブレーキ、ステアリング、ギア構成などを制御して車両１００を経路上を走行するように動作させる。

【0027】

なお、経路生成ＥＣＵ１３０と車両制御ＥＣＵ１４０とは、共通のＣＰＵと、共通のメモリを有していてもよい。ＨＭＩ２４０は、運転者１０１に対して情報を伝えるためのＨｕｍａｎ Ｍａｃｈｉｎｅ Ｉｎｔｅｒｆａｃｅの略である。

【0028】

ＨＭＩ２４０は、運転者１０１がドライビングポジションに位置するときに、視認可能なディスプレイと、ディスプレイに表示する情報を生成する表示制御装置を含む。また、ＨＭＩ２４０は、音声を出力する装置（スピーカーシステム）と、音声データを生成する音声制御装置を含む。

【0029】

ＨＭＩ２４０内の表示制御装置は、経路生成ＥＣＵ１３０が生成した経路情報に基づいて、ナビゲーション情報をディスプレイに表示する。また、ＨＭＩ２４０内の音声制御装置は、経路情報に基づいて、運転者１０１に経路情報を通知するための音声データを生成し、スピーカーシステムから出力させる。音声データは、例えば、曲がるべき交差点が近づいていることを通知するためのデータなどである。

【0030】

図３は、第１の実施形態に係る経路生成装置１５０の構成例を示す機能ブロック図である。尚、図３に示される機能ブロックの一部は、経路生成装置１５０に含まれるコンピュータに、記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。

【0031】

しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。尚、図３に示される夫々の機能ブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成しても良い。

【0032】

図３において、画像処理装置としての経路生成装置１５０は、撮像装置１１０と、経路生成ＥＣＵ１３０とを備える。撮像装置１１０は、撮像光学系３０１、撮像素子３０２、画像処理部３１０、物体情報生成部３２０、及びメモリ３４０を有する。本実施形態では、撮像光学系３０１、撮像素子３０２、画像処理部３１０、および物体情報生成部３２０は、撮像装置１１０の筐体（不図示）の内部に配置されている。ここで、撮像素子３０２は、被写体を撮像して画像情報を生成する撮像手段として機能している。

【0033】

撮像光学系３０１は、撮像装置１１０の撮影レンズであり、被写体の像（光学像）を撮像素子３０２上に形成する機能を有する。撮像光学系３０１は、複数のレンズ群で構成され、撮像光学系３０１は、撮像素子３０２から所定距離離れた位置に射出瞳を有する。

【0034】

撮像素子３０２はＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサやＣＣＤ（電荷結合素子）イメージセンサから構成され、撮像面位相差測距方式による測距機能を有する。撮像素子３０２は、光電変換機能を有する複数の画素領域を２次元状に配置している。

【0035】

各画素領域は、例えば行方向に分離して配置された２つの光電変換部（第１の光電変換部、第２の光電変換部）を有する。各画素領域の前には例えばＲ，Ｇ，Ｂのいずれか１つのカラーフィルタと、マイクロレンズが配置されている。

【0036】

撮像素子３０２は、撮像光学系３０１を介して撮像素子３０２上に結像した被写体像を光電変換して、被写体像に基づく画像信号を生成し、画像処理部３１０に出力する。画像信号は、各画素領域の光電変換部ごとの出力値からなる信号である。

【0037】

撮像素子３０２は、第１の光電変換部から出力された信号に基づく第１の画像信号と、第２の光電変換部から出力された信号に基づく第２の画像信号とを別々に出力する。或いは第１の画像信号と第２の画像信号を加算した加算信号と、第１の画像信号を別々に画像処理部３１０に出力する。

【0038】

画像処理部３１０は、撮像素子３０２から供給された画像信号に基づいて、画素ごとの赤、緑、青の各色の情報を持つ画像データと、画素ごとの距離情報を示す距離画像データとを生成する。画像処理部３１０は、撮像素子３０２から供給された画像信号に基づいて画像データを生成する現像部３１１と、撮像素子３０２から供給された画像信号に基づいて距離画像データを生成する距離画像生成部３１２とを有する。尚、距離画像生成部３１２は、画像情報の各画素に対して距離相当情報を検出する距離相当情報測定手段として機能している。

【0039】

これらが実行する処理については、後述する。画像処理部３１０は、現像部３１１からの画像データと、距離画像生成部３１２からの距離画像データとを物体情報生成部３２０に出力する。

【0040】

物体情報生成部３２０は画像内の複数の対象の境界を検出するための境界処理部３２１を有する。境界処理部３２１は、現像部３１１からの画像データを例えば画面垂直方向に短冊状矩形領域（分割領域）に分割し、更に、各矩形領域内の画像信号に対して色差信号（又は色信号）に基づき境界を検出する。尚、境界を検出する際に、輝度情報の変化も参考にしても良い。ここで、境界処理部３２１は、所定方向に延びる複数の分割領域に分割し、各分割領域内の画像に対して少なくとも色情報に基づく境界を検出する境界検出手段として機能している。

【0041】

物体情報生成部３２０においては、各矩形領域内の画像信号に対して色差信号に基づき境界を検出することで、分割領域内の境界で区切られたサブ領域に対して例えば空と道路とそれ以外の物体の３つのグループに分類分け（グループ化）をする。尚、境界処理部において、上記のように短冊状矩形領域毎に色差信号に基づき境界を検出するのは、境界を検出しやすくするためである。尚、本実施例では、短冊状矩形領域（分割領域）の延びる所定の方向を、画面の縦方向（垂直方向）にしているが、画面の横方向（水平方向）でも良い。

【0042】

物体情報生成部３２０は、上記の各グループに対して距離情報を決定し付与する距離情報生成部３２２を有する。距離情報生成部３２２は、境界処理部３２１からの境界情報と、距離画像生成部３１２からの距離画像データ（距離相当情報）とに基づいて、取得した画像に含まれる例えば３つのサブ領域の夫々の距離を夫々示す物体距離情報（統合距離相当情報）を決定して付与する。ここで、距離情報生成部３２２は、画像情報の各画素の距離相当情報に基づき、分割領域内の境界で区切られたサブ領域毎の統合距離相当情報を決定する統合距離相当情報決定手段として機能している。

【0043】

このように、本実施形態では、短冊状矩形領域毎に色差信号に基づき境界を検出することで境界を検出しやすくしている。更に、境界によって分離された例えば３つのサブ領域について統合距離相当情報を決定しているので、距離画像生成部３１２において発生する距離誤差（ばらつき）の影響を抑制することができる。尚、本実施形態では色差信号に基づき境界を検出しているが、色信号に基づき境界を検出しても良い。又、色差信号又は色信号だけでなく輝度信号も参照して対象の境界を検出しても良い。

【0044】

特に本実施形態のように撮像面位相差方式の撮像素子を用いて物体の距離を取得する場合には、基線長が比較的短いために遠方の物体に対して距離誤差（ばらつき）が生じる可能性があるが、その影響を大幅に抑制することができる。

【0045】

物体情報生成部３２０は、物体を画像認識する物体検出部３２３を有する。物体検出部３２３は、境界処理部３２１により境界が設定された短冊状矩形領域の画像信号を画像の水平方向に統合し、統合された画像に基づいて、取得した画像に含まれる例えば空と道路とそれ以外の物体を画像認識する物体検出部３２３を有する。ここで、物体検出部３２３は、分類分けがされたサブ領域を含む複数の分割領域の画像を統合して物体検出を行う物体検出手段として機能している。

【0046】

例えば、画面下部のグループに対しては道路と判定する。ここで、物体検出部３２３は、統合距離相当情報が決定されたサブ領域に対して、サブ領域の統合距離相当情報に応じて所定の分類分けをする分類手段として機能している。又、本実施例の物体検出部３２３は、上記のように、サブ領域を空と道路とそれ以外の３つの分類のいずれかに分類分けしている。

【0047】

尚、物体検出部３２３は、空と道路とそれ以外の物体を画像認識する際に、距離情報生成部３２２によって各分離領域に対して付与された距離情報を参考にする。即ち、所定以上距離が異なる物体は別の物体として認識することで誤認識を低減するこことができる。又、画面上部の距離が無限遠のグループについては空と認識しやすくなる。

【0048】

このように空と道路を判別することで、空と道路以外の物体に対して物体認識を重点的に行うことができる。物体検出部３２３は、検出された空や道路やそれ以外の物体に関する情報を示す外界情報を精度良く生成することができる。ここで外界情報は、検出された物体の画像内における位置、幅や高さなどのサイズ、領域などを示す情報である。また、外界情報には検出された物体の属性および識別番号に関する情報などが含まれる。

【0049】

更に、物体距離情報は、外界情報に含まれる物体の識別番号に関する情報と紐づけられる。物体情報生成部３２０は、物体検出部３２３からの外界情報と、距離情報生成部３２２からの物体距離情報とを経路生成ＥＣＵ１３０に出力する。

【0050】

なお、画像処理部３１０と物体情報生成部３２０とは、撮像装置１１０の有する１以上のプロセッサで構成されてもよい。１以上のプロセッサがメモリ３４０から読み出したプログラムを実行することにより、画像処理部３１０と物体情報生成部３２０との機能を実現するものであってもよい。

【0051】

経路生成ＥＣＵ１３０は、経路生成部３３０を備える。経路生成部３３０は、外界情報および物体距離情報、およびレーダ装置１２０から取得した距離情報に基づいて、経路情報を生成する。次に、経路生成装置１５０内の各ブロックの構造や制御について詳細に説明する。

【0052】

図４（Ａ）、（Ｂ）は、第１の実施形態に係る撮像素子３０２の構成例を示す模式図である。図４（Ａ）は、撮像素子３０２を光の入射方向からみた上面図である。撮像素子３０２は、２行×２列の画素群４１０をマトリクス状に複数配列することで構成される。画素群４１０は、緑色の光を検出する緑画素Ｇ１、緑画素Ｇ２、赤色の光を検出する赤画素Ｒ及び青色の光を検出する青画素Ｂを含む。画素群４１０において、緑画素Ｇ１および緑画素Ｇ２は対角に配置される。また、各画素は、第１の光電変換部４１１と、第２の光電変換部４１２とを有する。

【0053】

図４（Ｂ）は、図４（Ａ）における画素群４１０のＩ－Ｉ’断面における断面図である。各画素は、導光層４１４、および受光層４１５から構成される。導光層４１４は、画素へ入射した光束を受光層４１５へ効率良く導くためのマイクロレンズ４１３、各画素が検出する光の色に対応する波長帯域の光を通過させる不図示のカラーフィルタ、及び画像読み出し用及び画素駆動用の配線を有する。

【0054】

受光層４１５は、導光層４１４を介して入射した光を光電変換して電気信号として出力する光電変換部である。受光層４１５は、第１の光電変換部４１１、および第２の光電変換部４１２を有する。

【0055】

図５（Ａ）～（Ｄ）は、撮像面位相差方式における被写体距離と入射光との関係を説明するための模式図である。図５（Ａ）は、撮像光学系３０１の射出瞳５０１と、撮像素子３０２の緑画素Ｇ１と、緑画素Ｇ１の各光電変換部に入射する光を示す模式図である。撮像素子３０２は、複数の画素を有するが、簡単のため、１つの緑画素Ｇ１について説明する。

【0056】

緑画素Ｇ１のマイクロレンズ４１３は、射出瞳５０１と受光層４１５とが光学的に共役関係になるように配置されている。その結果、射出瞳５０１の部分瞳領域である第１の瞳領域５１０を通過した光束は第１の光電変換部４１１に入射する。同様に部分瞳領域である第２の瞳領域５２０を通過した光束は第２の光電変換部４１２に入射する。

【0057】

各画素の第１の光電変換部４１１は、受光した光束を光電変換して信号を出力する。撮像素子３０２に含まれる複数の第１の光電変換部４１１から出力された信号から、第１の画像信号が生成される。第１の画像信号は、第１の瞳領域５１０を主に通過した光束が撮像素子３０２上に形成する像（Ａ像と呼ぶ）の強度分布を示す。

【0058】

各画素の第２の光電変換部４１２は、受光した光束を光電変換して信号を出力する。撮像素子３０２に含まれる複数の第２の光電変換部４１２から出力された信号から、第２の画像信号が生成される。第２の画像信号は、第２の瞳領域５２０を主に通過した光束が撮像素子３０２上に形成する像（Ｂ像と呼ぶ）の強度分布を示す。

【0059】

Ａ像に対応した第１の画像信号とＢ像に対応した第２の画像信号間の相対的な位置ズレ量（以下、視差量）は、デフォーカス量に応じた量となる。視差量とデフォーカス量の関係について、図５（Ｂ）、（Ｃ）、（Ｄ）を用いて説明する。

【0060】

図５（Ｂ）、（Ｃ）、（Ｄ）は撮像素子３０２、撮像光学系３０１の位置関係について示した概略図である。図中の５１１は第１の瞳領域５１０を通過する第１の光束を示し、５２１は第２の瞳領域５２０を通過する光束を示す。

【0061】

図５（Ｂ）は、合焦時の状態を示しており、第１の光束５１１と第２の光束５２１が撮像素子３０２上で収束している。この時、第１の光束５１１により形成されるＡ像に対応した第１の画像信号と第２の光束５２１により形成されるＢ像に対応した第２の画像信号間の視差量（位置ズレ）は０となる。

【0062】

図５（Ｃ）は、像側でｚ軸の負方向にデフォーカスした状態を示している。この時、第１の光束５１１により形成される第１の画像信号と第２の光束５２１により形成される第２の画像信号間の視差量は０とはならず、負の値を有する。

【0063】

図５（Ｄ）は像側でｚ軸の正方向にデフォーカスした状態を示している。この時、第１の光束５１１により形成される第１の画像信号と第２の光束５２１により形成される第２の画像信号間の視差量は０とはならず、正の値を有する。

【0064】

図５（Ｃ）と（Ｄ）の比較から、デフォーカス量の正負に応じて、視差が生じる方向が入れ替わることが分かる。また、幾何関係から、デフォーカス量に応じた視差量が生じることが分かる。従って、後述するように、第１の画像信号と第２の画像信号との間の視差量を領域ベースのマッチング手法により検出し、視差量を所定の変換係数を介してデフォーカス量に変換することができる。さらに、撮像光学系３０１の結像公式を用いることで、像側のデフォーカス量を、物体までの距離に変換することができる。

【0065】

なお、撮像素子３０２は、前述のように、第１の画像信号と第２の画像信号との加算信号（合成信号）と、第１の画像信号とを別々に画像処理部３１０に出力するものであってもよい。この場合、画像処理部３１０は、加算信号（合成信号）と第１の画像信号との差分により第２の画像信号を生成することができ、第１の画像信号と第２の画像信号を夫々取得することができる。

【0066】

次に、画像処理部３１０が行う処理について説明する。図６（Ａ）、（Ｂ）は、第１の実施形態に係る画像処理部３１０が実行する処理例を示すフローチャートである。尚、経路生成装置１５０に含まれるコンピュータとしてのＣＰＵがメモリに記憶されたコンピュータプログラムを実行することによって図６（Ａ）、（Ｂ）のフローチャートの各ステップの動作が行われる。

【0067】

図６（Ａ）は、画像処理部３１０の現像部３１１が画像信号（第１の画像信号と第２の画像信号）から夫々の画像データを生成する現像処理の動作を示すフローチャートである。現像処理は、撮像素子３０２から画像信号を受信したことに応じて実行される。

【0068】

ステップＳ６０１で、ＣＰＵは、撮像素子３０２から入力された第１の画像信号と第２の画像信号とを合成した合成画像信号を生成する。或いは、前述のように、撮像素子３０２からの読出しの段階で加算信号を読出しても良い。第１の画像信号と第２の画像信号を合成（加算）することで、射出瞳５０１全域を通過した光束により形成された像に基づく画像信号を得ることができる。

【0069】

撮像素子３０２の水平方向の画素座標をｘ、垂直方向の画素座標をｙとしたとき、画素（ｘ，ｙ）の合成画像信号Ｉｍ（ｘ，ｙ）は、第１の画像信号Ｉｍ１（ｘ，ｙ）と、第２の画像信号Ｉｍ２（ｘ，ｙ）とを用いて、以下の数式１で表すことができる。

【0070】

【数1】

【0071】

ステップＳ６０２で、現像部３１１は、合成画像信号の欠陥画素の補正処理を実行する。欠陥画素は、撮像素子３０２において正常な信号出力ができない画素である。欠陥画素の座標は予めメモリに記憶されており、現像部３１１は、撮像素子３０２の欠陥画素の座標を示す情報をメモリから取得する。

【0072】

現像部３１１は、欠陥画素の合成画像信号を、欠陥画素の周りの画素の合成画像信号の中央値で置き換えるメディアンフィルタを用いて生成する。欠陥画素の合成画像信号を補正する方法として、予め用意した欠陥画素の座標情報を用い、欠陥画素の周りの画素の信号値を用いて内挿することで、欠陥画素の信号値を生成しても良い。

【0073】

ステップＳ６０３で、現像部３１１は、撮像光学系３０１によって生じる画角周辺の光量低減を補正する光量補正処理を合成画像信号に適用する。撮像光学系３０１によって生じる画角周辺の光量低減特性（相対的な光量比）は予め測定されメモリに記憶されている。光量の補正方法としては、予め記憶された画角間の相対的な光量比をメモリから読出して、その光量比が一定になるようなゲインを、合成画像信号に乗じて補正することができる。例えば、現像部３１１は、撮像素子３０２の中央の画素から周辺の画素に向けて増加する特性を有するゲインを、各画素の合成画像信号に乗じて、光量補正を行う。

【0074】

ステップＳ６０４で、現像部３１１は、合成画像信号のノイズ低減処理を行う。ノイズを低減する方法として、ガウシアンフィルタによるノイズ低減を用いることができる。

【0075】

ステップＳ６０５で、現像部３１１は、合成画像信号に対してデモザイク処理を行い、画素ごとに赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号を取得し、それを用いて画素ごとの輝度情報を持つ画像データを生成する。デモザイク方法としては、色チャンネル毎に、線形補間を用いて画素ごとの色情報を補間する手法を用いることができる。

【0076】

ステップＳ６０６で、現像部３１１は、所定のガンマ値を用いて階調補正（ガンマ補正処理）を行う。階調補正後の画素（ｘ，ｙ）の画像データＩｄｃ（ｘ，ｙ）は、階調補正前の画素（ｘ，ｙ）の画像データＩｄ（ｘ，ｙ）とガンマ値γを用いて以下の数式２で表される。

【0077】

【数2】

【0078】

ガンマ値γは、予め用意した値を用いることができる。ガンマ値γは、画素の位置に応じて決定してもよい。例えば、撮像素子３０２の有効領域を所定の分割数で分割した領域ごとにガンマ値γを変えても構わない。

【0079】

ステップＳ６０７で、現像部３１１は、画像データの色空間をＲＧＢ色空間からＹＵＶ色空間へ変換する色空間変換処理を実行する。現像部３１１は、所定の係数と色空間の変換式（数式３）を用いて、赤、緑、青の各色の輝度に対応する画像データを、輝度値と色差値とに変換して、画像データの色空間をＲＧＢ色空間からＹＵＶ色空間へ変換する。

【0080】

【数3】

【0081】

数式３において、ＩｄｃＲ（ｘ，ｙ）は、階調補正後の画素（ｘ，ｙ）の赤色の画像データ値を示す。ＩｄｃＧ（ｘ，ｙ）は、階調補正後の画素（ｘ，ｙ）の緑の画像データ値を示す。ＩｄｃＢ（ｘ，ｙ）は、階調補正後の画素（ｘ，ｙ）の青色の画像データ値を示す。Ｙ（ｘ，ｙ）は、色空間変換によって得られる画素（ｘ，ｙ）の輝度値を示す。Ｕ（ｘ，ｙ）は、色空間変換によって得られる画素（ｘ，ｙ）の輝度値と青色成分の差（色差値）を示す。

【0082】

Ｖ（ｘ，ｙ）は、色空間変換によって得られる画素（ｘ，ｙ）の輝度値と赤色成分の差（色差値）を示す。係数（ｒｙ，ｇｙ，ｇｙ）は、Ｙ（ｘ，ｙ）を求めるための係数であり、係数、（ｒｕ，ｇｕ，ｇｕ）、（ｒｖ，ｇｖ，ｂｖ）はそれぞれ色差値を算出するための係数である。

【0083】

ステップＳ６０８で、現像部３１１は、撮像光学系３０１の光学特性によって生じる歪曲収差の影響を抑制するための補正（歪曲補正）を、上記の変換後の画像データに対して実行する。歪曲収差の補正処理は、撮像光学系３０１の歪曲率を補正するように、画像データの幾何学的な変形を行うことによってなされる。幾何学的な変形は、歪曲収差のない正しい画素位置から補正前の画素位置を生成する多項式を用いて行われる。補正前の画素位置が小数になる場合は、四捨五入して最近傍の画素を用いてもよいし、線形内挿を用いてもよい。

【0084】

ステップＳ６０９で、現像部３１１は、歪曲収差の補正処理が適用された画像データを、物体情報生成部３２０に出力する。以上で、現像部３１１が実行する現像処理が終了する。尚、不図示の終了指示をユーザが出すまでは図６（Ａ）のフローを周期的に繰り返す。

【0085】

なお、境界処理部３２１や物体検出部３２３が、撮像素子３０２から得られた各種補正処理前の画像データに基づき境界検出や外界認識処理ができれば、現像部３１１は、図６（Ａ）のすべての処理を実行しなくともよい。例えば、境界処理部３２１や物体検出部３２３が、ステップＳ６０８の歪曲収差の補正処理が適用されていない画像データに基づいて、境界検出や撮影画角範囲内の物体を検出できる場合、図６（Ａ）の現像処理からステップＳ６０８の処理を省いてもよい。

【0086】

図６（Ｂ）は、距離画像生成部３１２が行う距離画像データの生成処理の動作を示すフローチャートである。ここで、距離画像データは、各画素に対して、撮像装置１１０から被写体までの距離に対応する距離情報を関連付けたデータである。距離情報は、距離値Ｄであってもよいし、距離値を算出するために用いられるデフォーカス量ΔＬもしくは視差量ｄであってもよいが、本実施形態においては、距離画像データは、各画素に対して距離値Ｄが対応付けられたデータであるものとして説明する。

【0087】

ステップＳ６１１で、距離画像生成部３１２は、入力された画像信号から第１、第２の輝度画像信号を生成する。即ち、距離画像生成部３１２は、Ａ像に対応した第１の画像信号を用いて第１の輝度画像信号を生成し、Ｂ像に対応した第２の画像信号を用いて第２の輝度画像信号を生成する。その際に、距離画像生成部３１２は、各画素群４１０の赤画素、緑画素、青画素の画像信号の値に夫々所定の係数を乗じてから合成し、輝度画像信号を生成する。なお、距離画像生成部３１２は、線形内挿を用いたデモザイク処理を行った後に、赤・緑・青の画素信号に所定の係数を乗じて合成することで輝度画像信号を生成してもよい。

【0088】

ステップＳ６１２で、距離画像生成部３１２は、第１の輝度画像信号と第２の輝度画像信号との間の、光量バランスの補正を行う。光量バランスの補正は、第１の輝度画像信号と第２の輝度画像信号との少なくとも一方に所定の補正係数を乗算して実行される。補正係数は、撮像光学系３０１と撮像素子３０２の位置調整後に均一照明を与え、得られた第１の輝度画像信号と第２の輝度画像信号との輝度比を測定し、輝度比が一定になるように予め算出され、メモリ３４０に格納されているものとする。

【0089】

距離画像生成部３１２は、メモリから読出した補正係数を、第１の輝度画像信号と第２の輝度画像信号との少なくとも一方に乗算して、光量バランス補正が適用された第１の画像信号および第２の画像信号を生成する。

【0090】

ステップＳ６１３では、距離画像生成部３１２は、光量バランス補正が適用された第１の輝度画像信号と第２の輝度画像信号とに対して、ノイズを低減するための処理を行う。距離画像生成部３１２は、空間周波数の高い帯域を低減するローパスフィルタを各輝度画像信号に適用してノイズ低減処理を実行する。なお、距離画像生成部３１２は、所定の空間周波数帯域を透過するバンドパスフィルタを用いてもよい。この場合、ステップＳ６１２で行う光量バランス補正の補正誤差の影響を低減する効果を得られる。

【0091】

ステップＳ６１４で、距離画像生成部３１２は、第１の輝度画像信号と第２の輝度画像信号との間の相対的な位置ズレ量である視差量を算出する。距離画像生成部３１２は、第１の輝度画像信号に対応する第１の輝度画像内に、注目点を設定し、注目点を中心とする照合領域を設定する。次に、距離画像生成部３１２は、第２の輝度画像信号に対応する第２の輝度画像内に、参照点を設定し、参照点を中心とする参照領域を設定する。

【0092】

距離画像生成部３１２は、参照点を順次移動させながら照合領域内に含まれる第１の輝度画像と、参照領域内に含まれる第２の輝度画像間の相関度を算出し、最も相関が高い参照点を対応点とする。距離画像生成部３１２は、注目点と対応点間の相対的な位置のズレ量を、注目点における視差量とする。距離画像生成部３１２は、注目点を順次移動させながら視差量を算出することで、複数の画素位置における視差量を算出することができる。距離画像生成部３１２は、上記のようにして画素ごとに視差値を示す値を特定し、視差分布を示すデータである視差画像データを生成する。

【0093】

なお、距離画像生成部３１２が視差量を求めるために用いる相関度の算出方法としては公知の手法を用いることができる。距離画像生成部３１２は、例えば、輝度画像間の正規化相互相関を評価するＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）と呼ばれる手法を用いることができる。また、距離画像生成部３１２は、相関度として相違度を評価する手法を用いてもよい。距離画像生成部３１２は、例えば、輝度画像間の差の絶対値和を評価するＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や差の二乗和を評価するＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）を用いることができる。

【0094】

ステップＳ６１５で、距離画像生成部３１２は、視差画像データにおける各画素の視差量をデフォーカス量に変換して、各画素のデフォーカス量を取得する。距離画像生成部３１２は、視差画像データにおける各画素の視差量に基づいて、各画素におけるデフォーカス量を示すデフォーカス画像データを生成する。

【0095】

距離画像生成部３１２は、視差画像データにおける画素（ｘ，ｙ）の視差量ｄ（ｘ，ｙ）と変換係数Ｋ（ｘ，ｙ）とを用いて、画素（ｘ，ｙ）のデフォーカス量ΔＬ（ｘ，ｙ）を以下の数式４から算出する。なお、撮像光学系３０１は、ヴィネッティング（けられ）により、周辺画角において第１の光束５１１と第２の光束５２１の一部が削られる。そのため、変換係数Ｋは画角（画素の位置）に依存した値となる。

【0096】

【数4】

【0097】

中心画角と周辺画角とで焦点位置が変化する像面湾曲を有する特性を撮像光学系３０１が有する場合、像面湾曲量をＣｆとすると、以下の数式５を用いて視差量ｄ（ｘ，ｙ）をデフォーカス量ΔＬ（ｘ，ｙ）に変換することができる。撮像光学系３０１と撮像素子３０２の位置合わせ後に、視差量と物体までの距離値の関係をチャート撮影により取得することで、変換係数Ｋと像面湾曲量Ｃｆを取得することができる。このとき、像面湾曲量Ｃｆは、画角に依存し、画素位置の関数として与えられる。

【0098】

【数5】

【0099】

ステップＳ６１６で、距離画像生成部３１２は、画素（ｘ，ｙ）のデフォーカス量ΔＬ（ｘ，ｙ）を画素（ｘ，ｙ）における物体までの距離値Ｄ（ｘ，ｙ）への変換し、距離画像データを生成する。デフォーカス量ΔＬを、撮像光学系３０１の結像関係を用いて変換することにより、物体までの距離値Ｄを算出することができる。撮像光学系３０１の焦点距離をｆ、像側主点から撮像素子３０２までの距離をＩｐｐとしたとき、以下の数式６の結像公式を用いて、デフォーカス量ΔＬ（ｘ，ｙ）を物体までの距離値Ｄ（ｘ，ｙ）に変換することができる。

【0100】

【数6】

【0101】

なお、焦点距離ｆと像側主点から撮像素子３０２までの距離Ｉｐｐは画角に寄らず一定値としているが、これに限らない。撮像光学系３０１の結像倍率が画角ごとに大きく変化する場合には、焦点距離ｆや像側主点から撮像素子３０２までの距離Ｉｐｐの少なくとも１つを画角ごとに変わる値としてもよい。

【0102】

ステップＳ６１７で、距離画像生成部３１２は、以上のようにして生成された距離画像データを物体情報生成部３２０に出力する。ここで、ステップＳ６１１～Ｓ６１７の処理により、距離画像生成部３１２は、撮像手段の画素内に配置された第１の光電変換部と第２の光電変換部からの信号に基づき位相差測距方式により画素毎の距離相当情報を測定している。

【0103】

尚、距離相当情報を取得するために、ステレオカメラからの２つの画像信号に基づき位相差測距方式により距離相当情報を測定しても良い。以上で、距離画像生成部３１２が実行する距離画像データの生成処理が終了する。尚、不図示の終了指示をユーザが出すまでは図６（Ｂ）のフローを周期的に繰り返す。

【0104】

尚、画素ごとの視差量ｄ、デフォーカス量ΔＬ、撮像光学系３０１の主点からの距離値Ｄは、前述の係数と変換式を用いて変換可能な値である。従って、距離画像生成部３１２が生成する距離画像データとして、各画素が視差量ｄまたはデフォーカス量ΔＬを表す情報を備えていても構わない。物体情報生成部３２０が、物体領域内に含まれる距離値Ｄの代表値を算出することを考慮すると、度数分布が対称になるデフォーカス量に基づき、距離画像データを生成することが望ましい。

【0105】

尚、上述のように、ステップＳ６１４の視差量を算出する処理において、第１の輝度画像と第２の輝度画像との相関を用いて対応点を探索している。しかし第１の画像信号に含まれるノイズ（例えば、光ショットノイズに起因するノイズ）が多い場合や、照合領域内に含まれる輝度画像信号の信号値の変化が小さい場合、相関度を正しく評価することができないことがある。このような場合、正しい視差量に対して誤差の大きい視差量を算出してしまうことがある。視差量の誤差が大きい場合、ステップＳ６１６で生成される距離値Ｄの誤差も大きくなる。

【0106】

従って、距離画像生成部３１２が行う距離画像データの生成処理は、視差量の信頼度（視差信頼度）を算出する信頼度算出処理を含んでいてもよい。視差信頼度は、算出された視差量がどの程度誤差を含んでいるかを示す指標である。例えば、照合領域に含まれる信号値の平均値に対する標準偏差の比を、視差信頼度として評価することができる。照合領域内の信号値の変化（いわゆるコントラスト）が大きい場合、標準偏差が大きくなる。画素に入射した光量が多い場合、平均値が大きくなる。画素に入射する光量が多い場合は、光ショットノイズが多い。すなわち平均値は、ノイズ量と正の相関を有する。

【0107】

標準偏差に対する平均値の比（標準偏差／平均値）は、コントラストの大きさとノイズ量との比に対応する。ノイズ量に対してコントラストが十分大きければ、視差量の算出における誤差が小さいと推定できる。すなわち、視差信頼度が大きいほど、算出された視差量における誤差が小さく、より正確な視差量であるといえる。

【0108】

尚、画素信号が飽和している画素及びその周辺画素については信頼度を低くしても良い。例えば、飽和した画素の近傍はコントラストがあっても基準画像と参照画像でのテクスチャを正しく検出できず、視差を正しく算出できない場合がある。従って、画素信号が所定値以上（飽和している）場合には、その画素の周辺については視差信頼度を低くするようにしても良い。

【0109】

そこで、ステップＳ６１４において、各注目点において視差信頼度を算出し、距離画像データを構成する画素ごとの距離値の確からしさを表す信頼度データを生成することができる。距離画像生成部３１２は、信頼度データを物体情報生成部３２０に出力することができる。

【0110】

次に、物体情報生成部３２０が画像データと距離画像データとに基づいて、外界情報と、物体距離情報とを生成する処理について図７（Ａ）、（Ｂ）を参照して説明する。

【0111】

図７（Ａ）、（Ｂ）は、第１の実施形態に係る境界処理部３２１及び物体検出部３２３が実行する処理例を示すフローチャートである。又、図８（Ａ）～（Ｅ）は、第１の実施形態に係る物体情報生成部３２０が行う処理例における画像および情報の例を示す模式図である。尚、経路生成装置１５０に含まれるコンピュータとしてのＣＰＵがメモリに記憶されたコンピュータプログラムを実行することによって図７（Ａ）、（Ｂ）のフローチャートの各ステップの動作が行われる。尚、後述の図９～図１４のフローチャートの各ステップの動作も経路生成装置１５０に含まれるコンピュータとしてのＣＰＵがメモリに記憶されたコンピュータプログラムを実行することによって行われる。

【0112】

図７（Ａ）は、境界処理部３２１により短冊状矩形領域内に境界を生成すると共に例えば空、道路、それ以外の物体という分類をする処理例を示すフローチャートである。ステップＳ７０１の境界・物体検出処理において、境界処理部３２１は、現像部３１１からの画像データを、例えば画面垂直方向に短冊状矩形領域に分割する。

【0113】

図８（Ａ）は、撮像装置１１０が取得し、物体情報生成部３２０に入力された画像データに基づく画像８１０を境界処理部３２１で画面垂直方向に短冊状矩形領域に分割した例を説明する図である。図８（Ａ）において、画像８１０は、人８０１、車両８０２、標識８０３、道路８０４、および車線８０５を含む。

【0114】

図８（Ａ）に示すように、本実施形態では、画像８１０に対して、画面垂直方向に短冊状矩形領域に分割した状態で色の境界を検出するが、短冊状矩形領域の幅は図（Ａ）に示す例に限定されない。又、本実施形態では、図８（Ａ）～（Ｅ）に示す画面は例えば車両内の不図示の表示部に表示されるが、その際、短冊状矩形領域は表示しなくても良い。

【0115】

境界処理部３２１は、更に、各短冊状矩形領域内の画像に対して、色差信号（又は色信号）に基づき境界を検出する。図７（Ｂ）は、ステップＳ７０１における境界処理部３２１による境界・物体検出処理を説明するためのフローチャートである。

【0116】

図７（Ｂ）に示すように、ステップＳ７０１における境界・物体検出処理において、境界処理部３２１は最初にステップＳ７０１１で、物体境界候補決定処理を行う。次いで、距離情報生成部３２２によりステップＳ７０１２で距離相当情報統合処理を行う。そして、ステップＳ７０１３で物体検出部３２３が短冊状矩形領域内の物体検出処理を行う。尚、ステップＳ７０１３における物体検出処理は、短冊状矩形領域内を空と、道路と、それ以外の物体に分類するための処理である。

【0117】

図９は境界処理部３２１により行われる図７（Ｂ）のステップＳ７０１１の物体境界候補決定処理の具体例を示すフローチャートであり、ステップＳ９０１で境界処理部３２１により、ＲＧＢ画像をＬａｂ画像に変換する。次にステップＳ９０２で、境界処理部３２１により、画面の縦（横）方向に色差の変化量を計算する。

【0118】

具体的には例えば画面の上端から順次、画素毎に、画面の縦方向に数画素離れた２つの画素の色距離（色変化量）ΔＣを計算する。そしてステップＳ９０３において、ΔＣが所定の閾値Ｔｈよりも大きいか判定する。Ｙｅｓの場合にはステップＳ９０４において距離境界候補として設定する。即ち、色変化が大きな画素を境界の候補として設定する。即ち、色情報が所定の閾値Ｔｈより変化する位置を境界として検出する。

【0119】

尚、短冊状矩形領域（分割領域）は縦方向（所定方向）に対して交差する方向（横方向）に幅を持っており、交差する方向（横方向）に複数の画素を有する。従って、上記の色情報とは、横方向に並んだ複数の画素の色情報に基づいて求められる代表値を意味する。ここで代表値は中央値や平均値などを用いて算出する。

【0120】

一方、ステップＳ９０３でＮｏの場合にはステップＳ９０５で非距離境界画素として設定する。即ち、色変化量が小さい画素は境界ではないという設定をする。

【0121】

そしてステップＳ９０６において、短冊状矩形領域のすべての画素について距離境界候補又は非距離境界候補の設定が終了したかを判定し、Ｎｏの場合にはステップＳ９０２に戻りステップＳ９０２～ステップＳ９０６の処理を繰り返す。

【0122】

ステップＳ９０６でＹｅｓとなった場合には、ステップＳ９０７において、距離境界候補の画素について暫定的に距離境界として設定する。次いでステップＳ９０８において、それらの距離境界の間隔が所定値（例えば１０画素）以下の場合にはその画素に対する境界の設定をキャンセルする。そしてステップＳ９０９で、互いに所定値以上画素距離が離れた最終的な距離境界を設定する。以上のように、ステップＳ９０１～ステップＳ９０９は、画像情報を、所定方向に延びる複数の分割領域に分割し、各分割領域内の画像に対して少なくとも色情報に基づく境界を検出する境界検出ステップとして機能している。

【0123】

図１０は距離情報生成部３２２による、図７（Ｂ）のステップ７０１２における距離相当情報統合処理の詳細な例を示すフローチャートであり、最初にステップＳ１１０１において、距離境界矩形生成処理を行う。具体的には、距離境界と短冊状矩形領域の幅で囲まれた、色が略共通の距離境界矩形を生成する。

【0124】

そしてステップＳ１００２において、距離境界矩形内の各画素の距離情報を信頼度に基づき重み付け処理して、距離境界矩形（以降、サブ領域と呼ぶこともある。）毎に距離相当情報を生成する。この時に、色情報に基づいて各画素の距離相当情報の確からしさを表す信頼度を生成し、信頼度に基づいて重み付けされた各画素の距離相当情報に基づいてサブ領域毎の統合距離相当情報を決定しても良い。

【0125】

その場合、色情報に基づいて撮像素子から得られる複数の画像の視差量を算出し、色情報に基づいて各画素の視差量の確からしさを示す視差信頼度を算出し、視差信頼度に基づいて前記信頼度を生成する。その際に、複数の画像の輝度値が所定値以上の画素の視差信頼度を、輝度値が所定未満の場合よりも低くなるように算出しても良い。

【0126】

又、その距離境界矩形内の画素の高さを平均化することによって距離境界矩形毎の平均高さ情報を生成する。尚、距離境界矩形内の、距離情報の信頼度が所定値以上の画素の距離情報の中央値や最頻値などを距離相当情報としても良い。

【0127】

次にステップＳ１００３において、各距離境界矩形における距離情報信頼度が所定値以上の画素の比率を計算する。或いは、距離境界矩形毎に距離相当情報又は高さ情報の統計値（例えば標準偏差以下の画素の割合）を計算する。

【0128】

次にステップＳ１００４において、距離情報の信頼度が所定値以上の画素の割合が所定割合以上か否かを判定する。その結果がＮｏの場合にはステップＳ１００５で、その距離境界矩形の信頼度が低いことを示す情報をその距離境界矩形に付与する。一方ステップＳ１００４でＹｅｓの場合には、その距離境界矩形に対して統合距離相当情報及び高さ情報を決定し付与する。

【0129】

そしてステップＳ１００７で、距離境界矩形毎に統合距離相当情報及び高さ情報を有するマップを生成する。ここで、ステップＳ１００１～ステップＳ１００７は、画像情報の各画素の距離相当情報に基づき、分割領域内の境界で区切られたサブ領域毎の統合距離相当情報を決定する統合距離相当情報決定ステップとして機能している。

【0130】

図１１は、物体検出部３２３による、図７（Ｂ）のステップ７０１２における物体検出処理の詳細な例を示すフローチャートであり、ステップＳ１１０１において、短冊状矩形領域毎に画面上端から物体境界を探索する。そしてステップＳ１１０２において、短冊状矩形領域内の距離値処理を行う。具体的には、無限遠相当（所定値でも良い）より近距離か否かを距離境界矩形内の距離相当情報と比較する。それによってＮｏの場合にはステップＳ１１０３で空領域と設定であると設定し、ステップＳ１１０２に戻り、画面の上端から順次、距離境界矩形毎に空か、道路か、それ以外かの判定を続ける。

【0131】

ステップＳ１１０２でＹｅｓとなった場合には、画面上端から探索した空領域が切れて別の物体領域に入った状態となる。従って、ステップＳ１１０４でその画素が空と物体の境界であると決定する。次にステップＳ１１０５で、短冊状矩形領域の下端の画素から物体境界を探索する。そしてステップＳ１１０６で距離境界矩形の例えば平均の高さ情報について所定の閾値と比較する。即ち、所定の閾値として、例えば車両に設置されたカメラの高さより、距離境界矩形の高さが高いか否かを判定する。尚、所定の閾値として、カメラの高さの代わりに、例えば画面の下半分の画素の高さ情報の中央値を用いても良い。これは、画面下半分を道路が占めている可能性が高いからである。

【0132】

ステップＳ１１０６でＮｏの場合には距離境界矩形の高さがカメラ位置より低いのでステップＳ１１０７で道路領域として設定し、ステップＳ１１０６に戻り画面の下側から上側に向けて更に探索を進める。一方ステップＳ１１０６でＹｅｓになった場合には、ステップＳ１１０８で道路とそれ以外の物体との境界として設定をする。

【0133】

そしてステップＳ１１０９において、短冊状矩形領域毎にその短冊状矩形領域内の距離境界矩形を道路、空、又はそれ以外の物体、の３つのカテゴリに分類分けする。ここで、ステップＳ１１０１～ステップＳ１１０９は、統合距離相当情報が決定されたサブ領域に対して、サブ領域の統合距離相当情報に応じて所定の分類分けをする分類ステップとして機能している。尚、実施例では、サブ領域の高さも参照して分類分けをしている。

【0134】

以上のようにして、短冊状矩形領域毎に、短冊状矩形領域内の距離境界矩形を道路、空、又はそれ以外の物体、の３つのカテゴリに分類分けする。その後で、物体検出部３２３は、図７（Ａ）のステップＳ７０２において、短冊状矩形領域を水平方向に統合し物体検出を行う。

【0135】

このように予め短冊状矩形領域毎に空と道路とそれ以外とを分類しているので、短冊状矩形領域を水平方向に統合し物体検出を行う際に、空と道路以外の物体に対して物体認識を重点的に行うことができ、画像認識処理の負荷が減る。又、物体検出部３２３は、検出された空や道路やそれ以外の物体に関する情報を示す外界情報を精度良く生成することができる。

【0136】

尚、物体検出を行う際に、物体検出部３２３は、画像処理部３１０から入力された画像データのサイズを、物体検出処理における検出性能と処理時間とから決定されるサイズに拡縮する処理を行っても良い。

【0137】

物体検出部３２３は、画像データに基づく画像に含まれる物体の画像における位置、幅や高さなどのサイズ、領域などを示す領域情報、物体の種類（属性）、および識別番号（ＩＤ番号）を示す外界情報を生成する。識別番号は、検出された物体を識別するための識別情報であって、番号に限定されない。物体検出部３２３は、撮像装置１１０の撮影画角内に存在する物体の種類、および画像における物体の位置とサイズを検出するとともに、既に登録済みの物体か否かを判断して識別番号を付与する。

【0138】

物体検出部３２３は、画像８１０から物体を検出し、各物体の種類、識別番号、および領域情報を示す外界情報を生成する。図８（Ｂ）は、画像８１０から検出された各物体の外界情報を、ｘｙ座標平面に、画像８１０における各位置に示した模式図である。尚、図８（Ａ）～（Ｅ）において短冊状矩形領域が表示されているが、短冊状矩形領域は不図示の表示部の画面には表示しなくても良い。

【0139】

尚、外界情報は、例えば表１で示されるようなテーブルとして生成される。外界情報において、物体の領域は、当該物体を囲む矩形の枠（物体枠）として定義されるものとする。外界情報において、物体の領域情報は、矩形の物体枠の形状を、左上の座標（ｘ０，ｙ０）および右下の座標（ｘ１，ｙ１）として示される。

【0140】

【表1】

【0141】

ステップＳ７０２で、物体検出部３２３は、短冊状矩形領域を水平方向に統合したうえで、画像データに基づく画像に含まれる物体を検出する処理を実行し、画像における物体に対応する領域と、物体の種類を検出する。物体検出部３２３は、１つの画像から複数の物体を検出してもよい。この場合、物体検出部３２３は検出された複数の物体に対して種類と領域とを特定する。

【0142】

物体検出部３２３は、物体が検出された画像の領域の位置およびサイズ（水平幅、垂直高さ）と、物体の種類と、を外界情報として生成する。物体検出部３２３が検出可能な物体の種類は、例えば、車両（乗用車、バス、トラック）、人、動物、二輪車、標識などであるとする。物体検出部３２３は、あらかじめ物体の種類に関連付けられた所定の外形パターンと、画像中の物体の外形とを比較することにより、物体を検出するとともに、検出された物体の種類を特定する。なお、物体検出部３２３が検出可能な物体の種類は上記に限らないが、車両１００の走行環境に応じて検出する物体の種類の数を絞り込むことが処理速度の観点から望ましい。

【0143】

ステップＳ７０３で、物体検出部３２３は、既に識別番号が登録されている物体の追跡を行う。物体検出部３２３は、ステップＳ７０２で検出された物体のうち、既に識別番号が登録されている物体を特定する。識別番号が登録された物体とは、例えば、前回までの物体検出処理で検出され、識別番号を割り当てられた物体である。物体検出部３２３は、識別番号が登録された物体が検出された場合、当該識別番号に対応する外界情報に、ステップＳ７０２で取得された物体の種類、および領域に関する情報を対応付ける（外界情報を更新する）。

【0144】

なお、識別番号が登録された物体が画像情報中には存在しないと判断された場合、当該識別番号に関連付けられた物体は、撮像装置１１０の撮影画角の外に移動した（ロストした）と判断して、追跡を中断する。

【0145】

ステップＳ７０４で、物体検出部３２３は、ステップＳ７０２で検出された物体の各々について、識別番号が登録されていない新規の物体かどうかを判断する。そして、新規の物体と判断された物体の種類および領域を示す外界情報に、新しい識別番号を割り当て、外界情報に登録する。

【0146】

ステップＳ７０５で、物体検出部３２３は、生成した外界情報を、時刻を表す情報と共に経路生成装置１５０に出力する。以上で、物体検出部３２３が実行する外界情報の生成処理が終了する。但し、不図示の終了指示をユーザが出すまでは図７（Ａ）のフローは周期的に繰り返される。

【0147】

図１２は、距離情報生成部３２２が行う物体ごとの距離情報の生成処理例を示すフローチャートである。距離情報生成部３２２は、外界情報と距離画像データとに基づいて、検出された物体毎の距離値を表す物体距離情報を生成する。図８（Ｃ）は、図８（Ａ）の画像データに基づき生成された、画像８１０に距離画像データを対応付けた距離画像８２０の例を示す図である。図８（Ｃ）の距離画像８２０において、距離情報は色の濃淡で示され、色が濃いほど近く、色が薄いほど遠くを表している。

【0148】

ステップＳ１２０１で、距離情報生成部３２２は、物体検出部３２３が検出した物体の数Ｎをカウントし、検出した物体の総数である検出物体数Ｎｍａｘを算出する。

【0149】

ステップＳ１２０２で、距離情報生成部３２２は、Ｎを１に設定する（初期化処理）。ステップＳ１２０３以降の処理は、外界情報に示される各物体に対して順に実行する。外界情報において識別番号が小さい順にステップＳ１２０３からステップＳ１２０６の処理が実行されるとする。

【0150】

ステップＳ１２０３で、距離情報生成部３２２は、外界情報に含まれるＮ番目の物体の、画像８１０上における領域（物体枠）に対応する距離画像８２０上の矩形領域を特定する。距離情報生成部３２２は、距離画像８２０上の対応する領域の外形を示す枠（物体枠）を設定する。

【0151】

図８（Ｄ）は、画像８１０から検出された各物体に対して、距離画像８２０に設定された領域の外形を示す枠を重畳した模式図である。図８（Ｄ）に示されるように、距離情報生成部３２２は、距離画像８２０上に人８０１に対応する物体枠８２１、車両８０２に対応する物体枠８２２、および標識８０３に対応する物体枠８２３をそれぞれ設定する。

【0152】

ステップＳ１２０４で、距離情報生成部３２２は、Ｎ番目の物体に対応する距離画像８２０の矩形領域に含まれる画素の距離情報の度数分布を生成する。距離画像データの各画素に対応付けられた情報が距離値Ｄである場合、度数分布の区間は、距離の逆数が等間隔になるように区間が設定される。

【0153】

なお、距離画像データの各画素にデフォーカス量もしくは視差量が対応付けられている場合は、度数分布の区間は、等間隔で区切ることが望ましい。

【0154】

ステップＳ１２０５で、距離情報生成部３２２は、度数分布から最頻出となる距離情報を、Ｎ番目の物体の距離を示す物体距離情報とする。

【0155】

なお、領域内に含まれる距離値の平均値を算出して、物体距離情報としてもよい。平均値を算出する際に信頼度データを用いて重み付け平均を用いることができる。画素ごとに距離値の信頼度が高いほど重みを大きく設定することで、より精度よく物体の距離値を算出することができる。

【0156】

なお、物体距離情報は、後述の経路生成処理における経路生成を容易にするために、車両１００の所定の位置から物体までの距離を示す情報とすることが望ましい。距離情報として距離値Ｄを用いる場合、距離値Ｄは撮像素子３０２から物体までの距離を示すことから、最頻出値を所定量オフセットして車両１００の所定の位置（例えば前端部）から物体までの距離を示す情報とすることができる。距離情報としてデフォーカス量ΔＬを用いる場合、数式６を用いて撮像素子３０２からの距離に変換したのち、所定量だけオフセットすることで、車両１００の所定の位置から物体までの距離を示す情報とする。

【0157】

ステップＳ１２０６で、距離情報生成部３２２は、Ｎ＋１が検出物体数Ｎｍａｘより大きいかを判定する。Ｎ＋１が検出物体数Ｎｍａｘより小さい場合（ステップＳ１２０６でＮｏの場合）は、ステップＳ１２０７で、距離情報生成部３２２は、ＮをＮ＋１とし、処理はステップＳ１２０３に戻る。すなわち、次の物体（Ｎ＋１番目の物体）について物体距離情報の抽出を行う。ステップＳ１２０６でＮ＋１が検出物体数Ｎｍａｘより大きい場合（ステップＳ１２０６でＹｅｓの場合）は、ステップＳ１２０８に進む。

【0158】

ステップＳ１２０８では、距離情報生成部３２２は、Ｎｍａｘ個の各物体に対する物体距離情報を時刻に関する情報とともに経路生成部３３０に出力し、処理を終了する。これらの情報はメモリ１８０に記憶される。又、レーダ装置１２０からの距離情報も時刻情報と共にメモリ１８０に記憶される。尚、不図示の終了指示をユーザが出すまでは図１２のフローを周期的に繰り返す。

【0159】

以上の物体距離情報生成処理により、外界情報に含まれる物体毎に物体距離情報を生成する。特に、画像８１０内で検出された物体に対応する距離画像８２０の領域に含まれる距離情報から統計的に物体の距離情報を決定することにより、ノイズや演算の精度などに起因する画素ごとの距離情報のばらつきを抑制することが可能となる。したがって、より高精度に物体の距離を示す情報を取得することが可能となる。統計的に距離情報を決定する方法は、上述のように、距離情報の分布のうち最頻出の距離情報や平均値、中央値、などをとる方法であり、種々の方法を採用可能である。

【0160】

次に経路生成ＥＣＵ１３０の経路生成部３３０が実行する経路情報を生成する処理（経路生成処理）について説明する。経路情報は、車両の進行方向、速度を含む情報である。経路情報は、運行計画情報であるともいえる。経路生成部３３０は経路情報を車両制御ＥＣＵ１４０に出力する。車両制御ＥＣＵ１４０は、経路情報に基づいて、駆動部１７０を制御することで車両の進行方向や速度を制御する。

【0161】

本実施形態において、経路生成部３３０は、車両１００の進行方向に他の車両（前走車）がある場合に、前走車に追従して走行するように経路情報を生成する。また、経路生成部３３０は、車両１００が物体と衝突しないように、回避行動をとるように、経路情報を生成するものとする。

【0162】

図１３は、第１の実施形態に係る経路生成部３３０が実行する経路生成処理例を示すフローチャートである。尚、経路生成装置１５０に含まれるコンピュータがメモリに記憶されたコンピュータプログラムを実行することによって図１３のフローチャートの各ステップの動作が行われる。

【0163】

経路生成部３３０は、例えばユーザの指示により経路生成処理を開始する指示が出された場合に、図１３のフローを開始し、外界情報、物体距離情報、およびレーダ装置１２０が生成する距離情報に基づき、車両１００の経路情報を生成する。経路生成ＥＣＵ１３０は、例えば経路生成装置１５０が備えるメモリ１８０から、各時刻の外界情報と物体距離情報とレーダ装置１２０が生成する距離情報を読み出して処理を行う。

【0164】

ステップＳ１３０１で、経路生成部３３０は、外界情報と物体距離情報とから、車両１００が予定している走行経路上の物体を検出する。経路生成部３３０は、車両１００が予定している進行方向の方位と、外界情報に含まれる物体の位置と種類とを比較して走行経路上の物体を判定する。車両１００が予定している進行方向は、車両制御ＥＣＵ１４０から取得した車両１００の制御に関する情報（ステアリングの航角量、速度など）に基づいて特定されるとする。なお、経路生成部３３０は、走行経路上の物体が検出されない場合、「物体無し」と判定する。

【0165】

例えば図８（Ａ）に示した画像８１０を撮像装置１１０が取得したとする。経路生成部３３０が、車両制御ＥＣＵ１４０から取得した車両１００の制御に関する情報から、車両１００が車線８０５に沿った方向に進行していると判断した場合、経路生成部３３０は、車両８０２を走行経路上の物体として検出する。

【0166】

ステップＳ１３０２、ステップＳ１３０３で、経路生成部３３０は、車両１００と走行経路上の物体との距離と、車両１００の速度Ｖｃに基づいて、追従走行をするための経路情報を生成するか、回避行動のための経路情報を生成するかを判定する。

【0167】

ステップＳ１３０２で、経路生成部３３０は、車両１００と走行経路上の物体との距離が閾値Ｄｔｈよりも短いか否かを判定する。閾値Ｄｔｈは、車両１００の走行速度Ｖｃの関数で表される。走行速度が高いほど、閾値Ｄｔｈは大きくなる。経路生成部３３０が、車両１００と走行経路上の物体との距離が閾値Ｄｔｈより短いと判定した場合（ステップＳ１３０２Ｙｅｓ）、処理はステップＳ１３０３に進む。経路生成部３３０が、車両１００と走行経路上の物体との距離が閾値Ｄｔｈ以上であると判定した場合（ステップＳ１３０２Ｎｏ）、処理はステップＳ１３０８に進む。

【0168】

ステップＳ１３０３で、経路生成部３３０は、車両１００と走行経路上の物体との相対速度が正の値であるか否かを判定する。経路生成部３３０は、外界情報から走行経路上の物体の識別番号を取得し、現時点から所定の時間前までに取得した外界情報から各時刻の走行経路上の物体の、物体距離情報を取得する。経路生成部３３０は、取得した所定の時間前までの期間における走行経路上の物体の、物体距離情報から、車両１００と走行経路上の物体との相対速度を算出する。相対速度（車両１００の速度－走行経路上の物体の速度）が、正の値である場合、車両１００と走行経路上の物体とが近づいていることを示す。

【0169】

経路生成部３３０が、車両１００と走行経路上の物体との相対速度が正の値であると判定した場合（ステップＳ１３０３Ｙｅｓの場合）、処理はステップＳ１３０４に進む。経路生成部３３０が、車両１００と走行経路上の物体との相対速度が正の値でないと判定した場合（ステップＳ１３０３Ｎｏ）、処理はステップＳ１３０８に進む。

【0170】

ここで、ステップＳ１３０４に処理が進む場合、回避行動を実行するための経路情報が生成される。また、ステップＳ１３０８に処理が進む場合には、前車との間隔を維持する追従走行を実行するための経路情報が生成される。

【0171】

すなわち、経路生成部３３０は、車両１００と走行経路上の物体との距離が閾値Ｄｔｈよりも短く、かつ、車両１００と走行経路上の物体との相対速度が正の値である場合に、回避行動を実行する。一方、経路生成部３３０は、車両１００と走行経路上の物体との距離が閾値Ｄｔｈ以上である場合、追従走行とすると判定する。もしくは、経路生成部３３０は、車両１００と走行経路上の物体との距離が閾値Ｄｔｈよりも短く、かつ、車両１００と走行経路上の物体との相対速度がゼロの場合又は負の値である場合（離れつつある場合）に、追従走行とすると判定する。

【0172】

車両１００と走行経路上の物体との距離が車両１００の速度から求められる閾値Ｄｔｈよりも短く、かつ、車両１００と走行経路上の物体との相対速度が正の値である場合、車両１００が走行経路上の物体に衝突する可能性が高いと考えられる。したがって、経路生成部３３０は、回避行動をとるように経路情報を生成する。そうでない場合、経路生成部３３０は、追従走行をとる。なお、上述の判定には、検出された走行経路上の物体の種類が移動体（自動車やバイク等）か否かの判定を加えてもよい。

【0173】

ステップＳ１３０４で、経路生成部３３０は、回避行動を実行するための経路情報を生成する処理を開始する。

【0174】

ステップＳ１３０５で、経路生成部３３０は、回避スペースに関する情報を取得する。経路生成部３３０は、レーダ装置１２０から車両１００の側方や後方の物体までの距離やその物体との距離の予測情報を含む距離情報を取得する。

【0175】

経路生成部３３０は、レーダ装置１２０から取得した距離情報（第４の距離情報）と、車両１００の速度と、車両１００の大きさを示す情報とに基づいて、車両１００の周囲に、車両１００が移動可能な空間の方向と大きさを示す情報を取得する。尚、本実施形態では、レーダ装置１２０から取得した距離情報（第４の距離情報）を回避スペースのために利用しているが、物体までの統合距離情報を生成するのに使っても良い。

【0176】

ステップＳ１３０６で、経路生成部３３０は、車両１００が移動可能な空間の方向と大きさを示す情報、外界情報、および物体距離情報に基づいて、回避行動のための経路情報を設定する。回避行動のための経路情報は、例えば、車両１００の右側方に回避可能な空間がある場合に、例えば減速しながら、車両１００を右側に進路変更する情報である。

【0177】

ステップＳ１３０７で、経路生成部３３０は、車両制御ＥＣＵ１４０に経路情報を出力する。車両制御ＥＣＵ１４０は、取得した経路情報に示される経路を車両１００が通るように、経路情報に基づいて駆動部１７０を制御するパラメータを決定し、駆動部１７０を制御する。具体的には、車両制御ＥＣＵ１４０は、経路情報に基づいて、ステアリングの航角量、アクセルの制御値、ブレーキの制御値、ギアの接続のための制御信号、およびランプの点灯制御信号などを決定する。

【0178】

尚、ここで、ステップＳ１３０７は、距離情報に基づき経路情報を生成する経路生成ステップ（経路生成手段）として機能している。一方、ステップＳ１３０８で、経路生成部３３０は、追従運行を実行するための経路情報を生成する処理を開始する。

【0179】

ステップＳ１３０９で、経路生成部３３０は、車両１００が走行経路上の物体（前走車）に追従するため経路情報を生成する。具体的には、経路生成部３３０は、車両１００と前走車との間の距離（車間距離）が所定の範囲を維持するように、経路情報を生成する。例えば、経路生成部３３０は、車両１００と前走車との間の相対速度がゼロ又は負の値の場合、又は、車間距離が所定の距離以上の場合は、車両１００の進行方向を直進に維持しつつ、加減速により所定の車間距離を維持するように経路情報を生成する。

【0180】

なお、経路生成部３３０は、車両１００の走行速度が所定値（例えば、車両１００が走行している道路の法定速度や、運転者１０１からの指示に基づく設定走行速度）を超えないように経路情報を生成する。ステップＳ１３０９の後はステップＳ１３０７に進み、車両制御ＥＣＵ１４０が生成された経路情報に基づいて駆動部１７０を制御する。ここで、車両制御ＥＣＵ１４０は、物体検出部３２３により検出された物体の位置やサイズなどの情報に基づき経路生成部３３０で生成された経路情報などに基づき走行状態を制御する走行制御手段として機能している。

【0181】

次に、ステップＳ１３１０で経路生成処理の終了の指示がユーザから出されたか判別し、Ｙｅｓであれば、経路生成部３３０による経路情報の生成処理が終了する。Ｎｏの場合は、ステップＳ１３０１に戻り、経路情報の生成処理を繰り返し実行する。

【0182】

上述した制御によれば、画像中の物体の位置とサイズに基づく枠内で距離情報を統計処理することにより、センサノイズの影響や、被写体からの高輝度な反射に起因する局所的な距離誤差の影響を低減し、各物体までの距離値を高精度に算出することができる。又、各物体までの距離値を高精度化することができ、経路生成ＥＣＵ１３０が算出する車両１００の経路を精度よく算出することができるため、車両１００はより安定した走行が可能となる。

【0183】

＜変形例１＞
上述の処理では、物体の領域を、物体を包含する矩形領域（物体枠）として示したが、物体の領域を画像内の物体の外周を境界とする物体の形状を有する領域としてもよい。その場合、ステップＳ７０２で、物体検出部３２３は、画像８１０で物体が存在する領域を、物体の領域として外界情報に記憶する。例えば、物体検出部３２３は、画像データの画素ごとに、属性を識別することで、物体毎に領域分割することができる。

【0184】

図８（Ｅ）は、物体検出部３２３が物体毎に領域分割を行い、その結果を画像８１０に重畳した例を示した模式図である。領域８３１は人８０１の領域を、領域８３２は車両８０２の領域を、領域８３３は標識８０３の領域を表している。さらに、領域８３４は道路８０４の領域を、領域８３５は車線８０５の領域を表している。

【0185】

この場合、ステップＳ１２０３、およびステップＳ１２０４で、距離情報生成部３２２は、各物体に対して、図８（Ｅ）に示す領域ごとに、領域内に含まれる距離値の例えば度数分布を算出すれば良い。

【0186】

このように物体の領域を定義することにより、領域内に物体以外の背景などの距離情報が含まれづらくなる。すなわち、領域内の距離情報の分布において、より物体の距離情報を反映することが可能となる。したがって、物体の背景や前景など物体以外の領域の影響を低減できるため、より精度よく物体の距離値を算出することができる。

【0187】

＜変形例２＞
本実施形態の撮像装置１１０からは、画像情報と距離画像情報が逐次出力される。さらに、物体検出部３２３は逐次受け取った画像情報を用いて外界情報を逐次生成している。外界情報には物体の識別番号が含まれ、ある時刻Ｔ０と時刻Ｔ１のそれぞれで同じ識別番号の物体が検出された場合、当該物体の距離情報や検出された大きさなどの時間変化を判断することができる。従って、変形例２においては、距離情報生成部３２２は、所定の時間範囲における同一の識別番号の物体の距離値Ｄの平均を算出する。これにより、時間方向の距離ばらつきを低減する。

【0188】

図１４は変形例２における距離情報生成部３２２が行う物体距離情報生成処理例を示すフローチャートである。尚、経路生成装置１５０に含まれるコンピュータがメモリに記憶されたコンピュータプログラムを実行することによって図１４のフローチャートの各ステップの動作が行われる。本フローチャートの各処理について、図１２に示した処理と同じ番号で示した処理は、図１２について説明した処理と同じであるので、説明を省略する。

【0189】

ステップＳ１４０１で、距離情報生成部３２２は、ステップＳ１２０４で生成された度数分布から最頻出となる距離情報を、Ｎ番目の物体の距離を示す物体距離情報とする。そして、距離情報生成部３２２は、物体距離情報を識別番号、および時刻と合わせてメモリ３４０に格納（記憶）する。

【0190】

ステップＳ１４０２で、距離情報生成部３２２は、メモリ３４０に格納された物体距離情報のうち、Ｎ番目の物体の識別番号と同一の識別番号の物体距離情報の履歴を取得する。距離情報生成部３２２は、最新の物体距離情報に対応する時刻から所定の時間だけ前までの時刻に対応する同一の識別番号の物体距離情報を取得する。図１５は、Ｎ番目の物体と同一の識別番号の物体の、物体距離情報の時間変化の例を説明するための模式図である。横軸に時間、縦軸に物体距離情報（距離値Ｄ）を示す。時刻ｔ０が最新の距離値Ｄを取得した時間を示している。

【0191】

ステップＳ１４０３で、距離情報生成部３２２は、取得したＮ番目の物体と同一の識別番号の物体の、物体距離情報の履歴から、最新の物体距離情報を取得した時刻から所定の時間前までの時間範囲に含まれる物体距離情報の平均値を算出する。距離情報生成部３２２は、例えば、図１５において、所定の時間範囲ΔＴに含まれる４点の距離値の平均値を算出する。

【0192】

上述のようにして、外界情報に含まれる識別番号を用いて同一物体の物体距離情報（距離値）の履歴を取得し、時間平均をとることにより、ばらつきを抑制することが可能となる。車両１００が走行する道路が変化した場合（例えば、カーブ、坂道、凹凸の多い悪路など）でも、同一物体を追跡しつつ、時間方向の平均値を算出することができる。

【0193】

したがって、走行環境変化の影響を低減しつつ、画像信号に含まれる光ショットノイズなどのノイズによる距離値のばらつきを低減し、より精度よく物体の距離値を算出することができる。尚、変形例２においては、同様の効果を得るために、物体距離情報を取得する際に、ローパスフィルタを介して、ある程度時間平均した物体距離情報を取得するようにしても良い。

【0194】

＜その他の実施形態＞
上述した実施形態では、距離画像データを取得するために同一の光学系を介して撮像面位相差方式で左右の視差画像を取得する撮像装置を例として説明したが、視差画像の取得方法はこれに限らない。左右に所定の距離だけ離して設けられた２つの撮像装置によって左側の視差画像と右側の視差画像とをそれぞれ取得する、いわゆるステレオカメラで左右の視差画像を取得することも可能である。

【0195】

また、ＬｉＤＡＲなどの測距デバイスを用いて距離情報を取得し、撮像装置から得られた撮像画像に対する画像認識によって得られた外界情報を用いて、上述の測距を行うことも可能である。

【0196】

又、以上の実施形態において、物体の前記第１～前記第３の距離情報の少なくとも２つの履歴又は、統合距離情報の歴に基づき統合距離情報を生成するようにしても良い。

【0197】

尚、以上の実施形態を適宜組み合わせても良く、例えば以下のような構成等を含む。

【0198】

（構成１）画像情報を、所定方向に延びる複数の分割領域に分割し、各分割領域内の画像に対して少なくとも色情報に基づく境界を検出する境界検出手段と、前記画像情報の各画素の距離相当情報に基づき、前記分割領域内の前記境界で区切られたサブ領域毎の統合距離相当情報を決定する統合距離相当情報決定手段と、を有することを特徴とする画像処理装置。

【0199】

（構成２）
前記統合距離相当情報が決定された前記サブ領域に対して、前記サブ領域の前記統合距離相当情報に応じて所定の分類分けをする分類手段を有することを特徴とする画像処理装置。

【0200】

（構成３）
前記分類手段は、前記サブ領域を空と道路とそれ以外の３つの分類のいずれかに分類分けすることを特徴とする構成２に記載の画像処理装置。

【0201】

（構成４）
前記所定の方向は画面の縦方向であることを特徴とする構成１～３のいずれか１つに記載の画像処理装置。

【0202】

（構成５）
前記画像情報の各画素に対して前記距離相当情報を検出する距離相当情報測定手段を有することを特徴とする構成１～４のいずれか１つに記載の画像処理装置。

【0203】

（構成６）
前記距離相当情報測定手段は、前記色情報に基づいて各画素の距離相当情報の確からしさを表す信頼度を生成し、前記統合距離相当情報決定手段は、前記信頼度に基づいて重み付けされた各画素の前記距離相当情報に基づいて前記サブ領域毎の統合距離相当情報を決定することを特徴とする構成５に記載の画像処理装置。

【0204】

（構成７）
被写体を撮像して視点が異なる複数の画像を生成する撮像手段を有し、前記距離相当情報測定手段は、前記色情報に基づいて前記複数の画像の視差量を算出し、前記色情報に基づいて各画素の前記視差量の確からしさを示す視差信頼度を算出し、前記視差信頼度に基づいて前記信頼度を生成することを特徴とする構成６に記載の画像処理装置。

【0205】

（構成８）
前記距離相当情報測定手段は、前記複数の画像の輝度値が所定値以上の画素の前記視差信頼度を、輝度値が所定未満の場合よりも低くなるように算出することを特徴とする構成７に記載の画像処理装置。

【0206】

（構成９）
被写体を撮像して前記画像情報を生成する撮像手段を有し、前記距離相当情報測定手段は、前記撮像手段の画素内に配置された第１の光電変換部と第２の光電変換部からの信号に基づき位相差測距方式により前記距離相当情報を測定することを特徴とする構成５に記載の画像処理装置。

【0207】

（構成１０）
前記距離相当情報測定手段は、ステレオカメラからの２つの画像信号に基づき位相差測距方式により前記距離相当情報を測定することを特徴とする構成５に記載の画像処理装置。

【0208】

（構成１１）
前記境界検出手段は、前記色情報が所定の閾値より変化する位置を前記境界として検出することを特徴とする構成１～１０のいずれか１つに記載の画像処理装置。

【0209】

（構成１２）
前記分割領域は前記所定方向と交差する方向に複数の画素を有し、前記色情報は前記複数の画素に基づいて求められる代表値であることを特徴とする構成１１に記載の画像処理装置。

【0210】

（構成１３）
前記分類手段によって前記分類分けがされた前記サブ領域を含む複数の前記分割領域の画像を統合して物体検出を行う物体検出手段を有することを特徴とする構成２又は３のいずれか１つに記載の画像処理装置。

【0211】

（構成１４）
画像情報を、所定方向に延びる複数の分割領域に分割し、各分割領域内の画像に対して少なくとも色情報に基づく境界を検出する境界検出手段と、前記画像情報の各画素の距離相当情報に基づき、前記分割領域内の前記境界で区切られたサブ領域毎の統合距離相当情報を決定する統合距離相当情報決定手段と、前記統合距離相当情報が決定された前記サブ領域を含む複数の前記分割領域の画像を統合して物体検出を行う物体検出手段と、前記物体検出手段により検出された物体の情報に基づき走行状態を制御する走行制御手段と、を有することを特徴とする移動体。

【0212】

（方法１）
画像情報を、所定方向に延びる複数の分割領域に分割し、各分割領域内の画像に対して少なくとも色情報に基づく境界を検出する境界検出ステップと、前記画像情報の各画素の距離相当情報に基づき、前記分割領域内の前記境界で区切られたサブ領域毎の統合距離相当情報を決定する統合距離相当情報決定ステップと、を有することを特徴とする画像処理方法。

【0213】

（プログラム１）
構成１～９のいずれか１つに記載の画像処理装置又は構成１０に記載の移動体の各手段をコンピュータによって制御するためのコンピュータプログラム。

【0214】

尚、上述の実施形態においては、移動体として自動車の車両に電子機器としての距離算出装置を搭載した例について説明した。しかし、移動体は、自動二輪車、自転車、車椅子、船舶、飛行機、ドローン、ＡＧＶやＡＭＲなどの移動ロボットなど、移動可能なものであればどのようなものであってもよい。又、本実施形態の電子機器としての距離算出装置はそれらの移動体に搭載されるものに限らず、移動体に搭載されたカメラ等の画像を通信により取得し、移動体から離れた位置で距離を算出するものを含む。

【0215】

以上、本発明をその好適な実施形態（実施例）に基づいて詳述してきたが、本発明は上記実施形態（実施例）に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。

【0216】

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコード（制御プログラム）を記録した記憶媒体を、システムあるいは装置に供給することによって実現してもよい。そして、そのシステムあるいは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたコンピュータ読取可能なプログラムコードを読み出し実行することによっても達成される。

【0217】

その場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

【符号の説明】

【0218】

１００:車両
１０１:運転者
１１０:撮像装置
１２０:レーダ装置
１３０:経路生成ＥＣＵ
１４０:車両制御ＥＣＵ
１５０:経路生成装置
１６０:車両情報計測器
３２０：物体情報生成部
３２１：境界処理部
３２２：距離情報生成部
３２３：物体検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】