特許 6688091 車両距離導出装置および車両距離導出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6688091

(24)【登録日】2020年4月7日

(45)【発行日】2020年4月28日

(54)【発明の名称】車両距離導出装置および車両距離導出方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20200421BHJP

   G06T 7/60 20170101ALI20200421BHJP

   G01C 3/06 20060101ALI20200421BHJP

   G08G 1/16 20060101ALN20200421BHJP

【ＦＩ】

   G06T7/00 650B

   G06T7/60 180B

   G01C3/06 120S

   !G08G1/16 C

【請求項の数】6

【全頁数】15

(21)【出願番号】特願2016-11070(P2016-11070)

(22)【出願日】2016年1月22日

(65)【公開番号】特開2017-130162(P2017-130162A)

(43)【公開日】2017年7月27日

【審査請求日】2019年1月15日

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】伊集院 和也

(72)【発明者】

【氏名】岡田 勝利

【審査官】 村松 貴士

(56)【参考文献】

【文献】 米国特許出願公開第２０１４／０１３３６９８（ＵＳ，Ａ１）

【文献】 特開２００３−０７７０９９（ＪＰ，Ａ）

【文献】 特開２００８−１３００８７（ＪＰ，Ａ）

【文献】 特開２０１３−１０９４５５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００ − ７／９０

Ｇ０８Ｇ １／００ − １／１６

Ｇ０１Ｃ ３／００ − ３／３２

(57)【特許請求の範囲】

【請求項1】

撮像画像から車両の形状が存在する車両領域を抽出する領域抽出部と、
前記撮像画像における前記車両領域の下端位置に基づいて、前記車両までの距離を導出する距離導出部と、
前記撮像画像における明領域と暗領域との境界を探索し、前記境界に基づいて、前記下端位置を補正する補正部と
を備え、
前記領域抽出部は、
同一の前記撮像画像から前記車両領域の候補となる複数の候補領域を抽出し、前記複数の候補領域に基づいて、前記車両領域を抽出し、
前記補正部は、
同一の前記撮像画像から抽出される前記複数の候補領域における各下端を介して上下に隣接する上方領域と下方領域との明暗差を導出し、前記明暗差が最大となる前記車両領域の下端を前記境界として探索する
ことを特徴とする車両距離導出装置。

【請求項2】

時系列の前記撮像画像から前記車両領域の特徴量を順次取得する特徴量取得部
をさらに備え、
前記補正部は、
前記特徴量取得部によって順次取得される前記特徴量の時間微分値が閾値を超える場合に、前記境界の探索結果を誤りと判定する
ことを特徴とする請求項１に記載の車両距離導出装置。

【請求項3】

前記特徴量取得部は、
前記特徴量として、前記車両領域の面積を取得する
ことを特徴とする請求項２に記載の車両距離導出装置。

【請求項4】

前記特徴量取得部は、
前記特徴量として、前記車両領域におけるエッジ点数を取得する
ことを特徴とする請求項２に記載の車両距離導出装置。

【請求項5】

前記特徴量取得部は、
前記特徴量として、前記車両領域における色毎の画素数を取得する
ことを特徴とする請求項２に記載の車両距離導出装置。

【請求項6】

領域抽出部が、撮像画像から車両の形状が存在する車両領域を抽出する工程と、
距離導出部が、前記撮像画像における前記車両領域の下端位置に基づいて、前記車両までの距離を導出する工程と、
補正部が、前記撮像画像における明領域と暗領域との境界を探索し、前記境界に基づいて前記下端位置を補正する工程と
を含み、
前記車両領域を抽出する工程は、
同一の前記撮像画像から前記車両領域の候補となる複数の候補領域を抽出し、前記複数の候補領域に基づいて、前記車両領域を抽出することを含み、
前記下端位置を補正する工程は、
同一の前記撮像画像から抽出される前記複数の候補領域における各下端を介して上下に隣接する上方領域と下方領域との明暗差を導出し、前記明暗差が最大となる前記車両領域の下端を前記境界として探索する
ことを含むことを特徴とする車両距離導出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両距離導出装置および車両距離導出方法に関する。

【背景技術】

【0002】

従来、例えば、車載カメラ等の撮像装置によって撮像される撮像画像中の車両の位置に基づいて、車両までの距離を導出する技術が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−１６８０６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の装置は、撮像画像から特定した車両の位置が正確でない場合があり、かかる場合に車両までの正確な距離を導出することができない。

【0005】

本発明は、上記に鑑みてなされたものであって、撮像画像に基づいて導出する車両までの距離の精度を向上させることができる車両距離導出装置および車両距離導出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

実施形態に係る車両距離導出装置は、領域抽出部と、距離導出部と、補正部とを備える。領域抽出部は、撮像画像から車両の形状が存在する車両領域を抽出する。距離導出部は、前記撮像画像における前記車両領域の下端位置に基づいて、前記車両までの距離を導出する。補正部は、前記撮像画像における明領域と暗領域との境界を探索し、前記境界に基づいて、前記下端位置を補正する。

【発明の効果】

【0007】

実施形態に係る車両距離導出装置および車両距離導出方法は、撮像画像に基づいて導出する車両までの距離の精度を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る車両距離導出方法の説明図である。

【図2】図２は、実施形態に係る車両距離導出装置の構成を示す機能ブロック図である。

【図3】図３は、実施形態に係る車両領域の抽出手順および補正手順の一例を示す説明図である。

【図4】図４は、実施形態に係る車両領域の抽出手順および補正手順の一例を示す説明図である。

【図5】図５は、実施形態に係る車両領域の誤補正判定手順の一例を示す説明図である。

【図6】図６は、実施形態に係る誤補正判定手順の変形例を示す説明図である。

【図7】図７は、実施形態に係る車両距離導出装置が実行する処理を示すフローチャートである。

【図8】図８は、実施形態に係る車両距離導出装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下に添付図面を参照して、実施形態に係る車両距離導出装置および車両距離導出方法について詳細に説明する。なお、この実施形態により本発明が限定されるものではない。以下では、自車両に設けられて自車両の前方を撮像するカメラから入力される撮像画像に基づいて、自車両から撮像画像に写る他車両までの距離（以下、「車両距離」と記載する）を導出する車両距離導出装置を例に挙げて説明する。

【0010】

なお、本実施形態は、自車両の側方や後方を撮像するカメラから入力される撮像画像に写る他車両までの車両距離を導出する車両距離導出装置に適用することもできる。また、本実施形態は、街頭や建物等に設けられる固定のカメラから入力される撮像画像に基づいて、カメラから撮像画像に写る車両までの車両距離を導出する車両距離導出装置にも適用することが可能である。

【0011】

図１は、実施形態に係る車両距離導出方法の説明図である。車両距離導出装置は、自車両の前方が撮像された撮像画像中で、例えば、道路や車線が無限遠の水平線で一点に収束するという遠近法の原理を利用して車両距離を導出する。

【0012】

つまり、車両距離導出装置は、自車両の前方が撮像された撮像画像が入力される場合、撮像画像における仮想的な無限遠の一点から他車両の接地位置までの縦方向の距離と、自車両の接地面に対するカメラの高さ位置とに基づいて車両距離を導出する。

【0013】

例えば、図１に示すように、車両距離導出装置は、カメラから他車両Ｃが写る撮像画像Ｆが入力される場合、まず、撮像画像Ｆから他車両Ｃの形状が存在する車両領域Ｅ２を抽出する。なお、車両領域Ｅ２の具体的な抽出手順の一例については、図３を参照して後述する。

【0014】

車両距離導出装置は、撮像画像Ｆに写る物体が車両か否かを判定する基準となる車両辞書情報を使用して、撮像画像Ｆから車両領域Ｅ２を抽出する。車両辞書情報は、例えば、機械学習によって予め作成される情報である。

【0015】

なお、機械学習の一例については後述する。そして、車両距離導出装置は、撮像画像Ｆにおける車両領域Ｅ２の下端位置を他車両Ｃの接地位置として使用して、自車両から他車両Ｃまでの車両距離を導出する。

【0016】

このため、車両距離導出装置は、撮像画像Ｆにおける他車両Ｃの接地位置と、車両領域Ｅ２の下端位置とが正確に一致していれば、他車両Ｃまでの正確な車両距離を導出することができる。

【0017】

しかしながら、車両距離導出装置は、正しい車両領域が図１に一点鎖線で示す枠Ｅ１である場合に、撮像画像Ｆにおける他車両Ｃの接地位置（枠Ｅ１の下端）よりも下端位置が上に位置する誤った車両領域Ｅ２を抽出することがある。

【0018】

かかる事例は、例えば、撮像画像Ｆにおける他車両Ｃ、他車両Ｃの影、および他車両Ｃの背景等の輝度や色が似通っていて、他車両Ｃの外形が不鮮明な場合に発生する傾向がある。そして、車両距離導出装置は、撮像画像Ｆにおける他車両Ｃの接地位置が不正確な車両領域Ｅ２を抽出した場合、正確な車両距離を導出することができない。

【0019】

そこで、車両距離導出装置は、まず撮像画像Ｆから車両領域Ｅ２を抽出した後に、撮像画像Ｆにおける車両領域Ｅ２の下端位置を正しい位置に補正し、補正後の車両領域の下端位置を使用して、他車両Ｃまでの車両距離を導出する。

【0020】

具体的には、図１に示すように、撮像画像Ｆには、他車両Ｃの下方に他車両Ｃの影となった暗領域Ｅｄが存在する。また、撮像画像Ｆにおける暗領域Ｅｄの直下には、他車両Ｃの影とならない道路の明領域Ｅｂが存在する。

【0021】

そして、撮像画像Ｆでは、暗領域Ｅｄと明領域Ｅｂとの境界（以下、「明暗領域境界Ｌ」と記載する）が他車両Ｃの接地位置となっている。そこで、実施形態に係る車両距離導出装置は、撮像画像Ｆにおける明暗領域境界Ｌを探索し、車両領域Ｅ２の下端位置を明暗領域境界Ｌとする補正を行う。

【0022】

これにより、車両距離導出装置は、車両領域Ｅ２の下端位置を正しい車両領域の枠Ｅ１の下端位置に一致させることができる。したがって、車両距離導出装置は、補正後の車両領域の下端位置を他車両Ｃの接地位置として使用することにより、自車両から他車両Ｃまでの正確な車両距離を導出することができる。

【0023】

次に、図２を参照して、実施形態に係る車両距離導出装置の構成について説明する。図２は、実施形態に係る車両距離導出装置１の構成を示す機能ブロック図である。図２に示すように、車両距離導出装置１は、カメラ２と車載装置３とに接続される。

【0024】

カメラ２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備える撮像装置であり、自車両の前方を撮像する位置、例えば、社室内のルームミラーの前面等に設置される。そして、カメラ２は、撮像画像Ｆを車両距離導出装置１へ出力する。

【0025】

車載装置３は、例えば、自車両に搭載されるドライブレコーダやディスプレイ等である。ドライブレコーダは、例えば、自車両の走行中および停車中にカメラ２によって撮像される撮像画像Ｆを記録する装置である。ディスプレイは、例えば、カーナビゲーション装置から入力される目的地までの道順の案内画像や、カメラ２によって撮像される撮像画像Ｆを表示する装置である。

【0026】

車両距離導出装置１は、カメラ２から入力される撮像画像Ｆに基づいて、自車両から他車両Ｃまでの車両距離を導出し、導出した車両距離を車載装置３へ出力する装置である。かかる車両距離導出装置１は、制御部４と、記憶部５とを備える。

【0027】

制御部４は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）を備えるマイクロコンピュータである。制御部４は、ＣＰＵがＲＯＭから車両距離導出プログラムを読み出し、ＲＡＭを作業領域として使用して実行することにより機能する拡縮画像生成部４１、領域抽出部４２、領域統合部４３、補正部４４、特徴量取得部４５、および距離導出部４６を備える。

【0028】

記憶部５は、不揮発性メモリやハードディスクドライブといった記憶デバイスであり、車両辞書情報５１、候補領域情報５２、および特徴量情報５３を記憶する。車両辞書情報５１は、撮像画像Ｆに写る物体が車両か否かを判定する基準となる情報であり、機械学習によって予め作成されて記憶部５に記憶される。ここで、車両辞書情報５１の作成手順について、簡単に説明する。

【0029】

車両辞書情報５１を作成する場合、まず、形状が既知の複数種類の車両の画像と、車両以外の物体の画像とを学習データとしてそれぞれ所定数（例えば、数１００〜数１０００枚の画像）準備する。準備する画像のサイズは、例えば、３６ピクセル×３６ピクセルのサイズに統一する。

【0030】

続いて、準備した各画像から、例えば、ＨＯＧ（Histgram of Oriented Gradient）特徴量を抽出する。そして、前述の予め準備した画像を、抽出したＨＯＧ特徴量に基づいて、２次元平面上にプロットする。

【0031】

続いて、例えば、ＳＶＭ（Support Vector Machine）等の識別器によって、２次元平面上における車両の画像と車両以外の物体の画像とを分離する分離線を生成する。かかる２次元平面の座標軸および識別器によって生成された分離線の情報が、撮像画像Ｆに含まれる画像が車両か否かの判定基準として使用される車両辞書情報５１となる。これにより、制御部４は、車両辞書情報５１を使用することによって、撮像画像Ｆ内の３６ピクセル×３６ピクセル内の画像が車両か否かを判定することができる。

【0032】

なお、予め準備した画像から抽出する特徴量は、ＨＯＧ特徴量に限定されず、例えば、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量であってもよい。また、車両の画像と車両以外の物体の画像との分離に用いる識別器は、ＳＶＭに限定されず、例えば、アダブースト（AdaBoost）等の識別器であってもよい。

【0033】

また、候補領域情報５２は、領域抽出部４２によって撮像画像Ｆから抽出される後述の候補領域に関する情報である。具体的には、候補領域情報５２は、撮像画像Ｆにおける候補領域の位置および大きさを示す情報であり、例えば、ＸＹ直交座標系に変換した撮像画像Ｆにおける候補領域が存在する位置のＸＹ座標値である。

【0034】

特徴量情報５３は、補正部４４によって補正された後述の車両領域の特徴に関する情報である。具体的には、特徴量情報５３は、撮像画像Ｆにおける車両領域の面積を示す情報である。

【0035】

なお、特徴量情報５３は、車両領域の面積を示す情報に限定されるものではなく、車両領域の特徴に関する情報であれば、任意の情報であってよい。かかる特徴量情報５３の変形例については、図６を参照して後述する。

【0036】

制御部４の説明に戻り、拡縮画像生成部４１は、カメラ２から入力される撮像画像Ｆについて、それぞれ拡縮率が異なる複数の拡大画像および縮小画像（例えば、２５枚の拡縮画像）を生成して、領域抽出部４２へ出力する処理部である。

【0037】

領域抽出部４２は、車両辞書情報５１を使用し、拡縮画像生成部４１から入力される拡縮画像から他車両Ｃが存在する可能性のある複数の候補領域を抽出し、抽出した候補領域に関する候補領域情報５２を記憶部５に記憶させる処理部である。

【0038】

領域統合部４３は、記憶部５に記憶された候補領域情報５２に基づいて、複数の候補領域を統合して車両領域を生成し、生成した車両領域に関する車両領域情報を補正部４４へ出力する処理部である。車両領域情報は、撮像画像Ｆにおける車両領域の位置および大きさを示す情報であり、例えば、ＸＹ直交座標系に変換した撮像画像Ｆにおける車両領域が存在する位置のＸＹ座標値である。

【0039】

補正部４４は、領域統合部４３から入力される車両領域情報を、記憶部５に記憶された候補領域情報５２に基づいて補正し、補正後の車両領域情報を特徴量取得部４５および距離導出部４６へ出力する処理部である。

【0040】

ここで、図３および図４を参照し、領域抽出部４２、領域統合部４３、および補正部４４の動作の一例について説明する。図３および図４は、実施形態に係る車両領域の抽出手順および補正手順の一例を示す説明図である。

【0041】

図３に（ａ）で示すように、領域抽出部４２は、拡縮画像生成部４１から撮像画像Ｆおよび撮像画像Ｆの拡縮画像が入力されると、撮像画像Ｆの中で、他車両Ｃの形状が存在する可能性のある複数の候補領域Ｅ３，Ｅ４，Ｅ５を抽出する。

【0042】

ここで、車両辞書情報５１は、前述したように、３６ピクセル×３６ピクセル内の画像が車両か否かを判別するために使用される情報である。そして、撮像画像Ｆにおける他車両Ｃは、自車両からの距離によって大きさが異なり、大きさが３６ピクセル×３６ピクセルとは限らない。

【0043】

このため、領域抽出部４２は、撮像画像Ｆから他車両Ｃの形状が存在する候補領域を抽出することができない場合もあるが、拡縮画像生成部４１から入力される拡縮率が異なる複数の拡縮画像を探索することによって、候補領域を抽出することができる。その後、領域抽出部４２は、抽出した複数の候補領域に関する候補領域情報５２を記憶部５に記憶させる。

【0044】

続いて、図３に（ｂ）に示すように、領域統合部４３は、記憶部５に記憶された候補領域情報５２を使用して、複数の候補領域Ｅ３，Ｅ４，Ｅ５を一つの車両領域Ｅ２に統合する。領域統合部４３は、複数の候補領域Ｅ３，Ｅ４，Ｅ５の候補領域情報に対して、例えば、加重平均法を使用した重みづけを行うことによって、車両領域Ｅ２を生成する。このとき、撮像画像Ｆ中の車両領域Ｅ２の下端位置と、他車両Ｃの接地位置との間に、撮像画像Ｆの縦方向で距離Ｄのずれが生じる場合がある。

【0045】

このため、補正部４４は、撮像画像Ｆ中から明暗領域境界Ｌ（図１参照）を探索し、車両領域Ｅ２の下端位置を明暗領域境界Ｌと一致させる補正を行うことにより、図３に（ｃ）で示す補正後の車両領域Ｅを生成する。

【0046】

具体的には、補正部４４は、撮像画像Ｆから抽出された候補領域Ｅ３，Ｅ４，Ｅ５が３つの場合、図４に（ａ）で示すように、まず、記憶部５から一つ目の候補領域Ｅ３の候補領域情報５２を読み出し、候補領域Ｅ３の下端位置に仮境界Ｌ１を設定する。

【0047】

そして、補正部４４は、仮境界Ｌ１を介して上下に隣接する上方領域Ａと下方領域Ｂとを設定する。例えば、補正部４４は、仮境界Ｌ１の上下に、それぞれ横方向の長さが候補領域Ｅ３の横方向の長さと等しく、縦方向の長さが候補領域Ｅ３の縦方向の長さの１０％となる長方形の上方領域Ａおよび下方領域Ｂを設定する。

【0048】

そして、補正部４４は、上方領域Ａと下方領域Ｂとの明暗差を導出する。例えば、補正部４４は、上方領域Ａと下方領域Ｂとの明暗差として、上方領域Ａおよび下方領域ＢのＨａａｒ−ｌｉｋｅ特徴量Ｈ（Ａ，Ｂ）を導出する。

【0049】

補正部４４は、下記式（１）によってＨａａｒ−ｌｉｋｅ特徴量Ｈ（Ａ，Ｂ）を導出する。

【数1】

【0050】

つまり、補正部４４は、下方領域Ｂにおける各画素の輝度値の相加平均値から、上方領域Ａにおける各画素の輝度値の相加平均値を減算することによって、一つ目の候補領域Ｅ３に関するＨａａｒ−ｌｉｋｅ特徴量Ｈ（Ａ，Ｂ）を導出する。

【0051】

続いて、補正部４４は、図４に（ｂ）で示すように、二つ目の候補領域Ｅ４についても、同様に、仮境界Ｌ２、上方領域Ａ、および下方領域Ｂを設定し、候補領域Ｅ４に関するＨａａｒ−ｌｉｋｅ特徴量Ｈ（Ａ，Ｂ）を導出する。

【0052】

続いて、補正部４４は、図４に（ｃ）で示すように、三つ目の候補領域Ｅ５についても、同様に、仮境界Ｌ３、上方領域Ａ、および下方領域Ｂを設定し、候補領域Ｅ５に関するＨａａｒ−ｌｉｋｅ特徴量Ｈ（Ａ，Ｂ）を導出する。

【0053】

そして、補正部４４は、三つの候補領域Ｅ３，Ｅ４，Ｅ５の中で、Ｈａａｒ−ｌｉｋｅ特徴量Ｈ（Ａ，Ｂ）が最大の候補領域Ｅ５に設定した仮境界Ｌ３を明暗領域境界Ｌ（図１参照）として特定する。つまり、補正部４４は、下方領域Ｂが上方領域Ａよりも明るく、且つ、下方領域Ｂと上方領域Ａとの明暗差が最大となった仮境界Ｌ３を明暗領域境界Ｌとして特定する。

【0054】

これにより、補正部４４は、撮像画像Ｆにおける他車両Ｃの正確な下端位置を導出することができる。また、補正部４４は、複数の候補領域Ｅ３，Ｅ４，Ｅ５の下端近傍を探索することによって、車両領域Ｅ２の下端近傍の領域を集中的に探索することができる。したがって、補正部４４は、撮像画像Ｆ全体を探索して明暗領域境界Ｌを特定する場合に比べて、明暗領域境界Ｌの特定に要する処理量を低減することができる。

【0055】

補正部４４は、車両領域Ｅ２の下端位置を明暗領域境界Ｌと一致させる補正を行い、補正後の車両領域Ｅの車両領域情報を特徴量取得部４５および距離導出部４６へ出力する。なお、補正部４４は、Ｈａａｒ−ｌｉｋｅ特徴量Ｈ（Ａ，Ｂ）以外の特徴量を使用して、上方領域Ａと下方領域Ｂとの明暗差を導出する構成であってもよい。

【0056】

図２へ戻り、特徴量取得部４５は、補正部４４から入力される車両領域情報に基づいて、補正後の車両領域Ｅの特徴量を取得する処理部である。特徴量取得部４５は、補正部４４から入力される時系列の画像フレーム毎に、それぞれ特徴量を取得する。特徴量取得部４５は、車両領域Ｅの特徴量として、例えば、車両領域Ｅの面積を取得する。そして、特徴量取得部４５は、取得した特徴量を特徴量情報５３として記憶部５に記憶させる。

【0057】

そして、特徴量取得部４５は、特徴量情報５３に基づいて、車両領域Ｅの特徴量の時間微分値を算出し、時間微分値が閾値を超える場合に、補正部４４による明暗領域境界Ｌの探索結果を誤りと判定し、その旨を示す情報を補正部４４へ出力する。

【0058】

ここで、図５を参照し、特徴量取得部４５が行う車両領域Ｅの誤補正判定手順の一例について説明する。図５は、実施形態に係る車両領域の誤補正判定手順の一例を示す説明図である。

【0059】

車両距離導出装置１には、図５に（ａ）で示す撮像画像Ｆ１が入力される場合がある。撮像画像Ｆ１には、下部に自車両のボンネットＣ１が写り、撮像画像Ｆ１の上部に他車両Ｃが写っている。かかる場合、特徴量取得部４５には、補正部４４から他車両Ｃの補正後の車両領域Ｅ１０の車両領域情報が入力される。

【0060】

そして、車両距離導出装置１には、時刻ｔ１から微小時間が経過した時刻ｔ２で、図５に（ｂ）で示す撮像画像Ｆ２が入力される。ここでは、時刻ｔ１および時刻ｔ２間が微小時間であるため、特徴量取得部４５には、補正部４４から車両領域Ｅ１０と略同一面積の車両領域Ｅ１１の車両領域情報が入力される。

【0061】

このような場合、補正部４４は、車両領域Ｅ１０，Ｅ１１に関する特徴量の時間微分値は、閾値を超えることがないので、補正部４４による明暗領域境界Ｌの探索結果を正しいと判定し、その旨を示す情報を補正部４４へ出力する。

【0062】

その後、車両距離導出装置１には、時刻ｔ２から微小時間が経過した時刻ｔ３で、図５に（ｃ）で示す撮像画像Ｆ３が入力される。ここで、特徴量取得部４５には、補正部４４から縦方向の長さが急激に増大した車両領域Ｅ１２の車両領域情報が入力される場合がある。

【0063】

例えば、領域抽出部４２が自車両のボンネットＣ１と前方の道路の境界を、他車両Ｃの下端位置と誤検出した場合に、特徴量取得部４５には、補正部４４から車両領域Ｅ１２の車両領域情報が入力される。

【0064】

かかる場合、特徴量取得部４５は、車両領域Ｅ１０，Ｅ１１，Ｅ１２の特徴量の時間微分値が閾値を超えるので、補正部４４による明暗領域境界Ｌの探索結果を誤りと判定し、その旨を示す情報を補正部４４へ出力する。

【0065】

補正部４４は、特徴量取得部４５から補正部４４による明暗領域境界Ｌの探索結果に関する正誤を示す情報の入力を待って、距離導出部４６へ車両領域情報を出力する。補正部４４は、特徴量取得部４５から、例えば、時刻ｔ２の撮像画像Ｆ２について、明暗領域境界Ｌの探索結果が正しいと判定された旨を示す情報が入力される場合、車両領域Ｅ１１の車両領域情報を距離導出部４６へ出力する。

【0066】

一方、補正部４４は、特徴量取得部４５から、例えば、明暗領域境界Ｌの探索結果が誤りと判定された旨を示す情報が入力される場合、時刻ｔ３の撮像画像Ｆ３について補正した車両領域Ｅ１２の車両領域情報を破棄する。

【0067】

そして、補正部４４は、時刻ｔ２の撮像画像Ｆ２について補正した車両領域Ｅ１１の車両領域情報を時刻ｔ３の撮像画像Ｆ３用の車両領域情報として距離導出部４６へ出力する。これにより、補正部４４は、何らかの原因で、瞬間的に車両領域Ｅ１２が異常な大きさとなった場合であっても、正しい大きさとほぼ等しい大きさの車両領域Ｅ１１の車両領域情報を距離導出部４６へ出力することができる。

【0068】

なお、ここでは、特徴量取得部４５が補正後の車両領域Ｅの特徴量として、車両領域Ｅの面積を取得する場合について説明したが、特徴量取得部４５は、車両領域Ｅにおける面積以外の特徴量の時間微分値と閾値とを比較して、車両領域Ｅの誤補正判定を行う構成であってもよい。

【0069】

ここで、図６を参照し、特徴量取得部４５が行う車両領域Ｅの誤補正判定手順の変形例について説明する。図６は、実施形態に係る誤補正判定手順の変形例を示す説明図である。ここでは、図６に示す構成要素のうち、図５に示す構成要素と同一の構成要素については、図５に示す符号と同一の符号を付することにより、その説明を省略する。

【0070】

特徴量取得部４５は、図６に（ａ）に示すように、時刻ｔ１の撮像画像Ｆ１における補正後の車両領域Ｅ１０の特徴量として、車両領域Ｅ１０内の画像のエッジヒストグラムＨ１を取得する構成であってもよい。

【0071】

かかる構成の場合、特徴量取得部４５は、車両領域Ｅ１０内の画像におけるエッジ点数を画素ライン毎に取得して累積することによって、エッジヒストグラムＨ１を取得する。そして、特徴量取得部４５は、図６に（ｂ）で示すように、時刻ｔ２の撮像画像Ｆ２についても、エッジヒストグラムＨ２を取得し、図６に（ｃ）で示すように、時刻ｔ３の撮像画像Ｆ３についても、エッジヒストグラムＨ３を取得する。

【0072】

続いて、特徴量取得部４５は、エッジヒストグラムＨ１，Ｈ２，Ｈ３に基づき、車両領域Ｅ１０，Ｅ１１，Ｅ１２におけるエッジ点数の時間微分値を算出する。そして、特徴量取得部４５は、エッジ点数が閾値を超えない場合に、補正部４４による補正を正しいと判定し、エッジ点数が閾値を超える場合に、補正部４４による補正を誤りと判定し、補正の正誤判定結果を示す情報を補正部４４へ出力する。

【0073】

かかる構成によっても、特徴量取得部４５は、図６の（ａ）、（ｂ）と、（ｃ）とを対比すれば明らかなように、図６に（ｃ）で示す撮像画像Ｆ３における車両領域Ｅ１２の補正が誤りであると判定することができる。

【0074】

なお、特徴量取得部４５は、補正後の車両領域Ｅの特徴量として、車両領域Ｅ内の画像の色ヒストグラムを取得する構成であってもよい。かかる構成の場合、特徴量取得部４５は、車両領域Ｅ内の画像における各色（例えば、赤、緑、青）の画素数を取得して累積することによって、色ヒストグラムを取得する。

【0075】

続いて、特徴量取得部４５は、順次取得する色ヒストグラムに基づき、各色の画素数の時間微分値が閾値を超えない場合（車両領域Ｅ内の色分布が急激に変化しない場合）に、補正部４４による補正を正しいと判定する。

【0076】

また、特徴量取得部４５は、各色の画素数の時間微分値が閾値を超える場合（車両領域Ｅ内の色分布が急激に変化する場合）に、補正部４４による補正を誤りと判定する。そして、特徴量取得部４５は、補正部４４による正誤判定結果を示す情報を補正部４４へ出力する。かかる構成によっても、特徴量取得部４５は、補正部４４による補正の正誤を的確に判定することができる。

【0077】

図２へ戻り、距離導出部４６は、補正部４４から入力される補正後の車両領域Ｅの車両領域情報に基づいて、自車両から他車両Ｃまでの車両距離を導出する。つまり、距離導出部４６は、遠近法の原理に、撮像画像Ｆにおける仮想的な無限遠の一点と、補正後の車両領域Ｅの下端位置とを適用して、自車両から他車両Ｃまでの車両距離を導出する。そして、距離導出部４６は、導出した車両距離を車載装置３へ出力する。

【0078】

次に、図７を参照し、車両距離導出装置１が実行する処理について説明する。図７は、実施形態に係る車両距離導出装置１が実行する処理を示すフローチャートである。車両距離導出装置１の制御部４は、カメラ２から撮像画像Ｆが順次入力される度に、図７に示す処理を実行する。

【0079】

具体的には、図７に示すように、制御部４は、まず、撮像画像Ｆから拡縮率が異なる複数の拡縮画像を生成する（ステップＳ１０１）。その後、制御部４は、車両辞書情報５１を使用して、各拡縮画像から他車両Ｃの形状が存在する複数の候補領域Ｅ３，Ｅ４，Ｅ５（図３の（ａ）参照）を抽出する（ステップＳ１０２）。そして、制御部４は、抽出した候補領域Ｅ３，Ｅ４，Ｅ５の候補領域情報５２を記憶部５に記憶させる（ステップＳ１０３）。

【0080】

その後、制御部４は、候補領域情報５２を使用して、複数の候補領域Ｅ３，Ｅ４，Ｅ５を統合して車両領域Ｅ２（図３の（ｂ）参照）を生成する（ステップＳ１０４）。続いて、制御部４は、候補領域情報５２に基づいて、撮像画像Ｆにおける暗領域Ｅｄと明領域Ｅｂとの境界である明暗領域境界Ｌ（図１参照）を探索する（ステップＳ１０５）。

【0081】

その後、制御部４は、撮像画像Ｆにおける車両領域Ｅ２の下端位置を明暗領域境界Ｌの位置と同一の位置にする下端位置補正を行う（ステップＳ１０６）。続いて、制御部４は、下端位置が補正された車両領域Ｅ（図３の（ｃ）参照）内の画像に関する特徴量を取得する（ステップＳ１０７）。そして、制御部４は、取得した特徴量を示す特徴量情報５３を記憶部５に記憶させる（ステップＳ１０８）。

【0082】

続いて、制御部４は、記憶部５に記憶された特徴量情報５３に基づいて、車両領域Ｅ内の画像に関する特徴量の時間微分値が閾値を超えたか否かを判定する（ステップＳ１０９）。

【0083】

そして、制御部４は、特徴量の時間微分値が閾値を超えていないと判定した場合（ステップＳ１０９，Ｎｏ）、現フレームの撮像画像Ｆから抽出した車両領域Ｅから他車両Ｃまでの車両距離を導出し（ステップＳ１１０）、車両距離を出力して処理を終了する。

【0084】

また、制御部４は、特徴量の時間微分値が閾値を超えたと判定した場合（ステップＳ１０９，Ｙｅｓ）、前フレームの撮像画像Ｆから抽出した車両領域Ｅから他車両Ｃまでの車両距離を導出し（ステップＳ１１１）、車両距離を出力して処理を終了する。

【0085】

上述したように、実施形態に係る車両距離導出装置は、領域抽出部と、距離導出部と、補正部とを備える。領域抽出部は、撮像画像から車両の形状が存在する車両領域を抽出する。距離導出部は、撮像画像における車両領域の下端位置に基づいて、車両までの距離を導出する。

【0086】

補正部は、撮像画像における明領域と暗領域との境界を探索し、明領域と暗領域との境界に基づいて、撮像画像における車両の下端位置を補正する。これにより、車両距離導出装置は、撮像画像に基づいて導出する車両までの距離の精度を向上させることができる。

【0087】

次に、図８を参照し、車両距離導出装置１のハードウェア構成について説明する。図８は、実施形態に係る車両距離導出装置１の機能を実現するコンピュータの一例を示すハードウェア構成図である。車両距離導出装置１は、図８に一例として示す構成のコンピュータ２００で実現することができる。

【0088】

コンピュータ２００は、ＣＰＵ（Central Processing Unit）２１０と、ＲＯＭ（Read Only Memory）２２０と、ＲＡＭ（Random Access Memory）２３０と、ＨＤＤ（Hard Disk Drive）２４０とを備える。また、コンピュータ２００は、メディアインターフェイス（Ｉ／Ｆ）２５０と、通信インターフェイス（Ｉ／Ｆ）２６０と、入出力インターフェイス（Ｉ／Ｆ）２７０とを備える。

【0089】

なお、コンピュータ２００は、ＳＳＤ（Solid State Drive）を備え、かかるＳＳＤがＨＤＤ２４０の一部または全ての機能を実行するようにしてもよい。また、ＨＤＤ２４０に代えてＳＳＤを設けることとしてもよい。

【0090】

ＣＰＵ２１０は、ＲＯＭ２２０およびＨＤＤ２４０の少なくとも一方に格納されるプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ２２０は、コンピュータ２００の起動時にＣＰＵ２１０によって実行されるブートプログラムや、コンピュータ２００のハードウェアに依存するプログラムなどを格納する。ＨＤＤ２４０は、ＣＰＵ２１０によって実行されるプログラムおよびかかるプログラムによって使用されるデータ等を格納する。

【0091】

メディアＩ／Ｆ２５０は、記憶媒体２８０に格納されたプログラムやデータを読み取り、ＲＡＭ２３０を介してＣＰＵ２１０に提供する。ＣＰＵ２１０は、かかるプログラムを、メディアＩ／Ｆ２５０を介して記憶媒体２８０からＲＡＭ２３０上にロードし、ロードしたプログラムを実行する。あるいは、ＣＰＵ２１０は、かかるデータを用いてプログラムを実行する。記憶媒体２８０は、例えばＤＶＤ（Digital Versatile Disc）などの光磁気記録媒体やＳＤカード、ＵＳＢメモリなどである。

【0092】

通信Ｉ／Ｆ２６０は、ネットワーク２９０を介して他の機器からデータを受信してＣＰＵ２１０に送り、ＣＰＵ２１０が生成したデータを、ネットワーク２９０を介して他の機器へ送信する。あるいは、通信Ｉ／Ｆ２６０は、ネットワーク２９０を介して他の機器からプログラムを受信してＣＰＵ２１０に送り、ＣＰＵ２１０がかかるプログラムを実行する。

【0093】

ＣＰＵ２１０は、入出力Ｉ／Ｆ２７０を介して、ディスプレイ等の出力部を制御する。ＣＰＵ２１０は、入出力Ｉ／Ｆ２７０を介して、出力部からデータを取得する。また、ＣＰＵ２１０は、生成したデータを入出力Ｉ／Ｆ２７０を介して出力部に出力する。

【0094】

例えば、コンピュータ２００が車両距離導出装置１として機能する場合、コンピュータ２００のＣＰＵ２１０は、ＲＡＭ２３０上にロードされたプログラムを実行することにより、拡縮画像生成部４１、領域抽出部４２、領域統合部４３、補正部４４、特徴量取得部４５、および距離導出部４６の各機能を実現する。

【0095】

コンピュータ２００のＣＰＵ２１０は、例えばこれらのプログラムを記憶媒体２８０から読み取って実行するが、他の例として、他の装置からネットワーク２９０を介してこれらのプログラムを取得してもよい。また、ＨＤＤ２４０は、記憶部５が記憶する車両辞書情報５１、候補領域情報５２、および特徴量情報５３を記憶することができる。

【0096】

なお、上記では、車両距離導出装置１と車載装置３とは別の装置であるものとして説明したが、これらを一体化してもよい。すなわち、上述した車両距離導出装置１と車載装置３との双方の機能を一つの装置が備えていてもよい。

【符号の説明】

【0097】

１ 車両距離導出装置
２ カメラ
３ 車載装置
４ 制御部
５ 記憶部
４１ 拡縮画像生成部
４２ 領域抽出部
４３ 領域統合部
４４ 補正部
４５ 特徴量取得部
４６ 距離導出部
５１ 車両辞書情報
５２ 候補領域情報
５３ 特徴量情報
２００ コンピュータ
２１０ ＣＰＵ
２２０ ＲＯＭ
２３０ ＲＡＭ
２４０ ＨＤＤ
２５０ メディアＩ／Ｆ
２６０ 通信Ｉ／Ｆ
２７０ 入出力Ｉ／Ｆ
２８０ 記憶媒体
２９０ ネットワーク
Ａ 上方領域
Ｂ 下方領域
Ｃ 他車両

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】