特許 6387869 警告装置、警告方法及び警告プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6387869

(24)【登録日】2018年8月24日

(45)【発行日】2018年9月12日

(54)【発明の名称】警告装置、警告方法及び警告プログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20180903BHJP

   B60R 21/00 20060101ALI20180903BHJP

   H04N 5/225 20060101ALI20180903BHJP

   H04N 5/232 20060101ALI20180903BHJP

   H04N 7/18 20060101ALI20180903BHJP

【ＦＩ】

   G08G1/16 C

   B60R21/00 991

   H04N5/225

   H04N5/232

   H04N7/18 J

【請求項の数】6

【全頁数】18

(21)【出願番号】特願2015-46585(P2015-46585)

(22)【出願日】2015年3月10日

(65)【公開番号】特開2016-167174(P2016-167174A)

(43)【公開日】2016年9月15日

【審査請求日】2017年3月30日

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】齋部 覚

【審査官】 岩田 玲彦

(56)【参考文献】

【文献】 特開２０１２−２０３８８４（ＪＰ，Ａ）

【文献】 特開２００９−０５５５５３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ ２１／００

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

連続して撮影される複数の画像から構成される画像群を取得する画像取得手段と、
前記画像群内の画像のそれぞれに対して、対象物の検出を行う検出手段と、
前記画像群における前記対象物の検出結果を時系列に沿って比較して、前記対象物の移動の度合いを判定する判定手段と、
前記判定された移動の度合いに応じて警告を行う警告手段と
を備え、
前記画像取得手段は、複数のフィルタ特性それぞれに基づく複数の画像群を取得し、
前記判定手段は、
前記複数の画像群の間で対応する画像同士を比較して、時間帯ごとに前記検出の精度が高い画像を選択し、
前記選択された各画像を前記時系列に沿って比較して、前記対象物の移動の度合いを判定することを特徴とする警告装置。

【請求項2】

連続して撮影される複数の画像から構成される画像群を取得する画像取得手段と、
前記画像群内の画像のそれぞれに対して、対象物の検出を行う検出手段と、
前記画像群における前記対象物の検出結果を時系列に沿って比較して、前記対象物の移動の度合いを判定する判定手段と、
前記判定された移動の度合いに応じて警告を行う警告手段と
を備え、
前記画像取得手段は、複数のフィルタ特性それぞれに基づく複数の画像群を取得し、
前記判定手段は、
前記複数の画像群の間で対応する画像同士を比較して、時間帯ごとに前記対象物の画像内の位置を特定し、
前記特定した位置を前記時系列に沿って比較して、前記対象物の移動の度合いを判定する
ことを特徴とする警告装置。

【請求項3】

連続して撮影される複数の画像から構成される画像群を取得する画像取得手段と、
前記画像群内の画像のそれぞれに対して、対象物の検出を行う検出手段と、
前記画像群における前記対象物の検出結果を時系列に沿って比較して、前記対象物の移動の度合いを判定する判定手段と、
前記判定された移動の度合いに応じて警告を行う警告手段と
を備え、
前記画像取得手段は、複数のフィルタ特性それぞれに基づく複数の画像群を取得し、
前記判定手段は、
前記検出結果を、各画像群の中の画像間で前記時系列に沿って比較して、前記画像群ごとに前記対象物への接近速度を算出し、
前記複数の画像群の中で前記接近速度が最も速い画像群を選択し、
前記選択した画像群における前記対象物の移動の度合いを判定する
ことを特徴とする警告装置。

【請求項4】

前記判定手段は、
前記検出結果を、各画像群の中の画像間で前記時系列に沿って比較して、前記画像群ごとに前記対象物への接近速度を算出し、
前記接近速度が基準値以上か否かを判定し、
前記警告手段は、
前記接近速度が所定の基準値以上である場合には、前記接近速度が基準値未満である場合よりも警告の度合いを高くする
請求項１又は２に記載の警告装置。

【請求項5】

連続して撮影される複数の画像から構成される画像群を取得する画像取得ステップと、
前記画像群内の画像のそれぞれに対して、対象物の検出を行う検出ステップと、
前記画像群における前記対象物の検出結果を時系列に沿って比較して、前記対象物の移動の度合いを判定する判定ステップと、
前記判定された移動の度合いに応じて警告を行う警告ステップと
を有し、
前記画像取得ステップは、複数のフィルタ特性それぞれに基づく複数の画像群を取得し、
前記判定ステップは、
前記複数の画像群の間で対応する画像同士を比較して、時間帯ごとに前記検出の精度が高い画像を選択し、
前記選択された各画像を前記時系列に沿って比較して、前記対象物の移動の度合いを判定することを特徴とする警告方法。

【請求項6】

連続して撮影される複数の画像から構成される画像群を取得する画像取得ステップと、
前記画像群内の画像のそれぞれに対して、対象物の検出を行う検出ステップと、
前記画像群における前記対象物の検出結果を時系列に沿って比較して、前記対象物の移動の度合いを判定する判定ステップと、
前記判定された移動の度合いに応じて警告を行う警告ステップと
をコンピュータに実行させ、
前記画像取得ステップは、複数のフィルタ特性それぞれに基づく複数の画像群を取得し、
前記判定ステップは、
前記複数の画像群の間で対応する画像同士を比較して、時間帯ごとに前記検出の精度が高い画像を選択し、
前記選択された各画像を前記時系列に沿って比較して、前記対象物の移動の度合いを判定することを特徴とする警告プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、警告装置、警告方法及び警告プログラムに関する。

【背景技術】

【0002】

デジタルカメラ等の撮影装置は、一般に、特定の波長の光を通過させるフィルタを用いて撮影対象の領域を撮影する。そして、撮影装置は、撮影対象の領域の光量等に適したフィルタを用いることで、撮影画像の画質を向上させることができる。そのため、可視光の量が多い昼間には、可視光領域をより多く通過させる昼間用のフィルタを適用したカメラを用いる。一方、可視光の量が少ない夜間には、赤外線領域をより多く通過させる夜間用のフィルタを適用した赤外線カメラを用いる。

【0003】

特許文献１には、赤外線センサと赤外線カメラとを備える監視装置に関する技術が開示されている。特許文献１にかかる監視装置は、赤外線センサで監視するエリアを赤外線カメラにより撮影し、監視カメラによる撮影画像に基づき監視エリアの変化を検出する。そして、検出した変化と赤外線センサの出力とに基づいて異常状態を判定するものである。

【0004】

近年、車載カメラを用いて車両の周辺を撮影し、撮影された画像を画像認識して画像内の対象物として人物や車等を検出し、運転者に警告するような警告装置が開発されている。そして、特許文献２には、撮影画像から人物を検出するための人物検出装置に関する技術が開示されている。特許文献２にかかる人物検出装置は、画像センサから取得した画像に基づいて対象物の外観を検出し、検出された対象物の外観に関するパラメータと人物に関する比較用パラメータとが一致するか否かを判定し、一致する度合いに応じて、対象物が人物である確率を表す人物確率を演算し、人物確率が予め設定された人物閾値以上である場合に対象物が人物であると判定する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００７−１５８８２０号公報

【特許文献2】特開２０１１−１４６０４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ここで、上述した警告装置では、車両の走行方向に対象物が存在する場合、衝突する可能性があるために運転者に警告を行う必要がある。衝突の可能性は、車両の走行中に連続して撮影された画像の解析結果から、対象物の相対的な移動速度や移動方向等を予測することで求めることができる。しかしながら、車両の外部環境の判別が困難な状況では、対象物の移動の検出精度が低下する可能性があり、適切な警告が困難な場合があるという問題点がある。ここで、車両の外部環境の判別が困難な状況とは、例えば、天候が変化する場合や、トンネルに入る前後で周辺の明るさが急激に変化する場合などである。

【0007】

尚、特許文献１にかかる監視装置では、監視エリアが施設内の特定領域であり、外部環境の判別が困難な状況を想定したものではない。また、特許文献２にかかる人物検出装置は、解析対象が単一の画像である。それ故、例えば、外部環境の判別が困難な状況なために、適切なフィルタを用いることができなかった場合には、画質が低下してしまう。そして、解析対象の画像の画質が低い場合には、車両の走行を妨げ得る対象物の移動の検出精度が低下し得る。そのため、適切な警告が行えないこととなる。さらに、このような問題は、車両に限らず、移動体全般に搭載される警告装置においても生じる。

【0008】

本発明は、上述の課題に鑑みてなされたものであり、移動体の外部環境の判別が困難な状況であっても対象物の移動の検出精度を維持して警告を適切に行なうための警告装置、警告方法及び警告プログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の第１の態様は、連続して撮影される複数の画像から構成される画像群を取得する画像取得手段と、前記画像群内の画像のそれぞれに対して、対象物の検出を行う検出手段と、前記画像群における前記対象物の検出結果を時系列に沿って比較して、前記対象物の移動の度合いを判定する判定手段と、前記判定された移動の度合いに応じて警告を行う警告手段とを備え、前記画像取得手段は、複数のフィルタ特性それぞれに基づく複数の画像群を取得し、前記判定手段は、前記複数の画像群の間で対応する画像同士を比較して、時間帯ごとに前記検出の精度が高い画像を選択し、前記選択された各画像を前記時系列に沿って比較して、前記対象物の移動の度合いを判定することを特徴とする警告装置を提供する。
また、連続して撮影される複数の画像から構成される画像群を取得する画像取得手段と、前記画像群内の画像のそれぞれに対して、対象物の検出を行う検出手段と、前記画像群における前記対象物の検出結果を時系列に沿って比較して、前記対象物の移動の度合いを判定する判定手段と、前記判定された移動の度合いに応じて警告を行う警告手段とを備え、前記画像取得手段は、複数のフィルタ特性それぞれに基づく複数の画像群を取得し、前記判定手段は、前記複数の画像群の間で対応する画像同士を比較して、時間帯ごとに前記対象物の画像内の位置を特定し、前記特定した位置を前記時系列に沿って比較して、前記対象物の移動の度合いを判定することを特徴とする警告装置を提供する。
また、連続して撮影される複数の画像から構成される画像群を取得する画像取得手段と、前記画像群内の画像のそれぞれに対して、対象物の検出を行う検出手段と、前記画像群における前記対象物の検出結果を時系列に沿って比較して、前記対象物の移動の度合いを判定する判定手段と、前記判定された移動の度合いに応じて警告を行う警告手段とを備え、前記画像取得手段は、複数のフィルタ特性それぞれに基づく複数の画像群を取得し、前記判定手段は、前記検出結果を、各画像群の中の画像間で前記時系列に沿って比較して、前記画像群ごとに前記対象物への接近速度を算出し、前記複数の画像群の中で前記接近速度が最も速い画像群を選択し、前記選択した画像群における前記対象物の移動の度合いを判定することを特徴とする警告装置を提供する。

【0010】

本発明の第２の態様は、連続して撮影される複数の画像から構成される画像群を取得する画像取得ステップと、前記画像群内の画像のそれぞれに対して、対象物の検出を行う検出ステップと、前記画像群における前記対象物の検出結果を時系列に沿って比較して、前記対象物の移動の度合いを判定する判定ステップと、前記判定された移動の度合いに応じて警告を行う警告ステップとを有し、前記画像取得ステップは、複数のフィルタ特性それぞれに基づく複数の画像群を取得し、前記判定ステップは、前記複数の画像群の間で対応する画像同士を比較して、時間帯ごとに前記検出の精度が高い画像を選択し、前記選択された各画像を前記時系列に沿って比較して、前記対象物の移動の度合いを判定することを特徴とする警告方法を提供する。

【0011】

本発明の第３の態様は、連続して撮影される複数の画像から構成される画像群を取得する画像取得ステップと、前記画像群内の画像のそれぞれに対して、対象物の検出を行う検出ステップと、前記画像群における前記対象物の検出結果を時系列に沿って比較して、前記対象物の移動の度合いを判定する判定ステップと、前記判定された移動の度合いに応じて警告を行う警告ステップとをコンピュータに実行させ、前記画像取得ステップは、複数のフィルタ特性それぞれに基づく複数の画像群を取得し、前記判定ステップは、前記複数の画像群の間で対応する画像同士を比較して、時間帯ごとに前記検出の精度が高い画像を選択し、前記選択された各画像を前記時系列に沿って比較して、前記対象物の移動の度合いを判定することを特徴とする警告プログラムを提供する。

【発明の効果】

【0012】

本発明により、移動体の外部環境の判別が困難な状況であっても対象物の移動の検出精度を維持して警告を適切に行なうための警告装置、警告方法及び警告プログラムを提供することができる。

【図面の簡単な説明】

【0013】

【図1】本実施の形態１にかかる警告装置を搭載した移動体の全体構成を示すブロック図である。

【図2】本実施の形態１にかかる警告装置のハードウェア構成を示すブロック図である。

【図3】本実施の形態１にかかる撮影から警告までの処理の流れを説明するためのフローチャートである。

【図4】本実施の形態１の実施例１における詳細な処理の流れを説明するためのフローチャートである。

【図5】本実施の形態１の実施例１における処理の概念を説明するための図である。

【図6】本実施の形態１の実施例１において対象物の位置を強調して画面に表示する例を示す図である。

【図7】本実施の形態１の実施例２における詳細な処理の流れを説明するためのフローチャートである。

【図8】本実施の形態１の実施例２における処理の概念を説明するための図である。

【図9】本実施の形態１の実施例３における詳細な処理の流れを説明するためのフローチャートである。

【図10】本実施の形態１の実施例３における処理の概念を説明するための図である。

【図11】本実施の形態２にかかる警告装置の構成を示すブロック図である。

【発明を実施するための形態】

【0014】

以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。

【0015】

＜発明の実施の形態１＞
図１は、本実施の形態１にかかる警告装置１０を搭載した移動体１の全体構成を示すブロック図である。移動体１は、警告装置１０、表示装置２１及びスピーカ２２等を搭載し、運転者の操作により走行を行う。移動体１は、例えば、自動車等の車両である。警告装置１０は、移動体１の走行中に撮影された画像を解析することで、移動体１と衝突等のおそれのある周辺の対象物を検出し、表示装置２１又はスピーカ２２等を通じて運転者に警告を行う装置である。なお、表示装置は、例えば、有機ＥＬ（electro-luminescence）ディスプレイやプラズマディスプレイである。

【0016】

警告装置１０は、画像取得手段１１と、検出手段１２と、判定手段１３と、警告手段１４とを備える。画像取得手段１１は、移動体１の走行中に、移動体１の周辺領域を異なる複数のフィルタ特性により連続して並列に撮影する。そして、画像取得手段１１は、撮影した複数の画像を、フィルタ特性ごとに時系列に沿った複数の画像群として取得する。言い換えると、画像取得手段１１は、連続して撮影される複数の画像から構成される画像群を取得する。そして、画像取得手段１１は、複数のフィルタ特性それぞれに基づく複数の画像群を取得する。画像取得手段１１は、撮影装置１１１及び１１２を有する。撮影装置１１１及び１１２は、複数のフィルタ特性のそれぞれに対応する。そして、撮影装置１１１及び１１２のそれぞれは、対応するフィルタ特性により撮影を行なう。尚、画像取得手段１１が備える撮影装置は２つに限定されない。例えば、画像取得手段１１は、３つ以上のフィルタ特性のそれぞれに対応する３つ以上の撮影装置を有していても良い。また、撮影装置は、例えば、カメラである。

【0017】

検出手段１２は、複数の画像群内の画像のそれぞれに対して、所定の対象物の検出を行う。ここで、対象物の検出とは、画像認識により対象物の外観の検出を試みる処理である。そして、検出手段１２は、画像ごとに検出結果を生成する。

【0018】

例えば、車両の走行方向のカメラによる撮影画像には、道路の形状と共に道路の横断者が映されている場合がある。このような場合には、横断者の外観の領域が検出され得る。検出手段１２は、このときの検出結果を指標値として生成する。また、検出手段１２は、特許文献２に示すように、対象物の外観に関するパラメータを検出し、比較用パラメータと検出したパラメータとの一致する度合いを検出結果として生成してもよい。尚、各画像から対象物を検出する際に検出結果を生成する処理はこれに限定されない。また、対象物は、人間に限定されず、動物や他の車両等の移動体１の走行の妨げとなり得る移動体を含む。または、対象物は、移動体である必要はなく、路上で立ち止まっている人物等か、停車している車両か、通行止めを示す看板、路上に放置された障害物等であってもよい。なお、外観に関するパラメータとしては、例えば、輝度、彩度、エッジまたはこれらの組み合わせが挙げられる。

【0019】

判定手段１３は、複数の画像群における対象物の検出結果を時系列に沿って比較して、対象物の移動の度合いを判定する。ここで、「検出結果を時系列に沿って比較」するとは、例えば、撮影時刻が隣接する画像同士の検出結果を比較することを示す。このとき、画像群ごとに比較を行っても良く、異なる画像群に属する画像同士の検出結果を比較してもよい。または、同じ撮影時刻における異なる画像群に属する画像同士の検出結果を比較してもよい。さらに、ある撮影時刻における異なる画像群に属する画像同士の検出結果の平均値を算出し、隣接する撮影時刻における平均値を比較してもよい。

【0020】

また、「移動の度合い」とは、例えば、対象物が移動体１に近付いているか、遠ざかっているかの度合い、つまり、対象物の移動体１への接近度合い又は接近速度や、対象物の移動速度や移動方向等を含む。また、「対象物の移動の度合いを判定」するとは、例えば、接近速度等が基準値と比べて速いか否か等を判定することを含む。または、対象物が道路を横切って移動している場合には、移動方向や移動速度と、移動体１の走行方向と走行速度とから対象物と移動体１との衝突確率を算出し、衝突確率が基準値を超えているか否か等を判定してもよい。

【0021】

警告手段１４は、判定された移動の度合いに応じて警告を行う。例えば、移動の度合いにより対象物が移動体１に近付いている場合には、警告を行う。特に、接近度合いが基準値を超えている場合には、警告度合いを大きくする。また、上述したように衝突確率が基準値を超えている場合にも、警告度合いを大きくする。

【0022】

図２は、本実施の形態１にかかる警告装置１０のハードウェア構成を示すブロック図である。警告装置１０は、プロセッサ１１０、ＩＦ（InterFace）部１２０、撮影装置１３１及び１３２、並びに、記憶部１４０を備える。

【0023】

プロセッサ１１０は、ＣＰＵ（Central Processing Unit）等の制御装置である。ＩＦ部１２０は、警告装置１０の外部との入出力を行うインタフェースである。特に、ＩＦ部１２０は、プロセッサ１１０の制御により、警告を示す情報を表示装置２１又はスピーカ２２へ出力する。

【0024】

撮影装置１３１及び１３２は、上述した撮影装置１１１及び１１２に対応する。撮影装置１３１は、第１のフィルタ１３１１及び第１の撮像素子１３１２を有する。第１のフィルタ１３１１は、第１の撮像素子１３１２に入射する光の波長を選択する処理を行う。つまり、第１のフィルタ１３１１は、撮影装置１３１の撮影時に適用されるフィルタである。第１のフィルタ１３１１は、例えば、近赤外領域を遮断して、可視光領域を通過させるフィルタ特性を有するものである。第１のフィルタ１３１１は、少なくとも昼間等、移動体１の周辺領域が明るい場合に適したフィルタであるものとする。第１の撮像素子１３１２は、第１のフィルタ１３１１を通過した光の強度を電気信号に変換する素子である。

【0025】

撮影装置１３２は、第２のフィルタ１３２１及び第２の撮像素子１３２２を有する。第２のフィルタ１３２１は、第２の撮像素子１３２２に入射する光の波長を選択する処理を行う。つまり、第２のフィルタ１３２１は、撮影装置１３２の撮影時に適用されるフィルタである。第２のフィルタ１３２１は、例えば、近赤外領域を遮断して、可視光領域を通過させるフィルタ特性を有するものである。第２のフィルタ１３２１は、少なくとも夜間等、移動体１の周辺領域が暗い場合に適したフィルタであるものとする。第２の撮像素子１３２２は、第２のフィルタ１３２１を通過した光の強度を電気信号に変換する素子である。

【0026】

記憶部１４０は、メモリ等の記憶装置である。記憶部１４０は、警告プログラム１４１、第１の画像群１４２１及び第２の画像群１４２２、検出結果１４３及び接近速度１４４を記憶する。警告プログラム１４１は、本実施の形態にかかる警告装置１０の処理すなわち警告方法が実装されたコンピュータプログラムである。

【0027】

第１の画像群１４２１は、移動体１の走行中に、移動体１の周辺領域が第１のフィルタ特性により連続して撮影された複数の撮影画像１４２１１、１４２１２・・・の時系列に沿った集合である。例えば、撮影画像１４２１１、１４２１２、・・・は、この順序に連続して撮影されたものとする。また、第２の画像群１４２２は、第１の画像群１４２１の撮影と並行して、移動体１の周辺領域が第２のフィルタ特性により連続して撮影された複数の撮影画像１４２２１、１４２２２・・・の時系列に沿った集合である。例えば、撮影画像１４２２１、１４２２２、・・・は、この順序に連続して撮影されたものとする。つまり、撮影画像１４２１１と１４２２１とは、撮影時刻が対応し、撮影画像１４２１２と１４２２２とは、撮影時刻が対応する。

【0028】

検出結果１４３は、各撮影画像に対して対象物の検出を試みた結果である。検出結果１４３は、撮影画像ごとに存在するものとする。接近速度１４４は、対象物の移動体１への接近度合いの一例であり、移動体１に対する対象物の相対的な移動速度である。接近速度１４４は、撮影時刻のことから複数の画像の検出結果等から算出される。

【0029】

プロセッサ１１０は、記憶部１４０から警告プログラム１４１を読み込み、実行する。これにより、警告装置１０は、ＩＦ部１２０、撮影装置１３１及び１３２を適宜用いて本実施の形態にかかる画像取得手段１１、検出手段１２、判定手段１３及び警告手段１４等として動作する。

【0030】

図３は、本実施の形態１にかかる撮影から警告までの処理の流れを説明するためのフローチャートである。まず、撮影装置１１１は、移動体１の走行中に、移動体１の周辺領域を第１のフィルタ特性により連続して撮影する（Ｓ１１）。そして、画像取得手段１１は、撮影画像を第１の画像群として取得する（Ｓ１２）。具体的には、画像取得手段１１は、撮影するごとに撮影画像を記憶部１４０内の第１の画像群１４２１に対応付けて保存する。そして、検出手段１２は、第１の画像群の各画像に対して所定の対象物の検出を行う（Ｓ１３）。具体的には、検出手段１２は、記憶部１４０に保存された第１の画像群１４２１に対応付けられた撮影画像１４２１１等を読み出し、画像ごとに検出処理を行い、検出結果を記憶部１４０に保存する。

【0031】

また、撮影装置１１２は、ステップＳ１１と並行して、移動体１の走行中に、移動体１の周辺領域を第２のフィルタ特性により連続して撮影する（Ｓ１４）。そして、画像取得手段１１は、撮影画像を第２の画像群として取得する（Ｓ１５）。具体的には、画像取得手段１１は、撮影するごとに撮影画像を記憶部１４０内の第２の画像群１４２２に対応付けて保存する。そして、検出手段１２は、第２の画像群の各画像に対して所定の対象物の検出を行う（Ｓ１６）。具体的には、検出手段１２は、記憶部１４０に保存された第２の画像群１４２２に対応付けられた撮影画像１４２２１等を読み出し、画像ごとに検出処理を行い、検出結果を記憶部１４０に保存する。

【0032】

尚、検出手段１２は、撮影装置１１１及び１１２により撮影されるごとにステップＳ１３及びＳ１６の検出処理を行っても構わない。

【0033】

その後、判定手段１３は、第１の画像群及び第２の画像群における検出結果を時系列に沿って比較して、対象物の移動の度合いを判定する（Ｓ１７）。例えば、判定手段１３は、検出結果に基づいて対象物における移動体１への接近速度を算出し、接近速度を用いて対象物の移動の度合いを判定する。そして、警告手段１４は、判定された移動の度合いに応じて警告を行う（Ｓ１８）。

【0034】

このように、本実施の形態１では、移動体１の走行中に移動体１の周辺を連続して撮影する際に、複数のフィルタ特性により並列して行う。このとき、撮影画像をフィルタ特性ごとの異なる画像群に時系列に沿って分類しておく。ここで、複数のフィルタ特性による撮影画像は、移動体１の外部環境の判別が困難な状況であっても、各時間帯で少なくともいずれかのフィルタ特性により撮影された画像の画質が、適切なフィルタ特性による撮影画像に相当する画質を維持している確率が高い。そのため、各画像に対する対象物の検出結果を、時系列に沿って比較することで、対象物の移動の度合いを判定できる。それ故、対象物の移動の度合いに応じて、運転者に適切に警告することができる。よって、安全性を高めることもできる。

【0035】

特に、接近速度を用いて移動の度合いを判定することで、衝突の危険性についてより直接的に判定できるため、警告の精度も向上できる。

【0036】

次に、上述した図３のステップＳ１７及びＳ１８の詳細な処理を示す実施例１〜３を以下に示す。

【0037】

＜実施例１＞
本実施例１は、画像群ごとに接近速度を算出し、接近速度がより速い画像群に基づいて警告を行うものである。以下では、実施例１の処理を図４に基づいて説明し、適宜、図５を参照する。図４は、本実施の形態１の実施例１における詳細な処理の流れを説明するためのフローチャートである。また、図５は、本実施の形態１の実施例１における処理の概念を説明するための図である。

【0038】

まず、判定手段１３は、第１の画像群の中の画像間で時系列に沿って比較して、接近速度を算出する（Ｓ２１）。図５の例では、判定手段１３は、第１の画像群３１に属する撮影画像３１１と撮影画像３１２との検出結果を比較し、また、撮影画像３１２と撮影画像３１３との検出結果を比較することで、対象物の移動距離を求める。そして、判定手段１３は、移動距離と時刻ｔ１から時刻ｔ３の時間とに基づいて第１の画像群３１における対象物の接近速度を算出する。

【0039】

同様に、判定手段１３は、第２の画像群の中の画像間で時系列に沿って比較して、接近速度を算出する（Ｓ２２）。図５の例では、判定手段１３は、第２の画像群３２に属する撮影画像３２１と撮影画像３２２との検出結果を比較し、また、撮影画像３２２と撮影画像３２３との検出結果を比較することで、対象物の移動距離を求める。そして、判定手段１３は、移動距離と時刻ｔ１から時刻ｔ３の時間とに基づいて第２の画像群３２における対象物の接近速度を算出する。尚、ステップＳ２１及びＳ２２は、並列実行する必要はない。つまり、判定手段１３は、画像群ごとに接近速度を算出すればよい。

【0040】

次に、判定手段１３は、複数の画像群の中で接近速度がより速い画像群を選択する（Ｓ２３）。つまり、判定手段１３は、ステップＳ２１及びＳ２２で算出した接近速度を比較して、接近速度がより速い画像群が第１の画像群３１と第２の画像群３２のいずれであるかを判定して選択する。そして、判定手段１３は、選択した画像群における接近速度を用いて対象物の移動の度合いを判定する（Ｓ２４）。例えば、判定手段１３は、選択した接近速度が所定の基準値以上か否かを判定し、基準値以上である場合には、対象物が移動体１により速く接近していると判定する。

【0041】

その後、警告手段１４は、選択された画像群を用いて接近速度に応じた警告を行う（Ｓ２５）。例えば、警告手段１４は、接近速度が基準値以上である場合には、接近速度が基準値未満である場合よりも警告の度合いを高くする。ここで警告の度合いが高いものについて説明する。例えば、警告手段１４は、選択された画像群に属する画像について、画像に含まれる対象物が強調される表示に加工して、表示装置２１へ出力してもよい。なお、強調される表示とは、例えば、対象物を四角の線により囲むことや、対象物又は対象物の上方にマークを付すること、対象物の色彩を変更することなどがある。

【0042】

図６は、本実施の形態１の実施例１において対象物の位置を強調して画面に表示する例を示す図である。ここでは、表示画面４１に、強調表示領域４２が表示されていることを示す。尚、警告の度合いを高くする処理はこれに限定されず、例えば、警告手段１４がスピーカ２２を介して警告音を出力してもよい。

【0043】

一方で、一例として、警告の度合いが上記として比較して高くない場合（例えば、接近速度が基準値未満である場合）についても説明する。この場合では、選択された画像群に属する画像を表示装置２１へ出力し、画面に表示させる。このとき、警告手段１４は、選択された画像群に属する画像を加工せず表示装置２１に表示させることや、表示装置２１に画像を加工して表示させる場合には、警告度合いが高い場合と比較して対象物を囲む線を細くすることや、対象物の上方に付すマークを異ならせることや、変更させる対象物の色彩を異ならせることなどの処理を行う。また、警告手段１４がスピーカ２２を介して警告音を出力する場合には、警告度合いが高い場合と比較して音量を異ならせること、警告音を変更することなどの処理を行う。

【0044】

このように、本実施の形態１の実施例１では、一定の期間の外部環境において、より適切なフィルタによる撮影画像群を用いて対象物の移動度合いを判定するため、検出精度がより高い画像を用いて適切な警告を行うことができる。

【0045】

ここで、適切なフィルタによる撮影画像群に属する各画像は、対象物の検出精度が高いため、時系列で隣接する画像間の対象物の位置の差異が明確となる。つまり、対象物の移動が明確に把握できる。一方、不適切なフィルタにより撮影画像群に属する各画像は、対象物の検出精度が低いため、時系列で隣接する画像間の対象物の位置の差異は不明確となる。つまり、対象物が移動しているか否かの判別がしにくい。そのため、前者は後者に比べて接近速度が相対的に速く算出される。よって、接近速度がより速く算出された画像群では、フィルタによる検出精度も相対的に高いといえる。そして、検出精度の高い画像群を用いて画面に出力等することで、運転者に危険を的確に把握させることができる。

【0046】

また、例えば、接近速度が基準値を超えていた場合には、緊急性が高いため、警告の度合いをより高くすることで、運転者に適切に警告することができる。逆に、ある時刻の撮影画像に対象物が検出されても、以降の時刻の撮影画像には対象物が検出されなかった場合、対象物が誤検出であったか、対象物が移動体１から離れた可能性が高い。このような場合には、警告の対象外と判定することで過剰な警告を避けることができる。

【0047】

＜実施例２＞
次に、本実施例２は、外部環境の急激な変化に対応するために、時間帯ごとに検出精度の高い画像を選択するものである。以下では、実施例２の処理を図７に基づいて説明し、適宜、図８を参照する。図７は、本実施の形態１の実施例２における詳細な処理の流れを説明するためのフローチャートである。また、図８は、本実施の形態１の実施例２における処理の概念を説明するための図である。

【0048】

まず、判定手段１３は、時刻ｔ１に対応する画像同士を比較して検出精度の高い画像を選択する（Ｓ３１）。例えば、時刻に対応する画像同士の検出精度の比較は、上述した検出結果の際に用いる外観に関するパラメータと比較用パラメータとを用いて、パターンマッチング手法等により一致する度合いを検出し、その結果を比較してもよい。続いて、判定手段１３は、時刻ｔ２に対応する画像同士を比較して検出精度の高い画像を選択する（Ｓ３２）。同様に、判定手段１３は、時刻ｔ３に対応する画像同士を比較して検出精度の高い画像を選択する（Ｓ３３）。尚、ステップＳ３１〜Ｓ３３の実行順序は、これに限定されない。

【0049】

図８の例では、判定手段１３は、時刻ｔ１に対応する撮影画像３１１と撮影画像３２１との検出結果を比較して、検出精度がより高い撮影画像３１１を選択したことを示す。同様に、判定手段１３は、時刻ｔ２に対応する撮影画像３１２と撮影画像３２２との検出結果を比較して、検出精度がより高い撮影画像３２２を選択したことを示す。そして、判定手段１３は、時刻ｔ３に対応する撮影画像３１３撮影画像３２３との検出結果を比較して、検出精度がより高い撮影画像３１３を選択したことを示す。

【0050】

その後、判定手段１３は、時刻ｔ１〜ｔ３の選択画像間で、時系列に沿って比較して、接近速度を算出する（Ｓ３４）。図８の例では、判定手段１３は、撮影画像３１１、撮影画像３２２及び撮影画像３１３を一つの画像群として接近速度を算出する。

【0051】

そして、判定手段１３は、算出した接近速度を用いて対象物の移動の度合いを判定する（Ｓ３５）。その後、警告手段１４は、選択された各画像を用いて接近速度に応じた警告を行う（Ｓ３６）。尚、ステップＳ３５及びＳ３６は、接近速度が基準値以上である場合に、図６のように警告の度合いを高くしてもよい。

【0052】

このように、本実施の形態１の実施例２では、一定の期間内で外部環境の変化が激しい場合において、対象物の移動度合いを適切に判定し、適切な警告ができる。一定の期間内で外部環境の変化が激しい場合とは、例えば、トンネルに入る前後、又は、トンネルから出る前後や、急激な雲の動きにより天候が急変した場合等、周辺の明るさが急激に変化した場合が該当する。このような場合、時系列のある時点までは、第１のフィルタ特性により撮影された第１の画像群の検出精度が高いが、途中からは第１の画像群の検出精度が低下し、逆に、第２のフィルタ特性により撮影された第２の画像群の検出精度が高くなり得る。また、夕日と雲の関係で明るさが安定しないような場合には、図８のように検出精度の高い画像群が交互になり得る。

【0053】

そこで、本実施例２では、撮影時刻ごとに検出精度を比較しているため、撮影時刻ごとの明るさに対して適切なフィルタ特性で撮影された画像を選択し、選択画像の集合により検出精度の高い画像群を構成できる。そのため、信頼性の高い接近速度を算出でき、適切な警告を行うことができる。

【0054】

＜実施例３＞
続いて、本実施例３は、複数のフィルタ特性のうち外部環境に対して適切なフィルタ特性の判別が困難な場合に、各フィルタ特性により撮影された画像を総合して検出精度を高めるものである。以下では、実施例３の処理を図９に基づいて説明し、適宜、図１０を参照する。図９は、本実施の形態１の実施例３における詳細な処理の流れを説明するためのフローチャートである。図１０は、本実施の形態１の実施例３における処理の概念を説明するための図である。

【0055】

まず、判定手段１３は、時刻ｔ１に対応する画像同士を比較して対象物の画像内の位置を特定する（Ｓ４１）。次に、判定手段１３は、時刻ｔ２に対応する画像同士を比較して対象物の画像内の位置を特定する（Ｓ４２）。同様に。判定手段１３は、時刻ｔ３に対応する画像同士を比較して対象物の画像内の位置を特定する（Ｓ４３）。尚、位置を特定する処理は、比較対象画像内の対象物の位置の平均値を算出してもよい。また、比較対象画像同士を合成してもよい。尚、ステップＳ４１〜Ｓ４３の実行順序は、これに限定されない。

【0056】

図１０の例では、判定手段１３は、時刻ｔ１に対応する撮影画像３１１と撮影画像３２１とから、対象物の位置をこれらの中間程度として特定したことを示す。同様に、判定手段１３は、時刻ｔ２に対応する撮影画像３１２と撮影画像３２２とを比較し、時刻ｔ３に対応する撮影画像３１３と撮影画像３２３とを比較し、それぞれ対象物の位置をこれらの中間程度として特定したことを示す。

【0057】

その後、判定手段１３は、特定した位置を時系列に沿って比較して、接近速度を算出する（Ｓ４４）。図１０の例では、判定手段１３は、画像３３１、３３２及び３３３を一つの画像群として接近速度を算出する。

【0058】

そして、判定手段１３は、算出した接近速度を用いて対象物の移動の度合いを判定する（Ｓ４５）。その後、警告手段１４は、各時間帯の特定された対象物の位置を用いて接近速度に応じた警告を行う（Ｓ４６）。尚、ステップＳ４５及びＳ４６は、接近速度が基準値以上である場合に、図６のように警告の度合いを高くしてもよい。

【0059】

このように、本実施の形態１の実施例３では、各画像群の検出結果から平均等を取るため、誤判定の影響を抑制できる。また、例えば、夕方の場合、移動体１の周辺の明るさが昼間と夜間の間であるため、第１のフィルタ特性と第２のフィルタ特性のいずれが適切かの判断が困難な場合がある。そのような場合であっても、双方の検出結果の中間を取ることで、対象物の位置をある程度妥当な精度で特定できる。そのため、複数の画像群を総合的に用いて、対象物の検出精度を維持できる。

【0060】

＜発明の実施の形態２＞
本実施の形態２は、上述した実施の形態１の変形例である。上述した実施の形態１では、画像取得手段１１は、２つの撮影装置を有するものであったが、本実施の形態２にかかる画像取得手段１１は、１つの撮影装置を有するものである。

【0061】

図１０は、本実施の形態２にかかる画像取得手段１１ａの構成を示すブロック図である。画像取得手段１１ａは、１つの撮影装置１１３を有する。撮影装置１１３は、複数のフィルタ特性を定期的に切り替えて撮影を行なう。撮影装置１１３は、フィルタ１１３１、撮像素子１１３２及び切替手段１１３３を備える。フィルタ１１３１は、撮像素子１１３２に入射する光の波長を選択する処理を行う。例えば、フィルタ１１３１は、可視光領域や近赤外領域を選択して光を通過させ、撮像素子１１３２へ入射する。尚、フィルタ１１３１には、赤外領域カットフィルタ（ＩＲフィルタ）、ハイパスフィルタ、バンドパスフィルタ等を含めることができる。つまり、フィルタ１１３１は、複数種類のフィルタ特性のうち選択されたものを実現できる。撮像素子１１３２は、フィルタ１１３１を通過した光の強度を電気信号に変換する素子である。切替手段１１３３は、フィルタ１１３１に対して選択したフィルタ特性を設定するものである。そして、切替手段１１３３は、定期的にフィルタ特性の選択を切り替える。尚、切替手段１１３３は、複数のフィルタ特性により複数の撮影装置が同時に同一の対象を撮影する場合と、実質的に同等となるような速さで、フィルタ特性を切り替えるものとする。なお、切替手段がクロックを有するか、またクロックによる信号を受信することにより、定期的に切り替え撮影を行う。

【0062】

このように、本実施の形態２によっても、上述した実施の形態１と同等の効果を奏することができる。また、本実施の形態２には、上述した実施例１〜３のいずれも適用することができる。

【0063】

＜その他の発明の実施の形態＞
以上、本発明を上記実施の形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。

【0064】

尚、上記判定手段は、前記検出結果を、各画像群の中の画像間で前記時系列に沿って比較して、前記画像群ごとに前記対象物への接近速度を算出し、前記複数の画像群の中で前記接近速度が最も速い画像群を選択し、前記選択した画像群における前記対象物の移動の度合いを判定するようにしてもよい。

【0065】

また、上述の車載装置の任意の処理は、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0066】

また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現される場合だけでなく、このプログラムが、コンピュータ上で稼動しているＯＳ（Operating System）もしくはアプリケーションソフトウェアと共同して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによって行われて、上述の実施の形態の機能が実現される場合も、本発明の実施の形態に含まれる。

【符号の説明】

【0067】

１ 移動体
１０ 警告装置
１０ａ 警告装置
１１ 画像取得手段
１１ａ 画像取得手段
１１１ 撮影装置
１１２ 撮影装置
１１３ 撮影装置
１１３１ フィルタ
１１３２ 撮像素子
１１３３ 切替手段
１２ 検出手段
１３ 判定手段
１４ 警告手段
２１ 表示装置
２２ スピーカ
１１０ プロセッサ
１２０ ＩＦ部
１３１ 撮影装置
１３１１ 第１のフィルタ
１３１２ 第１の撮像素子
１３２ 撮影装置
１３２１ 第２のフィルタ
１３２２ 第２の撮像素子
１４０ 記憶部
１４１ 警告プログラム
１４２１ 第１の画像群
１４２１１ 撮影画像
１４２１２ 撮影画像
１４２２ 第２の画像群
１４２２１ 撮影画像
１４２２２ 撮影画像
１４３ 検出結果
１４４ 接近速度
３１ 第１の画像群
３１１ 撮影画像
３１２ 撮影画像
３１３ 撮影画像
３２ 第２の画像群
３２１ 撮影画像
３２２ 撮影画像
３２３ 撮影画像
３３１ 画像
３３２ 画像
３３３ 画像
ｔ１ 時刻
ｔ２ 時刻
ｔ３ 時刻
４１ 表示画面
４２ 強調表示領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】