特許 7456716 障害物検出装置および移動体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-18

(45)【発行日】2024-03-27

(54)【発明の名称】障害物検出装置および移動体

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240319BHJP

   G06T 7/593 20170101ALI20240319BHJP

【ＦＩ】

G08G1/16 C

G06T7/593

【請求項の数】 15

(21)【出願番号】P 2020144133

(22)【出願日】2020-08-28

(65)【公開番号】P2022039216

(43)【公開日】2022-03-10

【審査請求日】2023-06-28

(73)【特許権者】

【識別番号】000010098

【氏名又は名称】アルプスアルパイン株式会社

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(74)【代理人】

【識別番号】100099748

【弁理士】

【氏名又は名称】佐藤 克志

(74)【代理人】

【識別番号】100103171

【弁理士】

【氏名又は名称】雨貝 正彦

(74)【代理人】

【識別番号】100105784

【弁理士】

【氏名又は名称】橘 和之

(72)【発明者】

【氏名】中川 知基

(72)【発明者】

【氏名】櫛田 敏夫

【審査官】白石 剛史

(56)【参考文献】

【文献】特開２０１５－１４８８８７（ＪＰ，Ａ）

【文献】特開２０２０－０７６６６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｇ０６Ｔ ７／５９３

(57)【特許請求の範囲】

【請求項1】

ステレオカメラと、
前記ステレオカメラにより撮影されたステレオ画像に基づき点群データを生成する生成手段と、
生成された点群データに基づき障害物を検出する障害物検出手段と、
前記ステレオカメラにより撮影された画像の輝度に基づき直射日光の有無を判定する直射日光判定手段と、
前記直射日光判定手段により直射日光があると判定された場合、直射日光による路面の影響を判定する影響判定手段とを有し、
前記障害物検出手段は、前記影響判定手段の判定結果に応じた障害物の検出結果を出力し、
前記影響判定手段は、撮像された画像の手前側の一定範囲の路面のエリアを複数に分割し、分割したエリアの平均輝度が高輝度である場合、路面への影響ありと判定する、障害物検出装置。

【請求項2】

ステレオカメラと、
前記ステレオカメラにより撮影されたステレオ画像に基づき点群データを生成する生成手段と、
生成された点群データに基づき障害物を検出する障害物検出手段と、
前記ステレオカメラにより撮影された画像の輝度に基づき直射日光の有無を判定する直射日光判定手段と、
前記直射日光判定手段により直射日光があると判定された場合、直射日光による路面の影響を判定する影響判定手段とを有し、
前記障害物検出手段は、前記影響判定手段の判定結果に応じた障害物の検出結果を出力し、
前記影響判定手段は、前記点群データの路面の点群数に基づき直射日光による路面の影響を判定する、障害物検出装置。

【請求項3】

ステレオカメラと、
前記ステレオカメラにより撮影されたステレオ画像に基づき点群データを生成する生成手段と、
生成された点群データに基づき障害物を検出する障害物検出手段と、
前記ステレオカメラにより撮影された画像の輝度に基づき直射日光の有無を判定する直射日光判定手段と、
前記直射日光判定手段により直射日光があると判定された場合、直射日光による路面の影響を判定する影響判定手段とを有し、
前記障害物検出手段は、前記影響判定手段の判定結果に応じた障害物の検出結果を出力し、
前記影響判定手段は、撮像された画像の路面の輝度の特徴および前記点群データの路面の点群数に基づき直射日光による路面の影響を判定する、障害物検出装置。

【請求項4】

前記障害物検出手段は、前記影響手段により路面の影響があると判定された場合、障害物の検出結果が正常でないことまたは検出結果の信頼性が低いことを出力する、請求項１ないし３いずれか１つに記載の障害物検出装置。

【請求項5】

前記直射日光判定手段は、撮像された画像の決められた範囲の道路が高輝度か否かにより直射日光の有無を判定する、請求項１ないし３いずれか１つに記載の障害物検出装置。

【請求項6】

前記直射日光判定手段は、画像全体の平均輝度、空のエリアの平均輝度および画像手前側の一定範囲の道路の平均輝度を検出し、前記空のエリアの平均輝度より画像全体の平均輝度が高く、かつ前記画像全体の平均輝度より道路の平均輝度が高いとき、道路が高輝度であると判定する、請求項５に記載の障害物検出装置。

【請求項7】

前記直射日光判定手段はさらに、道路が高輝度でないとき、空のエリアの輝度に基づき直射日光の有無を判定する、請求項５または６に記載の障害物検出装置。

【請求項8】

前記直射日光判定手段は、道路のエリアの輝度に応じて空のエリアの輝度を検出する範囲を変更し、空のエリアの輝度が高輝度であるとき、直射日光があると判定する、請求項７に記載の障害物検出装置。

【請求項9】

前記影響判定手段は、分割したエリアの平均輝度が高輝度でない場合、分割したエリアの平均輝度の最大値と最小値の差が閾値以上であるとき、路面への影響ありと判定する、請求項１に記載の障害物検出装置。

【請求項10】

前記影響判定手段は、路面のエリアを、縦方向に複数に分割し、かつ横方向を左エリア、右エリアおよび中央エリアに分割し、左エリア、右エリアおよび中央エリアの分割されたエリアの影響の有無を判定する、請求項１に記載の障害物検出装置。

【請求項11】

前記影響判定手段は、分割したエリアの平均輝度から最小閾値と最大閾値を算出し、さらに分割したエリアの最小閾値より小さい輝度の最小画素数および最大閾値より大きい輝度の最大画素数を算出し、最小画素数が閾値以上または最大画素数が閾値以上であるとき、路面への影響があると判定する、請求項１に記載の障害物検出装置。

【請求項12】

前記点群データは、ステレオカメラの撮像画像を合成して得られた距離情報を含む３次元情報である、請求項１ないし３いずれか１つに記載の障害物検出装置。

【請求項13】

前記ステレオカメラは、赤外線カメラである、請求項１ないし３いずれか１つに記載の障害物検出装置。

【請求項14】

前記ステレオカメラは、移動体の前方を撮像する、請求項１ないし３いずれか１つに記載の障害物検出装置。

【請求項15】

請求項１ないし１４いずれか１つに記載の障害物検出装置と、
前記障害物検出装置による検出結果を利用して移動体の移動を制御する制御手段と、
を含む移動体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、障害物検出装置に関し、特にステレオカメラを利用した障害物の検出に関する。

【背景技術】

【0002】

シニアカーのような小型モビリティが走行するとき、様々な場面で、電柱、ガードレール、歩行者、段差、自動車などに衝突しないようにする必要がある。これらの障害は、例えば、ステレオカメラ、ＴｏＦ（Time of Flight）、３ＤＬｉＤＡＲなどの３次元測位センサにより検知することができる。ステレオカメラは、２つのカメラで撮像した画像の視差を利用して物体までの距離を検出することが可能である。例えば、特許文献１の車両用障害物検出装置は、車両前方を撮像する赤外線カメラと、車両前方を撮像するステレオカメラとを備え、赤外線カメラで撮像された赤外線画像から走路を特定し、ステレオ画像から特定された走路上の障害物を検出する技術を開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－２０５４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の障害物検出システムには、赤外線（ＩＲ）カメラをステレオカメラに利用するものがある。赤外線カメラで撮像した赤外線（ＩＲ）画像では、赤外線を反射する領域が白く写され、赤外線を吸収する領域が黒く写される。白い領域は輝度が高く、黒い領域は輝度が低い。

【0005】

障害物検出システムは、ステレオカメラで撮像された左右のＩＲ画像を合成し、撮像対象の３次元位置（または座標）を表すことができる点群データを生成する。撮像対象の深度（奥行）は、左右のＩＲ画像の視差を利用して計算される。例えば、ステレオカメラによって図１に示すような歩行者を撮像したとき、図２に示すような点群データが生成される。点群データには、歩行者に対応するエリアに、歩行者までの距離（深度）を表す点群が生成される。

【0006】

障害物検出システムは、生成された点群データに基づき、障害物（地面上の障害物、穴や溝も含む）の有無を判定し、障害物がある場合には、障害物の向き、障害物までの距離、障害物の大きさ検出し、その検出結果を出力する。例えば、障害物検出システムが自動車等の輸送機器に搭載される場合、搭乗者に障害物の情報を警報したり、輸送機器が自動的に減速、停止したりする用途に使用される。

【0007】

しかしながら、ステレオカメラを利用した測位では、カメラに対して直射日光が入射されたとき、直射日光の影響により点群データに欠落やノイズが生じ、そのノイズや欠落を障害物として誤検出してしまうことがある。図３は、直射日光が入ったときのＩＲ画像の例であり、直射日光の部分が真っ白に写り、また、直射日光の影響により路面の輝度の変化が大きくなる。図４は、図３のＩＲ画像から生成された点群データであり、直射日光に対応するエリアの点群が欠落し、直射日光により輝度差が大きい路面の一部にノイズが生じてしまう。ノイズを有する点群は、正常でない深度（距離）を表す。

【0008】

このような状況は、障害物の検出機能が正常に動作していないため、障害物を誤検出する可能性があり、検出機能が正常に動作していないことをユーザーあるいは運転支援システム等へ通知することが望ましい。しかし、直射日光が入ったからといって、必ず点群の欠落やノイズが発生する訳でもないため、直射日光がカメラ画像に入っているかどうかを判定するだけでは、障害物の検出機能が正常か否かを判定するには不十分である。つまり、直射日光によって点群の欠落やノイズが発生しているかどうかの判定を行うことが必要である。他方、点群の欠落やノイズの発生を判定するためには、ＣＰＵ等の演算処理装置に大きな負荷が生じるため、可能な限り低負荷の処理で判定をすることが望まれる。

【0009】

本発明は、このような従来の課題を解決し、直射日光による障害物の誤検出を防止することができる障害物検出装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明に係る障害物検出装置は、ステレオカメラと、前記ステレオカメラにより撮影されたステレオ画像に基づき点群データを生成する生成手段と、生成された点群データに基づき障害物を検出する障害物検出手段と、前記ステレオカメラにより撮影された画像の輝度に基づき直射日光の有無を判定する直射日光判定手段と、前記直射日光判定手段により直射日光があると判定された場合、直射日光による路面の影響を判定する影響判定手段とを有し、前記障害物検出手段は、前記影響判定手段の判定結果に応じた障害物の検出結果を出力する。

【0011】

ある実施態様では、前記障害物検出手段は、前記影響手段により路面の影響があると判定された場合、障害物の検出結果が正常でないことまたは検出結果の信頼性が低いことを出力する。ある実施態様では、前記直射日光判定手段は、撮像された画像の決められた範囲の道路が高輝度か否かにより直射日光の有無を判定する。ある実施態様では、前記直射日光判定手段は、画像全体の平均輝度、空のエリアの平均輝度および画像手前側の一定範囲の道路の平均輝度を検出し、前記空のエリアの平均輝度より画像全体の平均輝度が高く、かつ前記画像全体の平均輝度より道路の平均輝度が高いとき、道路が高輝度であると判定する。ある実施態様では、前記直射日光判定手段はさらに、道路が高輝度でないとき、空のエリアの輝度に基づき直射日光の有無を判定する。ある実施態様では、前記直射日光判定手段は、道路のエリアの輝度に応じて空のエリアの輝度を検出する範囲を変更し、空のエリアの輝度が高輝度であるとき、直射日光があると判定する。ある実施態様では、前記影響判定手段は、撮像された画像の手前側の一定範囲の路面のエリアを複数に分割し、分割したエリアの平均輝度が高輝度である場合、路面への影響ありと判定する。ある実施態様では、前記影響判定手段は、分割したエリアの平均輝度が高輝度でない場合、分割したエリアの平均輝度の最大値と最小値の差が閾値以上であるとき、路面への影響ありと判定する。ある実施態様では、前記影響判定手段は、路面のエリアを、縦方向に複数に分割し、かつ横方向を左エリア、右エリアおよび中央エリアに分割し、左エリア、右エリアおよび中央エリアの分割されたエリアの影響の有無を判定する。ある実施態様では、前記影響判定手段は、分割したエリアの平均輝度から最小閾値と最大閾値を算出し、さらに分割したエリアの最小閾値より小さい輝度の最小画素数および最大閾値より大きい輝度の最大画素数を算出し、最小画素数が閾値以上または最大画素数が閾値以上であるとき、路面への影響があると判定する。ある実施態様では、前記影響判定手段は、前記点群データの路面の点群数に基づき直射日光による路面の影響を判定する。ある実施態様では、前記影響判定手段は、撮像された画像の路面の輝度の特徴および前記点群データの路面の点群数に基づき直射日光による路面の影響を判定する。ある実施態様では、前記点群データは、ステレオカメラの撮像画像を合成して得られた距離情報を含む３次元情報である。ある実施態様では、前記ステレオカメラは、赤外線カメラである。ある実施態様では、前記ステレオカメラは、移動体の前方を撮像する。

【発明の効果】

【0012】

本発明によれば、直射日光の有無を判定し、直射日光があると判定した場合には路面への影響を判定し、路面への影響ありと判定した場合には、障害物の検出が正常でないことを出力するようにしたので、直射日光による障害物の誤検出を防止することができる。

【図面の簡単な説明】

【0013】

【図1】歩行者を撮像したＩＲ画像の例を示す図である。

【図2】図１に示すＩＲステレオ画像を合成して得られた点群データを示す図である。

【図3】直射日光が入ったＩＲ画像の例を示す図である。

【図4】図３に示すＩＲステレオ画像を合成して得られた点群データを示す図である。

【図5】本発明の実施例に係る障害物検出装置の構成を示すブロック図である。

【図6】本発明の実施例に係る障害物検出装置の全体の動作を示すフローである。

【図7】本発明の実施例に係る直射日光の有無を判定するフローである。

【図8】図８（Ａ）は、道路の高輝度検出を説明する図、図８（Ｂ）は、空のエリアの輝度検出を説明する図である。

【図9】道路が高輝度のときの画像と、高輝度でないときの画像の例である。

【図10】直射日光ありのときの画像と、直射日光がないときの画像の例である。

【図11】本発明の実施例に係る直射日光の影響を判定するフローである。

【図12】小範囲の影響を判定する画像の例である。

【図13】路面の影響の判定方法を説明する図である。

【図14】本発明の実施例に係る左右エリアの路面の影響を判定するフローである。

【図15】本発明の実施例に係る中央エリアの路面の影響を判定するフローである。

【図16】本発明の実施例に係る小範囲の影響の判定を説明する図である。

【図17】本発明の実施例に係る小範囲の影響を判定するフローである。

【図18】中央エリアの２ｍから３ｍの路面への影響があるときの画像の例である。

【図19】本発明の実施例に係る障害物検出装置を適用した運転支援システムの構成を示すブロック図である。

【発明を実施するための形態】

【0014】

本発明に係る障害物検出装置は、ステレオカメラで撮像されたステレオ画像を利用して障害物を検出する。ある実施態様では、障害物検出装置は、シニアカー（電動車椅子などの小型モビリティ）、自動車等の移動体または輸送機器に搭載され、障害物検出装置の検出結果は、移動体の移動制御システムやユーザー（搭乗者）等に出力される。

【実施例】

【0015】

次に、本発明の実施例について図面を参照して詳細に説明する。図５は、本発明の実施例に係る障害物検出装置の構成を示すブロック図である。本実施例の障害物検出装置１００は、左右のＩＲ画像を撮像するＩＲカメラ１１０Ｌ、１１０Ｒ（総称するときはステレオカメラ１１０）と、ステレオカメラ１１０で撮像されたステレオ画像を合成し、深度計算された点群データを生成する点群データ生成部１２０と、点群データに基づき障害物を検出する障害物検出部１３０と、ＩＲ画像に基づき直射日光の有無を判定する直射日光判定部１４０と、直射日光判定部１４０により直射日光があると判定された場合、直射日光による路面への影響の有無を判定する影響判定部１５０とを含む。

【0016】

点群データ生成部１２０、障害物検出部１３０、直射日光判定部１４０および影響判定部１５０は、コンピュータ装置あるいは電子装置におけるハードウエアおよび／またはソフトウエアにより実施される。ハードウエアは、具体的には、ＧＰＵ（グラフィックプロセッサユニット）、ＣＰＵ、メモリ等の記憶媒体を含み、ソフトウエアは、記憶媒体等に格納されたプログラムやアプリケーションあるいはネットワークを介してサーバ等からダウンロードされたプログラムやアプリケーションを含む。

【0017】

ステレオカメラ１１０の取り付け位置は特に限定されないが、例えば、電動車いすや車両の前方に取り付けら、車両の前方を撮像する。ＩＲカメラ１１０Ｌ、１１０Ｒは、赤外線を利用するため、夜間であっても物体の撮影が可能である。また、ＩＲカメラ１１０Ｌ、１１０Ｒは、赤外線のパターンまたは模様を照射することもあるが、それらの赤外光は人間の目には見えない光であるため不快を感じさせない利点がある。ＩＲカメラ１１０Ｌ、１１０Ｒは、１秒間に複数のフレームを生成し、１つのフレームを構成する各画素は、例えば、８ビットのデータにより２５６階調の輝度で撮影対象を表す。つまり、ＩＲカメラで撮影されたＩＲ画像は、赤外線を反射する領域を白く写し、赤外線を吸収する領域を黒く写す、白黒の濃淡を表す階調画像データである。２つのＩＲカメラ１１０Ｌ、１１０Ｒの画素数および光学特性は同一であり、ＩＲカメラ１１０Ｌ、１１０Ｒの座標位置は既知である。例えば、２つのＩＲカメラ１１０Ｌ、１１０Ｒは、同一の高さ（水平）に一定の距離だけ離間して配置される。

【0018】

点群データ生成部１２０は、ＩＲカメラ１１０Ｌ、１１０Ｒで撮像されたＩＲ画像を受け取る。点群データ生成部１２０は、左右のＩＲ画像をマッチングし、両画像の視差から撮像対象までの深度（距離）を計算し、最終的に左右のＩＲ画像を合成した撮像対象の３次元位置を表す点群データを生成する。

【0019】

障害物検出部１３０は、点群データ生成部１２０で生成された点群データに基づき障害物の有無を判定する。障害物がある場合には、当該障害物の向き、障害物までの距離、障害物の大きさを検出する。また、障害物検出部１３０は、仮に点群データに基づき障害物が検出された場合であっても、影響判定部１５０が直射日光による路面への影響をありと判定した場合には、少なくとも障害物の検出が正常に行われていないことを出力する。ＩＲ画像に直射日光が取り込まれたとき、直射日光の輝度により点群データが欠落したり、点群データにノイズが発生し、点群データから障害物を正常に検出することができなくなる可能性がある。障害物検出部１３０の出力結果は、車両の搭乗者への警報や車両の運転支援システムあるいは自動運転システムに利用される。

【0020】

ステレオカメラによる測位において、直射日光により３次元位置を示す点群データにノイズや欠落が生じるのは、左右のカメラ画像の周辺からの輝度差が大きくなった箇所である。このような個所では、画像のずれ（視差）を捉えることができず、奥行き（距離）を算出することができなくなったり、誤差が大きくなるためである。特に、直射日光がカメラに入った時に起きやすい。そこで、本実施例では、直射日光の有無を判定し、直射日光があると判定した場合には、 その直射日光の影響の有無を判定する。

【0021】

図６は、本実施例の障害物検出装置の全体の動作を示すフローである。直射日光判定部１４０は、ＩＲカメラ１１０Ｌまたは１１０Ｒで撮像されたＩＲ画像に基づき直射日光の有無を判定する（Ｓ１００）。直射日光判定部１４０により直射日光ありと判定された場合（Ｓ１１０）、影響判定部１５０は、直射日光による影響の有無を判定し（Ｓ１２０）、直射日光なしと判定された場合、影響判定部１５０は、直射日光の影響なしと判定する（Ｓ１３０）。影響判定部１５０の判定結果は、障害物検出部１３０へ出力される。障害物検出部１３０は、影響ありの判定結果を受け取った場合、点群データに基づく障害物の検出結果が正常でない（あるいは信頼性がない）ことを含む情報を出力し、影響なしの判定結果を受け取った場合には、通常通り、点群データに基づく障害物の検出結果を出力する。

【0022】

次に、直射日光判定部１４０の詳細について説明する。図７は、直射日光判定部１４０の動作フローである。直射日光判定部１４０は、点群データ生成部１２０が用いるＩＲ画像と同期するＩＲ画像に基づき道路の高輝度検出を行う（Ｓ２００）。

【0023】

道路が高輝度か否かの検出では、（１）ＩＲ画像全体の平均輝度、（２）空の平均輝度、（３）ＩＲ画像の手前側の一定範囲の道路の平均輝度を用いる。直射日光判定部１４０は、図８（Ａ）に示すように、ＩＲ画像を水平線の手前と奥とのエリアに分割する。ＩＲ画像の２次元座標とＩＲカメラによって撮像された撮像範囲との関係は、ステレオカメラ１１０Ｌ、１１０Ｒの取り付け位置や取り付け角度等により一義的に決定される。水平線は、空と道路や建物等との境界であり、水平線の手前のエリアには道路や建物等が写され、水平線の奥側のエリアには空が写され、この水平線の座標は予め決定される。また、奥行方向の「１ｍ」、「２ｍ」、「３ｍ」、「４ｍ」、「６ｍ」は、ステレオカメラからの距離を表す。本例では、ステレオカメラから２ｍまでの範囲を道路の平均輝度に用いる。この１ｍから２ｍまでの範囲には、確実に道路が撮像される。

【0024】

直射日光判定部１４０は、空の平均輝度＜画像全体の平均輝度＜２ｍまでの道路の平均輝度の関係があるとき、すなわち、空の平均輝度が一番小さく、２ｍまでの道路の平均輝度が一番大きいとき、道路が高輝度であると判定する（Ｓ２１０）。図９に、道路が高輝度であるときのＩＲ画像の例と、道路が高輝度でないときのＩＲ画像の例を示す。

【0025】

直射日光判定部１４０は、道路が高輝度であると判定した場合には（Ｓ２１０）、直射日光なしと判定する（Ｓ２５０）。つまり、空の平均輝度よりも道路の平均輝度が高いので、直射日光が入射していないと判定する。

【0026】

一方、直射日光判定部１４０は、道路が高輝度でないと判定した場合には（Ｓ２１０）、空の分割エリアの輝度を判定し（Ｓ２３０）、分割エリアが高輝度である場合には、直射日光ありと判定し（Ｓ２４０）、分割エリアが高輝度でない場合には、直射日光なしと判定する（Ｓ２５０）。

【0027】

空の分割エリアの輝度判定方法を図８（Ｂ）に示す。同図に示すように、空のエリアを縦方向に３分割、横方向に１２分割し、３６個の分割エリアを生成し、各分割エリアの平均輝度を用いる。好ましい態様では、上記した２ｍまでの道路の平均輝度が暗い否かに応じて分割エリアの範囲を変えて輝度をチェックする。つまり、道路が暗い場合には、広範囲の分割エリアの平均輝度をチェックし、道路が暗くない場合には、狭い範囲の分割エリアの平均輝度をチェックする。

【0028】

２ｍまでの道路の平均輝度が暗い場合（設定した閾値より低い場合）、分割エリアの範囲Ａ（１８個の分割エリア）を用いて高輝度の分割エリアがあるか否かを検出する。例えば、１画素が２５６階調の輝度を表す場合、範囲Ａ内に、平均輝度が２２０以上の分割エリアが存在するか否かを検出し、範囲Ａ内にそのような高輝度の分割エリアが少なくとも１つ存在する場合には、直射日光ありと判定する。

【0029】

また、２ｍまでの道路の平均輝度が暗くない場合（設定した閾値以上の場合）、分割エリアの範囲Ｂ（６個の分割エリア）を用いて高輝度の分割エリアがあるか否かを検出する。例えば、範囲Ｂ内に、平均輝度が２２０以上の分割エリアが存在するか否かを検出し、範囲Ｂ内にそのような高輝度の分割エリアが少なくとも１つ存在する場合には、直射日光ありと判定する。範囲Ａまたは範囲Ｂ内に高輝度の分割エリアが存在しない場合には、直射日光なしと判定する。

【0030】

図１０に、直射日光があるときのＩＲ画像の例と、直射日光がないときのＩＲ画像の例を示す。直射日光がある場合には、空のエリアに高輝度のエリアが存在していることがわかる。さらに、２ｍまでの道路の輝度が低いことがわかる。一方、直射日光がない場合には、２ｍまでの道路の輝度が空の輝度よりも高いことがわかる。

【0031】

上記の例では、直射日光判定部１４０は、ＩＲ画像のみから直射日光の有無を判定しているが、この判定の信頼性を補うため露光時間を考慮することも可能である。ＩＲカメラに自動露光調整機能が搭載されている場合、自動露光調整機能は、直射日光が入ると露光を絞るために露光時間を短くする。例えば、露光時間は、１６００ｕｓｅｃ以下になる。それ故、直射日光判定部１４０は、露光時間が一定以下に短縮されたことを加重条件として直射日光ありと判定するようにしてもよい。

【0032】

次に、影響判定部１５０の詳細について説明する。図１１は、影響判定部１５０の動作フローである。影響判定部１５０は、直射日光判定部１４０により直射日光ありと判定されたとき、直射日光による路面の影響を判定する（Ｓ３００）。路面の影響ありと判定した場合には、その旨を障害物検出部１３０へ通知し、処理を終了する。一方、路面の影響なしと判定した場合には（Ｓ３１０）、さらに小範囲の影響の有無を判定し（Ｓ３２０）、その判定結果に基づき路面の影響の有無を判定する。小範囲の影響判定は、直射日光のレンズへの写り込みやレンズへの影の写り込みなど、比較的小さい範囲で発生する影響を判定するものであり、路面の影響判定（Ｓ３００）で判定することができないものを検出する。図１２に、小範囲の影響判断の対象となるＩＲ画像の例を示す。上図が直射日光の入り込みによりＩＲ画像にフレアが生じた例を示し、下図がレンズへの影の写り込みによりＩＲ画像に暗い影が生じた例を示す。

【0033】

図１３は、路面の影響を判定する方法を説明する図である。図１３（Ａ）に示すように、ＩＲ画像の水平線の中心近傍において、道路が水平線と交差する部分を道路が消失する消失点と想定し、この消失点を基準に、路面の１ｍから６ｍまでの範囲で、左エリア、中央エリア、右エリアを複数のエリアに分割する。例えば、（１）縦方向を１ｍから２ｍ、２ｍから３ｍ、３ｍから４ｍ、４ｍから６ｍの４つに分割し、（２）横方向の中央エリアを４分割し、左右エリアを２分割する。つまり、消失点から左エリアへの分割ラインＬ１、Ｌ２、Ｌ３により左エリアが８分割され、中央エリアへの分割ラインＬ４、Ｌ５、Ｌ６により中央エリアが１６分割され、右へリアへの分割ラインＬ７、Ｌ８、Ｌ９により右エリアが８分割される。

【0034】

影響判定部１５０は、分割された各エリアの平均輝度を用いて路面の影響の有無を判定する。１つの態様では、影響判定部１５０は、左エリア、右エリア、中央エリアの順に、１ｍから２ｍ、２ｍから３ｍ、３ｍから４ｍ、４ｍから６ｍの手前側から順に平均輝度をチェックし、影響ありの分割エリアが見つかった時点で、影響の有無の判定を終了する。図１３（Ｂ）において、１ｍから２ｍの範囲の８つの分割エリアを番号１、２、・・・、７、８で表した場合、最初に左エリアの分割エリア１、２の平均輝度がチェックされ、次に、右エリアの分割エリア７、８の平均輝度がチェックされ、次に中央エリアの分割エリア３、４、５、６の平均輝度がチェックされる。その後、同様の順序で、２ｍから３ｍの範囲、３ｍから４ｍの範囲、４ｍから６ｍの範囲の平均輝度がチェックされる。

【0035】

なお、分割エリアの平均輝度をチェックする順序は、上記に限らず、例えば、左エリア、中央エリア、右エリアの順に行っても良いし、その反対に右エリア、中央エリア、左エリアの順であってもよい。また、分割エリアの平均輝度を水平方向にチェックするのではなく、手前側から奥側にチェックするようにしてもよい。例えば、左エリアの１ｍから２ｍ、２ｍから３ｍ、３ｍから４ｍ、４ｍから６ｍの平均輝度をチェックし、次に右エリアの平均輝度を手前側から奥側にチェックするようにしてもよい。

【0036】

図１４に、左エリアまたは右エリアの路面の影響を判定するフローを示す。影響判定部１５０は、最初に、２つの分割エリアの平均輝度の高い方をｎＭａｘに設定する（Ｓ４００）。例えば、左エリアの路面の影響を判定する場合には、図１３（Ｂ）に示す１ｍから２ｍの範囲の分割エリア１と２の平均輝度の高い方がｎＭａｘに設定される。次に、影響判定部１５０は、ｎＭａｘの分割エリアが高輝度か否かを判定する（Ｓ４１０）。例えば、ｎＭａｘ≧１８０のとき、高輝度と判定する。ｎＭａｘが高輝度の場合、左エリアまたは右エリアの路面の影響ありと判定する（Ｓ４４０）。例えば、左エリアの路面の影響の判定において、分割エリア１または２の平均輝度が１８０以上のとき、左エリアの路面の影響ありと判定する。

【0037】

一方、ｎＭａｘの分割エリアが高輝度でない場合は、次に、２つの分割エリアと中央エリアの４つの分割エリアの中で最小の平均輝度をｎＭｉｎに設定する（Ｓ４２０）。図１３（Ｂ）の例で言えば、１ｍから２ｍの範囲の分割エリア１、２、３、４、５、６の中で最小の平均輝度がｎＭｉｎに設定される。次に、影響判定部１５０は、ｎＭａｘとｎＭｉｎと差が閾値以上か判断する（Ｓ４３０）。この輝度差が閾値以上ならば、左エリアまたは右エリアの路面への影響ありと判定し（Ｓ４４０）、そうでないときは、路面への影響なしと判定する（Ｓ４５０）。

【0038】

影響判定部１５０は、上記したように左エリアの路面の影響を判定し、次に右エリアの路面の影響を判定し、次に中央エリアの路面の影響を判定する。図１５に、中央エリアの路面の影響を判定するフローを示す。影響判定部１５０は、４つの分割エリアの最大の平均輝度をｎＭａｘに設定する（Ｓ５００）。図１３（Ｂ）の例で言えば、中央エリアの路面の影響を判定する場合、１ｍから２ｍの範囲の分割エリア３、４、５、６の中で最大の平均輝度がｎＭａｘに設定される。次に、影響判定部１５０は、ｎＭａｘの分割エリアが高輝度か否かを判定する（Ｓ５１０）。例えば、ｎＭａｘ≧１８０であれば、高輝度と判定する。ｎＭａｘが高輝度であれば、影響ありと判定する（Ｓ５４０）。

【0039】

一方、ｎＭａｘの分割エリアが高輝度でない場合は、４つの分割エリアとこれに隣接する左右エリアのそれぞれの１つの分割エリアの中で最小の平均輝度をｎＭｉｎに設定する（Ｓ５２０）。図１３（Ｂ）の例で言えば、１ｍから２ｍの範囲の分割２、３、４、５、６、７で最小の平均輝度がｎＭｉｎに設定される。次に、影響判定部１５０は、ｎＭａｘとｎＭｉｎとの差が閾値以上か判定する（Ｓ５３０）。この輝度差が閾値以上ならば、中央エリアへの路面の影響ありと判定し（Ｓ５４０）、そうでないときは、影響なしと判定する（Ｓ５５０）。

【0040】

次に、図１１に示す小範囲の影響判定方法について説明する。小範囲の影響判定は、路面の１ｍから４ｍの範囲において、（１）中央エリアの４分割エリアを左から右の順に、（２）１ｍから２ｍ、２ｍから３ｍ、３ｍから４ｍの順に行ない、影響ありになった時点で判定を終了する。図１６に、小範囲の影響を判定するエリアを示す。最初に、１ｍから２ｍの範囲で分割エリア１、２、３、４の順で影響の有無を判定し、次に２ｍから３ｍ、次に３ｍから４ｍの範囲で影響の有無を判定する。

【0041】

図１７は、小範囲の影響を判定するフローである。影響判定部１５０は、分割エリアの平均輝度を算出し、この平均輝度から最小閾値と最大閾値とを算出する（Ｓ６００）。図１６の例で言えば、先ず分割エリア１の平均輝度が算出される。最小閾値は、例えば、平均輝度の１／２であり、最大閾値は、例えば、平均輝度の２倍である。

【0042】

次に、影響判定部１５０は、分割エリアの全ての画素を調べ、最小閾値より小さい輝度の画素数を算出し、この画素数をｎＮｕｍＭｉｎに設定する（Ｓ６１０）。同様に、分割エリアの全ての画素数を調べ、最大閾値より大きい輝度の画素数を算出し、この画素数をｎＮｕｍＭａｘに設定する（Ｓ６２０）。分割エリア１の例で言えば、分割エリア１の全ての画素を調べ、ｎＮｕｍＭｉｎより小さい輝度の画素数、ｎＮｕｍＭａｘより大きい輝度の画素数が算出される。次に、影響判定部１５０は、ｎＮｕｍＭｉｎが閾値以上、あるいはＮｎｕｍＭａｘが閾値以上ならば、影響ありと判定し（Ｓ６４０）、そうでないときは影響なしと判定する（Ｓ６５０）。影響なしと判定した場合、次の分割エリアについて同様の判定が行われる。図１８は、中央エリアの２ｍから３ｍに小範囲の影響ありと判定されたときの画像の例であり、ここでは、道路上のマンホール（小範囲）に影響が出ていることがわかる。

【0043】

このように、影響判定部１５０は、直射日光による路面の影響を判定し、その判定結果を障害物検出部１３０へ提供する。障害物検出部１３０は、点群データに基づき障害物を検出するが、影響判定部１５０により路面への影響ありと判定された場合には、例えば、障害物の検出結果を出力しないようにしたり、あるいは障害物の検出結果とともに直射日光の影響がある旨を出力したり、あるいは障害物の検出結果の信頼性が良くないことを出力する。

【0044】

上記の例では、影響判定部１５０は、ＩＲ画像の輝度の特徴から路面への影響を判定しているが、この判定の信頼性を補うために、生成された点群の数を考慮してもよい。直射日光の光が路面に映りこんで白飛びが生じると欠落が生じる。そこで、影響判定部１５０は、点群データ生成部１２０で生成された点群データを受け取り、点群データから路面の部分を抽出して、その路面の点群数に基づき直射日光による点群の欠落やノイズの有無を推測する。例えば、通常７ｍ先まで路面があるとき、点群の数は約１００００点である。このような場合に、測位した点群が３ｍ分の点群数に満たないとき（例えば、点群数が３５００点以下）には、直射日光による点群の欠落やノイズがあると推測する。それ故、影響判定部１５０は、路面の輝度の特徴から路面への影響がないと判定した場合であっても、路面の点群数が閾値以下であれば直射日光による路面への影響ありと判定するようにしてもよい。あるいは影響判定部１５０は、路面の点群数が閾値以下であることを加重条件として路面への影響ありと判定するようにしてもよい。

【0045】

上記実施例では、ステレオカメラとしてＩＲカメラを用いる例を示したが、ステレオカメラは、ＩＲカメラに限らず、カラー画像を撮像するＲＧＢカメラであってもよい。この場合、直射日光判定部１４０は、ＲＧＢカメラで撮影されたＲＧＢ画像の輝度（決められた数式によりＲＧＢデータを輝度データに変換）に基づき直射日光の有無を判定し、影響判定部１５０は、ＲＧＢ画像の輝度に基づき直射日光の影響の有無を判定する。

【0046】

次に、本実施例の障害物検出装置を適用した運転支援システムを図１９に示す。運転支援システム２００は、先の実施例で説明した障害物検出装置１００と、搭乗者に警告を発する警告部２１０と、車両Ｍの運転を支援する運転支援モジュール２２０とを含む。警告部２１０は、例えば、表示部や音声出力部を含み、車両Ｍの前方に障害物が検出されたとき、画像情報や音声情報により障害物が存在することを知らせる。また、運転支援モジュール２２０は、車両Ｍの運転制御と協働して障害物への衝突を未然に防ぐために車両Ｍを減速させたり、あるいは障害物を回避するように車両Ｍの進行方向を変更させる。

【0047】

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。

【符号の説明】

【0048】

１００：障害物検出装置 １１０Ｌ、１１０Ｒ：ステレオカメラ
１２０：点群データ生成部 １３０：障害物検出部
１４０：無効エリア識別部 １５０：対象物認識部
１６０：ＲＧＢカメラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】