特許 6987173 障害物検知装置及びこれを備えた障害物検知システム、障害物検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6987173

(24)【登録日】2021年12月2日

(45)【発行日】2021年12月22日

(54)【発明の名称】障害物検知装置及びこれを備えた障害物検知システム、障害物検知方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20211213BHJP

   G08G 1/04 20060101ALI20211213BHJP

   G06T 7/00 20170101ALI20211213BHJP

【ＦＩ】

   G08G1/16 C

   G08G1/04 D

   G06T7/00 650B

   G06T7/00 350B

【請求項の数】10

【全頁数】15

(21)【出願番号】特願2020-75802(P2020-75802)

(22)【出願日】2020年4月22日

(65)【公開番号】特開2021-174124(P2021-174124A)

(43)【公開日】2021年11月1日

【審査請求日】2020年4月22日

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110002941

【氏名又は名称】特許業務法人ぱるも特許事務所

(72)【発明者】

【氏名】竹原 成晃

(72)【発明者】

【氏名】藤好 宏樹

(72)【発明者】

【氏名】小城戸 智能

【審査官】 佐々木 佳祐

(56)【参考文献】

【文献】 特開２０１８−０７４４１１（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０４３００６（ＷＯ，Ａ１）

【文献】 特開２０１９−１０１４９９（ＪＰ，Ａ）

【文献】 国際公開第２０１９／０９８２１６（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００−９９／００

Ｂ６０Ｗ １０／００−１０／３０

Ｂ６０Ｗ ３０／００−６０／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

車両に設置された撮像部で撮影された時系列の複数の画像に基づいて、車両に接近する障害物を検知する障害物検知装置であって、
前記複数の画像から抽出された特徴点のオプティカルフローの演算を行い、前記車両に接近する特徴点を接近特徴点として抽出するオプティカルフロー演算部と、
前記複数の画像のそれぞれについて路面領域を抽出し、路面領域と路面領域以外の領域とを分ける路面検知部と、
前記オプティカルフロー演算部で抽出された前記接近特徴点の情報と、前記路面検知部で抽出された前記路面領域の情報とに基づいて、前記障害物が存在する可能性がある範囲を囲う障害物領域を設定する障害物領域限定部と、
前記障害物領域限定部によって設定された前記障害物領域に対し、事前に学習された物体の特徴に基づいて対象物体が前記障害物か否かの判別を行い、前記対象物体の位置及び種別を含む物体情報を出力する物体検知部と、
前記物体情報に基づいて警報を通知するか否かを判断する警報判断部と、を備えたことを特徴とする障害物検知装置。

【請求項2】

前記物体検知部は、前記オプティカルフロー演算部で抽出された前記接近特徴点を含み、且つ前記路面検知部で前記路面領域以外と判定された領域に存在する物体を前記対象物体とすることを特徴とする請求項１記載の障害物検知装置。

【請求項3】

前記障害物領域限定部は、前記オプティカルフロー演算部で抽出された前記接近特徴点から前記路面領域に存在する前記接近特徴点を除去し、残った前記接近特徴点を全て含む矩形の障害物領域を設定することを特徴とする請求項１記載の障害物検知装置。

【請求項4】

前記障害物領域限定部は、前記オプティカルフロー演算部で抽出された前記接近特徴点から前記路面領域に存在する前記接近特徴点を除去し、残った前記接近特徴点を密度によってグループ化し、グループ毎の前記接近特徴点を全て含む矩形の障害物領域を設定することを特徴とする請求項１記載の障害物検知装置。

【請求項5】

前記障害物領域限定部は、前記路面領域の境界を含むように前記障害物領域を設定することを特徴とする請求項４記載の障害物検知装置。

【請求項6】

前記路面検知部は、前記車両の周辺領域から取得した路面の色に基づいて前記路面領域を抽出することを特徴とする請求項１から請求項５のいずれか一項に記載の障害物検知装置。

【請求項7】

車両に設置され前記車両の周囲を撮影し時系列で複数の画像を取得する撮像部と、
前記撮像部で撮影された前記複数の画像に基づいて前記車両に接近する障害物を検知する障害物検知装置と、
前記障害物検知装置で検知された前記障害物に関する警報を通知する警報部と、を含み、
前記障害物検知装置として、請求項１から請求項６のいずれか一項に記載の障害物検知装置を備えたことを特徴とする障害物検知システム。

【請求項8】

前記障害物検知装置で検知された前記障害物と前記車両との接触が回避されるように前記車両を制御する制御部を備えたことを特徴とする請求項７記載の障害物検知システム。

【請求項9】

前記障害物検知装置で検知された前記障害物の位置情報を映像で通知する表示部を備えたことを特徴とする請求項７または請求項８に記載の障害物検知システム。

【請求項10】

車両に接近する障害物を検知する障害物検知方法であって、
前記車両の周囲を撮影し、時系列で複数の画像を取得する画像取得ステップと、
前記複数の画像から抽出された特徴点のオプティカルフローの演算を行い、前記車両に接近する特徴点を接近特徴点として抽出する接近特徴点抽出ステップと、
前記複数の画像のそれぞれについて路面領域を抽出し、前記路面領域と路面領域以外の領域とを分ける路面検知ステップと、
前記接近特徴点抽出ステップで抽出された前記接近特徴点の情報と前記路面検知ステップで抽出された前記路面領域の情報とに基づいて、前記障害物が存在する可能性がある範囲を囲う障害物領域を設定する障害物領域限定ステップと、
前記障害物領域限定ステップで設定された前記障害物領域に対し、事前に学習された物体の特徴に基づいて対象物体が前記障害物か否かの判別を行い、前記対象物体の位置及び種別を含む物体情報を出力する物体検知ステップと、を含み、
前記物体検知ステップでは、前記接近特徴点抽出ステップで抽出された前記接近特徴点を含み、且つ前記路面検知ステップで前記路面領域以外と判定された領域に存在する物体を、前記対象物体とすることを特徴とする障害物検知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、障害物検知装置及びこれを備えた障害物検知システム、障害物検知方法に関するものである。

【背景技術】

【0002】

近年、車載監視装置の一つとして、物体の形状を認識するセンサである車載カメラ装置を用いた技術の開発が進んでいる。車載カメラ装置は、車両に複数台の車載カメラを装着することで死角をなくし、車載カメラで撮影された障害物等を専用の認識処理装置で画像認識することで、障害物との接触を回避して車両を運行することを可能としている。

【0003】

車両の周辺監視を目的としたカメラは、小型のカメラモジュールとして、車両前後に設けられたグリルガード及びドアミラー等に取り付けられる。カメラモジュールのレンズ画角及び車両取り付け角度等は、死角を補うために車両毎に最適化される。

【0004】

このカメラを使用した障害物の認識の手法として、障害物として撮影されたオブジェクトの特徴点をとらえ、映像フレームである個々の画像間で特徴点がどのように移動したかを調べるオプティカルフロー手法が知られている。例えば特許文献１では、撮像画像のオプティカルフローに基づいて、車両と障害物との相対的な位置関係を算出している。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１１−２０３７６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、オプティカルフローによる障害物検知では、路面のひび割れ、汚れ等の複雑な模様に対して誤った特徴点が対応付けされ、誤検知となることがある。また、等間隔に描画された路面標示、等間隔の模様がある壁、等間隔に設置されたポールまたはパイロンのような構造物がストロボ効果によって接近して見えることにより、オプティカルフローが発生して誤検知となることがあり、検知精度の向上が課題であった。

【0007】

障害物の検知精度を向上させるために、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、ミリ波レーダ、または超音波センサ等、カメラ以外のセンサを設けることも有効であるが、コスト高となるという課題がある。

【0008】

本願は、上記のような課題を解決するための技術を開示するものであり、カメラ以外の他のセンサを追加して設けることなく、障害物に対する検知精度を向上させた障害物検知装置及び障害物検知方法を得ることを目的とする。

【0009】

また、障害物に対する検知精度を向上させた障害物検知装置を備え、誤検知及び誤警報を抑制することができ、ドライバーに障害物の存在を適正なタイミングで知らせることが可能な障害物検知システムを得ることを目的とする。

【課題を解決するための手段】

【0010】

本願に開示される障害物検知装置は、車両に設置された撮像部で撮影された時系列の複数の画像に基づいて、車両に接近する障害物を検知する障害物検知装置であって、複数の画像から抽出された特徴点のオプティカルフローの演算を行い、車両に接近する特徴点を接近特徴点として抽出するオプティカルフロー演算部と、複数の画像のそれぞれについて路面領域を抽出し、路面領域と路面領域以外の領域とを分ける路面検知部と、オプティカルフロー演算部で抽出された接近特徴点の情報と、路面検知部で抽出された路面領域の情報とに基づいて、障害物が存在する可能性がある範囲を囲う障害物領域を設定する障害物領域限定部と、障害物領域限定部によって設定された障害物領域に対し、事前に学習された物体の特徴に基づいて対象物体が障害物か否かの判別を行い、対象物体の位置及び種別を含む物体情報を出力する物体検知部と、物体情報に基づいて警報を通知するか否かを判断する警報判断部とを備えたものである。

【0011】

また、本願に開示される障害物検知システムは、車両に設置され車両の周囲を撮影し時系列で複数の画像を取得する撮像部と、撮像部で撮影された複数の画像に基づいて車両に接近する障害物を検知する障害物検知装置と、障害物検知装置で検知された障害物に関する警報を通知する警報部とを含み、障害物検知装置として、本願に開示される障害物検知装置を備えたものである。

【0012】

また、本願に開示される障害物検知方法は、車両に接近する障害物を検知する障害物検知方法であって、車両の周囲を撮影し、時系列で複数の画像を取得する画像取得ステップと、複数の画像から抽出された特徴点のオプティカルフローの演算を行い、車両に接近する特徴点を接近特徴点として抽出する接近特徴点抽出ステップと、複数の画像のそれぞれについて路面領域を抽出し、路面領域と路面領域以外の領域とを分ける路面検知ステップと、接近特徴点抽出ステップで抽出された接近特徴点の情報と路面検知ステップで抽出された路面領域の情報とに基づいて、障害物が存在する可能性がある範囲を囲う障害物領域を設定する障害物領域限定ステップと、障害物領域限定ステップで設定された障害物領域に対し、事前に学習された物体の特徴に基づいて対象物体が障害物か否かの判別を行い、対象物体の位置及び種別を含む物体情報を出力する物体検知ステップとを含み、物体検知ステップでは、接近特徴点抽出ステップで抽出された接近特徴点を含み、且つ路面検知ステップで路面領域以外と判定された領域に存在する物体を、対象物体とするものである。

【発明の効果】

【0013】

本願に開示される障害物検知装置及び障害物検知方法によれば、オプティカルフローにより抽出された接近特徴点が障害物によるものでなかった場合も、路面検知と学習に基づく物体検知によって該接近特徴点を除去することができるため、カメラ以外の他のセンサを追加して設けることなく、障害物に対する検知精度の向上が図られる。

【0014】

本願に開示される障害物検知システムによれば、誤検知及び誤警報を抑制することができ、ドライバーに障害物の存在を適正なタイミングで知らせることが可能である。

【図面の簡単な説明】

【0015】

【図1】実施の形態１に係る障害物検知システムの構成を示すブロック図である。

【図2】実施の形態１に係る障害物検知装置のハードウエア構成例を示す図である。

【図3】実施の形態１に係る障害物検知システムのカメラの撮影範囲の例を示す図である。

【図4】実施の形態１に係る障害物検知システムのカメラで撮影された画像の例を示す図である。

【図5】実施の形態１に係る障害物検知システムにおける全体的な処理の流れを説明する図である。

【図6】実施の形態１に係る障害物検知装置のオプティカルフロー演算部による処理の流れを説明する図である。

【図7】実施の形態１に係る障害物検知装置の路面検知部による処理の流れを説明する図である。

【図8】実施の形態１に係る障害物検知装置の路面検知処理で作成されたヒストグラムのパターン例を示す図である。

【図9】実施の形態１に係る障害物検知装置の障害物領域限定部による処理の流れを説明する図である。

【図10】実施の形態１に係る障害物検知装置の障害物領域限定部により抽出された障害物領域の例を示す図である。

【図11】実施の形態１に係る障害物検知装置の障害物領域限定部により抽出された障害物領域の別の例を示す図である。

【図12】実施の形態１に係る障害物検知装置の障害物領域限定部により抽出された障害物領域のさらに別の例を示す図である。

【図13】実施の形態１に係る障害物検知装置の物体検知部による処理の流れを説明する図である。

【図14】実施の形態１に係る障害物検知装置の物体検知部による物体検知処理の結果を示す図である。

【発明を実施するための形態】

【0016】

実施の形態１．
以下に、実施の形態１に係る障害物検知装置及びこれを備えた障害物検知システムについて、図面に基づいて説明する。図１は、実施の形態１に係る障害物検知システムの構成を示す図、図２は、実施の形態１に係る障害物検知装置のハードウエア構成例を示す図である。なお、図中、同一、相当部分には同一符号を付している。

【0017】

図１に示すように、障害物検知システム２００は、障害物検知装置１００、撮像部１、警報部８、制御部９、及び表示部１０を備えている。障害物検知装置１００は、フレームバッファ２、オプティカルフロー演算部３、路面検知部４、障害物領域限定部５、物体検知部６、及び警報判断部７を備えている。

【0018】

障害物検知装置１００は、ドライバーが運転する車両（以下、自車両１１と記す）に搭載され、自車両１１に接近する障害物を検知する。障害物とは、例えば自車両１１に接近する周辺車両、二輪車、または歩行者等を含む物体である。

【0019】

障害物検知装置１００のハードウエア構成は、一例を図２に示すように、プロセッサ１０１と記憶装置１０２を含む。記憶装置１０２は、ランダムアクセスメモリ等の揮発性記憶装置と、フラッシュメモリ等の不揮発性の補助記憶装置とを具備する。また、フラッシュメモリの代わりにハードディスクの補助記憶装置を具備してもよい。

【0020】

プロセッサ１０１は、記憶装置１０２から入力されたプログラムを実行する。この場合、補助記憶装置から揮発性記憶装置を介してプロセッサ１０１にプログラムが入力される。また、プロセッサ１０１は、演算結果等のデータを記憶装置１０２の揮発性記憶装置に出力してもよいし、揮発性記憶装置を介して補助記憶装置にデータを保存してもよい。

【0021】

さらに具体的には、障害物検知装置１００の構成要素の中で、フレームバッファ２、オプティカルフロー演算部３、路面検知部４、障害物領域限定部５、物体検知部６、及び警報判断部７で行われる処理は、画像処理機能を備えた障害物検知ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）においてプログラムにより実行される。撮像部１、警報部８、制御部９、及び表示部１０は、車載ネットワークを介して障害物検知ＥＣＵと接続されている。

【0022】

障害物検知システム２００の撮像部１は、自車両１１に設置されたカメラ１２であり、自車両１１の周囲を撮影し時系列で複数の画像を取得する。図３に示す例では、ドアミラーの位置に設置されたカメラ１２の撮影範囲１３は、自車両１１の左側後方である。この撮影範囲１３は、自車両１１が右ハンドルの車両である場合の、ドライバーの死角を補う目的で設定されている。

【0023】

なお、カメラ１２の設置箇所は、ドアミラーの位置に限定されるものではなく、自車両１１の左側側面の他の箇所に設けて左側後方を撮影してもよい。またカメラ１２による撮影範囲１３は、自車両１１の左側後方に限るものではなく、自車両１１の右側後方、もしくは自車両１１の後方等を撮影するようにし、障害物を検知する領域を変更してもよい。

【0024】

図４は、障害物検知システム２００のカメラ１２で撮影された画像の例を示している。画像１４の画角は、自車両１１の側面が入る設定としている。警報領域１５は、自車両１１から後方の距離に応じて設定される。カメラ１２で撮影された画像１４には、接近車両２０の他、非障害物である道路のひび割れ１７、白線１８、ポール１９等が存在している。

【0025】

カメラ１２で撮影された画像データは、フレームバッファ２に出力される。フレームバッファ２は、カメラ１２で撮影された例えば数フレーム分の画像データを蓄積する。画像データは、フレームバッファ２を経由して、後段のオプティカルフロー演算部３、路面検知部４、及び物体検知部６のそれぞれに出力される。

【0026】

オプティカルフロー演算部３は、複数の画像から抽出された特徴点のオプティカルフローの演算を行い、自車両１１に接近する特徴点を接近特徴点として抽出し、接近特徴点の情報を出力する。

【0027】

路面検知部４は、複数の画像それぞれについて路面領域を抽出し、路面領域と路面領域以外の領域とに分ける。路面領域を抽出する手法は複数あるが、ここでは自車両１１の周辺領域から取得した路面の色に基づいて路面領域を抽出する。具体的には、自車両１１の直近の領域は路面であることを前提とし、自車両１１の直近の路面検知領域１６（図４参照）を撮影した画像からヒストグラムを作成し、リファレンスデータとして利用する。

【0028】

障害物領域限定部５は、オプティカルフロー演算部３で抽出された接近特徴点の情報と、路面検知部４で抽出された路面領域の情報とに基づいて、障害物が存在する可能性がある障害物領域を設定する。具体的には、矩形領域であるバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）を作成し、障害物領域を限定する。

【0029】

障害物領域限定部５は、障害物領域の設定方法の１つとして、オプティカルフロー演算部３で抽出された接近特徴点から路面領域に存在する接近特徴点を除去し、残った接近特徴点を全て含むバウンディングボックスを障害物領域として設定する。

【0030】

また、別の方法として、オプティカルフロー演算部３で抽出された接近特徴点から路面領域に存在する接近特徴点を除去し、残った接近特徴点を密度によってグループ化し、グループ毎の接近特徴点を全て含むバウンディングボックスを障害物領域として設定する。さらに、バウンディングボックスが路面領域の境界を含むようにしてもよい。

【0031】

物体検知部６は、複数の画像のそれぞれについて事前に学習された物体の特徴に基づいて、対象物体が障害物か否かの判別を行い、対象物体の位置情報（障害物座標）及び種別情報を含む物体情報を出力する。物体検知部６により対象物体が障害物と判別された場合、該物体情報は障害物情報となる。物体検知部６が出力する障害物情報は、物体検知部６により出力された障害物の位置情報、種別情報、及び障害物領域（バウンディングボックス）の情報を含む。

【0032】

ここで、物体検知部６の対象物体とは、オプティカルフロー演算部３で抽出された接近特徴点を含み、且つ路面検知部４で路面領域以外と判定された領域に存在する物体である。物体検知部６は、障害物領域限定部５が出力したバウンディングボックスに対し、事前に学習された物体の特徴に基づいて対象物体の判別を行う。

【0033】

学習に基づく物体検知処理は、事前に用意した画像と障害物のアノテーション情報に基づいて学習したパラメータを用いるものであり、例えばディープラーニングに基づく方法でもよいし、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）とＳＶＮ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いたものでもよい。パラメータには、車両、二輪車、歩行者等の他、ポール、パイロン、ガードレール等、道路上に存在する可能性のある様々な物体が含まれる。

【0034】

警報判断部７は、物体検知部６により出力された障害物情報に基づいて、警報を通知するか否か、または制御を実施するか否かを判断する。警報判断部７は、物体が検知されたバウンディングボックスが警報領域１５（図４参照）に入っている場合、または物体情報に含まれるオプティカルフローが警報領域１５に入っている場合に、警報が必要であると判断する。

【0035】

警報部８は、障害物検知装置１００で検知された障害物に関する警報を通知する。具体的には、警報判断部７で警報が必要であると判断された場合、自車両１１のドライバーに対して音または振動で警報を通知する。警報を振動で通知する場合、例えば、ＥＰＳ（ｅｌｅｃｔｒｉｃ ｐｏｗｅｒ ｓｔｅｅｒｉｎｇ）に信号を送り、ＥＰＳに高周波の振動を発生させることでハンドルを振動させ、ドライバーに通知する。なお、ハンドルを振動させる方法としては、ハンドル振動用モータをハンドルに取り付ける方法もある。

【0036】

さらに、音による通知と振動による通知を使い分けてもよい。例えばバウンディングボックスの中に警報領域１５の少なくとも一部が含まれるときはまず音で通知し、接近車両等の障害物が自車両１１に接触の可能性があるところまで接近したときに振動で通知してもよい。

【0037】

制御部９は、警報判断部７で制御が必要であると判断された場合、障害物検知装置１００で検知された障害物と自車両１１との接触が回避されるように自車両１１を制御する。表示部１０は、障害物検知装置１００で検知された障害物の位置情報を映像でドライバーに通知する。また、警報判断部７で警報が必要であると判断された場合、表示部１０の映像に警報を重畳して表示し、自車両１１のドライバーに通知するようにしてもよい。

【0038】

障害物検知システム２００において実施される各々の処理について、図５から図１４を用いて説明する。図５は、障害物検知システム２００における全体的な処理の流れを説明するフローチャートである。図５において、ステップＳ１は撮像部１による処理、ステップＳ２からステップＳ７は障害物検知装置１００による処理、ステップＳ８は警報部８及び表示部１０による処理、及びステップＳ９は制御部９による処理である。

【0039】

また、図６は、オプティカルフロー演算部３による処理の流れを説明するフローチャート、図７は、路面検知部４による処理の流れを説明するフローチャート、図９は、障害物領域限定部５による処理の流れを説明するフローチャート、及び図１３は、物体検知部による処理の流れを説明するフローチャートである。

【0040】

図５のステップＳ１（画像取得ステップ）において、撮像部１は、自車両１１の周囲を撮影し、時系列で複数の画像を取得して出力する。続いてステップＳ２（接近特徴点抽出ステップ）において、オプティカルフロー演算部３は、複数の画像から抽出した特徴点のオプティカルフローの演算を行い、自車両１１に接近する特徴点を接近特徴点とし、接近特徴点の情報を抽出して出力する。

【0041】

オプティカルフロー演算部３による接近特徴点抽出処理について、図６を用いて詳細に説明する。図６のステップＳ２１において、画像の中から、オプティカルフローの演算に利用するオプティカルフロー演算領域を部分画像として取得する。ここでは、オプティカルフロー演算領域は、図４に示す画像１４から自車両１１を除いた領域とするが、障害物を検知する必要がある領域であれば画像中のどの領域でも構わない。

【0042】

次に、ステップＳ２２において、ステップＳ２１で取得した部分画像に対し、画像上のコーナー点を特徴点として抽出する。コーナー点を検出する手法は、例えばＨａｒｒｉｓのコーナー検出アルゴリズム等があるが、どの手法を用いてもよい。また、コーナー点ではない特徴点を用いる手法、特徴点を用いずに演算領域に均等に分布させる手法等を用いることもできる。

【0043】

次に、ステップＳ２３において、最新の画像から抽出した特徴点と、過去の画像から抽出した特徴点とのマッチングを行い、オプティカルフローの演算を行う。続いて、ステップＳ２４において、ステップＳ２３における演算結果から、自車両１１に接近するオプティカルフローの抽出を行う。

【0044】

図４に示す画像１４において、上下方向をＹ方向とし下方向を正とすると共に、左右方向をＸ方向とし右方向を正とする。この定義において、自車両１１に後方から接近する障害物は、Ｙ成分が正のオプティカルフローを有する。反対に、建物及び路上に駐車された車両等の、自車両１１から遠ざかる構造物は、Ｙ成分が負のオプティカルフローを有する。従ってステップＳ２４では、Ｙ成分が正のオプティカルフローを抽出する。

【0045】

続いて、ステップＳ２５において、ステップＳ２４で抽出された接近特徴点の情報を、障害物領域限定部５に出力する。接近特徴点の情報とは、接近特徴点の座標、オプティカルフローのＹ成分長さ、Ｘ成分長さ、向き、移動量の長さ等を含む。以上でオプティカルフロー演算部３による接近特徴点抽出処理は終了する。

【0046】

次に、図５のステップＳ３（路面検知ステップ）において、路面検知部４は、ステップＳ１で取得された複数の画像のそれぞれについて路面領域を抽出し、路面領域と路面領域以外の領域とを分けた結果を出力する。路面検知部４による路面検知処理について、図４、図７、及び図８を用いて詳細に説明する。

【0047】

図７のステップＳ３１において、画像の中から、警報領域１５を含む部分画像を取得する。ここでは、部分画像は、オプティカルフロー演算領域と同様に、図４に示す画像１４から自車両１１を除いた領域とする。次に、ステップＳ３２において、自車両１１の直近に設定された路面検知領域１６を路面ヒストグラム抽出領域として設定する。路面ヒストグラム抽出領域は、取得した画像における自車両１１の周辺領域であればよく、カメラ１２の画角、設置位置、または向きに応じて設定される。

【0048】

続いて、ステップＳ３３において、路面ヒストグラム抽出領域である路面検知領域１６のヒストグラムを作成する。具体的には、路面検知領域１６の各画素に輝度値を割り当て、横軸を輝度値、縦軸を度数とすることにより、輝度値のヒストグラムが作成される。輝度値は、例えば０（黒）から２５５（白）の範囲で表される。路面検知領域１６から得られたヒストグラムは、リファレンスデータとして用いられる。

【0049】

図８は、路面検知処理で作成されたヒストグラムのパターンの一例として、路面検知領域１６の輝度値のヒストグラムを示している。ヒストグラムは、横軸の輝度値を階級で示し、その頻度を縦軸に示して画像の特徴を捉えた図である。路面検知領域１６は、路面の領域が大半を占めているため、グレーの輝度が多く、図８中、Ｇ１で示すような度数ピークが現れる。

【0050】

なお、路面には白線の他に黄色線もあり、赤もしくは青ペイントで塗られた路面もあるため、Ｒ、Ｇ、Ｂを組み合わせて階級を作り、その階級毎に頻度をとり、色も含めて路面の特徴を捉えてもよいし、ＲＧＢ以外の色空間を利用しても構わない。また、１つの度数ピークだけを取得してもよいし、複数のピークを取得してもよい。さらに、色情報はフレーム毎に変化していくため、複数の色情報をリファレンスデータとして記録するようにしてもよい。

【0051】

続いて、ステップＳ３４において、路面検知領域１６のヒストグラムをリファレンスデータとして、警報領域１５の中から路面領域を抽出する。ヒストグラムを利用して路面領域を抽出する方法は、特に限定されるものでないが、ここではリファレンスデータのヒストグラムと他の領域のヒストグラムとを比較し、リファレンスデータに類似するヒストグラムの領域を路面として判定し、路面領域として抽出する。

【0052】

ヒストグラムの類似度は、ヒストグラムの形状および分布している輝度値の範囲から判定することができるが、ヒストグラムの類似度を判定する手法はこの手法に限定するものではない。路面と判定された領域の輝度値を２５５、路面でないと判定された領域の輝度値を０として、二値化画像を作成する。

【0053】

最後に、ステップＳ３５において、路面領域の情報を障害物領域限定部５に出力する。路面領域の情報は、例えば部分画像を路面領域と路面領域以外の領域とに分けた二値化画像である。以上で路面検知部４による路面検知処理は終了する。

【0054】

なお、ここではヒストグラムを利用した路面検知処理の手法を説明したが、路面検知の手法はこの手法に限るものではない。その他の手法としては、モーションステレオによる手法、路面の色特徴量を学習した手法、またはディープラーニングを利用した画像セグメンテーションによる手法等がある。

【0055】

次に、図５のステップＳ４（障害物領域限定ステップ）において、障害物領域限定部５は、ステップＳ２で抽出された接近特徴点の情報と、ステップＳ３で抽出された路面領域の情報とに基づいて、障害物が存在する可能性がある障害物領域を設定する。障害物領域限定部５による障害物領域限定処理について、図９から図１２を用いて詳細に説明する。

【0056】

図９のステップＳ４１において、オプティカルフロー演算部３から出力された部分画像の接近特徴点の情報を取得する。また、ステップＳ４２において、路面検知部４から出力された部分画像の路面領域の情報を取得する。

【0057】

続いて、ステップＳ４３において、路面領域にある接近特徴点の情報を除去する。接近特徴点の座標が路面領域にある場合、その接近特徴点の情報は、路面上の模様またはひび割れといった非障害物から発生した誤フローであると判定され除去される。

【0058】

次に、ステップＳ４４において、除去されずに残った接近特徴点を密度によってグループ化する。さらに詳しくは、接近特徴点の座標及び接近特徴点のフローの方向から、互いに近接した位置にありフローの方向が一致する接近特徴点をグループ化する。続いて、ステップＳ４５において、ステップＳ４４で生じた複数の接近特徴点のグループを分類し、接近特徴点を囲うバウンディングボックスを作成する。

【0059】

バウンディングボックスの例を図１０から図１２に示す。図１０に示すバウンディングボックス２３は、路面領域２２に存在する接近特徴点を除去した残りの接近特徴点を全て含む外接矩形である。この手法は簡易であり、部分画像に存在する全ての接近障害物を含めることができる。なお、外接矩形の設定をする場合、接近特徴点から一定のマージンをもって外接矩形を設定してもよい。

【0060】

また、図１１に示すバウンディングボックス２３ａ、２３ｂは、接近特徴点の密度によって障害物領域を複数のグループに分けたものである。図１０に示す例に比べて、効果的に障害物領域を限定することができる。さらに、図１２に示すバウンディングボックス２３ｃ、２３ｄは、図１１に示すバウンディングボックス２３ａ、２３ｂの下端を移動させ、路面領域２２の境界を含むようにしたものである。これにより障害物の下端がバウンディングボックス２３ｃ、２３ｄに入り易くなり、物体検知処理において障害物の検知が容易となる。

【0061】

最後に、ステップＳ４６において、作成されたバウンディングボックスの情報を、障害物領域の情報として物体検知部６に出力する。障害物領域の情報は、画像上のバウンディングボックスの座標、バウンディングボックス内に含まれるオプティカルフローのサイズ、個数、フローの平均長、フローの平均向き等を含む。以上で障害物領域限定部５による障害物領域限定処理は終了する。

【0062】

次に、図５のステップＳ５（物体検知ステップ）において、物体検知部６は、障害物領域限定部５により設定された障害物領域に対し学習に基づく物体検知処理を行い、対象物体の位置及び種別を含む物体情報を出力する。物体検知部６による物体検知処理について、図１３及び図１４を用いて詳細に説明する。

【0063】

図１３のステップＳ５１において、障害物領域限定部５により出力された障害物領域の情報に基づいて、障害物領域の部分画像を取得する。続いてステップＳ５２において。バウンディングボックスの中に存在する対象物体の特徴を抽出する。特徴の抽出は、ＨＯＧであってもよいしＲＧＢの画像そのままであってもよい。

【0064】

続いて、ステップＳ５３において、ステップＳ５２で抽出した特徴を学習済みパラメータと比較し、対象物体の位置及び種別を判別する。これにより、対象物体が障害物であるか否かが判別される。最後に、ステップＳ５４において、障害物と判別された対象物体の位置情報、種別情報、及び障害物領域の情報を含む障害物情報を、警報判断部７に出力する。以上で物体検知部６による物体検知処理は終了する。

【0065】

物体検知部６による物体検知処理の結果を図１４に示す。図１４に示すバウンディングボックス２４は、障害物と判別された接近車両２０とそのオプティカルフロー２１を含んでいる。なお、図１２に示すバウンディングボックス２３ｄの対象物体はポール１９であるため、物体検知部６による物体検知処理の結果、障害物ではないと判別される。

【0066】

さらに、図５のステップＳ６において、警報判断部７は、ステップＳ５で検知された障害物について警報の必要性を判断する。具体的には、ステップＳ７で、障害物が警報領域１５に存在するか否かを障害物の物体情報に基づいて判定する。ステップＳ７において、障害物が警報領域１５に存在しないと判定した場合（ＮＯ）、今回取得した画像についての全ての処理を終了する。また、障害物が警報領域１５に存在すると判定した場合（ＹＥＳ）、ステップＳ８またはステップＳ９に進む。

【0067】

ステップＳ８において、警報部８は音または振動で警報を通知し、表示部１０は映像に重畳して警報を通知する。このとき表示部１０に表示される映像は、フレームバッファ２に蓄積された元の画像であってもよいし、元の画像を切り抜いて拡大、縮小、あるいは変形させた画像であってもよい。ステップＳ９において、制御部９は、検知された障害物と自車両１１との接触が回避されるように自車両１１を制御する。なお、ステップＳ８では、音、振動、または映像による通知のいずれか１つ以上を実施してもよい。また、ステップＳ８とステップＳ９は、いずれか一方を実施してもよい。

【0068】

このように、実施の形態１による障害物検知装置１００は、オプティカルフロー演算部３で抽出された接近特徴点が路面領域に存在する場合、その接近特徴点の情報を除去するようにしたので、図４に示す道路のひび割れ１７、白線１８に係る接近特徴点は除去される。なお、除去される接近特徴点としては、例えば路面領域にある水たまり、路面に描かれたゼブラパターン、等間隔に描画された路面標示等に係る接近特徴点も含まれる。

【0069】

さらに、路面領域以外の領域に存在する接近特徴点であっても、規則正しく設置されたポール及びパイロン、壁に描かれた等間隔の模様等に対し、ストロボ効果の影響で接近特徴点が現れていることがあるが、このような対象物体は、学習に基づく物体検知処理により障害物でないと判別される。よって、オプティカルフロー処理による誤検知を、路面検知処理と学習に基づく物体検知処理によって除去することができる。

【0070】

また、学習に基づく物体検知処理は、オプティカルフロー処理または路面検知処理に比べて処理量が大きいが、障害物領域限定部５で設定された障害物領域に対してのみ物体検知を行うことにより処理効率が向上し、検知性能を低下させることなく処理量を削減することができる。

【0071】

また、自車両１１の周囲に障害物が検知されたとき、ドライバーに対して音、振動、または映像で警報を通知する警報部８及び表示部１０を備えたので、ドライバーに接近車両２０等の障害物の存在を適正なタイミングで知らせることができる。さらに、自車両１１の周囲に障害物が検知されたとき、自車両１１と障害物との接触が回避されるように自車両１１を制御する制御部９を備えたので、ドライバーの操作を介さずに障害物との接触を適正なタイミングで回避することができる。

【0072】

以上のことから、実施の形態１によれば、カメラ以外の他のセンサを追加して設けることなく、障害物に対する検知精度を向上させた障害物検知装置１００が得られる。また、障害物検知装置１００を備えることにより、誤検知及び誤警報を抑制することができ、ドライバーに障害物の存在を適正なタイミングで知らせることが可能な障害物検知システム２００が得られる。

【0073】

本開示は、例示的な実施の形態が記載されているが、実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも１つの構成要素を変形する場合、追加する場合または省略する場合が含まれるものとする。

【産業上の利用可能性】

【0074】

本願は、車両に搭載される障害物検知装置及びこれを備えた障害物検知システムとして利用することができる。

【符号の説明】

【0075】

１ 撮像部、２ フレームバッファ、３ オプティカルフロー演算部、４ 路面検知部、５ 障害物領域限定部、６ 物体検知部、７ 警報判断部、８ 警報部、９ 制御部、１０ 表示部、１１ 自車両、１２ カメラ、１３ 撮影範囲、１４ 画像、１５ 警報領域、１６ 路面検知領域、１７ ひび割れ、１８ 白線、１９ ポール、２０ 接近車両、２１ オプティカルフロー、２２ 路面領域、２３、２３ａ、２３ｂ、２３ｃ、２３ｄ、２４ バウンディングボックス、１００ 障害物検知装置、１０１ プロセッサ、１０２ 記憶装置、２００ 障害物検知システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】