特許 6833259 物体検知支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6833259

(24)【登録日】2021年2月5日

(45)【発行日】2021年2月24日

(54)【発明の名称】物体検知支援装置

(51)【国際特許分類】

   G06T 7/223 20170101AFI20210215BHJP

   G06T 7/00 20170101ALI20210215BHJP

   G08G 1/16 20060101ALI20210215BHJP

   H04N 7/18 20060101ALI20210215BHJP

【ＦＩ】

   G06T7/223

   G06T7/00 650B

   G08G1/16 C

   H04N7/18 J

   H04N7/18 K

【請求項の数】3

【全頁数】16

(21)【出願番号】特願2017-61463(P2017-61463)

(22)【出願日】2017年3月27日

(65)【公開番号】特開2018-163592(P2018-163592A)

(43)【公開日】2018年10月18日

【審査請求日】2019年12月4日

(73)【特許権者】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】240000327

【弁護士】

【氏名又は名称】弁護士法人クレオ国際法律特許事務所

(72)【発明者】

【氏名】安西 俊孝

(72)【発明者】

【氏名】萩 尊史

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２０１３−１４９１７７（ＪＰ，Ａ）

【文献】 特開平１０−０９３９５４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２２３

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

移動体に搭載された撮像部によって撮像され、且つ、時系列的に得られる複数のフレームとして与えられる動画像上の移動情報であるオプティカルフローを用いて抽出される物体を前記フレームの領域から検知する移動物体検知部と、
前記オプティカルフローによって抽出された部分における左右領域の類似度に応じて、前記抽出された部分を周期性のあるテクスチュアが存在する周期パターンと判定し、当該周期パターンを前記移動物体検知部による検知の対象から除外する周期パターン除外部と、
を有することを特徴とする物体検知支援装置。

【請求項2】

請求項１に記載の物体検知支援装置において、
前記周期パターン除外部は、前記左右領域の類似度の対称性を算出し、その算出結果に応じて、前記抽出された部分を前記周期パターンと判定することを特徴とする物体検知支援装置。

【請求項3】

請求項１又は請求項２に記載の物体検知支援装置において、
前記移動物体検知部は、
前記オプティカルフローを算出するオプティカルフロー算出部と、
前記オプティカルフロー算出部で算出されたオプティカルフローを予め設定した評価基準に基づいてグルーピングするグルーピング処理部と、を有し、
前記周期パターン除外部は、
前記グルーピング処理部でグルーピングされたオプティカルフローの集合であるオプティカルフロー群に対応する検証エリアを設定する検証エリア設定部と、
前記検証エリア設定部で設定された検証エリアを複数のブロックに分割し、前記ブロック毎にパターンマッチングを行い、各ブロック内における左右領域の類似度の差分値を算出する差分値算出部と、
前記差分値算出部で算出された差分値が予め定められた閾値以下となるブロックを左右領域の類似度に対称性があるブロックとして計数するブロック計数部と、
前記ブロック計数部で計数されたブロックの数が予め定められた所定数以上である場合、前記検証エリアを前記周期パターンと判定する周期パターン判定部と、
を有することを特徴とする物体検知支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体検知支援装置に関する。

【背景技術】

【0002】

従来、異なる時刻に得られた複数画像から移動ベクトル（オプティカルフロー）を抽出することにより移動物体を検知する移動物体検知方法が提案されている（例えば、特許文献１参照）。この移動物体検知方法は、第１所定時間内に得られた一組の画像から第１オプティカルフローを算出するステップと、第１所定時間とは異なる第２所定時間内に得られた一組の画像から第２オプティカルフローを算出するステップを有する。この移動物体検知方法では、第１所定時間及び第２所定時間でそれぞれ得られた第１オプティカルフロー及び第２オプティカルフローの長さを比較することにより、オプティカルフローが移動物体に起因するものか、周期的に出現する構造物に起因するものかの判定が行われる（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平8-30792号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、車両にカメラを搭載し、移動中のカメラで道路状況を監視してオプティカルフローを検知し、その検知結果を基にして、歩行者や車両等の物体を検知し、それらの物体との衝突の可能性をドライバに警報する場合を想定する。このような場合、カメラの画像中の背景に駐車場のフェンスや石畳路面のような周期性（規則性）のあるテクスチュア（明るさや色の空間的変化が一様な模様）を持つ静止物体が存在すると、本来得られるべきオプティカルフローとは異なるオプティカルフローが誤って検知されてしまうことがある。

【0005】

このような誤った検知結果を基にした物体の検知は、ドライバへの誤警報を招いてしまう。このため、本来警報の必要のないシーンにおいても、ドライバに対して物体との衝突の可能性が警報されてしまうという問題がある。

【0006】

本発明は、上記課題に鑑みてなされたもので、周期性のあるテクスチュアを備えた物体に起因する、オプティカルフローの誤検知を抑制することができる物体検知支援装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る物体検知支援装置は、周期性のあるテクスチュアを持つ周期パターンを除外して、オプティカルフローによる移動物体の検知を行うものである。

【0008】

すなわち、本発明に係る物体検知支援装置は、移動体に搭載された撮像部によって撮像され、且つ、時系列的に得られる複数のフレームとして与えられる動画像上の移動情報であるオプティカルフローを用いて抽出される物体を前記フレームの領域から検知する移動物体検知部と、前記オプティカルフローによって抽出された部分における左右領域の類似度に応じて、前記抽出された部分を周期性のあるテクスチュアが存在する周期パターンと判定し、当該周期パターンを前記移動物体検知部による検知の対象から除外する周期パターン除外部と、を有することを特徴とする。

【発明の効果】

【0009】

このように構成された本発明に係る物体検知支援装置によれば、周期性のあるテクスチュアを備えた物体に起因する、オプティカルフローの誤検知を抑制することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施例１に係る物体検知支援装置を搭載した物体検知支援システムの概略構成を示すブロック図である。

【図2】本発明の実施例１に係る移動物体検知部の概略構成を示すブロック図である。

【図3】本発明の実施例１に係る周期パターン除外部の概略構成を示すブロック図である。

【図4】実施例１に係る物体検知支援装置で行われる一連の処理の流れを示すフローチャートである。

【図5】（Ａ）は、歩行者等の移動物体が全く存在しない石畳路面を車載カメラで撮像した画像の一例である。（Ｂ）は、グルーピング処理の結果として得られた検証エリアを含む画像の一例である。（Ｃ）は、検証エリアを複数のブロックに分割した結果を示す画像の一例である。

【図6】図４に示した、周期パターンの除外処理の詳細を示すフローチャートである。

【図7】図４に示した、ブロックの計数処理の詳細を示すフローチャートである。

【図8】テンプレート領域画像の一例を示す図である。

【図9】差分値の算出処理を説明する図である。

【図10】（Ａ）は、車両の周辺を撮像したフレームの一例である。（Ｂ）は、差分値を算出した結果を示すグラフの一例である。

【図11】（Ａ）は、車両の周辺を撮像したフレームの一例である。（Ｂ）は、差分値を算出した結果を示すグラフの一例である。

【図12】本発明の実施例２に係る物体検知支援装置で行われる周期パターンの除外処理の詳細を示すフローチャートである。

【図13】周期パターン判定部によるフラグの設定処理にポイント制を採用した結果を示すグラフの一例である。

【発明を実施するための形態】

【0011】

以下、本発明に係る物体検知支援装置の具体的な実施形態について、図面を参照して説明する。

【実施例1】

【0012】

実施例１は、本発明の物体検知支援装置を、車載カメラで車両周辺を監視して、車両に接触する可能性のある物体の検知を支援する物体検知支援システムに適用した例である。

【0013】

（物体検知支援システムの概略構成）
まず、物体検知支援システムの概略構成について、図１を用いて説明する。

【0014】

物体検知支援システム１０は、車両１（移動体）に搭載されている。その物体検知支援システム１０は、車載カメラ１００（撮像部）と、物体検知支援装置２００と、車輪速センサ３００と、操舵角センサ４００と、警報出力装置５００と、表示装置６００と、を有する。

【0015】

車載カメラ１００は、車両１の、主として前方向を視野とするように、例えば前側右端部に固定されて、車両１と一体的に移動する。

【0016】

物体検知支援装置２００（例えばカメラ制御ＥＣＵ等）は、車載カメラ１００で撮像され、且つ、時系列的に得られる複数のフレームＦとして与えられる動画像上の移動情報であるオプティカルフローＯＰを用いて、車両１に接触する可能性のある物体の検知を支援する。

【0017】

車輪速センサ３００は、左右の車輪の速度（車輪速）を計測する。

【0018】

操舵角センサ４００は、車両１のステアリング（不図示）の操舵角を計測する。

【0019】

警報出力装置５００は、スピーカ（不図示）のような音声出力手段を備え、車両１が物体に接触する可能性があるときに、音又は音声によって警報を出力する。

【0020】

表示装置６００は、物体検知支援装置２００で信号処理が行われた画像を表示するモニタ（不図示）のような映像出力手段を備え、車両１が物体に接触する可能性があるときに、映像によって警報を出力する。

【0021】

（物体検知支援装置の構成）
物体検知支援装置２００は、画像取得部２１０と、入出力Ｉ／Ｆ（インターフェイス）部２２０と、車両移動算出部２３０と、移動物体検知部２４０と、周期パターン除外部２５０と、移動物体追跡部２６０と、統合判定部２７０と、警報制御部２８０と、を有する。

【0022】

画像取得部２１０は、車載カメラ１００で撮像され、且つ、時系列的に得られる複数のフレームＦとして与えられる動画像を取得する。

【0023】

入出力Ｉ／Ｆ部２２０は、車輪速センサ３００で計測された車輪速の検知結果と、操舵角センサ４００で計測された操舵角の検知結果とを受け取る。

【0024】

車両移動算出部２３０は、車輪速センサ３００で計測された車輪速と、操舵角センサ４００で計測された操舵角とを用いて、車両１の移動量を算出する。

【0025】

移動物体検知部２４０は、画像取得部２１０で取得された動画像と、車両移動算出部２３０で算出された移動量とに基づいて、車両１に接近する移動物体の検知を行う。移動物体検知部２４０は、図２に示すように、オプティカルフロー算出部２４１と、移動体フロー抽出画像生成部２４２と、グルーピング処理部２４３と、を有する。各部の詳細については後述する。

【0026】

周期パターン除外部２５０は、オプティカルフローＯＰによって抽出された部分における左右領域の類似度に応じて、当該抽出された部分を周期性のあるテクスチュア（例えば駐車場のフェンス等）が存在する周期パターンと判定し、当該周期パターンを前記移動物体検知部２４０による検知の対象から除外する。ここで、周期パターンとは、画像上でテクスチュアが一様な領域であって、その左右領域の類似度に対称性のある特性を有する領域のことをいう。

【0027】

周期パターン除外部２５０は、図３に示すように、検証エリア設定部２５１と、差分値算出部２５２と、ブロック計数部２５３と、周期パターン判定部２５４と、を有する。各部の詳細については後述する。

【0028】

移動物体追跡部２６０は、車両移動算出部２３０で算出された移動量と、周期パターン除外部２５０の判定結果に基づいて、移動物体を追跡する。

【0029】

統合判定部２７０は、移動物体検知部２４０の検知結果と、移動物体追跡部２６０の追跡結果との間の整合性を判定する。

【0030】

警報制御部２８０は、統合判定部２７０の判定結果に基づいて、警報を出力するか否か判定する。その判定の結果、警報を出力する場合、警報制御部２８０は、警報出力装置５００を制御して音又は音声を出力したり、表示装置６００を制御して映像を出力したりする。

【0031】

（物体検知支援装置で行われる一連の処理の流れ）
実施例１で行われる一連の処理は、時間軸上で隣接する異なる時刻に撮像された２枚のフレームＦを比較して、オプティカルフローを検知して、車両１に接触する可能性のある物体の検知を支援するものである。

【0032】

以下、図４に示すフローチャートを用いて、実施例１に係る物体検知支援装置で行われる一連の処理の流れを説明する。

【0033】

まず、ステップＳ１０では、車載カメラ１００において、石畳路面を含む車両１の周辺が、所定の時間間隔で撮像される。その撮像により得られた２枚のフレームＦは、画像取得部２１０に出力される。

【0034】

ステップＳ２０〜ステップＳ４０では、移動物体検知部２４０において、オプティカルフローＯＰを用いて抽出される物体がフレームＦの領域から検知される。

【0035】

すなわち、ステップＳ２０では、２枚のフレームＦが画像取得部からオプティカルフロー算出部２４１に出力される。そのオプティカルフロー算出部２４１では、２枚のフレームＦに基づいて、オプティカルフローＯＰが算出される。なお、このようなオプティカルフローＯＰの算出方法は種々の方法が紹介されており、そのいずれの方法を用いてもよいが、実施例１ではブロックマッチング法を用いることとする。

【0036】

ブロックマッチング法については、例えば特開平７−２４４７３５号公報等で提案されている等、既に周知である。そのため、詳細な説明は省略するが、実施例１では、車両１が直進中に、異なる２つの時刻ｔ−Δｔ、ｔに車載カメラ１００の撮像で得られた２枚のフレームＦのうち、時刻ｔ−Δｔに撮像したフレームＦ（以下、過去フレームＦｔ−Δｔ（Ｘ，Ｙ）という）から得られたテンプレート領域画像を、時刻ｔに撮像したフレームＦ（以下、現在フレームＦｔ（Ｘ，Ｙ）という）の中で様々な方向に移動させて、テンプレート領域画像との類似度の評価が行われる。

【0037】

ここで、Ｘは、フレームＦの横方向の座標を示し、Ｙは、フレームＦの縦方向の座標を示す。その評価の結果、テンプレート領域画像との類似度が最も高くなる画像の中心位置Ｍ'を終点とし、テンプレート領域画像の中心位置Ｍを始点とするベクトルがオプティカルフローＯＰとして算出される。図５（Ａ）は、現在フレームＦｔ（Ｘ，Ｙ）中に出現したオプティカルフローＯＰの一例を示す。

【0038】

ステップＳ３０では、移動体フロー抽出画像生成部２４２において、オプティカルフロー算出部２４１で算出されたオプティカルフローＯＰから移動体フロー抽出画像が生成される。なお、このような移動体フロー抽出画像の生成技術については、例えば特開２０１５−１３２８７９号公報等で提案されている等、既に周知であるため、詳細な説明は省略する。

【0039】

ステップＳ４０では、グルーピング処理部２４３において、移動体フロー抽出画像のグルーピング処理が行われる。グルーピング処理部２４３は、１段階目のグルーピング処理でオプティカルフローＯＰの集合である第１オプティカルフロー群ＯＰＧ１を得る。その後、グルーピング処理部２４３は、２段階目のグルーピング処理で第１オプティカルフロー群ＯＰＧ１よりも大きな第２オプティカルフロー群ＯＰＧ２を得る。このように、実施例１では、２段階でグルーピング処理が行われる。

【0040】

なお、このようなグルーピング処理の方法は、オプティカルフロー算出部２４１で算出されたオプティカルフローＯＰを予め設定した評価基準に基づいてグルーピングする方法が紹介されており、そのいずれの方法を用いてもよいが、実施例１では、移動体フロー抽出画像に対してラベリング処理を施すことによりグルーピング処理を行うこととする。なお、このようなラベリング処理の技術については、例えば特開２０１５−１３２８７９号公報で提案されている等、既に周知であるため、詳細な説明は省略する。

【0041】

ステップＳ５０では、周期パターン除外部２５０において、車載カメラ１００で撮像された現在フレームＦｔ（Ｘ，Ｙ）のうち、石畳路面が存在する領域が周期パターンと判定される。その判定された周期パターンは、移動物体検知部２４０による検知の対象から除外される。なお、ステップＳ５０で行われる周期パターンの除外処理の詳細は図６を用いて後述する。

【0042】

ステップＳ６０では、移動物体追跡部２６０において、移動物体の追跡が行われる。

【0043】

ステップＳ７０では、統合判定部２７０において、移動物体検知部２４０の検知結果と、移動物体追跡部２６０の追跡結果の間の整合性が判定される。なお、このような整合性の判定方法は、特開２０１５−１４８１９号公報等で提案されている等、既に周知であるため、詳細な説明は省略する。

【0044】

ステップＳ８０では、警報制御部２８０において、警報を出力するか否かの判定が行われる。そして、実施例１に係る物体検知支援装置で行われる一連の処理が完了する。

【0045】

（ステップＳ５０で行われる処理の詳細）
次に、図６を用いて、ステップＳ５０（図４）で行われる周期パターンの除外処理の詳細を説明する。

【0046】

まず、ステップＳ２０１では、検証エリア設定部２５１において、グルーピング処理部２４３で１段階目にグルーピングされたオプティカルフローＯＰの集合であるオプティカルフロー群ＯＰ１に対応する検証エリアＶＲ１〜ＶＲ３（図５（Ｂ），（Ｃ）参照）が設定される。

【0047】

ステップＳ２０２では、差分値算出部２５２において、検証エリア設定部２５１で設定された検証エリアＶＲ１〜ＶＲ３のそれぞれが複数のブロックＢＬＫに分割される。例えば検証エリアＶＲ１は、６つのブロックＢＬＫ１〜ＢＬＫ６に分割される（図５（Ｃ）参照）。

【0048】

ステップＳ２０３では、差分値算出部２５２において、ブロックＢＬＫ毎にパターンマッチングを行い、各ブロックＢＬＫの左右領域における類似度（ＳＡＤ）の差分値が算出される。ＳＡＤ（Sum of Absolute Difference）は類似度を決定する指標となる。

【0049】

ステップＳ２０４では、ブロック計数部２５３において、類似度の差分値が予め定められた閾値以下となるブロックＢＬＫが左右領域の類似度に対称性があるブロックとして計数される。

【0050】

ここで、ステップＳ２０３，Ｓ２０４に相当する処理は、検証エリアＶＲ１〜ＶＲ３に含まれるブロックＢＬＫの数に等しい回数分を反復して実行される。例えば、図５（Ｃ）の検証エリアＶＲ１の場合、その領域に含まれるブロックＢＬＫ１〜ＢＬＫ６の数に等しい６回分だけ、Ｓ２０３，Ｓ２０４に相当する反復処理が実行される。この反復処理が完了すると、引き続き、ステップＳ２０５が実行される。なお、Ｓ２０３，Ｓ２０４で行われる処理の詳細は図７を用いて後述する。

【0051】

ステップＳ２０５では、周期パターン判定部２５４において、ブロック計数部２５３で計数されたブロックＢＬＫの数が予め定められた所定数以上であるか否かの判定が行われる。ブロックＢＬＫの数が所定数以上であると判定されたときは（ステップＳ２０５におけるＹＥＳ）、そのブロックＢＬＫを含む検証エリアＶＲはその左右領域の類似度に対称性があるので、周期パターン判定部２５４において、その検証エリアＶＲが周期パターンと判定され、ステップＳ２０６に進む。一方、ブロックＢＬＫの数が所定数未満と判定されたときは（ステップＳ２０５におけるＮＯ）、そのブロックＢＬＫを含む検証エリアＶＲはその左右領域の類似度に対称性が無いので、周期パターン判定部２５４において、その検証エリアＶＲが周期パターンでないと判定され、図６の処理を終了して、図４のメインルーチンに戻る。

【0052】

ステップＳ２０６では、周期パターン判定部２５４において、周期パターンと判定された検証エリアＶＲを、移動物体検知部２４０の検知の対象から除外するためのフラグが設定される。そのフラグ設定の後、図６の処理を終了して、図４のメインルーチンに戻る。

【0053】

（ステップＳ２０３，Ｓ２０４で行われる処理の詳細）
次に、図７及び図８をそれぞれ用いて、ステップＳ２０３，Ｓ２０４（図６）で行われるブロックＢＬＫの計数処理の詳細を説明する。

【0054】

まず、ステップＳ３０１では、差分値算出部２５２において、テンプレート領域画像Ｔが取得される。このテンプレート領域画像Ｔは差分値算出部２５２に予め記憶される。図８には、このテンプレート領域画像Ｔの一例として、５画素×５画素の領域を有する蝶ネクタイ型の画像を示す。

【0055】

ステップＳ３０２では、差分値算出部２５２において、縦２５画素×横３２画素のブロックＢＬＫ（図８参照）の中からサーチ領域画像Ｓが取得される。なお、図８中のＸは、ブロックＢＬＫの横方向の座標を示し、Ｙは、ブロックＢＬＫの縦方向の座標を示すものとする。また、図８中に示す１〜６７の番号は、各サーチ領域画像Ｓの中心画素に割り振られたＩＤ番号を示す。

【0056】

ステップＳ３０３では、差分値算出部２５２において、テンプレート領域画像Ｔとサーチ領域画像Ｓとのパターンマッチングが行われ、各サーチ領域画像Ｓでの類似度が、以下の式（１）で示すＳＡＤ（Sum of Absolute Difference：輝度値の差の絶対値の合計）によって算出される。

【0057】

ここで、ステップＳ３０２，Ｓ３０３に相当する処理は、各サーチ領域画像Ｓに割り振られたＩＤ番号の数に等しい回数分をＩＤ番号順に実行される。例えば、図８に示すブロックＢＬＫの場合、その中に含まれる各サーチ領域画像ＳのＩＤ番号の最大値に等しい６７回分、ＩＤ番号順にステップＳ３０２，Ｓ３０３に相当する処理が繰り返される。この繰り返し処理が完了すると、引き続き、ステップＳ３０４が実行される。

【0058】

ステップＳ３０４では、差分値算出部２５２において、ブロックＢＬＫの左右領域における類似度（ＳＡＤ）の差分値が算出される。なお、ステップＳ３０４で行われる処理の詳細は図９を用いて後述する。

【0059】

ステップＳ３０５では、ブロック計数部２５３において、類似度の差分値が予め定められた閾値以下であるか否かの判定が行われる。なお、ステップＳ３０５で行われる処理の詳細は図１０及び図１１を用いて後述する。類似度の差分値が閾値以下であると判定されたときは（ステップＳ３０５におけるＹＥＳ）、ステップＳ３０６に進む。一方、類似度の差分値が閾値を超えると判定されたときは（ステップＳ３０５におけるＮＯ）、ステップＳ３０７に進む。なお、ステップＳ３０５の判定処理で使用される閾値は検証により経験則で導き出された値である。

【0060】

ステップＳ３０６では、ブロック計数部２５３において、ステップＳ３０５の判定条件を満たした回数が判定回数として計数され記憶される。

【0061】

ステップＳ３０７では、ブロック計数部２５３において、判定回数が予め定められた閾値以上であるか否かの判定が行われる。判定回数が閾値以上であると判定されたときは（ステップＳ３０７におけるＹＥＳ）、ステップＳ３０８に進む。一方、判定回数が閾値未満と判定されたときは（ステップＳ３０７におけるＮＯ）、図７の処理を終了して、図６のメインルーチンに戻る。なお、ステップＳ３０７の判定処理で使用される閾値は検証により経験則で導き出された値である。

【0062】

ステップＳ３０８では、ブロック計数部２５３において、ブロックＢＬＫが計数され、図７の処理を終了して、図６のメインルーチンに戻る。

【0063】

（ステップＳ３０４で行われる処理の詳細）
次に、図９を用いて、ステップＳ３０４（図７）で行われる差分値の算出処理の詳細を説明する。

【0064】

ステップＳ３０４で行われる処理は、ブロックＢＬＫにおける左右領域の類似度の対称性を判断することで行われる。具体的に、この処理は、左右領域の類似度の差分値を求めることで行われる。すなわち、差分値算出部２５２は、図９に示すように、ブロックＢＬＫを左領域ＢＬＫ_Ｌと、右領域ＢＬＫ_Ｒとに分割する。差分値算出部２５２は、以下の式（２）によって類似度の差分値Ｓｕｂを算出する。

【0065】

（ステップＳ３０５で行われる処理の詳細）
次に、図１０及び図１１を用いて、ステップＳ３０５（図７）で行われる判定処理の詳細を説明する。

【0066】

図１０（Ａ）及び図１１（Ａ）は、路面を含む車両１の周辺を車載カメラ１００で撮像した現在フレームＦｔ（Ｘ，Ｙ）の一例である。図１０（Ａ）の現在フレームＦｔ（Ｘ，Ｙ）には、路面を歩く歩行者が写り込んでいる。一方、図１１（Ａ）の現在フレームＦｔ（Ｘ，Ｙ）には、歩行者や車両等の物体は全く写り込んでいない。

【0067】

図１０（Ｂ）は、図１０（Ａ）中において歩行者の一部を太線の矩形枠で囲んだブロックＢＬＫを左領域ＢＬＫ_Ｌと右領域ＢＬＫ_Ｒとに分割して、上記の式（２）によって類似度の差分値Ｓｕｂを算出した結果を示すグラフの一例である。このグラフが示すように、ブロックＢＬＫ内に差分値Ｓｕｂが閾値を超える箇所Ｐ（差分値Ｓｕｂが大きくなる箇所Ｐ）が存在することが判明した。これは、歩行者が写り込んだブロックＢＬＫの左右領域の類似度に対称性が無いため、ブロックＢＬＫの左右領域における類似度に差が生じやすいことに起因する。

【0068】

図１１（Ｂ）は、図１１（Ａ）中において石畳路面の一部を太線の矩形枠で囲んだブロックＢＬＫを左領域ＢＬＫ_Ｌと右領域ＢＬＫ_Ｒとに分割して、上記の式（２）によって類似度の差分値Ｓｕｂを算出した結果を示すグラフの一例である。このグラフが示すように、ブロックＢＬＫ内のどの箇所においても差分値Ｓｕｂが閾値以下となること、つまり、差分値Ｓｕｂが小さくなることが判明した。これは、石畳路面が写り込んだブロックＢＬＫの左右領域の類似度に対称性があるため、ブロックＢＬＫの左右領域における類似度に差が生じやすいことに起因する。

【0069】

以上説明したように、実施例１の物体検知支援装置２００によれば、車載カメラ１００にて撮像した画像からオプティカルフローＯＰを算出し、その算出結果を基に、歩行者や車両等の移動物体が検知される。その検知結果を基に、歩行者や車両等との衝突の可能性をドライバに警報する際、オプティカルフローＯＰをグルーピング処理した結果に対して検証エリアＶＲ１〜ＶＲ３が設定される。

【0070】

その検証エリアＶＲ１〜ＶＲ３の各ブロックＢＬＫにおいてパターンマッチングにより左右領域の類似度が算出される。その各ブロックＢＬＫの左右領域の類似度が対称性を有するか否かによって、周期性のあるテクスチュアを備えた周期パターンが判定される。その判定された周期パターンは、移動物体検知部２４０によるオプティカルフローＯＰを用いた検知対象から除外される。つまり、移動物体検知部２４０においてオプティカルフローＯＰを用いた周期パターンの検知が無効化される。

【0071】

このため、実施例１の物体検知支援装置２００において、歩行者や車両等の移動物体を検知する場合に、例えば石畳路面のような周期性のある静止物体に対して、誤ったオプティカルフローＯＰが算出されてしまうことを抑制できる。従って、本来、衝突の可能性を警報する必要のないシーンにおいて、ドライバに対して誤った警報が出されてしまうことを抑制できる。

【実施例2】

【0072】

実施例２は、ポイント制を採用した、周期パターンの除外処理が複数のフレームに亘って時系列で行われる。

【0073】

（物体検知支援装置で行われる一連の処理の流れ）
以下、図４及び図１２に示すフローチャートと、図１３とを用いて、実施例２に係る物体検知支援装置で行われる周期パターンの除外処理の流れを説明する。なお、実施例１と構成と作用が実質的に同一である場合は同一符号を付して説明を省略する。

【0074】

この処理では、車載カメラ１００において、石畳路面を含む車両１の周辺の画像が、所定の時間間隔でＮ回撮像される。その撮像された画像は、画像取得部２１０により取得される。その画像取得部２１０により取得されるフレームＦの数をＮ個とする。

【0075】

なお、実施例１に係る物体検知支援装置で行われる周期パターンの除外処理のステップＳ２０１〜ステップＳ２０６（図６参照）と、実施例２に係る物体検知支援装置で行われる周期パターンの除外処理のステップＳ２１１〜ステップＳ２１６とは、順に同様のものであるので、ここでは、ステップＳ２１０，Ｓ２１７，Ｓ２１８を中心に詳細な説明を行う。

【0076】

まず、ステップＳ２１０では、周期パターン判定部２５４において、画像取得部２１０で第１番目に取得されるフレームＦ１を示すポインタ（フレーム番号）として、Ｘ＝１とする。

【0077】

続いて、ステップＳ２１１〜ステップＳ２１５が実行され、続くステップＳ２１６で周期パターン判定部２５４において、フレームＦ１で設定された検証エリアＶＲを、移動物体検知部２４０による検知対象領域から除外するフラグに相当するポイントが積算された後、処理はステップＳ２１７に移行する。

【0078】

ステップＳ２１７では、周期パターン判定部２５４において、ポインタＸがＮに到達したか否かの判定が行われる。ポインタＸがＮに到達したと判定されたときは（ステップＳ２１７におけるＹＥＳ）、図１２の処理を終了して、図４のメインルーチンに戻る。一方、ポインタＸがＮに未到達と判定されたときは（ステップＳ２１７におけるＮＯ）、処理はステップＳ２１８に進む。

【0079】

ステップＳ２１８では、周期パターン判定部２５４において、ポインタＸに１が加算される。その加算の後、周期パターン判定部２５４において、フレームＦ１に後続するフレームＦＸ（Ｘ＝２〜Ｎ）に対して、同様の処理（ステップＳ２１１〜ステップＳ２１７に相当する処理）が反復して実行される。

【0080】

図１３は、周期パターン判定部２５４によるフラグの設定処理にポイント制を採用した結果を示すグラフの一例である。そのグラフの横軸ｔは時刻［sec］を示し、縦軸は、フラグに相当するポイントの積算値を示す。そのグラフは、アスファルト路面又は石畳路面を含む車両１の周辺を撮像することで得られた２１枚のフレームＦＸ（Ｘ＝１〜２１）に対して、図１２に示す周期パターンの除外処理（図１２）を施した結果を示す。なお、この処理でのフレームレートＦＲは０．１［sec］とした。

【0081】

図１３中の警報抑制領域は、ポイントの積算値が閾値である１０以上となる領域であって、警報出力装置５００等による警報出力が抑制される領域を示す。図１３中の非警報抑制領域は、ポイントの積算値が閾値である１０未満となる領域であって、警報出力装置５００等による警報出力が抑制されない領域を示す。図１３に示すように、２１枚のフレームＦＸ（Ｘ＝１〜２１）に対して周期パターンを除外する処理を施した結果、８枚目のフレームＦ８に対する処理が完了した時刻０．８［sec］のとき、積算値が閾値である１０に達した。その積算値は、９枚目のフレームＦ９に対する処理が完了した時刻０．９［sec］のとき、１２まで上昇した。その積算値は、１０枚目のフレームＦ１０に対する処理が完了した時刻１．０［sec］のとき、再び、閾値である１０まで降下した。その積算値は、１１枚目のフレームＦ１１に対する処理が完了した時刻１．１［sec］のとき、１１まで上昇した。その後、積算値は、１６枚目のフレームＦ１６に対する処理が完了した時刻１．６［sec］において閾値である１０に降下するまでの間、警報抑制領域内に保持された。

【0082】

以上説明したように、実施例２の物体検知支援装置によれば、ポイント制を採用した、周期パターンの除外処理が複数のフレームＦＸ（Ｘ＝１〜２１）に亘って時系列で行われる。

【0083】

すなわち、フレームＦＸ（Ｘ＝１〜２１）のそれぞれが、予想外のノイズ等の影響を受けて、ポイントの積算値が閾値未満となる領域まで落ち込んだとしても時系列的な判断がなされるので、その都度、警報出力装置５００等による警報が出力されてしまうことが抑制される。このため、フレームＦＸ（Ｘ＝１〜２１）の全体としては、ポイントの積算結果を安定して保持することができる。

【0084】

従って、ドライバに対して誤った警報が出されてしまうことがより高精度に抑制される。

【0085】

なお、実施例１及び実施例２では、オプティカルフローＯＰの算出方法にブロックマッチング法を用いる例を示した。しかし、これに限らない。例えば、オプティカルフローＯＰの算出方法に勾配法を用いても良い。

【0086】

なお、実施例１及び実施例２では、差分値算出部２５２が、テンプレートマッチングに関する評価指標として、ＳＡＤ（Sum of Absolute Difference）を用いて、各ブロックＢＬＫの左右領域における類似度の差分値を算出する例を示した。しかし、これに限らない。例えば、差分値算出部２５２は、テンプレートマッチングに関する評価指標として、ＳＳＤ（Sum of Squared Difference）、ＮＣＣ（Normalized Cross-Correlation）等を用いて、各ブロックＢＬＫの左右領域における類似度の差分値を算出しても良い。

【0087】

なお、実施例１及び実施例２では、車載カメラ１００の主な視野を車両１の前方向とする例を示した。しかし、これに限らない。例えば、車載カメラ１００の主な視野を車両１の後方向としても良い。

【0088】

なお、実施例１及び実施例２では、異なる時刻に撮像された時間軸上で隣接する２枚のフレームＦを比較してオプティカルフローＯＰを算出する例を示した。しかし、これに限らない。例えば、時間軸上で隣接していない２枚のフレームＦを比較したり、あるいは、３枚以上のフレームＦを比較したりしてオプティカルフローＯＰを算出しても良い。

【0089】

なお、実施例１及び実施例２では、本発明の物体検知支援装置を、車両に適用する例を示した。しかし、本発明の物体検知支援装置は、移動体（例えば、路面電車等）についても同様に適用できる。

【0090】

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。

【符号の説明】

【0091】

１・・・車両（移動体）
１０・・・物体検知支援システム
１００・・・車載カメラ（撮像部）
２００・・・物体検知支援装置
２４０・・・移動物体検知部
２４１・・・オプティカルフロー算出部
２４３・・・グルーピング処理部
２５０・・・周期パターン除外部
２５１・・・検証エリア設定部
２５２・・・差分値算出部
２５３・・・ブロック計数部
２５４・・・周期パターン判定部
ＢＬＫ・・・ブロック
ＢＬＫ_Ｌ・・・左領域
ＢＬＫ_Ｒ・・・右領域
Ｆ、ＦＸ、Ｆｔ−Δｔ（Ｘ，Ｙ）、Ｆｔ（Ｘ，Ｙ）・・・フレーム
ＯＰ・・・オプティカルフロー
ＯＰＧ１、ＯＰＧ２・・・オプティカルフロー群
ＳＡＤ・・・類似度
Ｓｕｂ・・・差分値
ＶＲ、ＶＲ１〜ＶＲ３・・・検証エリア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】