特許 6189729 物体検出装置、物体検出システム、物体検出方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6189729

(24)【登録日】2017年8月10日

(45)【発行日】2017年8月30日

(54)【発明の名称】物体検出装置、物体検出システム、物体検出方法及びプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20170821BHJP

   H04N 7/18 20060101ALI20170821BHJP

   G08G 1/16 20060101ALI20170821BHJP

   B60R 21/00 20060101ALI20170821BHJP

【ＦＩ】

   G06T7/20 100

   H04N7/18 J

   G08G1/16 C

   B60R21/00 624C

   B60R21/00 626C

   B60R21/00 621C

【請求項の数】7

【全頁数】21

(21)【出願番号】特願2013-247010(P2013-247010)

(22)【出願日】2013年11月29日

(65)【公開番号】特開2015-106227(P2015-106227A)

(43)【公開日】2015年6月8日

【審査請求日】2016年9月28日

(73)【特許権者】

【識別番号】000237592

【氏名又は名称】富士通テン株式会社

(72)【発明者】

【氏名】山本 徹夫

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２００５−２７６０５７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０

Ｂ６０Ｒ ２１／００

Ｇ０８Ｇ １／１６

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

車両の周辺を移動する物体を検出する物体検出装置であって、
前記車両の周辺をカメラで撮影して周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する導出手段と、
前記導出手段に導出された前記オプティカルフローのうち、長さが閾値より大となる前記オプティカルフローを処理対象として選択し、長さが前記閾値より小となる、前記車両の旋回に起因して生じる背景に係る前記オプティカルフローを前記処理対象から除外する選択手段と、
前記選択手段に前記処理対象として選択された前記オプティカルフローに基づいて物体を検出する検出手段と、
を備えることを特徴とする物体検出装置。

【請求項2】

請求項１に記載の物体検出装置において、
前記導出手段は、互いに異なる時点に取得された２つの前記撮影画像それぞれの前記特徴点同士を対応付けることで前記オプティカルフローを導出し、
前記選択手段は、連続して対応付けができた回数が基準回数より小となる前記特徴点に基づく前記オプティカルフローを前記処理対象から除外することを特徴とする物体検出装置。

【請求項3】

請求項１または２に記載の物体検出装置において、
前記検出手段は、前記選択手段に前記処理対象として選択された前記オプティカルフローの前記特徴点のうちで、互いに近傍に存在する複数の特徴点を一つのグループとし、該グループのサイズが基準サイズより大となる前記グループを前記物体として検出することを特徴とする物体検出装置。

【請求項4】

請求項１ないし３のいずれかに記載の物体検出装置において、
前記車両の舵角を取得する取得手段と、
前記舵角に応じて前記閾値を変更する変更手段と、
を備えることを特徴とする物体検出装置。

【請求項5】

物体検出システムであって、
請求項１ないし４のいずれかに記載の物体検出装置と、
前記物体検出装置の前記検出手段による検出結果をユーザに報知する報知手段と、
を備えることを特徴とする物体検出システム。

【請求項6】

車両の周辺を移動する物体を検出する物体検出方法であって、
（ａ）前記車両の周辺をカメラで撮影して周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する工程と、
（ｂ）前記工程（ａ）で導出された前記オプティカルフローのうち、長さが閾値より大となる前記オプティカルフローを処理対象として選択し、長さが前記閾値より小となる、前記車両の旋回に起因して生じる背景に係る前記オプティカルフローを前記処理対象から除外する工程と、
（ｃ）前記工程（ｂ）で前記処理対象として選択された前記オプティカルフローに基づいて物体を検出する工程と、
を備えることを特徴とする物体検出方法。

【請求項7】

車両において用いられるコンピュータによって実行可能なプログラムであって、
前記コンピュータに、
（ａ）前記車両の周辺をカメラで撮影して周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する工程と、
（ｂ）前記工程（ａ）で導出された前記オプティカルフローのうち、長さが閾値より大となる前記オプティカルフローを処理対象として選択し、長さが前記閾値より小となる、前記車両の旋回に起因して生じる背景に係る前記オプティカルフローを前記処理対象から除外する工程と、
（ｃ）前記工程（ｂ）で前記処理対象として選択された前記オプティカルフローに基づいて物体を検出する工程と、
を実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両の周辺を移動する物体を検出する技術に関する。

【背景技術】

【0002】

従来より、車両の周辺をカメラで撮影して得られた撮影画像を用いて物体を検出する物体検出装置が提案されている。物体検出装置は、例えば、フロントカメラで得られた撮影画像に基づいて物体を検出する。このような物体検出装置の検出結果を報知することにより、ユーザ（主にドライバ）は、見通しの悪い交差点や駐車場などにおいてユーザの死角となる位置から接近する他の車両等の物体を容易に把握できる。

【0003】

このような物体検出装置における物体の検出方式として、オプティカルフロー方式が知られている。オプティカルフロー方式は、周期的に得られる撮影画像（フレーム）から特徴点を抽出し、撮影画像間での特徴点の動きを示すベクトルであるオプティカルフローを導出する。そして、このオプティカルフローに基づいて、自車両の周辺を移動する物体を検出する（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第３２３９５２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、上述したオプティカルフロー方式を採用した場合、自車両が旋回する場合においては、移動する物体に係るオプティカルフローだけではなく、背景となる被写体に関してもオプティカルフロー（見かけのオプティカルフロー）が生じる。このため、背景となる被写体を移動する物体として誤検出する可能性がある。

【0006】

これに対応するため、自車両の旋回に起因して生じる見かけのオプティカルフローを算出し、撮影画像から実際に導出されるオプティカルフローから見かけのオプティカルフローを減算して、自車両の旋回の影響を除去することも提案されている（例えば、特許文献１参照。）。この場合、自車両との距離、自車両の車速、及び、ヨーレートなどのパラメータに基づいて、見かけのオプティカルフローが理論的に算出される。

【0007】

しかしながら、撮影画像から導出される多数のオプティカルフローの全てに関して、このような見かけのオプティカルフローを各種のパラメータを考慮して算出するには、膨大な演算が必要となる。このような膨大な演算をリアルタイムに行うには、物体検出装置が非常に高速な演算処理機能を有する必要があり、物体検出装置としてのコストが大きく上昇する可能性がある。

【0008】

このため、背景となる被写体を物体として誤検出することを防止する手法として、より簡便な手法が望まれていた。

【0009】

本発明は、上記課題に鑑みてなされたものであり、車両が旋回する場合において背景となる被写体を物体として誤検出することを、比較的簡便な手法で防止する技術を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記課題を解決するため、請求項１の発明は、車両の周辺を移動する物体を検出する物体検出装置であって、前記車両の周辺をカメラで撮影して周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する導出手段と、前記導出手段に導出された前記オプティカルフローのうち、長さが閾値より大となる前記オプティカルフローを処理対象として選択し、長さが前記閾値より小となる、前記車両の旋回に起因して生じる背景に係る前記オプティカルフローを前記処理対象から除外する選択手段と、前記選択手段に前記処理対象として選択された前記オプティカルフローに基づいて物体を検出する検出手段と、を備えている。

【0011】

また、請求項２の発明は、請求項１に記載の物体検出装置において、前記導出手段は、互いに異なる時点に取得された２つの前記撮影画像それぞれの前記特徴点同士を対応付けることで前記オプティカルフローを導出し、前記選択手段は、連続して対応付けができた回数が基準回数より小となる前記特徴点に基づく前記オプティカルフローを前記処理対象から除外する。

【0012】

また、請求項３の発明は、請求項１または２に記載の物体検出装置において、前記検出手段は、前記選択手段に前記処理対象として選択された前記オプティカルフローの前記特徴点のうちで、互いに近傍に存在する複数の特徴点を一つのグループとし、該グループのサイズが基準サイズより大となる前記グループを前記物体として検出する。

【0013】

また、請求項４の発明は、請求項１ないし３のいずれかに記載の物体検出装置において、前記車両の舵角を取得する取得手段と、前記舵角に応じて前記閾値を変更する変更手段と、を備えている。

【0014】

また、請求項５の発明は、物体検出システムであって、請求項１ないし４のいずれかに記載の物体検出装置と、前記物体検出装置の前記検出手段による検出結果をユーザに報知する報知手段と、を備えている。

【0015】

また、請求項６の発明は、車両の周辺を移動する物体を検出する物体検出方法であって、（ａ）前記車両の周辺をカメラで撮影して周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する工程と、（ｂ）前記工程（ａ）で導出された前記オプティカルフローのうち、長さが閾値より大となる前記オプティカルフローを処理対象として選択し、長さが前記閾値より小となる、前記車両の旋回に起因して生じる背景に係る前記オプティカルフローを前記処理対象から除外する工程と、（ｃ）前記工程（ｂ）で前記処理対象として選択された前記オプティカルフローに基づいて物体を検出する工程と、を備えている。

【0016】

また、請求項７の発明は、車両において用いられるコンピュータによって実行可能なプログラムであって、前記コンピュータに、（ａ）前記車両の周辺をカメラで撮影して周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する工程と、（ｂ）前記工程（ａ）で導出された前記オプティカルフローのうち、長さが閾値より大となる前記オプティカルフローを処理対象として選択し、長さが前記閾値より小となる、前記車両の旋回に起因して生じる背景に係る前記オプティカルフローを前記処理対象から除外する工程と、（ｃ）前記工程（ｂ）で前記処理対象として選択された前記オプティカルフローに基づいて物体を検出する工程と、を実行させる。

【発明の効果】

【0017】

請求項１ないし７の発明によれば、長さが閾値より小となるオプティカルフローを処理対象から除外するという単純な手法で、車両の旋回に起因して生じる背景に係るオプティカルフローを処理対象から除外できる。このため、車両が旋回する場合に背景となる被写体を物体として誤検出することを、比較的簡便な手法で防止できる。

【0018】

また、特に請求項２の発明によれば、連続して対応付けができた回数が基準回数より小となる特徴点に基づくオプティカルフローを処理対象から除外するため、近景の被写体に係るオプティカルフローを処理対象から除外できる。

【0019】

また、特に請求項３の発明によれば、グループのサイズが基準サイズより大となるグループを物体として検出するため、近景の被写体に係る特徴点のグループを物体として検出することを防止できる。

【0020】

また、特に請求項４の発明によれば、舵角に応じて閾値を変更するため、車両の旋回に起因して生じる背景に係るオプティカルフローを処理対象から適切に除外できる。

【図面の簡単な説明】

【0021】

【図1】図１は、物体検出システムの概略構成を示す図である。

【図2】図２は、２つのカメラがそれぞれ撮影する方向を示す図である。

【図3】図３は、物体検出システムが利用される場面の一例を示す図である。

【図4】図４は、表示画像の一例を示す図である。

【図5】図５は、フロントカメラで取得された複数の撮影画像の例を示す図である。

【図6】図６は、フロントカメラで取得された複数の撮影画像の例を示す図である。

【図7】図７は、フロントカメラで取得された複数の撮影画像の例を示す図である。

【図8】図８は、オプティカルフロー方式の概要を説明するための図である。

【図9】図９は、背景に係るオプティカルフローを示す図である。

【図10】図１０は、オプティカルフローに関するヒストグラムを示す図である。

【図11】図１１は、オプティカルフローに関するヒストグラムを示す図である。

【図12】図１２は、判定閾値を変更する手法を説明する図である。

【図13】図１３は、物体検出システムの動作の流れを示す図である。

【図14】図１４は、物体検出処理の流れを示す図である。

【図15】図１５は、特徴点リストの一例を示す図である。

【図16】図１６は、特徴点をグループ化する手法を説明するための図である。

【図17】図１７は、特徴点をグループ化する手法を説明するための図である。

【発明を実施するための形態】

【0022】

以下、図面を参照しつつ本発明の実施の形態について説明する。

【0023】

＜１．システムの構成＞
図１は、本実施の形態の物体検出システム１０の概略構成を示す図である。物体検出システム１０は、自動車などの車両に搭載されて当該車両の周辺を移動する物体を検出し、物体を検出した場合はその検出結果をユーザに報知する機能を有している。以下、物体検出システム１０が搭載される車両を「自車両」という。

【0024】

物体検出システム１０は、撮影画像を表示する表示装置３と、音を発生するスピーカ４とを備えている。表示装置３は、自車両の車室内におけるユーザ（主にドライバ）が視認可能な位置に配置され、各種の情報をユーザに報知する。表示装置３は、目的地までのルートを案内するナビゲーション機能など、基本的な表示機能以外の機能を備えていてもよい。スピーカ４は、自車両の車室内に配置され、音により情報をユーザに報知する。

【0025】

また、物体検出システム１０は、自車両の周辺を撮影して撮影画像を得る複数のカメラ２を備えている。複数のカメラ２はそれぞれ、レンズと撮像素子とを備えており、電子的に撮影画像を取得する。各カメラ２は、所定の周期（例えば、１／３０秒周期）で周期的に撮影画像を取得する。

【0026】

複数のカメラ２は、フロントカメラ２Ｆとバックカメラ２Ｂとを含んでいる。図２は、２つのカメラ２Ｆ，２Ｂがそれぞれ撮影する方向を示す図である。

【0027】

図に示すように、フロントカメラ２Ｆは、自車両９の前端のバンパーに設けられ、その光軸２１Ｆは自車両９の前後方向に沿って前方に向けられる。したがって、フロントカメラ２Ｆは、自車両９の前方を撮影して、自車両９の前方の様子を示す撮影画像を取得する。また、バックカメラ２Ｂは、自車両９の後端の背面ドア９２に設けられ、その光軸２１Ｂは自車両９の前後方向に沿って後方に向けられる。したがって、バックカメラ２Ｂは、自車両９の後方を撮影して、自車両９の後方の様子を示す撮影画像を取得する。

【0028】

これらのカメラ２のレンズには魚眼レンズが採用され、各カメラ２は１８０度以上の画角θを有している。このため、フロントカメラ２Ｆは、自車両９の前方に広がる左右方向に１８０度以上の領域を撮影することが可能であり、バックカメラ２Ｂは、自車両９の後方に広がる左右方向に１８０度以上の領域を撮影することが可能である。

【0029】

物体検出システム１０は、これら２つのカメラ２のうち、動作モードに応じて選択されるカメラ２で得られた撮影画像を表示装置３において表示する。物体検出システム１０は、フロントモードではフロントカメラ２Ｆで得られた撮影画像を表示し、バックモードではバックカメラ２Ｂで得られた撮影画像を表示する。このような動作モードは、例えば、自車両９の進行方向に基づいて切り替えられる。これにより、ユーザは進行方向における自車両９の周辺の様子を略リアルタイムに把握できる。

【0030】

また、物体検出システム１０は、動作モードに応じたカメラ２で得られた撮影画像に基いて自車両９に接近する物体を検出する。そして、物体を検出した場合は、物体検出システム１０は、表示装置３及びスピーカ４を介して検出結果をユーザに報知する。これにより、ユーザは、見通しの悪い交差点や駐車場などにおいて、ユーザの死角となる位置から接近する物体を容易に把握できる。

【0031】

図３は、物体検出システム１０が利用される場面の一例を示す図である。図３においては、自車両９が見通しの悪い交差点に差し掛かった場面を示している。物体検出システム１０の動作モードは、フロントモードとなっている。前述のように、フロントカメラ２Ｆは１８０度以上の画角θを有している。このため、図３に示すように、自車両９の前端のみが交差点に進入した状態において、フロントカメラ２Ｆは、交差点内の左右に広がった領域を撮影可能である。したがって、物体検出システム１０は、自車両９が存在する道路Ｒ１に対して略直交する他方の道路Ｒ２の様子を示す撮影画像を取得でき、この撮影画像を表示装置３に表示できる。

【0032】

また、このように取得された撮影画像には、他方の道路Ｒ２を移動して左側又は右側から自車両９に接近する物体（他の車両８や歩行者など）の像が含まれる。物体検出システム１０は、この撮影画像を用いることで自車両９に接近する物体を検出し、その検出結果をユーザに報知する。このため、ユーザは、自車両９の全体を交差点に侵入させる前に、自車両９に接近する物体を容易に把握できる。

【0033】

図１に戻り、物体検出システム１０は、カメラ２で取得された撮影画像に基づいて自車両９に接近する物体を検出するための物体検出装置１を備えている。物体検出装置１は、画像取得部１２、画像処理回路１３、及び、画像出力部１４を備えている。

【0034】

画像取得部１２は、動作モードに応じたカメラ２からアナログの撮影画像を所定の周期（例えば、１／３０秒周期）で周期的に取得し、取得した撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。画像取得部１２が処理した一の撮影画像は、映像信号の一のフレームとなる。

【0035】

画像処理回路１３は、画像取得部１２が取得する撮影画像に対して所定の処理を実行するＡＳＩＣやＦＰＧＡなどのハードウェア回路である。画像処理回路１３は、オプティカルフロー方式で物体を検出する物体検出処理を実行する。図中に示す、フロー導出部１３ａ、フロー選択部１３ｂ及び物体検出部１３ｃは、この物体検出処理に係る機能である。

【0036】

フロー導出部１３ａは、カメラ２で周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する。フロー選択部１３ｂは、フロー導出部１３ａに導出されたオプティカルフローのうち、所定の条件を満足するオプティカルフローを処理対象として選択する。物体検出部１３ｃは、フロー選択部１３ｂに処理対象として選択されたオプティカルフローに基づいて物体を検出する。このような物体検出処理の詳細については後述する。画像処理回路１３は、物体検出処理の検出結果を出力する。

【0037】

画像出力部２３は、撮影画像とともに各種情報を含む表示画像を生成し、ＮＴＳＣなどの所定形式の映像信号に変換して表示装置３に出力する。これにより、撮影画像を含む表示画像が表示装置３において表示される。

【0038】

また、物体検出装置１は、操作スイッチ１５、信号受信部１６、音声出力部１７、記憶部１８、及び、制御部１１を備えている。

【0039】

操作スイッチ１５は、自車両９の車室内に設けられるスイッチである。操作スイッチ１５は、ユーザの操作を受け付け、操作内容を示す信号を制御部１１に入力する。

【0040】

信号受信部１６は、自車両９に設けられる車載ネットワーク９１を介して、他の装置からの信号を受信して、自車両９の車両状態を取得する。信号受信部１６は、受信した車両状態を示す信号を制御部１１に入力する。

【0041】

信号受信部１６は、シフトセンサ６１、速度センサ６２及び舵角センサ６３が送出する信号を受信する。シフトセンサ６１は、自車両９の変速装置のシフトレバーの位置であるシフトポジションを検出し、そのシフトポジションを示す信号を送出する。このシフトポジションは、自車両９の進行方向を示す。速度センサ６２は、自車両９の車輪軸の回転に基いて速度を検出し、自車両９の速度を示す信号を送出する。舵角センサ６３は、自車両９のステアリングホイールの中立位置からの回転角度である舵角（操舵角）を検出し、自車両９の舵角を示す信号を送出する。これにより、信号受信部１６は、シフトポジション、速度及び舵角を、自車両９の車両状態として取得する。

【0042】

音声出力部１７は、制御部１１からの信号に基いて音声信号を生成して、スピーカ４に出力する。これにより、スピーカ４が、警告音などの音を発生する。

【0043】

記憶部１８は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部１８は、例えば、ファームウェアとしてのプログラム１８ａを記憶する。

【0044】

制御部１１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたマイクロコンピュータであり、画像処理回路１３を含む物体検出装置１の各部を制御する。制御部１１は、例えば、信号受信部１６が取得したシフトポジション、及び、操作スイッチ１５の操作内容などに応じて、物体検出システム１０の動作モードを変更する。

【0045】

制御部１１の各種の機能は、ソフトウェアで実現される。すなわち、制御部１１の機能は、記憶部１８に記憶されたプログラム１８ａの実行（プログラム１８ａに従ったＣＰＵの演算処理）によって実現される。図中の閾値変更部１１ａ及び結果報知部１１ｂは、プログラム１８ａの実行により実現される機能の一部である。

【0046】

閾値変更部１１ａは、画像処理回路１３のフロー選択部１３ｂがオプティカルフローを選択する場合に用いる判定閾値を変更する。閾値変更部１１ａは、信号受信部１６が取得した自車両９の速度及び舵角に応じて判定閾値を変更する。この閾値変更部１１ａの処理の詳細については後述する。

【0047】

結果報知部１１ｂは、画像処理回路１３による物体検出処理の検出結果をユーザに報知するための制御を行う。結果報知部１１ｂは、画像処理回路１３が出力する検出結果を受け取る。そして、結果報知部１１ｂは、画像出力部１４に信号を送出して、検出結果を示す表示画像を画像出力部１４に生成させる。これにより、検出結果を示す表示画像が表示装置３において表示される。また、結果報知部１１ｂは、音声出力部１７に信号を送出して、検出結果に応じた音声信号を音声出力部１７に生成させる。これにより、検出結果に応じた警告音がスピーカ４から発生される。

【0048】

図４は、フロントモードにおいて表示装置３に表示される表示画像３１の一例を示す図である。表示画像３１は、カメラ２で取得された撮影画像ＳＧと、物体検出処理の検出結果を示す指標となる２つの警告部ＡＦと、動作モードを示すアイコンＣとを含んでいる。

【0049】

２つの警告部ＡＦは、上下に延びる矩形の領域であり、撮影画像ＳＧの左右にそれぞれ配置される。自車両９の右側から接近する物体が存在する場合は、図４に示すように右側の警告部ＡＦが所定の色（例えば、黄色）で点滅する。逆に、自車両９の左側から接近する物体が存在する場合は、左側の警告部ＡＦが所定の色で点滅する。また、このように自車両９に接近する物体が存在する場合は、所定の警告音がスピーカ４から発生される。これにより、ユーザは、自車両９に接近する物体が存在することとともに、その物体が存在する方向を容易に把握できる。

【0050】

＜２．物体検出処理の概要＞
次に、画像処理回路１３が実行する物体検出処理の概要について説明する。前述のように、画像処理回路１３は、周期的に得られる複数の撮影画像（フレーム）を用いるフレーム相関方式の一つであるオプティカルフロー方式で物体を検出する。

【0051】

図５、図６及び図７は、フロントカメラ２Ｆで時系列的に取得された複数の撮影画像ＳＧの例を示している。図５の撮影画像ＳＧが最も古く、図７の撮影画像ＳＧが最も新しい。図５から図７の撮影画像ＳＧそれぞれには、自車両９に接近する同一の物体の像Ｔが含まれている。画像処理回路１３は、このような周期的に得られる複数の撮影画像ＳＧを用いてオプティカルフロー方式の物体検出処理を行なって、自車両９に接近する物体を検出する。

【0052】

画像処理回路１３は、撮影画像ＳＧに設定される左右２つの検出領域ＴＡのそれぞれを対象にして物体検出処理を行なう。２つの検出領域ＴＡは、撮影画像ＳＧの上下中央付近に設定される。そして、一方の検出領域ＴＡは撮影画像ＳＧの左側、他方の検出領域ＴＡは撮影画像ＳＧの右側にそれぞれ設定される。各検出領域ＴＡのサイズは、例えば、水平３２０画素×垂直１６０画素である。これらの検出領域ＴＡは、理論的上の無限遠点である消失点（実際には平行な線の像が遠近法により交わる点）を含むことが望ましい。

【0053】

以下、図８を参照して、一般的なオプティカルフロー方式の物体検出処理について説明する。図８は、撮影画像ＳＧの右側に設定される検出領域ＴＡを例示している。

【0054】

物体検出処理では、互いに異なる時点に取得された２つの撮影画像（フレーム）のそれぞれから特徴点ＦＰが抽出され、２つの撮影画像それぞれの特徴点ＦＰ同士が対応付けられる。そして、２つの撮影画像間の特徴点ＦＰの動きを示すオプティカルフローＯＰ１，ＯＰ２が導出され、このオプティカルフローＯＰ１，ＯＰ２に基づいて自車両９の周辺を移動する物体が検出される。通常は、時間的に連続する２つの撮影画像（フレーム）を用いてオプティカルフローＯＰ１，ＯＰ２が導出される。

【0055】

まず、直近に得られた撮影画像ＳＧにおける特徴点（際立って検出できる点）ＦＰが抽出される。これにより、物体の像Ｔのコーナー（エッジの交点）などを含む複数の点が特徴点ＦＰとして抽出される（ステップＳＴ１）。

【0056】

次に、直近の撮影画像ＳＧから抽出した特徴点ＦＰと、１フレーム前の撮影画像ＳＧから抽出した特徴点ＦＰとが対応付けられる。そして、対応付けられた２つの特徴点ＦＰのそれぞれの位置に基づいて、特徴点ＦＰの動きを示すベクトルであるオプティカルフローが導出される（ステップＳＴ２）。

【0057】

オプティカルフローには、左向きのオプティカルフローＯＰ１と、右向きのオプティカルフローＯＰ２とが存在する。通常は、自車両９に接近する物体の像Ｔは、撮影画像ＳＧ中を内向き（撮影画像ＳＧの左右端部から中央側への向き）に移動する。このため、内向きのオプティカルフローのみが処理対象として選択され、自車両９から離れる方向に移動する物体のオプティカルフローが処理対象から除外される（ステップＳＴ３）。図８に例示する撮影画像ＳＧの右側の検出領域ＴＡでは、左向きのオプティカルフローＯＰ１のみが処理対象として選択される。

【0058】

次に、処理対象として選択されたオプティカルフローＯＰ１の特徴点ＦＰのうちで、互いに近傍に存在する複数の特徴点ＦＰが一つのグループとしてグループ化される。そして、このようなグループのそれぞれが物体として検出される。

【0059】

＜３．背景に係るオプティカルフロー＞
このようなオプティカルフロー方式を採用した場合、自車両９が停止している場合には比較的高精度に物体を検出することができる。一方で、自車両９が旋回する場合には、接近する物体に係るオプティカルフローだけではなく、背景となる被写体に関してもオプティカルフロー（見かけのオプティカルフロー）が生じる。このため、自車両９が旋回する場合には、背景となる被写体を接近する物体として誤検出する可能性がある。

【0060】

図９は、自車両９が右向きに旋回している場合に取得される撮影画像ＳＧから得られるオプティカルフローを概念的に示している。自車両９が右向きに旋回している場合には、撮影画像ＳＧ中の背景となる被写体の像が見かけ上において左向きに移動する。このため、撮影画像ＳＧの全体に、背景となる被写体に係る左向きのオプティカルフローＯＰａ，ＯＰｂ，ＯＰｃが発生する。

【0061】

一般的なオプティカルフロー方式を採用した場合には、撮影画像ＳＧの右側の検出領域ＴＡでは、内向きのオプティカルフローとして、接近する物体のオプティカルフロー以外に、これら背景に係る左向きのオプティカルフローＯＰａ，ＯＰｂ，ＯＰｃも処理対象として選択される。その結果、背景となる被写体が接近する物体として誤検出される可能性がある。

【0062】

このため、本実施の形態の物体検出システム１０では、このような背景に係るオプティカルフローをできるだけ処理対象から除外することで、背景となる被写体を接近する物体として誤検出することを防止する。

【0063】

背景となる被写体のうち、遠景の被写体はビルなどの建物であることが多く、近景の被写体は道路面の凹凸や白線などであることが多い。このため、遠景の被写体は、近景の被写体と比較して特徴点が抽出されやすい。したがって、背景に係るオプティカルフローには、近景の被写体に係るオプティカルフローＯＰｃと比較し、遠景の被写体に係るオプティカルフローＯＰａが多く含まれる。また、自車両９の旋回は直進を含む運動であるため、図９に示すように、遠景の被写体に係るオプティカルフローＯＰａの長さは、近景の被写体に係るオプティカルフローＯＰｃと比較して短くなる。

【0064】

物体検出システム１０では、このような背景に係るオプティカルフローの特性に基づき、比較的長さの短い遠景の被写体に係るオプティカルフローＯＰａを処理対象から除外する。これにより、車両の旋回に起因して生じる背景に係るオプティカルフローの多くを処理対象から除外する。

【0065】

図１０及び図１１は、撮影画像ＳＧから得られるオプティカルフローに関するヒストグラムを示す図である。これらの図においては、縦軸をオプティカルフローの数（度数）とし、横軸をオプティカルフローの長さ（階級）としている。図１０は、自車両９が停止している場合を示しており、図１１は、自車両９が旋回している場合を示している。

【0066】

図１０に示すように、自車両９が停止している場合は、接近する物体に係るオプティカルフローに関するヒストグラムＨ１のみが表れる。一方、図１１に示すように自車両９が旋回している場合は、接近する物体に係るオプティカルフローに関するヒストグラムＨ１とともに、背景に係るオプティカルフローに関するヒストグラムＨ２も表れる。

【0067】

前述のように、背景に係るオプティカルフローには遠景の被写体に係るオプティカルフローが多く含まれ、この遠景の被写体に係るオプティカルフローの長さは比較的短い。このため、図１１に示すように、背景に係るヒストグラムＨ２のピークは、接近する物体に係るヒストグラムＨ１と比較して、階級が小さい位置（オプティカルフローの長さが短い位置）に表れる。

【0068】

物体検出システム１０の物体検出装置１では、閾値変更部１１ａが、接近する物体に係るヒストグラムＨ１のピークと、背景に係るヒストグラムＨ２のピークとの間に判定閾値Ｔｈを設定する。そして、フロー選択部１３ｂが、長さが判定閾値Ｔｈよりも小となるオプティカルフローを処理対象から除外する。これにより、フロー選択部１３ｂは、背景に係るオプティカルフロー（ヒストグラムＨ２のオプティカルフロー）の大部分を処理対象から除外する。一方で、フロー選択部１３ｂは、長さが判定閾値Ｔｈより大となる接近する物体に係るオプティカルフロー（ヒストグラムＨ１のオプティカルフロー）を残して処理対象として選択する。その結果、背景となる被写体が接近する物体として誤検出されることを防止できる。

【0069】

なお、判定閾値Ｔｈと長さが一致するオプティカルフローに関しては、処理対象として選択してもよく、処理対象から除外してもよい。本実施の形態のフロー選択部１３ｂは、判定閾値Ｔｈと長さが一致するオプティカルフローを処理対象から除外する。

【0070】

このように物体検出システム１０の物体検出装置１は、オプティカルフローの長さと判定閾値Ｔｈとを比較するという単純な手法で、背景となる被写体を接近する物体として誤検出することを防止する。したがって、比較的少ない演算量でこの手法を実現できるため、物体検出装置１が比較的低速な演算処理機能を有する場合であってもこの手法を採用でき、物体検出装置１としてのコストを低減できる。

【0071】

また、背景に係るオプティカルフローの長さは、自車両９の走行状態に応じて変化する。すなわち、背景に係るオプティカルフローの長さは、自車両９の速度が大きくなるほど、また、自車両９の舵角が大きくなるほど、長くなる。このため、閾値変更部１１ａは、自車両９の速度及び舵角に応じて判定閾値Ｔｈを変更する。

【0072】

図１２は、閾値変更部１１ａが、判定閾値Ｔｈを変更する手法を説明する図である。図中の横軸は舵角（度）、縦軸は速度（ｋｍ／ｈ）を示している。舵角は、ステアリングホイールを中立位置から左側に回転すると正の値、右側に回転すると負の値で示される。

【0073】

図１２のグラフ中に自車両９の速度及び舵角をプロットした場合、プロットした点はグラフ中の第１領域Ａ１、第２領域Ａ２及び第３領域Ａ３のいずれかに含まれる。閾値変更部１１ａは、そのようにプロットした点が含まれる領域に応じて判定閾値Ｔｈを設定する。

【0074】

閾値変更部１１ａは、プロットした点が第１領域Ａ１に含まれる場合は、判定閾値Ｔｈを例えば「０ピクセル」に設定する。また、閾値変更部１１ａは、プロットした点が第２領域Ａ２に含まれる場合は判定閾値Ｔｈを例えば「１ピクセル」に設定し、プロットした点が第３領域Ａ３に含まれる場合は判定閾値Ｔｈを例えば「２ピクセル」に設定する。

【0075】

第１領域Ａ１は、速度が０以上Ｖ１未満、かつ、舵角の絶対値がＲ２以下となる領域である。第２領域Ａ２は、速度がＶ１以上Ｖ２未満、かつ、舵角の絶対値がＲ１（Ｒ１＜Ｒ２）以下となる領域である。また、第３領域Ａ３は、第１領域Ａ１及び第２領域Ａ２以外の領域である。例えば、Ｖ１は０．１ｋｍ／ｈ、Ｖ２は３．０ｋｍ／ｈ、Ｒ１は６０度、Ｒ２は舵角の最大値とされる。

【0076】

自車両９の速度が０以上Ｖ１未満の場合（第１領域Ａ１）とは、自車両９が停止している場合である。このように自車両９が停止している場合は、自車両９の旋回に起因して生じる背景に係るオプティカルフローは存在しない。このため、この場合は、閾値変更部１１ａは、判定閾値Ｔｈを「０ピクセル」に設定する。「０ピクセル」以下のオプティカルフローは存在しないため、この場合は、フロー選択部１３ｂは判定閾値Ｔｈに基づいてオプティカルフローを処理対象から除外することはない。

【0077】

また、自車両９の速度がＶ１以上Ｖ２未満の場合とは、自車両９が比較的低速に走行している場合である。この場合は、自車両９の舵角が大きいほど、自車両９の旋回に起因して生じる背景に係るオプティカルフローの長さが長くなる。

【0078】

このため、自車両９の舵角が比較的小さい場合（第２領域Ａ２）は、閾値変更部１１ａは、判定閾値Ｔｈを「１ピクセル」に設定する。これにより、フロー選択部１３ｂは「１ピクセル」以下のオプティカルフローを、自車両９の旋回に起因して生じる背景に係るオプティカルフローとして処理対象から除外する。

【0079】

一方で、自車両９の舵角が比較的大きい場合（第３領域Ａ３）は、閾値変更部１１ａは、判定閾値Ｔｈを「２ピクセル」に設定する。これにより、フロー選択部１３ｂは「２ピクセル」以下のオプティカルフローを、自車両９の旋回に起因して生じる背景に係るオプティカルフローとして処理対象から除外する。

【0080】

また、自車両９の速度がＶ２以上の場合（第３領域Ａ３）とは、自車両９が比較的高速に走行している場合である。この場合は、自車両９の舵角が比較的小さくても、自車両９の旋回に起因した背景に係るオプティカルフローの長さが長くなる。このため、この場合は、閾値変更部１１ａは、判定閾値Ｔｈを「２ピクセル」に設定する。これにより、フロー選択部１３ｂは「２ピクセル」以下のオプティカルフローを、自車両９の旋回に起因して生じる背景に係るオプティカルフローとして処理対象から除外する。

【0081】

このように閾値変更部１１ａが自車両９の速度及び舵角に応じて判定閾値Ｔｈを変更するため、自車両９の走行状態に応じて、自車両９の旋回に起因して生じる背景に係るオプティカルフローを処理対象から適切に除外できる。

【0082】

＜４．動作の流れ＞
次に、物体検出システム１０の動作の流れについて説明する。図１３は、物体検出システム１０の動作の流れを示す図である。図１３に示す処理は一フレームごとに行われ、所定の周期（例えば、１／３０秒周期）で繰り返される。

【0083】

まず、信号受信部１６が、自車両９の走行状態を示す速度及び舵角を取得する（ステップＳ１１）。信号受信部１６は、速度センサ６２及び舵角センサ６３から送出される信号を受信して、自車両９の速度及び舵角を取得する。

【0084】

次に、閾値変更部１１ａが、判定閾値Ｔｈを設定する（ステップＳ１２）。閾値変更部１１ａは、図１２を用いて説明したとおり、信号受信部１６が取得した自車両９の速度及び舵角に応じて判定閾値Ｔｈを変更する。

【0085】

次に、画像取得部１２が、動作モードに応じたカメラ２から一の撮影画像（フレーム）を取得する（ステップＳ１３）。画像取得部１２は、取得した撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。

【0086】

次に、画像処理回路１３は、画像取得部１２が取得した撮影画像を用いて物体検出処理を実行する（ステップＳ１４）。そして、画像処理回路１３は、物体を検出した場合は検出結果を制御部１１に出力する。

【0087】

画像処理回路１３が物体を検出した場合は、制御部１１の結果報知部１１ｂが検出結果を受け取る。そして、結果報知部１１ｂは、撮影画像とともに検出結果を示す表示画像を表示装置３において表示させる。さらに、結果報知部１１ｂは、検出結果に応じた警告音をスピーカ４から発生させる。これにより、物体検出処理の検出結果がユーザに報知される（ステップＳ１５）。

【0088】

次に、画像処理回路１３が実行する物体検出処理（ステップＳ１４）について詳細に説明する。図１４は、物体検出処理（ステップＳ１４）の詳細な流れを示す図である。この物体検出処理は、撮影画像の左右２つの検出領域ＴＡのそれぞれに関して個別に行われる。

【0089】

まず、フロー導出部１３ａが、検出領域ＴＡにおける特徴点を抽出する（ステップＳ２１）。フロー導出部１３ａは、例えば、ハリスオペレータなどの周知の手法を用いて、特徴点を抽出する。

【0090】

次に、フロー導出部１３ａは、互いに異なる時点に取得された２つの撮影画像（時間的に連続する２つの撮影画像）それぞれの特徴点同士を対応付ける（ステップＳ２２）。すなわち、フロー導出部１３ａは、今回の物体検出処理で抽出した特徴点（以下、「今回特徴点」という。）と、１フレーム前の撮影画像を対象とした前回の物体検出処理で抽出した特徴点（以下、「前回特徴点」という。）とを対応付ける。移動する物体に基づく特徴点は、互いに異なる時点に取得された２つの撮影画像（フレーム）の間で異なる位置に現れる。このため、フロー導出部１３ａは、同一の物体の同一箇所に基づく特徴点同士を対応付ける。

【0091】

前回特徴点は、例えば、画像処理回路１３内のメモリに記憶された特徴点リストに登録されている。図１５は、特徴点リストの一例を示す図である。図１５に示すように、特徴点リストは、複数のレコードＲａを含むテーブル形式のデータである。各レコードＲａは一の特徴点の情報を示しており、「識別番号」「Ｘ座標」「Ｙ座標」及び「追跡回数」を含んでいる。「識別番号」は当該特徴点の識別情報、「Ｘ座標」は当該特徴点の水平方向の座標位置、「Ｙ座標」は当該特徴点の垂直方向の座標位置をそれぞれ示している。

【0092】

また、「追跡回数」は、当該特徴点が連続して対応付けられた回数を示している。例えば、「追跡回数」が「３」であれば、当該特徴点に関して、過去３回の物体検出処理において連続して対応付けができたことを示している。また、「追跡回数」が「０」であれば、当該特徴点が、前回の物体検出処理において新規に抽出された特徴点であることを示している。

【0093】

フロー導出部１３ａは、今回特徴点のそれぞれに関して、このような特徴点リストに登録された前回特徴点との対応付けを試みる。フロー導出部１３ａは、例えば、今回特徴点を中心とした比較的小さなサイズ（例えば、水平５画素×垂直５画素）のブロックと前回特徴点を中心とした同サイズのブロックとを比較し、ブロックに含まれる画素が近似する今回特徴点と前回特徴点とを対応付ける。ブロックに含まれる画素が近似する前回特徴点が無い場合は、今回特徴点は前回特徴点とは対応付けられない。通常、新規に抽出された特徴点、及び、断続的に表れる特徴点は、前回特徴点とは対応付けられない。

【0094】

フロー導出部１３ａは、全ての今回特徴点に関して前回特徴点との対応付けを試みると、特徴点リストの内容を今回特徴点を示す内容に更新する。フロー導出部１３ａは、前回特徴点と対応付けができた今回特徴点のレコードＲａに関しては、「追跡回数」に「１」を加算する。一方、フロー導出部１３ａは、前回特徴点と対応付けができなかった今回特徴点のレコードＲａに関しては「追跡回数」を「０」とする。

【0095】

フロー導出部１３ａは、このようにして今回特徴点と前回特徴点とを対応付けると、次に、前回特徴点と対応付けできた今回特徴点のそれぞれに関して、オプティカルフローを導出する（ステップＳ２３）。フロー導出部１３ａは、前回特徴点の位置から今回特徴点の位置に向かうベクトルをオプティカルフローとして導出する。

【0096】

次に、フロー選択部１３ｂが、フロー導出部１３ａに導出されたオプティカルフローのうち、所定の条件を満足するオプティカルフローを処理対象として選択し、所定の条件を満足しないオプティカルフローを除外する。

【0097】

まず、フロー選択部１３ｂは、内向きのオプティカルフローを処理対象として残し、外向きのオプティカルフローを処理対象から除外する（ステップＳ２４）。フロー選択部１３ｂは、撮影画像ＳＧの左側の検出領域ＴＡでは右向きのオプティカルフローを処理対象として残し、撮影画像ＳＧの右側の検出領域ＴＡでは左向きのオプティカルフローを処理対象として残す。

【0098】

次に、フロー選択部１３ｂは、処理対象として残ったオプティカルフローそれぞれの長さと判定閾値Ｔｈとを比較する。この判定閾値Ｔｈは、図１３のステップＳ１２において、閾値変更部１１ａが自車両９の速度及び舵角に応じて設定したものである。フロー選択部１３ｂは、長さが判定閾値Ｔｈより大となるオプティカルフローを処理対象として残し、長さが判定閾値Ｔｈより小となるオプティカルフローを処理対象から除外する（ステップＳ２５）。これにより、フロー選択部１３ｂは、主に遠景の被写体に係るオプティカルフローを処理対象から除外する。その結果、フロー選択部１３ｂは、自車両９の旋回に起因して生じる背景に係るオプティカルフローの大部分を処理対象から除外する。

【0099】

次に、フロー選択部１３ｂは、処理対象として残ったオプティカルフローそれぞれの特徴点（今回特徴点）の「追跡回数」と所定の基準回数（例えば、３回）とを比較する。そして、フロー選択部１３ｂは、特徴点の「追跡回数」が基準回数より大のオプティカルフローを処理対象として残し、特徴点の「追跡回数」が基準回数より小のオプティカルフローを処理対象から除外する（ステップＳ２６）。

【0100】

判定閾値Ｔｈを用いたステップＳ２５の処理は、主に遠景の被写体に係るオプティカルフローを処理対象から除外するものである。このため、ステップＳ２５の処理後に処理対象として残ったオプティカルフローには、数は比較的少ないものの、近景の被写体に係るオプティカルフローが含まれている。前述のように近景の被写体は道路面の凹凸や白線などであることが多い。このような近景の被写体の特徴点は一般に断続的に表れ、撮影画像中に一定期間以上にわたって継続的に表れることは稀である。一方で、接近する物体に係る特徴点は、通常、撮影画像中に継続的に表れる。

【0101】

このため、フロー選択部１３ｂは、特徴点の「追跡回数」が所定回数より小のオプティカルフローを処理対象から除外することで、接近する物体に係るオプティカルフローを処理対象として残しつつ、近景の被写体に係るオプティカルフローの多くを処理対象から除外できる。なお、特徴点の「追跡回数」が基準回数と一致するオプティカルフローに関しては、処理対象として選択してもよく、処理対象から除外してもよい。

【0102】

フロー選択部１３ｂは、以上説明したステップＳ２４〜ステップＳ２６の処理により残ったオプティカルフローを処理対象として選択することになる。

【0103】

次に、物体検出部１３ｃが、このようにフロー選択部１３ｂに処理対象として選択されたオプティカルフローに基づいて物体を検出する。まず、物体検出部１３ｃは、処理対象として選択された複数のオプティカルフローそれぞれの特徴点（今回特徴点）に注目する。そして、物体検出部１３ｃは、それらの特徴点のうちで、互いに近傍に存在する複数の特徴点を一つのグループとしてグループ化する（ステップＳ２７）。

【0104】

図１６及び図１７は、このような特徴点をグループ化する手法を説明するための図である。図１６においては、検出領域ＴＡの一部を拡大して示している。また、この説明では、水平方向をＸ軸（右側が正）、垂直方向をＹ軸（下側が正）とする。

【0105】

まず、図１６に示すように、物体検出部１３ｃは、特徴点ＦＰのそれぞれの位置に、水平方向（Ｘ軸方向）に延びるラインＬを設定する。このラインＬは、特徴点ＦＰを中心とした特定のサイズ（例えば、５ピクセル）の画素列で構成される。

【0106】

次に、物体検出部１３ｃは、これらのラインＬの画素を参照し、横軸をＸ軸の各座標位置、縦軸を画素の数（度数）とするヒストグラムＨＸを生成する。このヒストグラムＨＸにおいては、Ｘ軸の各座標位置において、Ｙ軸方向に存在するラインＬの画素の数が度数として示される。

【0107】

次に、物体検出部１３ｃは、ヒストグラムＨＸの度数と所定の閾値Ｔａ（例えば、「３」）とを比較する。そして、図１６の下部に示すように、物体検出部１３ｃは、度数が閾値Ｔａ以上となるＸ軸方向の範囲を示すラインデータＬＤを導出する。このラインデータＬＤは、検出領域ＴＡの水平方向（Ｘ軸方向）に関して、複数の特徴点ＦＰが互いに近傍に存在していた範囲を示すものとなる。

【0108】

次に、図１７に示すように、物体検出部１３ｃは、縦軸をＹ軸の各座標位置、横軸を画素の数（度数）とするヒストグラムＨＹを生成する。このヒストグラムＨＹの作成手法は、図１６に示すヒストグラムＨＸの作成手法を、Ｘ軸とＹ軸とで入れ換えたものとなる。ただし、物体検出部１３ｃは、この処理の対象とするＸ軸方向の範囲を、一のラインデータＬＤが存在する範囲（Ｘ１〜Ｘ２）に限定する。物体検出部１３ｃは、ラインデータＬＤごとに、このようなヒストグラムＨＹを作成する。

【0109】

次に、物体検出部１３ｃは、ヒストグラムＨＹの度数と所定の閾値Ｔｂ（例えば、「３」）とを比較する。そして、物体検出部１３ｃは、度数が閾値Ｔｂ以上となるＹ軸方向の範囲を示すラインデータＭＤを導出する。このラインデータＭＤは、検出領域ＴＡの垂直方向（Ｙ軸方向）に関して、複数の特徴点ＦＰが互いに近傍に存在していた範囲を示すものとなる。

【0110】

そして、物体検出部１３ｃは、図１７の下部に示すように、ラインデータＬＤが存在するＸ軸方向の範囲（Ｘ１〜Ｘ２）と、ラインデータＭＤが存在するＹ軸方向の範囲（Ｙ１〜Ｙ２）とで規定される矩形領域ＴＤに含まれる複数の特徴点ＦＰを一つのグループとしてグループ化する。グループのサイズは、この矩形領域ＴＤのサイズとなる。物体検出部１３ｃは、一つの検出領域ＴＡから複数のグループを導出する場合もある。

【0111】

物体検出部１３ｃは、このようにして特徴点をグループ化してグループを導出すると、次に、導出した各グループのサイズを所定の基準サイズ（例えば、水平１５画素×垂直１６画素）と比較する。そして、物体検出部１３ｃは、サイズが基準サイズより小となるグループを除外し、サイズが基準サイズより大となるグループを物体として検出する（ステップＳ２８）。

【0112】

前述のように近景の被写体は道路面の凹凸や白線などであることが多い。このような近景の被写体に係る特徴点で構成されたグループのサイズは一般に比較的小さく、一定サイズより大きくなることは稀である。一方で、他の車両８や歩行者などの接近する物体に係る特徴点で構成されたグループのサイズは、通常、一定サイズより大きくなる。

【0113】

このため、物体検出部１３ｃは、サイズが所定サイズより大となるグループを物体として検出することで、近景の被写体に係る特徴点のグループを物体として検出することを防止できる。なお、サイズが基準サイズと一致するグループに関しては、物体として検出してもよく、除外してもよい。

【0114】

以上のように、本実施の形態の物体検出装置１においては、フロー導出部１３ａが、自車両９の周辺をカメラ２で撮影して周期的に得られる撮影画像の特徴点に基づいてオプティカルフローを導出する。フロー選択部１３ｂは、フロー導出部１３ａに導出されたオプティカルフローのうち、長さが判定閾値Ｔｈより大となるオプティカルフローを処理対象として選択する。一方で、フロー選択部１３ｂは、長さが判定閾値Ｔｈより小となるオプティカルフローを、自車両９の旋回に起因して生じる背景に係るオプティカルフローとして処理対象から除外する。物体検出部１３ｃは、フロー選択部１３ｂに処理対象として選択されたオプティカルフローに基づいて物体を検出する。

【0115】

このように、長さが判定閾値Ｔｈより小となるオプティカルフローを処理対象から除外するという単純な手法で、自車両９の旋回に起因して生じる背景に係るオプティカルフローを処理対象から除外できる。このため、自車両９が旋回する場合に背景となる被写体を物体として誤検出することを、比較的簡便な手法で防止できる。

【0116】

また、フロー導出部１３ａは、互いに異なる時点に取得された２つの撮影画像それぞれの特徴点同士を対応付けることでオプティカルフローを導出する。そして、フロー選択部１３ｂは、連続して対応付けができた回数である「追跡回数」が基準回数より小となる特徴点に基づくオプティカルフローを処理対象から除外する。このため、近景の被写体に係るオプティカルフローを処理対象から除外できる。

【0117】

また、物体検出部１３ｃは、フロー選択部１３ｂに処理対象として選択されたオプティカルフローの特徴点のうちで、互いに近傍に存在する複数の特徴点を一つのグループとしてグループ化する。そして、物体検出部１３ｃは、グループのサイズが基準サイズより大となるグループを物体として検出する。このため、近景の被写体に係る特徴点のグループを物体として検出することを防止できる。

【0118】

＜５．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。

【0119】

上記実施の形態では、物体検出処理の検出結果を示す指標として矩形の警告部ＡＦを表示していたが、矢印などの他の態様の指標を表示するようにしてもよい。また、撮影画像中に含まれる検出した物体の像を強調枠などで強調することで、物体検出処理の検出結果をユーザに報知するようにしてもよい。

【0120】

また、上記実施の形態では、閾値変更部１１ａが自車両９の速度及び舵角の双方を考慮して判定閾値Ｔｈを変更していた。これに対して、閾値変更部１１ａが、自車両９の舵角のみを考慮して判定閾値Ｔｈを変更してもよい。また、自車両９の速度及び舵角に関わらず、判定閾値Ｔｈを一定の値としてもよい。この場合は、判定閾値Ｔｈは例えば「２ピクセル」に常に設定される。また、判定閾値Ｔｈをユーザが設定できるようにしてもよい。

【0121】

また、上記実施の形態において一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はなく、分散した物理的要素によって実現されてよい。また、上記実施の形態で複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、車両内の装置と車両外の装置とに任意の一つの機能に係る処理を分担させ、これら装置間において通信によって情報の交換を行うことで、全体として当該一つの機能が実現されてもよい。

【0122】

また、上記実施の形態においてプログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよく、ハードウェア回路によって実現されると説明した機能の全部又は一部はソフトウェア的に実現されてもよい。また、上記実施の形態において一つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。

【符号の説明】

【0123】

１ 物体検出装置
９ 自車両
１０ 物体検出システム
１１ａ 閾値変更部
１１ｂ 結果報知部
１３ａ フロー導出部
１３ｂ フロー選択部
１３ｃ 物体検出部
ＦＰ 特徴点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】