特許 6944328 車両の周辺監視装置と周辺監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6944328

(24)【登録日】2021年9月14日

(45)【発行日】2021年10月6日

(54)【発明の名称】車両の周辺監視装置と周辺監視方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20210927BHJP

   G06T 7/00 20170101ALI20210927BHJP

   G06T 7/269 20170101ALI20210927BHJP

   G06T 7/593 20170101ALI20210927BHJP

   H04N 7/18 20060101ALI20210927BHJP

【ＦＩ】

   G08G1/16 C

   G06T7/00 650B

   G06T7/269

   G06T7/593

   H04N7/18 J

   H04N7/18 K

【請求項の数】3

【全頁数】14

(21)【出願番号】特願2017-192068(P2017-192068)

(22)【出願日】2017年9月29日

(65)【公開番号】特開2019-67149(P2019-67149A)

(43)【公開日】2019年4月25日

【審査請求日】2020年8月18日

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100121821

【弁理士】

【氏名又は名称】山田 強

(72)【発明者】

【氏名】田邊 健

(72)【発明者】

【氏名】伊藤 宏晃

(72)【発明者】

【氏名】内田 尚秀

【審査官】 佐藤 吉信

(56)【参考文献】

【文献】 特開２０１６−８１１０８（ＪＰ，Ａ）

【文献】 特開平１１−２５５０５１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００−９９／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２６９

Ｇ０６Ｔ ７／５９３

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

対象物を異なる位置から撮影した複数の画像を取得して車両の周囲を監視する周辺監視装置（１０）であって、
前記画像を構成する画素領域ごとに、前記画像における奥行距離を含む奥行距離情報を取得する距離情報取得部（１１０）と、
前記奥行距離情報に基づいて複数の前記画素領域を１以上のグループにグループ化するグループ化処理部（１２０）と、
前記画像に対し前記画素領域ごとに、前記画像上における前記対象物の移動方向および移動量の情報を含むオプティカルフローを取得する移動情報取得部（１３０）と、
前記グループのうち前記対象物を含むグループに含まれる前記画素領域の面積の総和を算出し、前記面積の総和が小さいほど、前記対象物を含むグループのそれぞれに対応付ける前記オプティカルフローの個数を大きく設定する対応付け数設定部（１４０）と、
前記対象物を含むグループに含まれる前記画素領域に対し前記対応付け数設定部にて設定した個数の前記オプティカルフローを対応付ける対応付け部（１５０）と、
前記対応付け部により対応付けられた前記オプティカルフローを用いて前記車両の周囲の対象物の移動状態を検出する対象物検出部（１６０）と、を備える周辺監視装置。

【請求項2】

前記対応付け数設定部は、前記対象物を含むグループが複数である場合に、前記対象物を含む複数のグループのそれぞれに含まれる前記画素領域の面積が大きいほど対応付ける前記オプティカルフローの個数を大きく設定する請求項１に記載の周辺監視装置。

【請求項3】

対象物を異なる位置から撮影した複数の画像を取得して車両の周囲を監視する周辺監視方法であって、
前記画像を構成する画素領域ごとに、前記画像における奥行距離を含む奥行距離情報を取得する距離情報取得ステップ（Ｓ１０２）と、
前記奥行距離情報に基づいて複数の前記画素領域を１以上のグループにグループ化するグループ化処理ステップ（Ｓ１０３）と、
前記画像に対し前記画素領域ごとに、前記画像上における前記対象物の移動方向および移動量の情報を含むオプティカルフローを取得する移動情報取得ステップ（Ｓ１０５）と、
前記グループのうち前記対象物を含むグループに含まれる前記画素領域の面積の総和を算出し、前記面積の総和が小さいほど、前記対象物を含むグループのそれぞれに対応付ける前記オプティカルフローの個数を大きく設定する対応付け数設定ステップ（Ｓ１０６）と、
前記対象物を含むグループに含まれる前記画素領域に対し前記対応付け数設定ステップにて設定した個数の前記オプティカルフローを対応付ける対応付けステップ（Ｓ１０７）と、
前記対応付けステップにより対応付けられた前記オプティカルフローを用いて前記車両の周囲の対象物の移動状態を検出する対象物検出ステップ（Ｓ１０８）と、を備える周辺監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物を異なる位置から撮影した複数の画像を取得して、車両の周囲を監視する周辺監視装置および周辺監視方法に関する。

【背景技術】

【0002】

車両の周囲の対象物を撮影した複数の画像についてステレオマッチング処理を行うことによって視差画像を作成し、この視差画像に基づいて奥行距離等を算出する技術が知られている。

【0003】

特許文献１には、画像を構成する画素領域を奥行距離情報に基づいてグループ化するグループ化処理部と、グループ化した複数の画素領域に対して画像上の対象物のオプティカルフローを対応付けする対応付け部と、このオプティカルフローを用いて対象物の移動状態を検出する物体検出部と、を備える物体検出装置に関する技術が記載されている。

【0004】

画素領域に対して対応付けするオプティカルフローの個数を増加させることによって、対象物の移動状態の検出精度を向上させることができる。しかしながら、オプティカルフローを対応させる個数を増やすと、対応付け部の処理負荷が増加する。

【0005】

このため、特許文献１では、対応付け部は、奥行距離が近い画素領域のグループほど画像の単位面積当たりのオプティカルフローの対応付けの数を少なくして、オプティカルフローの対応付けを行う。特許文献１には、奥行距離が近い画素領域のグループでは、オプティカルフローを対応させる個数を少なくしても対象物の検出精度が大きく低下することはないため、対象物の検出精度を維持することと、対応付け部の処理負荷の増加を抑制することとを両立できると記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１６−８１１０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１では、奥行距離が近い領域では、対応するオプティカルフローの個数を少なくしたことにより、オプティカルフローに含まれる誤差等の影響が大きくなって対象物の検出精度が低下する場合がある。

【0008】

上記の実情に鑑み、本発明は、オプティカルフローの誤差の影響を小さくして対象物の検出精度の低下を抑制することと、対応付け部の総処理負荷の増大を抑制することとを両立できる周辺監視技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明は、対象物を異なる位置から撮影した複数の画像を取得して車両の周囲を監視する周辺監視装置を提供する。この周辺監視装置は、前記画像を構成する画素領域ごとに、前記画像における奥行距離を含む奥行距離情報を取得する距離情報取得部と、前記奥行距離情報に基づいて複数の前記画素領域を１以上のグループにグループ化するグループ化処理部と、前記画像に対し前記画素領域ごとに、前記画像上における前記対象物の移動方向および移動量の情報を含むオプティカルフローを取得する移動情報取得部と、前記グループのうち前記対象物を含むグループに含まれる前記画素領域の面積の総和を算出し、前記面積の総和が小さいほど、前記対象物を含むグループのそれぞれに対応付ける前記オプティカルフローの個数を大きく設定する対応付け数設定部と、前記対象物を含むグループに含まれる前記画素領域に対し前記対応付け数設定部にて設定した個数の前記オプティカルフローを対応付ける対応付け部と、前記対応付け部により対応付けられた前記オプティカルフローを用いて前記車両の周囲の対象物の移動状態を検出する対象物検出部と、を備える。

【0010】

本発明の周辺監視装置によれば、対応付け数設定部は、対象物を含むグループに含まれる画素領域の面積の総和を算出し、面積の総和が小さい場合に対象物を含むグループのそれぞれに対応付けるオプティカルフローの個数を大きく設定する。このため、対応付け部の総処理負荷の増加を抑制しながら、対象物を含むグループ対して、できるだけ多くのオプティカルフローを対応付けすることができる。その結果、オプティカルフローの誤差の影響を小さくして物体の移動状態の検出精度の低下を抑制することと、対応付け部の総処理負荷の増大を抑制することとを両立できる。

【0011】

本発明は、上記の周辺監視装置によって実現可能な周辺監視方法についても提供することができる。本発明は、対象物を異なる位置から撮影した複数の画像を取得して車両の周囲を監視する周辺監視方法を提供する。この周辺監視方法は、前記画像を構成する画素領域ごとに、前記画像における奥行距離を含む奥行距離情報を取得する距離情報取得ステップと、前記奥行距離情報に基づいて複数の前記画素領域を１以上のグループにグループ化するグループ化処理ステップと、前記画像に対し前記画素領域ごとに、前記画像上における前記対象物の移動方向および移動量の情報を含むオプティカルフローを取得する移動情報取得ステップと、前記グループのうち前記対象物を含むグループに含まれる前記画素領域の面積の総和を算出し、前記面積の総和が小さいほど、前記対象物を含むグループのそれぞれに対応付ける前記オプティカルフローの個数を大きく設定する対応付け数設定ステップと、前記対象物を含むグループに含まれる前記画素領域に対し前記対応付け数設定ステップにて設定した個数の前記オプティカルフローを対応付ける対応付けステップと、前記対応付けステップにより対応付けられた前記オプティカルフローを用いて前記車両の周囲の対象物の移動状態を検出する対象物検出ステップと、を備える。

【図面の簡単な説明】

【0012】

【図1】実施形態に係る周辺監視装置を示すブロック図。

【図2】周辺監視装置による対象物検出に用いられる画像の一例を示す図。

【図3】周辺監視装置によるグループ化処理の一例を示す図。

【図4】周辺監視装置によるグループ化処理の一例を示す図。

【図5】周辺監視装置による対応付け処理の一例を示す図。

【図6】周辺監視装置による対応付け処理の一例を示す図。

【図7】周辺監視装置によって実行される周辺監視方法を示すフローチャート。

【発明を実施するための形態】

【0013】

図１に示すように、本実施形態に係る周辺監視装置１０は、距離情報取得部１１０と、グループ化処理部１２０と、移動情報取得部１３０と、対応付け数設定部１４０と、対応付け部１５０と、対象物検出部１６０とを備えている。周辺監視装置１０は、Ａ／Ｄ変換回路、Ｉ／Ｏ、ＣＰＵ、ＲＡＭ、ＲＯＭ、画像メモリ等を含む電子制御ユニット（ＥＣＵ）であり、ＣＰＵは、予め格納されたプログラムを実行することによって、上記の各部の機能を実現する。ＣＰＵに替えて、またはＣＰＵとともに、デジタル処理回路を書き込んだＦＰＧＡ(Field-Programmable Gate Array)等を備えていてもよい。

【0014】

周辺監視装置１０は、車両に搭載された撮像装置２１、２２により撮像された画像を用いて車両周囲の対象物を検出する。撮像装置２１、２２から出力される信号は、デジタル信号に変換されて、周辺監視装置１０のＣＰＵに入力される。周辺監視装置１０は、入力された画像データについて画像処理を行い、画像データや制御信号を報知装置、表示装置、運転制御装置等の出力部３０に出力する。

【0015】

撮像装置２１，２２としては、画像を構成する画素領域ごとの輝度情報及び画素領域ごとの奥行距離情報を取得できるものが用いられる。具体的には、例えば、ＣＣＤやＣＭＯＳセンサ、あるいは赤外線カメラ等のイメージセンサを内蔵したステレオカメラ等を好適に用いることができる。

【0016】

撮像装置２１，２２により撮像される画像は、カラーでもモノクロであってもよい。また、撮像波長帯は、可視波長でも、近赤外波長であってもよく、車両周囲の物体が認識できる画像データが得られれば、いずれの波長帯であってもよい。また、撮像装置２１，２２としては、画像の輝度情報及び奥行距離情報を取得できるものであれば、ステレオカメラ以外のセンサであってもよく、例えばＴＯＦ（Time of flight）カメラを用いてもよいし、輝度情報の画像を撮像するカメラと奥行距離情報を取得するセンサ、例えばレーザレーダセンサなどを組み合わせたものを用いてもよい。

【0017】

撮像装置２１、２２は、車両の進行方向の周囲を撮影できるように、撮像方向に対し交差する方向に並べて配置される。具体的には、例えば、車両のルームミラーの背後に、車幅方向において所定の基線長で取り付けられる。撮像装置２１、２２は、通常の走行状態において車両前方の道路や先行車両等を含む周辺環境を撮影する。周辺監視装置１０は、１対の撮像装置２１、２２が撮影した画像を取得し、これによって対象物を異なる位置から撮影した複数の画像を取得することができる。

【0018】

距離情報取得部１１０は、撮像装置２１，２２により撮像された画像における奥行距離の情報を取得する。例えば、距離情報取得部１１０は、撮像装置２１，２２により撮像された画像データを取得し、その画像データを用いて、画像を構成する画素領域ごとに奥行距離情報を取得する。画像データは、画像の画素領域ごとの輝度情報及び奥行距離情報を取得可能なデータであり、所定周期で繰り返して取得され、記憶される。

【0019】

画像を構成する画素領域は、一つの画素からなる領域であってもよいし、複数の画素からなる領域であってもよい。画素領域を複数の画素からなる領域として設定する場合、例えば２×２の４つの画素からなる領域、それ以上の数の画素からなる領域とされる。輝度情報は、例えば画素領域の輝度値である。画素領域が一つの画素からなる場合には、その画素の輝度値が画素領域の輝度情報となる。画素領域が複数の画素から構成される場合、複数の画素における輝度値の平均値、最高値、最低値又は所定の代表値が画素領域の輝度情報とされる。

【0020】

奥行距離情報は、画素領域に撮像される被撮像体の奥行距離に関する情報であり、奥行距離を含む情報である。例えば、奥行距離は、撮像装置２１，２２の撮像方向における被撮像体までの距離である。撮像装置２１，２２としてステレオカメラを用いる場合、奥行距離は複数のカメラの設置位置を結ぶ直線から対象物までの距離となる。

【0021】

対象物は、画像に撮像されるものであって、立体物である物体のほか、路面、空などの背景を含んでいてもよい。画素領域が一つの画素からなる場合には、その画素の奥行距離が画素領域の奥行距離情報となる。画素領域が複数の画素から構成される場合、複数の画素における奥行距離の平均値、最高値、最低値又は所定の代表値を画素領域の奥行距離情報として用いればよい。

【0022】

なお、奥行距離情報は、奥行距離の値をそのまま用いてもよいが、奥行距離に対応する値であってもよい。例えば、奥行距離に対応した視差の値を奥行距離情報として用いてもよい。視差の値は、二つの撮像装置によって撮像される二つの画像における被撮像体ないし物体の視差の値であり、奥行距離が近いほど大きな値となる。

【0023】

撮像装置２１，２２としてステレオカメラが用いられる場合、距離情報取得部１１０は、二つの左右の画像について視差画像を生成する。そして、距離情報取得部１１０は、視差画像における画素領域の視差の値を奥行距離情報として用いる。また、画素領域ごとの視差に基づいて画素領域ごとの奥行距離を演算して、その奥行距離の値を奥行距離情報として用いてもよい。奥行距離情報の算出手法としては、例えばdense stereo技術が用いられ、より具体的にはＳＧＭ法やＥＬＡＳ法などが用いられる。

【0024】

グループ化処理部１２０は、奥行距離情報を取得した画像について、その奥行距離情報に基づいて複数の画素領域をグループ化する。このグループ化処理部１２０は、三次元空間上において近接する画素領域を同一のグループとして設定しグループ化する。

【0025】

例えば、グループ化処理部１２０は、奥行距離が同一または所定範囲内にある画素領域が近接する場合に同一のグループとしてグループ化を行ってもよい。より具体的には、グループ化処理部１２０は、画像の縦方向、横方向またはその両方向において奥行距離が同一または所定範囲内にある画素領域が近接する場合に同一のグループとしてグループ化してもよい。

【0026】

図２に示す画像２００について画像領域を区画してグループ化する場合を例示して、具体的に説明する。画像２００には、車両２０１、車両２０２、空２０３、防護柵２０４、路面２０５が撮影されている。距離情報取得部１１０は、画像２００を画素領域に区画し、画像２００の画素領域ごとの輝度情報及び奥行距離情報を取得する。グループ化処理部１２０は、図３に示すように、縦方向において奥行距離が同一または所定範囲内にあり、隣接する画素が同一グループとなるようにグループ化処理を行い、グループ３０１〜３０５を設定する。なお、グループ３０１〜３０５に含まれる画素領域は、それぞれ、図２の車両２０１、車両２０２、空２０３、路肩の防護柵２０４、路面２０５を含む画像領域に対応している。

【0027】

グループ化処理部１２０は、各グループの画素領域についての奥行距離情報と視差に基づいて、各グループの画素に何が撮影されているかを認識する。グループ３０１，３０２は、奥行距離が同一または所定範囲内にある画素からなるグループであり、視差が小さくないことから、検出対象となる対象物が撮影されていると認識される。グループ３０３は、奥行距離が同一または所定範囲内にある画素からなるグループであり、視差が小さいことから、より遠方の背景が撮影されていると認識される。グループ３０４，３０５は、奥行距離が同一または所定範囲内にある画素が隣接するグループであり、グループ３０４は画像の左右端の位置に、グループ３０５は画像の下方の位置に行くほど、視差が大きくなるように変化している。このため、グループ３０４，３０５は、それぞれ路肩の防護柵２０４と路面２０５を表していると認識される。

【0028】

グループ化処理部１２０は、グループ化したグループ結果を記憶する。すなわち、グループ化処理部１２０は、グループ記憶部としても機能する。グループ結果は、グループ化が行われるごとに記憶され、グループが表す物体の動きの検出に用いることができる。

【0029】

移動情報取得部１３０は、画像に対し画素領域ごとに、画像上における被撮像体の移動方向および移動量の情報を含むオプティカルフローを取得する。例えば、移動情報取得部１３０は、撮像装置２１，２２により撮像された画像について画素領域ごとにオプティカルフローを算出し、移動情報として取得する。オプティカルフローは、画素領域の動きベクトルであり、画像上の被撮像体をベクトルで表したものである。このため、オプティカルフローは、画素領域に表示される被撮像体の移動方向及び移動量の情報を有している。画素領域は、上述したように、一つの画素からなる領域でもよいし、複数の画素からなる領域でもよい。画素領域が複数の画素からなる領域として設定される場合、例えば、複数の画素におけるオプティカルフローの平均値、最高値、最低値又は所定の代表値を画素領域のオプティカルフローとして用いればよい。オプティカルフローを取得する画素領域は、奥行距離情報を取得する画素領域と同じ大きさの領域として設定されるが、奥行距離情報を取得する画素領域と異なる大きさの領域として設定する場合もある。

【0030】

オプティカルフローの具体的な算出は、現在の画像に対し先に撮像した画像を用いて画素領域の移動を解析して行われ、マッチング法や勾配法などを用いて行えばよい。なお、オプティカルフローの算出は、路面や道路などの背景を表す領域を除いて行ってもよい。この処理の省略により、対象物検出の処理負荷を低減することができる。

【0031】

対応付け部１５０は、グループ化処理部１２０にてグループ化された画素領域のうち、対象物を含むグループ（例えば、図３に示すグループ３０１，３０２）に含まれる画素領域に対し、移動情報取得部１３０にて取得されたオプティカルフローを対応付ける。対応付け数設定部１４０は、対応付け部１５０において、それぞれのグループに対応付けられるオプティカルフローの個数を設定する。

【0032】

対応付け数設定部１４０は、対象物を含むグループに含まれる画素領域の面積の総和の値が小さいほど、対象物を含むグループそれぞれに対応付けるオプティカルフローの個数の値を大きい値に設定する。

【0033】

例えば、対象物を含むグループがｋ個ある場合、ｉ＝１，２，…，ｋについて、グループｉに含まれる画素領域の面積をＳｉとすると、対象物を含むグループに含まれる面積の総和Ｓは、下記式（１）によって表すことができる。

【0034】

【数1】

【0035】

また、グループｉに対応付けるオプティカルフローの個数をＮｉとすると、対象物を含むグループ全体に対応付けるオプティカルフローの個数Ｎは、下記式（２）によって表すことができる。

【0036】

【数2】

【0037】

個数Ｎは、対応付け部１５０の処理能力に応じて設定されるオプティカルフローの個数の上限値Ｎｏ以下に設定される（すなわち、Ｎ≦Ｎｏ）。対象物の検出精度を向上させるためには、Ｎの値は大きく設定することが好ましいため、対応付けるオプティカルフローの個数が過剰ではない場合には、Ｎ＝Ｎｏに設定される。

【0038】

すなわち、オプティカルフローの個数が過剰でない場合には、対象物を含むグループに含まれる画素領域の面積の総和Ｓの大小に関わらず、そのグループ全体に対してＮｏ個のオプティカルフローが対応付けられる。このため、面積の総和Ｓが小さいほど、画素領域の単位面積当たりに対応付けられるオプティカルフローの個数は大きくなる。言い換えると、対象物を含むグループに含まれる画素領域の面積の総和Ｓが小さいほど、対象物を含むグループのそれぞれに対応付けるオプティカルフローの個数は大きく設定される。

【0039】

なお、Ｎ＝Ｎｏに設定しなくても、対象物を十分に高精度に検出することができる場合には、Ｎ＝Ｎｏとする必要はない。グループの画素領域の面積に対して、対応付けするオプティカルフローの個数が十分であればよく、Ｎ＝Ｎｏに設定しなくても、対象物を十分に高精度に検出することができる場合もある。

【0040】

Ｎ＝Ｎｏに設定しなくても、対象物を十分に高精度に検出することができる場合には、オプティカルフローの対応付けの個数Ｎは、対象物を含むグループに含まれる画素領域の面積の総和Ｓが大きくなるにしたがって大きくなるように設定してもよい。オプティカルフローの対応付けの個数Ｎは、面積の総和Ｓに基づいて数式を用いて算出してもよいし、面積の総和Ｓに対応したオプティカルフローの対応付けのマップ又はテーブルを用いて演算してもよい。その際、オプティカルフローの対応付けの数が面積の総和Ｓに応じて連続的に変化するように設定されてもよいし、面積の総和Ｓに応じて段階的に変化するように設定されてもよい。

【0041】

対応付け数設定部１４０によれば、対象物を含むグループに含まれる画素領域の面積の総和Ｓに応じて、Ｎｏ個を上限として、できるだけ多くのオプティカルフローの個数を設定することができる。このため、撮像装置２１，２２から対象物までの奥行距離に関わらず、対応付け部１５０の処理能力を有効に利用して対象物（例えば、車両２０１，２０２）の検出を行うことができ、検出精度を確保することができる。

【0042】

また、対応付けするオプティカルフローの個数Ｎは、対応付け部１５０の処理能力に応じて設定されるオプティカルフローの個数の上限値Ｎｏ以下に設定されるため、対応付け部１５０の処理能力を超えて演算処理負荷を大きくすることを抑制できる。

【0043】

対応付け数設定部１４０は、グループｉにそれぞれ対応付けるオプティカルフローの個数Ｎｉを任意に決定できる。例えば、グループｉに均等にオプティカルフローの個数を振り分けて対応付けしてもよいし、グループｉに含まれる対象物の種類や画素領域の面積に応じて、オプティカルフローの個数を変化させて対応付けしてもよい。

【0044】

例えば、対応付け数設定部１４０は、グループｉにそれぞれ含まれる画素領域の面積Ｓｉに応じて、グループｉにそれぞれ対応付けるオプティカルフローの個数Ｎｉを設定してもよい。例えば、下記式（３）に基づいて、対象物を含むグループのそれぞれに含まれる画素領域の面積Ｓｉが大きいほど、そのグループに対応付けるオプティカルフローの個数Ｎｉを大きく設定してもよい。例えば、図３に示す対象物を含むグループ３０１、グループ３０２について、Ｎ１＝ＮＳ１／（Ｓ１＋Ｓ２）とし、Ｎ２＝ＮＳ２／（Ｓ１＋Ｓ２）としてもよい。
Ｎｉ＝ＮＳｉ／Ｓ … （３）。

【0045】

例えば、対象物の距離が近い場合や、対象物が大きい場合に、対象物を含む画素領域の面積Ｓｉが大きくなる。このような場合には、対象物の移動情報をより正確に把握する必要があることが多い。対応付け数設定部１４０によれば、対象物を含む画素領域の面積Ｓｉが大きくなるほどそのグループに対応付けるオプティカルフローの個数Ｎｉを大きく設定するため、対象物の距離が近い場合や、対象物が大きい場合にも、対象物の移動情報をより正確に把握することができる。

【0046】

具体的に説明すると、図３に示す対象物を含むグループ３０１に含まれる画素領域の面積をＳ１とし、グループ３０２に含まれる画素領域の面積をＳ２とすると、対象物を含むグループに含まれる画素領域の面積の総和Ｓは、上記式（１）に従い、Ｓ＝Ｓ１＋Ｓ２によって表すことができる。また、グループ３０１に対応付けるオプティカルフローの個数をＮ１とし、グループ３０２に対応付けるオプティカルフローの個数をＮ２とすると、対象物を含むグループ全体に対応付けるオプティカルフローの個数Ｎは、上記式（２）に従い、Ｎ＝Ｎ１＋Ｎ２によって表すことができる。対応付け数設定部１４０は、オプティカルフローの個数が過剰でない場合には、Ｎ＝Ｎｏと設定し、この場合、Ｎｏ＝Ｎ１＋Ｎ２と設定される。すなわち、画素領域の単位面積当たりに対応付けられるオプティカルフローの個数はＮｏ／（Ｓ１＋Ｓ２）である。また、上記式（３）に従ってＮ１およびＮ２を設定すると、グループ３０１に対応付けられるオプティカルフローの個数Ｎ１は、Ｎ１＝ＮｏＳ１／（Ｓ１＋Ｓ２）であり、グループ３０２に対応付けられるオプティカルフローの個数Ｎ２は、Ｎ２＝ＮｏＳ２／（Ｓ１＋Ｓ２）である。

【0047】

これに対して、例えば、図４に示す画像４００のように、車両２０２が１台のみ撮影されており、この車両２０２を含む画素領域からなるグループ４０２に含まれる画素領域の面積がグループ３０２と等しくＳ２である場合には、対象物を含むグループに含まれる画素領域の面積の総和Ｓは、上記式（１）よりＳ＝Ｓ２である。対応付け数設定部１４０は、オプティカルフローの個数が過剰でない場合には、Ｎ＝Ｎｏと設定し、この場合、グループ４０２に対して、Ｎｏ個のオプティカルフローが対応付けられる。また、画素領域の単位面積当たりに対応付けられるオプティカルフローの個数はＮｏ／Ｓ２である。

【0048】

すなわち、対象物を含むグループに含まれる画素領域の面積の総和Ｓが小さい画像４００においては、対象物を含むグループに含まれる画素領域の面積の総和が大きい画像３００よりも、対象物を含むグループそれぞれに対して対応付けられるオプティカルフローの個数が大きく設定される。

【0049】

なお、対応付け数設定部１４０によるオプティカルフローの個数の設定は、上記の数式による算出基づくものに限定されない。例えば、対象物を含むグループｉに含まれる画素領域の面積Ｓｉと、オプティカルフローの個数Ｎｉとの対応付けるマップ又はテーブルを用いて、そのグループに対応付けるオプティカルフローの個数を算出してもよい。その際、オプティカルフローの個数は、画素領域の面積に応じて連続的に変化するように設定されてもよいし、画素領域の面積に応じて段階的に変化するように設定されてもよい。

【0050】

また、対応付け数設定部１４０は、グループｉに含まれる対象物の種類や奥行距離によって、オプティカルフローの個数を変化させて対応付けしてもよい。例えば、そのグループに含まれる画素領域の面積が同じであっても、対象物が車両であるグループには、対象物が道路標識であるグループよりも多くのオプティカルフローを設定するようにしてもよい。または、例えば、そのグループに含まれる画素領域の面積が同じであっても、対象物の奥行距離が近いグループには、対象物の奥行距離が遠いグループよりも多くのオプティカルフローを設定するようにしてもよい。

【0051】

具体的には、例えば、上記式（１）、（３）について、奥行距離が近いグループｍの画素領域の面積Ｓｍを、重み付け係数ａで補正した値ａ・Ｓｍに置き換えてもよい。

【0052】

対応付け部１５０は、グループ化処理部１２０にてグループ化された画素領域に対し、移動情報取得部１３０にて取得されたオプティカルフローを対応付ける。例えば、グループ化処理部１２０にてグループとして設定された画素領域に対し、移動情報取得部１３０にて取得されたオプティカルフローが対応付けられる。その際、対応付け部１５０は、対象物が含まれている画素領域を含むグループに対して、対応付け数設定部１４０が設定した個数のオプティカルフローをそれぞれ対応付ける。

【0053】

図５，６は、図３、４に示す対象物を含むグループ３０１，３０２，４０２に対して、それぞれオプティカルフロー５０１，５０２，６０２を対応付けした状態の一例を模式的に示す図である。図５，６にて、オプティカルフロー５０１，５０２，６０２の個数は、矢印の個数によって示されている。グループ４０２に対応付けられるオプティカルフロー６０２の個数は、図５に示すグループ３０１，３０２のそれぞれに対応付けられるオプティカルフロー５０１，５０２の個数よりも多い。また、グループ４０２の画素領域の単位面積当たりに対応付けられるオプティカルフローの個数は、グループ３０１，３０２の画素領域の単位面積当たりに対応付けられるオプティカルフローの個数よりも多い。なお、図５，６では、描画の都合上、オプティカルフロー５０１，５０２の個数の総数は、オプティカルフロー６０２の個数よりも多くなっているが、上述したように、オプティカルフロー５０１，５０２の個数の総数およびオプティカルフロー６０２の個数を等しくＮｏに設定してもよい。また、グループ３０１，３０２に対応付けられるオプティカルフローの個数については、それぞれのグループに含まれる画素領域の面積が大きいほど、オプティカルフローの個数が多くなるように配分されている。

【0054】

対象物検出部１６０は、対応付け部１５０により対応付けられたオプティカルフローを用いて車両の周囲の物体の移動状態を検出する。例えば、オプティカルフローを対応付けられたグループが車両周囲の物体と認識され、そのオプティカルフローに基づいてグループの移動状態が検出される。そのグループの移動状態に基づいて物体の三次元空間における相対速度が算出される。物体の移動状態としては、相対速度のほか、絶対速度であってもよいし、加減速度であってもよい。この物体の移動状態を検出結果に基づいて、自車両の走行の支障となる物体であるか否かを判定し、その判定結果を自車両の運転者に報知してもよい。

【0055】

図７は、本実施形態に係る周辺監視装置１０によって実行される周辺監視方法の一部を構成する対象物検出処理のフローチャートである。対象物検出処理は、周辺監視装置１０により所定の周期で繰り返して実行される。

【0056】

まず、画像取得ステップ（ステップＳ１０１）が実行され、周辺監視装置１０は、撮像装置２１，２２により撮像された１対の画像データを取得する。この画像データは、撮像装置２１，２２によって同時刻に対象物を異なる位置から撮影した１対の画像データである。

【0057】

次に、距離情報取得ステップ（ステップＳ１０２）が実行され、距離情報取得部１１０は、取得した１対の画像を構成する画素領域ごとに、画像における奥行距離情報を取得する。奥行距離情報は、所定周期で繰り返して取得され、取得されるごとに記録される。

【0058】

具体的には、例えば、撮像装置２１，２２から得られた、１対の画像について視差画像を生成する処理が行われる。視差画像における画素領域ごとの視差の値が奥行距離情報として取得される。または、画素領域ごとの視差に基づいて画素領域ごとの奥行距離を演算して、その奥行距離の値を奥行距離情報として取得してもよい。

【0059】

次に、グループ化処理ステップ（ステップＳ１０３）が実行され、グループ化処理部１２０は、奥行距離情報を取得した画像について、奥行距離情報に基づいて複数の画素領域を１以上のグループにグループ化する。このグループ化処理では、三次元空間上において近接する画素領域を同一のグループとして設定する。具体的には、例えば、上述したように、車両２０１、車両２０２、空２０３、防護柵２０４、路面２０５が撮影された画像２００について、グループ３０１〜３０５にグループ化する。

【0060】

グループ化処理部１２０は、さらに、グループ信頼度の設定ステップ（ステップＳ１０４）を実行する。グループ信頼度の設定処理は、グループ設定された画素領域が立体物を表示するものであるかどうかの信頼度を設定する処理である。

【0061】

例えば、グループ信頼度の設定ステップでは、画素領域の奥行距離情報に基づいてグループ化された画素領域が立体物を示すものであるかどうかが判定される。立体物とは、背景や路面でなく、検出対象となる対象物を含む立体的な物体である。

【0062】

具体的に説明すると、図３に示すように、グループ３０１〜３０５が設定されている場合、奥行距離情報である視差の値及び画像上の位置に応じた視差の変化状態に基づいて、グループ３０１〜３０５がそれぞれ立体物を表示するものであるかどうかが判定される。例えば、視差の値が所定以上の遠方を示す値でなく、画像上の位置に応じて視差の変化状態が所定以上でない場合に、立体物であると判定すればよい。

【0063】

これに対し、視差の値が所定以上の遠方を示す値であり、または、画像上の位置に応じて視差の値の変化状態が所定以上である場合、立体物でないと判定すればよい。グループ３０３は、視差の値の変化状態が位置に応じて所定以上でないが、所定以上の遠方を示す値となっており、立体物でなく、背景を示すものであると判定される。グループ３０１，３０２は、視差の値が所定以上の遠方を示す値となっておらず、かつ、視差の値の変化状態が位置に応じて所定以上でない。このため、立体物を示すものであると判定される。グループ３０５は、視差の値が所定以上の遠方を示す値となっていないが、位置に対して視差の値が所定以上に傾斜しており、視差の値の変化状態が位置に応じて所定以上となっている。このため、立体物を示すものでなく、路面を示すものであると判定される。このように、グループ３０３，３０５は、グループ信頼度が所定以上でなく立体物を示すものでないと判定され、グループ３０１，３０２はグループ信頼度が所定以上であり立体物を示すものであると判定される。

【0064】

次に、移動情報取得ステップ（ステップＳ１０５）が実行され、移動情報取得部１３０は、画像の画素領域ごとに、画像上における対象物を含む被撮像体の移動方向および移動量を含むオプティカルフローを取得する。例えば、この取得処理では、撮像装置２１，２２により撮像された画像について画素領域ごとにオプティカルフローを算出し、移動情報として取得してもよい。

【0065】

次に、対応付け数の設定ステップ（ステップＳ１０６）が実行され、対応付け数設定部１４０は、対象物を含むグループに含まれる画素領域の面積の総和を算出し、面積の総和が小さいほど、対象物を含むグループのそれぞれに対応付けるオプティカルフローの個数を大きく設定する。また、１つの画像中に対象物を含むグループが複数存在する場合には、対象物を含むグループのそれぞれに含まれる画素領域の面積が大きいほど対応付けるオプティカルフローの個数を大きく設定する。

【0066】

次に、対応付けステップ（ステップＳ１０７）が実行され、対応付け部１５０は、対象物を含むグループに含まれる画素領域に対し、対応付け数設定ステップにおいて設定した個数のオプティカルフローを対応付ける。この対応付け処理は、画像において設定されたグループの全部に対して行ってもよいし、ステップＳ１０４にて立体物を示すグループと判定されたグループのみに行ってもよい。

【0067】

次に、対象物検出ステップ（ステップＳ１０８）が実行され、対象物検出部１６０は、グループ化された画素領域の動きを算出し、対象物を検出する。具体的には、例えば、対象物検出部１６０は、対応付けられたオプティカルフローを用いて車両の周囲の対象物の移動状態を検出する。すなわち、オプティカルフローを対応付けられたグループが対象物として認識され、そのオプティカルフローに基づいて、対象物を含むグループの移動状態が検出される。より具体的には、グループの移動状態に基づいて対象物の三次元空間における相対速度が算出される。対象物の移動状態としては、相対速度のほか、絶対速度であってもよいし、加減速度であってもよい。この算出処理で検出されたグループのオプティカルフローは、記憶されて、次周期以降に実行される処理において用いられる。

【0068】

そして、出力ステップ（ステップＳ１０９）が実行され、周辺監視装置１０は、対象物の検出結果に基づいて、出力部に画像データや制御信号を送信して、処理を終了する。なお、図７の一連の制御処理において、制御結果に影響を及ぼさなければ、制御処理の順番を入れ替えてもよいし、制御処理の一部の実行を省略してもよい。

【0069】

以上説明したように、本実施形態に係る周辺監視装置１０によれば、画像を用いた対象物検出処理において、対応付け数設定部１４０は、対象物を含むグループに含まれる画素領域の面積の総和Ｓの値が小さいほど、対象物を含むグループｉのそれぞれに対応付けるオプティカルフローの個数Ｎｉの値を大きい値に設定する。これにより、奥行距離が近い画素領域のグループにおいて、対応付け部１５０の処理能力に余裕があるにもかかわらず、対応付けするオプティカルフローの個数を小さい値に設定することを抑制できる。その結果、周辺監視装置１０において、対象物検出精度が低下することを抑制できる。

【0070】

また、対応付け数設定部１４０は、対象物を含むグループ全体に設定したオプティカルフローの個数を複数のグループに配分するに際して、対象物を含むグループｉのそれぞれに含まれる画素領域の面積Ｓｉが大きいほど対応付けるオプティカルフローの個数Ｎｉを大きく設定することができる。このため、対応付け部１５０の総処理負荷の増加を抑制しながら、対象物を含むグループ対して、できるだけ多くのオプティカルフローを対応付けすることができる。

【符号の説明】

【0071】

１０…周辺監視装置、１１０…距離情報取得部、１２０…グループ化処理部、１３０…移動情報取得部、１４０…対応付け数設定部、１５０…対応付け部、１６０…対象物検出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】