特開 2025-112899 移動物体認識方法及び移動物体認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025112899

(43)【公開日】2025-08-01

(54)【発明の名称】移動物体認識方法及び移動物体認識装置

(51)【国際特許分類】

   G06T 7/254 20170101AFI20250725BHJP

【ＦＩ】

G06T7/254 A

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2024007428

(22)【出願日】2024-01-22

(71)【出願人】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100170575

【弁理士】

【氏名又は名称】森 太士

(72)【発明者】

【氏名】池田 旭伸

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA04

5L096EA39

5L096FA09

5L096FA32

5L096FA66

5L096GA08

5L096GA51

5L096HA04

5L096MA07

(57)【要約】

【課題】複数フレームの画像に映った移動体の精度良い認識と迅速な認識との両立を図る。
【解決手段】移動物体認識装置１は、基準及び比較カメラ３、４によって時系列に撮像された複数フレームの画像に基づいて移動物体を検出する。移動物体認識装置１は、特徴点追跡部２１と、可変時間幅速度推定部２４及び高精度移動フロー判定部２５とを備える。特徴点追跡部２１は、複数フレームの画像において特徴点を追跡する。可変時間幅速度推定部２４は、第１時刻のフレームにおける画像上の特徴点の座標と、第１時刻よりも所定の時間幅だけ前の第２時刻のフレームにおける画像上の特徴点の座標との差分値より、特徴点に対応する物体の車両に対する相対速度を推定する。高精度移動フロー判定部２５は、物体の相対速度を絶対速度に変換する。所定の時間幅は、基準カメラ３から物体までの距離に基づいて決定される。移動物体は、物体の絶対速度に基づいて検出される。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮像装置によって時系列に撮像された複数フレームの画像に基づいて移動物体を検出するコンピュータによって実行される移動物体認識方法であって、
前記複数フレームの画像において特徴点を追跡し、
第１時刻のフレームにおける前記画像上の前記特徴点の座標と、前記第１時刻よりも所定の時間幅だけ前の第２時刻の前記フレームにおける前記画像上の前記特徴点の座標との差分値より、前記特徴点に対応する物体の速度を判定し、
前記速度に基づいて前記移動物体を検出する、ことを含み、
前記所定の時間幅は、前記撮像装置から前記特徴点に対応する物体までの距離に基づいて決定される、
移動物体認識方法。

【請求項2】

前記所定の時間幅は、前記特徴点の移動が前記画像上で認識されるフレーム間隔の分解能が距離毎に定義された移動量モデルと、前記移動物体として検出する物体の最低速度として予め設定された固定速度閾値とに基づいて設定される、
請求項１記載の移動物体認識方法。

【請求項3】

前記速度が前記固定速度閾値以上の物体に対応する前記特徴点をクラスタリングすることで前記移動物体を検出する、
請求項２記載の移動物体認識方法。

【請求項4】

前記撮像装置は、一対のカメラを備えるステレオカメラで構成され、
前記距離は、前記一対のカメラから出力される同じフレームの一対の画像に基づいて特定される、
請求項１記載の移動物体認識方法。

【請求項5】

前記撮像装置は車両に搭載されており、
前記車両の挙動に基づいて、前記速度を絶対速度に変換する、
請求項１記載の移動物体認識方法。

【請求項6】

前記距離について前記移動量モデルに定義された前記分解能と、前記距離によらず共通に設定された固定の時間幅によって算出した前記速度とに基づいて、前記移動物体とする物体の距離毎の最低速度である可変速度閾値を設定し、前記差分値により判定される前記速度が、前記特徴点に対応する物体の前記距離に対応する前記可変速度閾値以上である場合に、前記特徴点に対応する物体を前記移動物体として検出する、
請求項２記載の移動物体認識方法。

【請求項7】

前記移動量モデルと前記固定速度閾値とに基づいて設定された前記所定の時間幅により判定した前記速度の物体を、前記可変速度閾値以上の速度の物体よりも優先して、前記移動物体として検出する、
請求項６記載の移動物体認識方法。

【請求項8】

前記固定の時間幅を前記所定の時間幅に増やして前記速度を再計算する、
請求項６記載の移動物体認識方法。

【請求項9】

前記画像から抽出した前記特徴点を含む領域のテンプレート画像を、前記所定の時間幅の倍数のフレーム間隔で更新する、
請求項１記載の移動物体認識方法。

【請求項10】

前記テンプレート画像を更新する前のフレームの前記画像から抽出した過去の前記テンプレート画像と、前記テンプレート画像の更新時の前記フレームの前記画像から抽出した新規の前記テンプレート画像との、少なくとも一方に、過去の前記テンプレート画像よりも新規の前記テンプレート画像の重みが大きくなる重み係数で重み付けし、重み付け後の過去の前記テンプレート画像と新規の前記テンプレート画像とを平均化した画像に前記テンプレート画像を更新する
請求項９記載の移動物体認識方法。

【請求項11】

撮像装置によって時系列に撮像された複数フレームの画像に基づいて移動物体を検出する移動物体認識装置であって、
前記複数フレームの画像において特徴点を追跡する追跡部と、
第１時刻のフレームにおける前記画像上の前記特徴点の座標と、前記第１時刻よりも所定の時間幅だけ前の第２時刻の前記フレームにおける前記画像上の前記特徴点の座標との差分値より、前記特徴点に対応する物体の速度を判定する判定部とを備え、
前記所定の時間幅は、前記撮像装置から前記特徴点に対応する物体までの距離に基づいて決定され、
前記移動物体は、前記速度に基づいて検出される
移動物体認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動物体認識方法及び移動物体認識装置に関する。

【背景技術】

【0002】

特許文献１には、物体検出装置および物体検出方法の発明が記載されている。特許文献１の発明では、移動体のオプティカルフローの生成に用いるフレーム画像を、オプティカルフローの出現点を含む第１の領域と、第１の領域以外の第２の領域とに分割する。特許文献１の発明において、出現点は、フレーム画像において移動体が出現してくるように見える点を指す。特許文献１の発明では、放射状に拡がる移動体のオプティカルフローの延長線が出現点で交差する。特許文献１の発明では、オプティカルフローを生成するために用いる１組のフレーム画像の間隔として、第１の領域の第１のフレーム間隔を第２の領域の第２のフレーム間隔よりも大きくする。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０－２８６９８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の発明では、移動速度が遅い遠方の移動体が第２の領域に映り始めた場合、第２のフレーム間隔が小さく移動速度が遅いことから、１組のフレーム画像から生成される移動体のオプティカルフローの長さが短くなる。オプティカルフローが短いと、第２の領域に映った移動体をオプティカルフローから精度良く検出するのが困難になる可能性がある。特許文献１の発明では、オクルージョンの背後に隠れた移動速度の速い移動体が第２の領域に映らないまま第１の領域に映り始めた場合、第１のフレーム間隔が大きいことから、移動体のオプティカルフローが生成されるのに時間がかかる。オプティカルフローの生成に時間がかかると、移動体の移動速度が速くても、第１の領域に映った移動体の検出が遅れる可能性がある。

【0005】

本発明は前記事情に鑑みなされたもので、本発明の目的は、複数フレームの画像に映った移動体の精度良い認識と迅速な認識との両立を図ることにある。

【課題を解決するための手段】

【0006】

本発明の一つの態様に係る移動物体認識方法は、撮像装置によって時系列に撮像された複数フレームの画像に基づいて移動物体を検出するコンピュータによって実行される。この物体認識方法では、複数フレームの画像において特徴点を追跡する。物体認識方法では、第１時刻のフレームと、第１時刻よりも所定の時間幅だけ前の第２時刻のフレームとの間での、画像上における特徴点の座標の差分値により、特徴点の速度を判定し、特徴点の速度に基づいて移動物体を検出することを含む。所定の時間幅は、撮像装置から特徴点に対応する物体までの距離に基づいて決定される。

【発明の効果】

【0007】

本発明によれば、複数フレームの画像に映った移動体の精度良い認識と迅速な認識との両立を図ることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の実施形態に係る移動物体検出方法が適用される移動物体検出装置の全体構成例を示す図である。

【図2】図２は、図１の画素移動量分解能モデルの内容の一例を示す図である。

【図3】図３は、図１の可変時間幅速度推定部が決定した所定の時間幅と、可変時間幅速度推定部が特徴点の座標の差分値をフレーム間で求める第１時刻及び第２時刻との関係の一例を示す図である。

【図4】図４は、固定時間幅と、固定時間幅速度推定部が特徴点の座標の差分値をフレーム間で求める固定時間幅の前後の時刻との関係の一例を示す図である。

【図5】図５は、図１の検出速度分解能モデルの内容の一例を示す図である。

【図6】図６は、本発明の実施形態に係る移動物体検出方法の登録処理を説明するフローチャートである。

【図7】図７は、本発明の実施形態に係る移動物体検出方法の判定処理を説明するフローチャートである。

【図8】図８は、テンプレート更新処理の内容の一例を示す図である。

【図9】図９は、テンプレート更新処理の内容の他の一例を示す図である。

【発明を実施するための形態】

【0009】

図面を参照して、実施形態を説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

【0010】

図１は、本発明の実施形態に係る移動物体検出方法が適用される移動物体検出装置の全体構成例を示す図である。図１を参照して、本実施形態に係る移動物体検出装置１を説明する。移動物体検出装置１は、例えば車両に搭載されている。車両は、自動運転機能を有する車両であるが、自動運転機能を有しない車両でもよい。また、車両は、自動運転機能と手動運転機能とを切り替えることができる車両でもよい。自動運転機能は、操舵制御機能、制動力制御機能、駆動力制御機能などの複数の車両制御機能を自動的に制御して自律的に運転を行う機能であるが、複数の車両制御機能のうちの一部の機能のみを自動的に制御して運転者の運転を支援する機能であってもよい。

【0011】

移動物体検出装置１は、時系列に撮像された複数フレームの画像に基づいて移動物体を検出する。移動物体検出装置１は、演算処理装置２、撮像装置としての基準カメラ３及び比較カメラ４を備えている。

【0012】

演算処理装置２は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、移動物体検出装置１として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは移動物体検出装置１が備える複数の情報処理回路として機能する。本実施形態では、ソフトウェアによって移動物体検出装置１が備える複数の情報処理回路を実現する例を示す。もちろん専用のハードウェアにより、各情報処理を実行するための複数の情報処理回路を構成することも可能である。また複数の情報処理回路を個別のハードウェアにより構成してもよい。演算処理装置２の詳細は、後述する。

【0013】

基準カメラ３は、車両前方の主要範囲を撮像範囲とするカメラである。比較カメラ４は、車両前方の主要範囲を撮像範囲とするカメラである。基準及び比較カメラ３、４は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの固体撮像素子を備えている。基準及び比較カメラ３、４は、ステレオカメラを構成する一対のカメラであり、車両の車幅方向にかけて所定の距離だけ離隔して配置されている。基準及び比較カメラ３、４は、同期したタイミングで撮像を行い、時系列に撮像された複数フレームの画像を、所定のフレームレートで出力する。

【0014】

演算処理装置２は、基準及び比較カメラ３、４から取得した画像に基づいて、所定の処理を行う。演算処理装置２は、複数の情報処理回路として、特徴点追跡部２１、視差計測部２２、特徴点履歴管理部２３、可変時間幅速度推定部２４、高精度移動フロー判定部２５、固定時間幅速度推定部２６、及び低遅延移動フロー判定部２７を備えている。演算処理部２は、複数の情報処理回路として、さらに、特徴点更新部２８、自車両挙動推定部３１、速度決定部３２、及びクラスタリング部３３を備えている。演算処理部２は、データストレージとしての記憶部３０をさらに備えている。記憶部３０は、例えば、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）であってもよい。記憶部３０には、２つのモデルの情報と、固定速度閾値及び固定時間幅の各情報とが格納される。２つのモデルは、検出速度分解能モデルと画素移動量分解能モデルである。各情報については後述する。

【0015】

特徴点追跡部２１は、基準カメラ３から画像を取得する追跡部である。特徴点追跡部２１は、あるフレームの画像から特徴点を含むテンプレート画像を抽出し、あるフレーム以降のフレームの画像からテンプレート画像と相関度が高い領域を特定するテンプレートマッチングにより、複数フレームの画像において特徴点を追跡する。特徴点追跡部２１は、画像中に複数の特徴点が存在する場合、各特徴点を追跡する。なお、特徴点追跡部２１は、画像内の特徴点を含む一部の領域をテンプレート画像として抽出してもよく、画像の全域をテンプレート画像として抽出してもよい。テンプレート画像は、テンプレート画像を抽出する基準カメラ３の画像の内容が時間の経過と共に変化するのに対応して更新してもよい。テンプレート画像の更新については後述する。

【0016】

視差計測部２２は、基準及び比較カメラ３、４から画像をそれぞれ取得する視差計測部２２は、基準及び比較カメラ３、４から出力される同じフレームの一対の画像を用いてステレオマッチング処理を行う。視差計測部２２は、ステレオマッチング処理により、フレーム毎に視差を計測し、計測した視差から、特徴点に対応する物体の距離を特定する。物体の距離は、例えば、基準カメラ３から物体までの距離とすることができる。視差計測部２２は、画像全域についての視差を算出するが、特徴点毎に視差を求めてもよい。

【0017】

特徴点履歴管理部２３は、特徴点毎に、特徴点追跡部２１が追跡するフレーム毎の特徴点の情報を管理する。特徴点履歴管理部２３は、特徴点追跡部２１によって追跡された特徴点の履歴を、特徴点の情報として履歴管理領域に記憶させ、フレーム毎に管理する。特徴点の情報は、各フレームの画像における座標の情報、及び視差計測部２２によって計測された特徴点の、各フレームにおける視差の情報を含む。履歴管理領域は、例えば、記憶部３０に確保することができる。特徴点履歴管理部２３は、特徴点の履歴の管理に関する処理を、例えば、演算処理装置２のメモリに設けたバッファ領域を利用して行うことができる。

【0018】

可変時間幅速度推定部２４及び固定時間幅速度推定部２６は、記憶部３０の履歴管理領域に記憶された複数フレームの特徴点の履歴を、各部２４、２６にそれぞれ対応する時間幅の周期のフレームについて取得する。可変時間幅速度推定部２４及び固定時間幅速度推定部２６は、それぞれの時間幅の周期に対応するフレームの特徴点の履歴を、記憶部３０から特徴点履歴管理部２３に選択させて取得することができる。可変時間幅速度推定部２４及び固定時間幅速度推定部２６は、それぞれの時間幅の周期に対応するフレームの特徴点の履歴から、特徴点に対応する物体の車両に対する相対速度を推定する。高精度移動フロー判定部２５及び低遅延移動フロー判定部２７は、特徴点に対応する物体の相対速度を絶対速度に変換し、それぞれの速度閾値に基づいて、特徴点に対応する物体が移動物体であるか否かを判定する。以下、各部２４～２７について詳細に説明する。

【0019】

可変時間幅速度推定部２４は、所定の時間幅の周期に対応するフレームの特徴点の履歴を、特徴点履歴管理部２３を介して取得する。所定の時間幅は可変である。可変時間幅速度推定部２４は、履歴を取得する特徴点に対応する物体について視差計測部２２が特定した距離に基づいて、所定の時間幅を決定する。可変時間幅速度推定部２４は、記憶部３０の画素移動量分解能モデルを用いて、所定の時間幅を決定することができる。

【0020】

基準カメラ３で撮像した物体が移動した場合、画像に映った物体の画素の位置が移動すると、物体の移動を画像上で認識することができる。画像上の物体が１画素移動するときの物体の移動距離は、基準カメラ３に近い物体ほど短く、基準カメラ３から遠い物体ほど長い。例えば、物体の距離が１０メートル、２０メートル、４０メートルと増えれば、画像上で物体の移動を認識できるのに必要なフレーム間隔が１倍、２倍、４倍と増える。記憶部３０の画素移動量分解能モデルは、基準カメラ３で撮像した画面上で画面に映った物体の移動が認識できるフレーム間隔を物体の距離毎に定義してモデル化したものである。

【0021】

画素移動量分解能モデルには、物体の距離毎に可変時間幅が定義されている。可変時間幅は、可変とした所定の時間幅をフレーム単位の時間間隔によって表したものである。可変時間幅は、特徴点の移動が画像上で認識される最小のフレーム間隔を示している。画素移動量分解能モデルは、特徴点の移動が画像上で認識される移動量の分解能を距離毎に定義した移動量モデルである。

【0022】

図２は、画素移動量分解能モデルの内容の一例を示す図である。図２では、１０メートルの距離にある物体の移動が画面上で１フレーム間隔で認識できる場合に、２０メートル、４０メートルの各距離にある物体を画面上で認識するには、２フレーム間隔、４フレーム間隔がそれぞれ必要になることを示している。画素移動量分解能モデルにおける物体の距離に対応するフレーム間隔は、実験データに基づいて設定してもよく、基準カメラ３の解像度及び焦点距離から理論的に設定してもよい。画素移動量分解能モデルに設定するフレーム間隔は、実験又は計算によって求めた値のままでもよく、標本化定理に基づいて２倍にした値としてもよい。

【0023】

可変時間幅速度推定部２４は、特徴点追跡部２１が追跡した特徴点について、視差計測部２２が視差から特定した距離を、特徴点に対応する物体の距離として取得する。可変時間幅速度推定部２４は、取得した物体の距離に対応する所定の時間幅を、画素移動量分解能モデルに基づいて決定する。可変時間幅速度推定部２４は、決定した所定の時間幅の周期に対応するフレームの特徴点の履歴を、特徴点履歴管理部２３を介して取得する。可変時間幅速度推定部２４が取得する特徴点の履歴は、第１時刻のフレームにおける画像上の特徴点の座標と、第１時刻よりも所定の時間幅だけ前の第２時刻のフレームにおける画像上の特徴点の座標とを含む。可変時間幅速度推定部２４は、第１時刻の特徴点の座標と第２時刻の特徴点の座標との差分値より特徴点のオプティカルフローを生成し、特徴点に対応する物体の車両に対する相対速度を推定する。

【0024】

図３は、可変時間幅速度推定部２４が決定した所定の時間幅と、可変時間幅速度推定部２４が特徴点の座標の差分値をフレーム間で求める第１時刻及び第２時刻との関係の一例を示す図である。図３の横軸のｔ１～ｔ７は、基準カメラ３が複数フレームの画像を撮像するタイミングを示す。例えば、所定の時間幅が４フレームである場合、可変時間幅速度推定部２４は、４フレーム以上前に基準カメラ３が撮像した画像が発生する時間ｔ５以降に、特徴点に対応する物体の車両に対する相対速度を推定することができる。可変時間幅速度推定部２４は、例えば、第１時刻及び第２時刻に当たる時間ｔ５、ｔ１の両フレームについて特徴点の履歴を取得し、時間ｔ５、ｔ１における特徴点の座標の差分値より、特徴点に対応する物体の相対速度を推定することができる。可変時間幅速度推定部２４は、例えば、時間ｔ６以後、時間ｔ７以後に、それぞれの第１時刻及び第２時刻に当たる時間ｔ６、ｔ２、時間ｔ７、ｔ３における特徴点の座標の差分値より、特徴点に対応する物体の相対速度をそれぞれ推定することができる。可変時間幅速度推定部２４は、特徴点追跡部２１が追跡した全ての特徴点について、特徴点に対応する物体の相対速度を推定する。可変時間幅速度推定部２４は、物体の距離に対応した所定の時間幅を決定することで、車両に対する物体の相対速度を基準カメラ３の画像に基づいて観測するための、画像の分解能を保証することができる。

【0025】

高精度移動フロー判定部２５は、高精度移動フロー判定を行う。高精度移動フロー判定部２５は、高精度移動フロー判定において、世界座標系における車両の位置の座標と、各特徴点に対応する物体の距離とに基づいて、可変時間幅速度推定部２４が各特徴点に対応する物体について推定した相対速度を絶対速度に変換する。世界座標系における車両の座標は、例えば、車両に搭載された不図示のＧＮＳＳ（Global Navigation Satellite System／全球測位衛星システム）センサによって取得することができる。物体の相対速度は、車両の挙動により画面上で生じた特徴点の移動成分を含んでいる。自車両挙動推定部３１は、特徴点のこの移動成分を推定する。自車両挙動推定部３１は、世界座標系における車両の座標をＧＮＳＳセンサによって取得できるので、車両の挙動により画面上で生じた特徴点の移動成分を、例えば、基準カメラ３による撮像画像のブレ等に基づいて推定することができる。高精度移動フロー判定部２５は、自車両挙動推定部３１の推定結果を参照し、世界座標系における車両の位置の座標と、各特徴点に対応する物体の距離とに基づいて、各物体の相対速度を、車両の挙動による影響を排除した絶対速度に変換することができる。可変時間幅速度推定部２４及び高精度移動フロー判定部２５は、特徴点に対応する物体の速度を判定する判定部を構成することができる。

【0026】

高精度移動フロー判定部２５は、絶対速度が記憶部３０の固定速度閾値以上の物体を移動物体と判定し、移動物体と判定した物体の情報をクラスタリング部３３に通知する。高精度移動フロー判定部２５が通知する物体の情報は、その物体に対応する特徴点のオプティカルフローの情報を含む。

【0027】

固定時間幅速度推定部２６は、記憶部３０の固定時間幅の周期に対応するフレームの特徴点の履歴を、特徴点履歴管理部２３を介して取得する。固定時間幅は、画像上での特徴点の移動により移動物体を検出したい最低の時間幅を示す。固定時間幅は、物体の距離によらず共通に設定される。固定時間幅速度推定部２６は、固定時間幅の前後の両時刻における特徴点の座標の差分値より特徴点のオプティカルフローを生成し、特徴点に対応する物体の車両に対する相対速度を推定する。固定時間幅速度推定部２６は、特徴点追跡部２１が追跡した全ての特徴点について、特徴点に対応する物体の相対速度を推定する。低遅延移動フロー判定部２７は、低遅延移動フロー判定を行う。低遅延移動フロー判定部２７は、低遅延移動フロー判定において、自車両挙動推定部３１の推定結果を参照し、世界座標系における車両の位置の座標に基づいて、各物体の相対速度を、車両の挙動による影響を排除した絶対速度に変換する。

【0028】

図４は、固定時間幅と、固定時間幅速度推定部２６が特徴点の座標の差分値をフレーム間で求める固定時間幅の前後の時刻との関係の一例を示す図である。図４では、固定時間幅を１フレームの間隔としている場合を示している。固定時間幅速度推定部２６は、連続する前後２つの時刻ｔ２、ｔ１、時刻ｔ３、ｔ２、時刻ｔ４、ｔ３における特徴点の座標の差分値より、特徴点に対応する物体の相対速度をそれぞれ推定することができる。

【0029】

低遅延移動フロー判定部２７は、固定時間幅速度推定部２６が履歴を取得した特徴点について、視差計測部２２が視差から特定した距離を、特徴点に対応する物体の距離として取得する。低遅延移動フロー判定部２７は、取得した物体の距離に対応する可変速度閾値を決定する。可変速度閾値は、物体の距離によって異なる。可変速度閾値は、移動物体として検出する物体の距離毎の最低速度を定義する閾値である。低遅延移動フロー判定部２７は、記憶部３０の検出速度分解能モデルを用いて、可変速度閾値を決定することができる。

【0030】

画像上の物体が１画素移動するときの物体の移動速度は、基準カメラ３に近い物体ほど遅く、基準カメラ３から遠い物体ほど速い。例えば、物体の距離が１０メートル、２０メートル、４０メートルと増えれば、画像上で物体の移動を認識できる物体の速度が１倍、２倍、４倍と増える。記憶部３０の検出速度分解能モデルは、基準カメラ３で撮像した画面上で画面に映った物体の移動が認識できる移動速度を、物体の距離毎に定義してモデル化したものである。

【0031】

検出速度分解能モデルには、物体の距離毎に可変速度閾値が定義されている。可変速度閾値は、移動物体として検出できる物体の最低移動速度を示している。検出速度分解能モデルは、特徴点の移動が画像上で認識される速度の分解能を距離毎に定義した速度モデルである。

【0032】

図５は、検出速度分解能モデルの内容の一例を示す図である。図５では、固定時間幅が１フレームである場合、１０メートルの距離にある物体の移動が画面上で認識できる最低の速度が、プラスマイナス（±）１．０ｍ／ｓであることを示している。検出速度分解能モデルにおける物体の距離に対応する可変速度閾値は、実験データに基づいて設定してもよく、基準カメラ３の解像度及び焦点距離から理論的に設定してもよい。検出速度分解能モデルに設定する可変速度閾値は、例えば、実験又は計算によって求めることができる。

【0033】

低遅延移動フロー判定部２７は、絶対速度が距離に対応した可変速度閾値以上の物体を移動物体と判定し、移動物体と判定した物体の情報を速度決定部３２に通知する。低遅延移動フロー判定部２７が通知する物体の情報は、その物体について低遅延移動フロー判定部２７が相対速度から変換した絶対速度の情報を含む。

【0034】

可変時間幅速度推定部２４及び固定時間幅速度推定部２６は、視差計測部２２が特定した距離を取得する代わりに、別の方法で物体の距離を取得してもよい。例えば、物体の相対速度を求める時点における基準及び比較カメラ３、４の画像に関する特徴点の視差の情報を記憶部３０の履歴管理領域から取得し、取得した視差の情報から特徴点に対応する物体の距離を算出してもよい。例えば、基準カメラ３の複数フレームの画像からカルマンフィルタ等を用いて推定された、画像中の特徴点に対応する物体の距離を、取得してもよい。

【0035】

高精度移動フロー判定部２５の高精度移動フロー判定及び低遅延移動フロー判定部２７の低遅延移動フロー判定は、例えば、基準カメラ３による画像の撮像周期毎に行ってもよく、撮像周期の複数倍の周期毎に間引いて行ってもよい。高精度移動フロー判定部２５及び低遅延移動フロー判定部２７は、各判定を行わない期間に、例えば、移動物体の判定、移動物体と判定した物体に対応する特徴点のクラスタリング等、移動物体の検出に関する処理を行うことができる。高精度移動フロー判定部２５及び低遅延移動フロー判定部２７は、各判定に必要なフレームの画像を基準カメラ３が撮像したのに続いて処理を行ってもよく、基準カメラ３の撮像に関する処理と並行して、別プロセスで処理を行ってもよい。

【0036】

高精度移動フロー判定部２５は、可変時間幅速度推定部２４が生成した、画像上での特徴点の移動を認識できる所定の時間幅のオプティカルフローから、物体の絶対速度を高精度で求めることができる。但し、所定の時間幅は固定時間幅以上であることから、可変時間幅速度推定部２４が物体の絶対速度を求めるのには、固定時間幅以上の待ち時間をかけて所定の時間幅の前後の画像を取得する必要がある。このため、高精度移動フロー判定部２５による判定処理は、低遅延移動フロー判定部２７による判定処理に比べて、高遅延の処理となる。

【0037】

低遅延移動フロー判定部２７は、固定時間幅速度推定部２６が生成したオプティカルフローから、所定の時間幅以下である固定時間幅の待ち時間で固定時間幅の前後のフレームの画像を取得し、物体の絶対速度を低遅延で求めることができる。固定時間幅を、基準カメラ３による画像の１フレーム分の撮像周期とすれば、画像の取得から物体の絶対速度を求めるまでの遅延を最小にすることができる。但し、速度推定部２６が固定時間幅のオプティカルフローから求めることができる物体の絶対速度の最低値は、特徴点に対応する物体の距離が長くなるほど速くなる。このため、低遅延移動フロー判定部２７による判定処理は、高精度移動フロー判定部２５による判定処理に比べて、低精度の処理となる。

【0038】

速度決定部３２は、低遅延移動フロー判定部２７が相対速度から変換した絶対速度の物体が移動物体に該当する場合に、その物体の絶対速度として採用する速度を決定する。速度決定部３２が絶対速度として採用する速度を決定する方法については後述する。速度決定部３２は、絶対速度として採用する速度を決定した物体の情報をクラスタリング部３３に通知する。速度決定部３２が通知する物体の情報は、その物体に対応する特徴点のオプティカルフローの情報を含む。

【0039】

クラスタリング部３３は、移動物体に該当する物体に対応する特徴点を、可変時間幅速度推定部２４又は速度決定部３２から通知された特徴点のオプティカルフローに基づいてクラスタリングする。クラスタリング部３３は、このクラスタリングにより、特徴点に対応する物体から１又は複数の移動物体を検出することができる。

【0040】

以下、図６及び図７を参照し、本実施形態の移動物体認識装置１によって実行される移動物体認識方法を説明する。移動物体認識方法は、図６に示す特徴点の情報を登録する登録処理と、図７に示す移動体を判別する判定処理とに大別される。本実施形態では、登録処理と、判定処理とを別プロセスとして並列に行うが、登録処理と判定処理とを直列的に行ってもよい。

【0041】

まず、図６を参照し、登録処理を説明する。登録処理は、画像の撮像周期に合わせて実行される。特徴点追跡部２１は、基準カメラ３から画像を取得し、視差計測部２２は、基準及び比較カメラ３、４から画像をそれぞれ取得する（Ｓ１０）。特徴点追跡部２１は、既に検出されている特徴点を追跡し、現在の画像における特徴点の座標を特定する（Ｓ１１）。また、特徴点追跡部２１は、現在の画像において新たな特徴点を検出し、現在の画像における特徴点の座標を特定する（Ｓ１２）。視差計測部２２は、基準及び比較カメラ３、４から画像をそれぞれ取得する。視差計測部２２は、視差画像から各特徴点の視差を算出する（Ｓ１３）。特徴点履歴管理部２３は、特徴点追跡部２１が特定した特徴点の座標及び視差計測部２２が特定した視差を、記憶部３０の履歴管理領域に登録する（Ｓ１４）。特徴点更新部２８は、特徴点追跡部２１が特徴点を検出するためのテンプレートを更新する（Ｓ１５）。なお、テンプレート更新処理の詳細は、後述する。

【0042】

図７を参照し、判定処理を説明する。まず、可変時間幅速度推定部２４は、処理周期に到達したか否か判断する（Ｓ２０）。処理周期は、画像の撮像周期と同じであるが、１つ以上の画像が間引かれるように、画像の撮像周期よりも大きな周期であってもよい。処理周期に到達した場合には、ステップＳ２１～ステップＳ２６の処理、又は、ステップＳ２１、ステップＳ２２、ステップＳ２７～ステップＳ３５の処理を行う。ステップＳ２１～ステップＳ２６の処理、又は、ステップＳ２１、ステップＳ２２、ステップＳ２７～ステップＳ３５の処理は、特徴点毎に実行される。一方、処理周期に到達しない場合には、ステップＳ２１にリターンする。

【0043】

可変時間幅速度推定部２４は、特徴点に対応する物体の速度を求めるための所定の時間幅として、可変時間幅を決定する（Ｓ２１）。可変時間幅速度推定部２４は、特徴点履歴管理部２３を用いて、特徴点の履歴が現在よりも可変時間幅前の分まであるか否かを判断する（Ｓ２２）。可変時間幅前までの履歴がない場合は、後述するステップＳ２７の処理に進む。可変時間幅前までの履歴がある場合、可変時間幅速度推定部２４は、特徴点に対応する物体の車両に対する相対速度を、基準カメラ３の画像の横方向について算出する（Ｓ２３）。高精度移動フロー判定部２５は、物体の相対速度を絶対速度に変換し（Ｓ２４）、絶対速度が固定速度閾値以上である物体に対応する特徴点を、移動特徴点としてラベル付けする（Ｓ２５）。速度決定部３２は、ステップＳ２４で絶対速度に変換した物体に対応する特徴点が、移動物体に該当するか否かを確認する（Ｓ２６）。速度決定部３２は、高精度移動フロー判定部２５が特徴点を移動特徴点としてラベル付けしたか否かによって、移動物体に該当するか否かを確認することができる。移動物体に該当しない場合は、後述するステップＳ２８の処理に進む。移動物体に該当する場合、ステップＳ２１～ステップＳ２６の処理、又は、ステップＳ２１、ステップＳ２２、ステップＳ２７～ステップＳ３５の処理を終えていない特徴点があればＳ２１にリターンする。ステップＳ２１～ステップＳ２６の処理、又は、ステップＳ２１、ステップＳ２２、ステップＳ２７～ステップＳ３５の処理を全ての特徴点について終えていれば、後述するステップＳ３６の処理に進む。

【0044】

ステップＳ２７では、固定時間幅速度推定部２６は、特徴点履歴管理部２３を用いて、特徴点の履歴が現在よりも固定時間幅前の分まであるか否かを判断する。固定時間幅前までの履歴がない場合は、Ｓ２１にリターンする。固定時間幅前までの履歴がある場合は、Ｓ２８の処理に進む。ステップＳ２８では、固定時間幅速度推定部２６が、特徴点に対応する物体の車両に対する相対速度を、基準カメラ３の画像の横方向について算出する。低遅延移動フロー判定部２７は、物体の相対速度を絶対速度に変換する（Ｓ２９）。低遅延移動フロー判定部２７は、移動物体に該当する速度の物体を判定するための可変速度閾値を決定する（Ｓ３０）。低遅延移動フロー判定部２７は、絶対速度が可変速度閾値以上である物体に対応する特徴点を、移動特徴点としてラベル付けする（Ｓ３１）。

【0045】

演算処理装置２は、移動特徴点としてラベル付けした特徴点について、固定時間幅を増やして、特徴点に対応する物体の絶対速度を再計算する（Ｓ３２）。演算処理装置２は、再計算した物体の絶対速度に基づいて、再計算した絶対速度の物体が移動物体に該当するか否かを確認する（Ｓ３３）。増やした後の固定時間幅は、例えば、物体の距離に対応する可変時間幅である所定の時間幅を最大値とする時間幅であってもよい。物体の距離に対応する所定の時間幅の最大値を、増やした後の固定時間幅とし、可変時間幅速度推定部２４及び高精度移動フロー判定部２５を用いて、ステップＳ３２の絶対速度の再計算を行ってもよい。この場合、演算処理装置２は、再計算した物体の絶対速度が固定速度閾値以上であるか否かを高精度移動フロー判定部２５に確認させて、ステップＳ３３の移動物体に該当するか否かの確認を行うことができる。

【0046】

速度決定部３２は、演算処理装置２が再計算した絶対速度の物体が移動物体に該当する場合、再計算した絶対速度を採用する（Ｓ３４）。速度決定部３２は、演算処理装置２が再計算した絶対速度の物体が移動物体に該当しない場合、ステップＳ２９で相対速度から変換した元の絶対速度を採用する（Ｓ３５）。ステップＳ２１～ステップＳ２６の処理、又は、ステップＳ２１、ステップＳ２２、ステップＳ２７～ステップＳ３５の処理を終えていない特徴点があればＳ２１にリターンする。ステップＳ２１～ステップＳ２６の処理、又は、ステップＳ２１、ステップＳ２２、ステップＳ２７～ステップＳ３５の処理を全ての特徴点について終えていれば、ステップＳ３６の処理に進む。

【0047】

ステップＳ３６では、クラスタリング部３３が、高精度移動フロー判定部２５又は速度決定部３２が通知した特徴点のオプティカルフローをクラスタリングし、１又は複数の移動物体を検出する。速度決定部３２が、ステップＳ３４において、高精度移動フロー判定部２５を用いて再計算した絶対速度を採用した場合、クラスタリング部３３は、低遅延移動フロー判定よりも高精度移動フロー判定の結果を優先して用いて、移動物体を検出することになる。この場合、画素移動量分解能モデルと固定速度閾値とに基づいて設定された所定の時間幅により判定した絶対速度の物体が、可変速度閾値以上の速度の物体よりも優先して、移動物体として検出される。

【0048】

次に、図６のステップＳ１５におけるテンプレート更新処理について説明する。一般的に、特徴点追跡を高周期で行う事で、特徴点の周辺画素形状の変化が小さくなり追跡の精度が高くなる。また、テンプレートマッチングによる特徴点追跡において、探索領域を狭く設定できるという利点を持つ。しかしながら、特徴点追跡を行うテンプレートについて、１フレーム間での動きが１画素未満となる遅い物体を追跡する際に、毎フレーム更新を行うと正しく追跡できない課題がある。課題対策のため、センサとして認識したい最低の目標検出速度に基づいて、特徴点に対応する物体の距離毎に最適な更新周期を設定する。例えば、観測した距離において目標速度の物体に対応する特徴点が、画像上で１画素移動するまでにかかるフレーム数を、該当する特徴点のテンプレート画像の更新フレームとする。この場合、テンプレート画像の更新は、例えば、物体の距離に対応する所定の時間幅の倍数のフレーム間隔で行うことができる。

【0049】

図８は、テンプレート更新処理の内容の一例を示す図である。図８では、観測した距離において目標速度の物体が、１画素移動するまでに２フレーム分の時間がかかる場合を示している。図８の時系列上では、例えば、基準カメラ３による画像の撮像周期の２フレーム毎の時間ｔ１、時間ｔ３で、１００％のテンプレート更新を行う。また、フレーム間隔は固定でなく、対象の特徴点の距離に基づいて変更しても良い。

【0050】

また、フレーム間隔を間引き、テンプレート画像の更新を一度に行うのでなく、重み付け平均をとりながら、テンプレート画像の更新を毎フレーム行ってもよい。重み付けは、例えば、テンプレート画像を更新する前の画像から抽出した過去のテンプレート画像と、テンプレート画像の更新時に画像から抽出した新規のテンプレート画像との、少なくとも一方に対して行うことができる。重み付けの重み係数は、例えば、過去のテンプレート画像よりも新規のテンプレート画像の重みが大きくなるような内容とすることができる。例えば、更新フレーム間隔ｆの半分の間隔で過去のテンプレート画像の情報が半減するように設計する場合、過去のテンプレート画像の重みをａ, 最新の画像で追跡がしたい特徴点周辺の新規のテンプレート画像の重みをｂとしたときに、下式で重みを決定できる。重みａ、ｂは、例えば、演算処理装置２のメモリ又は記憶部３０に記憶させておくことができる。

【数1】

【0051】

図９は、テンプレート更新処理の内容の他の一例を示す図である。図９では、基準カメラ３による画像の撮像周期の１フレーム毎に、テンプレート更新を行う場合を示している。図９の時系列上では、例えば、基準カメラ３による画像の撮像周期の各フレームの時間ｔ１、時間ｔ２、時間ｔ３、時間ｔ４において、重みａ＝２５％、重みｂ＝７５％で、過去及び新規のテンプレート画像を平均化するテンプレート画像の更新を、それぞれ行う。

【0052】

なお、本更新については、テンプレートマッチングを用いた特徴点追跡に限定されるものでなく、勾配法による特徴点追跡における、追跡する対象画素と、それと同じ動きをする周辺画素を構成する勾配法の対象領域に、適用してもよい。

【0053】

本実施形態では、物体の距離に対応する可変の所定の時間幅で、現在と過去の２つのフレーム間における特徴点の座標の差分値を求め、この差分値から求めた、特徴点に対応する物体の絶対速度に基づいて、移動物体を検出する。物体の距離に対応して決定した所定の時間幅でフレーム間の特徴点の移動を認識するので、車両に対する物体の相対速度を基準カメラ３の画像に基づいて観測するための画像の分解能が保証される時間幅を、物体の距離に基づいて適切に設定することができる。

【0054】

本実施形態では、所定の時間幅を、特徴点の移動が画像上で認識されるフレーム間隔の分解能を距離毎に定義した画素移動量分解能モデルと、移動物体として検出する物体の最低速度として予め設定された固定速度閾値とに基づいて設定する。所定の時間幅の設定に画素移動量分解能モデルを用いることで、基準カメラ３の画像に映った移動物体を検出する目標の性能に基づいて、所定の時間幅を最適な値に設定することができる。また、最適な値とした所定の時間幅の前後で、画像間における特徴点の座標の差分値を求めて、特徴点に対応する物体の速度を判定することで、複数フレームの画像に映った移動体の精度良い認識と迅速な認識との両立を図ることができる。

【0055】

本実施形態では、絶対速度が固定速度閾値以上の物体に対応する特徴点をクラスタリングして、移動物体を検出する。クラスタリングの対象を、絶対速度が固定速度閾値以上の物体に対応する特徴点に限定することで、移動物体に対応する移動特異点を対象にクラスタリングし、クラスタリングによる移動物体の検出精度を向上させることができる。

【0056】

本実施形態では、ステレオカメラを構成する基準及び比較カメラ３、４から取得した同じフレームの一対の画像の視差に基づいて、特徴点に対応する物体の距離を特定する。この場合、所定の時間幅の設定根拠となる物体の距離を精度良く特定し、所定の時間幅を適切な値に設定することができる。

【0057】

本実施形態では、車両の挙動により画面上で生じた特徴点の移動成分を推定し、推定したい同成分を、フレーム間の画像における特徴点の座標の差分値から排除して、特徴点に対応する物体の相対速度を推定する。これにより、相対速度から変換した物体の絶対速度を、車両の挙動による影響を排除した速度とし、自車両の影響を除去した絶対速度を求めることができる。

【0058】

本実施形態では、物体の距離について画素移動量分解能モデルに定義された、特徴点の移動が画像上で認識されるフレーム間隔の分解能と、固定時間幅によって算出した物体の速度とに基づいて、移動物体とする物体の距離毎の可変速度閾値を設定する。物体の絶対速度がその物体の距離に対応する可変速度閾値以上である場合に、その物体を移動物体として検出する。このため、低遅延移動フロー判定部２７により低遅延で求めた物体の絶対速度の情報に基づいて、移動物体を素早く検出することができる。

【0059】

本実施形態では、画素移動量分解能モデルと固定速度閾値とに基づいて設定された所定の時間幅により判定した絶対速度の物体が、可変速度閾値以上の速度の物体よりも優先して、移動物体として検出される。この場合、低遅延移動フロー判定よりも精度が高い高精度移動フロー判定の結果を優先して用いて、移動物体を検出することができる。

【0060】

本実施形態では、移動特徴点としてラベル付けした特徴点について、固定時間幅を増やして、特徴点に対応する物体の絶対速度を再計算する。これにより、演算処理装置２が求めた物体の絶対速度のうち、精度が高い絶対速度を優先して、移動物体の検出に用いることができる。

【0061】

本実施形態では、画像から抽出した特徴点を含む領域のテンプレート画像を、所定の時間幅の倍数のフレーム間隔で更新する。これにより、物体の距離と、基準カメラ３の画像に映った移動物体を検出する目標の性能とに基づいて、最適な間隔でテンプレート画像を更新することができる。

【0062】

本実施形態では、テンプレート画像を更新する前の画像から抽出した過去のテンプレート画像と、テンプレート画像の更新時に画像から抽出した新規のテンプレート画像との、少なくとも一方に対して、重み付けを行う。重み付けの重み係数は、例えば、過去のテンプレート画像よりも新規のテンプレート画像の重みが大きくなるような内容とすることができる。これにより、テンプレート画像の更新による変化を緩やかにし、基準カメラ３の画像に時間の経過により生じた微細な変化を、更新されたテンプレート画像に反映させることができる。

【0063】

本実施形態では、テンプレート画像の更新を行う特徴点更新部２８を演算処理装置２に設けたが、特徴点更新部２８は省略してもよい。本実施形態では、固定時間幅速度推定部２６及び低遅延移動フロー判定部２７を演算処理装置２に設けたが、固定時間幅速度推定部２６及び低遅延移動フロー判定部２７は省略してもよい。その場合、記憶部３０には、画素移動量分解能モデル及び固定時間幅の情報を格納しなくてもよい。また、固定時間幅速度推定部２６及び低遅延移動フロー判定部２７を省略する場合、図７のフローチャートにおけるステップＳ２６～ステップＳ３５の各処理は省略される。ステップＳ２２で、可変時間幅前までの履歴がない場合は、ステップＳ２１にリターンする。ステップＳ２５のラベル付けの後、ステップＳ２１～ステップＳ２５の処理を終えていない特徴点があればＳ２１にリターンする。ステップＳ２１～ステップＳ２５の処理を全ての特徴点について終えていれば、ステップＳ３６の処理に進む。

【0064】

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

【符号の説明】

【0065】

１ 移動物体検出装置
３ 基準カメラ（撮像装置、ステレオカメラ）
４ 比較カメラ（撮像装置、ステレオカメラ）
２１ 特徴点追跡部（追跡部）
２４ 可変時間幅速度推定部（判定部）
２５ 高精度移動フロー判定部（判定部）
２６ 固定時間幅速度推定部
２７ 低遅延移動フロー判定部
３１ 自車両挙動推定部
３２ 速度決定部
３３ クラスタリング部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】