特許 6869672 物体追従システム、物体追従装置、物体追従方法、及び物体追従プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6869672

(24)【登録日】2021年4月16日

(45)【発行日】2021年5月12日

(54)【発明の名称】物体追従システム、物体追従装置、物体追従方法、及び物体追従プログラム

(51)【国際特許分類】

   G06T 7/246 20170101AFI20210426BHJP

   G06T 7/20 20170101ALI20210426BHJP

   H04N 7/18 20060101ALI20210426BHJP

【ＦＩ】

   G06T7/246

   G06T7/20 100

   H04N7/18 G

   H04N7/18 J

【請求項の数】7

【全頁数】16

(21)【出願番号】特願2016-179154(P2016-179154)

(22)【出願日】2016年9月14日

(65)【公開番号】特開2018-45405(P2018-45405A)

(43)【公開日】2018年3月22日

【審査請求日】2018年11月5日

【審判番号】不服2020-5885(P2020-5885/J1)

【審判請求日】2020年4月30日

(73)【特許権者】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(72)【発明者】

【氏名】アリ ウィドド

(72)【発明者】

【氏名】土井 浩史

(72)【発明者】

【氏名】福田 弘之

【合議体】

【審判長】 清水 正一

【審判官】 樫本 剛

【審判官】 渡辺 努

(56)【参考文献】

【文献】 特開２０１５−２２５５４６（ＪＰ，Ａ）

【文献】 特開２００３−１１５０５２（ＪＰ，Ａ）

【文献】 特開２０１６−９２８７（ＪＰ，Ａ）

【文献】 特開２００８−３３８１８（ＪＰ，Ａ）

【文献】 特開２０１５−２２６２５５（ＪＰ，Ａ）

【文献】 特開平２−１２３８７７（ＪＰ，Ａ）

【文献】 特開２０１１−１８１０１４（ＪＰ，Ａ）

【文献】 特開２０１５−２３０５１５（ＪＰ，Ａ）

【文献】 市村直幸、「フレーム毎の特徴点抽出に基づく特徴点の追跡」、情報処理学会研究報告〔コンピュータビジョンとイメージメディア〕、２００１−ＣＶＩＭ−１３０、２００１年１１月８日、１３０−５、３１〜３８頁

(58)【調査した分野】（Int.Cl.，ＤＢ名）

G06T 7/00 - 7/90

H04N 7/18

G08B 13/194 - 13/196, 25/00

(57)【特許請求の範囲】

【請求項1】

車両に設置され、前記車両の外部を連続的に撮影して撮影画像を生成するカメラと、
前記撮影画像において認識対象の物体を追従する物体追従装置と、
を備えた物体追従システムであって、
前記物体追従装置は、
前記撮影画像の第１フレームから前記認識対象の物体を検出する物体検出部と、
前記第１フレームから前記物体検出部にて検出された前記認識対象の物体の特徴点を抽出する特徴点抽出部と、
前記第１フレームの次の第２フレームにおいて、前記認識対象の物体を追従する追従処理部と、
を備え、
前記追従処理部は、前記第２フレームにおいて特徴点を抽出し、前記第１フレームの特徴点を前記第２フレームの特徴点と照合して対応特徴点を求めることで、前記認識対象の物体を追従し、かつ、前記第２フレームの次の第３フレームのために、前記第２フレームにおいて新たな特徴点を追加し、
前記追従処理部は、前記第１フレームにて検出された前記認識対象の物体を含むように前記第２フレームに設定された注目領域にて前記特徴点を抽出する、物体追従システム。

【請求項2】

前記追従処理部は、前記第２フレームの特徴点についてブロック照合を行うことで、前記第１フレームの特徴点の近傍にある前記第２フレームの特徴点を前記対応特徴点とする、請求項１に記載の物体追従システム。

【請求項3】

前記追従処理部は、前記第２フレームの前記対応特徴点に基づいて、前記第３フレームのために前記注目領域を移動し、移動された前記注目領域から前記第３フレームのために追加する特徴点を抽出する、請求項１に記載の物体追従システム。

【請求項4】

前記追従処理部は、前記第２フレームにおいて所定数の前記特徴点を抽出し、前記特徴点として抽出されたが前記対応特徴点とされなかった前記特徴点を補う数の新たな前記特徴点を前記第３フレームのために追加する、請求項３に記載の物体追従システム。

【請求項5】

車両に設置されたカメラにて車両の外部を連続的に撮影して生成された撮影画像を取得し、前記撮影画像において認識対象の物体を追従する物体追従装置であって、
前記撮影画像の第１フレームから前記認識対象の物体を検出する物体検出部と、
前記第１フレームから前記物体検出部にて検出された前記認識対象の物体の特徴点を抽出する特徴点抽出部と、
前記第１フレームの次の第２フレームにおいて特徴点を抽出し、前記第１フレームの特徴点を前記第２フレームの特徴点と照合して対応特徴点を求めることで、前記認識対象の物体を追従し、かつ、前記第２フレームの次の第３フレームのために、前記第２フレームにおいて新たな特徴点を追加し、前記第１フレームにて検出された前記認識対象の物体を含むように前記第２フレームに設定された注目領域にて前記特徴点を抽出する追従処理部と、
を備えた、物体追従装置。

【請求項6】

車両に設置されたカメラで、車両の外部を連続的に撮影して撮影画像を生成するステップと、
前記撮影画像の第１フレームから認識対象の物体を検出するステップと、
前記第１フレームから前記認識対象の物体を検出ステップにて検出された前記認識対象の物体の特徴点を抽出するステップと、
前記第１フレームの次の第２フレームにおいて特徴点を抽出するステップと、
前記第１フレームの特徴点を前記第２フレームの特徴点と照合して対応特徴点を求めることで、前記認識対象の物体を追従するステップと、
前記第２フレームの次の第３フレームのために、前記第２フレームにおいて新たな特徴点を追加するステップと、
を含み、
前記特徴点を抽出するステップは、前記第１フレームにて検出された前記認識対象の物体を含むように前記第２フレームに設定された注目領域にて前記特徴点を抽出する、物体追従方法。

【請求項7】

車両に設置されたカメラにて車両の外部を連続的に撮影して生成された撮影画像を取得し、前記撮影画像において認識対象の物体を追従する物体追従装置のコンピュータを、
前記撮影画像の第１フレームから前記認識対象の物体を検出する物体検出部、
前記第１フレームから前記物体検出部にて検出された前記認識対象の物体の特徴点を抽出する特徴点抽出部、及び
前記第１フレームの次の第２フレームにおいて特徴点を抽出し、前記第１フレームの特徴点を前記第２フレームの特徴点と照合して対応特徴点を求めることで、前記認識対象の物体を追従し、かつ、前記第２フレームの次の第３フレームのために、前記第２フレームにおいて新たな特徴点を追加し、前記第１フレームにて検出された前記認識対象の物体を含むように前記第２フレームに設定された注目領域にて前記特徴点を抽出する追従処理部、
として機能させる物体追従プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、連続撮影により得られた撮影画像において物体を追従する物体追従システム、物体追従装置、物体追従方法、及び物体追従プログラムに関する。

【背景技術】

【0002】

近年、ドアミラーやルームミラーの代わりにカメラとディスプレイを用いた電子ミラーシステムを搭載した自動車が開発されている。カメラは、例えば車両の側部又は後部に取り付けられ、車両の側方ないし後方の他の車両等を撮影し、ディスプレイに表示する。ドライバは、ドアミラーやルームミラーの代わりにこのディスプレイを視認することで、自車両の周囲の状況を把握できる。

【0003】

この電子ミラーシステムを用いて、自車両の周囲の他の車両や歩行者を検知し、ドライバに警報を発し、あるいはドライブアシスト（自動ブレーキ、車線変更の制限等）を作動させるシステムも開発されている。車両や歩行者を検知するためには、設置されたカメラから撮影され得る車両や人物のサンプル画像を多数用意して、機械学習によってこれらのサンプル画像を学習しておく必要がある。

【0004】

しかしながら、自車両と他の車両等との位置関係によって、カメラから撮影され得る車両や人物の見え方（大きさ、角度等）は様々であり、これらの種々の見え方に対応するために、多くのサンプル画像を学習する必要がある。

【0005】

一方、いったん対象の物体（車両等）を検出した後の後続フレームにおいて、検出した物体を追従することで、当該物体を認識する技術が知られている。

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、物体を追従する際に、物体の見え方の変化や部分的な隠れ（オクルージョン）によって追従が失敗することがある。

【0007】

本発明は、上記の問題点に鑑みてなされたものであり、追従対象物体の見え方の変化や部分的な隠れが生じた場合の追従の継続性を向上させることを目的とする。

【課題を解決するための手段】

【0008】

本発明の一態様の物体追従システムは、車両に設置され、前記車両の外部を連続的に撮影して撮影画像を生成するカメラと、前記撮影画像において認識対象の物体を追従する物体追従装置とを備えた物体追従システムであって、前記物体追従装置は、前記撮影画像の第１フレームから前記物体を検出する物体検出部と、前記第１フレームから前記物体の特徴点を抽出する特徴点抽出部と、前記第１フレームの次の第２フレームにおいて、前記物体を追従する追従処理部とを備え、前記追従処理部は、前記第２フレームにおいて特徴点を抽出し、前記第１フレームの特徴点を前記第２フレームの特徴点と照合して対応特徴点を求めることで、前記物体を追従し、かつ、前記第２フレームの次の第３フレームのために、前記第２フレームにおいて新たな特徴点を追加する。

【0009】

この構成により、第２フレームにおいて、単に特徴点を抽出して第１フレームの特徴点と照合して対応特徴点を求めるだけでなく、新たな特徴点を追加するので、認識対象の見え方が変化したり、部分隠れが生じたりしても、第３フレームにおいて認識対象を追従しやすくなる。

【0010】

前記追従処理部は、前記第２フレームの特徴点についてブロック照合を行うことで、前記第１フレームの特徴点の近傍にある前記第２フレームの特徴点を前記対応特徴点としてよい。

【0011】

この構成により、位置が大きくずれているが偶然に対応すると判定されてしまった対応特徴点（誤対応特徴点）をアウトライアとして除去することで、対応特徴点の精度を向上できる。

【0012】

前記追従処理部は、前記第１フレームにて検出された物体を含むように前記第２フレームに設定された注目領域にて前記特徴点を抽出してよい。

【0013】

この構成により、物体の追従に必要な特徴点を適切に抽出できる。

【0014】

前記追従処理部は、前記第２フレームの前記対応特徴点に基づいて、前記第３フレームのために前記注目領域を移動し、移動された前記注目領域から前記第３フレームのために追加する特徴点を抽出してよい。

【0015】

この構成により、追加すべき特徴点を適切に抽出することができる。

【0016】

前記追従処理部は、前記第２フレームにおいて所定数の前記特徴点を抽出し、前記特徴点として抽出されたが前記対応特徴点とされなかった前記特徴点を補う数の新たな前記特徴点を前記第３フレームのために追加してよい。

【0017】

この構成により、フレームが進んで認識対象の見え方が変化するごとに、新たに次のフレームのための特徴点を追加して、常に所定数の特徴点を用意するので、比較的長く追従を持続することが可能となる。

【0018】

本発明の一態様の物体追従装置は、車両に設置されたカメラにて前記車両の外部を連続的に撮影して生成された撮影画像を取得し、前記撮影画像において認識対象の物体を追従する物体追従装置であって、前記撮影画像の第１フレームから前記物体を検出する物体検出部と、前記第１フレームから前記物体の特徴点を抽出する特徴点抽出部と、前記第１フレームの次の第２フレームにおいて特徴点を抽出し、前記第１フレームの特徴点を前記第２フレームの特徴点と照合して対応特徴点を求めることで、前記物体を追従し、かつ、前記第２フレームの次の第３フレームのために、前記第２フレームにおいて新たな特徴点を追加する。

【0019】

この構成によっても、第２フレームにおいて、単に特徴点を抽出して第１フレームの特徴点と照合して対応特徴点を求めるだけでなく、新たな特徴点を追加するので、認識対象の見え方が変化したり、部分隠れが生じたりしても、第３フレームにおいて認識対象を追従しやすくなる。

【0020】

本発明の一態様の物体追従方法は、車両に設置されたカメラで、前記車両の外部を連続的に撮影して撮影画像を生成するステップと、前記撮影画像の第１フレームから認識対象の物体を検出するステップと、前記第１フレームから前記物体の特徴点を抽出するステップと、前記第１フレームの次の第２フレームにおいて特徴点を抽出するステップと、前記第１フレームの特徴点を前記第２フレームの特徴点と照合して対応特徴点を求めることで、前記物体を追従するステップと、前記第２フレームの次の第３フレームのために、前記第２フレームにおいて新たな特徴点を追加するステップとを含む。

【0021】

この構成によっても、第２フレームにおいて、単に特徴点を抽出して第１フレームの特徴点と照合して対応特徴点を求めるだけでなく、新たな特徴点を追加するので、認識対象の見え方が変化したり、部分隠れが生じたりしても、第３フレームにおいて認識対象を追従しやすくなる。

【0022】

本発明の一態様の物体追従プログラムは、車両に設置されたカメラにて前記車両の外部を連続的に撮影して生成された撮影画像を取得し、前記撮影画像において認識対象の物体を追従する物体追従装置のコンピュータを、前記撮影画像の第１フレームから前記物体を検出する物体検出部、前記第１フレームから前記物体の特徴点を抽出する特徴点抽出部、及び前記第１フレームの次の第２フレームにおいて特徴点を抽出し、前記第１フレームの特徴点を前記第２フレームの特徴点と照合して対応特徴点を求めることで、前記物体を追従し、かつ、前記第２フレームの次の第３フレームのために、前記第２フレームにおいて新たな特徴点を追加する追従処理部として機能させる。

【0023】

この構成によっても、第２フレームにおいて、単に特徴点を抽出して第１フレームの特徴点と照合して対応特徴点を求めるだけでなく、新たな特徴点を追加するので、認識対象の見え方が変化したり、部分隠れが生じたりしても、第３フレームにおいて認識対象を追従しやすくなる。

【発明の効果】

【0024】

本発明は、第２フレームにおいて、単に特徴点を抽出して第１フレームの特徴点と照合して対応特徴点を求めるだけでなく、新たな特徴点を追加するので、認識対象の見え方が変化したり、部分隠れが生じたりしても、第３フレームにおいて認識対象を追従しやすくなる。

【図面の簡単な説明】

【0025】

【図1】本発明の実施の形態の物体追従システムの構成を示すブロック図

【図2】本発明の実施の形態の車両の右側のドアに設置されたカメラで撮影された画像の例を示す図

【図3】本発明の実施の形態の車両の右側のドアに設置されたカメラで撮影された画像の他の例を示す図

【図4】本発明の実施の形態の物体追従装置における処理を示すフロー図

【図5】本発明の実施の形態の物体追従装置における処理例を示すフロー図

【図6】本発明の実施の形態の特徴点の抽出処理の例を示す図

【図7】本発明の実施の形態の物体検出結果（検出された物体の位置と大きさ）とＲＯＩとの関係の例を示す図

【図8】本発明の実施の形態の設定されたＲＯＩから抽出された特徴点の例を示す図

【図9】本発明の実施の形態の照合の処理を示す図

【図10】本発明の実施の形態の現フレーム（フレームｔ＋１）から画像領域を切り出す処理を示す図

【図11】本発明の実施の形態のブロック照合の処理を示す図

【図12】本発明の実施の形態のマッチングスコアと正誤判定との関係の例を示す表

【図13】（ａ）本発明の実施の形態の第１の手法で次フレームのためのＲＯＩを設定する処理を示す図 （ｂ）本発明の実施の形態の第２の手法で次フレームのためのＲＯＩを設定する処理を示す図 （ｃ）本発明の実施の形態の第３の手法で次フレームのためのＲＯＩを設定する処理を示す図

【図14】本発明の実施の形態の新たな特徴点の追加の処理を示す図

【発明を実施するための形態】

【0026】

以下、図面を参照して本発明の実施の形態を説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。

【0027】

図１は、本実施の形態の物体追従システムの構成を示すブロック図である。物体追従システム１は、カメラ１０と物体追従装置２０とからなる。カメラ１０は、車両に設置されて、車両の外部を撮影する。カメラ１０は、車両の左右の側方ないし後方を撮影するように運転席及び助手席のドアに設置されてよく、車両の後方を撮影するように車両の後部に設置されてよい。カメラ１０は、連続的に撮影をして画像を生成し、生成した画像（撮影画像）を物体追従装置２０に供給する。また、撮影画像は、図示しないディスプレイに送られて、ディスプレイで表示されてよい。このディスプレイは、例えばドライバが確認できるように車両内の適切な位置に設置される。

【0028】

図２は、車両の右側のドアに設置されたカメラ１０で撮影された画像の例を示す図である。このカメラ１０は、自車両の右側方から右斜め後ろにかけての範囲を撮影可能であり、撮影画像には自車両５０１の右側後方部分も映り込んでいる。図２の例では、自車両の走行車線よりも右側の車線を自車両よりも速い速度で走行する他車両５０２が撮影されている。すなわち、フレームｔ−ｍ（時刻ｔ−ｍ）では、自車両５０１の右側後方の遠方を走行しており撮影画像において小さく映っていた他車両５０２は、フレームｔ−ｎ（時刻ｔ−ｎ）（ｍ＞ｎ）では自車両５０１に近づいてきており、フレームｔ（時刻ｔ）では、自車両５０１の右斜め後ろにまで達している。

【0029】

図３は、車両の右側のドアに設置されたカメラ１０で撮影された画像の他の例を示す図である。図３の例では、フレームｔ（時刻ｔ）でほぼ全体が映っていた他車両５０１がフレームｔ＋１（時刻ｔ＋１）では、他車両５０１の前方部分は見切れてしまって撮影画像には映っていない（部分隠れの一種）。

【0030】

連続するフレームの撮影画像において、図２及び図３のように変化する他車両５０２をフレームごとに、機械学習を用いた従来の物体検出の手法によって検出することも可能であるが、本実施の形態では、前のフレームの物体認識の結果を利用して物体を認識するという物体追従の手法を用い、初期フレーム及び追従ができなくなったときに従来の物体検出を行う。

【0031】

物体追従装置２０は、記憶装置、ＲＡＭ、ＲＯＭ、演算処理装置等を備えたコンピュータによって構成される。演算処理装置が記憶装置に記憶された物体追従プログラムを読み出して実行することで、図１に示すように、物体追従装置２０に、物体検出部２１、特徴点抽出部２２、及び追従処理部２３が構成される。物体追従装置２０からは撮影画像から物体を認識した結果である物体認識結果が出力される。

【0032】

物体認識結果を入力としてさらに情報処理が行われ、種々のドライブアシストが行われてよい。例えば、物体認識結果において、他の車両が認識されたときに、撮影画像に対して認識された他の車両を囲む枠を重畳した画像を生成して、これをディスプレイに表示してよい。また、認識された他の車両の撮影画像内の位置及び大きさに応じて、車線変更のためのハンドリングを制限してもよい。さらに、複数フレームの物体認識結果を時系列に処理することで、他の車両と自車両との相対速度を求め、更に、衝突余裕時間（Time To Collision）を求めて、必要に応じて警報を発し、あるいは自動ブレーキを作動させてもよい。本実施の形態では、上述のように種々の応用が可能な物体認識結果を得るための物体追従システム１を説明する。

【0033】

物体検出部２１は、撮影画像から、認識対象としてあらかじめ設定された特定の対象である物体を検出する。認識対象としては、例えば、歩行者、他の車両（自転車、オートバイ、自動車等）が挙げられる。特徴点抽出部２２は、撮影画像のうちの、物体検出部２１にて検出された物体を囲む矩形領域から特徴点を抽出する。追従処理部２３は、連続するフレームとして得られる撮影画像において、前のフレームにおける物体認識結果を利用して、同一の認識対象を検出することにより、複数のフレームにわたって同一の対象を認識する追従処理を行う。

【0034】

追従処理部２３において追従が成功したフレームの追従結果、及び追従処理部２３において追従ができないフレームについて物体検出部２１において検出が成功したフレームの検出結果は、物体認識結果として物体追従装置２０から出力される。

【0035】

図４は、物体追従装置における処理を示すフロー図であり、図５は、物体追従装置における処理例を示すフロー図である。物体処理装置２０が図４に示す物体追従処理を実行するために、カメラ１０は所定のフレームレートで連続して画像を撮影して、順次撮影画像を物体追従装置２０に送信し、物体追従装置２０は、カメラ１０から撮影画像を取得する。本実施の形態では、ステップＳ３０１〜Ｓ３１２の処理は、カメラ１０で撮影画像が得られるごとに（フレームごとに）実行されるが、所定フレーム間隔で（例えば３フレームおきに）以下の処理を行ってもよい。

【0036】

処理がスタートすると、物体追従装置２０は、カメラ１０から撮影画像を取得し、最新のフレームを現フレーム（処理対象のフレーム）とする（ステップＳ３０１）。物体追従装置２０は、現フレームが初期フレーム、すなわち、処理がスタートしてから最初のフレームであるか否かを判断する（ステップＳ３０２）。

【0037】

初期フレーム（フレームｔ）である場合は（ステップＳ３０２でＹＥＳ）、物体検出部２１が撮影画像から認識対象である物体を検出する（ステップＳ３０３、ステップＳ４１０）。物体検出部２１は、従来の機械学習の手法によって認識対象である物体を検出する。

【0038】

物体追従装置２０は、物体検出部２１にて物体の検出に成功したか否かを判断する（ステップＳ３０４）。物体の検出に成功した場合には（ステップＳ３０４でＹＥＳ）、特徴点抽出部２２が、検出された物体を囲む矩形領域から特徴点を抽出する（ステップＳ３０５、ステップＳ４２０）。特徴点を抽出する手法としては、ハリスコーナー検出法等の従来の手法を用いることができる。

【0039】

具体的には、特徴点抽出部２２は、従来の手法によって矩形領域から特徴点を抽出し（ステップＳ４２１）、さらに、抽出した複数の特徴点を強度によってソートして、上位Ｎ個（例えば、Ｎ＝３０）の特徴点を選択する（ステップＳ４２２）。図６は、特徴点の抽出処理の例を示す図である。図６の上段は、従来の手法によって抽出された複数の特徴点（ステップＳ４２１）の例を示しており、下段はそれらの特徴点から選択された強度の大きい上位Ｎ個の特徴点（ステップＳ４２２）の例を示している。

【0040】

特徴点抽出部２２にて特徴点を抽出すると、物体追従装置２０は、追従可能フラグを「１」（追従可）に設定し（ステップＳ３０６）、ステップＳ３０１に戻って次のフレームの撮影画像を取得する。物体の検出が成功しなかった場合には（ステップＳ３０４でＮＯ）、追従可能フラグを「０」（追従不可）に設定して（ステップＳ３０７）、ステップＳ３０１に戻って次のフレームの撮影画像を取得する。

【0041】

第２フレーム（フレームｔ＋１）以降は（ステップＳ３０２にてＮＯ）、追従可能であるか否かを追従フラグによって確認し（ステップＳ３０８）、追従不可、すなわち追従フラグが「０」である場合は（ステップＳ３０８でＮＯ）、初期フレームと同様に物体の検出を行い（ステップＳ３０３）、追従可能、すなわち追従フラグが「１」である場合は（ステップＳ３０８でＹＥＳ）、追従処理部２３で物体の追従を行う（ステップＳ３０９、ステップＳ４３０）。以下、追従処理部２３における物体の追従処理（ステップＳ３０９、ステップＳ４３０）を詳細に説明する。

【0042】

追従処理Ｓ４３０では、まず、撮影画像に対してＲＯＩ（Region of Interest：注目領域）が設定される（ステップＳ４３１）。前フレームが初期フレームであり、又は前フレームで追従フラグが「０」（追従不可）であった場合には、ＲＯＩが設定されていないので、ＲＯＩ設定は物体検出結果に基づいて行う。追従処理部２３には、予め物体検出結果（検出した物体を囲む枠の位置及び大きさ）とＲＯＩとの関係が規定されており、追従処理部２３はこれに従って、物体検出結果に基づいてＲＯＩを設定する。

【0043】

図７は、物体検出結果（検出された物体の位置と大きさ）とＲＯＩとの関係の例を示す図である。図７に示すように、ＲＯＩ６０２は、物体を囲む枠（検出物体枠）６０１の全体を含む位置及び大きさに設定される。また、本実施の形態では、道路が平面であることを考慮して、ＲＯＩ６０２の形状は上下方向に比べて左右方向が長い矩形とされる。なお、このＲＯＩの設定（ステップＳ４３１）は省略して、撮影画像の全領域を後続の処理の対象としてよい。

【0044】

次に、追従処理部２３は、設定されたＲＯＩから特徴点を抽出する（ステップＳ４３２）。ここでの特徴点抽出処理もステップＳ３０５と同様に、従来の手法を用いることができる。図８は、設定されたＲＯＩから抽出された特徴点の例を示す図である。上述のように、ＲＯＩ６０２は、検出物体枠の全体を含み、かつ、検出物体枠以外の部分も含んでいるが、図８に示すように、特徴点は、検出物体枠の外側からも抽出される。

【0045】

次に、追従処理部２３は、前フレーム（フレームｔ）で抽出された特徴点（ステップＳ４２０）と、現フレーム（フレームｔ＋１）のＲＯＩから抽出された特徴点とを照合する（ステップＳ４３３）。図９は、特徴点の照合の処理を示す図である。照合では、前フレームの各特徴点について、それに対応する現フレームの特徴点を探索する。

【0046】

特徴点の照合には従来の手法を用いることができる。例えば、各特徴点について、バイナリコードで表現可能な局所特徴量を求めて、前フレーム（フレームｔ）の特徴点の局所特徴量と現フレーム（フレームｔ＋１）の特徴点の局所特徴量とのハミング距離が所定の閾値以下の組み合わせについて、対応する特徴点であると決定することができる（安倍満、吉田悠一、“高速かつメモリ消費量の少ない局所特徴量 CARD: Compact And Real-time Descriptors”、デンソーテクニカルレビュー Vol. 18 2013）。

【0047】

次に、追従処理部２３は、照合された特徴点（即ち、前フレームの特徴点及びそれと対応すると決定された現フレームの特徴点、以下「対応特徴点」という。）のうちの現フレームの対応特徴点について、それを中心とした矩形の画像領域（パッチ）を切り出す（ステップＳ４３４）。本実施の形態では、正方形（ｍ［ピクセル］×ｍ［ピクセル］）の画像領域を切り出す。また、本実施の形態では、ｍ＝５とする。

【0048】

図１０は、現フレーム（フレームｔ＋１）から画像領域を切り出す処理を示す図である。図１０の上段は、現フレーム（フレームｔ＋１）における対応特徴点を示しており、下段は、上段の撮影画像の枠内を拡大して表示したものであり、各対応特徴点を中心として切出された画像領域（切出画像領域）を示している。

【0049】

次に、追従処理部２３は、各対応特徴点の切出画像領域を用いて前フレーム（フレームｔ）でブロック照合を行う（ステップＳ４３５）。このブロック照合のために、前フレームにおいて、対応特徴点を中心とする探索画像領域を設定する。本実施の形態では、前フレームの対応特徴点を中心とする正方形（ｋ［ピクセル］×ｋ［ピクセル］）の領域を探索画像領域として設定する。また、本実施の形態では、ｋ＝３７とする。

【0050】

追従処理部２３は、前フレームに設定された探索画像領域において、現フレームの切出画像領域をスライドさせながらブロック照合を行う。ブロック照合の手法としては、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross-Correlation：正規化相互相関）等の従来のテンプレートマッチングの手法を用いることができる。

【0051】

追従処理部２３は、照合（マッチング）の結果（マッチングスコア）が所定の閾値以上である場合には、切出画像領域に対応する画像領域があると判断する。本実施の形態では、ＮＣＣを採用する。ＮＣＣでは、出力値（マッチングスコア）は０．０〜１．０で得られる。

【0052】

図１１は、ブロック照合の処理を示す図である。図１１において、現フレームの特徴点Ｐ２１と前フレームの特徴点Ｐ１１とは互いに対応する特徴点である。追従処理部２３は、図１１に示すように、現フレームにおける対応特徴点Ｐ２１を中心として切り出された切出し画像領域Ａ２１を、前フレームの探索画像領域Ａ１１においてスライドさせながら照合を行う。この探索画像領域Ａ１１は、現フレームにおける対応特徴点Ｐ２１に対応する前フレームの対応特徴点Ｐ１１の位置を中心として、切出画像領域Ａ２１よりも広い領域として設定される。

【0053】

次に、追従処理部２３は、ブロック照合の結果（マッチングスコア）が所定の閾値未満である対応特徴点の組を誤対応と判断して、その対応特徴点を削除する（ステップＳ４３６）。ブロック照合の結果が所定の閾値以上である場合は、それらの対応特徴点の組を正対応と判断する。現フレームの対応特徴点Ｐ２１と前フレームの対応特徴点Ｐ１１とが撮影画像内で大きく離れている場合には、このブロック照合の結果が低くなり、誤対応であることが分かる。

【0054】

換言すれば、現フレームにおいて、前フレームの対応特徴点Ｐ１１の位置の近傍にある対応特徴点Ｐ２１を正対応の対応特徴点（正対応特徴点）と判定する。本実施の形態では、ＮＣＣの出力値が、０．５未満である場合には、その対応特徴点を誤対応の対応特徴点（誤対応特徴点）と判断して削除し、０．５以上である場合には、その対応特徴点を正対応特徴点と判断して維持する。

【0055】

図１２は、マッチングスコアと正誤判定との関係の例を示す表である。図１２の例では、現フレームの座標（１００，１５０）にある対応特徴点は、マッチングスコア（ＮＣＣの出力値）が０．５であるので、正対応特徴点と判定され、現フレームの座標（１０５，１４０）にある対応特徴点は、マッチングスコアが０．４８であるので、誤対応特徴点と判定され、現フレームの座標（９０，１２０）にある対応特徴点は、マッチングスコアが０．３であるので、誤対応特徴点と判定され、現フレームの座標（１１２，１３４）にある対応特徴点は、マッチングスコアが０．８であるので、正対応特徴点と判定されている。

【0056】

次に、追従処理部２３は、複数の対象特徴点のブロック照合の判定結果に基づいて、追従の成否を判定する（ステップＳ４３７）。この処理では、追従処理部２３は、誤対応特徴点の数が、全対応特徴点の数Ｎの１／２以下であれば、追従成功と判定して追従フラグを「１」（追従可）にし（ステップＳ３１１）、誤対応特徴点の数がＮ／２より多い場合は追従失敗と判定して追従フラグを「０」（追従不可）にする（ステップＳ３０７）。本実施の形態では、Ｎ＝３０であるので、追従処理部２３は、誤対応特徴点の数が、１５以下であれば追従成功と判定し、１６以上であれば追従失敗と判定する。

【0057】

次に、追従処理部２３は、正対応特徴点に基づいて次フレーム（フレームｔ＋２）のＲＯＩを設定する（ステップＳ４３８）。次フレームのＲＯＩの設定方法としては、以下のいずれかを用いることができる。
（１）現フレーム（フレームｔ＋１）の正対応特徴点の位置情報を平均化して、新たに設定するＲＯＩの基準位置（例えば中心）とする。
（２）前フレーム（フレームｔ）の正対応特徴点から現フレーム（ｔ＋１）の対応する正対応特徴点に向かうベクトル（オプティカルフロー）を各正対応特徴点の組について求めて、その平均ベクトルを求め、現フレームのＲＯＩを当該平均ベクトルだけ移動させて、新たに設定するＲＯＩとする。
（３）（１）の位置情報を平均した位置から、（２）の平均ベクトルだけ移動させた位置を新たに設定するＲＯＩの基準位置（例えば中心）とする。
なお、（１）〜（３）のいずれにおいても、ＲＯＩのサイズは現フレームのＲＯＩのサイズと同じとすることができるが、ＲＯＩのサイズを可変にしてもよい。具体的には、ＲＯＩのサイズは、オプティカルフローの向き情報に基づいて変更してよい。例えば、オプティカルフローの向きがＲＯＩの外側に向いている場合には、サイズを、例えば１．１倍に拡大し、オプティカルフローの向きがＲＯＩの内側に向いている場合には、サイズを、例えば０．９倍に縮小する等の方法でＲＯＩのサイズを変更することができる。

【0058】

図１３（ａ）は、上記（１）の手法で次フレームのためのＲＯＩを設定する処理を示す図である。次フレームのＲＯＩ１２０２は、正対応特徴点の位置情報の平均（座標）Ｐ０を中心とする位置に設定され、この結果、現フレームのＲＯＩ１２０１は次フレームのＲＯＩ１２０２の位置まで移動する。

【0059】

図１３（ｂ）は、上記（２）の手法で次フレームのためのＲＯＩを設定する処理を示す図である。各正対応特徴点のオプティカルフローＶ１２０１が求められ、現フレームのＲＯＩ１２０３がこのオプティカルフローＶ１２０１だけ平行移動して、次フレームのためのＲＯＩ１２０４とされる。この結果、現フレームのＲＯＩ１２０３は、次フレームのＲＯＩ１２０４の位置まで移動する。

【0060】

図１３（ｃ）は、上記（３）の手法で次フレームのためのＲＯＩを設定する処理を示す図である。正対応特徴点の位置情報の平均（座標）Ｐ０が求められ、このＰ０を各正対応特徴点のオプティカルフローＶ１２０１で移動させ、移動後の点Ｐ０´が次フレームのＲＯＩ１２０６の中心とされる。この結果、現フレームのＲＯＩ１２０５は、次フレームのＲＯＩ１２０６の位置まで移動する。

【0061】

次に、追従処理部２３は、新たに設定された次フレーム用のＲＯＩ内から、正対応特徴点と合わせてＮ個になるように、新たな特徴点を抽出する（ステップＳ４３９）。特徴点を抽出する手法はステップＳ４２１と同様に従来の手法を用いることができる。追従処理部２３は、従来の手法によって抽出された特徴点の中から、現フレームですでに対応特徴点とされた特徴点を除いて、現フレームの正対応特徴点と合わせてＮ個になるまで、強度の大きい方から順に追加する特徴点として選択していく。

【0062】

図１４は、新たな特徴点の追加の処理を示す図である。次フレームのＲＯＩは左側にずれているので、図１４に示すように、新たな特徴点は、概ね正対応特徴点の右側に追加されている。

【0063】

物体追従装置２０は、次のフレームの撮影画像を取得して（ステップＳ３０１）、上記と同様の処理（ステップＳ４３２〜ステップＳ４３９）を繰り返す。ただし、次フレーム（フレームｔ＋２）のＲＯＩはすでに設定されているので、ステップＳ４３１は繰り返す必要はない。

【0064】

以上のように、本実施の形態の物体追従装置２０は、単に特徴点を抽出して前フレームの特徴点と照合して対応特徴点を求めるだけでなく（ステップＳ４３２〜Ｓ４３３）、新たな特徴点を追加するので（ステップＳ４３９）、次フレームにおいて認識対象の物体の見え方が変化したり、部分隠れが生じたりしても、認識対象を追従しやすくなる。すなわち、このような新たな特徴点の追加が行われない場合には、フレームごとに認識対象の見え方の変化や部分隠れによって、徐々に対応特徴点の数が減少していってしまい、すぐに追従に失敗してしまうが、本実施の形態の物体追従装置によれば、フレームが進んで認識対象の見え方が変化するごとに、新たに次のフレームのための特徴点を追加して、常にＮ個の特徴点を用意するので、比較的長く追従を持続することが可能となる。

【0065】

さらに、上記の実施の形態では、ブロック照合を行うことで対応特徴点の中から誤対応特徴点を削除するので（ステップＳ４３４〜Ｓ４３６）、位置が大きくずれているが偶然に対応すると判定されてしまった対応特徴点（誤対応特徴点）をアウトライアとして除去し、前フレーム（フレームｔ）の特徴点の近傍にある現フレーム（ｔ＋１）の特徴点のみを正対応特徴点として残すので、対応特徴点の精度を向上できる。

【0066】

また、上記の実施の形態では、正対応特徴点に基づいて次フレームのための新たなＲＯＩを設定した上で（ステップＳ４３８）、この新たなＲＯＩから次フレームのために追加する特徴点を抽出するので、追加する特徴点を適切に抽出することができる。

【0067】

なお、上記の実施の形態に対して種々の変形が可能であり、本発明は上記の実施の形態に限定されるものではない。例えば、上記の実施の形態では、ブロック照合により対応特徴点の中からアウトライアを除去したが、この処理を省略してもよい。また、ＲＯＩを大きく設定することで、ＲＯＩの移動をしないようにしてもよい。

【産業上の利用可能性】

【0068】

本発明は、第２フレームにおいて、単に特徴点を抽出して第１フレームの特徴点と照合して対応特徴点を求めるだけでなく、新たな特徴点を追加するので、認識対象の見え方が変化したり、部分隠れが生じたりしても、第３フレームにおいて認識対象を追従しやすくない、物体追従システム等として有用である。

【符号の説明】

【0069】

１ 物体追従システム
１０ カメラ
２０ 物体追従装置
２１ 物体検出部
２２ 特徴点抽出部
２３ 追従処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】