特許 6336872 オブジェクト追跡方法、装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6336872

(24)【登録日】2018年5月11日

(45)【発行日】2018年6月6日

(54)【発明の名称】オブジェクト追跡方法、装置およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20180528BHJP

【ＦＩ】

   G06T7/20 300Z

【請求項の数】4

【全頁数】11

(21)【出願番号】特願2014-198941(P2014-198941)

(22)【出願日】2014年9月29日

(65)【公開番号】特開2016-71534(P2016-71534A)

(43)【公開日】2016年5月9日

【審査請求日】2017年1月30日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】サビリン ホウアリ

(72)【発明者】

【氏名】三功 浩嗣

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２０１１−１８１０１４（ＪＰ，Ａ）

【文献】 特開２００９−０７７３９４（ＪＰ，Ａ）

【文献】 特開２０１１−２４３１５５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０３２２４７４（ＵＳ，Ａ１）

【文献】 佐竹 純二，人物シルエットの重なりを考慮したテンプレートを用いたステレオビジョン複数人物追跡，日本ロボット学会誌 第３１巻 第３号，日本，一般社団法人日本ロボット学会，２０１３年 ４月１５日，JRSJ Vol.31 No.3，P.78-86，ISSN 0289-1824

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

奥行映像上でオブジェクトを追跡するオブジェクト追跡装置において、
奥行映像の各フレームからオブジェクトを検知する手段と、
フレーム間で各オブジェクトの位置、サイズおよび動きベクトルを比較し、同一オブジェクトに同一IDを割り当てるID割当手段と、
各オブジェクトに外接する矩形のオブジェクト領域を設定する手段と、
オブジェクト領域の少なくとも一部が重なるオブジェクト間にオクルージョンが生じる可能性があると判定して当該オブジェクトの位置、サイズおよび動きベクトルをオクルージョンリストに登録する手段とを具備し、
前記ID割当手段は、オクルージョンが解消した各オブジェクトに対して、前記オクルージョンリストおよびオクルージョンの発生後における各オブジェクトの位置、サイズおよび動きベクトルに基づいて同一IDを割り当てることを特徴とするオブジェクト追跡装置。

【請求項2】

前記ID割当手段は、
今回フレームに前回フレームと同一のIDを割り当てられない未割当オブジェクトが存在するか否かを判定する手段と、
今回フレームに未割当オブジェクトが存在し、かつ前回フレームから今回フレームにかけてオブジェクト数が減少し、かつ未割当オブジェクトの現在位置がオクルージョン判定されたオブジェクトの動きベクトルに基づいて予測される現在位置から予測誤差範囲内であれば当該未割当オブジェクトに固有のIDを割り当てる手段と、
今回フレームに未割当オブジェクトが存在し、かつ前回フレームから今回フレームにかけてオブジェクト数が増加し、かつ未割当オブジェクトの大きさがオクルージョン判定されたオブジェクトに類似し、未割当オブジェクトの現在位置がオクルージョン判定されたオブジェクトの動きベクトルに基づいて予測される現在位置から予測誤差範囲内であれば当該未割当オブジェクトに前記オクルージョン判定されたオブジェクトのIDを割り当てる手段とを含むことを特徴とする請求項１に記載のオブジェクト追跡装置。

【請求項3】

奥行映像上でコンピュータがオブジェクトを追跡するオブジェクト追跡方法において、
奥行映像の各フレームからオブジェクトを検知する手順と、
フレーム間で各オブジェクトの位置、サイズおよび動きベクトルを比較し、同一オブジェクトに同一IDを割り当てる手順と、
各オブジェクトに外接する矩形のオブジェクト領域を設定する手順と、
オブジェクト領域の少なくとも一部が重なるオブジェクト間にオクルージョンが生じる可能性があると判定して当該オブジェクトの位置、サイズおよび動きベクトルをオクルージョンリストに登録する手順とを含み、
前記IDを割り当てる手順では、オクルージョンが解消した各オブジェクトに対して、前記オクルージョンリストおよびオクルージョンの発生後における各オブジェクトの位置、サイズおよび動きベクトルに基づいて同一IDを割り当てることを特徴とするオブジェクト追跡方法。

【請求項4】

奥行映像上でコンピュータにオブジェクトを追跡させるオブジェクト追跡プログラムにおいて、
奥行映像の各フレームからオブジェクトを検知する手順と、
フレーム間で各オブジェクトの位置、サイズおよび動きベクトルを比較し、同一オブジェクトに同一IDを割り当てる手順と、
各オブジェクトに外接する矩形のオブジェクト領域を設定する手順と、
オブジェクト領域の少なくとも一部が重なるオブジェクト間にオクルージョンが生じる可能性があると判定して当該オブジェクトの位置、サイズおよび動きベクトルをオクルージョンリストに登録する手順とを含み、
前記IDを割り当てる手順では、オクルージョンが解消した各オブジェクトに対して、前記オクルージョンリストおよびオクルージョンの発生後における各オブジェクトの位置、サイズおよび動きベクトルに基づいて同一IDを割り当てることを特徴とするオブジェクト追跡プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像上で人物に代表される動的なオブジェクトを追跡するオブジェクト追跡方法、装置およびプログラムに係り、特に、オブジェクトを個別認識できるRGBカラー画像を利用せず、オブジェクトを個別認識できない奥行データの映像のみを用いて動的なオブジェクトを追跡するオブジェクト追跡方法、装置およびプログラムに関する。

【背景技術】

【0002】

監視カメラ映像や、スポーツ映像を対象としたオブジェクト追跡に関する手法がこれまでに数多く提案されている。これらのほとんどは、一定の撮影条件が満たされることを前提に、映像のカラー情報に基づく追跡を行っている。

【0003】

一方、防犯やマーケティングの用途において、監視カメラ映像を用いた人物検出・追跡に関する需要が急速に高まっているが、解像度不足や照明条件の観点からカラー情報の利用が困難なケースが少なくない。また、プライバシーの観点から、人物を特定できてしまうカラー情報の利用が制限されており、代わりに人物を特定できない奥行映像のみからオブジェクト追跡を行う技術に対する期待が高まっている。

【0004】

非特許文献１には、Microsoft Kinectに代表される奥行センサーを用いた奥行データにおけるオブジェクト領域の検出に基づき追跡を行う手法が提案されている。非特許文献２では、カラー情報と奥行データとを組み合わせる形で追跡性能の向上を実現する技術が開示されている。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Parvizi and Wu, " Multiple Bject Tracking Based on Adaptive Depth Segmentation," Canadian conference on Computer and RBot Vision 2008, pp.273-277, 2008

【非特許文献2】Tran and Harada, " Depth-Aided Tracking Multiple Bjects under Cclusion," Journal of Signal and Information prCessing, vol. 4, pp.299-307, 2013

【発明の概要】

【発明が解決しようとする課題】

【0006】

非特許文献１では、奥行データのみを用いたオブジェクト追跡手法が提案されているが、オブジェクト同士が重なるオクルージョン時の追跡に関する言及がされておらず、実利用の観点では性能低下が予想される。非特許文献２では、カラー情報との組み合わせ手法であり、奥行データのみを用いるという利用シーンには対応していない。

【0007】

本発明の目的は、上記の技術課題を解決し、奥行映像のみを用いることでオブジェクトのプライバシーを尊重しながら、オクルージョンの有無に関わらずオブジェクトを正確に追跡できるオブジェクト追跡方法、装置およびプログラムを提供することにある。

【課題を解決するための手段】

【0008】

上記の目的を達成するために、本発明は、奥行映像上でオブジェクトを追跡するオブジェクト追跡装置において、以下の構成を具備した点に特徴がある。

【0009】

(1) 奥行映像の各フレームからオブジェクトを検知する手段と、フレーム間で各オブジェクトの位置、サイズおよび動きベクトルを比較し、同一オブジェクトに同一IDを割り当てるID割当手段と、オブジェクト間のオクルージョンを判定する手段とを具備し、ID割当手段は、オクルージョンが解消した各オブジェクトに対して、オクルージョンの発生前後における各オブジェクトの位置、サイズおよび動きベクトルに基づいて同一IDを割り当てるようにした。

【0010】

(2) 各オブジェクトに外接する矩形のオブジェクト領域を設定する手段を具備し、オクルージョンを判定する手段は、オブジェクト領域の少なくとも一部が重なるオブジェクト間にオクルージョンが生じる可能性があると判定して当該オブジェクトの位置、サイズおよび動きベクトルを蓄積するようにした。

【発明の効果】

【0011】

本発明によれば、以下のような効果が達成される。
(1) オブジェクトを具体的に識別可能なRGBカラー映像を用いることなく、オブジェクトを具体的に識別できない奥行映像のみを用いてオブジェクトを追跡できるので、各オブジェクトのプライバシーを尊重したオブジェクト追跡が可能になる。

【0012】

(2) オクルージョン前後での各オブジェクトの同一性を、各オブジェクトの位置、サイズおよび動きベクトルから計算される類似度に基づいて判断するようにしたので、オクルージョンの発生にかかわらずオブジェクトの正確な追跡が可能になる。

【0013】

(3) オクルージョンの有無を、オブジェクト同士が重なって認識できなくなるよりも前に、オブジェクトに外接する矩形オクルージョン領域の重なりの有無に基づいて予測するようにしたので、その後にオクルージョンの関係となるオブジェクトを正確に識別できるようになる。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態に係るオブジェクト追跡装置の機能ブロック図である。

【図2】奥行映像の一例を示した図である。

【図3】矩形オブジェクト領域の設定例を示した図である。

【図4】オクルージョンの判定方法を示した図である。

【図5】オブジェクト追跡映像の一例を示した図である。

【図6】オブジェクト追跡方法を説明するための図である。

【図7】本発明の一実施形態の動作を示したフローチャートである。

【図8】ID割当処理の動作を示したフローチャートである。

【発明を実施するための形態】

【0015】

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係るオブジェクト追跡装置の主要部の構成を示した機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。

【0016】

オブジェクト検知部１０は、図２に示したように、オブジェクトを具体的に識別できない奥行データのみの映像（奥行映像）の各映像フレーム上で各オブジェクトを検知する。本実施形態では、オブジェクトが存在しない環境下で撮影した背景画像を蓄積しておき、奥行映像の各フレームと前記背景画像との差分が所定の閾値以上となる閉領域がオブジェクトとして検知される。

【0017】

オブジェクト領域設定部２０は、図３に示したように、各オブジェクトに対して、その輪郭に外接あるいは包含する矩形のオブジェクト領域を設定する。ID割当処理部３０は、映像フレーム間で各オブジェクトの位置、大きさおよび動きベクトルを比較し、これらのオブジェクト情報に基づいて計算される類似度が所定の閾値を上回るオブジェクト同士を同一オブジェクトとみなして同一IDを割り当てる。各オブジェクトの位置は、たとえばオブジェクトの中心座標で代表される。

【0018】

オクルージョン処理部４０において、オクルージョン判定部４１は、図４に示したように、オブジェクト領域Ka，Kbの少なくとも一部が重なっているオブジェクトA，B間にオクルージョンが生じる可能性があると判定する。そして、各オブジェクトに固有のIDをオクルージョンリスト４２へ登録し、さらにオクルージョンフラグ（Foc）４３をセットする。

【0019】

前記ID割当処理部３０において、オクルージョン発生時割当部３１は、今回フレームに前回フレームと同一のIDを割り当てられなかった未割当オブジェクトが存在し、かつ前回フレームから今回フレームにかけてオブジェクト数が減少し、かつ未割当オブジェクトの現在位置がオクルージョンリスト４２に登録されているオブジェクトA，Bの位置および動きベクトルに基づいて予測される現在位置からの予測誤差範囲内であれば、オブジェクトA，B間にオクルージョンが発生したと判定する。そして、オクルージョン判定されたオブジェクトに固有のIDとして、例えばオブジェクトA，BのIDを前記未割当オブジェクトに割り当てる。

【0020】

オクルージョン解消時割当部３２は、今回フレームに前回フレームと同一のIDを割り当てられなかった未割当オブジェクトが存在し、かつ前回フレームから今回フレームにかけてオブジェクト数が増加し、かつ未割当オブジェクトの大きさがオクルージョンリストに登録されているオブジェクトA，Bに類似し、未割当オブジェクトの現在位置がオクルージョンリストに登録されているオブジェクトA，Bの位置および動きベクトルに基づいて予測される現在位置からの予測誤差範囲内であれば、オブジェクトA，B間のオクルージョンが解消したと判定する。そして、オクルージョンリストに登録されているオブジェクトA，BのIDを当該各未割当オブジェクトに割り当てる。

【0021】

動線表示部５０は、図５に示したように、フレーム間で同一IDを割り当てられたオブジェクトを同一オブジェクトとみなして、各オブジェクトの移動軌跡をディスプレイ上に表示する。本実施形態では、各オブジェクトが丸印のシンボルマークで表現され、色を異ならせて表示される。

【0022】

このようなオブジェクト追跡装置は、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部がハードウェア化またはROM化された専用機や単能機としても構成できる。

【0023】

次いで、図６に示したように、３つのオブジェクトA，B，Cが検知され[同図(a)]、それぞれにオブジェクトIDとしてIDa，IDb，IDcが割り当てられた後、オブジェクトA，B間にオクルージョンが生じ[同図(b)]，[同図(c)]、その後、オクルージョンが解消する場合[同図(d)]，[同図(e)]のオブジェクト追跡動作を、図７，８のフローチャートに沿って説明する。

【0024】

初めに図７のフローチャートを参照し、第n周期のステップS１では、図６(a)に示した奥行映像フレームが取り込まれる。ステップS２では、３つのオブジェクトA，B，Cが前記オブジェクト検知部１０により検知される。ステップS３では、各オブジェクトA，B，Cに外接する矩形オブジェクト領域Ka，Kb，Kcが、前記オブジェクト領域設定部２０によりそれぞれ設定される。ステップS４では、オブジェクトA，B，Cに対して、オブジェクトIDとしてそれぞれIDa，IDb，IDcが割り当てられる。

【0025】

続く第（n+1）周期のステップS１では、図６(b)に示した奥行映像フレームが取り込まれる。このフレームでは、２つのオブジェクトA，Bが近接しているが、未だオブジェクト同士は重なっていないので、ステップS２では、３つのオブジェクトA，B，Cが検知される。

【0026】

ステップS３では、各オブジェクトA，B，Cに、それぞれ矩形オブジェクト領域Ka，Kb，Kcが設定される。ステップS４では、前記ステップS２で検知されたオブジェクトA，B，Cに対して、全フレームを通じて一貫した追跡用のオブジェクトIDを割り当てるID割当処理が、前記ID割当処理部３０により実行される。

【0027】

図８は、ID割当処理の動作を示したフローチャートであり、ステップS１０１では、最初のフレームであるか否かが判定される。最初のフレームであればステップS１１１へ進み、ステップS２で検出された全てのオブジェクトに新規のオブジェクトIDが付与される。

【0028】

これに対して、最初の映像フレームではないと判定されるとステップS１０２へ進み、前回の映像フレームにおいて検知された各オブジェクトと今回の映像フレームにおいて検知された各オブジェクトとが、オブジェクト間の距離（位置）、オブジェクトサイズおよびオブジェクトの動きベクトルに基づいて計算される類似度に基づいて対応付けられる。本実施形態では、オブジェクトA，B，Cに対して、それぞれ対応するオブジェクトIDa，IDb，IDcが割り当てられる。

【0029】

ステップS１０３では、対応IDの割り当てに成功したオブジェクトA，B，Cに関するオブジェクト情報が更新される。本実施形態では、各オブジェクトの現在位置が更新され、さらにその動きベクトルが、前回フレームから今回フレームまでの各オブジェクトA，B，Cの移動の量及び方向に基づいて更新される。ステップS１０４では、IDを割り当てられなかった未割当オブジェクトが存在するか否かが判定され、ここでは存在しないと判定されるので当該処理を終了する。

【0030】

図７へ戻り、ステップS５では、オクルージョンの有無が判定され、ここではオブジェクトAの矩形オブジェクト領域Kaの一部とオブジェクトBの矩形オブジェクト領域Kbの一部とが重なっているので、オブジェクトA，B間にオクルージョンの生じる可能性があると判定されてステップS６へ進む。

【0031】

ステップS６では、オブジェクトA，BのオブジェクトID（IDa，IDb）がオクルージョンリスト４２へ登録される。ステップS７では、オクルージョンフラグFocがセットされる。ステップS８では、オブジェクトA，B，Cの動線（軌跡）が表示出力される。

【0032】

このように、本実施形態ではオブジェクト自身が重なっていなくても、オブジェクト領域の一部が重なっていればオクルージョンの生じる可能性があると判定して各オブジェクトの情報を蓄積するので、その後に各オブジェクトが重なって両者を識別できなくなっても、各オブジェクトのオクルージョン直前の情報を取得できるようになる。

【0033】

続く第（n+2）周期のステップS１では、図６(c)に示したような第(n+2)映像フレームが取り込まれる。この映像フレームでは、オブジェクトA，Bが重なって見かけ上一体化しており、各オブジェクトを個別に判別できない。したがって、ステップS２では２つのオブジェクトC，D（＝A+B）が検知されることになる。ステップS３では、各オブジェクトC，Dに、それぞれ矩形オブジェクト領域Kc，Ka+bが設定される。ステップS４では、各オブジェクトC，Dに対するID割当処理が実行される。

【0034】

図８へ進み、ステップS１０１では、最初の映像フレームではないと判定されるとステップS１０２へ進み、前回の映像フレームにおいて検知された各オブジェクトと今回の映像フレームにおいて検知された各オブジェクトとの類似度が、各オブジェクトの位置、オブジェクトサイズおよびオブジェクトの動きベクトルに基づいて計算され、類似度の高いオブジェクトに同一のIDが割り当てられる。

【0035】

ここでは、オブジェクトCにIDcが割り当てられるが、オブジェクトDにはIDが未割当となるのでステップS１０４からステップS１０５へ進み、オクルージョンフラグFocに基づいてオクルージョン中であるか否かが判定される。ここではオクルージョン中と判定されるのでステップS１０６へ進む。

【0036】

ステップS１０６では、前回フレームから今回フレームにかけてオブジェクト数が減少しているか否かが判定される。ここでは、オブジェクト数が「３」から「２」に減少していると判定されるのでステップS１０７へ進み、前記オクルージョン発生時割当部３１により未割当オブジェクトDへのID割当が行われる。

【0037】

本実施形態では、未割当オブジェクトDの現在位置が、オクルージョンリスト４２に登録されているオブジェクトA，Bの動きベクトルに基づいて予測される現在位置から予測誤差範囲内であるか否かが判断される。その結果、予測誤差範囲内であれば、未割当オブジェクトDをオブジェクトA，Bが一体化したオクルージョン中のオブジェクトであると判断して固有のIDを割り当てる。

【0038】

これに対して、未割当オブジェクトDの現在位置が予測誤差範囲外であれば、新規なオブジェクトIDが割り当てられる。ステップS１０９では、オブジェクトA，Bのオブジェクト情報が更新される。

【0039】

続く第（n+3）周期のステップS１では、図６(d)に示した映像フレームが取り込まれる。この映像フレームでは、オブジェクトA，B間のオクルージョンが解消し始めており、ステップS２では、オブジェクトA，Bを個別に認識できるので、３つのオブジェクトA，B，Cが改めて検知される。ステップS３では、各オブジェクトA，B，Cに、それぞれ矩形オブジェクト領域Ka，Kb，Kcが設定される。ステップS４では、各オブジェクトA，B，Cに対するID割当処理が実行される。

【0040】

図８のステップS１０１では、最初の映像フレームではないと判定されるのでステップS１０２へ進み、前回の映像フレームにおいて検知されていたオブジェクトC，Dと今回の映像フレームにおいて検知されたオブジェクトA，B，Cとの類似度が、各オブジェクトの位置、オブジェクトサイズおよびオブジェクトの動きベクトルに基づいて計算され、類似度の高いオブジェクトに同一IDが割り当てられる。

【0041】

ここでは、オブジェクトCに対してはオブジェクトIDcが割り当てられるが、オブジェクトA，Bについては、ステップS１０４において、対応するオブジェクトが前回の映像フレームにおいて検知されていないと判定されるのでステップS１０５へ進む。

【0042】

ステップS１０５では、オクルージョンフラグFocがセットされていると判定されるのでステップS１０６へ進み、ここでは、オブジェクト数が「２」から「３」に増加していると判断されるのでステップS１０８からステップS１１０へ進み、前記オクルージョン解消時割当部３２により未割当オブジェクトへのID割当が行われる。

【0043】

本実施形態では、未割当オブジェクトの大きさがオクルージョンリストに登録されてオブジェクトA，Bに類似し、かつ未割当オブジェクトの現在位置がオクルージョンリストに登録されてオブジェクトA，Bの動きベクトルに基づいて予測される現在位置から予測誤差範囲内であるか否かが判断される。

【0044】

予測誤差範囲内であれば、オクルージョンリストに登録されているオブジェクトID（IDa，IDb）を対応する各未割当オブジェクトに割り当てる。本実施形態では、オブジェクトAにオブジェクトIDaが割り当てられ、オブジェクトBにオブジェクトIDbが割り当てられる。未割当オブジェクトの現在位置が予測誤差範囲外であれば、新規なオブジェクトIDが割り当てられる。

【0045】

本実施形態によれば、オブジェクトを具体的に識別可能なRGBカラー映像を用いることなく、オブジェクトを具体的に識別できない奥行映像のみを用いてオブジェクトを追跡できるので、各オブジェクトのプライバシーを尊重したオブジェクト追跡が可能になる。

【0046】

また、本実施形態によれば、オクルージョン前後での各オブジェクトの同一性を、各オブジェクトの位置、サイズおよび動きベクトルから計算される類似度に基づいて判断するようにしたので、オクルージョンの発生にかかわらずオブジェクトの正確な追跡が可能になる。

【0047】

さらに、本実施形態によれば、オクルージョンの有無を、オブジェクト同士が重なって認識できなくなるよりも前に、オブジェクトに外接する矩形オクルージョン領域の重なりの有無に基づいて予測するようにしたので、その後にオクルージョン関係となる各オブジェクトを正確に識別できるようになる。

【符号の説明】

【0048】

１０…オブジェクト検知部，２０…オブジェクト領域設定部，３０…ID割当処理部，３１…オクルージョン発生時割当部，３２…オクルージョン解消時割当部，４０…オクルージョン処理部，５０…動線表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】