特許 7187655 物体追跡の方法、プログラム、システムおよび記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-12-02

(45)【発行日】2022-12-12

(54)【発明の名称】物体追跡の方法、プログラム、システムおよび記録媒体

(51)【国際特許分類】

   G06T 7/20 20170101AFI20221205BHJP

   G06T 7/00 20170101ALI20221205BHJP

【ＦＩ】

G06T7/20

G06T7/00 300F

【請求項の数】 15

(21)【出願番号】P 2021212552

(22)【出願日】2021-12-27

【審査請求日】2022-01-20

【早期審査対象出願】

(73)【特許権者】

【識別番号】521567974

【氏名又は名称】株式会社ａ－ＬＩＮＫ

(74)【代理人】

【識別番号】100083725

【弁理士】

【氏名又は名称】畝本 正一

(74)【代理人】

【識別番号】100140349

【弁理士】

【氏名又は名称】畝本 継立

(74)【代理人】

【識別番号】100153305

【弁理士】

【氏名又は名称】畝本 卓弥

(74)【代理人】

【識別番号】100206933

【弁理士】

【氏名又は名称】沖田 正樹

(72)【発明者】

【氏名】法原 敏博

(72)【発明者】

【氏名】秋間 ▲邦▼明

【審査官】新井 則和

(56)【参考文献】

【文献】特開２０２１－０１２６５７（ＪＰ，Ａ）

【文献】特開２０１９－１０１５２６（ＪＰ，Ａ）

【文献】特開２００４－０５３２７８（ＪＰ，Ａ）

【文献】特開平１０－１１１９４６（ＪＰ，Ａ）

【文献】特開２０１６－０７１８３０（ＪＰ，Ａ）

【文献】特開２００７－３１０４８０（ＪＰ，Ａ）

【文献】特開２０１８－２０５８７０（ＪＰ，Ａ）

【文献】特開２０１１－０３９５８４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

追跡対象から撮像により画像情報と深度情報を時系列で取得し、前記画像情報および前記深度情報により三次元の座標値を含む位置情報を時系列で取得する工程と、
前記画像情報から前記追跡対象の向き情報と前記追跡対象の顔領域の特徴情報を時系列で取得し、取得した前記特徴情報を前記向き情報によって分類してデータベースに格納する工程と、
前記位置情報を用いて前記追跡対象を同定する工程と、
取得した前記画像情報と前記深度情報による前記位置情報で前記追跡対象を同定できない場合、該画像情報から前記追跡対象の向き情報と顔領域の前記特徴情報を取得し、この取得した前記特徴情報と前記データベースの前記向き情報によって分類された前記特徴情報とを比較して、前記追跡対象を同定する工程と、
を含む、物体追跡方法。

【請求項2】

さらに、追跡中、前記追跡対象の現時点の位置情報と直近の位置情報を時系列で比較して前記追跡対象の移動距離を算出する工程と、
前記移動距離が閾値以内であれば、前記追跡対象を同定する工程と、
を含む、請求項１に記載の物体追跡方法。

【請求項3】

さらに、追跡中の追跡対象と他の追跡対象の画像間に重なりを生じ、または追跡対象のバウンディングボックスと他の追跡対象のバウンディングボックスとの間に重なりを生じた場合、該重なりの直前の特徴情報と、前記重なりの解消時点の特徴情報とを対比して追跡対象を同定する工程を含む、請求項１または請求項２に記載の物体追跡方法。

【請求項4】

さらに、前記画像情報から顔領域情報を時系列で取得し、該顔領域情報から少なくとも目または耳の部位情報を取得する工程と、
前記部位情報を用いて前記追跡対象の前記向き情報を取得し、該向き情報により前記特徴情報を分類して前記データベースに格納する工程と、
前記位置情報で前記追跡対象を同定できない場合、前記画像情報から取得した前記部位情報を用いて前記追跡対象の前記向き情報を取得するとともに、前記画像情報から顔領域の前記特徴情報を取得し、この取得した前記特徴情報と前記データベースの前記向き情報によって分類された前記特徴情報とを比較して、前記追跡対象を同定する工程と、
を含む、請求項１ないし請求項３の何れかの請求項に記載の物体追跡方法。

【請求項5】

さらに、前記バウンディングボックスを分割して複数行、複数列のグリッドを形成し、該グリッドの座標値で特定される前記位置情報を取得する工程を含む、請求項３に記載の物体追跡方法。

【請求項6】

さらに、バウンディングボックスを分割して複数行、複数列のグリッドを形成し、該グリッドの座標値で特定される前記部位情報を取得する工程を含む、請求項４に記載の物体追跡方法。

【請求項7】

コンピュータによって実行するプログラムであって、
追跡対象から撮像により画像情報と深度情報を時系列で取得し、前記画像情報および前記深度情報により三次元の座標値を含む位置情報を時系列で取得する機能と、
前記画像情報から前記追跡対象の向き情報と前記追跡対象の顔領域の特徴情報を時系列で取得し、取得した前記特徴情報を前記向き情報によって分類してデータベースに格納する機能と、
前記位置情報を用いて前記追跡対象を同定する機能と、
取得した前記画像情報と前記深度情報による前記位置情報で前記追跡対象を同定できない場合、該画像情報から前記追跡対象の向き情報と顔領域の前記特徴情報を取得し、この取得した前記特徴情報と前記データベースの前記向き情報によって分類された前記特徴情報とを比較して、前記追跡対象を同定する機能と、
を前記コンピュータによって実行させるためのプログラム。

【請求項8】

さらに、追跡中、前記追跡対象の現時点の位置情報と直近の位置情報を時系列で比較して前記追跡対象の移動距離を算出する機能と、
前記移動距離が閾値以内であれば、前記追跡対象を同定する機能と、
を前記コンピュータによって実行させるための請求項７に記載のプログラム。

【請求項9】

さらに、追跡中の追跡対象と他の追跡対象の画像間に重なりを生じ、または追跡対象のバウンディングボックスと他の追跡対象のバウンディングボックスとの間に重なりを生じた場合、該重なりの直前の特徴情報と、前記重なりの解消時点の特徴情報とを対比して追跡対象を同定する機能を前記コンピュータによって実行させるための請求項７または請求項８に記載のプログラム。

【請求項10】

さらに、前記画像情報から顔領域情報を時系列で取得し、該顔領域情報から少なくとも目または耳の部位情報を取得する機能と、
前記部位情報を用いて前記追跡対象の前記向き情報を取得し、該向き情報により前記特徴情報を分類して前記データベースに格納する機能と、
前記位置情報で前記追跡対象を同定できない場合、前記画像情報から取得した前記部位情報を用いて前記追跡対象の前記向き情報を取得するとともに、前記画像情報から顔領域の前記特徴情報を取得し、この取得した前記特徴情報と前記データベースの前記向き情報によって分類された前記特徴情報とを比較して、前記追跡対象を同定する機能と、
を前記コンピュータによって実行させるための請求項７ないし請求項９のいずれかの請求項に記載のプログラム。

【請求項11】

さらに、前記バウンディングボックスを分割して複数行、複数列のグリッドを形成し、該グリッドの座標値で特定される前記位置情報を取得する機能を前記コンピュータによって実行させるための請求項９に記載のプログラム。

【請求項12】

さらに、バウンディングボックスを分割して複数行、複数列のグリッドを形成し、該グリッドの座標値で特定される前記部位情報を取得する機能を前記コンピュータによって実行させるための請求項１０に記載のプログラム。

【請求項13】

追跡対象を表す少なくとも二次元の画像情報を時系列で取得する画像情報取得部と、
前記追跡対象の深度情報を時系列で取得する深度情報取得部と、
前記画像情報から前記追跡対象の向き情報と特徴情報を取得する特徴情報取得部と、
取得した前記特徴情報を前記向き情報によって分類して格納するデータベースと、
前記画像情報と前記深度情報を用いて前記追跡対象の位置情報を取得し、該位置情報を用いて前記追跡対象を同定し、該位置情報で同定できない場合、前記画像情報から前記追跡対象の向き情報と顔領域の前記特徴情報を取得し、この取得した前記特徴情報と前記データベースの前記向き情報によって分類された前記特徴情報とを比較して前記追跡対象を同定する同定処理部と、
前記追跡対象を表す画像情報とともに追跡情報を提示する情報提示部と、
を含む、物体追跡システム。

【請求項14】

少なくとも前記画像情報取得部、前記深度情報取得部、前記特徴情報取得部および前記同定処理部を備え、追跡対象の追跡情報を出力する二以上のデバイスと、
各デバイスから前記追跡情報を取得し、前記追跡対象の追跡角度または追跡範囲を拡張させて前記追跡対象を追跡するサーバーと、
を備える、請求項１３に記載の物体追跡システム。

【請求項15】

請求項７ないし請求項１２のいずれかに記載のプログラムを格納した、記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示はたとえば、ポータブル多機能デバイスなどを使用し、ポータブル多機能デバイスで取得したカメラ画像上の追跡対象であるたとえば、人などの物体を追跡する追跡技術に関する。

【背景技術】

【0002】

追跡すべき物体をカメラ画像により検出し、この物体を画像上で追跡することは既に知られている。この物体追跡には連続する画像間で物体の同定が不可欠である。

【0003】

この物体追跡に関し、深層学習による深層学習識別器と、深層学習識別器による特徴量を含んだマルチチャンネル特徴量を用いて、マルチチャンネル特徴量の位置情報とパーティクルの位置情報の距離に応じてパーティクルフィルタの尤度評価に適用することで物体を追跡するパーティクルフィルタ機能部とを備えることが知られている（たとえば、特許文献１）。

【0004】

人の追跡に関し、複数のカメラにより取得した画像情報から認識対象を抽出するための特徴情報を選択し、重要度情報および信頼度情報に基づいて複数の特徴情報から画像認識処理に有効な特徴情報を選択することが知られている（たとえば、特許文献２）。

【0005】

人の同定に関し、異なる方位から撮像して入力領域画像間の相対的な方位関係を取得し、少なくとも３つの方位から撮像して得た登録領域画像群に含まれる登録領域画像の特徴と入力領域画像の特徴を比較して同一の人物であるかを判定することが知られている（たとえば、特許文献３）。

【0006】

また、人の同定に関し、顔画像データの顔角度範囲を表す顔角度範囲データを顔画像データに関係付ける顔角度範囲判定処理を行い、顔認識度の高い顔画像データを顔角度範囲ごとのベストショットと判定し、それ以外の顔画像データを削除するベストショット判定処理を行い、さらに、ベストショットと判定された顔画像データを集計して人物管理データを作成し、人物の特定を行うことが知られている（たとえば、特許文献４）。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１９－１５３１１２号公報

【文献】特開２０１１－６００２４号公報

【文献】特開２０１６－１４４７号公報

【文献】特開２０１６－１５７１６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

カメラ画像上で人を追跡するには、その追跡対象を各フレームで認識しなければならない。現在のフレームと直前のフレームを比較し、追跡対象を同定する必要がある。つまり、フレーム間で追跡対象を同定することが不可欠である。

【0009】

フレーム上に複数の人が存在した場合には画像中で人の重なりや接触の他、追跡対象の人がカメラの画角から外れ、再び画角内に入った場合など、人の骨格などの情報だけでの対比では追跡対象を同定することが困難になる。つまり、フレーム間の画像対比において、同定に必要な情報量が不足すれば、追跡対象を同定できず見失うことになる。

【0010】

追跡対象が人であれば、顔認識を用いることができる。この顔認識には、対象者の登録顔情報と取得した顔情報とを対比し、特徴量の比較が必要である。これには追跡対象の登録情報として複数枚の正面画像の登録など、対比に必要な情報を登録しておくことが必要である。

【0011】

しかしながら、追跡対象が自然に動作している人から顔画像を取得して登録し、その顔情報を対比して連続して追跡対象を同定することは厄介である。尤も、不特定な追跡対象について登録情報を予め取得しておくことは不可能であるし、追跡対象が歩行者、競技者、被介護者など、その動きが異なれば、追跡に必要な情報の取得が困難になる。

【0012】

本開示の発明者は、画像情報および深度情報を時系列で取得してワールド空間（三次元空間）の座標値を含む位置情報を取得し、この位置情報を以て同定し、追跡対象の状態如何によって特徴情報を以て同定することが、多様な動きを伴う人などの物体を高精度に追跡可能であるとの知見を得た。

【0013】

そこで、本開示の目的は、上記課題または上記知見に鑑み、少なくとも二次元の画像情報および深度情報を用いて座標値を含む追跡対象の位置情報を時系列で取得して追跡中の移動対象を同定し、物体追跡の高速化および高精度化を実現することにある。

【0014】

また、本開示の他の目的は、位置情報による同定が困難であれば、追跡対象の特徴情報を以て同定処理の補完により同定機能の強化を図ることにある。

【課題を解決するための手段】

【0015】

上記目的を達成するため、本開示の物体追跡方法の一側面によれば、追跡対象から撮像により画像情報と深度情報を時系列で取得し、前記画像情報および前記深度情報により三次元の座標値を含む位置情報を時系列で取得する工程と、前記画像情報から前記追跡対象の向き情報と前記追跡対象の顔領域の特徴情報を時系列で取得し、取得した前記特徴情報を前記向き情報によって分類してデータベースに格納する工程と、前記位置情報を用いて前記追跡対象を同定する工程と、取得した前記画像情報と前記深度情報による前記位置情報で前記追跡対象を同定できない場合、該画像情報から前記追跡対象の向き情報と顔領域の前記特徴情報を取得し、この取得した前記特徴情報と前記データベースの前記向き情報によって分類された前記特徴情報とを比較して、前記追跡対象を同定する工程とを含む。

【0016】

この物体追跡方法において、さらに、追跡中、前記追跡対象の現時点の位置情報と直近の位置情報を時系列で比較して前記追跡対象の移動距離を算出する工程と、前記移動距離が閾値以内であれば、前記追跡対象を同定する工程とを含んでもよい。

【0018】

この物体追跡方法において、さらに、追跡中の追跡対象と他の追跡対象の画像間に重なりを生じ、または追跡対象のバウンディングボックスと他の追跡対象のバウンディングボックスとの間に重なりを生じた場合、該重なりの直前の前記特徴情報と、前記重なりの解消時点の前記特徴情報とを対比して追跡対象を同定する工程を含んでもよい。

【0019】

この物体追跡方法において、さらに、前記画像情報から顔領域情報を時系列で取得し、該顔領域情報から少なくとも目または耳の部位情報を取得する工程と、前記部位情報を用いて前記追跡対象の前記向き情報を取得し、該向き情報により前記特徴情報を分類して前記データベースに格納する工程と、前記位置情報で前記追跡対象を同定できない場合、前記画像情報から取得した前記部位情報を用いて前記追跡対象の前記向き情報を取得するとともに、前記画像情報から顔領域の前記特徴情報を取得し、この取得した前記特徴情報と前記データベースの前記向き情報によって分類された前記特徴情報とを比較して、前記追跡対象を同定する工程とを含んでもよい。

【0020】

この物体追跡方法において、さらに、前記バウンディングボックスを分割して複数行、複数列のグリッドを形成し、該グリッドの座標値で特定される前記位置情報を取得する工程を含んでもよい。
この物体追跡方法において、さらに、バウンディングボックスを分割して複数行、複数列のグリッドを形成し、該グリッドの座標値で特定される前記部位情報を取得する工程を含んでもよい。

【0021】

上記目的を達成するため、本開示のプログラムの一側面によれば、コンピュータによって実行するプログラムであって、追跡対象から撮像により画像情報と深度情報を時系列で取得し、前記画像情報および前記深度情報により三次元の座標値を含む位置情報を時系列で取得する機能と、前記画像情報から前記追跡対象の向き情報と前記追跡対象の顔領域の特徴情報を時系列で取得し、取得した前記特徴情報を前記向き情報によって分類してデータベースに格納する機能と、前記位置情報を用いて前記追跡対象を同定する機能と、取得した前記画像情報と前記深度情報による前記位置情報で前記追跡対象を同定できない場合、該画像情報から前記追跡対象の向き情報と顔領域の前記特徴情報を取得し、この取得した前記特徴情報と前記データベースの前記向き情報によって分類された前記特徴情報とを比較して、前記追跡対象を同定する機能とを前記コンピュータによって実行させる。

【0022】

このプログラムにおいて、さらに、追跡中、前記追跡対象の現時点の位置情報と直近の位置情報を時系列で比較して前記追跡対象の移動距離を算出する機能と、前記移動距離が閾値以内であれば、前記追跡対象を同定する機能とを前記コンピュータによって実行させてもよい。

【0024】

このプログラムにおいて、さらに、追跡中の追跡対象と他の追跡対象の画像間に重なりを生じ、または追跡対象のバウンディングボックスと他の追跡対象のバウンディングボックスとの間に重なりを生じた場合、該重なりの直前の前記特徴情報と、前記重なりの解消時点の特徴情報とを対比して追跡対象を同定する機能を前記コンピュータによって実行させてもよい。

【0025】

このプログラムにおいて、さらに、前記画像情報から顔領域情報を時系列で取得し、該顔領域情報から少なくとも目または耳の部位情報を取得する機能と、前記部位情報を用いて前記追跡対象の前記向き情報を取得し、該向き情報により前記特徴情報を分類して前記データベースに格納する機能と、前記位置情報で前記追跡対象を同定できない場合、前記画像情報から取得した前記部位情報を用いて前記追跡対象の前記向き情報を取得するとともに、前記画像情報から顔領域の前記特徴情報を取得し、この取得した前記特徴情報と前記データベースの前記向き情報によって分類された前記特徴情報とを比較して、前記追跡対象を同定する機能とを前記コンピュータによって実行させてもよい。

【0026】

このプログラムにおいて、さらに、前記バウンディングボックスを分割して複数行、複数列のグリッドを形成し、該グリッドの座標値で特定される前記位置情報を取得する機能を前記コンピュータによって実行させてもよい。
このプログラムにおいて、さらに、バウンディングボックスを分割して複数行、複数列のグリッドを形成し、該グリッドの座標値で特定される前記部位情報を取得する機能を前記コンピュータによって実行させてもよい。

【0027】

上記目的を達成するため、本開示の物体追跡システムの一側面によれば、追跡対象を表す少なくとも二次元の画像情報を時系列で取得する画像情報取得部と、前記追跡対象の深度情報を時系列で取得する深度情報取得部と、前記画像情報から前記追跡対象の向き情報と特徴情報を取得する特徴情報取得部と、取得した前記特徴情報を前記向き情報によって分類して格納するデータベースと、前記画像情報と前記深度情報を用いて前記追跡対象の位置情報を取得し、該位置情報を用いて前記追跡対象を同定し、該位置情報で同定できない場合、前記画像情報から前記追跡対象の向き情報と顔領域の前記特徴情報を取得し、この取得した前記特徴情報と前記データベースの前記向き情報によって分類された前記特徴情報とを比較して前記追跡対象を同定する同定処理部と、前記追跡対象を表す画像情報とともに追跡情報を提示する情報提示部とを含む。

【0028】

上記目的を達成するため、本開示の物体追跡システムの一側面によれば、少なくとも前記画像情報取得部、前記深度情報取得部、前記特徴情報取得部および前記同定処理部を備え、追跡対象の追跡情報を出力する二以上のデバイスと、各デバイスから前記追跡情報を取得し、前記追跡対象の追跡角度または追跡範囲を拡張させて前記追跡対象を追跡するサーバーとを備える。

【0030】

上記目的を達成するため、本開示の記録媒体の一側面によれば、前記プログラムを格納し、または、該データベースを格納した記録媒体である。

【発明の効果】

【0031】

本開示によれば、次の何れかの効果が得られる。
(1) 追跡対象から取得した二次元の画像情報と、深度情報を用いて三次元の位置情報を取得するので、この位置情報により人などの追跡対象の認識率および認識精度を向上させることができ、追跡対象の高精度かつ高速での同定ができ、追跡の信頼性を高め、追跡機能を強化することができる。

【0032】

(2) 移動する人などの追跡対象を、カメラや光検出・測距部を備えるポータブルデバイスにより追跡でき、たとえば、ポータブルデバイス上の情報提示部に追跡中の追跡対象を画像表示して提示できる。

【0033】

(3) 追跡対象である物体たとえば、運動中のプレーヤー、被介護者、施設における人の出入り、通行者など、各種物体の追跡に活用できる。

【図面の簡単な説明】

【0034】

【図1】図１は、第一の実施の形態に係る物体追跡システムの一例を示す図である。

【図2】図２のＡは、ポータブル多機能デバイスの背面部を示す図であり、図２のＢは、ポータブル多機能デバイスの前面部を示す図である。

【図3】図３は、ポータブル多機能デバイスのハードウェアを示す図である。

【図4】図４は、追跡情報データベースの一例を示す図である。

【図5】図５は、物体追跡の処理手順を示すフローチャートである。

【図6】図６は、追跡対象の位置情報の取得処理を示すフローチャートである。

【図7】図７は、バウンディングボックスの処理を示すフローチャートである。

【図8】図８のＡは、バウンディングボックスからグリッド点を示す図であり、図８のＢは、バウンディングボックスおよび深度情報を示す図である。

【図9】図９のＡは画像情報を示す図であり、図９のＢは深度情報を示す図であり、図９のＣは合成画像を示す図である。

【図10】図１０は、向き判断の処理手順を示すフローチャートである。

【図11】図１１は、取得部位と向きの関係を示す図である。

【図12】図１２は、同定処理Ｉを示すフローチャートである。

【図13】図１３のＡは追跡中の画像情報を示す図であり、図１３のＢはバウンディングボックスの重なり状態を含む画像情報を示す図であり、図１３のＣはバウンディングボックスの分離状態を含む画像情報を示す図である。

【図14】図１４のＡは、バウンディングボックスの移動距離が閾値以下の場合を示す図であり、図１４のＢは、バウンディングボックスの移動距離が閾値を超える場合を示す図である。

【図15】図１５のＡは、追跡対象のフレームインを示す図であり、図１５のＢは、追跡対象のフレームアウトを示す図であり、図１５のＣは、追跡対象の再フレームインを示す図である。

【図16】図１６は、同定処理IIを示すフローチャートである。

【図17】図１７は、第二の実施の形態に係る物体追跡システムを示す図である。

【図18】図１８は、２台のデバイスによる追跡範囲の拡大化を示す図である。

【図19】図１９は、４台のデバイスによる追跡範囲の広域化および複合追跡を示す図である。

【発明を実施するための形態】

【0035】

〔第一の実施の形態〕
図１は、第一の実施の形態に係る物体追跡システムを示している。図１に示す構成は一例であり、本開示が斯かる構成に限定されるものではない。

【0036】

この物体追跡システム２は、追跡対象の画像情報および深度情報により取得した位置情報による同定処理Ｉで同定し、同定処理Ｉで同定できないとき、画像情報より取得した特徴情報を用いて追跡対象を同定処理IIで同定する。この物体追跡システム２はたとえば、Ａｐｐｌｅ Ｉｎｃ．（アップル インコーポレイテッド）の製品などのポータブル多機能デバイスに搭載されて実施可能であるが、例示したポータブル多機能デバイスに限定されるものではない。

【0037】

この物体追跡システム２には処理部４、カメラ６、光検出・測距部８、情報提示部１０などが含まれる。処理部４は、追跡対象を情報処理によって追跡する情報処理やカメラ６や光検出・測距部８などの各種の機能部の制御を司る。

【0038】

カメラ６は本開示の撮像部の一例である。このカメラ６は、追跡対象を含むエリアを処理部４の制御により撮像し、連続したたとえば、二次元の画像情報を時系列で出力する。

【0039】

光検出・測距部８はポータブル多機能デバイスに搭載されるたとえば、光検出・測距機能ユニットの一例である。光検出・測距部８は、処理部４の制御によりカメラ６の撮像と同期して取得した深度情報を出力する。この光検出・測距部８はたとえば、ＬＩＤＡＲ（Light Detection and Ranging ）スキャナーなど、光検出・測距ユニットで構成される。このライダースキャナーユニットによれば、追跡対象に照射したレーザー光を走査し、追跡対象からの反射光を受光して追跡対象と光照射点との距離、つまり深度を表す深度情報を時系列で取得することができる。

【0040】

情報提示部１０はたとえば、ＬＣＤ（Liquid Crystal Display）など、画像提示ユニットで構成し、追跡対象や追跡情報などを含む画像を提示する。

【0041】

＜処理部４＞
処理部４には追跡制御部１２、画像情報取得部１４、深度情報取得部１６、バウンディングボックス処理部１８、追跡情報データベース生成部２０、位置情報処理部２２、特徴情報処理部２４、状態情報処理部２６、同定処理部２８、同定情報提示部３０、連係処理部３２などの機能部が含まれている。

【0042】

追跡制御部１２はたとえば、移動する追跡対象を追跡するため、追跡対象から位置情報および特徴情報の取得を制御し、追跡対象の位置情報による同定制御と、位置情報による同定ができないとき、特徴情報による同定制御などを司る。

【0043】

画像情報取得部１４は、カメラ６から追跡対象を含む画像情報を取得する。画像情報取得部１４は、追跡制御部１２の制御に基づき、カメラ６から二次元の画像情報を時系列で取得し、この画像情報を追跡情報データベース生成部２０に提供する。

【0044】

深度情報取得部１６は、光検出・測距部８がカメラ６の撮像と同期して取得した深度情報を時系列で取得する。

【0045】

バウンディングボックス処理部１８は、追跡対象の検出、バウンディングボックスの取得機能、分割機能、グリッド点の生成機能、座標値の取得機能などの処理を実行する。画像情報から追跡対象の骨格などを検出し、追跡対象を特定する。デバイスに搭載された既存のＯＳ（Operating System）に含まれるＡＰＩ（Application Programming Interface ）機能などでは、追跡対象の画像情報にバウンディングボックスが生成されるので、このバウンディングボックスを取得すればよい。バウンディングボックスは追跡対象の上半身を含む領域を表すたとえば、長方形の区画枠である。このバウンディングボックスの分割機能は、バウンディングボックスを複数の行線および列線で複数区画に分割し、行線および列線の交点でグリッド点ｇを生成させる。このグリッド点ｇの座標値を取得するとともに、深度情報を参照して追跡対象の特定に有効な位置情報を選択する。

【0046】

追跡情報データベース生成部２０は、追跡情報データベース（ＤＢ）６６（図４）を生成し、処理部４が取得しまたは生成する画像情報、深度情報、バウンディングボックス情報、グリッド点情報、位置情報、特徴情報など、追跡情報に必要な情報をたとえば、フレーム単位で追跡情報ＤＢ６６に格納する。この追跡情報ＤＢ６６が追跡対象の同定に用いられる。

【0047】

位置情報処理部２２は、画像情報取得部１４から提供された二次元の画像情報と、深度情報取得部１６から提供された深度情報とを合成し、合成画像と既述のグリッド点ｇを用いて追跡対象を特定するための座標値を含む位置情報を生成する。

【0048】

特徴情報処理部２４は、画像情報から追跡対象の特徴情報と、特徴情報の分類情報の一例である向き情報を取得し、追跡対象の顔の向き判断と、特徴情報を顔の向きにカテゴライズする。特徴情報は、追跡制御部１２の制御に基づき、画像情報から追跡対象の顔領域情報を取得し、この顔領域から特徴情報を取得する。この特徴情報はたとえば、目、耳などの部位を除く顔の画像情報から取得可能な特徴情報である。向き情報は、目、耳などの取得部位によって判定された「正面」、「左向き」および「右向き」などの分類情報である。顔認識による同定処理IIは、追跡対象から取得した特徴情報に含まれる特徴量の多少に応じて追跡対象を同定する。

【0049】

状態情報処理部２６は、追跡対象のバウンディングボックスを監視し、その状態情報としてバウンディングボックス間の重なり、バウンディングボックスの移動距離、バウンディングボックスのフレームアウト後の再フレームインなどの状態情報を取得する。この状態情報を取得することにより、追跡対象を位置情報で同定ができない場合において、その直前フレームにおける追跡対象の特徴情報、不定状態の解消後の直後フレームにおける追跡対象の特徴情報を取得する。

【0050】

同定処理部２８は、位置情報を用いて追跡対象の同定が可能である場合には、位置情報によって同定処理Ｉを実行し、位置情報を用いて追跡対象の同定ができない場合、追跡対象の特徴情報を用いた同定処理IIを実行する。具体的には同定処理部２８では追跡制御部１２の制御に基づき、時系列で取得した座標値を画像情報のフレームごとに時系列で取得し、フレーム単位で追跡対象を同定する。つまり、追跡対象の移動距離が所定の閾値を表すたとえば、０．５ｍ以下であれば、追跡対象を同定し、同一対象と認定する。これに対し、追跡対象の移動距離が閾値以上であれば、座標値を含む位置情報による同定処理Ｉを回避し、顔認証による同定処理IIに委ねる。移動距離の閾値は、深度情報取得部１６で取得可能な深度情報の精度に応じて設定すればよい。

【0051】

同定情報提示部３０は、追跡中の追跡対象について追跡表示を生成し、情報提示部１０に提示する。この追跡表示は、追跡対象の追跡、同定などの追跡状態を表す追跡情報の一例である。この追跡表示には同定されている追跡対象を表す画像上にたとえば、同一色で提示され、他の追跡対象と峻別可能に設定される。バウンディングボックスが追跡対象を特定するための情報処理上の概念であるのに対し、この追跡表示はバウンディングボックスと異なり、追跡中の追跡対象のたとえば、頭部に表示される。

【0052】

連係処理部３２は、ネットワーク３４を介して外部のサーバー３６と連係して追跡対象の追跡処理を補完する。

【0053】

この第一の実施の形態では、連係処理部３２、ネットワーク３４およびサーバー３６が物体追跡システム２に含まれているが、この物体追跡システム２から連係処理部３２、ネットワーク３４およびサーバー３６を除いたポータブル多機能デバイス（以下単に「デバイス」と称する）３８のみで物体追跡システム２を構成してもよい。

【0054】

＜デバイス３８＞
図２のＡは、デバイス３８の背面部を示している。このデバイス３８は、本開示の物体追跡装置の一例である。

【0055】

このデバイス３８の装置本体４０の背面には情報取得部４１が設定され、この情報取得部４１にはカメラ６および光検出・測距部８が設置されている。

【0056】

図２のＢは、デバイス３８の前面部を示している。このデバイス３８の装置本体４０の前面にはディスプレイ４５の表示画面部４６が設置され、この表示画面部４６にはタッチパネル４８が設置されている。このタッチパネル４８は操作入力部５６の一例である。この操作入力部５６には図示しないキーボード装置やマウスなどのインターフェイス機器が含まれる。

【0057】

この表示画面部４６には一例として画像情報Ｉｆが表示されている。この画像情報Ｉｆには、追跡中の動画情報であり、複数の追跡対象Ｐ－１、Ｐ－２および追跡表示Ｔ－１、Ｔ－２が含まれている。追跡表示Ｔ－１は、追跡対象Ｐ－１の頭部に重ねられて同定状態を表し、追跡表示Ｔ－２は追跡対象Ｐ－２の頭部に重ねられて同定状態を表す。各追跡表示Ｔ－１、Ｔ－２は、異なる表示色で提示され、追跡対象Ｐ－１、Ｐ－２が追跡表示Ｔ－１、Ｔ－２によっても峻別可能である。情報処理上、追跡対象Ｐ－１にはバウンディングボックスＢ－１、追跡対象Ｐ－２にはバウンディングボックスＢ－２が形成されるが、これらは画像上に提示されない。以下、追跡対象Ｐ－１、Ｐ－２について、追跡対象を特定しない場合、単に追跡対象Ｐと表記し、追跡表示についても追跡対象を特定しない場合、単に追跡表示Ｔと表示し、同様に、バウンディングボックスＢ－１、Ｂ－２についても追跡対象を特定しない場合には単にバウンディングボックスＢと表記する。

【0058】

＜デバイス３８のハードウェア＞
図３は、デバイス３８のハードウェアの一例を示している。デバイス３８には処理部４、カメラ６、光検出・測距部８、ディスプレイ４５、タッチパネル４８などが含まれる。

【0059】

処理部４にはプロセッサ５８、記憶部６０、入出力部（Ｉ／Ｏ）６２、通信部６４が含まれる。プロセッサ５８は、記憶部６０にあるＯＳ、物体追跡プログラムなどの各種プログラムを実行し、既述の機能部の制御を実行する。

【0060】

記憶部６０は、本開示の記録媒体の一例であり、ＯＳ、物体追跡プログラム、追跡情報ＤＢ６６など、各種の情報を格納する。この記憶部６０にはＲＯＭ（Read-Only Memory）、ＲＡＭ（Random-Access Memory）などの記憶素子が用いられる。ＲＡＭは、情報処理のワークエリアやフレームワークなどを構成する。

【0061】

Ｉ／Ｏ６２は、プロセッサ５８の制御により情報の入出力を行う。このＩ／Ｏ６２には情報入力手段としてカメラ６、光検出・測距部８、ディスプレイ４５、タッチパネル４８などが接続される。

【0062】

情報提示部１０には、ディスプレイ４５以外の他の表示機器を用いてもよい。操作入力部５６には、タッチパネル４８以外の操作入力機器を用いてもよい。

【0063】

通信部６４は、プロセッサ５８の制御によりネットワーク３４を介してサーバー３６と通信し、連係によって物体追跡に必要な情報交換を行う。

【0064】

＜追跡情報ＤＢ６６＞
図４は、物体追跡システム２に用いる追跡情報を格納する追跡情報ＤＢ６６を示している。この追跡情報ＤＢ６６には検出した追跡対象ごとに生成する追跡対象ファイル６７－１、６７－２、・・・、６７－ｎが含まれる。

【0065】

各追跡対象ファイル６７－１、６７－２、・・・、６７－ｎには画像情報部６８、深度情報部７０、バウンディングボックス部７２、グリッド点部７４、位置情報部７６、特徴情報部７８、分類情報部８０、向き情報部８２、状態情報部８４、同定情報部８６、履歴情報部８８が含まれる。

【0066】

画像情報部６８には、追跡対象Ｐからカメラ６で取得した二次元の画像情報が時系列で格納される。深度情報部７０には、追跡対象Ｐから光検出・測距部８で取得した深度情報が時系列で格納される。バウンディングボックス部７２には、画像情報から取得したバウンディングボックス情報が格納される。グリッド点部７４には、バウンディングボックスに生成されたグリッド点の位置情報が格納される。位置情報部７６には、追跡対象から取得した画像情報と深度情報から算出された位置情報が格納される。特徴情報部７８には、画像情報から取得した追跡対象の特徴情報が格納される。分類情報部８０には、顔認識に用いられる画像情報の分類情報が格納される。この分類情報部８０には、左目、右目、左耳、右耳の各位置情報が含まれる。

【0067】

向き情報部８２には顔の向きを表す向き情報によって分類されて特徴情報が格納される。この向き情報部８２には正面部８２－１、左向き部８２－２、右向き部８２－３、不定部８２－４が設定されている。正面部８２－１には正面に分類された特徴情報が格納される。左向き部８２－２には左向きに分類された特徴情報が格納される。右向き部８２－３には右向きに分類された特徴情報が格納される。不定部８２－４には何れにも分類されない特徴情報が格納される。

【0068】

状態情報部８４には、バウンディングボックスの状態情報が格納される。この状態情報には移動距離情報部８４－１、重なり情報部８４－２が設定されている。移動距離情報部８４－１には、バウンディングボックス間の移動距離情報、フレームアウト情報などが格納される。

【0069】

重なり情報部８４－２には、バウンディングボックスの重なり情報などが格納される。同定情報部８６には、追跡対象を同定した処理における同定処理Ｉ、同定処理II、同定結果を表す追跡表示の着色情報、同定カテゴリ情報などが格納される。履歴情報部８８には、追跡対象の同定履歴、実績などの履歴情報が格納される。

【0070】

＜物体追跡の処理手順＞
図５は、デバイス３８を用いた物体追跡の処理手順を示している。この処理手順は、本開示の物体追跡システムを用いた物体追跡方法または物体追跡プログラムの一例である。図５において、Ｓは機能または処理の工程を示し、Ｓに付した番号は工程順を示している（図６、図７、図１０、図１２または図１６に示すフローチャートにおいても同様である）。

【0071】

この処理手順には図５に示すように、画像情報および深度情報の取得（Ｓ１０１）、追跡モードの開始判断（Ｓ１０２）、追跡対象の位置情報の取得および保存（Ｓ１０３）、追跡対象の向き情報・特徴情報の取得および保存（Ｓ１０４）、同定判断（Ｓ１０５、Ｓ１０６、Ｓ１０７、Ｓ１０８、Ｓ１０９）、追跡情報の提示（Ｓ１１０）などが含まれている。

【0072】

画像情報および深度情報の取得（Ｓ１０１）： デバイス３８を起動すると、画像情報を取得するための画像取得モードが立ち上がる。この画像取得モードにおいて、カメラ６および光検出・測距部８が起動する。カメラ６が追跡制御部１２の制御により画像情報を時系列で取得するとともに、光検出・測距部８が、追跡対象の深度情報を時系列で取得する。

【0073】

画像情報はたとえば、ユーザ操作に基づき、追跡対象に向けられたカメラ６の撮像によって得られるたとえば、二次元の画像情報である。したがって、この画像情報は単一または複数の追跡対象の他、背景などを含んでいる。

【0074】

深度情報は、ユーザ操作に基づき、カメラ６とともに追跡対象に向けられた光検出・測距部８に取得される深度を表す情報である。深度とは、画像情報を二次元とすれば、画像情報に対して奥行き方向を表す距離情報である。

【0075】

追跡モードの開始判断（Ｓ１０２）： この実施の形態では、画像情報の取得と追跡対象を追跡するための追跡モードは別個に設定されている。この追跡モードの開始には、開始条件を充足することが必要である。開始条件としては、画像取得モードにおいて、開始情報の取得を条件とする。たとえば、追跡対象に表示されているバウンディングボックスＢへのタッチを感知し、これを開始情報に用いて追跡モードを開始させる。

【0076】

追跡対象の位置情報の取得および保存（Ｓ１０３）： 本開示の物体追跡には、追跡対象を特定し、バウンディングボックスＢ内の追跡対象の座標値を含む位置情報を取得する。この位置情報の取得には、カメラ６によって取得した画像情報から追跡対象を検出し、この追跡対象を表す二次元情報と、追跡対象から取得した深度情報とを合成し、追跡対象を表す三次元情報である座標値を含む位置情報を時系列で取得する。この位置情報は、画像情報および深度情報とともに追跡情報ＤＢ６６に記録されて保存される。

【0077】

追跡対象の向き情報・特徴情報の取得および保存（Ｓ１０４）： 本開示の物体追跡には、追跡対象の位置情報の他、追跡対象の向き情報および特徴情報が用いられる。この特徴情報は、追跡対象が人であれば、顔画像から人の向き情報および特徴情報を取得する。向き情報は、人の顔の向きを表す情報であり、特徴情報をカテゴライズするために用いられる。顔の向きはたとえば、正面、左向きおよび右向きの３パターンが設定されている。特徴情報のカテゴライズは、対比するための特徴情報を特定する単位概念であり、顔画像における特徴情報は、顔の向きを単位として分類され、追跡情報ＤＢ６６に記録されて保存される。

【0078】

同定判断（Ｓ１０５、Ｓ１０６、Ｓ１０７、Ｓ１０８、Ｓ１０９）： 同定判断は、移動する追跡対象が同一か否かの判断である。この同定判断には、第１の処理として同定処理Ｉ、第２の処理として同定処理IIが含まれる。同定処理Ｉは、追跡対象の位置情報を用いた同定であり、同定処理IIは、追跡対象の特徴情報を用いた同定である。つまり、追跡対象の位置情報による判断である三次元の座標値による判断を行ったとき、不定フレームなどの存在で座標値による同定ができないとき、同定処理Ｉを補完する処理である同定処理IIによる顔認証による同定が含まれている。

【0079】

座標値による同定ができない場合には画像情報および深度情報が取得できた場合であってもたとえば、(1) バウンディングボックスＢ－１が他のバウンディングボックスＢ－２との間で重なりが生じた場合、(2) 現フレームのバウンディングボックスと直前フレームのバウンディングボックスの移動距離が閾値以上の場合、(3) 追跡対象が撮像の画角範囲から外れ、再び画角内に復帰した場合などのパターンが含まれる。

【0080】

バウンディングボックスが重なった場合には、バウンディングボックスを基準に追跡対象を特定することから、バウンディングボックスが重なると、追跡対象を見失うことになる。

【0081】

バウンディングボックスが重ならない場合であっても、現フレームのバウンディングボックスの直前フレームのバウンディングボックスからの移動距離が閾値以上である場合には座標値の精度が失われるので、同定しない。

【0082】

また、カメラ６の撮像範囲から追跡対象が外れると、画像情報および深度情報を取得することができない。このため、撮像範囲内の追跡対象から位置情報を取得していても、再び撮像範囲以内に入った追跡対象の画像情報および深度情報から取得した位置情報との対比では追跡対象の同定ができない。

【0083】

このように位置情報で追跡対象を同定できない場合には、特徴情報を用いて追跡対象を同定する。つまり、座標値で追跡対象を同定できた場合には、特徴情報を用いた同定は省略される。

【0084】

したがって、この同定判断（Ｓ１０５）には、座標値を含む位置情報による同定処理Ｉでの同定判断（Ｓ１０６）、特徴情報による同定処理IIでの同定判断（Ｓ１０７）、追跡対象の同定（Ｓ１０８）、不定の判断（Ｓ１０９）が含まれる。同定処理Ｉでの同定判断（Ｓ１０６）では、同定処理Ｉで同定が可能かを判断し、同定処理Ｉで同定が可能であれば、位置情報のみで追跡対象を同定する（Ｓ１０８）。

【0085】

同定処理Ｉで同定できない場合には（Ｓ１０６のＮＯ）、同定処理IIによる同定かを判断する（Ｓ１０７）。同定処理IIで同定できれば（Ｓ１０７のＹＥＳ）、追跡対象を同定する（Ｓ１０８）。これに対し、同定処理IIで同定できなければ（Ｓ１０７のＮＯ）、追跡対象を不定と判断し（Ｓ１０９）、Ｓ１０３に戻る。つまり、特徴情報によっても同定できなければ、Ｓ１０３に戻る。

【0086】

追跡情報の提示（Ｓ１１０）： 追跡対象を同定すれば（Ｓ１０８）、追跡対象の追跡情報、つまり追跡中の追跡対象の画像情報とともに追跡表示を提示し（Ｓ１１０）、Ｓ１０３に戻る。同定された追跡対象の追跡表示は追跡対象ごとに異なる着色を以て表示する。つまり、同定中の追跡対象の追跡表示は同一色で提示され、他の追跡対象の追跡表示と異なる着色を以て提示される。つまり、同定が失われた追跡対象の追跡表示は同定中の着色と異ならせ、その状態を提示すればよい。

【0087】

＜位置情報の取得＞
図６は、位置情報の取得の処理手順を示している。この処理手順は追跡対象の位置情報の取得および保存（図５のＳ１０３）のサブルーチンである。

【0088】

この処理手順には、画像情報および深度情報の取得（Ｓ２０１）、追跡対象の検知およびバウンディングボックスの取得（Ｓ２０２）、追跡対象の座標値の取得（Ｓ２０３）、座標値の保存（Ｓ２０４）、座標値の取得の終了判断（Ｓ２０５）、次のフレームの処理（Ｓ２０６）が含まれる。

【0089】

画像情報および深度情報の取得（Ｓ２０１）： この画像情報および深度情報の取得は、追跡モード（Ｓ１０２）の開始後の取得である。

【0090】

追跡対象Ｐの検知およびバウンディングボックスの取得（Ｓ２０２）： この追跡対象Ｐの検知およびバウンディングボックスの取得は、追跡制御部１２の制御により、カメラ６から得た画像情報から追跡対象を検知し、この追跡対象の座標値を取得する。追跡対象が人であれば、ＯＳに搭載されている人検知機能（たとえば、Vision Framework - Request Human Detection）を用いて画像情報から人の検知を行い、二次元情報であるバウンディングボックスを取得する。

【0091】

追跡対象Ｐの座標値の取得（Ｓ２０３）： この追跡対象Ｐの座標値の取得は、バウンディングボックスＢを単位として追跡対象Ｐを表す座標値を含む三次元情報として位置情報を取得する。この位置情報の取得にはたとえば、図９に示すように、二次元情報である画像情報と深度情報とを合成し、この合成によって得られる合成画像（三次元の座標情報）から座標値を時系列で取得する。つまり、この処理により、バウンディングボックス内の追跡対象Ｐを高精度に表す位置情報を取得できる。

【0092】

座標値の保存（Ｓ２０４）： 取得した座標値は、追跡制御部１２の制御により追跡情報ＤＢ６６に格納されて保存される。この座標値の保存はたとえば、画像情報のフレーム単位で行えばよい。

【0093】

座標値の取得の終了判断（Ｓ２０５）： この座標値の取得終了は、追跡制御部１２の制御により、フレーム中の座標値の取得終了かを判断し（Ｓ２０５）、この座標値の取得終了まで、Ｓ２０３およびＳ２０４の処理を繰り返す（Ｓ２０５のＮＯ）。

【0094】

次のフレームの処理（Ｓ２０６）： 追跡制御部１２がフレーム中の座標値の取得を終了したと判断したとき（Ｓ２０５のＹＥＳ）、次フレームの処理に移行し（Ｓ２０６）、Ｓ２０１～Ｓ２０６の処理を時系列で実行する。

【0095】

＜バウンディングボックスＢの処理＞
図７は、バウンディングボックスＢの処理を示している。この処理手順には、追跡対象に表示されるバウンディングボックスＢの分割および追跡対象の位置情報の取得の処理が含まれており、位置情報の取得処理（図６）のＳ２０２のサブルーチンである。

【0096】

この処理手順にはバウンディングボックスＢの幅ｗおよび高さｈの取得（Ｓ３０１）、バウンディングボックスの分割（Ｓ３０２）、グリッド点ｇの生成（Ｓ３０３）、グリッド点ｇの位置判定（Ｓ３０４、Ｓ３０５）、グリッド点ｇの座標値の取得（Ｓ３０６）、座標値の信頼度のチェック（Ｓ３０７）、信頼度判定（Ｓ３０８）、グリッド点ｇの座標値の保存（Ｓ３０９）、処理の終了判定（Ｓ３１０）、座標値数の判定（Ｓ３１１）、中心Ｂｎの座標値の取得（Ｓ３１２）、位置情報の設定（Ｓ３１３）、位置情報の不明判定（Ｓ３１４）などが含まれる。

【0097】

バウンディングボックスＢの幅ｗおよび高さｈの取得（Ｓ３０１）： このバウンディングボックスＢの幅ｗおよび高さｈは追跡制御部１２の制御により、バウンディングボックス処理部１８が取得したバウンディングボックスＢから幅ｗおよび高さｈを取得する。

【0098】

バウンディングボックスＢの分割（Ｓ３０２）： バウンディングボックス処理部１８が追跡制御部１２の制御により、図８のＡに示すように、複数の行線および列線によってたとえば、幅方向を８分割、高さ方向を８分割し、バウンディングボックスＢを６４区画に分割する。この分割数は一例であり、この分割数に本開示が限定されるものではない。バウンディングボックスＢのＸ軸方向の幅ｗをｗ＝ｘ、Ｙ軸方向の高さｈをｈ＝ｙとすれば、分割枠の大きさをステップ（Ｓｔｅｐ）で表すと、式１、式２で表すことができる。

【0099】

ｘＳｔｅｐ＝ｗ／８ （式１）
ｙＳｔｅｐ＝ｈ／８ （式２）

【0100】

グリッド点ｇの生成（Ｓ３０３）： このようにバウンディングボックスＢを分割すると、図８のＡに示すように、バウンディングボックスＢ内に８×８の分割によってグリッド点ｇを作成することができる。つまり、グリッド点ｇは、行線および列線の交点である。

【0101】

グリッド点ｇの位置判定（Ｓ３０４）： 作成された各グリッド点ｇについて、各位置を判定する。グリッド点ｇの位置が閾値として、バウンディングボックスＢの中心Ｂｎより＋ｙＳｔｅｐより下であるか否かの判定である。

【0102】

グリッド点ｇの位置判定（Ｓ３０５）： グリッド点ｇの位置が閾値以下、つまりバウンディングボックスＢの中心Ｂｎより＋ｙＳｔｅｐより下であれば（Ｓ３０５のＹＥＳ）、Ｓ３０６に遷移し、グリッド点ｇの位置がバウンディングボックスＢの中心Ｂｎより＋ｙＳｔｅｐより上であれば（Ｓ３０５のＮＯ）、Ｓ３０４に遷移する。

【0103】

グリッド点ｇの座標値の取得（Ｓ３０６）： バウンディングボックスＢの中心Ｂｎより＋ｙＳｔｅｐより下であるグリッド点ｇについて、三次元の座標値を取得する。この座標値の取得について、バウンディングボックスＢは追跡対象の顔領域を含む上半身を包囲する領域である。このため、バウンディングボックスＢの中心Ｂｎより上のグリッド点ｇでは肩より上となり、身体以外の部分を含むこととなり、追跡対象以外の座標値が取得される可能性がある。これに対し、バウンディングボックスＢの中心Ｂｎより下のグリッド点ｇは追跡対象の中央部分、つまり、身体の中央部分となるので、有効なグリッド点ｇの三次元の座標値を取得できる可能性が高い。よって、バウンディングボックスＢの中心Ｂｎより下のグリッド点ｇを取得し、これを追跡対象の位置情報とする。

【0104】

座標値の信頼度のチェック（Ｓ３０７）： グリッド点ｇの座標値について、信頼度のチェックを行う。このチェックには図８のＢに示すように、グリッド点ｇに重なる追跡対象Ｐの深度情報Ｄｉを参照する。深度情報Ｄｉには信頼度を表す情報（信頼度情報）として低信頼度ｌｏｗ（＝Depth-value accuracy in which the framework is less confident.）、中信頼度ｍｅｄｉｕｍ（＝Depth-value accuracy in which the framework is moderately confident.）、高信頼度ｈｉｇｈ（＝Depth-value accuracy in which the framework is fairly confident.）が含まれている。したがって、各グリッド点ｇは、深度情報の信頼度を以てチェックすることができる。

【0105】

グリッド点ｇの信頼度の判定（Ｓ３０８）： グリッド点ｇの信頼度について、高信頼度ｈｉｇｈであるか否かの閾値を設定し、その判定を行う。つまり、グリッド点ｇの信頼度が高信頼度ｈｉｇｈであれば（Ｓ３０８のＹＥＳ）、Ｓ３０９に遷移し、グリッド点ｇの信頼度が低信頼度ｌｏｗまたは中信頼度ｍｅｄｉｕｍであれば（Ｓ３０８のＮＯ）、Ｓ３０５に戻る。

【0106】

座標値の保存（Ｓ３０９）： グリッド点ｇの信頼度が高信頼度ｈｉｇｈであれば（Ｓ３０８のＹＥＳ）、取得したグリッド点ｇの三次元の座標値を位置情報として追跡情報ＤＢ６６に登録して保存する。

【0107】

処理の終了判定（Ｓ３１０）： バウンディングボックス処理部１８は、取得した全グリッド点ｇの処理が終了したかを判定する（Ｓ３１０）。全グリッド点ｇの処理が終了していなければ（Ｓ３１０のＮＯ）、Ｓ３０５～Ｓ３１０の処理を継続し、全グリッド点ｇの処理を行う。そして、グリッド点ｇの全部の処理が終了すれば（Ｓ３１０のＹＥＳ）、Ｓ３１１に遷移する。

【0108】

座標値数の判定（Ｓ３１１）： バウンディングボックス処理部１８は、保存したグリッド点ｇの座標値数が閾値以上かを判定する。座標値数の閾値は一定値としてたとえば、２×２を設定する。この場合、保存したグリッド点ｇの座標値数が閾値＝２×２以上であれば（Ｓ３１１のＹＥＳ）、Ｓ３１２に遷移し、保存したグリッド点ｇの座標値数が閾値＝２×２未満であれば（Ｓ３１１のＮＯ）、Ｓ３１４に遷移する。

【0109】

中心の座標値の取得（Ｓ３１２）： 保存したグリッド点ｇの座標値数が閾値＝２×２以上であれば（Ｓ３１１のＹＥＳ）、バウンディングボックス処理部１８は、位置情報が確定している追跡対象として認識する。この認識の結果、バウンディングボックス処理部１８は、バウンディングボックスＢの中心Ｂｎの座標値を取得する。

【0110】

この場合、中心Ｂｎの座標値の取得処理はたとえば、
Mid X and Mid Y is the midpoint of the X and Y edges of screen bounds
Mid X ＝ screenBoundsd. Mid X
Mid Y ＝ screenBoundsd. Mid Y
Center ＝（Mid X, Mid Y＋ yStep）
からバウンディングボックスＢの中心Ｂｎの値が求められる。

【0111】

位置情報の設定（Ｓ３１３）： バウンディングボックス処理部１８は取得した中心Ｂｎの座標値を追跡対象の位置情報として設定し、この処理を終了する。

【0112】

位置情報の不明判定（Ｓ３１４）： 保存したグリッド点ｇの座標値数が閾値＝２×２未満であれば（Ｓ３１１のＮＯ）、グリッド点ｇの座標値が保存されないので、追跡対象の位置情報＝不明として処理し、この場合、位置情報が不明な追跡対象となる。

【0113】

＜画像情報および深度情報の合成、位置情報の取得＞
図９のＡは、二次元の画像情報を示している。追跡対象Ｐをカメラ６で撮像すると、図９のＡに示すように、追跡対象Ｐを表す画像情報Ｉｆが得られる。この画像情報Ｉｆは追跡制御部１２の制御により、追跡情報ＤＢ６６に記録される。

【0114】

図９のＢは、追跡対象Ｐの深度情報Ｄｉを示している。追跡対象Ｐを同一条件で光検出・測距部８で計測すると、撮影対象を表す深度情報Ｄｉが得られる。この深度情報Ｄｉは、光検出・測距部８からの追跡対象Ｐまでの距離（浮動小数点）と信頼度がペアでスクリーン（フレーム）の左上から右下に向かって格納されている。その距離を視覚化すると濃淡画像（二値化情報）で得られ、距離が近い方が暗く、遠い方が明るく表示される。つまり、この深度情報Ｄｉは、深度をコントラストで表す二値化情報であり、画像情報Ｉｆと同様に追跡対象Ｐが濃淡情報で得られる。

【0115】

図９のＣは、合成画像Ｃｍを示している。たとえば、画像情報Ｉｆに深度情報Ｄｉを重ねて合成画像Ｃｍを生成すると、画像情報Ｉｆに深度情報Ｄｉが加わり、目視的には深みのある合成画像Ｃｍに変換される。この合成画像Ｃｍには、画像情報ＩｆにあるバウンディングボックスＢが提示されるので、追跡対象Ｐを表す位置情報として三次元の座標値をバウンディングボックス単位で取得する。

【0116】

＜二次元の画像情報から三次元の座標値への変換＞
この二次元の画像情報から三次元の座標値への変換を座標値変換と称する。この座標値変換には、
Ａ）グリッド点ｇのスクリーン座標（二次元）の最小値および最大値の取得
Ｂ）ワールド座標（三次元）の取得
Ｃ）有効なグリッド点ｇを頂点とするバウンディングボックスＢの幅ｗと高さｈの取得
Ｄ）スクリーン座標（ｓｘ，ｓｙ）からワールド座標（ｗｘ，ｗｙ，ｗｚ）の取得
などの処理が含まれる。以下、これらの処理について説明する。

【0117】

Ａ）の取得したグリッド点ｇについて、スクリーン座標（二次元）の最小値と最大値を取得する。
ｓｃｒｅｅｎ．ｍｉｎ＝グリッド点ｇの最小値（Ｘ，Ｙ）
ｓｃｒｅｅｎ．ｍａｘ＝グリッド点ｇの最大値（Ｘ，Ｙ）

【0118】

Ｂ）のグリッド点ｇのワールド座標（三次元）の取得では、バウンディングボックスＢが相当するワールド座標（三次元）を取得する。
ｗｏｒｌｄ．ｍｉｎ＝グリッド点の最小値（Ｘ，Ｙ，Ｚ）
ｗｏｒｌｄ．ｍａｘ＝グリッド点の最大値（Ｘ，Ｙ，Ｚ）

【0119】

Ｃ）の有効なグリッド点ｇを頂点とするバウンディングボックスＢの幅ｗと高さｈの取得には、ワールド座標値を用いて、有効なグリッド点ｇを頂点とする四角形の幅と高さを取得する。
ｓｃｒｅｅｎ．ｗ＝ｓｃｒｅｅｎ．ｍａｘ．ｘ－ｓｃｒｅｅｎ．ｍｉｎ．ｘ
ｓｃｒｅｅｎ．ｈ＝ｓｃｒｅｅｎ．ｍａｘ．ｙ－ｓｃｒｅｅｎ．ｍｉｎ．ｙ
ｗｏｒｌｄ．ｗ＝ｗｏｒｌｄ．ｍａｘ．ｘ－ｗｏｒｌｄ．ｍｉｎ．ｘ
ｗｏｒｌｄ．ｈ＝ｗｏｒｌｄ．ｍａｘ．ｙ－ｗｏｒｌｄ．ｍｉｎ．ｙ

【0120】

Ｄ）のスクリーン座標（ｓｘ，ｓｙ）からワールド座標（ｗｘ，ｗｙ，ｗｚ）の取得には、任意の点をスクリーン座標（ｓｘ，ｓｙ）からワールド座標（ｗｘ，ｗｙ，ｗｚ）を取得する場合、下記の式を使用して変換する。
ｗｘ＝ｓｘ＊（ｗｏｒｌｄ．ｗ／ｓｃｒｅｅｎ．ｗ）
ｗｙ＝ｓｙ＊（ｗｏｒｌｄ．ｈ／ｓｃｒｅｅｎ．ｈ）
ｗｚ＝ＤｅｐｔｈＢｕｆｆｅｒ［ｓｘ＋ｓｙ＊ｓｃｒｅｅｎ ｗｉｄｔｈ］

【0121】

＜追跡対象Ｐの特徴情報＞
追跡対象Ｐの画像情報から特徴情報を取得することができる。この特徴情報は、追跡対象が人であれば、顔情報から特徴情報を取得し、この特徴情報に含まれる特徴量を以て追跡対象を同定することができる。

【0122】

顔情報には顔の向きを表す向き情報が含まれる。顔情報から取得した特徴情報は、向き情報によって分類すれば、同定処理の迅速化や高精度化を図ることができる。顔の向きは頭部の部位情報たとえば、左目、右目、左耳、右耳の各位置情報を以て判断することができる。

【0123】

＜部位情報の取得と特徴情報の分類＞
図１０は、顔の向き判断ロジックおよび特徴情報のカテゴライズ処理を示している。この処理手順は、Ｓ１０４（図５）のサブルーチンを示している。この処理手順には、顔情報の取得に基づき、特徴情報および部位情報を取得し、向きの判断とともに特徴情報の分類の処理が含まれる。

【0124】

この処理手順において、左目とは表示画面に向かって左側に見える目、左耳とは表示画面に向かって左側に見える耳、右目とは表示画面に向かって右側に見える目、右耳とは表示画面に向かって右側に見える耳である。追跡対象Ｐ自身の左右とは異なる。図１１に示す向き情報テーブル１００も同様である。

【0125】

この処理手順では、追跡対象Ｐの顔画像から部位情報として左目、右目、左耳、右耳の位置情報の取得を行うための処理を実行する（Ｓ４０１）。この処理において、左耳および右耳の双方の位置情報が取得した場合には（Ｓ４０２）、追跡対象Ｐの顔の向き＝「正面」と判断し（Ｓ４０３）、特徴情報を正面にカテゴライズする（Ｓ４０４）。

【0126】

Ｓ４０２の後、左目および右目の双方の位置情報が取得した場合であって（Ｓ４０５）、左耳の位置情報を取得でき、右耳の位置情報を取得できない場合には（Ｓ４０６）、追跡対象Ｐの顔の向き＝「左向き」と判断し（Ｓ４０７）、特徴情報を左向きにカテゴライズする（Ｓ４０８）。

【0127】

Ｓ４０５の後、右耳の位置情報が取得でき、左耳の位置情報を取得できない場合（Ｓ４０９）、追跡対象Ｐの顔の向き＝「右向き」と判断し（Ｓ４１０）、特徴情報を右向きにカテゴライズする（Ｓ４１１）。

【0128】

Ｓ４０５の後、右耳および左耳の双方の位置情報を取得できない場合（Ｓ４１２）、追跡対象Ｐの顔の向き＝「正面」と判断し（Ｓ４０３）、特徴情報を正面にカテゴライズする（Ｓ４０４）。

【0129】

Ｓ４０５の後、左耳の位置情報を取得でき、右耳および右目の位置情報を取得できない場合（Ｓ４１３）、追跡対象Ｐの顔の向き＝「左向き」と判断し（Ｓ４０７）、特徴情報を左向きにカテゴライズする（Ｓ４０８）。

【0130】

Ｓ４０５の後、右耳の位置情報を取得でき、左耳および左目の位置情報を取得できない場合（Ｓ４１４）、追跡対象Ｐの顔の向き＝「右向き」と判断し（Ｓ４１０）、特徴情報を右向きにカテゴライズする（Ｓ４１１）。

【0131】

Ｓ４０５の後、左目、右目、左耳、右耳の各位置情報を取得できない場合（Ｓ４１５）、追跡対象Ｐの顔の向き＝「不明」と判断し（Ｓ４１６）、特徴情報をカテゴライズしない。

【0132】

＜追跡対象Ｐの向き判断＞
図１１は、取得部位および向き情報を示す向き情報テーブル１００を示している。

【0133】

この向き情報テーブル１００には、取得部位情報部１０２および向き情報部１０４が設定されている。取得部位情報部１０２には移動する追跡対象Ｐについて、各取得部位の中心位置からの位置情報が格納される。この取得部位情報部１０２には左目部１０２－１、右目部１０２－２、左耳部１０２－３、右耳部１０２－４が設定されている。

【0134】

左目部１０２－１には追跡対象Ｐの左目の位置情報が格納されている。右目部１０２－２には追跡対象Ｐの右目の位置情報が格納されている。左耳部１０２－３には追跡対象Ｐの左耳の位置情報が格納されている。右耳部１０２－４には追跡対象Ｐの右耳の位置情報が格納されている。

【0135】

向き情報部１０４には、取得部位の組み合わせによる判断により追跡対象Ｐの向きを表す向き情報が格納される。

【0136】

ア) 顔の向き＝正面の場合
左耳および右耳の各位置情報が取得できれば、追跡対象Ｐの向きは「正面」と判断する。同様に、左目および右目の各位置情報が取得できれば、左耳または右耳の位置情報が取得できない場合であっても、追跡対象Ｐの向きは「正面」と判断する。

【0137】

イ) 顔の向き＝左向きの場合
左目および右目の各位置情報が取得でき、左耳の位置情報が取得できれば、追跡対象Ｐの向きは「左向き」と判断する。同様に、左目および右目の各位置情報が取得できない場合であっても、左耳の位置情報が取得できれば、追跡対象Ｐの向きは「左向き」と判断する。

【0138】

ウ) 顔の向き＝右向きの場合
左目および右目の各位置情報が取得でき、右耳の位置情報が取得できれば、追跡対象Ｐの向きは「右向き」と判断する。同様に、左目および右目の各位置情報が取得できない場合であっても、右耳の位置情報が取得できれば、追跡対象Ｐの向きは「右向き」と判断する。

【0139】

エ) 向き＝不明の場合
左目、右目、左耳および右耳の何れの位置情報も取得できなければ、追跡対象Ｐの向きは「不明」と判断する。

【0140】

＜追跡対象Ｐの同定処理＞
追跡対象Ｐの追跡には移動する追跡対象Ｐの同定処理が必要である。この同定処理には、追跡対象Ｐから取得した位置情報を用いる同定処理Ｉと、追跡対象Ｐから取得した特徴情報を用いる同定処理IIが含まれる。

【0141】

この実施の形態では、位置情報を用いる同定処理Ｉを先行して実施し、同定処理Ｉで同定できなかった場合には特徴情報による同定処理IIを実施し、同定処理の迅速化と高精度化を実現する。

【0142】

移動中の追跡対象Ｐを追跡する場合には追跡対象Ｐの状態が刻々と変化する。この変化状態のひとつにバウンディングボックスＢ－１、Ｂ－２間の重なりが生じる場合がある。バウンディングボックスＢ－１が他のバウンディングボックスＢ－２と重なると、追跡対象Ｐを見失うことになる。

【0143】

追跡対象Ｐの追跡中、その移動速度によってバウンディングボックスＢの移動距離Ｍに変化を生じる。移動距離Ｍが延びると、位置情報に変化を来たし、この場合も追跡対象Ｐを見失うことになる。

【0144】

追跡対象Ｐの追跡範囲には限界がある。この追跡範囲から追跡対象Ｐが外れ、再び追跡範囲に戻るといった場合にも、追跡対象Ｐの位置情報だけでは同定することができない。つまり、フレームアウトの場合も、追跡対象Ｐを見失うことになる。

【0145】

このように、位置情報だけで追跡対象Ｐを同定できない場合には、予め取得した追跡対象Ｐの特徴情報を用いて同定処理IIを実行する。つまり、この実施の形態では、同定処理Ｉを同定処理IIで補完し、同定処理の迅速化とともに、高精度化を実現している。

【0146】

＜位置情報による同定処理Ｉ＞
図１２は、位置情報による同定処理Ｉを示している。この処理手順は図５に示す処理手順のＳ１０５のサブルーチンである。

【0147】

この処理手順には追跡対象Ｐの位置情報の取得（Ｓ５０１）、バウンディングボックスＢの重なりチェック（Ｓ５０２）、重なり判定（Ｓ５０３）、不定判断（Ｓ５０４）、移動距離Ｍの算出（Ｓ５０５）、移動距離Ｍの判定（Ｓ５０６）、追跡対象Ｐの同定（Ｓ５０７）、チェック終了判断（Ｓ５０８）などが含まれる。

【0148】

追跡対象Ｐの位置情報の取得（Ｓ５０１）： 同定処理Ｉでは、追跡制御部１２が追跡対象Ｐから取得した位置情報を用いて同定する。

【0149】

バウンディングボックスＢの重なりチェック（Ｓ５０２）： この同定中において、各追跡対象Ｐのそれぞれに付されているバウンディングボックスＢに重なりがあるかをチェックする。バウンディングボックスＢの重なりとは、画像上において、２以上のバウンディングボックスＢの接触ないし重合した状態である。

【0150】

重なり判定（Ｓ５０３）： バウンディングボックスＢ間に重なりが生じた場合（Ｓ５０３のＹＥＳ）、Ｓ５０４に遷移する。また、バウンディングボックスＢ間に重なりが生じていなければ（Ｓ５０３のＮＯ）、Ｓ５０５に遷移する。

【0151】

不定判断（Ｓ５０４）： バウンディングボックスＢに重なりが生じた場合（Ｓ５０３のＹＥＳ）には、追跡制御部１２は各バウンディングボックスＢを不定と判断し、該当する追跡対象Ｐに対する同定処理Ｉによる同定を解除し、この処理を終了する。つまり、この場合、特徴情報による同定処理IIに移行する。

【0152】

移動距離Ｍの算出（Ｓ５０５）： バウンディングボックスＢ間に重なりが生じていなければ（Ｓ５０３のＮＯ）、現フレームのバウンディングボックスＢと直前フレームのバウンディングボックスＢの移動距離Ｍの算出を行う（Ｓ５０５）。

【0153】

移動距離Ｍの判定（Ｓ５０６）： 算出した移動距離Ｍが閾値Ｍｔｈとしてたとえば、０．５ｍを設定し、０．５ｍ以下であれば（Ｓ５０６のＹＥＳ）、Ｓ５０７に遷移する。移動距離Ｍが閾値Ｍｔｈを超えていれば（Ｓ５０６のＮＯ）、Ｓ５０４に遷移し、追跡制御部１２は移動距離Ｍが閾値Ｍｔｈを超えたバウンディングボックスＢは不定とする。つまり、該当する追跡対象Ｐに対する同定処理Ｉによる同定を解除し、この処理を終了する。この場合、特徴情報による同定処理IIによって同定判断を行う。

【0154】

追跡対象Ｐの同定（Ｓ５０７）： 算出した移動距離Ｍが閾値Ｍｔｈ以下であれば（Ｓ５０６のＹＥＳ）、追跡対象Ｐの位置情報による同定を行う。移動距離Ｍが閾値Ｍｔｈ以下であれば、追跡対象Ｐが同一であると判断し、同定する。

【0155】

チェック終了判断（Ｓ５０８）： 追跡制御部１２は、Ｓ５０１ないしＳ５０７の処理について、全てのバウンディングボックスＢの処理が終了したかを判断する（Ｓ５０８）。全てのバウンディングボックスＢの処理が終了していなければ（Ｓ５０８のＮＯ）、Ｓ５０１ないしＳ５０７の処理を継続し、バウンディングボックスＢの処理をバウンディングボックス数だけ繰り返す。そして、全てのバウンディングボックスＢについての処理が終了すれば（Ｓ５０８のＹＥＳ）、同定判断（図５のＳ１０５）に遷移し、この処理を終了する。

【0156】

＜バウンディングボックスＢの重なり判定動作および特徴情報の取得＞
図１３のＡは追跡中の画像情報を示している。この画像情報内には３人の追跡対象Ｐ－１、Ｐ－２、Ｐ－３が存在し、追跡対象Ｐ－１にはバウンディングボックスＢ－１、追跡表示Ｔ－１、追跡対象Ｐ－２にはバウンディングボックスＢ－２、追跡表示Ｔ－２が存在している。

【0157】

図１３のＢは、図１３のＡに続く追跡中の画像情報を示している。この画像情報は、バウンディングボックスＢ－１、Ｂ－２の重なり状態を表している。つまり、追跡対象Ｐ－１が追跡対象Ｐ－２と重なり、バウンディングボックスＢ－１、Ｂ－２が重なってひとつのバウンディングボックスＢｘに合体している。同様に追跡表示Ｔ－１、Ｔ－２が重なり、ひとつの追跡表示Ｔｘに合体している。この場合、バウンディングボックスＢ－１、Ｂ－２の双方が既述の不定の状態である。そこで、重なりの直前フレームから各追跡対象Ｐ－１、Ｐ－２の画像情報から特徴情報を取得しておく。

【0158】

図１３のＣは、図１３のＢに続く追跡中の画像情報を示している。この画像情報は、バウンディングボックスＢ－１、Ｂ－２、追跡表示Ｔ―１、Ｔ－２の重なりからの分離状態を示している。つまり、追跡対象Ｐ－１が追跡対象Ｐ－２から離れ、各バウンディングボックスＢ－１、Ｂ－２が分離し、同様に追跡表示Ｔ－１、Ｔ－２が分離している。つまり、重なり状態が解消したことにより、追跡対象Ｐ－１、Ｐ－２の双方の位置情報を取得することができる。しかし、特徴情報による同定のために、不定状態の解消直後では、重なりが解除された直後フレームから各追跡対象Ｐ－１、Ｐ－２の画像情報から特徴情報を取得しておく。

【0159】

＜バウンディングボックスＢの移動距離Ｍの判定動作および特徴情報の取得＞
図１４のＡは、バウンディングボックスＢの移動距離Ｍが閾値Ｍｔｈより短い場合（Ｍ≦Ｍｔｈ）を示している。

【0160】

追跡対象Ｐの追跡中、追跡制御部１２は追跡対象Ｐ－１の移動距離Ｍを監視する。この移動距離ＭがＭ≦Ｍｔｈであれば、追跡対象Ｐ－１を同一と判断し、同定する。

【0161】

図１４のＢは、バウンディングボックスＢ－１の移動距離Ｍが閾値Ｍｔｈより長い場合（Ｍ＞Ｍｔｈ）を示している。

【0162】

追跡対象Ｐ－１の追跡中、追跡制御部１２は追跡対象Ｐ－１の移動距離Ｍが閾値Ｍｔｈを超えると（Ｍ＞Ｍｔｈ）、位置情報による追跡対象Ｐの同定精度が低下するので、不定とし、位置情報による同定を停止する。この場合、特徴情報による同定のために、不定状態に移行直前のフレームの画像情報から追跡対象Ｐ－１の特徴情報を取得しておく。

【0163】

＜フレームアウトの判定動作および特徴情報の取得＞
図１５のＡは、追跡中の画像情報を示している。この画像情報には、フレームＦ１において、１人の追跡対象Ｐ－１の移動を示している。

【0164】

図１５のＢは、追跡中、追跡対象Ｐ－１がフレームアウトした場合を示している。このフレームアウトとは矢印で示すように、追跡対象Ｐ－１が移動して追跡範囲を表すフレームＦ２から脱することである。この場合も不定状態とし、位置情報による同定を停止する。そこで、特徴情報による同定のために、不定状態に移行直前のフレームの画像情報から追跡対象Ｐ－１の特徴情報を取得しておく。

【0165】

図１５のＣは、追跡対象Ｐ－１が再フレームインした場合を示している。この再フレームインとは矢印で示すように、フレームＦ３の外から追跡対象Ｐ－１が移動してフレームＦ３に再進入した場合である。この場合も、特徴情報による同定のために、再フレームインの直後フレームの画像情報から追跡対象Ｐ－１の特徴情報を取得しておく。

【0166】

＜特徴情報による同定処理II＞
図１６は、特徴情報による同定処理IIを示している。この処理手順は図５に示す処理手順のＳ１０５のサブルーチンである。

【0167】

この処理手順には、不定バウンディングボックスＢの判定（Ｓ６０１）、前フレームの判断（Ｓ６０２）、新規のバウンディングボックスＢの特定（Ｓ６０３）、顔領域の画像情報の取得（Ｓ６０４）、向き情報および特徴情報の取得（Ｓ６０５）、特徴情報の比較（Ｓ６０６）、特徴情報の一致判断（Ｓ６０７）、バウンディングボックスＢの同定処理（Ｓ６０８）などが含まれる。

【0168】

不定バウンディングボックスＢの判定（Ｓ６０１）： 特徴情報による同定処理IIは、不定バウンディングボックスの存在が前提である。したがって、同定処理部２８は、現フレームで不定とされたバウンディングボックスＢが存在するかを判定する。不定とされたバウンディングボックスＢがなければ（Ｓ６０１のＮＯ）、この処理を終了して同定判断１（Ｓ１０５：図５）にリターンする。不定とされたバウンディングボックスＢがあれば（Ｓ６０１のＹＥＳ）、Ｓ６０２に遷移する。

【0169】

前フレームの判断（Ｓ６０２）： 前フレームで不定とされたバウンディングボックスＢが存在するかを判定する。前フレームで不定とされたバウンディングボックスＢが存在しなければ（Ｓ６０２のＮＯ）、Ｓ６０３に遷移する。

【0170】

新規バウンディングボックスの特定（Ｓ６０３）： 前フレームで不定とされたバウンディングボックスＢが存在しなければ（Ｓ６０２のＮＯ）、現時点のフレームにおけるバウンディングボックスＢを新規のバウンディングボックスＢとし（Ｓ６０３）、この処理を終了して同定判断（Ｓ１０５：図５）にリターンする。また、前フレームで不定とされたバウンディングボックスＢが存在すれば（Ｓ６０２のＹＥＳ）、Ｓ６０４に遷移する。

【0171】

顔領域の画像情報の取得（Ｓ６０４）： 不定とされたバウンディングボックスＢが存在すれば（Ｓ６０２のＹＥＳ）、バウンディングボックスＢ内の画像情報から顔領域の画像情報を取得する。

【0172】

向き情報および特徴情報の取得（Ｓ６０５）： 取得した画像情報（顔画像）から向き情報および特徴情報を取得する。

【0173】

特徴情報の比較（Ｓ６０６）： 取得した特徴情報と、前フレームで不定とされたバウンディングボックスＢの特徴情報とを、向き情報ごとにカテゴライズされている同士を比較する。

【0174】

特徴情報の一致判断（Ｓ６０７）： 特徴情報が一致したか否かを判断し、一致すれば（Ｓ６０７のＹＥＳ）、Ｓ６０８に遷移し、一致しなければ（Ｓ６０７のＮＯ）、この処理を終了して同定判断（Ｓ１０５：図５）にリターンする。この特徴情報の一致判断はたとえば、特徴量の一致数を以て判断すればよい。

【0175】

バウンディングボックスＢの同定処理（Ｓ６０８）： 同定処理部２８は、現フレームのバウンディングボックスＢを前フレームのバウンディングボックスＢの同定により、追跡対象Ｐを同定し、この処理を終了して同定判断（Ｓ１０５：図５）にリターンする。

【0176】

＜第一の実施の形態の効果＞
この第一の実施の形態によれば、次の何れかの効果が得られる。
(1) 追跡対象Ｐから取得した二次元の画像情報と深度情報とを以て座標値を含む位置情報を用いて追跡対象Ｐの同定を行うので、高精度に同定できる。

【0177】

(2) 位置情報を用いた同定処理Ｉで追跡対象Ｐの同定ができない場合には、追跡対象Ｐの画像情報から取得した特徴情報を以て同定処理IIを行うので、同定処理IIを以て同定機能を補完することができ、追跡対象Ｐの同定精度を高めることができる。

【0178】

(3) バウンディングボックスを分割して位置情報を間引き、処理情報の軽量化を図ることができ、同定処理の高速化とともに同定のための処理負荷を軽減できる。

【0179】

(4) 追跡対象の追跡状態を追跡表示によって提示できる。また、追跡表示Ｔは追跡対象の追跡中の同定状態を着色によって表すことができる。追跡表示Ｔの着色の変化を確認すれば、同定状態か同定不良か、追跡中か追跡失敗かを容易に認識できる。

【0180】

〔第二の実施の形態〕
図１７は、第二の実施の形態に係る物体追跡システム２を示している。図１７において図３と同一部分には同一符号を付してある。

【0181】

この物体追跡システム２は、図１７に示すように、複数のデバイス３８－１、３８－２、・・・、３８－ｎを備え、各デバイス３８－１、３８－２、・・・、３８－ｎがネットワーク３４を通して有線または無線によりサーバー３６に接続されている。

【0182】

デバイス３８－１、３８－２、・・・、３８－ｎで得られた追跡情報は、サーバー３６に集合し、必要に応じて合成し、追跡対象Ｐ、または複数の追跡対象Ｐ－１、Ｐ－２、・・・、Ｐ－ｎの追跡に用いられる。

【0183】

＜第二の実施の形態の効果＞
この第二の実施の形態によれば、次の何れかの効果が得られる。
(1) 追跡範囲の拡大を図ることができる。

【0184】

図１８は、２台のデバイス３８－１、３８－２による追跡範囲の拡大化を示している。デバイス３８－１の画角Ａ－１（＝追跡範囲）、デバイス３８－２の画角Ａ－２（＝追跡範囲）とすれば、複数の追跡対象Ｐ－１、Ｐ－２、・・・、Ｐ－７のうち、追跡対象Ｐ－１、Ｐ－２が画角Ａ－１で追跡でき、画角Ａ－１から外れている追跡対象Ｐ－３、Ｐ－４は画角Ａ－２で追跡が可能である。また、追跡対象Ｐ－５、Ｐ－６、Ｐ－７が画角Ａ－２で追跡できる。したがって、画角Ａ－１、Ａ－２で画角が拡大され、追跡対象Ｐ－１、Ｐ－２、・・・、Ｐ－７が追跡可能である。そして、これらの追跡情報は、サーバー３６で集合されるので、追跡範囲の拡大化とともに追跡の補完を行うことができる。

【0185】

(2) 追跡範囲の広域化および追跡範囲の囲い込みができる。
図１９は、４台のデバイス３８－１、３８－２、３８－３、３８－４による追跡範囲の広域化および複合追跡を示している。この場合、病院の待合室などの追跡エリア１０６では多数の追跡対象としてたとえば、追跡対象Ｐ－１１、Ｐ－１２、・・・、Ｐ－１４、Ｐ－２１、Ｐ－２２、・・・、Ｐ－２４、・・・、Ｐ－５１、Ｐ－５２、・・・、Ｐ－５４が滞在している。

【0186】

この追跡エリア１０６に対し、この追跡エリア１０６を包囲して４台のデバイス３８－１、３８－２、３８－３、３８－４が配置されている。デバイス３８－１の画角をＡ－１１、デバイス３８－２の画角をＡ－１２、デバイス３８－３の画角をＡ－１３、デバイス３８－４の画角をＡ－１４とすれば、複数の画角Ａ－１１、Ａ－１２、Ａ－１３、Ａ－１４を以て囲い込み、追跡エリア１０６が追跡範囲に設定されている。

【0187】

このようにすれば、追跡エリア１０６に滞在または出入りする追跡対象Ｐ－１１、Ｐ－１２、・・・、Ｐ－１４、Ｐ－２１、Ｐ－２２、・・・、Ｐ－２４、・・・、Ｐ－５１、Ｐ－５２、・・・、Ｐ－５４の全てを追跡することができる。

【0188】

そして、追跡エリア１０６内での移動による追跡対象Ｐ－１１、Ｐ－１２、・・・、Ｐ－１４、Ｐ－２１、Ｐ－２２、・・・、Ｐ－２４、・・・、Ｐ－５１、Ｐ－５２、・・・、Ｐ－５４間の重なりによる追跡不定をデバイス３８－１、３８－２、３８－３、３８－４間で解消できるとともに、サーバー３６の追跡不定の回避処理を迅速に行うことができる。

【0189】

〔他の実施の形態〕
(1) 上記実施の形態では、同定処理Ｉおよび同定処理IIを含み、同定処理Ｉで追跡対象を同定できない場合に同定処理IIを実行し、同定処理IIで同定処理Ｉを補完している。これに対し、同定処理Ｉおよび同定処理IIを同時に実行させ、何れか一方で同定できれば、同定処理IIを先行させてもよい。また、同定処理Ｉおよび同定処理IIを同時に実行させ、双方の同定を以て追跡対象を同定してもよい。

【0190】

(2) 上記実施の形態では、追跡対象のバウンディングボックスと他の追跡対象のバウンディングボックスとの間に重なりを生じた場合、該重なりの直前の前記特徴情報と、前記重なりの解消時点の前記特徴情報とを対比して追跡対象を同定する処理を行っているが、追跡中の追跡対象と他の追跡対象の画像間に重なりを生じた場合にも同様の処理を行ってもよい。

【0191】

(3) 上記実施の形態では、追跡対象Ｐとして人を例示したが、人以外の物体の追跡にも活用できる。追跡対象としては、ロボット、移動体、樹木の伐採などにも活用可能である。

【0192】

(4) デバイス３８には他の情報処理端末を用いてもよく、本開示の追跡プログラムは既存の特定のプログラムに限定されない。

【0193】

(5) 追跡中、追跡対象Ｐや追跡表示Ｔを背景色と異なる着色を以て追跡情報を提示してもよい。

【0194】

(6) 図１に示す物体追跡システム２には、ポータブル多機能デバイス３８を含んだシステムを例示しているが、ポータブル多機能デバイス３８を一体に備える必要はなく、カメラ６、光検出・測距部８などの機能部と処理部４とを別個に備えるシステムであってもよく、これらの設置場所を異ならせたシステムであってもよい。

【0195】

以上説明したように、本開示は最も好ましい実施の形態について説明した。本開示は、上記記載に限定されるものではない。特許請求の範囲に記載され、または発明を実施するための形態に開示された要旨に基づき、当業者において様々な変形や変更が可能である。斯かる変形や変更が、本開示の範囲に含まれることは言うまでもない。

【産業上の利用可能性】

【0196】

本開示によれば、追跡対象から取得した二次元の画像情報と深度情報とを以て座標値を含む位置情報で同定するとともに、画像情報から取得した追跡対象の特徴情報を以て同定するので、同定精度を高めることができるとともに、バウンディングボックスを分割して追跡情報の軽量化による同定の迅速化や処理負荷を軽減できる。

【符号の説明】

【0197】

Ｐ 追跡対象
Ｂ バウンディングボックス
Ｔ 追跡表示
２ 物体追跡システム
４ 処理部
６ カメラ
８ 光検出・測距部
１０ 情報提示部
１２ 追跡制御部
１４ 画像情報取得部
１６ 深度情報取得部
１８ バウンディングボックス処理部
２０ 追跡情報データベース生成部
２２ 位置情報処理部
２４ 特徴情報処理部
２６ 状態情報処理部
２８ 同定処理部
３０ 同定情報提示部
３２ 連係処理部
３４ ネットワーク
３６ サーバー
３８ デバイス
４０ 装置本体
４１ 情報取得部
４５ ディスプレイ
４６ 表示画面部
４８ タッチパネル
５６ 操作入力部
５８ プロセッサ
６０ 記憶部
６２ 入出力部（Ｉ／Ｏ）
６４ 通信部
６６ 追跡情報データベース
６７－１、６７－２、・・・、６７－ｎ 追跡対象フアイル
６８ 画像情報部
７０ 深度情報部
７２ バウンディングボックス部
７４ グリッド点部
７６ 位置情報部
７８ 特徴情報部
８０ 分類情報部
８２ 向き情報部
８２－１ 正面部
８２－２ 左向き部
８２－３ 右向き部
８２－４ 不定部
８４ 状態情報部
８４－１ 移動距離情報部
８４－２ 重なり情報部
８６ 同定情報部
８８ 履歴情報部
１００ 向き情報テーブル
１０２ 取得部位情報部
１０２－１ 左目部
１０２－２ 右目部
１０２－３ 左耳部
１０２－４ 右耳部
１０４ 向き情報部
１０６ 追跡エリア

【要約】

【課題】位置情報による同定が困難であれば、追跡対象の特徴情報を以て同定処理を補完し、以て同定機能の強化を図る。
【解決手段】追跡対象（Ｐ）を撮像して画像情報（Ｉｆ）および深度情報（Ｄｉ）を取得し、前記画像情報および前記深度情報により前記追跡対象を表す三次元の座標値を含む位置情報を算出し、該位置情報を時系列で取得する工程と、前記位置情報を用いて前記追跡対象を同定する工程とを含む。前記追跡対象の追跡中、現時点の位置情報と直近の位置情報を時系列で比較して前記追跡対象の移動距離を算出する工程と、前記移動距離が閾値以内であれば、現時点の前記追跡対象と直近の前記追跡対象を同定する。
【選択図】 図５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】