特許 7283735 追跡装置、追跡方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-22

(45)【発行日】2023-05-30

(54)【発明の名称】追跡装置、追跡方法、及びプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20230523BHJP

【ＦＩ】

G06T7/20 300B

【請求項の数】 9

(21)【出願番号】P 2019024020

(22)【出願日】2019-02-13

(65)【公開番号】P2020135079

(43)【公開日】2020-08-31

【審査請求日】2022-01-07

(73)【特許権者】

【識別番号】000232092

【氏名又は名称】ＮＥＣソリューションイノベータ株式会社

(73)【特許権者】

【識別番号】000003551

【氏名又は名称】株式会社東海理化電機製作所

(74)【代理人】

【識別番号】110002044

【氏名又は名称】弁理士法人ブライタス

(72)【発明者】

【氏名】関原 忠

(72)【発明者】

【氏名】深谷 安利

(72)【発明者】

【氏名】榊原 将城

(72)【発明者】

【氏名】名和 佑記

(72)【発明者】

【氏名】多田 圭吾

(72)【発明者】

【氏名】原田 久光

【審査官】片岡 利延

(56)【参考文献】

【文献】特開２００７－２５７３２１（ＪＰ，Ａ）

【文献】特開２０１５－０４１３８３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、設定手段と、
前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、追跡手段と、
前記移動先となる領域間の距離と、対応する前記追跡領域間の距離との差が所定距離以上である場合、前記移動先となる領域を追跡に用いないように無効化する、領域無効化手段と、を有し、
前記設定手段は、前記対象物が頭部である場合、鼻、右耳、左耳、頭頂部、顎のうち一つ以上に対して前記追跡領域を設定し、
前記移動先となる領域間の距離は、前記右耳と前記頭頂部とに対応する前記移動先となる領域間の距離、前記右耳と前記顎とに対応する前記移動先となる領域間の距離、前記左耳と前記頭頂部とに対応する前記移動先となる領域間の距離、前記左耳と前記顎とに対応する前記移動先となる領域間の距離のうち一つ以上を用いる、
ことを特徴とする追跡装置。

【請求項2】

請求項１に記載の追跡装置であって、
前記移動先となる領域間の距離は、前記鼻と前記右耳とに対応する前記移動先となる領域間の距離、前記鼻と前記左耳とに対応する前記移動先となる領域間の距離、前記鼻と前記頭頂部とに対応する前記移動先となる領域間の距離、前記鼻と前記顎とに対応する前記移動先となる領域間の距離、前記鼻に対応する前記移動先となる領域と前記対象物の位置との距離のうち一つ以上を用いる
ことを特徴とする追跡装置。

【請求項3】

請求項２に記載の追跡装置であって、
前記移動先となる領域が無効化されている場合、無効化されていない前記移動先となる領域と、前記追跡領域間の距離とを用いて、無効化されている前記移動先となる領域の替わりの新たな領域を推定する、推定手段を有する
ことを特徴とする追跡装置。

【請求項4】

（ａ）距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、ステップと、
（ｂ）前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、ステップと、
（ｃ）前記移動先となる領域間の距離と、対応する前記追跡領域間の距離との差が所定距離以上である場合、前記移動先となる領域を追跡に用いないように無効化する、ステップと、を有し、
前記（ａ）のステップにおいて、前記対象物が頭部である場合、鼻、右耳、左耳、頭頂部、顎のうち一つ以上に対して前記追跡領域を設定し、
前記移動先となる領域間の距離は、前記右耳と前記頭頂部とに対応する前記移動先となる領域間の距離、前記右耳と前記顎とに対応する前記移動先となる領域間の距離、前記左耳と前記頭頂部とに対応する前記移動先となる領域間の距離、前記左耳と前記顎とに対応する前記移動先となる領域間の距離のうち一つ以上を用いる、
ことを特徴とする追跡方法。

【請求項5】

請求項４に記載の追跡方法であって、
前記移動先となる領域間の距離は、前記鼻と前記右耳とに対応する前記移動先となる領域間の距離、前記鼻と前記左耳とに対応する前記移動先となる領域間の距離、前記鼻と前記頭頂部とに対応する前記移動先となる領域間の距離、前記鼻と前記顎とに対応する前記移動先となる領域間の距離、前記鼻に対応する前記移動先となる領域と前記対象物の位置との距離のうち一つ以上を用いる
ことを特徴とする追跡方法。

【請求項6】

請求項５に記載の追跡方法であって、
（ｄ）前記移動先となる領域が無効化されている場合、無効化されていない前記移動先となる領域と、前記追跡領域間の距離とを用いて、無効化されている前記移動先となる領域の替わりの新たな領域を推定する、ステップを更に有する
ことを特徴とする追跡方法。

【請求項7】

コンピュータに、
（ａ）距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、ステップと、
（ｂ）前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、ステップと、
（ｃ）前記移動先となる領域間の距離と、対応する前記追跡領域間の距離との差が所定距離以上である場合、前記移動先となる領域を追跡に用いないように無効化する、ステップと、を実行させ、
前記（ａ）のステップにおいて、前記対象物が頭部である場合、鼻、右耳、左耳、頭頂部、顎のうち一つ以上に対して前記追跡領域を設定し、
前記移動先となる領域間の距離は、前記右耳と前記頭頂部とに対応する前記移動先となる領域間の距離、前記右耳と前記顎とに対応する前記移動先となる領域間の距離、前記左耳と前記頭頂部とに対応する前記移動先となる領域間の距離、前記左耳と前記顎とに対応する前記移動先となる領域間の距離のうち一つ以上を用いる、
ことを特徴とするプログラム。

【請求項8】

請求項７に記載のプログラムであって、
前記移動先となる領域間の距離は、前記鼻と前記右耳とに対応する前記移動先となる領域間の距離、前記鼻と前記左耳とに対応する前記移動先となる領域間の距離、前記鼻と前記頭頂部とに対応する前記移動先となる領域間の距離、前記鼻と前記顎とに対応する前記移動先となる領域間の距離、前記鼻に対応する前記移動先となる領域と前記対象物の位置との距離のうち一つ以上を用いる
ことを特徴とするプログラム。

【請求項9】

請求項８に記載のプログラムであって、
前記コンピュータに、
（ｄ）前記移動先となる領域が無効化されている場合、無効化されていない前記移動先となる領域と、前記追跡領域間の距離とを用いて、無効化されている前記移動先となる領域の替わりの新たな領域を推定する、ステップを更に実行させる
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物を追跡する、追跡装置、追跡方法、及びプログラムに関する。

【背景技術】

【0002】

近年、ジェスチャにより機器を操作する、ジェスチャ操作が普及している。例えば、自動車の運転中において、運転者が、運転に支障がないように、音響映像機器を操作する、ジェスチャ操作などが知られている。

【0003】

ところで、運転中のジェスチャ操作において、運転者のジェスチャを特定するためには、運転者の頭部、手などの部位を精度よく追跡する必要がある。

【0004】

関連する技術として、動画像から高速に顔と当該顔の部位を追跡する技術が開示されている。その技術によれば、まず、最初のフレーム画像を用いて求めた顔領域に基づいて、顔の部位の位置を検出する。続いて、以降のフレーム画像に対して、検出した顔の部位の位置に基づいて設定された探索領域において顔の部位を追跡する。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００６－２２８０６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に開示の技術では、顔の部位をノードとして生成した二次元グラフの変形に基づいて、顔の向き、位置を推定しているため、顔の部位にオクルージョン、ノイズなどが発生した場合、顔の部位を精度よく追跡することが困難となる。

【0007】

本発明の目的の一例は、対象物の追跡を精度よく行う追跡装置、追跡方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0008】

上記目的を達成するため、本発明の一側面における追跡装置は、
距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、設定部と、
前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、追跡部と、
前記移動先となる領域間の距離と、対応する前記追跡領域間の距離との差が所定距離以上である場合、前記移動先となる領域を追跡に用いないように無効化する、領域無効化部と、
を有することを特徴とする。

【0009】

また、上記目的を達成するため、本発明の一側面における追跡方法は、
（ａ）距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、ステップと、
（ｂ）前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、ステップと、
（ｃ）前記移動先となる領域間の距離と、対応する前記追跡領域間の距離との差が所定距
離以上である場合、前記移動先となる領域を追跡に用いないように無効化する、ステップと、
を有することを特徴とする。

【0010】

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、ステップと、
（ｂ）前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、ステップと、
（ｃ）前記移動先となる領域間の距離と、対応する前記追跡領域間の距離との差が所定距離以上である場合、前記移動先となる領域を追跡に用いないように無効化する、ステップと、
を実行させることを特徴とする。

【発明の効果】

【0011】

以上のように本発明によれば、対象物の追跡を精度よく行うことができる。

【図面の簡単な説明】

【0012】

【図1】図１は、追跡装置の一例を示す図である。

【図2】図２は、追跡を説明するための図である。

【図3】図３は、追跡装置１を有するシステムの一例を示す図である。

【図4】図４は、追跡を説明するための図である。

【図5】図５は、特徴量の抽出を説明するための図である。

【図6】図６は、特徴量の抽出を説明するための図である。

【図7】図７は、追跡領域ごとの頻度分布（ヒストグラム）を示す図である。

【図8】図８は、領域の無効化を説明するための図である。

【図9】図９は、領域の無効化を説明するための図である。

【図10】図１０は、追跡装置の動作の一例を示す図である。

【図11】図１１は、追跡装置を実現するコンピュータの一例を示す図である。

【発明を実施するための形態】

【0013】

（実施の形態）
以下、本発明の実施の形態について、図１から図１１を参照しながら説明する。

【0014】

［装置構成］
最初に、図１を用いて、本実施の形態における追跡装置１の構成について説明する。図１は、追跡装置の一例を示す図である。

【0015】

図１に示す追跡装置１は、追跡を精度よく行う装置である。また、図１に示すように、追跡装置１は、設定部２と、追跡部３と、領域無効化部４とを有する。

【0016】

このうち、設定部２は、距離情報を有する画像（第一の画像：距離画像）を用いて生成された三次元情報に基づいて、撮像された対象物の画像に含まれる所定部位それぞれに対して三次元の追跡領域を設定する。追跡部３は、第一の画像が撮像された後、時系列に撮像された画像（第二の画像：距離画像）において、追跡領域それぞれの移動先となる領域を追跡する。領域無効化部４は、移動先となる領域間の距離と、対応する追跡領域間の距離との差が所定距離以上である場合、移動先となる領域を追跡に用いないように無効化する。

【0017】

距離情報は、対象物と撮像装置との距離を示す情報である。また、距離情報は、例えば、画素に関連付けられている。

【0018】

対象物は、例えば、人間の頭部、動物の頭部、ロボットの頭部などの追跡をする対象である。所定部位は、頭部の場合、頭部に含まれる部位である。例えば、耳、鼻、頭頂部、顎などである。ただし、所定部位は、上述した部位に限定されるものではない。

【0019】

追跡について、図２を用いて具体的に説明する。
図２は、追跡を説明するための図である。例えば、距離画像２０ａに撮像された人間の頭部２１ａを追跡する場合、設定部２は、まず、鼻に対して追跡領域２２ａ、頭頂部に対して追跡領域２３ａ、右耳に対して追跡領域２４ａ、左耳に対して追跡領域２５ａ、顎に対して追跡領域２６ａを設定する。追跡領域は、撮像された所定部位それぞれに対して設定する三次元の領域である。

【0020】

続いて、追跡部３は、距離画像２０ａが撮像された後に撮像された距離画像２０ｂにおいて、追跡領域２２ａ、２３ａ、２４ａ、２５ａ、２６ａそれぞれが移動したと考えられる領域を推定する。すなわち、追跡部３は、追跡領域２２ａ、２３ａ、２４ａ、２５ａ、２６ａそれぞれの移動先となる領域２２ｂ、２３ｂ、２４ｂ、２５ｂ、２６ｂを追跡する。

【0021】

このように、本実施の形態においては、距離画像を用いて追跡領域を設定し、設定した追跡領域の移動先となる領域を推定することで、撮像した対象物の追跡を精度よく行うことができる。

【0022】

また、本実施の形態においては、オクルージョンの影響により、追跡領域の移動先となる領域が、誤った領域となった場合でも、誤った領域を無効化して、正常な領域を用いて対象物の追跡ができる。

【0023】

更に、本実施の形態においては、オクルージョンの影響がなくなった場合、移動先となる領域が正常になると、移動先となる領域を有効化して、新たな追跡領域にすることができる。

【0024】

［システム構成］
続いて、図３を用いて、本実施の形態における追跡装置１の構成をより具体的に説明する。図３は、追跡装置１を有するシステムの一例を示す図である。

【0025】

図３に示すように、本実施の形態におけるシステム３０は、追跡装置１に加えて、撮像装置３１を有する。また、追跡装置１は、設定部２、追跡部３に加え、領域無効化部４、推定部５、領域有効化部６を有する。設定部２は、部位識別器３４、領域設定部３５を有する。追跡部３は、基準特徴量抽出部３６、周辺領域設定部３７、領域検出部３８を有する。

【0026】

撮像装置３１は、距離画像を生成する装置である。撮像装置３１は、例えば、ＴＯＦ（Time of Flight）カメラなどである。

【0027】

追跡装置について具体的に説明する。
入力処理部３３は、撮像装置３１から距離画像を取得して、取得した距離画像を三次元情報に変換し、設定部２へ出力する。三次元情報は、対象物の表面の座標を表す情報で、例えば、３Ｄ（Three Dimensions）点群などである。

【0028】

設定部２は、運用時において、オクルージョン、ノイズなどが発生していない時間（正常時）に撮像した基準となる距離画像（第一の距離画像）に基づいて生成された三次元情報を用いて、撮像された所定部位の画像それぞれに対して三次元の追跡領域を設定する。

【0029】

具体的には、設定部２が有する部位識別器３４は、運用時において、まず、基準となるデータを入力とし、部位の領域を推定する。続いて、設定部２が有する領域設定部３５は、推定した所定部位の領域それぞれに対して、推定した所定部位の領域の一部又は全体を含む三次元の追跡領域を設定する。

【0030】

設定部２の詳細について説明する。
部位識別器３４は、所定部位を推定するために用いる学習モデルである。具体的には、部位識別器３４は、学習時において、あらかじめ用意した複数の距離画像を用いて抽出した所定部位の特徴量を入力とし、機械学習をさせる。

【0031】

例えば、所定部位が耳、鼻、頭頂部、顎である場合、部位識別器３４は、耳、鼻、頭頂部、顎に対応する領域を推定するために用いる学習モデルである。機械学習の方式としては、例えば、ニューラルネットワーク、線形判別分析法（Linear Discriminant Analysis：ＬＤＡ）、サポートベクトルマシン（Support Vector Machine：ＳＶＭ）、ブースティング、ランダムフォレスト（Random Forests：ＲＦｓ）などがあげられる。なお、ブースティングとしては、例えば、AdaBoost（Adaptive Boosting）、又はReal AdaBoostなどがあげられる。なお、所定部位ごとに識別器を用意してもよい。

【0032】

また、部位識別器３４は、上述したように、直接、所定部位を推定してもよいが、最初に、頭部の領域を推定し、その後、推定した頭部の領域を用いて、耳、鼻、頭頂部、顎を推定してもよい。

【0033】

領域設定部３５は、推定した所定部位の領域の一部又は全体を含むように追跡領域を設定する。追跡領域は、例えば、図２に示した追跡領域２２ａから２６ａのような直方体、又は立方体などの形状をした三次元領域などである。なお、追跡領域の形状は、直方体、立方体に限定されるものでなく、三次元形状であればよい。

【0034】

追跡部３は、追跡領域の移動先となる領域を追跡する。具体的には、追跡部３が有する基準特徴量抽出部３６は、まず、基準となる距離画像（第一の距離画像）に基づいて設定部２により設定された追跡領域それぞれについて、特徴量を抽出する。

【0035】

続いて、追跡部３が有する周辺領域設定部３７は、基準となる距離画像が撮像された後に撮像された距離画像（第二の距離画像）に、基準となる距離画像に設定された追跡領域に基づいて、周辺領域を設定する。

【0036】

続いて、追跡部３が有する領域検出部３８は、周辺領域それぞれについて、特徴量を算出する。続いて、領域検出部３８は、追跡領域の特徴量と、追跡領域に対応する周辺領域の特徴量とを比較し、比較した結果に基づいて追跡領域の移動先となる領域を検出し、検出した周辺領域を新たな追跡領域とする。

【0037】

追跡部３の詳細について、図４、図５、図６を用いて説明する。
図４は、追跡を説明するための図である。図５、図６は、特徴量の抽出を説明するための図である。

【0038】

基準特徴量抽出部３６は、基準となる距離画像を用いて設定された追跡領域から特徴量
を抽出する。具体的には、基準特徴量抽出部３６は、図４に示す時間ｔ１において、追跡領域２２ａから２６ａそれぞれの特徴量を抽出する。

【0039】

基準特徴量抽出部３６は、まず、時間ｔ１において、追跡領域に複数のボクセルを設定する。例えば、図５に示すように、追跡領域に複数のボクセル５１を設定する。ボクセル５１は、例えば、一つ以上の三次元座標を有する三次元領域である。

【0040】

続いて、基準特徴量抽出部３６は、ボクセル５１を順次選択し、図６に示すように、選択したボクセル５１を中心ボクセルＰとした二つの三次元領域Ｒ、Ｓを設定する。三次元領域Ｒは、例えば、ボクセルＰを中心とした一辺がｒの立方体で、複数のボクセル５１により構成される。また、三次元領域Ｓは、例えば、ボクセルＰを中心とした一辺がｓ（＞ｒ）の立方体で、三次元領域Ｒより多くのボクセルにより構成される。また、三次元領域Ｒ、Ｓの大きさは、実験又はシミュレーションなどにより決定する。

【0041】

なお、三次元領域Ｒ、Ｓは、ボクセルＰが追跡領域に含まれる場合に算出対象とする。対して、三次元領域Ｒ、Ｓが追跡領域からはみ出ている場合には、追跡領域の外側のボクセルを使用する。なお、ボクセルは、頭部を検出したい領域全体に設定するが、その領域から三次元領域Ｒ、Ｓがはみ出る場合は、追跡領域を無効化する。

【0042】

続いて、基準特徴量抽出部３６は、三次元領域Ｒ内にあるボクセル５１に対して、分散共分散行列を生成し、生成した分散共分散行列の最小固有値λｒ０を算出する。また、基準特徴量抽出部３６は、三次元領域Ｓ内にあるボクセル５１に対して、分散共分散行列を生成し、生成した分散共分散行列の最小固有値λｓ０を算出する。

【0043】

続いて、基準特徴量抽出部３６は、最小固有値λｒ０、λｓ０の単位ベクトル、すなわち三次元領域Ｒ、Ｓそれぞれについて法線ベクトルＮｒ、Ｎｓを算出する。続いて、基準特徴量抽出部３６は、法線ベクトルＮｒ、Ｎｓの内積を算出する。なお、内積を算出することにより、回転に対して不変とすることができる。また、内積を算出することにより、計算量（ベクトルの次元数）を減らすことができる。

【0044】

続いて、基準特徴量抽出部３６は、追跡領域に含まれる他のボクセル５１を選択して、上述したように選択したボクセル５１に対して内積を算出する。例えば、基準特徴量抽出部３６は、追跡領域内のボクセル５１の一部又は全てに対して、内積を算出する。

【0045】

続いて、基準特徴量抽出部３６は、算出した複数の内積を用いて特徴量を算出する。具体的には、基準特徴量抽出部３６は、図４に示す時間ｔ１において、追跡領域２２ａから２６ａそれぞれの特徴量を抽出する。特徴量は、例えば、ボクセル５１ごとに算出した内積の頻度分布などである。図７は、追跡領域ごとの頻度分布（ヒストグラム）を示す図である。なお、頻度分布をボクセル数で正規化して、特徴量としてもよい。

【0046】

周辺領域設定部３７は、基準となる距離画像が撮像された後に撮像された距離画像を用いて、追跡領域それぞれに対応する位置に周辺領域を設定する。具体的には、周辺領域設定部３７は、図４に示す時間ｔ２において、基準となる距離画像が撮像された後に撮像された距離画像に、追跡領域２２ａに対応する位置に周辺領域４２を設定し、追跡領域２３ａに対応する位置に周辺領域４３を設定し、追跡領域２４ｃに対応する位置に周辺領域４４を設定し、追跡領域２５ａに対応する位置に周辺領域４５を設定し、追跡領域２６ａに対応する位置に周辺領域４６を設定する。

【0047】

なお、周辺領域４６の大きさは、例えば、フレーム間の経過時間を元に、静止状態から想定する最大の速度で移動した場合の移動距離とする。なお、単位はボクセルとする。ま
た、周辺領域４６の中心位置は、例えば、追跡中の対象物が移動中の場合、前々回、前回における顔位置から移動ベクトルを算出し、前回の顔位置に加算した位置を中心とする。

【0048】

領域検出部３８は、周辺領域を用いて移動先となる領域を検出する。具体的には、領域検出部３８は、図４に示す時間ｔ３において、周辺領域４２、４３、４４、４５、４６それぞれから移動先となる領域４２′、４３′、４４′、４５′、４６′を検出する。

【0049】

領域検出部３８は、まず、時間ｔ３において、上述したボクセル５１を設定したように、周辺領域に複数のボクセルを設定する。続いて、領域検出部３８は、設定したボクセル５１を順次選択し、図６に示すように、選択したボクセル５１を中心ボクセルＰとした二つの三次元領域Ｒ、Ｓを設定する。続いて、領域検出部３８は、三次元領域Ｒ内にあるボクセル５１に対して、分散共分散行列を生成し、生成した分散共分散行列の最小固有値λｒ０を算出する。また、領域検出部３８は、三次元領域Ｓ内にあるボクセル５１に対して、分散共分散行列を生成し、生成した分散共分散行列の最小固有値λｓ０を算出する。

【0050】

続いて、領域検出部３８は、最小固有値λｒ０、λｓ０の単位ベクトル、すなわち三次元領域Ｒ、Ｓそれぞれについて法線ベクトルＮｒ、Ｎｓを算出する。続いて、領域検出部３８は、法線ベクトルＮｒ、Ｎｓの内積を算出する。

【0051】

続いて、領域検出部３８は、周辺領域に含まれる他のボクセル５１を選択して、上述したように選択したボクセル５１に対して内積を算出する。例えば、領域検出部３８は、周辺領域内のボクセル５１の一部又は全てに対して、内積を算出する。

【0052】

続いて、領域検出部３８は、時間ｔ３において、周辺領域内に、追跡領域と同じ大きさの複数の領域を設定して、設定した領域ごとに、設定した領域に含まれる複数の内積を用いて特徴量を算出する。特徴量は、例えば、設定した領域内のボクセル５１ごとの内積の頻度分布などである。なお、頻度分布をボクセル数で正規化して、特徴量としてもよい。

【0053】

続いて、領域検出部３８は、基準特徴量抽出部３６で抽出した特徴量と、領域検出部３８で抽出した複数の特徴量（設定した領域それぞれの特徴量）とを比較する。領域検出部３８は、領域検出部３８で抽出した複数の特徴量のうち、基準特徴量抽出部３６を用いて抽出した特徴量に最も類似している特徴量に対応する設定した領域を検出する。なお、類似度は、例えば、カイ二乗検定、ヒストグラムインタセクション、バタチャリヤ距離などを用いる。

【0054】

続いて、領域検出部３８は、時間ｔ４において、検出した領域４２′、４３′、４４′、４５′、４６′それぞれを、新たな追跡領域２２ｂ、２３ｂ、２４ｂ、２５ｂ、２６ｂに設定する。

【0055】

領域無効化部４は、移動先となる領域間の距離に基づいて、移動先となる領域を無効化する。具体的には、領域無効化部４は、まず、正常時に設定した追跡領域を用いて、追跡領域間の距離を算出する。続いて、領域無効化部４は、追跡領域の移動先となる領域を用いて、移動先となる領域間の距離を算出する。

【0056】

図８は、領域の無効化を説明するための図である。図８のＡは、正常時に設定された追跡領域２２ａから２６ａを示す図である。図８のＢは、移動先となる領域２２ｂから２６ｂを示す図である。

【0057】

領域無効化部４は、まず、追跡領域２２ａ、２３ａ間の距離Ｌ１ａと、追跡領域２２ａ、２４ａ間の距離Ｌ２ａと、追跡領域２２ａ、２５ａ間の距離Ｌ３ａと、追跡領域２２ａ
、２６ａ間の距離Ｌ４ａとを算出する。また、領域無効化部４は、追跡領域２３ａ、２４ａ間の距離Ｌ５ａ、追跡領域２３ａ、２５ａ間の距離Ｌ６ａ、追跡領域２４ａ、２６ａ間の距離Ｌ７ａ、追跡領域２５ａ、２６ａ間の距離Ｌ８ａとを算出する。

【0058】

続いて、領域無効化部４は、移動先となる領域２２ｂ、２３ｂ間の距離Ｌ１ｂと、移動先となる領域２２ｂ、２４ｂ間の距離Ｌ２ｂと、移動先となる領域２２ｂ、２５ｂ間の距離Ｌ３ｂと、移動先となる領域２２ｂ、２６ｂ間の距離Ｌ４ｂとを算出する。また、領域無効化部４は、移動先となる領域２３ｂ、２４ｂ間の距離Ｌ５ｂ、移動先となる領域２３ｂ、２５ｂ間の距離Ｌ６ｂ、移動先となる領域２４ｂ、２６ｂ間の距離Ｌ７ｂ、追跡領域２５ｂ、２６ｂ間の距離Ｌ８ｂとを算出する。

【0059】

続いて、領域無効化部４は、追跡領域間の距離Ｌ１ａからＬ８ａと、移動先となる領域間の距離Ｌ１ｂからＬ８ｂとを用いて、追跡領域間の距離と移動先となる領域間の距離との差を算出する。すなわち、差として、ｓｕｂ１（＝｜Ｌ１ａ－Ｌ１ｂ｜）、ｓｕｂ２（＝｜Ｌ２ａ－Ｌ２ｂ｜）、ｓｕｂ３（＝｜Ｌ３ａ－Ｌ３ｂ｜）、ｓｕｂ４（＝｜Ｌ４ａ－Ｌ４ｂ｜）、ｓｕｂ５（＝｜Ｌ５ａ－Ｌ５ｂ｜）、ｓｕｂ６（＝｜Ｌ６ａ－Ｌ６ｂ｜）、ｓｕｂ７（＝｜Ｌ７ａ－Ｌ７ｂ｜）、ｓｕｂ８（＝｜Ｌ８ａ－Ｌ８ｂ｜）を算出する。

【0060】

続いて、領域無効化部４は、差ｓｕｂ１からｓｕｂ８と、追跡領域間の距離Ｌ１からＬ８それぞれに対してあらかじめ設定された所定距離Ｌｔｈ１からＬｔｈ８とを比較する。すなわち、ｓｕｂ１とＬｔｈ１、ｓｕｂ２とＬｔｈ２、ｓｕｂ３とＬｔｈ３、ｓｕｂ４とＬｔｈ４、ｓｕｂ５とＬｔｈ５、ｓｕｂ６とＬｔｈ６、ｓｕｂ７とＬｔｈ７、ｓｕｂ８とＬｔｈ８とをそれぞれ比較する。

【0061】

続いて、比較した結果、所定距離以上の差がある場合、領域無効化部４は、異常な位置にある移動先となる領域を検出する。図８の例では、領域無効化部４は、ｓｕｂ１、ｓｕｂ２、ｓｕｂ４、ｓｕｂ５、ｓｕｂ７は正常であるが、ｓｕｂ３、ｓｕｂ６、ｓｕｂ８は異常であるので、領域２５ｂが異常な位置にあることを検出する。

【0062】

異常な移動先となる領域の検出について説明する。
対象物が頭部で、所定部位が鼻、右耳、左耳、頭頂部、顎である場合を例に説明をする。

【0063】

（１）右耳、左耳、頭頂部、顎に対応する移動先となる領域の異常の検出について
移動先となる領域２３ｂ、２４ｂ、２５ｂ、２６ｂの一部又は全部が、異常な位置にあるか否かは、図８に示す追跡領域２３ａ、２４ａ、２５ａ、２６ａと、移動先となる領域２３ｂ、２４ｂ、２５ｂ、２６ｂとを用いて検出する。

【0064】

具体的には、領域無効化部４は、図８の例では、距離Ｌ５ａ、Ｌ６ａ、Ｌ７ａ、Ｌ８ａと、距離Ｌ５ｂ、Ｌ６ｂ、Ｌ７ｂ、Ｌ８ｂとを用いて、差ｓｕｂ５、ｓｕｂ６、ｓｕｂ７、ｓｕｂ８を算出する。そして、領域無効化部４は、算出した差ｓｕｂ５、ｓｕｂ６、ｓｕｂ７、ｓｕｂ８と、対応する所定距離Ｌｔｈ５、Ｌｔｈ６、Ｌｔｈ７、Ｌｔｈ８とを用いて、異常な差であるか否かを検出する。図８の例では、差ｓｕｂ５、ｓｕｂ７は正常で、差ｓｕｂ６、ｓｕｂ８は異常であるので、領域２５ｂが異常な位置にある移動先となる領域となる。

【0065】

（２－１）鼻に対応する移動先となる領域の異常の検出について
図９は、領域の無効化を説明するための図である。図９のＡは、正常時に設定された追跡領域２２ａから２６ａを示す図である。図９のＢは、移動先となる領域２２ｂから２６ｂを示す図である。

【0066】

移動先となる領域２２ｂが異常な位置にあるか否かは、図９に示す追跡領域２２ａ、２３ａ、２４ａ、２５ａ、２６ａと、移動先となる領域２２ｂ、２３ｂ、２４ｂ、２５ｂ、２６ｂとを用いて検出する。

【0067】

具体的には、領域無効化部４は、図９の例では、距離Ｌ１ａ、Ｌ２ａ、Ｌ３ａ、Ｌ４ａと、距離Ｌ１ｂ、Ｌ２ｂ、Ｌ３ｂ、Ｌ４ｂとを用いて、差ｓｕｂ１、ｓｕｂ２、ｓｕｂ３、ｓｕｂ４を算出する。そして、領域無効化部４は、算出した差ｓｕｂ１、ｓｕｂ２、ｓｕｂ３、ｓｕｂ４と、対応する所定距離Ｌｔｈ１、Ｌｔｈ２、Ｌｔｈ３、Ｌｔｈ４とを用いて、異常な差であるか否かを検出する。図９の例では、差ｓｕｂ１、ｓｕｂ２、ｓｕｂ３、ｓｕｂ４が異常であるので、領域２２ｂは異常な位置にある移動先となる領域となる。

【0068】

なお、差ｓｕｂ１、ｓｕｂ２、ｓｕｂ３、ｓｕｂ４のうち一つでも異常がある場合には、領域２２ｂを異常とする。

【0069】

（２－２）鼻に対応する移動先となる領域の異常の検出について
移動先となる領域２２ｂが異常な位置にあるか否かは、図９に示す追跡領域２２ａ、頭部位置８１ａと、移動先となる領域２２ｂ、頭部位置８１ｂとを用いて検出する。

【0070】

具体的には、領域無効化部４は、図９の例では、距離Ｌ９ａと距離Ｌ９ｂとを用いて、差ｓｕｂ９（＝｜Ｌ９ａ－Ｌ９ｂ｜）を算出する。そして、領域無効化部４は、算出した差ｓｕｂ９と、対応する所定距離Ｌｔｈ９とを用いて、異常な差であるか否かを検出する。

【0071】

図９の例では、差ｓｕｂ９が異常であるので、領域２２ｂは異常な位置にある移動先となる領域となる。

【0072】

なお、距離Ｌ９ａは、追跡領域２２ａと頭部位置８１ａとの距離を表している。距離Ｌ９ｂは、追跡領域２２ｂと頭部位置８１ｂとの距離を表している。また、頭部位置７１ａは、追跡領域２２ａから２６ａを用いて算出する。７１ｂは、追跡領域２２ｂから２６ｂを用いて算出する。頭部位置の算出方法は、上述した方法に限定されない。

【0073】

続いて、領域無効化部４は、異常な位置にある移動先となる領域を、追跡に用いないように無効化する。図８の例では、領域２５ｂを無効化する。図９の例では、領域２２ｂを無効化する。

【0074】

推定部５は、移動先となる領域が無効化されている場合、無効化されていない移動先となる領域と、追跡領域間の距離とを用いて、無効化されている移動先となる領域の替わりの新たな領域を推定する。具体的には、推定部５は、移動先となる領域が三点以上有効である場合、有効な移動先となる領域と、正常時における追跡領域間の距離とを用いて、無効化された領域の替わりとなる新たな領域を推定する。

【0075】

図８の例では、推定部５は、有効な領域２２ｂ、２３ｂ、２６ｂ、正常時の距離Ｌ３ａ、Ｌ６ａ、Ｌ８ａを用いて、領域２５ｂの替わりとなる新しい領域２５ｂ′を推定する。なお、有効な領域２３ｂ、２４ｂ、２６ｂを利用して推定してもよい。その場合領域２５ｂ′が前述した三領域と同じ平面に存在すると仮定し、距離Ｌ６ａ、Ｌ８ａを用いて算出をする。また、図９の例では、推定部５は、有効な領域２３ｂ、２４ｂ、２５ｂ、２６ｂ、正常時の距離Ｌ１ａ、Ｌ２ａ、Ｌ３ａ、Ｌ４ａを用いて、領域２２ｂの替わりとなる新しい領域２２ｂ′を推定する。

【0076】

領域有効化部６は、推定部５を用いて推定した領域を有効化する。具体的には、領域有効化部６は、図８の例では、無効化されている領域２５ｂの替わりに、推定した領域２５ｂ′を有効化して新たな領域とする。図９の例では、無効化されている領域２２ｂの替わりに、推定した領域２２ｂ′を有効化して新たな領域とする。

【0077】

なお、領域有効化部６は、推定部５が推定できなかった場合、追跡領域と移動先となる領域を用いずに、例えば、頭部領域の３Ｄ点群を用いて、再度追跡領域を設定する。

【0078】

［装置動作］
次に、本発明の実施の形態における追跡装置の動作について図１０を用いて説明する。図１０は、追跡装置の動作の一例を示す図である。以下の説明においては、適宜図２から図９を参照する。また、本実施の形態では、追跡装置を動作させることによって、追跡方法が実施される。よって、本実施の形態における追跡方法の説明は、以下の追跡装置の動作説明に代える。

【0079】

図１０に示すように、最初に、入力処理部３３は、撮像装置３１から距離画像を取得して、取得した距離画像を三次元情報に変換し、設定部２へ出力する（ステップＡ１）。

【0080】

続いて、設定部２は、運用時において、オクルージョン、ノイズなどが発生していない時間に撮像した基準となる距離画像（第一の距離画像）に基づいて生成した三次元情報を用いて、撮像された所定部位の画像それぞれに対して三次元の追跡領域を設定する（ステップＡ２）。

【0081】

具体的には、ステップＡ２において、設定部２が有する部位識別器３４は、運用時において、まず、基準となる３Ｄ点群を入力とし、部位識別器３４を適用して、部位の領域を推定する。なお、部位識別器３４は、所定部位を推定するために用いる学習モデルである。具体的には、部位識別器３４は、学習時において、あらかじめ用意した複数の距離画像を用いて抽出した所定部位の特徴量を入力とし、機械学習により生成された学習モデルである。

【0082】

続いて、ステップＡ２において、設定部２が有する領域設定部３５は、推定した所定部位の領域それぞれに対して、推定した所定部位の領域の一部又は全体を含む三次元の追跡領域を設定する。

【0083】

追跡部３は、追跡領域の移動先となる領域を追跡する（ステップＡ３）。具体的には、ステップＡ３において、追跡部３が有する基準特徴量抽出部３６は、まず、基準となる距離画像（第一の距離画像）に基づいて設定部２により設定された追跡領域それぞれについて、特徴量を抽出する。例えば、基準特徴量抽出部３６は、図４に示す時間ｔ１において、追跡領域２２ａから２６ａそれぞれの特徴量を抽出する。

【0084】

続いて、ステップＳＡ３において、追跡部３が有する周辺領域設定部３７は、基準となる距離画像が撮像された後に撮像された距離画像を取得し、基準となる距離画像（第一の距離画像）に設定された追跡領域に基づいて、取得した距離画像（第二の距離画像）に周辺領域を設定する。

【0085】

例えば、周辺領域設定部３７は、図４に示す時間ｔ２において、基準となる距離画像が撮像された後に撮像された距離画像に、追跡領域２２ａに対応する位置に周辺領域４２を設定し、追跡領域２３ａに対応する位置に周辺領域４３を設定し、追跡領域２４ｃに対応する位置に周辺領域４４を設定し、追跡領域２５ａに対応する位置に周辺領域４５を設定
し、追跡領域２６ａに対応する位置に周辺領域４６を設定する。

【0086】

続いて、ステップＡ３において、追跡部３が有する領域検出部３８は、周辺領域それぞれについて、特徴量を算出する。続いて、ステップＡ３において、領域検出部３８は、追跡領域の特徴量と、追跡領域に対応する周辺領域の特徴量とを比較し、比較した結果に基づいて追跡領域の移動先となる領域を検出し、検出した周辺領域を新たな追跡領域とする。

【0087】

例えば、領域検出部３８は、図４に示す時間ｔ３において、周辺領域４２、４３、４４、４５、４６それぞれから移動先となる領域４２′、４３′、４４′、４５′、４６′を検出する。その後、領域検出部３８は、時間ｔ４において、検出した領域４２′、４３′、４４′、４５′、４６′それぞれを、新たな追跡領域２２ｂ、２３ｂ、２４ｂ、２５ｂ、２６ｂに設定する。

【0088】

続いて、領域無効化部４は、移動先となる領域間の距離に基づいて、移動先となる領域を無効化する（ステップＡ４）。具体的には、ステップＡ４において、領域無効化部４は、まず、正常時に設定した追跡領域を用いて、追跡領域間の距離を算出する。続いて、ステップＡ４において、領域無効化部４は、追跡領域の移動先となる領域を用いて、移動先となる領域間の距離を算出する。

【0089】

続いて、ステップＡ４において、領域無効化部４は、追跡領域間の距離と、移動先となる領域間の距離とを用いて、追跡領域間の距離と移動先となる領域間の距離との差を算出する。

【0090】

続いて、ステップＡ４において、領域無効化部４は、算出した差と、追跡領域間の距離それぞれに対してあらかじめ設定された所定距離とを比較する。比較した結果、所定距離以上の差がある場合、領域無効化部４は、領域無効化部４は、異常な位置にある移動先となる領域を検出する。図８の例では、領域２５ｂを無効化する。図９の例では、領域２２ｂを無効化する。

【0091】

推定部５は、移動先となる領域が無効化されている場合、無効化されていない移動先となる領域と、追跡領域間の距離とを用いて、無効化されている移動先となる領域の替わりの新たな領域を推定する（ステップＡ５）。具体的には、ステップＡ５において、推定部５は、移動先となる領域が三点以上有効である場合、有効な移動先となる領域と、正常時における追跡領域間の距離とを用いて、無効化された領域の替わりとなる新たな領域を推定する。

【0092】

図８の例では、推定部５は、有効な領域２２ｂ、２３ｂ、２６ｂ、正常時の距離Ｌ３ａ、Ｌ６ａ、Ｌ８ａを用いて、領域２５ｂ′の替わりとなる新しい領域を推定する。また、図９の例では、推定部５は、有効な領域２３ｂ、２４ｂ、２５ｂ、２６ｂ、正常時の距離Ｌ１ａ、Ｌ２ａ、Ｌ３ａ、Ｌ４ａを用いて、領域２２ｂ′の替わりとなる新しい領域を推定する。

【0093】

領域有効化部６は、推定部５を用いて推定した領域を有効化する（ステップＡ６）。具体的には、ステップＡ６において、領域有効化部６は、図８の例では、無効化されている領域２５ｂの替わりに、推定した領域２５ｂ′を有効化して新たな領域とする。図９の例では、無効化されている領域２２ｂの替わりに、推定した領域２２ｂ′を有効化して新たな領域とする。

【0094】

なお、ステップＡ６において、領域有効化部６は、推定部５が推定できなかった場合、
追跡領域と移動先となる領域を用いずに、例えば、頭部領域の３Ｄ点群を用いて、再度追跡領域を設定する。

【0095】

続いて、追跡装置１は、上述したステップＡ１からＡ６に示した追跡処理を終了する指示を取得した場合、追跡処理を終了する（ステップＡ７：Ｙｅｓ）。また、追跡処理を継続する場合（ステップＡ７：Ｎｏ）、ステップＡ３に移行して、追跡処理を継続する。

【0096】

［本実施の形態の効果］
以上のように本実施の形態によれば、距離画像を用いて追跡領域を設定し、設定した追跡領域の移動先を推定することで、撮像した対象物の追跡を精度よく行うことができる。

【0097】

また、本実施の形態においては、オクルージョン、ノイズなどが発生しても、追跡領域を無効化し、有効な追跡領域を用いて対象物の推定ができる。

【0098】

更に、無効化した追跡領域の替わりの領域を推定し、その推定した領域を有効化して、無効化した追跡領域の替わりにすることで、撮像した対象物の追跡を精度よく行うことができる。

【0099】

［プログラム］
本発明の実施の形態におけるプログラムは、コンピュータに、図１０に示すステップＡ１からＡ７を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における追跡装置と追跡方法とを実現することができる。この場合、コンピュータのプロセッサは、入力処理部３３、設定部２（部位識別器３４、領域設定部３５）、追跡部３（基準特徴量抽出部３６、周辺領域設定部３７、領域検出部３８）、領域無効化部４、推定部５、領域有効化部６として機能し、処理を行なう。

【0100】

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、入力処理部３３、設定部２（部位識別器３４、領域設定部３５）、追跡部３（基準特徴量抽出部３６、周辺領域設定部３７、領域検出部３８）、領域無効化部４、推定部５、領域有効化部６のいずれかとして機能してもよい。

【0101】

［物理構成］
ここで、実施の形態におけるプログラムを実行することによって、追跡装置を実現するコンピュータについて図１１を用いて説明する。図１１は、本発明の実施の形態における追跡装置を実現するコンピュータの一例を示すブロック図である。

【0102】

図１１に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていてもよい。

【0103】

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実
施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。

【0104】

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

【0105】

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

【0106】

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）などの汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。

【0107】

［付記］
以上の実施の形態に関し、更に以下の付記を開示する。上述した実施の形態の一部又は全部は、以下に記載する（付記１）から（付記１５）により表現することができるが、以下の記載に限定されるものではない。

【0108】

（付記１）
距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、設定部と、
前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、追跡部と、
前記移動先となる領域間の距離と、対応する前記追跡領域間の距離との差が所定距離以上である場合、前記移動先となる領域を追跡に用いないように無効化する、領域無効化部と、
を有することを特徴とする追跡装置。

【0109】

（付記２）
付記１に記載の追跡装置であって、
前記設定部は、前記対象物が頭部である場合、鼻、右耳、左耳、頭頂部、顎のうち一つ以上に対して前記追跡領域を設定する
ことを特徴とする追跡装置。

【0110】

（付記３）
付記２に記載の追跡装置であって、
前記移動先となる領域間の距離は、前記右耳と前記頭頂部とに対応する前記移動先となる領域間の距離、前記右耳と前記顎とに対応する前記移動先となる領域間の距離、前記左耳と前記頭頂部とに対応する前記移動先となる領域間の距離、前記左耳と前記顎とに対応する前記移動先となる領域間の距離のうち一つ以上を用いる
ことを特徴とする追跡装置。

【0111】

（付記４）
付記２又は３に記載の追跡装置であって、
前記移動先となる領域間の距離は、前記鼻と前記右耳とに対応する前記移動先となる領域間の距離、前記鼻と前記左耳とに対応する前記移動先となる領域間の距離、前記鼻と前記頭頂部とに対応する前記移動先となる領域間の距離、前記鼻と前記顎とに対応する前記移動先となる領域間の距離、前記鼻に対応する前記移動先となる領域と前記対象物の位置との距離のうち一つ以上を用いる
ことを特徴とする追跡装置。

【0112】

（付記５）
付記４に記載の追跡装置であって、
前記移動先となる領域が無効化されている場合、無効化されていない前記移動先となる領域と、前記追跡領域間の距離とを用いて、無効化されている前記移動先となる領域の替わりの新たな領域を推定する、推定部を有する
ことを特徴とする追跡装置。

【0113】

（付記６）
（ａ）距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、ステップと、
（ｂ）前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、ステップと、
（ｃ）前記移動先となる領域間の距離と、対応する前記追跡領域間の距離との差が所定距離以上である場合、前記移動先となる領域を追跡に用いないように無効化する、ステップと、
を有することを特徴とする追跡方法。

【0114】

（付記７）
付記６に記載の追跡方法であって、
前記（ａ）のステップにおいて、前記対象物が頭部である場合、鼻、右耳、左耳、頭頂部、顎のうち一つ以上に対して前記追跡領域を設定する
ことを特徴とする追跡方法。

【0115】

（付記８）
付記７に記載の追跡方法であって、
前記移動先となる領域間の距離は、前記右耳と前記頭頂部とに対応する前記移動先となる領域間の距離、前記右耳と前記顎とに対応する前記移動先となる領域間の距離、前記左耳と前記頭頂部とに対応する前記移動先となる領域間の距離、前記左耳と前記顎とに対応する前記移動先となる領域間の距離のうち一つ以上を用いる
ことを特徴とする追跡方法。

【0116】

（付記９）
付記７又は８に記載の追跡方法であって、
前記移動先となる領域間の距離は、前記鼻と前記右耳とに対応する前記移動先となる領域間の距離、前記鼻と前記左耳とに対応する前記移動先となる領域間の距離、前記鼻と前記頭頂部とに対応する前記移動先となる領域間の距離、前記鼻と前記顎とに対応する前記移動先となる領域間の距離、前記鼻に対応する前記移動先となる領域と前記対象物の位置との距離のうち一つ以上を用いる
ことを特徴とする追跡方法。

【0117】

（付記１０）
付記９に記載の追跡方法であって、
（ｄ）前記移動先となる領域が無効化されている場合、無効化されていない前記移動先となる領域と、前記追跡領域間の距離とを用いて、無効化されている前記移動先となる領域の替わりの新たな領域を推定する、ステップを更に有する
ことを特徴とする追跡方法。

【0118】

（付記１１）
コンピュータに、
（ａ）距離情報を有する第一の画像を用いて生成された三次元情報に基づいて、撮像された対象物に含まれる所定部位それぞれに対して三次元の追跡領域を設定する、ステップと、
（ｂ）前記第一の画像が撮像された後、時系列に撮像された第二の画像において、前記追跡領域それぞれの移動先となる領域を追跡する、ステップと、
（ｃ）前記移動先となる領域間の距離と、対応する前記追跡領域間の距離との差が所定距離以上である場合、前記移動先となる領域を追跡に用いないように無効化する、ステップと、
を実行させることを特徴とするプログラム。

【0119】

（付記１２）
付記１１に記載のプログラムであって、
前記コンピュータに、
前記（ａ）のステップにおいて、前記対象物が頭部である場合、鼻、右耳、左耳、頭頂部、顎のうち一つ以上に対して前記追跡領域を設定する
ことを特徴とするプログラム。

【0120】

（付記１３）
付記１２に記載のプログラムであって、
前記移動先となる領域間の距離は、前記右耳と前記頭頂部とに対応する前記移動先となる領域間の距離、前記右耳と前記顎とに対応する前記移動先となる領域間の距離、前記左耳と前記頭頂部とに対応する前記移動先となる領域間の距離、前記左耳と前記顎とに対応する前記移動先となる領域間の距離のうち一つ以上を用いる
ことを特徴とするプログラム。

【0121】

（付記１４）
付記１２又は１３に記載のプログラムであって、
前記移動先となる領域間の距離は、前記鼻と前記右耳とに対応する前記移動先となる領域間の距離、前記鼻と前記左耳とに対応する前記移動先となる領域間の距離、前記鼻と前記頭頂部とに対応する前記移動先となる領域間の距離、前記鼻と前記顎とに対応する前記移動先となる領域間の距離、前記鼻に対応する前記移動先となる領域と前記対象物の位置との距離のうち一つ以上を用いる
ことを特徴とするプログラム。

【0122】

（付記１５）
付記１４に記載のプログラムであって、
前記コンピュータに、
（ｄ）前記移動先となる領域が無効化されている場合、無効化されていない前記移動先となる領域と、前記追跡領域間の距離とを用いて、無効化されている前記移動先となる領域の替わりの新たな領域を推定する、ステップを更に実行させる
ことを特徴とするプログラム。

【産業上の利用可能性】

【0123】

以上のように本発明によれば、対象物の追跡を精度よく行うことができる。本発明は、対象物の追跡、対象物の位置、向きの推定が必要な分野において有用である。

【符号の説明】

【0124】

１ 追跡装置
２ 設定部
３ 追跡部
４ 領域無効化部
５ 推定部
６ 領域有効化部
３０ システム
３１ 撮像装置
３３ 入力処理部
３４ 部位識別器
３５ 領域設定部
３６ 基準特徴量抽出部
３７ 周辺領域設定部
３８ 領域検出部
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】