特許 7198661 オブジェクト追跡装置及びそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-21

(45)【発行日】2023-01-04

(54)【発明の名称】オブジェクト追跡装置及びそのプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20221222BHJP

   G06T 7/00 20170101ALI20221222BHJP

   H04N 7/18 20060101ALI20221222BHJP

【ＦＩ】

G06T7/20

G06T7/00 350B

H04N7/18 K

H04N7/18 D

H04N7/18 U

【請求項の数】 6

(21)【出願番号】P 2018245234

(22)【出願日】2018-12-27

(65)【公開番号】P2020107071

(43)【公開日】2020-07-09

【審査請求日】2021-11-08

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】高橋 正樹

(72)【発明者】

【氏名】三ツ峰 秀樹

【審査官】藤原 敬利

(56)【参考文献】

【文献】国際公開第２０１８／０８７８４４（ＷＯ，Ａ１）

【文献】特開２０１８－０７８４３１（ＪＰ，Ａ）

【文献】特表２０１５－５３６５０７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ７／９０

Ｇ０６Ｖ １０／００ －２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６ 、４０／２０

Ｈ０４Ｎ ５／２２２－ ５／２５７

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

動いているオブジェクトのそれぞれに付された赤外光マーカを赤外光で撮影した赤外画像と、それぞれの前記オブジェクトを動かしている人物を可視光で撮影した可視画像とを用いて、前記オブジェクトを追跡するオブジェクト追跡装置であって、
前記オブジェクトの位置として、前記赤外画像から前記赤外光マーカの位置を検出する赤外光検出手段と、
前記可視画像から前記人物の各関節位置を検出する関節位置検出手段と、
前記オブジェクトの位置から前記各関節位置までの特徴ベクトルを算出する特徴ベクトル算出手段と、
前記オブジェクトの位置と前記各関節位置との関係を予め学習した識別器を用いて、前記特徴ベクトルによって前記オブジェクトに対応する前記人物を選択し、前記オブジェクトと前記人物との対応関係を示す属性情報を生成する属性情報生成手段と、
前記オブジェクトの位置及び前記属性情報に基づいて、前記オブジェクトの軌跡を生成する軌跡生成手段と、
を備えることを特徴とするオブジェクト追跡装置。

【請求項2】

前記属性情報生成手段は、
回帰モデルの前記識別器を前記人物毎に学習し、
前記人物毎に学習した識別器を用いて、前記特徴ベクトルから前記オブジェクトと前記人物との組み合わせ毎の尤度を算出し、算出した前記尤度が最も高くなる前記オブジェクトと前記人物との組み合わせを選択し、前記属性情報を生成することを特徴とする請求項１に記載のオブジェクト追跡装置。

【請求項3】

前記関節位置検出手段は、前記可視画像に含まれる全人物の関節位置を検出し、
前記関節位置検出手段で検出された前記関節位置に基づいて、首関節から股関節までの胴体長を前記人物毎に算出し、算出した前記胴体長が長い順に予め設定した数の前記人物を選択し、選択した前記人物の前記関節位置を前記特徴ベクトル算出手段に出力する人物選択手段、をさらに備えることを特徴とする請求項１又は請求項２に記載のオブジェクト追跡装置。

【請求項4】

前記特徴ベクトル算出手段は、前記特徴ベクトルを前記胴体長で正規化することを特徴とする請求項３に記載のオブジェクト追跡装置。

【請求項5】

前記関節位置検出手段は、少なくとも前記人物の頭及び腕部の前記関節位置を検出することを特徴とする請求項１から請求項４の何れか一項に記載のオブジェクト追跡装置。

【請求項6】

コンピュータを、請求項１から請求項５の何れか一項に記載のオブジェクト追跡装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、赤外画像及び可視画像を用いて、オブジェクトを追跡するオブジェクト追跡装置及びそのプログラムに関する。

【背景技術】

【0002】

近年、映像解析技術の進展に伴い、カメラを用いた様々なアプリケーションが提案されている。この技術の発展は、特にスポーツシーンの映像解析において顕著である。例えば、ウィンブルドンでも使用されているテニスのホークアイシステムは、複数の固定カメラの映像を用いてテニスボールを３次元的に追跡し、ＩＮ／ＯＵＴの判定を行っている。また２０１４年のＦＩＦＡワールドカップでは、ゴールラインテクノロジーと称して、数台の固定カメラの映像を解析し、ゴールの判定を自動化している。さらにサッカースタジアムに多数のステレオカメラを設置し、フィールド内の全選手をリアルタイムに追跡するＴＲＡＣＡＢシステムも知られている。

【0003】

これら映像解析技術は、時間解像度が３０フレーム／秒(ｆｐｓ)のカメラで撮影した映像を利用する前提であることが多い。例えば、フェンシングの剣先、バドミントンのシャトルなど、目視が困難なほどの高速で移動するオブジェクトを撮影すると、映像上では、そのオブジェクトに極度のモーションブラーが発生する（図１６の符号α）。このため、映像のみからオブジェクト位置を正確に計測することが極めて困難である。この場合、３０ｆｐｓを超えるハイスピートカメラを利用したり、シャッター速度を高速化することで、モーションブラーを軽減できる。その一方、ハイスピードカメラは高価であり、シャッター速度を高速化すると映像の輝度が低下するという問題がある。

【0004】

このような制約条件の中、赤外カメラを利用し、高速移動体を頑健に追跡する従来技術が提案されている（特許文献１）。この従来技術は、追跡対象に再帰性の反射テープを貼付し、赤外カメラから赤外光を照射し、その反射光を赤外画像上で検出することにより、追跡対象の位置を計測するものである。この従来技術では、赤外画像上で検出を行うことで、可視画像において誤検出の原因となるノイズを低減し、高い精度でオブジェクトを追跡できる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－７８４３１号公報

【発明の概要】

【0006】

前記した従来技術では、追跡対象が高速に移動している場合、又は、反射テープが赤外カメラに正対していない場合、反射テープからの反射光が微弱となり、赤外画像上で追跡対象の検出が困難となる。以後、追跡対象の検出に失敗することを「ロスト」と記載することがある。また、従来技術では、複数の追跡対象の追跡中に追跡対象同士が近接した際、又は、全追跡対象をロストした後に再検出した際、追跡対象が入れ替わる場合がある。この場合、従来技術では、正確な軌跡の描画が極めて困難となり、軌跡の入れ替わりが生じることがある。

【発明が解決しようとする課題】

【0007】

そこで、本発明は、軌跡の入れ替わりを抑制できるオブジェクト追跡装置及びそのプログラムを提供することを課題とする。

【課題を解決するための手段】

【0008】

前記した課題に鑑みて、本発明に係るオブジェクト追跡装置は、動いているオブジェクトのそれぞれに付された赤外光マーカを赤外光で撮影した赤外画像と、それぞれのオブジェクトを動かしている人物を可視光で撮影した可視画像とを用いて、オブジェクトを追跡するオブジェクト追跡装置であって、赤外光検出手段と、関節位置検出手段と、特徴ベクトル算出手段と、属性情報生成手段と、軌跡生成手段と、を備える構成とした。

【0009】

かかるオブジェクト追跡装置において、赤外光検出手段は、オブジェクトの位置として、赤外画像から赤外光マーカの位置を検出する。
関節位置検出手段は、可視画像から人物の各関節位置を検出する。
特徴ベクトル算出手段は、オブジェクトの位置から各関節位置までの特徴ベクトルを算出する。この特徴ベクトルは、追跡の対象となるオブジェクトの位置と人物の姿勢との関係を表している。

【0010】

属性情報生成手段は、オブジェクトの位置と各関節位置との関係を予め学習した識別器を用いて、特徴ベクトルによってオブジェクトに対応する人物を選択し、オブジェクトと人物との対応関係を示す属性情報を生成する。
軌跡生成手段は、オブジェクトの位置及び属性情報に基づいて、オブジェクトの軌跡を生成する。
このように、オブジェクト追跡装置は、オブジェクトを追跡する際、オブジェクトと人物との対応関係を示す属性情報を用いるので、その軌跡の入れ替わりを抑制できる。

【0011】

なお、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスクなどのハードウェア資源を、前記したオブジェクト追跡装置として協調動作させるプログラムで実現することもできる。

【発明の効果】

【0012】

本発明によれば、オブジェクトを追跡する際、オブジェクトと人物との対応関係を示す属性情報を用いるので、その軌跡の入れ替わりを抑制できる。このように、本発明によれば、正確なオブジェクトの軌跡を生成し、追跡頑健性を向上させることができる。

【図面の簡単な説明】

【0013】

【図1】実施形態に係るオブジェクト追跡システムの概略構成図である。

【図2】実施形態における剣先の説明図である。

【図3】実施形態において、赤外画像の一例を示す図である。

【図4】実施形態に係るオブジェクト追跡装置の構成を示すブロック図である。

【図5】実施形態において、人物の関節点の説明図である。

【図6】実施形態において、可視画像の一例を示す図である。

【図7】実施形態において、関節点の検出を説明する説明図である。

【図8】実施形態において、選手の関節点の選択を説明する説明図である。

【図9】実施形態において、特徴ベクトルの算出を説明する説明図である。

【図10】実施形態において、識別器の学習を説明する説明図である。

【図11】実施形態において、識別器による判定を説明する説明図である。

【図12】実施形態において、軌跡の描画を説明する説明図である。

【図13】実施形態に係るオブジェクト追跡装置の動作を示すフローチャートである。

【図14】実施例において、尤度分布を可視化した画像の一例である。

【図15】実施例において、尤度分布を可視化した画像の別例である。

【図16】従来技術において、フェンシングの映像におけるモーションブラーを説明する説明図である。

【発明を実施するための形態】

【0014】

（実施形態）
［オブジェクト追跡システムの概略］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図１を参照し、本発明の実施形態に係るオブジェクト追跡システム１の概略について説明する。
以後の実施形態では、フェンシングにおいて、選手（人物）が持っている剣の剣先（オブジェクト）を追跡対象として説明する。フェンシングの最中、両選手の剣先は、高速で動いていることが多い。

【0015】

オブジェクト追跡システム１は、可視光及び赤外光を同光軸で撮影可能な可視・赤外同軸光カメラ２０を利用し、可視光画像Ｖ及び赤外画像Ｉを組み合わせて、高速で移動する２本の剣先位置を追跡し、その軌跡Ｔ（Ｔ^１，Ｔ^２）を描画するものである。図１に示すように、オブジェクト追跡システム１は、赤外光投光器１０と、可視・赤外同軸光カメラ２０と、オブジェクト追跡装置３０と、を備える。

【0016】

赤外光投光器１０は、赤外光を投光する一般的な投光器である。
図２に示すように、この赤外光投光器１０が投光した赤外光は、両選手の剣先９０に付けた反射テープ（赤外光マーカ）９１で反射され、後記する可視・赤外同軸光カメラ２０で撮影される。

【0017】

反射テープ９１は、赤外光投光器１０からの赤外線を反射するものである。この反射テープ９１は、剣先９０に１枚以上付ければよく、その大きさや枚数に特に制限はない。図２の例では、剣先９０は、その側面に矩形状の反射テープ９１を１枚付けている。ここで、剣先９０は、側面反対側に反射テープ９１を１枚追加してもよく、その側面を一周するように帯状の反射テープ９１を巻いてもよい（不図示）。

【0018】

可視・赤外同軸光カメラ２０は、可視光と赤外光を同一光軸で撮影し、同一画素数の可視画像Ｖ及び赤外画像Ｉを生成するものである。本実施形態では、可視・赤外同軸光カメラ２０は、フェンシングの競技を撮影した可視画像Ｖ（図５）と、剣先９０の反射テープ９１を撮影した赤外画像Ｉとを生成する。図３に示すように、赤外画像Ｉは、２個の反射テープ９１のみが撮影される一方、他の選手などが撮影されない（破線で図示）。また、可視画像Ｖの剣先９０と、赤外画像Ｉの反射テープ９１との画像座標が対応するため、３次元空間での視点変換を行うことなく軌跡Ｔを描画できる。

【0019】

オブジェクト追跡装置３０は、可視・赤外同軸光カメラ２０から入力された赤外画像Ｉと可視画像Ｖとを用いて、両選手の剣先９０を追跡するものである。そして、オブジェクト追跡装置３０は、追跡した両選手の剣先９０の軌跡Ｔ^１，Ｔ^２を異なる色で描画し、描画した軌跡Ｔ^１，Ｔ^２を可視画像Ｖに合成することで、軌跡合成画像Ｆを生成する。
なお、図１では、左側の選手が持つ剣先９０の軌跡Ｔ^１を破線で図示し、右側の選手が持つ剣先９０の軌跡Ｔ^２を一点鎖線で図示した。

【0020】

［オブジェクト追跡装置の構成］
図４を参照し、オブジェクト追跡装置３０の構成について説明する。
図４に示すように、オブジェクト追跡装置３０は、赤外光検出手段３１と、人物姿勢取得手段３３と、オブジェクト識別手段３５と、オブジェクト追跡手段３７と、を備える。

【0021】

本実施形態では、オブジェクト追跡装置３０は、時間方向に連続するフレーム１，…，ｔ－１，ｔ，…の赤外画像Ｉ及び可視画像Ｖが入力され、入力された赤外画像Ｉ及び可視画像Ｖに順次処理を施すこととする。以後、現在のフレーム（現フレーム）をｔとし、現フレームｔの赤外画像Ｉを赤外画像Ｉ_ｔとし、現フレームの可視画像Ｖを可視画像Ｖ_ｔとする。

【0022】

赤外光検出手段３１は、赤外画像Ｉ_ｔから剣先９０（反射テープ９１）の位置を検出するものである。以下、赤外光検出手段３１による剣先位置の検出手法の一例を説明する。

【0023】

＜剣先位置の検出手法＞
まず、赤外光検出手段３１は、下記の式（１）を用いて、現在のフレームの赤外画像Ｉ_ｔと、１つ前のフレームの赤外画像Ｉ_ｔ－１との２値赤外差分画像を生成することで、動オブジェクトの領域Ｍ_ｔのみを抽出する。つまり、赤外光検出手段３１は、赤外画像Ｉ_ｔの画素（ｘ，ｙ）の輝度値Ｉ^ｘｙ _ｔと、赤外画像Ｉ_ｔ－１の画素（ｘ，ｙ）の輝度値Ｉ^ｘｙ _ｔ－１との差分が、予め設定した閾値Ｒ＿ｂｒｉを超える動オブジェクトの領域Ｍ^ｘｙ _ｔを、候補ブロブとして抽出する。

【0024】

【数1】

【0025】

ここで、ｘ，ｙは、水平及び垂直の画像座標を表す。また、閾値Ｒ＿ｂｒｉは、任意の値で予め設定する。また、式（１）の‘０’が最小輝度値を表し、‘２５５’が最大輝度値を表す。
なお、赤外光検出手段３１は、静止しているノイズブロブの発生を抑えるために２値赤外差分画像Ｍ^ｘｙ _ｔを生成したが、赤外画像Ｉ_ｔで輝度が高い領域を候補ブロブとして抽出してもよい。

【0026】

次に、赤外光検出手段３１は、抽出した候補ブロブにモルフォロジ処理を施し、小領域のノイズブロブを消去する。このモルフォロジ処理とは、画像をいくつかの方向に画素単位でずらした画像群と、もとの画像との画像間演算によって、小領域のノイズブロブを消去する処理である。

【0027】

次に、赤外光検出手段３１は、モルフォロジ処理で残った候補ブロブにラベリング処理を施す。このラベリング処理とは、候補ブロブにラベル（番号）を割り当てる処理である。
次に、赤外光検出手段３１は、ラベリング処理を施した候補ブロブの位置、面積及び形状特徴量を求める。ここで、候補ブロブの位置は、候補ブロブの中心位置又は重心位置である。また、候補ブロブの形状特徴量は、円形度や外接矩形のアスペクト比とする。

【0028】

次に、赤外光検出手段３１は、予め設定した最小面積から最大面積までの範囲にない候補ブロブを消去する。そして、赤外光検出手段３１は、形状特徴量が予め設定した範囲内にない候補ブロブを消去する。さらに、赤外光検出部３１１は、候補ブロブの数がオブジェクト上限数を超えている場合、面積が大きい２個の候補ブロブの位置を剣先９０の位置Ｓ^１，Ｓ^２として残し、他の候補ブロブを消去する。なお、Ｓ^ｍ（Ｓ^１，Ｓ^２）は、後記する左右の属性情報が付加されていない剣先９０の位置を表す（ｍ∈１，２）。
その後、赤外光検出手段３１は、剣先９０の位置Ｓ^１，Ｓ^２として、赤外画像Ｉ_ｔから検出した２個の反射テープ９１の位置をオブジェクト識別手段３５（特徴ベクトル算出手段３５１）に出力する。

【0029】

人物姿勢取得手段３３は、可視画像Ｖ_ｔから人物の姿勢を取得するものであり、人物姿勢検出手段（関節位置検出手段）３３１と、人物選択手段３３３と、を備える。

【0030】

人物姿勢検出手段３３１は、人物の姿勢として、可視画像Ｖ_ｔから人物の各関節点（関節位置）を検出するものである。ここで、人物姿勢検出手段３３１は、任意の手法で人物の関節点を検出可能であり、可視画像Ｖ_ｔから関節点を自動的に検出してもよく、可視画像Ｖ_ｔに手動で関節点を指定してもよい。

【0031】

本実施形態では、人物姿勢検出手段３３１が、一般的な姿勢計測手法の一つである“ＯｐｅｎＰｏｓｅ”を用いることとして説明する（参考文献１）。
参考文献１：ZheCao, Tomas Simon, Shih-EnWei, YaserSheikh, ”Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields,”In Proceedings of the IEEE InternationalConference on Computer Vision and Pattern Recognition 2017 (CVPR2017), pp.7291-7299

【0032】

この姿勢計測手法は、深層学習を用いて人物姿勢を計測する手法であり、可視画像Ｖ_ｔから各人物の関節点を１８点検出する。以後、図５に示すように、各人物の関節点をＢ^ｎ _ｉで表す。上付き添え字ｎは、可視画像Ｖ_ｔに含まれる人物の識別番号を表し（ｎ∈Ｎ）、可視画像Ｖ_ｔに含まれる人物の総数をＮとする。下付き添え字ｉは、関節点の識別番号を表す（ｉ＝０～１７）。
なお、図５では、識別番号ｎを省略すると共に、隣接する関節点Ｂ^ｎ _ｉを結ぶ破線を図示した。

【0033】

この関節点Ｂ_ｉには、上半身の関節点Ｂ_０～Ｂ_７，Ｂ_１４～Ｂ_１７と、股関節Ｂ_８，Ｂ_１１を含めた下半身の股関節Ｂ_８～Ｂ_１３とが含まれる。頭部の関節点Ｂ_１４～Ｂ_１７のように関節でない箇所も含まれているが、目や鼻のように画像特徴を有するので、これらも関節点として扱っている。

【0034】

例えば、図６の可視画像Ｖ_ｔが人物姿勢検出手段３３１に入力されたこととする。この可視画像Ｖ_ｔは、フェンシングの試合映像であり、２人の選手Ｈ^Ｌ，Ｈ^Ｒの他、１人の審判Ｈ^Ｊ及び５人の観客Ｈ^Ｇなど、人物Ｈが８人含まれている（Ｎ＝８）。ここで、参考文献１の姿勢計測手法では、関節点Ｂ^ｎ _ｉの検出対象となる人物Ｈを可視画像Ｖ_ｔで指定できないので、全人物Ｈの関節点Ｂ^ｎ _ｉを検出することになる。すなわち、人物姿勢検出手段３３１は、図７に示すように、可視画像Ｖ_ｔに含まれる全人物Ｈの関節点Ｂ^ｎ _ｉを検出する。なお、図７では、図面を見やすくするため、一部の関節点Ｂ^ｎ _ｉのみ符号を図示した。
その後、人物姿勢検出手段３３１は、可視画像Ｖ_ｔと、この可視画像Ｖ_ｔから検出した全人物Ｈの関節点Ｂ^ｎ _ｉとを、人物選択手段３３３に出力する。

【0035】

前記したように、可視画像Ｖ_ｔに含まれる全人物Ｈの関節点Ｂ^ｎ _ｉが検出されてしまう。また、フェンシングの試合映像では、観客Ｈ^Ｇや審判Ｈ^Ｊに比べ、選手Ｈ^Ｌ，Ｈ^Ｒが大きなサイズで撮影されることが多い。そこで、人物選択手段３３３は、下記の式（２）に示すように、全人物Ｈの関節点Ｂ^ｎ _ｉに基づいて胴体長ｌ^ｎを算出し、算出した胴体長ｌ^ｎが長い順に予め設定した人数の人物Ｈを選択する。

【0036】

【数2】

【0037】

参考文献１の姿勢計測手法で関節点Ｂ^ｎ _ｉを検出した場合、図５に示すように、首関節が関節点Ｂ_１であり、両足の付け根にあたる股関節がそれぞれ関節点Ｂ_８，Ｂ_１１である。そこで、式（２）に示すように、首関節Ｂ_１から一方の股関節Ｂ_８までのベクトルの長さと、首関節Ｂ_１から他方の股関節Ｂ_１１までのベクトルの長さとの平均値を、胴体長ｌ^ｎとした。

【0038】

また、フェンシングの試合は２人の選手Ｈ^Ｌ，Ｈ^Ｒで行うので、図８に示すように、胴体長ｌ^ｎが長い２人の選手Ｈ^Ｌ，Ｈ^Ｒを選択すればよい。なお、首関節Ｂ_１及び股関節Ｂ_８，Ｂ_１１と、選択する人数とは、人物選択手段３３３に予め設定しておくこととする。

【0039】

また、フェンシングの試合では、左右の選手Ｈ^Ｌ，Ｈ^Ｒの位置が入れ替わらないため、左側の選手Ｈ^Ｌ又は右側の選手Ｈ^Ｒを示す属性によって、関節点Ｂ^ｎ _ｉ及び胴体長ｌ^ｎを記述できる。本実施形態では、左側の選手Ｈ^Ｌを示す識別番号ｎをＬに置き換え、右側の選手Ｈ^Ｒを示す識別番号ｎをＲに置き換えることとする。
その後、人物選択手段３３３は、左側の選手Ｈ^Ｌの関節点Ｂ^Ｌ _ｉ及び胴体長ｌ^Ｌと、右側の選手Ｈ^Ｒの関節点Ｂ^Ｒ _ｉ及び胴体長ｌ^Ｒとを、オブジェクト識別手段３５（特徴ベクトル算出手段３５１）に出力する。

【0040】

オブジェクト識別手段３５は、フェンシングの試合映像から検出された２個の剣先９０のそれぞれが、左側の選手Ｈ^Ｌ又は右側の選手Ｈ^Ｒのどちらに対応するのかを識別するものであり、特徴ベクトル算出手段３５１と、属性情報生成手段３５３と、を備える。

【0041】

特徴ベクトル算出手段３５１は、剣先９０の位置Ｓ^１，Ｓ^２から選手Ｈ^Ｌ，Ｈ^Ｒの各関節点Ｂ^Ｌ _ｉ，Ｂ^Ｒ _ｉまでの特徴ベクトルを算出するものである。図９に示すように、特徴ベクトル算出手段３５１は、１個目の剣先９０の位置Ｓ^１から右側の選手Ｈ^Ｒの各関節点Ｂ^Ｒ _ｉまでの特徴ベクトルを算出する。なお、図９では、特徴ベクトルを二点鎖線の矢印で図示した。また、特徴ベクトル算出手段３５１は、剣先９０の位置Ｓ^１から左側の選手Ｈ^Ｌの各関節点Ｂ^Ｌ _ｉまでの特徴ベクトルも算出する。このように、特徴ベクトルは、剣先９０の位置Ｓ^１から左右の両選手Ｈ^Ｌ，Ｈ^Ｒに向かうので、左右の選手Ｈ^Ｌ，Ｈ^Ｒの相対位置を考慮した頑健な特徴量となる。

【0042】

なお、図示を省略したが、特徴ベクトル算出手段３５１は、１個目の剣先９０の位置Ｓ^１と同様、２個目の剣先９０の位置Ｓ^２から右側の選手Ｈ^Ｒの各関節点Ｂ^Ｒ _ｉまでの特徴ベクトルと、剣先９０の位置Ｓ^２から左側の選手Ｈ^Ｌの各関節点Ｂ^Ｌ _ｉまでの特徴ベクトルとを算出する。

【0043】

この特徴ベクトルは、以下の式（３）で表されており、関節点Ｂ^Ｌ _ｉ，Ｂ^Ｒ _ｉがそれぞれ１８点あるために３６次元の特徴量となる。また、可視・赤外同軸光カメラ２０のズーム量に応じて、可視画像Ｖ_ｔ内で選手Ｈ^Ｌ，Ｈ^Ｒのサイズが変化する。そこで、特徴ベクトル算出手段３５１は、式（３）に示すように、選手Ｈ^Ｌ，Ｈ^Ｒの胴体長ｌ^Ｌ，ｌ^Ｒで正規化（除算）することで、選手Ｈ^Ｌ，Ｈ^Ｒのサイズに不変な特徴ベクトルを算出できる。

【0044】

【数3】

【0045】

その後、特徴ベクトル算出手段３５１は、算出した特徴ベクトルと、剣先９０の位置Ｓ^１，Ｓ^２とを属性情報生成手段３５３に出力する。

【0046】

属性情報生成手段３５３は、予め学習した識別器を用いて、剣先９０の位置Ｓ^１，Ｓ^２に対応する選手Ｈ^Ｌ，Ｈ^Ｒを選択し、剣先９０と選手Ｈ^Ｌ，Ｈ^Ｒとの対応関係を示す属性情報を生成するものである。つまり、属性情報は、２人の選手Ｈ^Ｌ，Ｈ^Ｒと、各選手Ｈ^Ｌ，Ｈ^Ｒが動かしている剣の剣先９０の位置Ｓ^１，Ｓ^２とを対応付けた情報である。

【0047】

この属性情報生成手段３５３は、２つの動作モードで動作する。動作モードの１つめは、属性情報生成手段３５３が、識別器を学習する学習モードである。動作モードの２つめは、属性情報生成手段３５３が、学習した識別器を用いて、剣先９０の位置Ｓ^１，Ｓ^２に対応する選手Ｈ^Ｌ，Ｈ^Ｒを選択する選択モードである。なお、本実施形態では、オブジェクト追跡装置３０のユーザが、２つの動作モードを手動で切り替えることとする。

【0048】

＜学習モード＞
まず、属性情報生成手段３５３の学習モードについて説明する。
識別器は、図９の特徴ベクトル、すなわち、剣先９０の位置Ｓ^１，Ｓ^２と、選手Ｈ^Ｌ，Ｈ^Ｒの関節点Ｂ^Ｌ _ｉ，Ｂ^Ｒ _ｉとの関係を学習したものである。本実施形態では、属性情報生成手段３５３が、サポートベクタマシン（ＳＶＭ：Support Vector Machine）により、回帰モデルの識別器を学習する。

【0049】

このとき、属性情報生成手段３５３は、図１０に示すように、左右の選手Ｈ^Ｌ，Ｈ^Ｒ毎に識別器を学習する。図１０では、ＳＶＭ回帰（Ｌ）が左側の選手Ｈ^Ｌに対応した識別器であり、ＳＶＭ回帰（Ｒ）が右側の選手Ｈ^Ｒに対応した識別器である。ＳＶＭ回帰（Ｌ）の学習データは、剣先９０の位置Ｓ^Ｌ，Ｓ^Ｒを可視画像Ｖ上で手動で設定し、左側の選手Ｈ^Ｌに対応する剣先９０の位置Ｓ^Ｌでスコア１．０（正例）とし、右側の選手Ｈ^Ｒに対応する剣先９０の位置Ｓ^Ｒでスコア－１．０（負例）とすればよい。なお、剣先９０の位置Ｓ^Ｌ，Ｓ^Ｒは、左右の属性情報が付加された剣先９０の位置を表す。ＳＶＭ回帰（Ｌ）と同様、ＳＶＭ回帰（Ｒ）の学習データは、左側の選手Ｈ^Ｌに対応する剣先９０の位置Ｓ^Ｌでスコア－１．０（負例）とし、右側の選手Ｈ^Ｒに対応する剣先９０の位置Ｓ^Ｒでスコア１．０（正例）とすればよい。一般的には、１００組以上の学習データを準備すれば、高精度な識別器を学習できる。

【0050】

＜選択モード＞
次に、属性情報生成手段３５３の選択モードについて説明する。
回帰モデルの識別器は、成否、正負や真偽といった２値判定ではなく、その判定結果を数値（尤度）として出力する。つまり、回帰モデルの識別器は、２個の剣先９０がそれぞれ、左側の選手Ｈ^Ｌのものである尤度と、右側の選手Ｈ^Ｒのものである尤度とを出力する。従って、属性情報生成手段３５３は、図１１に示すように、左側の選手Ｈ^Ｌに対応したＳＶＭ回帰（Ｌ）に特徴ベクトルを入力し、左側の選手Ｈ^Ｌであることを示す尤度と、右側の選手Ｈ^Ｒであることを示す尤度とを算出する。さらに、属性情報生成手段３５３は、右側の選手Ｈ^Ｒに対応したＳＶＭ回帰（Ｒ）に特徴ベクトルを入力し、左側の選手Ｈ^Ｌであることを示す尤度と、右側の選手Ｈ^Ｒであることを示す尤度とを算出する。このように、属性情報生成手段３５３は、左右の選手Ｈ^Ｌ，Ｈ^Ｒに対応する識別器を用いて、左右の選手Ｈ^Ｌ，Ｈ^Ｒに対応する尤度を計４通り算出する。

【0051】

次に、属性情報生成手段３５３は、４通りの尤度のうち、最も尤度が高くなるものを選択する。つまり、属性情報生成手段３５３は、２個の剣先９０と左右の選手Ｈ^Ｌ，Ｈ^Ｒとの４通りの組み合わせのうち、最も尤度が高くなる組み合わせを選択する。従って、属性情報生成手段３５３は、残りの剣先９０と、残りの選手Ｈ^Ｌ，Ｈ^Ｒとの組み合わせも必然的に選択できる。

【0052】

以下、４通りの尤度を算出する利点について、２値判定と対比して説明する。
左右の選手Ｈ^Ｌ，Ｈ^Ｒに対応する識別器に２値判定（分類モデル）を適用した場合、両方の選手Ｈ^Ｌ，Ｈ^Ｒに同一の剣先９０が対応するという矛盾した判定結果を生じることがある。例えば、同一の剣先９０について、ＳＶＭ回帰（Ｌ）が左側の選手Ｈ^Ｌのものと判定すると共に、ＳＶＭ回帰（Ｒ）が右側の選手Ｈ^Ｒのものと判定することがあり、何れが正しいか真偽不明となる。一方、属性情報生成手段３５３は、２値判定ではなく尤度という数値を算出するので、最も尤度が高くなる剣先９０と選手Ｈ^Ｌ，Ｈ^Ｒとの組み合わせを選択可能であり、２値判定のように矛盾した判定結果を生じることがない。

【0053】

次に、属性情報生成手段３５３は、２個の剣先９０のそれぞれと、左右の選手Ｈ^Ｌ，Ｈ^Ｒとの対応関係を示す属性情報を生成し、生成した属性情報を剣先９０の位置Ｓ^１，Ｓ^２に付加する。そして、属性情報生成手段３５３は、属性情報が付加された剣先９０の位置Ｓ^Ｌ，Ｓ^Ｒをオブジェクト追跡手段３７（軌跡描画手段３７１）に出力する。

【0054】

図４に戻り、オブジェクト追跡装置３０の構成について、説明を続ける。
オブジェクト追跡手段３７は、オブジェクトを追跡するものであり、可視画像蓄積手段３７１と、軌跡描画手段（軌跡生成手段）３７３と、を備える。

【0055】

可視画像蓄積手段３７１は、可視・赤外同軸光カメラ２０より入力された可視画像Ｖ_ｔを蓄積するメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶手段である。可視画像蓄積手段３７１が蓄積した可視画像Ｖ_ｔは、後記する軌跡描画手段３７３により参照される。

【0056】

軌跡描画手段３７３は、属性情報を参照しながら、可視画像蓄積手段３７１に蓄積されている可視画像Ｖ_ｔに剣先９０の軌跡を描画するものである。このとき、軌跡描画手段３７３は、剣先９０の位置Ｓ^Ｌ，Ｓ^Ｒに付加された属性情報を参照するので、軌跡Ｔの入れ替わりを抑制し、正しい軌跡を描画できる。

【0057】

例えば、軌跡描画手段３７３は、左側の選手Ｈ^Ｌの剣先が赤色、右側の選手Ｈ^Ｒの剣先が緑色のように、左右の選手Ｈ^Ｌ，Ｈ^Ｒの剣先９０に異なる色を予め設定する。そして、軌跡描画手段３７３は、図１２に示すように、可視画像Ｖ_ｔと軌跡Ｔとを合成した軌跡合成画像Ｆ_ｔを生成する。この軌跡合成画像Ｆ_ｔには、左側の選手Ｈ^Ｌが持つ剣先９０の軌跡Ｔ^１と、右側の選手Ｈ^Ｒが持つ剣先９０の軌跡Ｔ^２とがＣＧで合成されている。
その後、軌跡描画手段３７３は、軌跡合成画像Ｆ_ｔを外部の装置（例えば、ディスプレイ）に出力する。

【0058】

［オブジェクト追跡装置の動作］
図１３を参照し、オブジェクト追跡装置３０の動作について説明する。
図１３に示すように、ステップＳ１において、赤外光検出手段３１は、赤外画像Ｉ_ｔから剣先９０の位置Ｓ^１，Ｓ^２を検出する。
例えば、赤外光検出手段３１は、２値赤外差分画像を生成し、抽出した候補ブロブにモルフォロジ処理を施す。次に、赤外光検出部３１１は、モルフォロジ処理で残った候補ブロブにラベリング処理を施し、候補ブロブの位置、面積及び形状特徴量を求める。そして、赤外光検出手段３１は、面積及び形状特徴量を基準にフィルタリングし、面積が大きい２個の候補ブロブの位置を剣先９０の位置Ｓ^１，Ｓ^２として検出する。

【0059】

ステップＳ２において、人物姿勢検出手段３３１は、可視画像Ｖ_ｔに含まれる全人物Ｈの関節点Ｂ^ｎ _ｉを検出する。例えば、一般的な姿勢計測手法の一つである“ＯｐｅｎＰｏｓｅ”を用いて、人物Ｈの各関節点Ｂ^ｎ _ｉを検出する。
ステップＳ３において、人物選択手段３３３は、ステップＳ２で検出した全人物Ｈのうち、胴体長ｌ^ｎが長い２人の選手Ｈ^Ｌ，Ｈ^Ｒを選択する。

【0060】

ステップＳ４において、特徴ベクトル算出手段３５１は、ステップＳ１で検出した剣先９０の位置Ｓ^１，Ｓ^２から、ステップＳ３で選択した選手Ｈ^Ｌ，Ｈ^Ｒの各関節点Ｂ^Ｌ _ｉ，Ｂ^Ｒ _ｉまでの特徴ベクトルを算出する。このとき、特徴ベクトル算出手段３５１は、選手Ｈ^Ｌ，Ｈ^Ｒの胴体長ｌ^ｎで正規化する。

【0061】

ステップＳ５において、属性情報生成手段３５３は、予め学習した識別器を用いて、剣先９０の位置Ｓ^１，Ｓ^２に対応する選手Ｈ^Ｌ，Ｈ^Ｒを選択し、剣先９０と選手Ｈ^Ｌ，Ｈ^Ｒとの対応関係を示す属性情報を生成する。
例えば、属性情報生成手段３５３は、左右の選手Ｈ^Ｌ，Ｈ^Ｒに対応した２つの回帰モデルの識別器を用いて、左右の選手Ｈ^Ｌ，Ｈ^Ｒに対応する尤度を４通り算出する。そして、属性情報生成手段３５３は、２個の剣先９０と左右の選手Ｈ^Ｌ，Ｈ^Ｒとの４通りの組み合わせのうち、最も尤度が高くなる組み合わせを選択する。さらに、属性情報生成手段３５３は、２個の剣先９０と、左右の選手Ｈ^Ｌ，Ｈ^Ｒとの対応関係を示す属性情報を生成し、生成した属性情報を剣先９０の位置Ｓ^１，Ｓ^２に付加する。

【0062】

ステップＳ６において、軌跡描画手段３７３は、ステップＳ５で生成した属性情報を参照しながら、剣先９０の軌跡Ｔを可視画像Ｖ_ｔに描画する。例えば、軌跡描画手段３７３は、図１２に示すように、可視画像Ｖ_ｔと軌跡Ｔとを合成した軌跡合成画像Ｆ_ｔを生成する。

【0063】

［作用・効果］
以上のように、オブジェクト追跡装置３０は、剣先９０を追跡する際、剣先９０と選手Ｈ^Ｌ，Ｈ^Ｒとの対応関係を示す属性情報を用いるので、その軌跡の入れ替わりを抑制できる。このように、オブジェクト追跡装置３０は、正確な剣先９０の軌跡を生成し、追跡頑健性を向上させることができる。

【0064】

（変形例）
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【0065】

前記した実施形態では、可視・近赤外同光軸カメラを利用することとして説明したが、本発明は、これに限定されない。例えば、本発明では、可視・近赤外同時撮影カメラ、及び、可視・近赤外マルチ波長カメラを利用することができる。

【0066】

［可視・近赤外同時撮影カメラ］
可視・近赤外同時撮影カメラは、ＲＧＢに加えＩＲ（近赤外光）を分光する４波長分光プリズムを用いて、それぞれの波長毎のセンサ、合計４枚のセンサで撮影するカメラである。この可視・近赤外同時撮影カメラは、ＲＧＢセンサによる可視画像、及び、ＩＲセンサによる赤外画像を個別に出力することが可能である。つまり、オブジェクト追跡装置は、前記した実施形態と同様、可視・近赤外同時撮影カメラから可視画像及び赤外画像を取得し、軌跡合成画像を出力できる。

【0067】

［可視・近赤外マルチ波長カメラ］
可視・近赤外マルチ波長カメラは、ＲＧＢ３色以外に近赤外領域で３つの波長を分光するマルチ波長分光プリズムを利用したカメラである。通常、カメラは、ＩＲカットフィルタ又は可視光カットフィルタを装着して可視分光特性又は近赤外分光特性に示される波長を取り出し、可視光又は近赤外のみの画像を取得する。しかし、可視・近赤外マルチ波長カメラは、ＩＲカットフィルタ及び可視光カットフィルタを装着せず、基本分光特性に示される波長全てを取り出すことで、可視光及び近赤外光を合成した可視・赤外合成画像を生成する。

【0068】

そこで、可視・近赤外マルチ波長カメラを用いる場合、オブジェクト追跡システムは、可視・赤外分離装置を備えればよい。この可視・赤外分離装置は、可視・近赤外マルチ波長カメラが生成した可視・赤外合成画像を、可視画像と赤外画像とに分離するものである。

【0069】

［属性情報の生成方法］
前記した実施形態では、現フレームの可視画像のみで尤度を求めることとして説明したが、本発明は、これに限定されない。つまり、過去フレームの可視画像でも尤度を求めてもよい。例えば、属性情報生成手段は、現時刻から一定時間遡った期間で尤度を平均し、この尤度の平均が最も高くなる剣先と選手との組み合わせを選択する。

【0070】

［その他変形例］
前記した実施形態では、フェンシングを一例として説明したが、本発明は、これに限定されない。つまり、本発明は、テニス、バドミントン、バレーボール等、選手の位置が入れ替わらないスポーツにも適用することができる。例えば、バドミントンの場合、オブジェクト追跡装置は、選手が持つラケットの方向を識別し、ラケットの軌跡に左右の選手を対応付けることで、両選手が持つラケットの軌跡を異なる色で描画することができる。

【0071】

さらに、本発明は、軌跡を異なる色で描かない場合、選手の位置が入れ換わるスポーツにも適用することができる。例えば、オブジェクト追跡装置は、バドミントンのシャトルを追跡し、その軌跡を描画することができる。さらに、本発明は、剣道やナギナタにも適用することができる。この他、本発明は、オーケストラにおける指揮棒の軌跡や、ドラマや映画における刀等の軌跡を描画することができる。

【0072】

前記した実施形態では、識別器をＳＶＭで学習することとして説明したが、本発明は、これに限定されない。例えば、識別器は、再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）などのニューラルネットワーク、ＣＲＦ（Conditional Random Fields）などで学習することができる。また、本発明では、回帰モデルの識別器だけでなく、分類モデルの識別器も利用することができる。

【0073】

前記した実施形態では、１８点の関節点を検出することとして説明したが、全ての関節点を検出せずともよい。人物の姿勢に相関が高いのは上半身の関節点であり、特に、頭及び腕部の関節点であると考えられるので、これら関節点を検出すればよい。
また、関節点の検出には参考文献１に記載の手法を適用することとして説明したが、本発明は、これに限定されない。選手の関節点のみを検出できる手法を適用した場合、オブジェクト追跡装置は、人物選択手段を備えずともよい。

【0074】

前記した実施形態では、軌跡描画手段が軌跡を描画することとして説明したが、本発明は、これに限定されない。例えば、オブジェクト追跡装置は、オブジェクトの軌跡を示す軌跡データを生成し、生成した軌跡データを外部に出力してもよい。

【0075】

前記した実施形態では、オブジェクト追跡装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記したオブジェクト追跡装置として協調動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

【実施例】

【0076】

オブジェクト追跡装置による識別精度向上の効果を検証するため、図１のオブジェクト追跡装置にフェンシングの試合映像を入力して実験を行った。
従来手法では、パーティクルフィルタを用いて剣先の位置のみで追跡処理を行ったため、軌跡の入れ替わりなどの誤追跡が頻繁に生じた。この実施例では、従来手法で誤追跡が発生した映像シーケンスを利用し、その映像シーケンス毎に左右の選手を識別したときの精度（％）を算出した。さらに、オブジェクト追跡装置の処理速度（ｆｐｓ：フレーム/秒）をあわせて計測した。

【0077】

その実験結果を以下の表１に示す。５映像シーケンスの平均で９７．６％と、高い精度が得られた。この実施例では、従来手法で誤追跡が発生した映像シーケンスを用いたが、人物姿勢を考慮することによって、全ての映像シーケンスで誤追跡を低減できることが分かった。また、この実施例では、処理速度が平均２．８ｆｐｓ程度であり、実用上十分であることも分かった。例えば、ＧＰＵ（Graphics Processing Unit）を用いることや、識別処理を秒単位にすることで、リアルタイム処理を実現できると考えられる。

【0078】

【表1】

【0079】

実験結果を検証するため、尤度分布を可視化した画像を図１４に示す。前記したように識別器（ＳＶＭ回帰）は、左右の選手の尤度をそれぞれ算出できる。そこで、この実施例では、画像の全画素で左右の選手の尤度を算出し、その値に応じてヒートマップ状に可視化した。この図１４では、尤度の値に応じた輝度で、左側の選手を赤色で示し、右側の選手を緑色で示した。さらに、図１４では、剣先の検出位置を丸印で図示し、その位置での尤度を数値で示した。

【0080】

さらに、図１４と同様、別の４画像で尤度分布を可視化したものを図１５に示す。図１４及び図１５に示すように、選手同士の距離が近くなると、尤度分布の範囲も狭くなるが、オブジェクト追跡装置が左右の選手を正しく識別できた。このように、オブジェクト追跡装置は、剣先位置と人物の関節位置との関係性を学習することにより、高い精度で選手を識別できることがわかった。

【符号の説明】

【0081】

１ オブジェクト追跡システム
１０ 赤外光投光器
２０ 可視・赤外同軸光カメラ
３０ オブジェクト追跡装置
３１ 赤外光検出手段
３３ 人物姿勢取得手段
３３１ 人物姿勢検出手段（関節位置検出手段）
３３３ 人物選択手段
３５ オブジェクト識別手段
３５１ 特徴ベクトル算出手段
３５３ 属性情報生成手段
３７ オブジェクト追跡手段
３７１ 可視画像蓄積手段
３７３ 軌跡描画手段（軌跡生成手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】