特許 7152651 プログラム、情報処理装置、及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-04

(45)【発行日】2022-10-13

(54)【発明の名称】プログラム、情報処理装置、及び情報処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221005BHJP

【ＦＩ】

G06T7/00 660A

【請求項の数】 11

(21)【出願番号】P 2018092913

(22)【出願日】2018-05-14

(65)【公開番号】P2019200456

(43)【公開日】2019-11-21

【審査請求日】2021-02-10

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100094525

【弁理士】

【氏名又は名称】土井 健二

(74)【代理人】

【識別番号】100094514

【弁理士】

【氏名又は名称】林 恒徳

(72)【発明者】

【氏名】田辺 聡

【審査官】松浦 功

(56)【参考文献】

【文献】特開２００６－２６８１８９（ＪＰ，Ａ）

【文献】特開２０１０－１９８３１３（ＪＰ，Ａ）

【文献】特開２０１７－２０８００７（ＪＰ，Ａ）

【文献】特開２０１３－１０５３８４（ＪＰ，Ａ）

【文献】特開２００８－１９４１４６（ＪＰ，Ａ）

【文献】特開２０１７－１８２７３９（ＪＰ，Ａ）

【文献】米国特許第０８８８５８８２（ＵＳ，Ｂ１）

【文献】久保田整 外２名，近赤外カメラによるドライバの頭部姿勢追跡，画像ラボ，日本工業出版株式会社，2009年05月10日，第２０巻，第５号，ｐｐ．１２－１７

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｔ １／００

Ｇ０８Ｇ １／００ －９９／００

(57)【特許請求の範囲】

【請求項1】

入力画像データに対して、人物の部位に関する正解データを利用して、画像に含まれる人物の部位の位置情報を推定し、
前記部位のうち顔の部位の位置情報を推定することができなかったとき、推定することができた顔以外の部位の位置情報に基づいて、画像に含まれる人物の視線方向を推定する、
処理をコンピュータに実行させることを特徴とするプログラム。

【請求項2】

前記顔の部位の位置情報には、鼻、左目、右目、左耳、右耳、首、左肩、及び右肩の少なくともいずれか１つの位置情報を含むことを特徴とする請求項１記載のプログラム。

【請求項3】

入力画像データに基づいて、人物の部位に関する正解データを利用して、画像に含まれる人物の部位の位置情報と、前記画像に前記部位が含まれるか否かを示すパラメータとを含む姿勢ベクトルを推定することを特徴とする請求項１記載のプログラム。

【請求項4】

内部メモリから読み出した以下の式（５１）に基づいて、画像に含まれる人物ｉの視線方向を表す向きベクトルｑ_ｉを算出することを特徴とする請求項１記載のプログラム。

【数1】

（ただし、式（５１）において、ｗ_１とｗ _２ はパラメータを表す。また、式（５１）において、ｘ _ｊ ^ｉ は、人物ｉの部位ｊの位置のｘ座標を示す。ｊ＝１ は鼻、ｊ＝６ は首、ｊ＝７は左肩、ｊ＝８は右肩を示す。）

【請求項5】

第１のカメラで撮影された第１の画像の第１の画像データに対して、前記正解データを利用して、前記第１の画像に含まれる人物の部位の２次元座標として表される第１の位置座標を推定し、第２のカメラで撮影された第２の画像の第２の画像データに基づいて、前記正解データを利用して、前記第２の画像に含まれる人物の部位の２次元座標として表される第２の位置座標を推定し、
前記第１の位置座標と前記第２の位置座標とを、部位の３次元位置座標へ変換し、
前記３次元位置座標を利用して、前記人物の顔の部位の位置情報を算出し、画像に含まれる人物の視線方向を推定することを特徴とする請求項１記載のプログラム。

【請求項6】

推定することができなかった第１の人物の前記部位のうち顔の部位の位置情報の数が閾値よりも多いとき、第１の人物において推定することができた他の部位の位置情報と、第１の人物に隣接する第２の人物において推定することができた部位の位置情報とに基づいて、第１の人物において推定することができなかった前記顔の部位の位置情報を算出することを特徴とする請求項１記載のプログラム。

【請求項7】

さらに、推定した前記人物の視線方向の変化を検知し、検知結果を出力する
ことを特徴とする請求項１記載のプログラム。

【請求項8】

時刻ｔを現在時刻Ｔとしたとき、推定した前記人物の視線方向を表す向きベクトルを正規化した注目度ベクトルを、時刻（Ｔ－ｎ）から時刻（Ｔ－ｍ）までに取得した第１の注目度ベクトルの集合と、時刻（Ｔ－ｍ）から時刻ｔまでに取得した第２の注目度ベクトルの集合に分けて、前記第１の注目度ベクトルの集合に基づいて、前記第２の注目度ベクトルの集合の異常度を計算し、前記異常度が閾値以上のとき、時刻（Ｔ－ｍ）を境にして視線方向に変化があったことを示す検知結果を出力することを特徴とする請求項７記載のプログラム。

【請求項9】

前記部位のうち顔の部位の位置情報を推定することができなかったとき、推定することができた他の部位の位置情報を利用して、前記顔の部位の位置情報を算出し、前記顔の部
位の位置情報と前記他の部位の位置情報に基づいて、画像に含まれる人物の視線方向を推定することを特徴とする請求項１記載のプログラム。

【請求項10】

入力画像データに対して、人物の部位に関する正解データを利用して、画像に含まれる人物の部位の位置情報を推定する姿勢推定部と、
前記部位のうち顔の部位の位置情報を推定することができなかったとき、推定することができた顔以外の部位の位置情報に基づいて、画像に含まれる人物の視線方向を推定する注目度算出部と
を備えることを特徴とする情報処理装置。

【請求項11】

姿勢推定部と注目度算出部とを有する情報処理装置における情報処理方法であって、
前記姿勢推定部により、入力画像データに対して、人物の部位に関する正解データを利用して、画像に含まれる人物の部位の位置情報を推定し、
前記注目度算出部により、前記部位のうち顔の部位の位置情報を推定することができなかったとき、推定することができた顔以外の部位の位置情報に基づいて、画像に含まれる人物の視線方向を推定する
ことを特徴とする情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理装置、及び情報処理方法に関する。

【背景技術】

【0002】

従来から、視線方向を推定する技術がある。例えば、アパレルショップやスーパーの店内に設置された監視カメラで撮影した人物の画像から、人物の視線を推定する、などである。これにより、例えば、群衆がどのような商品に注目しているか、を経営者などは把握することができ、売り上げ戦略を策定することが可能となる場合がある。また、例えば、セキュリティ用の都市監視として、標識やサイネージの近傍に設置された監視カメラで撮影した人物画像から視線方向を推定することで、標識などの設置効果の調査や、群衆行動の把握などに利用される場合がある。

【0003】

視線方向を推定する技術として、例えば、以下がある。すなわち、撮影手段で撮影された現時刻の画像フレームに基づいて、眼球の３次元モデルを利用して特定人物の眼球中心の３次元位置を推定するとともに、特定人物の虹彩の位置を検出し、眼球中心と虹彩位置に基づいて視線方向を推定する技術がある。

【0004】

この技術によれば、顔の向きの制限を緩和して、比較的少数のカメラにより、観測範囲内の任意の位置における被測定対象者の視線方向をリアルタイムに推定し追跡することができる、とされる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１２－２１６１８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述した、眼球中心と虹彩位置に基づいて視線方向を推定する技術は、例えば、人物の顔が複数の撮影手段で撮影されることが条件となっている。従って、顔が隠れた人物の画像の場合、上述した技術では、その人物の視線方向を推定することができない場合がある。

【0007】

そこで、一開示は、顔が隠れた人物の画像であっても視線方向を推定できるようにしたプログラム、情報処理装置、及び情報処理方法を提供することにある。

【課題を解決するための手段】

【0008】

一開示は、入力画像データに対して、人物の部位に関する正解データを利用して、画像に含まれる人物の部位の位置情報を推定し、前記部位のうち顔の部位の位置情報を推定することができなかったとき、推定することができた他の部位の位置情報に基づいて、画像に含まれる人物の視線方向を推定する、処理をコンピュータに実行させるプログラムにある。

【発明の効果】

【0009】

一開示によれば、顔が隠れた人物の画像であっても視線方向を推定することが可能である。

【図面の簡単な説明】

【0010】

【図1】図１は情報処理システムの構成例を表す図である。

【図2】図２は動作例を表すフローチャートである。

【図3】図３は部位番号の例を表す図である。

【図4】図４は画像の例を表す図である。

【図5】図５は姿勢推定処理の例を表すフローチャートである。

【図6】図６（Ａ）は姿勢推定部の構成例、図６（Ｂ）は画像データの例、図６（Ｃ）は各部位の確率分布の例をそれぞれ表す図である。

【図7】図７（Ａ）は右手の確率分布の例、図７（Ｂ）は右ひじの確率分布の例、図７（Ｃ）は右手と右ひじのつながり度合いの確率分布の例をそれぞれ表す図である。

【図8】図８は注目度算出処理の例を表すフローチャートである。

【図9】図９（Ａ）は部位の例、図９（Ｂ）は向きベクトルの例をそれぞれ表す図である。

【図10】図１０（Ａ）は部位の例、図１０（Ｂ）はベクトルの例、図１０（Ｃ）は向きベクトルの例をそれぞれ表す図である。

【図11】図１１はカウント処理の例を表すフローチャートである。

【図12】図１２は３次元位置座標の例を表す図である。

【図13】図１３は姿勢推定部の構成例を表す図である。

【図14】図１４は動作例を表すフローチャートである。

【図15】図１５（Ａ）は同一人物特定処理、図１５（Ｂ）は類似度計算処理の例をそれぞれ表す図である。

【図16】図１６は注目度算出処理の動作例を表すフローチャートである。

【図17】図１７は情報処理システムの構成例を表す図である。

【図18】図１８は動作例を表すフローチャートである。

【図19】図１９は注目度変化検出処理の例を表すフローチャートである。

【図20】図２０は注目度ベクトルの時系列の例を表す図である。

【図21】図２１（Ａ）と図２１（Ｃ）は画像の例、図２１（Ｂ）と図２１（Ｄ）は注目度ベクトルの例をそれぞれ表す図である。

【図22】図２２は情報処理装置のハードウェア構成例を表す図である。

【発明を実施するための形態】

【0011】

以下、本発明を実施するための形態について説明する。なお、以下の実施例は開示の技術を限定するものではない。そして、各実施の形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0012】

［第１の実施の形態］
＜情報処理システムの構成例＞
図１は情報処理システム１０の構成例を表す図である。

【0013】

情報処理システム１０は、情報処理装置１００と撮像装置２００を備える。情報処理装置１００は、撮像装置２００で撮影された画像の画像データを入力し、入力した画像データから、画像に写っている人物の視線方向を推定する。本第１の実施の形態では、情報処理装置１００は、顔が隠れた画像であっても、そのような画像の画像データから視線方向を推定することが可能である。

【0014】

情報処理装置１００は、姿勢推定部１１０と注目度算出部１２０、空間情報記憶部１３０、及び注目度記憶部１４０を備える。

【0015】

姿勢推定部１１０は、撮像装置２００から出力された画像データを入力し、入力画像データに基づいて、画像に含まれる人物ｉ（ｉ＝１，２，…，Ｉ）の姿勢ｐ_ｉを推定する。姿勢ｐ_ｉは、例えば、人物ｉの「鼻」、「左目」、「右目」など、各部位の位置情報を含む。姿勢ｐ_ｉの詳細は動作例で説明する。

【0016】

本第１の実施の形態においては、姿勢推定部１１０は、例えば、入力画像データに基づいて、人物の部位に関するモデルデータ（又は正解データ、或いは教師データ。以下では、これら３つを区別しないで用いる場合がある。）を利用して、姿勢ｐ_ｉを生成する。姿勢推定部１１０における姿勢ｐ_ｉの推定処理については動作例で説明する。姿勢推定部１１０は、推定した姿勢ｐ_ｉを注目度算出部１２０へ出力する。

【0017】

注目度算出部１２０は、姿勢ｐ_ｉに含まれる位置情報を利用して、画像に含まれる人物ｉの視線方向を推定する。具体的には、注目度算出部１２０は、例えば、姿勢推定部１１０で推定対象となっている人物ｉの部位のうち、顔の部位の位置情報を推定することができなかったとき、推定することができた顔以外の他の部位の位置情報に基づいて、画像に含まれる人物ｉの視線方向を推定する。

【0018】

例えば、撮像装置２００で撮像された画像には、障害物や視線方向などによって人物ｉの顔などの部位が写っていない場合もある。従って、姿勢推定部１１０で推定された姿勢ｐ_ｉには、顔の部位（例えば、目や鼻など）の位置情報が含まれない場合がある。注目度算出部１２０では、そのような姿勢推定部１１０で推定することができなかった顔の部位の位置情報を、姿勢推定部１１０で推定できた他の部位の位置情報を利用して算出し、これらの位置情報に基づいて、人物ｉの視線方向を推定するようにしている。

【0019】

なお、注目度算出部１２０は、例えば、人物ｉの向きベクトルｑ_ｉを計算することで、人物ｉの視線方向を推定する。本第１の実施の形態では、向きベクトルｑ_ｉのことを、例えば、注目度と称する場合がある。以下では、注目度、向きベクトルｑ_ｉ、及び視線方向を区別しないで用いる場合がある。注目度算出処理の詳細については、動作例で説明する。注目度算出部１２０は、算出した注目度を注目度記憶部１４０に記憶する。

【0020】

また、注目度算出部１２０は、空間情報記憶部１３０から、各対象物３００－１，３００－２の位置情報を読み出す。そして、注目度算出部１２０は、算出した向きベクトルｑ_ｉと、各対象物３００－１，３００－２の位置情報とに基づいて、各対象物３００－１，３００－２に視線を向けている人物ｉの数をカウントする。注目度算出部１２０は、カウントしたカウント値を注目度記憶部１４０に記憶する。カウント処理の詳細も、動作例で説明する。

【0021】

空間情報記憶部１３０は、例えば、メモリであって、各対象物３００－１，３００－２の位置情報を記憶する。位置情報としては、例えば、各対象物３００－１，３００－２の設置点とその周囲の領域を、２次元座標（ｘ，ｙ）で表されたものであってもよい。

【0022】

注目度記憶部１４０は、例えば、メモリであって、注目度算出部１２０で算出された注目度を記憶する。

【0023】

撮像装置２００は、例えば、１又は複数の人物を撮影し、撮影した画像を画像データとして情報処理装置１００へ出力する。図１の例では、撮像装置２００は、対象物３００－１，３００－２と、対象物３００－１，３００－２へ視線方向を向けている複数の人物とを含む画像を撮影する。

【0024】

なお、図１の例では、撮像装置２００は情報処理装置１００の外部に配置される例を表しているが、撮像装置２００は、例えば、撮像部として、情報処理装置１００内に設けられてもよい。また、図１の例では、撮像装置２００は、１台の例を表しているが、複数台あってもよい。複数台の例は、第２の実施の形態で説明する。

【0025】

＜動作例＞
図２は情報処理システム１０の動作例を表すフローチャートである。

【0026】

撮像装置２００と情報処理装置１００は処理を開始すると（Ｓ１０）、撮像装置２００は群衆を撮影する（Ｓ１１）。例えば、撮像装置２００は、図１に示すように、複数の人物（以下、「群衆」と称する場合がある、）が写った画像を撮影し、撮影した画像データを情報処理装置１００へ出力する。

【0027】

次に、情報処理装置１００は、画像データに基づいて、撮像装置２００で撮影された画像に写っている人物ｉの姿勢ｐ_ｉを推定する（Ｓ１２）。姿勢ｐ_ｉは、例えば、以下の式（１）で表される。

【0028】

【数1】

【0029】

式（１）において、ｘ_ｊ ^ｉは画像内における人物ｉの部位ｊのｘ座標、ｙ_ｊ ^ｉは画像内における人物ｉの部位ｊのｙ座標をそれぞれ表す。また、ｖ_ｊ ^ｉは、人物ｉの部位ｊが画像内で視えている（又は写っている、或いは含まれる）ときは「１」、視えていないときは「０」の値をとるパラメータである。

【0030】

図３は部位番号と部位との関係例を表す図である。図３に示すように、各部位ｊには、部位番号が予め割り振られている。図３の例では、部位ｊ＝１のときは「鼻」を表し、部位ｊ＝６のときは「首」を表す。図３は一例であって他の番号が割り振られてもよい。

【0031】

図４は撮像された画像の例を表す図である。図４の例では、人物ｉ＝１の右手の部位（ｊ＝１２）は画像に写っているが、左肘の部位（ｊ＝９）は障害物により画像に写っていない。そのため、姿勢ｐ_ｉ＝（・・・ ｘ_９ ^１ ｙ_９ ^１ ０ ・・・ ｘ_１２ ^１ ｙ_１２ ^１ １ ・・・）となり得る。例えば、姿勢推定部１１０は、入力画像データに基づいて、このような姿勢ｐ_ｉを推定する。以下では、姿勢推定処理（Ｓ１２）の詳細について説明する。なお、以下では、姿勢ｐ_ｉと姿勢ベクトルｐ_ｉとを区別しないで用いる場合がある。

【0032】

＜姿勢推定処理＞
図５は姿勢推定処理（Ｓ１２）の例を表すフローチャートである。また、図６（Ａ）は姿勢推定部１１０の構成例を表す図である。図５の各処理を説明しながら、図６（Ａ）について説明する。なお、図６（Ａ）に示すように、姿勢推定部１１０は、ＣＮＮ（Convolutional neural network）処理部１１１と候補点算出部１１２、及びグルーピング処理部１１３を備える。

【0033】

図５に示すように、姿勢推定部１１０は、姿勢推定処理を開始すると（Ｓ１２０）、部位ｊ（ｊ＝１，２，…，Ｊ）の確率分布（又はヒートマップ）を計算する（Ｓ１２１）。ＣＮＮ処理部１１１では、例えば、畳み込みニューラルネットワーク（以下、「ＣＮＮ」と称する場合がある。）を用いた公知の手法により、確率分布φ（Ｘ，Ｗ）を計算する。Ｗは、例えば、ＣＮＮ処理に利用されるパラメータを表す。例えば、ＣＮＮ処理部１１１は、以下の処理を行う。

【0034】

すなわち、ＣＮＮ処理部１１１は、ある画像データに対して、右手の正解データを利用して、フィルタリング処理（又は畳み込み処理）を行う。そして、ＣＮＮ処理部１１１は、フィルタリング後のデータに対して、複数画像を含むブロック毎の代表値（又は最大値）を抽出するプーリング処理を施し、以後、フィルタリング処理とプーリング処理を繰り返すことで、右手（ｊ＝１２）の確率分布の正解データを生成する。次に、ＣＮＮ処理部１１１は、図６（Ｂ）に示すようにＲＧＢ（Red Green Blue）の画像データＸを入力する。ＣＮＮ処理部１１１は、右手（ｊ＝１２）の確率分布の正解データを利用して、入力画像データＸに対して、フィルタリング処理とプーリング処理を繰り返すことで、右手の確率分布φ（Ｘ，Ｗ）を得る。

【0035】

図６（Ｃ）は右手の確率分布φ（Ｘ，Ｗ）の例を表す図である。例えば、確率分布φ（Ｘ，Ｗ）は、画素毎（又は複数画素を含むブロック毎）に「０」から「１」までの数値（又は確率値）を表すものとして表現される。

【0036】

なお、以下では、フィルタリング処理とプーリング処理を繰り返す処理のことを、例えば、ＣＮＮ処理と称する場合がある。

【0037】

同様に、ＣＮＮ処理部１１１は、右肘（ｊ＝１０）の正解データを利用して、ＣＮＮ処理により、右肘の確率分布の正解データを得る。そして、ＣＮＮ処理部１１１は、右肘の確率分布の正解データを利用して、ＣＮＮ処理により、入力画像データＸから、右肘の確率分布φ（Ｘ，Ｗ）を得る。

【0038】

なお、ＣＮＮ処理部１１１は、各部位の確率分布φ（Ｘ，Ｗ）だけではなく、各部位のつながり度合いを表す確率分布φ（Ｘ，Ｗ）を算出する。ＣＮＮ処理部１１１では、ＣＮＮ処理に利用した、各部位の正解データから、各部位を接続させた正解データを得ることができる。そして、ＣＮＮ処理部１１１は、ある画像データから、各部位を接続させた正解データを利用して、ある画像データに対してＣＮＮ処理を行うことで、各部位を接続させた正解データの確率分布を得て、入力画像Ｘに対して、この確率分布を利用してＣＮＮ処理を行うことで、各部位のつながり度合いを表す確率分布φ（Ｘ，Ｗ）を算出することができる。

【0039】

このように、ＣＮＮ処理部１１１は、各部位ｊの正解データを利用して、画像データＸに対して、畳み込み処理などを施すことで、各部位ｊの確率分布φ（Ｘ，Ｗ）を計算する。

【0040】

ＣＮＮ処理部１１１は、Ｓ１２１において、例えば、以下の処理を行う。すなわち、ＣＮＮ処理部１１１は、内部メモリに記憶された各部位ｊの正解データを読み出して、この正解データを利用して、ある画像データに対してＣＮＮ処理を行い、各部位ｊの確率分布の正解データを計算し、内部メモリに記憶する。ＣＮＮ処理部１１１は、このような各部位ｊの確率分布の正解データを、Ｓ１２１の処理の前に計算し、内部メモリに記憶させておいてもよい。そして、ＣＮＮ処理部１１１は、入力画像データＸに対して、内部メモリから読み出した各部位ｊの確率分布の正解データを利用して、ＣＮＮ処理を行うことで、各部位の確率分布φ（Ｘ，Ｗ）を得る。

【0041】

ＣＮＮ処理部１１１は、正解データを用いたときの各部位ｊの部位番号と、その部位ｊの確率分布φ（Ｘ，Ｗ）とを候補点算出部１１２へ出力する。

【0042】

以上、各部位ｊの確率分布φ（Ｘ，Ｗ）の計算例について説明した。このような畳み込みニューラルネットワークを用いた手法として、例えば、Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh, "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", In CVPR 2017に開示された手法がある。ＣＮＮ処理部１１１は、これを用いて、各部位ｊの確率分布φ（Ｘ，Ｗ）を計算してもよい。また、各部位の確率分布φ（Ｘ，Ｗ）の計算例としては、畳み込みニューラルネットワーク以外にも、テンプレートマッチングを用いた公知の手法が用いられてもよい。テンプレートマッチングは、例えば、各部位のモデルデータと比較して、入力画像の各部位の確率分布φ（Ｘ，Ｗ）を算出する手法である。

【0043】

図５に戻り、次に、姿勢推定部１１０は、部位位置の候補点を求める（Ｓ１２２）。例えば、図６（Ａ）に示すように、候補点算出部１１２は、ＣＮＮ処理部１１１から出力された各部位の確率分布φ（Ｘ，Ｗ）に基づいて、候補点を算出する。

【0044】

図７（Ａ）は、右手（ｊ＝１２）の確率分布φ（Ｘ，Ｗ）に対して右手の候補点Ａ１，Ａ２を探索する例を表す図である。候補点算出部１１２は、右手の確率分布φ（Ｘ，Ｗ）において、あるブロックの確率が極大点となっている位置座標Ａ１，Ａ２を探索する。この位置座標Ａ１，Ａ２が右手の候補点となる。また、図７（Ｂ）に示すように、候補点算出部１１２は、右肘の確率分布確率分布φ（Ｘ，Ｗ）において、確率が極大点となっている位置座標Ｂ１，Ｂ２を探索する。位置座標Ｂ１，Ｂ２が右肘の候補点となる。候補点算出部１１２は、各部位の部位番号とその候補点とをグルーピング処理部１１３へ出力する。

【0045】

なお、姿勢推定部１１０は、例えば、極大点が閾値以上のとき、そのような極大点をその部位の候補点とし、極大点が閾値より小さいときは、その部位が入力画像に写っていないと判定する。前者の場合、姿勢推定部１１０は、ｖ_ｊ ^ｉ＝１（又は視えている部位）とし、後者の場合、ｖ_ｊ ^ｉ＝０（又は視えていない部位）とする。姿勢推定部１１０は、前者の場合に以降の処理を行い、後者の場合はここで姿勢推定処理（Ｓ１２）を終了する。

【0046】

図５に戻り、次に、姿勢推定部１１０は、部位位置の候補点ごとにグルーピングを行い（Ｓ１２３）、人物ｉごとに部位を特定する。例えば、図６（Ａ）のグルーピング処理部１１３においてこのようなグルーピングが行われる。グルーピング処理部１１３は、例えば、部位ｊの候補点間の距離を比較することで、各候補点をグループ化する。具体的には、グルーピング処理部１１３は、例えば、ＣＮＮ処理部１１１においてＣＮＮ処理が施された、部位と部位とのつながり度合いを示す確率分布φ（Ｘ，Ｗ）を用いて処理を行う。

【0047】

図７（Ｃ）は右手と右肘のつながり度合いの確率分布φ（Ｘ，Ｗ）の例を表す図である。候補点算出部１１２において、右手の候補点Ａ１，Ａ２（図７（Ａ））と右肘の候補点Ｂ１，Ｂ２（図７（Ｂ））を得ている。グルーピング処理部１１３は、これらの候補点Ａ１，Ａ２，Ｂ１，Ｂ２に対して、Ａ１とＢ１とが同一人物に属する部位であるのか、Ａ１とＢ２とが同一人物に属する部位であるのかを、右手と右肘のつながり度合いの確率分布に基づいて、判別する。例えば、グルーピング処理部１１３は、以下の式を利用して、各組み合わせのつながり度合いを計算する。

【0048】

【数2】

【0049】

【数3】

【0050】

式（２）と式（３）において、ｙ₁は、例えば、図７（Ｃ）に示すように、人物ｉ＝１の右手と右肘のつながり度合いを示す確率分布上の集合を表す。ここで、候補点Ａ１とＢ１のつながり度合いは、例えば、集合ｙ_１に対して、候補点Ａ１とＢ１とを結んだ線分の線積分の数値を表している。また、候補点Ａ１とＢ２とのつながり度合いは、例えば、集合ｙ_１に対して、候補点Ａ１とＢ２とを結んだ線分の線積分の数値を表している。グルーピング処理部１１３は、式（２）と式（３）の数値に対して、大きい方、例えば、候補点Ａ１とＢ１とを選択し、選択した候補点Ａ１とＢ１とをグループ化する。同様に、グルーピング処理部１１３は、人物ｉ＝２の右手と右肘のつながり度合いを示す確率分布をＣＮＮ処理部１１１から候補点算出部１１２を介して取得し、式（２）と式（３）において、ｙ_１をｙ_２に代えた式を用いて、その数値の大きい方を選択して、グループ化する。この場合、グルーピング処理部１１３は、Ａ２とＢ２とをグループ化する。

【0051】

このように、ＣＮＮ処理部１１１では、各部位のつながり度合いを示す確率分布を計算し、グルーピング処理部１１３は、このような確率分布と、候補点算出部１１２で算出された各候補点の組み合わせとに対して、線積分の計算を行う。そして、グルーピング処理部１１３は、その計算結果が最も大きい候補点の組み合わせをグループ化する。グルーピング処理部１１３は、グループ化した各候補点により、人物ｉの各部位を特定することができる。

【0052】

ＣＮＮ処理部１１１は、Ｓ１２３において、例えば、以下の処理を行う。すなわち、ＣＮＮ処理部１１１は、内部メモリから式（２）と式（３）を読み出し、各部位のつながり度合いを示す確率分布の集合を式（２）と式（３）に代入し、各線分の線積分の数値を得る。そして、ＣＮＮ処理部１１１は、最も大きい数値となっている候補点の組み合わせを１つのまとめることで、グループ化する。

【0053】

図５に戻り、次に、姿勢推定部１１０は、グループ化した人物ｉごとにその姿勢ｐ_ｉを取得する（Ｓ１２４）。例えば、図６（Ａ）のグルーピング処理部１１３は、グループ化した各部位の候補点（又は位置座標）を、式（１）に示された姿勢ｐ_ｉの各要素に代入することで、人物ｉの姿勢ｐ_ｉを得る。

【0054】

以上が姿勢推定処理（Ｓ１２）である。

【0055】

図２に戻り、次に、情報処理装置１００は、群衆の人物ｉごとに注目度を算出する（Ｓ１３）。以下、注目度算出処理の例について説明する。

【0056】

＜注目度算出処理＞
図８は、注目度算出処理の例を表すフローチャートである。例えば、注目度算出部１２０で行われる処理である。

【0057】

注目度算出部１２０は、注目度算出処理を開始すると（Ｓ１３０）、姿勢ｐ_ｉを利用して、顔の部位、首、左肩、及び右肩は視えているか否かを判別する（Ｓ１３１）。例えば、注目度算出部１２０は、以下の式を利用して判定する。

【0058】

【数4】

【0059】

注目度算出部１２０は、ｖ^ｉが「１」のとき、顔の部位（鼻、左目、右目、左耳、右耳）、首、左肩、及び右肩が全て視えていると判定し、ｖ^ｉが「０」のとき、顔の部位、首、左肩、又は右肩のいずれかが視えていないと判定する。例えば、注目度算出部１２０は、内部メモリから式（４）を読み出して、姿勢推定部１１０から出力された姿勢ｐ_ｉからｖ_１ ^ｉ～ｖ_８ ^ｉを抽出し、式（４）に代入することで判定する。

【0060】

注目度算出部１２０は、顔の部位、首、左肩、又は右肩のいずれかが視えていないと判定したとき（Ｓ１３１でＮＯ）、視えていない部位の位置情報を補間により算出する（Ｓ１３２）。注目度算出部１２０は、例えば、以下の式を用いて、人物ｉにおいて視えていない部位ｋの位置ベクトル（又は位置情報。以下では、位置ベクトルと位置情報とを区別しないで用いる場合がある。）ａ _ｋ ^ｉ ＝（ｘ _ｋ ^ｉ ｙ _ｋ ^ｉ ） ^Ｔ を算出する。

【0061】

【数5】

【0062】

式（５）において、ａ_ｋ１ ^ｉ，ａ_ｋ２ ^ｉ，…，ａ_ｋＭ ^ｉは人物ｉの視えている部位（ｋ１，ｋ２，…，ｋＭ）（Ｍは、０＜Ｍ≦ｊを満たす整数）の位置ベクトル、Ａ _ｋ ^Ｍ は２行２Ｍ列の行列、ｂ_ｋ ^Ｍは２行１列の縦ベクトルをそれぞれ表す。

【0063】

式（５）は、例えば、視えていない部位ｋの位置ベクトルａ_ｋ ^ｉは、視ている部位の位置ベクトルａ_ｋ１ ^ｉ，ａ_ｋ２ ^ｉ，…，ａ_ｋＭ ^ｉとオフセットｂ_ｋ ^Ｍとを用いて算出されることを表している。

【0064】

式（５）の行列Ａ _ｋ ^Ｍ と縦ベクトルｂ_ｋ ^Ｍは、姿勢ｓの集合Ｐを用いて、以下の式を解くことで求めることができる。

【0065】

【数6】

【0066】

式（６）において、ｓ _ｋ ^ｉ ＝（ｘ _ｋ ^ｉ ｙ _ｋ ^ｉ ） ^Ｔ は、姿勢ｓの部位番号ｋの部位の位置ベクトルを表す。また、姿勢ｓの集合Ｐは、例えば、３Ｄ－ＣＧソフトウェアなどで作成した人体模型をモデルデータとした場合の各部位の位置ベクトルの集合である。

【0067】

式（６）は、例えば、このような人体模型として作成された人物の部位番号ｋの位置ベクトルｓ_ｋ ^ｉと、姿勢推定部１１０で推定された、視えている部位の位置ベクトルａ_ｋ１ ^ｉ，ａ_ｋ２ ^ｉ，…，ａ_ｋＭ ^ｉとの誤差が最小となるＡ _ｋ ^Ｍ とｂ_ｋ ^Ｍとを表している。式（６）は、例えば、勾配降下法など、公知の手法により解くことが可能である。

【0068】

このように注目度算出部１２０は、例えば、顔の部位の位置情報を姿勢推定部１１０で推定することができなかったとき、姿勢推定部１１０で推定することができた他の部位の位置情報を利用して、顔の部位の位置情報を算出している。

【0069】

具体的には、注目度算出部１２０は、Ｓ１３２において、例えば、以下の処理を行う。すなわち、注目度算出部１２０は、姿勢推定部１１０から受け取った姿勢ｐ_ｉから、視えている部位の位置ベクトルａ_ｋ１ ^ｉ，ａ_ｋ２ ^ｉ，…，ａ_ｋＭ ^ｉを抽出する。そして、注目度算出部１２０は、内部メモリに記憶された式（５）を読み出して、式（５）に代入することで、姿勢ｐ_ｉの中で視えていない部位ｋの位置ベクトルａ_ｋ ^ｉを算出する。その際、注目度算出部１２０は、内部メモリから式（６）を読み出して、視えている部位の位置ベクトルａ_ｋ１ ^ｉ，ａ_ｋ２ ^ｉ，…，ａ_ｋＭ ^ｉを式（６）に代入して演算を行うことで、Ａ _ｋ ^Ｍ とｂ_ｋ ^Ｍを取得して、式（５）に代入する。

【0070】

なお、首、左肩、右肩、及び鼻を、顔の部位に含めてもよい。この場合、注目度算出部１２０は、これらの部位を含めた顔の部位について、その部位が視えているか否かをＳ１３１において判定してもよい。

【0071】

次に、注目度算出部１２０は、人物ｉの向きベクトルｑ_ｉを算出する（Ｓ１３３）。例えば、注目度算出部１２０は、以下の式を用いて、向きベクトルｑ_ｉを算出する。

【0072】

【数7】

【0073】

式（７）において、Ｗは２行２Ｊ列の行列、ｗ_０は２行１列の縦ベクトルをそれぞれ表す。また、ａ_ｊ ^ｉは、人物ｉの部位ｊの位置ベクトルを表す。行列Ｗと縦ベクトルｗ_０は、式（６）と同様に、以下の式を解くことにより求められる。

【0074】

【数8】

【0075】

式（８）において、ｓ_ｋ＝（ｘ_ｋ ｙ_ｋ）^Ｔは、姿勢ｓの部位番号ｋの部位の位置ベクトルを表し、姿勢ｓの集合Ｐは、例えば、上述した場合と同様に、３Ｄ－ＣＧソフトウェアなどで作成された人体模型のおける各部位の位置ベクトルの集合である。また、ｑ_ｓは、例えば、姿勢ｓが持つ向きベクトルであり、顔の部位（左目、右目、左耳、右耳、鼻、首）の最小２乗平面Ｓ_ｆａｃｅに直交するベクトルとして定義される。図９（Ａ）は人物画像の例を表し、図９（Ｂ）は向きベクトルｑ_ｓの例を表す図である。

【0076】

例えば、注目度算出部１２０は、Ｓ１３３において、以下の処理を行う。すなわち、注目度算出部１２０は、内部メモリに記憶された式（７）を読み出して、姿勢ｐ_ｉから抽出した、視えている部位の位置ベクトルａ_ｋ１ ^ｉ，ａ_ｋ２ ^ｉ，…，ａ_ｋＭ ^ｉと、補間により算出した、視えていない部位ｋの位置ベクトルａ_ｋ ^ｉとを、式（７）に代入する。そして、注目度算出部１２０は、人物ｉの向きベクトルｑ_ｉを算出する。その際、注目度算出部１２０は、内部メモリから、式（８）、向きベクトルｑ_ｓ、及び各部位番号ｋの部位の位置ベクトルｓ_ｋを読み出して、式（８）に代入することで、Ｗとｗ_０とを取得する。この場合、予め計算されたＷとｗ_０とが内部メモリに記憶され、注目度算出部１２０は、処理の際に内部メモリからＷとｗ_０とを読み出して、式（７）に代入するようにしてもよい。

【0077】

図８に戻り、注目度算出部１２０は、人物ｉの向きベクトルｑ_ｉを算出すると、注目度算出処理を終了する（Ｓ１３４）。

【0078】

一方、注目度算出部１２０は、顔の部位、首、左肩、及び右肩のいずれも視えていると判定したとき（Ｓ１３１でＹＥＳ）、人物ｉの向きベクトルｑ_ｉを算出し（Ｓ１３３）、注目度算出処理を終了する（Ｓ１３４）。この場合、注目度算出部１２０は、補間処理（Ｓ１３２）を行うことなく、視ている部位ｊの位置ベクトルａ_１ ^ｉ，ａ_２ ^ｉ，…，ａ_ｊ ^ｉを式（７）に代入することで、向きベクトルｑ_ｉを算出する。

【0079】

上述した例は、人物ｉの向きベクトルｑ_ｉの算出する（Ｓ１３３）例として、式（７）と式（８）を用いた例について説明した。例えば、注目度算出部１２０は、式（７）と式（８）に代えて、以下の式を用いて、人物ｉの向きベクトルｑ_ｉを算出してもよい。

【0080】

【数9】

【0081】

式（９）に示すように、注目度算出部１２０は、鼻（ｊ＝１）、首（ｊ＝６）、左肩（ｊ＝７）、右肩（ｊ＝８）の各部位の位置ベクトルａ_ｋ ^ｉのｘ軸方向の位置座標（ｘ_１ ^ｉ，ｘ_６ ^ｉ，ｘ_７ ^ｉ，ｘ_８ ^ｉ）を用いて、向きベクトルｑ_ｉを算出する。なお、式（９）において、ｗ_１，ｗ_２はパラメータであり、例えば、ｗ_１＝１．０、ｗ_２＝０．５である。図１０（Ａ）から図１０（Ｃ）は、ｗ_１＝１．０、ｗ_２＝０．５の場合の各座標の関係例を表す図である。

【0082】

注目度算出部１２０は、例えば、以下の処理を行う。すなわち、注目度算出部１２０は、内部メモリに記憶した式（９）を読み出す。そして、注目度算出部１２０は、姿勢ｐ_ｉから抽出した、又は、補間により算出した、各部位（ｊ＝１，６，７，８）の位置ベクトルａ_ｋ１ ^ｉのｘ座標を式（９）に代入することで、人物ｉの向きベクトルｑ_ｉを算出する。

【0083】

以上が注目度算出処理（Ｓ１３）の例である。上述した例は、人物ｉの向きベクトルｑ_ｉを算出する例について説明した。例えば、注目度算出部１２０は、姿勢推定部１１０から、他の人物（ｉ＋１）の姿勢ｐ_ｉ＋１を受け取ったときは、この人物（ｉ＋１）に対する注目度算出処理（Ｓ１３）を行い、姿勢ｐ_ｉ＋１を算出する。このようにして、注目度算出部１２０は、画像に写っている全ての人物ｉの向きベクトルｑ_ｉを算出する。

【0084】

図２に戻り、次に、情報処理装置１００は、算出した人物ｉの向きベクトルｑ_ｉを注目度記憶部１４０に記憶する（Ｓ１５）。

【0085】

次に、情報処理装置１００は、終了するか否かを判定する（Ｓ１６）。例えば、情報処理装置１００を操作するユーザが終了ボタンを操作したか否か、或いは、終了コマンドを入力したか否かにより判定する。

【0086】

情報処理装置１００は、終了するときは（Ｓ１６でＹＥＳ）、一連の処理を終了させ（Ｓ１７）、終了しないときは、Ｓ１１へ移行して、上述した処理を繰り返す（Ｓ１１からＳ１５）。例えば、情報処理装置１００は、他の画像（又は次の画像フレーム）に対して、画像に写っている人物ｉの向きベクトルｑ_ｉを算出するときは、終了することなく（Ｓ１６でＮＯ）、上述した処理を繰り返せばよい。

【0087】

なお、情報処理装置１００は、向きベクトルｑ_ｉを注目度記憶部１４０に記憶した後、対象物３００－１，３００－２に視線を向けている人物ｉの数をカウント処理を行ってもよい。

【0088】

図１１は、カウント処理の例を表すフローチャートである。例えば、注目度算出部１２０で行われる。

【0089】

注目度算出部１２０は、処理を開始すると（Ｓ１４０）、向きベクトルｑ_ｉが対象物ｍと交差するか否かを判定する（Ｓ１４１）。例えば、注目度算出部１２０は、算出した向きベクトルｑ_ｉを、ｎ（ｎ＞０）倍し、ｎ倍した向きベクトルｑ_ｉが、対象物３００－１，３００－２の設置点の位置座標と交差するか否か、或いは設置点の位置座標の周囲の一定範囲内の領域で交差するか否かにより判定する。この場合、注目度算出部１２０は、例えば、向きベクトルｑ_ｉを表す二次方程式に、設置点の位置座標を代入しても二次方程式としての解が得られるか否かにより判定してもよい。或いは、注目度算出部１２０は、向きベクトルｑ_ｉを表す二次方程式と一定範囲内の領域を表す一次方程式とで解が得られるか否かにより判定してもよい。注目度算出部１２０は、例えば、空間情報記憶部１３０に記憶された対象物３００－１，３００－２の設定点を表す位置情報などを利用して、このような計算を行う。

【0090】

注目度算出部１２０は、向きベクトルｑ_ｉが対象物ｍと交差すると判定したとき（Ｓ１４１でＹＥＳ）、対象ｍに対するカウント値を増加させる（Ｓ１４２）。例えば、注目度算出部１２０は、ｎ倍した向きベクトルｑ_ｉが、対象物３００－１の設置点の位置座標や、その周囲の領域で交差するとき、対象物３００－１のカウント値をインクリメントする。

【0091】

次に、注目度算出部１２０は、終了判定を行い（Ｓ１４３）、カウント処理を終了させるときは（Ｓ１４３でＹＥＳ）、終了し（Ｓ１４４）、終了させないときは（Ｓ１４３でＮＯ）、人物ｉをインクリメントし（Ｓ１４５）、次の人物ｉに対して、どの対象物ｍに着目しているかを判定する（Ｓ１４１，Ｓ１４２）。

【0092】

一方、注目度算出部１２０は、向きベクトルｑ_ｉが対象物ｍと交差しないと判定したとき（Ｓ１４１でＮｏ）、対象物ｍに対するカウント値を増加させることなく、終了判定を行う（Ｓ１４３）。

【0093】

例えば、注目度算出部１２０は、カウント処理を終了したとき（Ｓ１４４）、例えば、内部メモリなどに記憶した各対象物ｍに対するカウント値を、注目度記憶部１４０に記憶する。注目度算出部１２０は、表示装置へカウント値を出力することで、ユーザに対して、どの対象物３００－１，３００－２に群衆が着目しているかを、通知することができる。

【0094】

例えば、街中などで監視カメラを用いて群衆の画像が撮影された場合を考える。この場合、撮影された画像には、障害物や監視カメラの設置場所などによって、顔が隠れた人物が含まれる場合がある。このような場合、顔の部位の位置情報が得られない場合がある。

【0095】

本第１の実施の形態の情報処理装置１００は、顔の部位の位置情報が得られないときであっても、位置情報が得られた他の部位の位置情報を利用して、補間処理（例えば図８のＳ１３２）により、顔の部位の位置情報を算出する。そして、情報処理装置１００は、顔の位置情報と他の部位の位置情報とを用いて、向きベクトルｑ_ｉを算出する。従って、本情報処理装置１００は、顔が隠れた人物の画像であっても、その人物の視線方向を推定することが可能である。

【0096】

[第２の実施の形態]
第１の実施の形態では、姿勢ｐ_ｉなどは、２次元空間上のベクトルとして表現される例について説明した。本第２の実施の形態では、姿勢ｐ_ｉなどが、３次元空間上のベクトルとして表現される例について説明する。このような３次元空間上のベクトルは、例えば、複数台のカメラ（又は撮像装置２００）を用いて、計算が可能となる。

【0097】

図１２は、２台のカメラの座標系と３次元空間上の位置座標の例を表す図である。図１２に示す２台のカメラは、例えば、撮像装置２００が２台あることを表している。

【0098】

図１２において、Ｏは第１のカメラの原点、Ｏ’は第２のカメラの原点をそれぞれ表す。また、ｔは第１のカメラから第２のカメラへ向かう並進ベクトル、（Ｘ，Ｙ，Ｚ）は第１のカメラの座標系から見た部位の３次元位置座標をそれぞれ表す。さらに、Ｒは、第１のカメラから見た第２のカメラの回転角を表す回転行列、ｆは第１のカメラの焦点距離（原点Ｏから第１のカメラの画像座標系の原点までの距離）、ｆ’は第２のカメラの焦点距離（原点Ｏ’から第２のカメラの画像座標系の原点までの距離）をそれぞれ表す。さらに、（ｘ，ｙ）は、第１のカメラの画像内（又は第１のカメラの画像座標系）における部位の２次元位置座標、（ｘ’，ｙ’）は、第２のカメラの画像内（又は第２のカメラの画像座標系）における部位の２次元位置座標をそれぞれ表す。

【0099】

図１３は、第２の実施の形態における姿勢推定部１１０の構成例を表す図である。

【0100】

図１３に示すように、姿勢推定部１１０は、第１及び第２のＣＮＮ処理部１１１－１，１１１－２、第１及び第２の候補点算出部１１２－１，１１２－２、第１及び第２のグルーピング処理部１１３－１，１１３－２を備える。また、姿勢推定部１１０は、同一人物特定処理部１１４、カメラ行列計算部１１５、及び３次元位置計算部１１６を備える。

【0101】

第１及び第２のＣＮＮ処理部１１１－１，１１１－２は、第１及び第２のカメラから出力された画像データに対して、ＣＮＮ処理などを施して、各部位に対する確率分布φ（Ｘ，Ｗ）を出力する。第１及び第２のＣＮＮ処理部１１１－１，１１１－２の各々は、各カメラからの画像データに対して、例えば、第１の実施の形態と同様のＣＮＮ処理を施すことで、各カメラで撮像された画像の各部位に対する確率分布φ（Ｘ，Ｗ）を出力する。

【0102】

第１及び第２の候補点算出部１１２－１，１１２－２は、第１及び第２のＣＮＮ処理部１１１－１，１１１－２から出力された確率分布φ（Ｘ，Ｗ）に基づいて、各部位の候補点をそれぞれ算出する。第１及び第２の候補点算出部１１２－１，１１２－２の各々は、例えば、第１の実施の形態と同様に、確率分布φ（Ｘ，Ｗ）から極大点を探索するなどにより、候補点を算出する。

【0103】

第１及び第２のグルーピング処理部１１３－１，１１３－２は、第１及び第２の候補点算出部１１２－１，１１２－２から出力された候補点に対して、それぞれグルーピングを行う。第１及び第２のグルーピング処理部１１３－１，１１３－２の各々は、例えば、第１の実施の形態と同様に、各候補点の距離に基づいて、グルーピングを行う。

【0104】

同一人物特定処理部１１４は、第１及び第２のグルーピング処理部１１３－１，１１３－２から出力された、グループ化された候補点が同一人物の候補点であるか否かを、類似度を用いて特定する。同一人物特定処理部１１４は、類似度の高い候補点の組み合わせを同一人物の候補点であると判定して、その候補点を出力する。詳細は動作例で説明する。

【0105】

カメラ行列計算部１１５は、カメラ行列Ｐ，Ｐ’を計算する。カメラ行列Ｐは、例えば、図１２に示すように、第１のカメラの画像座標系を３次元位置の座標系へ変換する行列を表す。また、カメラ行列Ｐ’は、例えば、第２のカメラの画像座標系を３次元位置の座標系を変換する行列を表す。カメラ行列計算部１１５は、同一人物特定処理部１１４から出力された各候補点と、計算したカメラ行列Ｐ，Ｐ’とを３次元位置計算部１１６へ出力する。カメラ行列Ｐ，Ｐ’の計算例は動作例で説明する。

【0106】

３次元位置計算部１１６は、例えば、カメラ行列Ｐ，Ｐ’を用いて、グループ化された各部位の候補点（２次元の位置座標）を３次元位置座標へ変換して、３次元位置ベクトルを含む姿勢ｐ_ｉを出力する。詳細は動作例で説明する。

【0107】

図１４は第２の実施の形態における動作例を表すフローチャートである。例えば、情報処理装置１００は、図２に示すフローチャートに代えて、図１４に示すフローチャートにより処理を行う。

【0108】

情報処理装置１００は、処理を開始すると（Ｓ２０）、第１のカメラで群衆を撮影し（Ｓ２１）、第２のカメラでも同じ群衆を撮影する（Ｓ２３）。例えば、撮像装置２００が２台あり、一方の撮像装置２００が第１のカメラ、他方の撮像装置２００が第２のカメラとして、各々群衆を撮影する。

【0109】

次に、情報処理装置１００は、第１のカメラで撮影された画像に含まれる各人物の姿勢を推定し（Ｓ２２）、第２のカメラで撮影された画像に含まれる各人物の姿勢も推定する（Ｓ２４）。例えば、第１のＣＮＮ処理部１１１－１、第１の候補点算出部１１２－１、及び第１のグルーピング処理部１１３－１において、第１のカメラで撮影された画像に含まれる各人物の姿勢を推定する。また、例えば、第２のＣＮＮ処理部１１１－２、第２の候補点算出部１１２－２、及び第２のグルーピング処理部１１３－２において、第２のカメラで撮影された画像に含まれる各人物の姿勢を推定する。

【0110】

次に、情報処理装置１００は、２つのカメラで撮影された画像に対して、同一人物特定処理を行う（Ｓ２５）。

【0111】

図１５（Ａ）は同一人物特定処理の例を表すフローチャートである。例えば、同一人物特定処理部１１４において行われる。

【0112】

同一人物特定処理部１１４は、同一人物特定処理を開始すると（Ｓ２５０）、第１のカメラで撮影した人物の画像をトリミング（又は切り抜き、或いは切り取り）し（Ｓ２５１）、第２のカメラで撮影された人物の画像をトリミングする（Ｓ２５２）。例えば、同一人物特定処理部１１４は、以下の処理を行う。

【0113】

すなわち、同一人物特定処理部１１４は、第１及び第２のグルーピング処理部１１３－１，１１３－２から、グループ化された候補点を入力する。そのため、同一人物特定処理部１１４は、候補点に基づいて、グループ化された候補点全体の周囲にある画像の画素値が一定の範囲内にある画素値を、第１及び第２の画像の画像データから抽出することで、人物の画像をトリミングする。例えば、人物の画像の各画素の画素値は、第１及び第２のＣＮＮ処理部１１１－１，１１１－２、第１及び第２の候補点算出部１１２－１，１１２－２，及び第１及び第２のグルーピング処理部１１３－１，１１３－２を介して、同一人物特定処理部１１４へ入力される。

【0114】

次に、同一人物特定処理部１１４は、類似度計算処理を行う（Ｓ２５３）。

【0115】

図１５（Ｂ）は類似度計算処理の例を表すフローチャートである。

【0116】

同一人物特定処理部１１４は、類似度計算処理を開始すると（Ｓ２５３０）、第１及び第２のカメラで撮影された人物の部位の画像をトリミングする（Ｓ２５３１，Ｓ２５３３）。この場合も、例えば、同一人物特定処理部１１４は、候補点ごとに、候補点の周囲にある画像の画素値が一定の範囲内にある画素値を抽出することで、人物の部位の画像をトリミングする。同一人物特定処理部１１４は、例えば、第１及び第２のカメラで撮影された画像ごとに、このような部位の画像をトリミングする。

【0117】

次に、同一人物特定処理部１１４は、各々トリミングした部位の画像に対して、カラーヒストグラムを計算する（Ｓ２５３２，Ｓ２５３４）。例えば、同一人物特定処理部１１４は、以下の処理を行う。

【0118】

すなわち、同一人物特定処理部１１４は、各部位の画像の各画素を所定セル（例えば、８×８画素）にまとめ、所定セルごとに、ＲＧＢの各画素値（又は階調値）の出現回数を取得する。このような処理は、公知手法でよく、例えば、色情報を利用した局所特徴量であるＣＳＳ（Color Self-Similarity）特徴量を計算することで、カラーヒストグラムが計算されてよい。同一人物特定処理部１１４は、第１及び第２のカメラで撮影された画像ごとに、カラーヒストグラムを計算する。

【0119】

次に、同一人物特定処理部１１４は、カラーヒストグラム（Ｓ２５３２，Ｓ２５３４）を用いて平均２乗誤差を計算し、類似度を計算する（Ｓ２５３５）。例えば、同一人物特定処理部１１４は、以下の処理を行う。

【0120】

すなわち、同一人物特定処理部１１４は、第１のカメラで撮影した、ある部位の画像に対応するカラーヒストグラム（Ｓ２５３２）と、第２のカメラで撮影した、その部位の画像に対応するカラーヒストグラム（Ｓ２５３４）との平均２乗誤差を計算する。カラーヒストグラムでは、異なるカメラで撮影された部位の画像について、所定セルごとの画素値の出現回数として計算される。そのため、同一人物特定処理部１１４は、そのような２つの出現回数の誤差の２乗を算出し、その算出値の部位全体における平均値を算出する。同一人物特定処理部１１４は、算出した平均値の逆数を、類似度として計算する。同一人物特定処理部１１４は、部位ごとに、このような類似度を計算する。

【0121】

同一人物特定処理部１１４は、類似度を計算すると、類似度計算処理を終了する（Ｓ２５３６）。

【0122】

図１５（Ａ）に戻り、次に、同一人物特定処理部１１４は、類似度の高い組み合わせを探索する（Ｓ２５４）。例えば、同一人物特定処理部１１４は、部位ごとに計算した複数の類似度が、すべて類似度閾値以上のとき、第１のカメラで撮影した人物と第２のカメラで撮影した人物が同一人物であると判定し、そうでないときは、同一人物ではないと判定する。このような判定は、一例であって、同一人物特定処理部１１４は、類似度が類似度閾値以上となっている部位の個数が、個数閾値以上のとき、同一人物であると判定し、そうでないときは同一人物ではないと判定してもよい。例えば、類似度が高いほど、同一人物由来の部位画像である確率は高くなる。

【0123】

そして、同一人物特定処理部１１４は、同一人物特定処理を終了する（Ｓ２５５）。

【0124】

図１４に戻り、次に、情報処理装置１００は、カメラ行列Ｐ，Ｐ’を計算する（Ｓ２６）。ここで、カメラ行列Ｐ，Ｐ’について説明する。

【0125】

図１２に示すように、最初に、第１のカメラの座標系から見た部位の３次元位置座標（Ｘ，Ｙ，Ｚ）を第１のカメラの画像内における部位の２次元位置座標（ｘ，ｙ）と第２のカメラの画像内における部位の２次元位置座標（ｘ’，ｙ’）と並進ベクトルｔ、回転行列Ｒとで記述することを考える。

【0126】

まず、投資投影モデルによれば、３次元位置座標（Ｘ，Ｙ，Ｚ）は、２次元位置座標（ｘ，ｙ）と第１のカメラの焦点距離ｆを用いて、以下の式（９－１）または式（９－２）で記述される。

【0127】

【数9-1】

【0128】

【数9-2】

【0129】

同様にして、第２のカメラの座標系から見た部位の３次元位置座標（Ｘ’，Ｙ’，Ｚ’）は、以下の式（９－３）又は式（９－４）式で記述される。ここで、ｋとｋ’は「０」ではない実数である。

【0130】

【数9-3】

【0131】

【数9-4】

【0132】

一方、図１２に示すように、第２カメラの座標系（Ｘ’，Ｙ’，Ｚ’）と第１カメラの座標系（Ｘ，Ｙ，Ｚ）の関係は、並進ベクトルｔと回転行列Ｒを用いて以下の式（９－５）で記述できる。

【0133】

【数9-5】

【0134】

以上の式（９－１）、式（９－２）、式（９－３）、式（９－４）、及び式（９－５）を連立させて解けば、３次元位置座標（Ｘ，Ｙ，Ｚ）と２次元位置座標（ｘ，ｙ）と２次元位置座標（ｘ’，ｙ’）の関係が、並進ベクトルｔ、回転行列Ｒとを用いて以下の４つの式で記述されることが分かる。

【0135】

【数9-6】

【0136】

【数9-7】

【0137】

【数9-8】

【0138】

【数9-9】

【0139】

ここで、Ｐ，Ｐ’カメラ行列とよばれる行列である。２次元位置座標（ｘ，ｙ）と２次元位置座標（ｘ’，ｙ’）、並進ベクトルｔ、回転行列Ｒが分かれば、３次元位置座標（Ｘ，Ｙ，Ｚ）は、上記の式（９－６）、式（９－７）、式（９－８）、及び式（９－９）を逆に解くことで計算できることが分かった。

【0140】

以上から、カメラ行列計算部１１５は、例えば、以下の式を用いて、カメラ行列Ｐ，Ｐ’を計算する。

【0141】

【数10】

【0142】

【数11】

【0143】

式（１０）と式（１１）において、ｆ_０は、スケールを調整するパラメータであり、例えば、ｆ_０＝１である。

【0144】

カメラ行列計算部１１５は、例えば、内部メモリに記憶された式（１０）と式（１１）を読み出して、第１及び第２のカメラの焦点距離ｆ，ｆ’、回転行列Ｒ、第１のカメラの原点Ｏから第２のカメラの原点Ｏ’へ向かうベクトルｔを式（１０）と式（１１）に代入する。カメラ行列計算部１１５は、例えば、焦点距離ｆ，ｆ’、回転行列Ｒ、ベクトルｔも内部メモリに記憶されており、これらの値を内部メモリから読み出して、式（１０）と式（１１）に代入すればよい。

【0145】

次に、情報処理装置１００は、各部位の３次元位置（Ｘ，Ｙ，Ｚ）を計算する（Ｓ２７）。例えば、３次元位置計算部１１６は、以下の式の連立方程式を解くことで、（Ｘ，Ｙ，Ｚ）を計算する。

【0146】

【数12】

【0147】

【数13】

【0148】

【数14】

【0149】

【数15】

【0150】

例えば、３次元位置計算部１１６は、以下の処理を行う。すなわち、３次元位置計算部１１６は、内部メモリに記憶された式（１２）から式（１５）を読み出して、Ｓ２６で計算したカメラ行列Ｐ，Ｐ’の各成分と、部位の位置座標（ｘ，ｙ），（ｘ’，ｙ’）を、式（１２）から式（１５）に代入する。そして、３次元位置計算部１１６は、式（１２）から式（１５）の連立方程式を解くことで、部位の３次元位置座標（Ｘ，Ｙ，Ｚ）を得る。この場合、３次元位置計算部１１６は、計算した部位の３次元位置座標を、式（１）に代入することで、３次元ベクトルとして表現された姿勢ｐ_ｉを得る。

【0151】

以降は、情報処理装置１００は、第１の実施の形態と同様に、姿勢ｐ_ｉを利用して、Ｓ１３からＳ１７の処理を行って、向きベクトルｑ_ｉを算出し、一連の処理を終了する（Ｓ２８）。Ｓ１３からＳ１７の処理においては、情報処理装置１００は、例えば、３次元位置座標を用いて処理を行い、３次元位置ベクトルとして表現された向きベクトルｑ_ｉを得る。

【0152】

このように本第２の実施の形態では、姿勢ｐ_ｉや向きベクトルｑ_ｉを３次元位置ベクトルとして表現できるため、２次元位置ベクトルを利用した第１の実施の形態と比較して、正確な向きベクトルｑ_ｉを得ることが可能となる。

【0153】

[第３の実施の形態]
第１の実施の形態では、注目度算出処理（例えば図８のＳ１３０）において、一定の部位に着目して、視えていない部位については補間する処理について説明した。例えば、ある人物ｉの視えていない部位ｋの数が閾値以下でないとき、補間によりそのような部位ｋを算出しても、その部位ｋの位置ベクトルａ _ｋ ^ｉ ＝（ｘ _ｋ ^ｉ ｙ _ｋ ^ｉ ） ^Ｔ を精度良く算出することができない場合がある。

【0154】

本第３の実施の形態の情報処理装置１００は、人物ｉの姿勢は、隣接する人物ｔの姿勢に似る傾向を持つという、経験測に基づいて、人物ｉの姿勢ｐ_ｉだけではなく、人物ｔの姿勢ｐ_ｔも利用して、人物ｉの位置ベクトルａ _ｋ ^ｉ ＝（ｘ _ｋ ^ｉ ｙ _ｋ ^ｉ ） ^Ｔ を算出する。

【0155】

図１６は、第３の実施の形態における注目度算出処理の例を表すフローチャートである。ただし、撮像装置２００により群衆が撮影され（図２のＳ１１）、姿勢推定部１１０において、姿勢推定処理（図２のＳ１２）により、人物ｉの姿勢ｐ_ｉと人物ｔの姿勢ｐ_ｔとが得られているものとする。

【0156】

注目度算出部１２０は、注目度算出処理を開始すると（Ｓ１３０）、ある人物ｉの視えていない部位（とくに顔の部位）の数が閾値以下か否かを判定する（Ｓ１３５）。例えば、注目度算出部１２０は、姿勢推定部１１０から出力された姿勢ｐ_ｉにおいて、ｖ_ｊ ^ｉ＝０となっている数が閾値以上となっているか否かを判定する。この場合、例えば、注目度算出部１２０は、顔の部位（ｊ＝１～５）に着目し、その部位のｖ_ｊ ^ｉが「０」となっている数が閾値以上か否かを判定してもよい。

【0157】

注目度算出部１２０は、視えていない部位の数が閾値よりも多いとき（Ｓ１３５でＮＯ）、視えていない部位ｋの位置ベクトルａ _ｋ ^ｉ ＝（ｘ _ｋ ^ｉ ｙ _ｋ ^ｉ ） ^Ｔ を補間により算出する（Ｓ１３６）。例えば、注目度算出部１２０は、以下の式を用いて、位置ベクトルａ_ｋ ^ｉを算出する。

【0158】

【数16】

【0159】

式（１６）において、ａ_ｋ１ ^ｉ，ａ_ｋ２ ^ｉ，…，ａ_ｋＭ１ ^ｉは、人物ｉにおいて視えている部位の位置ベクトル、ａ_ｋ１ ^ｔ，ａ_ｋ２ ^ｔ，…，ａ_ｋＭ２ ^ｔは、人物ｉに隣接する人物ｔにおいて視えている部位の位置ベクトルをそれぞれ表す。また、Ａ_ｋ ^{Ｍ１，Ｍ２}は、２Ｍ行２Ｍ _１ ＋２Ｍ _２ 列の行列である。Ａ_ｋ ^{Ｍ１，Ｍ２}とｂ_ｋ ^{Ｍ１，Ｍ２}は、例えば、姿勢ｓの集合Ｐ（教師データ）を用いて、式（６）と同様に、以下の式を用いて算出する。

【0160】

【数17】

【0161】

例えば、注目度算出部１２０は、以下の処理を行う。すなわち、注目度算出部１２０は、姿勢推定部１１０から出力された姿勢ｐ_ｉと姿勢ｐ_ｔに基づいて、人物ｉの中心座標と、人物ｔの中心座標を求める。注目度算出部１２０は、２つの中心座標が閾値以内であれば、人物ｔは人物ｉに隣接すると判定する。隣接すると判定すると、注目度算出部１２０は、内部メモリから式（１７）を読み出して、Ａ_ｋ ^{Ｍ１，Ｍ２}とｂ_ｋ ^{Ｍ１，Ｍ２}を計算する。注目度算出部１２０は、姿勢ｐ_ｉからｖ_ｊ ^ｉ＝１となっている位置ベクトルと、姿勢ｐ_ｔからｖ_ｊ ^ｔ＝１となっている位置ベクトル、及び計算したＡ_ｋ ^{Ｍ１，Ｍ２}とｂ_ｋ ^{Ｍ１，Ｍ２}を、式（１６）の右辺に代入することで、人物ｉの視えていない部位ｋの位置ベクトルａ_ｋ ^ｉを算出する。

【0162】

次に、注目度算出部１２０は、視えている部位の位置ベクトルａ_ｋ１ ^ｉ，ａ_ｋ２ ^ｉ，…，ａ_ｋＭ１ ^ｉと、補間により算出した、視えていない部位ｋの位置ベクトルａ_ｋ ^ｉとを利用して、人物ｉの向きベクトルｑ_ｉを算出する（Ｓ１３７）。例えば、注目度算出部１２０は、第１の実施の形態と同様に式（７）を用いて向きベクトルｑ_ｉを算出する。

【0163】

そして、注目度算出部１２０は、注目度算出処理を終了する（Ｓ１３８）。

【0164】

一方、注目度算出部１２０は、視えていない部位の数が閾値以下のとき（Ｓ１３５でＹＥＳ）、姿勢ｐ_ｉに基づいて、人物ｉの向きベクトルｑ_ｉを算出する（Ｓ１３７）。この場合、姿勢ｐ_ｉには、部位の位置座標が一部含まれないこともあるが、そのような場合は、注目度算出部１２０は、行列Ｗの成分を調整して、そのような行列Ｗを含む式（７）を利用して、向きベクトルｑ_ｉを算出する。

【0165】

以降、情報処理装置１００は、第１の実施の形態と同様の処理（Ｓ１５からＳ１７）を行う。

【0166】

このように、本第３の実施の形態では、情報処理装置１００は、視えていない部位の数が閾値よりも多いときは、処理対象の人物ｉに隣接する人物ｔの位置ベクトルを利用して、人物ｉの部位の位置ベクトルを補間により算出している。従って、補間処理を行わない場合と比較して、本第３の実施の形態の情報処理装置１００は、視えていない部位の位置を精度よく算出することができ、さらに、向きベクトルｑ_ｉを精度よく算出することも可能となる。

【0167】

[第４の実施の形態]
第１の実施の形態で利用した式（５）と式（７）は、線形な関数として表現されている。そのため、対象に対する関数の近似能力に限界がある場合がある。そこで、本第４の実施の形態では、式（５）と式（７）に非線形な関数を用いる。これにより、例えば、線形な関数を用いた場合と比較して、対象に対する近似能力を高めるようにする。

【0168】

本第４の実施の形態の情報処理装置１００は、式（５）に代えて、以下の式を用いて、視えていない部位ｋの位置ベクトルａ_ｋ ^ｉを補間により算出する。

【0169】

【数18】

【0170】

【数19】

【0171】

式（１８）において、Ｄ_ｌ１ ^Ｍは、ｌ１行２Ｍ列の行列、Ｄ_ｌ２ ^ｌ１は、ｌ２行１１列の行列、Ｄ_ｋ ^ｌ２は、ｋ行ｌ２列の行列をそれぞれ表す。また、ａ_ｋ１ ^ｉ，ａ_ｋ２ ^ｉ，…，ａ_ｋＭ ^ｉは、人物ｉにおいて視えている部位の位置ベクトルを表す。また、式（１９）において、δ（ｘ）は活性化関数であり、αとβは、α≠βとなる予め決められた実数をそれぞれ表す。

【0172】

行列Ｄ_ｌ１ ^Ｍ，Ｄ_ｌ２ ^ｌ１，及びＤ_ｋ ^ｌ２は、例えば、式（６）と同様に、姿勢ｓの集合Ｐを用いて、以下の式を解くことで得られる行列である。

【0173】

【数20】

【0174】

例えば、注目度算出部１２０は、補間処理（図８のＳ１３２）として、以下の処理を行う。すなわち、注目度算出部１２０は、内部メモリに記憶されたｓ_ｋ ^ｉと、ｓ_ｋ１ ^ｉ，ｓ_ｋ２ ^ｉ，…，ｓ_ｋＭ ^ｉとを内部メモリから読み出し、内部メモリから読み出した式（２０）に代入し、行列Ｄ_ｌ１ ^Ｍ，Ｄ_ｌ２ ^ｌ１，及びＤ_ｋ ^ｌ２を得る。そして、注目度算出部１２０は、内部メモリに記憶された式（１８）を内部メモリから読み出して、式（２０）で得た行列Ｄ_ｌ１ ^Ｍ，Ｄ_ｌ２ ^ｌ１，及びＤ_ｋ ^ｌ２と、姿勢ｓから抽出したａ_ｋ１ ^ｉ，ａ_ｋ２ ^ｉ，…，ａ_ｋＭ ^ｉとを、式（１８）に代入する。これにより、注目度算出部１２０は、視えていない部位ｋの位置ベクトルａ_ｋ ^ｉを算出する。

【0175】

また、本第４の実施の形態の情報処理装置１００は、式（７）に代えて、以下の式を用いて、人物ｉの向きベクトルｑ_ｉを算出する。

【0176】

【数21】

【0177】

式（２１）において、Ｗ_ｌ１ ^Ｊは、ｌ１行２Ｊ列の行列、Ｗ_ｌ２ ^ｌ１は、ｌ２行１１列の行列、Ｗ_ｋ ^ｌ２は、ｋ行ｌ２列の行列をそれぞれ表す。

【0178】

行列Ｗ_ｌ１ ^Ｊ，Ｗ_ｌ２ ^ｌ１，Ｗ_ｋ ^ｌ２は、例えば、式（８）と同様に、姿勢ｓの集合Ｐを用いて、以下の式を解くことで得られる行列である。

【0179】

【数22】

【0180】

例えば、注目度算出部１２０は向きベクトルｑ_ｉの算出処理（図８のＳ１３３）として、以下の処理を行う。すなわち、注目度算出部１２０は、内部メモリに記憶されたｑ_ｓ ^ｉと、ｓ_１ ^ｉ，ｓ_２ ^ｉ，…，ｓ_Ｊ ^ｉとを内部メモリから読み出し、内部メモリに記憶された式（２２）を内部メモリから読み出して、式（２２）に代入し、行列Ｗ_ｌ１ ^Ｊ，Ｗ_ｌ２ ^ｌ１，Ｗ_ｋ ^ｌ２を得る。注目度算出部１２０は、内部メモリに記憶された式（２１）を内部メモリから読み出して、式（２２）で得た行列Ｗ_ｌ１ ^Ｊ，Ｗ_ｌ２ ^ｌ１，Ｗ_ｋ ^ｌ２と、姿勢ｓから抽出したａ_１ ^ｉ，ａ_２ ^ｉ，…，ａ_Ｊ ^ｉとを、式（２１）に代入し、人物ｉの向きベクトルｑ_ｉを算出する。

【0181】

なお、式（１８）において、３つの行列Ｄ_ｌ１ ^Ｍ，Ｄ_ｌ２ ^ｌ１，Ｄ_ｋ ^ｌ２を用いる例について説明した。例えば、注目度算出部１２０は、このうち２つの行列を用いて式（１８）を計算してもよい。また、例えば、注目度算出部１２０は、３つの行列Ｗ_ｌ１ ^Ｊ，Ｗ_ｌ２ ^ｌ１，Ｗ_ｋ ^ｌ２ではなく、このうち、２つの行列を用いて式（２１）を計算してもよい。

【0182】

[第５の実施の形態]
第１の実施の形態では、注目度を算出する例について説明した。本第５の実施の形態では、算出した注目度の変化を検出する例について説明する。情報処理装置１００において、このような注目度の変化を検出することで、例えば、群衆が視線を向けている方向が突然変化したような状況が発生したことを検知でき、そのような状況が発生した時間を検出することも可能となる。

【0183】

図１７は、第５の実施の形態における情報処理システム１０の構成例を表す図である。

【0184】

図１７に示すように、情報処理装置１００は、さらに、変化検知部１５０を備える。変化検知部１５０は、注目度記憶部１４０から注目度を読み出し、例えば、その時間的な変化を検知する。変化検知部１５０は、検知した結果を、例えば、外部の表示装置へ出力し、ユーザへ知らせることが可能である。

【0185】

図１８は、情報処理装置１００の動作例を表すフローチャートである。図１８において、Ｓ１１からＳ１５までの処理は、第１の実施の形態と同様である。

【0186】

情報処理装置１００は、各人物ｉの注目度（又は向きベクトルｑ_ｉ）を注目度記憶部１４０に記録すると（Ｓ１５）、注目度変化検出処理（Ｓ１８）を行う。

【0187】

図１９は、注目度変化検出処理の例を表すフローチャートである。図１９の各処理は、例えば、変化検知部１５０で行われる。

【0188】

変化検知部１５０は、注目度検出処理を開始すると（Ｓ１８０）、注目度ベクトルｕ_ｉ ^ｔを、時刻（Ｔ－ｎ）＜ｔ≦（Ｔ－ｍ）と、時刻（Ｔ－ｍ）＜ｔとの２つの集合に分ける（Ｓ１８１）。

【0189】

ここで、注目度ベクトルｕ_ｉ ^ｔは、例えば、時刻ｔにおける人物ｉの向きベクトルｑ_ｉ ^ｔを正規化したものであり、以下の式で定義される。

【0190】

【数23】

【0191】

また、時刻（Ｔ－ｎ）＜ｔ≦（Ｔ－ｍ）（ただし、ｎ＞ｍ）での注目度ベクトルの集合を、Ｕ_{Ｔ－ｎ＜ｔ≦Ｔ－ｍ}とすると、注目度ベクトルの集合Ｕ_{Ｔ－ｎ＜ｔ≦Ｔ－ｍ}は、例えば、以下の式で定義される。

【0192】

【数24】

【0193】

図２０は、時刻ｔ、時刻（Ｔ－ｎ）、時刻（Ｔ－ｍ）の関係例を表す図である。各時刻ｔにおいて、１つの注目度ベクトルｕが算出されるものとすると、時刻ｔが現在時刻Ｔのとき、時刻ｔ＝Ｔ－ｎから時刻ｔ＝Ｔまでは、ｎ個の注目度ベクトルｕが算出される。また、時刻ｔが時刻（Ｔ－ｎ）から時刻ｔ＝（Ｔ－ｍ）までの間で算出された注目度ベクトルの個数は（ｎ－ｍ）個であり、時刻（Ｔ－ｍ）から現在時刻Ｔまでの間で算出された注目度ベクトルの個数はｍ個となる。図２０に示すように、時刻（Ｔ－ｍ）を境に、前半と後半に別れ、注目度ベクトルの集合Ｕ_{Ｔ－ｎ＜ｔ≦Ｔ－ｍ}は、前半である、時刻（Ｔ－ｎ）から時刻（Ｔ－ｍ）までの注目度ベクトルｕ_ｉ ^ｔの集合を表している。

【0194】

変化検知部１５０は、Ｓ１８１の処理として、例えば、以下の処理を行う。すなわち、変化検知部１５０は、注目度記憶部１４０から、時刻（Ｔ－ｎ）から現在時刻Ｔまでのｎ個の向きベクトルｑ_ｉを、注目度記憶部１４０から読み出す。そして、変化検知部１５０は、内部メモリに記憶された式（２２）を読み出して、式（２２）に向きベクトルｑ_ｉを代入して、ｎ個の注目度ベクトルｕ_ｉ ^ｔを算出する。変化検知部１５０は、ｎ個の注目度ベクトルｕ_ｉ ^ｔを、時刻（Ｔ－ｎ）＜ｔ≦（Ｔ－ｍ）までの（ｎ－ｍ）個の注目度ベクトルの集合と、時刻（Ｔ－ｍ）＜ｔまでのｍ個の注目度ベクトルの集合に分ける。前者の注目度ベクトルの集合は、例えば、式（２４）として表される。

【0195】

図１９に戻り、変化検知部１５０は、時刻（Ｔ－ｎ）＜ｔ≦（Ｔ－ｍ）までの（ｎ－ｍ）個の注目度ベクトルの集合Ｕ_{Ｔ－ｎ＜ｔ≦Ｔ－ｍ}に対して、注目度ベクトルｕ_ｉ ^ｔの確率分布ｐ（ｕ_ｉ ^ｔ）を推定する（Ｓ１８２）。本処理においては、確率分布ｐ（ｕ_ｉ ^ｔ）は、例えば、混合フォン・ミーゼス分布（又はフォンミーゼスフィッシャー分布）に沿って分布すると仮定する。混合フォン・ミーゼス分布は、例えば、注目度ベクトルｕ_ｉ ^ｔの始点をｄ次元（ｄは例えば２又は３）空間上の原点にとった場合、注目度ベクトルｕ_ｉ ^ｔの向きがどのような方向へ確率的に分布しているかを表している。

【0196】

図２１（Ａ）は入力画像、図２１（Ｂ）は、入力画像に対して、注目度ベクトルｕ_ｉ ^ｔの確率分布の例をそれぞれ表す図である。図２１（Ａ）と図２１（Ｂ）に示すように、画像において群衆は主に２つの方向へ視線を向けているため、注目度ベクトルｕ_ｉ ^ｔの向きも主に２つの方向へ分布している。図２１（Ｂ）は、混合フォン・ミーゼス分布の例を表している。

【0197】

変化検知部１５０は、例えば、以下の式を用いて、注目度ベクトルｕ_ｉ ^ｔの集合Ｕ_{Ｔ－ｎ＜ｔ≦Ｔ－ｍ}に対して、確率分布ｐ（ｕ_ｉ ^ｔ）を推定する。

【0198】

【数25】

【0199】

式（２５）において、Ｍ（ｕ_ｉ ^ｔ｜μ_ｊ，σ_ｊ）は、例えば、以下の式を用いて算出される。

【0200】

【数26】

【0201】

式（２６）において、Ｉ_ρ（γ）は、例えば、以下の式を用いて算出される。

【0202】

【数27】

【0203】

式（２５）から式（２７）において、ｄは注目度ベクトルｕ_ｉ ^ｔの次元数（２又は３）、Ｉ_ρ（γ）はρ階の第１種変形ベッセル関数をそれぞれ表す。また、式（２５）から式（２７）において、α_ｊ，μ_ｊ，σ_ｊは、パラメータである。パラメータα_ｊ，μ_ｊ，σ_ｊの推定は、例えば、注目度ベクトルの集合Ｕ_{Ｔ－ｎ＜ｔ≦Ｔ－ｍ}を用いて、公知の期待値最大化法を用いて推定可能である。

【0204】

例えば、変化検知部１５０は、Ｓ１８２において、以下の処理を行う。すなわち、変化検知部１５０は、時刻（Ｔ－ｎ）＜ｔ≦（Ｔ－ｍ）までの注目度ベクトルの集合Ｕ_{Ｔ－ｎ＜ｔ≦Ｔ－ｍ}に対して、期待値最大化法などを用いて、パラメータα_ｊ，μ_ｊ，σ_ｊを推定する。そして、変化検知部１５０は、内部メモリに記憶された式（２５）から式（２７）を読み出して、推定したパラメータα_ｊ，μ_ｊ，σ_ｊや、注目度ベクトルｕ_ｉ ^ｔを、式（２５）から式（２７）に代入することで、確率分布ｐ（ｕ_ｉ ^ｔ）を推定する。

【0205】

図１９に戻り、次に、変化検知部１５０は、時刻（Ｔ－ｍ）＜ｔでの注目度ベクトルの集合Ｕ_{Ｔ－ｍ＜ｔ}の異常度βを計算する（Ｓ１８３）。異常度βは、例えば、以下の式で計算される。

【0206】

【数28】

【0207】

式（２８）に示すように、異常度βは、例えば、時刻（Ｔ－ｎ）＜ｔ≦（Ｔ－ｍ）における注目度ベクトルの集合Ｕ_{Ｔ－ｎ＜ｔ≦Ｔ－ｍ}に対する確率分布ｐ（ｕ_ｉ ^ｔ）を基準にして、時刻（Ｔ－ｍ）＜ｔの注目度ベクトルの集合Ｕ_{Ｔ－ｍ＜ｔ}の分布がどれだけ外れているかを表している。注目度ベクトルの集合Ｕ_{Ｔ－ｍ＜ｔ}の分布が、注目度ベクトルの集合Ｕ_{Ｔ－ｎ＜ｔ≦Ｔ－ｍ}に対する確率分布ｐ（ｕ_ｉ ^ｔ）から外れたときは、異常度βの値は大きな値をとり、そうでないときは小さな値をとり得る。

【0208】

例えば、変化検知部１５０は、内部メモリに記憶された式（２８）を読み出して、Ｓ１８２で推定した確率分布ｐ（ｕ_ｉ ^ｔ）を、式（２８）に代入することで、異常度βを計算する。

【0209】

次に、変化検知部１５０は、異常度βが閾値以上か否かを判定する（Ｓ１８４）。変化検知部１５０は、異常度βが閾値以上のとき（Ｓ１８４でＹＥＳ）、変化をユーザへ知らせる。そして、変化検知部１５０は、注目度変化検出処理を終了する（Ｓ１８６）。一方、変化検知部１５０は、異常度βが閾値より小さいとき（Ｓ１８４でＮＯ）、Ｓ１８４の処理を行うことなく、注目度変化検出処理を終了する（Ｓ１８６）。

【0210】

変化検知部１５０は、例えば、以下の処理を行う。すなわち、変化検知部１５０は、Ｓ１８３で計算した異常度βと、内部メモリに記憶された閾値と比較して、異常度βが閾値以上のとき、変化があったこと、変化があった時刻（例えば、時刻ｔ＝（Ｔ－ｍ））を外部の表示装置へ出力する。一方、変化検知部１５０は、異常度βが閾値より小さいときは、変化を通知することなく処理を終了する。

【0211】

図２１（Ａ）から図２１（Ｄ）は、例えば、ある時刻（Ｔ－ｍ）を境に群衆の視線方向が変化している様子を表している。図２１（Ａ）と図２１（Ｃ）に示すように、視線方向に変化が生じると、向きベクトルｑ_ｉも変化し、注目度ベクトルｕ_ｉ ^ｔも変化する。そのため、注目度ベクトルの集合Ｕ_{Ｔ－ｎ＜ｔ≦Ｔ－ｍ}に対する確率分布ｐ（ｕ_ｉ ^ｔ）を基準（図２１（Ｂ））にすると、注目度ベクトルの集合Ｕ_{Ｔ－ｍ＜ｔ}の分布が大きくはずれ（図２１（Ｄ））、異常度βも大きくなる。

【0212】

情報処理装置１００では、このような変化の検知結果を外部の表示装置へ出力することで、ユーザに対して、変化が発生したことや変化が発生した時刻をユーザに通知することができる。これにより、例えば、セキュリティ用の都市監視において、視線方向においてイベントが発生したことやその発生時刻などを、ユーザに知らせることが可能となる。

【0213】

［その他の実施の形態］
図２２は、情報処理装置１００のハードウェア構成例を表す図である。

【0214】

情報処理装置１００は、インタフェース部１８０、メモリ１８１、ＣＰＵ（Central Processing Unit）１８２、ＲＯＭ（Read Only Memory）１８３、及びＲＡＭ（Random Access Memory）１８４を備える。

【0215】

インタフェース部１８０は、例えば、撮像装置２００から出力された画像データをメモリ１８１やＣＰＵ１８２へ出力する。

【0216】

メモリ１８１は、例えば、第１の実施の形態の空間情報記憶部１３０と注目度記憶部１４０に対応する。また、メモリ１８１は、例えば、姿勢推定部１１０、注目度算出部１２０、及び第５の実施の形態の変化検知部１５０における内部メモリに対応する。

【0217】

ＣＰＵ１８２は、例えば、ＲＯＭ１８３に記憶されたプログラムを読み出して、ＲＡＭ１８４にロードし、ロードしたプログラムを実行することで、姿勢推定部１１０、注目度算出部１２０、及び変化検知部１５０の機能を実現する。ＣＰＵ１８２は、例えば、姿勢推定部１１０、注目度算出部１２０、及び変化検知部１５０に対応する。

【0218】

なお、ＣＰＵ１８２にえて、ＭＰＵ（Micro Processing Unit）やＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）などのプロセッサやコントローラなどが用いられてもよい。

【0219】

以上まとめると、付記のようになる。

【0220】

（付記１）
入力画像データに対して、人物の部位に関する正解データを利用して、画像に含まれる人物の部位の位置情報を推定し、
前記部位のうち顔の部位の位置情報を推定することができなかったとき、推定することができた他の部位の位置情報に基づいて、画像に含まれる人物の視線方向を推定する、
処理をコンピュータに実行させることを特徴とするプログラム。

【0221】

（付記２）
前記顔の部位の位置情報には、鼻、左目、右目、左耳、右耳、首、左肩、及び右肩の少なくともいずれか１つの位置情報を含むことを特徴とする付記１記載のプログラム。

【0222】

（付記３）
前記入力画像データに対して、前記正解データを利用して、前記人物の各部位の確率分布を計算し、前記各部位の確率分布に基づいて、前記各部位の候補点を探索し、前記各部位の候補点を人物ごとにグルーピングすることにより、前記人物の部位の位置情報を推定することを特徴とする付記１記載のプログラム。

【0223】

（付記４）
前記正解データを利用して、所定画像の画像データに対するフィルタリング処理を行い、フィルタリング処理後の画像データから、複数画素を含むブロック単位に最大値を抽出するプーリング処理を行い、前記フィルタリング処理と前記プーリング処理とを繰り返して、人物の各部位の確率分布の正解データを生成し、前記人物の各部位の確率分布の正解データを利用して、入力画像データに対する前記フィルタリング処理を行い、フィルタリング処理後の画像データから、前記ブロック単位に最大値を抽出する前記プーリング処理を行い、前記フィルタリング処理と前記プーリング処理とを繰り返して、前記各部位の確率分布を生成することを特徴とする付記３記載のプログラム。

【0224】

（付記５）
前記各部位の確率分布に基づいて、極大点となっている位置座標を前記各部位の候補点とすることを特徴とする付記３記載のプログラム。

【0225】

（付記６）
前記極大点が閾値より小さいとき、前記部位が前記画像に含まれていないと判定し、前記極大点が閾値以上のとき、前記部位が画像に含まれていると判定することを特徴とする付記５記載のプログラム。

【0226】

（付記７）
前記入力画像データに対して、各部位を接続した確率分布の正解データを利用して、フィルタリング処理を行い、フィルタリング処理後の画像データから、複数画素を含むブロック単位に最大値を抽出するプーリング処理を行い、前記フィルタリング処理と前記プーリング処理とを繰り返して、前記各部位のつながり度合いを示す確率分布を生成し、生成した確率分布と前記各部位の候補点とに基づいて、人物ごとに前記候補点をグルーピングすることを特徴とする付記３記載のプログラム。

【0227】

（付記８）
入力画像データに基づいて、人物の部位に関する正解データを利用して、画像に含まれる人物の部位の位置情報と、前記画像に前記部位が含まれるか否かを示すパラメータとを含む姿勢ベクトルを推定することを特徴とする付記１記載のプログラム。

【0228】

（付記９）
前記顔の部位が前記画像に含まれるか否かを示す前記パラメータに基づいて、前記部位のうち顔の部位の位置情報を推定することができなかったことを判定することを特徴する付記８記載のプログラム。

【0229】

（付記１０）
内部メモリから読み出した以下の式（２９）に、推定することができた他の部位の位置情報を表す位置ベクトルａ_ｋ１ ^ｉ，ａ_ｋ２ ^ｉ，…，ａ_ｋＭ ^ｉを代入することで、前記部位のうち顔の部位の位置情報を表す位置ベクトルａ_ｋ ^ｉを算出することを特徴とする付記１記載のプログラム。

【数29】

（ただし、Ａ _ｋ ^Ｍ は２行２Ｍ列の行列、ｂ_ｋ ^Ｍは２行１列の縦ベクトル、Ｍは０＜Ｍ≦ｊを満たす整数をそれぞれ表し、Ａ _ｋ ^Ｍ とｂ_ｋ ^Ｍは、姿勢ｓの集合Ｐを用いて、以下の式（３０）を解くことで算出される。）

【数30】

【0230】

（付記１１）
内部メモリから読み出した以下の式（３１）に、前記顔の部位の位置情報と前記他の部位の位置情報とを表す位置ベクトルａ_１ ^ｉ，ａ_２ ^ｉ，…，ａ_ｊ ^ｉを以下の式（３１）に代入することで、画像に含まれる人物ｉの視線方向を表す向きベクトルｑ_ｉを算出することを特徴とする付記１記載のプログラム。

【数31】

（ただし、Ｗは２行２Ｊ列の行列、ｗ_０は２行１列の縦ベクトル、ｊは前記人物の部位をそれぞれ表し、姿勢ｓの集合Ｐと、姿勢ｓが持つ向きベクトルｑ_ｓ、及び姿勢ｓの部位番号ｋの部位の位置ベクトルｓ_ｋ＝（ｘ_ｋ，ｙ_ｋ）^Ｔを用いて、Ｗとｗ_０は、以下の式（３２）を解くことで算出される。）

【数32】

【0231】

（付記１２）
内部メモリから読み出した以下の式（３３）に基づいて、画像に含まれる人物ｉの視線方向を表す向きベクトルｑ_ｉを算出することを特徴とする付記１記載のプログラム。

【数33】

（ただし、式（３３）において、ｗ_１とｗ_１はパラメータを表す）

【0232】

（付記１３）
内部メモリから読み出した式（３３）に、前記顔の部位の位置情報と前記他の部位の位置情報とを表す、鼻、首、左肩、及び右肩の各部位のｘ軸方向の位置座標ｘ_１ ^ｉ，ｘ_６ ^ｉ，ｘ_７ ^ｉ，ｘ_８ ^ｉを代入することで、画像に含まれる人物ｉの視線方向を表す向きベクトルｑ_ｉを算出することを特徴とする付記１１記載のプログラム。

【0233】

（付記１４）
前記向きベクトルｑ_ｉと、空間情報記憶部から読み出した対象物の位置座標とに基づいて、前記対象物に視線を向けている人物の数をカウントすることを特徴とする付記１１記載のプログラム。

【0234】

（付記１５）
第１のカメラで撮影された第１の画像の第１の画像データに対して、前記正解データを利用して、前記第１の画像に含まれる人物の部位の２次元座標として表される第１の位置座標を推定し、第２のカメラで撮影された第２の画像の第２の画像データに基づいて、前記正解データを利用して、前記第２の画像に含まれる人物の部位の２次元座標として表される第２の位置座標を推定し、
前記第１の位置座標と前記第２の位置座標とを、部位の３次元位置座標へ変換し、
前記３次元位置座標を利用して、前記人物の顔の部位の位置情報を算出し、画像に含まれる人物の視線方向を推定することを特徴とする付記１記載のプログラム。

【0235】

（付記１６）
前記第１の画像における前記部位の各画素値の第１の出現回数と、前記第２の画像における前記部位の各画素値の第２の出現回数とに基づいて、前記第１の画像内における人物と前記第２の画像内における人物とが同一人物であるか否かを判定し、同一人物であると判定したとき、同一人物の３次元位置座標（Ｘ，Ｙ，Ｚ）への変換を行うことを特徴とする付記１５記載のプログラム。

【0236】

（付記１７）
内部メモリから読み出した以下の式（３４）と式（３５）に、前記第１のカメラの原点から前記第１の位置座標の原点までの焦点距離を表すｆ、前記第２のカメラの原点から前記第２の位置座標の原点までの焦点距離を表すｆ’、前記第１のカメラから見た前記第２のカメラの回転角を表すＲ、前記第１のカメラから前記第２のカメラへ向かう並進ベクトルを表すｔを代入して、カメラ行列Ｐ，Ｐ’を算出し、
前記内部メモリから読み出した以下の式（３６）から式（３９）に、カメラ行列Ｐ，Ｐ’の各成分と、前記第１の位置座標を表す（ｘ，ｙ）、前記第２の位置座標を表す（ｘ’，ｙ’）を代入して、式（３６）から式（３９）に示す連立方程式を解くことで、前記部位の３次元位置座標への変換を行うことを特徴とする付記１５記載のプログラム。

【数34】

【数35】

【数36】

【数37】

【数38】

【数39】

【0237】

（付記１８）
推定することができなかった第１の人物の前記部位のうち顔の部位の位置情報の数が閾値よりも多いとき、第１の人物において推定することができた他の部位の位置情報と、第１の人物に隣接する第２の人物において推定することができた部位の位置情報とに基づいて、第１の人物において推定することができなかった前記顔の部位の位置情報を算出することを特徴とする付記１記載のプログラム。

【0238】

（付記１９）
内部メモリから読み出した以下の式（４０）に、推定することができた他の部位の位置情報を表す位置ベクトルａ_ｋ１ ^ｉ，ａ_ｋ２ ^ｉ，…，ａ_ｋＭ ^ｉを代入することで、前記部位のうち顔の部位の位置情報を表す位置ベクトルａ_ｋ ^ｉを算出することを特徴とする付記１記載のプログラム。

【数40】

（ただし、式（４０）において、δ（ｘ）は、以下の式（４１）に示す活性化関数であり、式（４０）において、行列Ｄ_ｌ１ ^Ｍ，Ｄ_ｌ２ ^ｌ１，及びＤ_ｋ ^ｌ２は、姿勢ｓの集合Ｐを用いて、以下の式（４２）を解くことで得られる行列である。）

【数41】

【数42】

【0239】

（付記２０）
内部メモリから読み出した以下の式（４３）に、前記顔の部位の位置情報と前記他の部位の位置情報を表す位置ベクトルａ_１ ^ｉ，ａ_２ ^ｉ，…，ａ_ｊ ^ｉを代入することで、画像に含まれる人物ｉの視線方向を表す向きベクトルｑ_ｉを算出することを特徴とする付記１記載のプログラム。

【数43】

（ただし、式（４３）において、δ（ｘ）は、以下の式（４４）に示す活性化関数であり、式（４３）において、行列Ｗ_ｌ１ ^Ｊ，Ｗ_ｌ２ ^ｌ１，Ｗ_ｋ ^ｌ２は、姿勢ｓの集合Ｐを用いて、以下の式（４５）を解くことで得られる行列である。）

【数44】

【数45】

【0240】

（付記２１）
さらに、推定した前記人物の視線方向の変化を検知し、検知結果を出力する
ことを特徴とする付記１記載のプログラム。

【0241】

（付記２２）
時刻ｔを現在時刻Ｔとしたとき、推定した前記人物の視線方向を表す向きベクトルを正規化した注目度ベクトルを、時刻（Ｔ－ｎ）から時刻（Ｔ－ｍ）までに取得した第１の注目度ベクトルの集合と、時刻（Ｔ－ｍ）から時刻ｔまでに取得した第２の注目度ベクトルの集合に分けて、前記第１の注目度ベクトルの集合に基づいて、前記第２の注目度ベクトルの集合の異常度を計算し、前記異常度が閾値以上のとき、時刻（Ｔ－ｍ）を境にして視線方向に変化があったことを示す検知結果を出力することを特徴とする付記２１記載のプログラム。

【0242】

（付記２３）
内部メモリから読み出した以下の式（４６）に、時刻（Ｔ－ｎ）から時刻（Ｔ－ｍ）までに取得した前記人物の視線方向を表す向きベクトルｑ_ｉを代入して、時刻（Ｔ－ｎ）から時刻（Ｔ－ｍ）までに取得した第１の注目度ベクトルの集合に含まれる注目度ベクトルｕ_ｉ ^ｔを求め、

【数46】

前記内部メモリから読み出した以下の式（４７）に、注目度ベクトルｕ_ｉ ^ｔを代入して、時刻（Ｔ－ｎ）から時刻（Ｔ－ｍ）までに取得した第１の注目度ベクトルの集合における注目度ベクトルｕ_ｉ ^ｔの確率分布ｐ（ｕ_ｉ ^ｔ）を算出し、

【数47】

前記内部メモリから読み出した以下の式（４８）に、確率分布ｐ（ｕ_ｉ ^ｔ）を代入することで、異常度βを算出することを特徴とする付記２１記載のプログラム。

【数48】

（ただし、式（４６）は、以下の式（４９）と式（５０）を用いて算出され、α_ｊ，μ_ｊ，σ_ｊはパラメータを表す。）

【数49】

【数50】

【0243】

（付記２４）
前記部位のうち顔の部位の位置情報を推定することができなかったとき、推定することができた他の部位の位置情報を利用して、前記顔の部位の位置情報を算出し、前記顔の部位の位置情報と前記他の部位の位置情報に基づいて、画像に含まれる人物の視線方向を推定することを特徴とする付記１記載のプログラム。

【0244】

（付記２５）
入力画像データに対して、人物の部位に関する正解データを利用して、画像に含まれる人物の部位の位置情報を推定する姿勢推定部と、
前記部位のうち顔の部位の位置情報を推定することができなかったとき、推定することができた他の部位の位置情報に基づいて、画像に含まれる人物の視線方向を推定する注目度算出部と
を備えることを特徴とする情報処理装置。

【0245】

（付記２６）
姿勢推定部と注目度算出部とを有する情報処理装置における情報処理方法であって、
前記姿勢推定部により、入力画像データに対して、人物の部位に関する正解データを利用して、画像に含まれる人物の部位の位置情報を推定し、
前記注目度算出部により、前記部位のうち顔の部位の位置情報を推定することができなかったとき、推定することができた他の部位の位置情報に基づいて、画像に含まれる人物の視線方向を推定する
ことを特徴とする情報処理方法。

【符号の説明】

【0246】

１０：情報処理システム １００：情報処理装置
１１０：姿勢推定部 １１１：ＣＮＮ処理部
１１１－１：第１のＣＮＮ処理部 １１１－２：第２のＣＮＮ処理部
１１２：候補点算出部 １１２－１：第１の候補点算出部
１１２－２：第２の候補点算出部 １１３：グルーピング処理部
１１３－１：第１のグルーピング処理部 １１３－２：第２のグルーピング処理部
１１４：同一人物特定処理部 １１５：カメラ行列計算部
１１６：３次元位置計算部 １２０：注目度算出部
１３０：空間情報記憶部 １４０：注目度記憶部
１５０：変化検知部 ２００：撮像装置
３００－１，３００－２：対象物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】