ホーム > 特許ランキング > 本田技研工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024119276
(43)【公開日】2024-09-03
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20240827BHJP
G06T 7/00 20170101ALI20240827BHJP
【ＦＩ】
G06T7/70 Z
G06T7/00 660B
G06T7/00 660A
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023026061
(22)【出願日】2023-02-22
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100126664
【弁理士】
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100154852
【弁理士】
【氏名又は名称】酒井 太一
(74)【代理人】
【識別番号】100194087
【弁理士】
【氏名又は名称】渡辺 伸一
(72)【発明者】
【氏名】ゴメス ランディ
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA13
5L096CA05
5L096JA13
(57)【要約】
【課題】複数のカメラのキャリブレーションを容易にすることができる情報処理装置、情報処理方法、およびプログラムを提供することを目的とする。
【解決手段】情報処理装置は、人間の情報処理装置であって、人間の複数部位の情報を撮影された画像から取得する撮影部と人間の複数部位の情報を加算し、キャリブレーションされていない複数の撮影部について人間の３次元と２次元の時間的な位置に対して損失関数を求めて、求めた損失関数を最適化して、ＰｎＰ（Perspective-n-Point）を解いて複数の撮影部間のキャリブレーションを行って複数部位の複合情報を作成する複合情報生成部と、備える。
【選択図】図１
【解決手段】情報処理装置は、人間の情報処理装置であって、人間の複数部位の情報を撮影された画像から取得する撮影部と人間の複数部位の情報を加算し、キャリブレーションされていない複数の撮影部について人間の３次元と２次元の時間的な位置に対して損失関数を求めて、求めた損失関数を最適化して、ＰｎＰ（Perspective-n-Point）を解いて複数の撮影部間のキャリブレーションを行って複数部位の複合情報を作成する複合情報生成部と、備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
人間の複数部位の情報を撮影された画像から取得する撮影部と
前記人間の複数部位の情報を加算し、キャリブレーションされていない複数の前記撮影部について前記人間の３次元と２次元の時間的な位置に対して損失関数を求めて、求めた前記損失関数を最適化して、ＰｎＰ（Perspective-n-Point）を解いて複数の前記撮影部間のキャリブレーションを行って前記複数部位の複合情報を作成する複合情報生成部と、
備える情報処理装置。
前記人間の複数部位の情報を加算し、キャリブレーションされていない複数の前記撮影部について前記人間の３次元と２次元の時間的な位置に対して損失関数を求めて、求めた前記損失関数を最適化して、ＰｎＰ（Perspective-n-Point）を解いて複数の前記撮影部間のキャリブレーションを行って前記複数部位の複合情報を作成する複合情報生成部と、
備える情報処理装置。
【請求項2】
幾何学的なキューと他のキューを使用する融合フィルタのカスケードを使用して、前記人間の複数部位の情報を加算して関連付ける、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記撮影部は、撮影された画像から前記人間の複数部位の情報として前記人間の骨格情報を取得し、撮影された画像から前記人間の複数部位の第１の情報を取得し、
前記複合情報生成部は、前記骨格情報に前記人間の第１の情報を結合して、前記人間の複数部位の情報を加算する、
請求項１または請求項２に記載の情報処理装置。
前記複合情報生成部は、前記骨格情報に前記人間の第１の情報を結合して、前記人間の複数部位の情報を加算する、
請求項１または請求項２に記載の情報処理装置。
【請求項4】
前記人間の複数部位の情報は、骨格情報と、手に関する情報と、顔に関する情報と、赤外線で殺意された画像に基づく情報である、
請求項１または請求項２に記載の情報処理装置。
請求項１または請求項２に記載の情報処理装置。
【請求項5】
前記撮影部は、赤外線を用いて撮影した画像に基づいて、識別すべき対象人物が存在しているか否かを判別する、
請求項１または請求項２に記載の情報処理装置。
請求項１または請求項２に記載の情報処理装置。
【請求項6】
撮影部が、人間の複数部位の情報を撮影された画像から取得し、
複合情報生成部が、前記人間の複数部位の情報を加算し、
前記複合情報生成部が、キャリブレーションされていない複数の前記撮影部について前記人間の３次元と２次元の時間的な位置に対して損失関数を求めて、求めた前記損失関数を最適化して、ＰｎＰ（Perspective-n-Point）を解いて複数の前記撮影部間のキャリブレーションを行って前記複数部位の複合情報を作成する、
情報処理方法。
複合情報生成部が、前記人間の複数部位の情報を加算し、
前記複合情報生成部が、キャリブレーションされていない複数の前記撮影部について前記人間の３次元と２次元の時間的な位置に対して損失関数を求めて、求めた前記損失関数を最適化して、ＰｎＰ（Perspective-n-Point）を解いて複数の前記撮影部間のキャリブレーションを行って前記複数部位の複合情報を作成する、
情報処理方法。
【請求項7】
情報処理装置のコンピュータに、
人間の複数部位の情報を撮影された画像から取得させ、
前記人間の複数部位の情報を加算させ、
キャリブレーションされていない複数の前記撮影部について前記人間の３次元と２次元の時間的な位置に対して損失関数を求めさせ、求められた前記損失関数を最適化して、ＰｎＰ（Perspective-n-Point）を解いて複数の前記撮影部間のキャリブレーションを行って前記複数部位の複合情報を作成させる、
プログラム。
人間の複数部位の情報を撮影された画像から取得させ、
前記人間の複数部位の情報を加算させ、
キャリブレーションされていない複数の前記撮影部について前記人間の３次元と２次元の時間的な位置に対して損失関数を求めさせ、求められた前記損失関数を最適化して、ＰｎＰ（Perspective-n-Point）を解いて複数の前記撮影部間のキャリブレーションを行って前記複数部位の複合情報を作成させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
人間と機械の相互作用には、機械が相互作用する相手を適切かつ強固に認識することが必要である。主要なモダリティの１つは視覚である。視覚によって、多くの異なる特徴（体の部位、ジェスチャー、顔の特徴など）を抽出することができる。なお、人物に関するすべての情報は、統一された首尾一貫した方法で提供される必要がある。ロバスト性を実現する手法の１つは、複数のカメラを組み合わせることである。これにより、全視野を拡大し、手前にある物体が後ろにある物体を隠す状態であるオクルージョン（occlusion）を処理し、異なる解像度を考慮することができる。
【0003】
例えば、赤外線画像はＨＭＩ／ＨＲＩに関連する情報を提供することが示されている（例えば非特許文献１参照）。
上述した異なるソースを組み合わせることは容易ではなく、システムの適切なキャリブレーションとデータフュージョン技術が必要である。現在の技術では、通常、校正を行うために独自のセンサ（非汎用）を使用する必要がある。
上述した異なるソースを組み合わせることは容易ではなく、システムの適切なキャリブレーションとデータフュージョン技術が必要である。現在の技術では、通常、校正を行うために独自のセンサ（非汎用）を使用する必要がある。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Mohamed, Y., Ballardini, G., Parreira, M. T., Lemaignan, S., & Leite, I. (2022, March),” Automatic Frustration Detection Using Thermal Imaging”, In Proceedings of the 2022 ACM/IEEE International Conference on Human-Robot Interaction (pp. 451-460).
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来技術では、アプリケーションで使用される様々なセンサを利用することが困難である。これは、アプリケーションが複数の汎用センサを使用する場合に問題となる傾向がある。キャリブレーションは、一般的に非常に困難である。
【0006】
本発明は、上記の問題点に鑑みてなされたものであって、複数のカメラのキャリブレーションを容易にすることができる情報処理装置、情報処理方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
（１）上記目的を達成するため、本発明の一態様に係る情報処理装置は、人間の複数部位の情報を撮影された画像から取得する撮影部と前記人間の複数部位の情報を加算し、キャリブレーションされていない複数の前記撮影部について前記人間の３次元と２次元の時間的な位置に対して損失関数を求めて、求めた前記損失関数を最適化して、ＰｎＰ（Perspective-n-Point）を解いて複数の前記撮影部間のキャリブレーションを行って前記複数部位の複合情報を作成する複合情報生成部と、備える情報処理装置である。
【0008】
（２）（１）の情報処理装置において、幾何学的なキューと他のキューを使用する融合フィルタのカスケードを使用して、前記人間の複数部位の情報を加算して関連付けるようにしてもよい。
【0009】
（３）（１）または（２）の情報処理装置において、前記撮影部は、撮影された画像から前記人間の複数部位の情報として前記人間の骨格情報を取得し、撮影された画像から前記人間の複数部位の第１の情報を取得し、前記複合情報生成部は、前記骨格情報に前記人間の第１の情報を結合して、前記人間の複数部位の情報を加算するようにしてもよい。
【0010】
（４）（１）から（３）のうちのいずれか１つの情報処理装置において、前記人間の複数部位の情報は、骨格情報と、手に関する情報と、顔に関する情報と、赤外線で殺意された画像に基づく情報であるようにしてもよい。
【0011】
（５）（１）から（４）のうちのいずれか１つの情報処理装置において、前記撮影部は、赤外線を用いて撮影した画像に基づいて、識別すべき対象人物が存在しているか否かを判別するようにしてもよい。
【0012】
（６）上記目的を達成するため、本発明の一態様に係る情報処理方法は、撮影部が、人間の複数部位の情報を撮影された画像から取得し、複合情報生成部が、前記人間の複数部位の情報を加算し、前記複合情報生成部が、キャリブレーションされていない複数の前記撮影部について前記人間の３次元と２次元の時間的な位置に対して損失関数を求めて、求めた前記損失関数を最適化して、ＰｎＰ（Perspective-n-Point）を解いて複数の前記撮影部間のキャリブレーションを行って前記複数部位の複合情報を作成する、情報処理方法である。
【0013】
（７）上記目的を達成するため、本発明の一態様に係るプログラムは、情報処理装置のコンピュータに、人間の複数部位の情報を撮影された画像から取得させ、前記人間の複数部位の情報を加算させ、キャリブレーションされていない複数の前記撮影部について前記人間の３次元と２次元の時間的な位置に対して損失関数を求めさせ、求められた前記損失関数を最適化して、ＰｎＰ（Perspective-n-Point）を解いて複数の前記撮影部間のキャリブレーションを行って前記複数部位の複合情報を作成させる、プログラムである。
【発明の効果】
【0014】
（１）～（７）によれば、複数のカメラのキャリブレーションを容易にすることができる。
【図面の簡単な説明】
【0015】
【図1】実施形態に係る情報処理装置の構成例を示す図である。
【図2】実施形態に係るスケルトン・アッセンブラー部が行う処理を説明するための図である。
【図3】実施形態に係るスケルトン・アッセンブラー部が行う処理を説明するための図である。
【図4】実施形態の複合情報生成部が行う統合プロセスを説明するための図である。
【図5】座標系の例を示す図である。
【図6】実施形態に係るキャリブレーションとフュージョンを説明するための図である。
【図7】実施形態に係るキャリブレーションとフュージョンの処理手順例を示す図である。
【図8】ＰｎＰを解く方法例を説明するための図である。
【図9】ＰｎＰを解く方法例を説明するための図である。
【図10】実施形態に係る情報処理装置をコミュニケーションロボットに適用した場合の識別結果例を示す図である。
【発明を実施するための形態】
【0016】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
【0017】
（情報処理装置の概要）
例えば、椅子がある場合、椅子に人が座っているのか否かの検出が難しい場合もある。このため、本実施形態の情報処理装置は、複数のセンサを用いて人物を識別する。情報処理装置は、人物の識別の際、顔の特徴だけではなく、例えば、その人物特有の動き（ジェスチャー）などの情報を用いて識別する。このような処理を行うためには、複数のカメラを用いて対象人物を撮影する。複数のカメラを用いる場合は、複数のカメラについて座標等をキャリブレーションする必要がある。複数のカメラに対するキャリブレーションが従来技術ではコストや手間等がかかるため、本実施形態では、複数のカメラについてのキャリブレーションを複数の汎用センサを活用し、人間の存在感（体の骨格（skeletons））を推定し、さらに機械学習アプローチとキャリブレーションを組み合わせることで行う。
例えば、椅子がある場合、椅子に人が座っているのか否かの検出が難しい場合もある。このため、本実施形態の情報処理装置は、複数のセンサを用いて人物を識別する。情報処理装置は、人物の識別の際、顔の特徴だけではなく、例えば、その人物特有の動き（ジェスチャー）などの情報を用いて識別する。このような処理を行うためには、複数のカメラを用いて対象人物を撮影する。複数のカメラを用いる場合は、複数のカメラについて座標等をキャリブレーションする必要がある。複数のカメラに対するキャリブレーションが従来技術ではコストや手間等がかかるため、本実施形態では、複数のカメラについてのキャリブレーションを複数の汎用センサを活用し、人間の存在感（体の骨格（skeletons））を推定し、さらに機械学習アプローチとキャリブレーションを組み合わせることで行う。
【0018】
【0019】
情報処理装置１は、環境に存在する人物毎に、例えば、体の姿勢、顔のＩＤ、音の位置、発した言葉などの統一的なデータ構造を提供する。人物データフュージョンでは、音声とカメラから抽出された特徴量のセットを想定しているが、カメラから抽出された特徴量のみでもよい。また、データには、音の位置、発した言葉は含まれていなくてもよい。
【0020】
センサ２は、例えば、第１カメラ２１（撮影部）と、第２カメラ２２（撮影部）と、第Ｎカメラ２３（撮影部）と、赤外線カメラ２４と、収音部２５を備える。
【0021】
第１カメラ２１は、例えば深度情報も取得でき三次元情報を抽出できるＲＧＢＤ（赤緑青深度）撮影装置である。第１カメラ２１は、対象人物を含む範囲を撮影する。第１カメラ２１は、撮影した第１画像（Ｉｍａｇｅｓ）を顔認識部３２とハンド抽出部３３に出力する。第１カメラ２１は、深度情報を用いて撮影した画像から、例えばテンプレートを用いて対象人物に関するスケルトン情報を抽出し、抽出した第１スケルトン情報をスケルトン・アッセンブラー部３１に出力する。なお、対象人物に関するスケルトン情報とは、例えば、予め人間の所定の位置（例えば関節、顔、手、足等）に設定されている位置毎の位置情報、識別情報である。なお、撮影された画像には撮影された時間データが付加されている。
【0022】
第２カメラ２２は、例えば深度情報も取得でき三次元情報を抽出できるＲＧＢＤ撮影装置である。第２カメラ２２は、対象人物を含む範囲を撮影する。第２カメラ２２は、撮影した第２画像（Ｉｍａｇｅｓ）を顔認識部３２とハンド抽出部３３に出力する。第２カメラ２２は、深度情報を用いて撮影した画像から、例えばテンプレートを対象人物に関するスケルトン情報を抽出し、抽出した第２スケルトン情報をスケルトン・アッセンブラー部３１に出力する。なお、撮影された画像には撮影された時間データが付加されている。
なお、第１カメラ２１と第２カメラ２２は、異なる位置に配置され、対象人物を異なるアングルから撮影する。
なお、第１カメラ２１と第２カメラ２２は、異なる位置に配置され、対象人物を異なるアングルから撮影する。
【0023】
第Ｎカメラ２３（Ｎは２以上の整数）は、例えば、深度情報も取得でき三次元情報を抽出できるＲＧＢＤ撮影装置である。第Ｎカメラ２３は、撮影した第２Ｎ画像（Ｉｍａｇｅｓ）を顔認識部３２とハンド抽出部３３に出力する。なお、撮影された画像には撮影された時間データが付加されている。
【0024】
赤外線カメラ２４は、赤外線を用いて撮影する撮影装置である。赤外線カメラ２４は、撮影した赤外線画像（ＩＲ Ｉｍｅｇｅｓ）を顔の特徴量抽出部３４に出力する。なお、情報処理装置１は、赤外線カメラ２４が撮影した画像に基づいて、人間が存在しているのか否かの検出を行う。なお、撮影された画像には撮影された時間データが付加されている。
【0025】
収音部２５は、例えば、複数のマイクロホンで構成されるマイクロホンアレイである。なお、収音された音響信号には収音された時間データが付加されている。
【0026】
複合情報生成部４は、例えば、スケルトン・アッセンブラー部３１と、顔認識部３２と、ハンド抽出部３３と、顔の特徴量抽出部３４と、第１モジュール４１と、第２モジュール４２と、第３モジュール４３と、第４モジュール４４と、音声認識部５と、キャリブレーション部６を備える。なお、各モジュールの構成例、機能等については後述する。
【0027】
複合情報生成部４は、センサ２と音声認識部５が出力する情報を統合する。複合情報生成部４は、統合した情報を外部装置に出力する。外部装置は、例えば、パーソナルコンピュータ、スマートフォン、タブレット端末、携帯端末、専用装置等である。なお、複合情報の生成処理については、後述する。
【0028】
スケルトン・アッセンブラー部３１は、複数のカメラと、スケルトン抽出ライブラリから得られたスケルトン特徴を関連付けることで結合し、統合したスケルトン情報を複合情報生成部４に出力する。スケルトン抽出ライブラリは、例えば、骨格毎に異なるライブラリ（基本的な機能を実行する汎用的なソフトウェアコード）を備えている。なお、スケルトン抽出ライブラリは、例えば、一般的な人間の各骨格の位置を示す情報、身長に対する比を表す情報等を有している。骨格の位置は、後述する図２のように、頭、顔、首、手、ボディ、股関節、脚、足などの各関節等の位置であり、さらにボディの前方向と後方向からの位置である。なお、スケルトン・アッセンブラー部３１は、複合情報生成部４の一部でもある。
このように、本実施形態では、従来のように対象者の体にセンサや反射板などの装着無しに、複数のカメラが撮影した画像とスケルトン抽出ライブラリを用いて、対象者の骨格情報を統合する。なお、骨格情報は、例えば、対象人物の体の動き（ジェスチャー）、歩いている状態、立っている状態との特徴を示す情報である。
このように、本実施形態では、従来のように対象者の体にセンサや反射板などの装着無しに、複数のカメラが撮影した画像とスケルトン抽出ライブラリを用いて、対象者の骨格情報を統合する。なお、骨格情報は、例えば、対象人物の体の動き（ジェスチャー）、歩いている状態、立っている状態との特徴を示す情報である。
【0029】
顔認識部３２は、取得した画像に対して、周知の画像処理手法を用いて、撮影された画像に含まれる人物の顔情報を抽出し、抽出した顔情報を複合情報生成部４に出力する。なお、顔情報とは、例えば、対象人物の顔の特徴量、例えば、顔の形状、各パーツの位置、各パーツの大きさ、髪の毛の色、目の色、皮膚の色、しわ等に基づく性別や対象人物を識別するための識別子等を識別できる情報である。
【0030】
ハンド抽出部３３は、取得した画像に対して、周知の画像処理手法を用いて、撮影された画像に含まれる人物毎にハンド情報を抽出し、抽出したハンド情報を複合情報生成部４に出力する。なお、ハンド情報とは、例えば、対象人物の手の動き（ジェスチャー）、指さし、拍手、手話等を識別できる情報である。
【0031】
顔の特徴量抽出部３４は、取得した赤外線画像に対して、周知の画像処理手法を用いて、撮影された画像に含まれる人物毎に赤外線顔情報を抽出し、抽出した赤外線顔情報を複合情報生成部４に出力する。
【0032】
音声認識部５は、収音されたＭチャンネルの音声信号に対して、周知の手法を用いて、雑音抑圧処理、音源分離処理、音源方向推定処理、発話区間検出処理、音声認識等の処理を行う。
【0033】
キャリブレーション部６は、機械学習（ML；Machine Learning）を用いてセンサ間のキャリブレーションを行う。なお、キャリブレーションについては、後述する。
【0034】
なお、図１に示した構成例では、カメラが３つ（第１カメラ２１、第２カメラ２２、第Ｎカメラ２３）の例を説明したが、カメラの数は４つ以上であってもよい。
【0035】
（スケルトン・アッセンブラー部）
次に、スケルトン・アッセンブラー部３１が行う処理を、図２、図３を用いて説明する。図２、図３は、本実施形態に係るスケルトン・アッセンブラー部が行う処理を説明するための図である。図２は、３つのカメラによって撮影された１人の対象人物に関する体の各位置等の情報例である。図３は、図２の画像をキャリブレーション無しで統合した場合の例である。なお、本実施形態では、各カメラが撮影した情報において、体の位置情報をグループ化して、例えば身体のテンプレートに合成することで３Ｄモデルを生成する。この場合、所定の範囲内で検出される人のモデルは同一人物のデータであると判別し、所定の範囲外の人のモデルは複数の人物であると判別する。
次に、スケルトン・アッセンブラー部３１が行う処理を、図２、図３を用いて説明する。図２、図３は、本実施形態に係るスケルトン・アッセンブラー部が行う処理を説明するための図である。図２は、３つのカメラによって撮影された１人の対象人物に関する体の各位置等の情報例である。図３は、図２の画像をキャリブレーション無しで統合した場合の例である。なお、本実施形態では、各カメラが撮影した情報において、体の位置情報をグループ化して、例えば身体のテンプレートに合成することで３Ｄモデルを生成する。この場合、所定の範囲内で検出される人のモデルは同一人物のデータであると判別し、所定の範囲外の人のモデルは複数の人物であると判別する。
【0036】
（統合プロセス）
次に、複合情報生成部４が行う統合プロセスについて説明する。図４は、本実施形態の複合情報生成部が行う統合プロセスを説明するための図である。左から右に、第１モジュール４１、第２モジュール４２、第３モジュール、第４モジュールに対応する。図４において、各モジュールはカスケード接続されており、処理は左から右に行われる。
また、以下の処理は、撮影された画像に複数の人が検出され場合、１人毎に行われる。なお、キャリブレーションは、情報が統合された後に行われる。
次に、複合情報生成部４が行う統合プロセスについて説明する。図４は、本実施形態の複合情報生成部が行う統合プロセスを説明するための図である。左から右に、第１モジュール４１、第２モジュール４２、第３モジュール、第４モジュールに対応する。図４において、各モジュールはカスケード接続されており、処理は左から右に行われる。
また、以下の処理は、撮影された画像に複数の人が検出され場合、１人毎に行われる。なお、キャリブレーションは、情報が統合された後に行われる。
【0037】
第１モジュール４１は、キャッシュ４１１と、Ｍｅａｎ Ｆｉｌｔｅｒ４１２と、Ｔｏ Ｐｅｐｌｅ部４１３と、前処理部４１４を備える。なお、第１モジュール４１は、スケルトン・アッセンブラー部３１に相当する。
第１モジュール４１には、スケルトン情報が入力される。入力されたスケルトン情報は、キャッシュ４１１にキャッシュされた後、Ｍｅａｎ Ｆｉｌｔｅｒ４１２によってノイズ成分が除去される。次に、Ｔｏ Ｐｅｐｌｅ部４１３は、人毎に情報に分類する。さらに、前処理部４１４は、例えば、位置情報に基づいて、対象人物の外形情報を生成したりして骨格情報を生成する。第１モジュール４１によって出力される骨格情報は、例えば、ボディによるジェスチャー、歩いている状態、座っている状態に関する情報を含んでいることになる。第１モジュール４１は、対象人物の骨格情報を第２モジュール４２に出力する。
第１モジュール４１には、スケルトン情報が入力される。入力されたスケルトン情報は、キャッシュ４１１にキャッシュされた後、Ｍｅａｎ Ｆｉｌｔｅｒ４１２によってノイズ成分が除去される。次に、Ｔｏ Ｐｅｐｌｅ部４１３は、人毎に情報に分類する。さらに、前処理部４１４は、例えば、位置情報に基づいて、対象人物の外形情報を生成したりして骨格情報を生成する。第１モジュール４１によって出力される骨格情報は、例えば、ボディによるジェスチャー、歩いている状態、座っている状態に関する情報を含んでいることになる。第１モジュール４１は、対象人物の骨格情報を第２モジュール４２に出力する。
【0038】
第２モジュール４２は、キャッシュ４２１と、Ｍｅａｎ Ｆｉｌｔｅｒ４２２と、コンバイナ４２３と、フュージョン部４２４を備える。
第２モジュール４２には、ハンド情報が入力される。入力されたハンド情報は、キャッシュ４２１にキャッシュされた後、Ｍｅａｎ Ｆｉｌｔｅｒ４２２によってノイズ成分が除去される。次に、コンバイナ４２３には、Ｍｅａｎ Ｆｉｌｔｅｒ４２２が出力する情報と、第１モジュール４１が出力する情報とが入力される。コンバイナ４２３は、各カメラの画像情報の入力タイミングや画像ファイルの大きさによる入力タイミングのズレと第１モジュール４１からの情報入力タイミングのズレを吸収するために、所定時間データを保持して、異なる情報源（ハンド、スケルトン）からの情報をタイミング情報のみに基づいて関連付ける。コンバイナ４２３の出力は、時間的に一致しているため、関連付けることができるすべてのハンドとスケルトンを提供する。続けて、フュージョン部４２４は、幾何学的情報（画像平面上の交点）に基づいて、各ハンドのデータに、与えられたスケルトンのデータを関連付ける。フュージョン部４２４の出力は、与えられた各人物について結合された情報である。第２モジュール４２によって出力されるＨａｎｄ情報は、例えば、手によるジェスチャー、指さし、拍手、手話等に関する情報を含んでいることになる。第２モジュール４２は、対象人物毎の骨格情報とＨａｎｄ情報を第３モジュール４３に出力する。
第２モジュール４２には、ハンド情報が入力される。入力されたハンド情報は、キャッシュ４２１にキャッシュされた後、Ｍｅａｎ Ｆｉｌｔｅｒ４２２によってノイズ成分が除去される。次に、コンバイナ４２３には、Ｍｅａｎ Ｆｉｌｔｅｒ４２２が出力する情報と、第１モジュール４１が出力する情報とが入力される。コンバイナ４２３は、各カメラの画像情報の入力タイミングや画像ファイルの大きさによる入力タイミングのズレと第１モジュール４１からの情報入力タイミングのズレを吸収するために、所定時間データを保持して、異なる情報源（ハンド、スケルトン）からの情報をタイミング情報のみに基づいて関連付ける。コンバイナ４２３の出力は、時間的に一致しているため、関連付けることができるすべてのハンドとスケルトンを提供する。続けて、フュージョン部４２４は、幾何学的情報（画像平面上の交点）に基づいて、各ハンドのデータに、与えられたスケルトンのデータを関連付ける。フュージョン部４２４の出力は、与えられた各人物について結合された情報である。第２モジュール４２によって出力されるＨａｎｄ情報は、例えば、手によるジェスチャー、指さし、拍手、手話等に関する情報を含んでいることになる。第２モジュール４２は、対象人物毎の骨格情報とＨａｎｄ情報を第３モジュール４３に出力する。
【0039】
第３モジュール４３は、キャッシュ４３１と、Ｍｅａｎ Ｆｉｌｔｅｒ４３２と、コンバイナ４３３と、フュージョン部４３４を備える。
第３モジュール４３には、顔情報が入力される。入力された顔情報は、キャッシュ４３１にキャッシュされた後、Ｍｅａｎ Ｆｉｌｔｅｒ４３２によってノイズ成分が除去される。次に、コンバイナ４３３には、Ｍｅａｎ Ｆｉｌｔｅｒ４３２が出力する情報と、第２モジュール４２が出力する情報とが入力される。コンバイナ４３３は、各カメラの画像情報の入力タイミングや画像ファイルの大きさによる入力タイミングのズレと第２モジュール４２からの情報入力タイミングのズレを吸収するために、所定時間データを保持して、入力された情報を結合する。続けて、フュージョン部４３４は、結合された情報を関連付けて、対象人物毎の骨格情報とＨａｎｄ情報とＦａｃｅ情報を生成する。第３モジュール４３によって出力されるＦａｃｅ情報は、例えば、性別、名前等に関する情報を含んでいることになる。第３モジュール４３は、対象人物毎の骨格情報とＨａｎｄ情報とＦａｃｅ情報を第４モジュール４４に出力する。
第３モジュール４３には、顔情報が入力される。入力された顔情報は、キャッシュ４３１にキャッシュされた後、Ｍｅａｎ Ｆｉｌｔｅｒ４３２によってノイズ成分が除去される。次に、コンバイナ４３３には、Ｍｅａｎ Ｆｉｌｔｅｒ４３２が出力する情報と、第２モジュール４２が出力する情報とが入力される。コンバイナ４３３は、各カメラの画像情報の入力タイミングや画像ファイルの大きさによる入力タイミングのズレと第２モジュール４２からの情報入力タイミングのズレを吸収するために、所定時間データを保持して、入力された情報を結合する。続けて、フュージョン部４３４は、結合された情報を関連付けて、対象人物毎の骨格情報とＨａｎｄ情報とＦａｃｅ情報を生成する。第３モジュール４３によって出力されるＦａｃｅ情報は、例えば、性別、名前等に関する情報を含んでいることになる。第３モジュール４３は、対象人物毎の骨格情報とＨａｎｄ情報とＦａｃｅ情報を第４モジュール４４に出力する。
【0040】
第４モジュール４４は、キャッシュ４４１と、Ｍｅａｎ Ｆｉｌｔｅｒ４４２と、コンバイナ４４３と、フュージョン部４４４を備える。
第４モジュール４４には、赤外線顔情報が入力される。入力された赤外線顔情報は、キャッシュ４４１にキャッシュされた後、Ｍｅａｎ Ｆｉｌｔｅｒ４４２によってノイズ成分が除去される。次に、コンバイナ４４３には、Ｍｅａｎ Ｆｉｌｔｅｒ４４２が出力する情報と、第３モジュール４３が出力する情報とが入力される。コンバイナ４４３は、赤外線カメラ２４の画像情報の入力タイミングと第３モジュール４３からの情報入力タイミングのズレを吸収するために、所定時間データを保持して、入力された情報を結合する。続けて、フュージョン部４４４は、結合された情報を関連付けて、対象人物毎の骨格情報とＨａｎｄ情報とＦａｃｅ情報と赤外線顔情報に基づく赤外線Ｆａｃｅ情報を生成する。第４モジュール４４は、対象人物毎の骨格情報とＨａｎｄ情報とＦａｃｅ情報と赤外線顔情報に基づく赤外線Ｆａｃｅ情報を出力する。
第４モジュール４４には、赤外線顔情報が入力される。入力された赤外線顔情報は、キャッシュ４４１にキャッシュされた後、Ｍｅａｎ Ｆｉｌｔｅｒ４４２によってノイズ成分が除去される。次に、コンバイナ４４３には、Ｍｅａｎ Ｆｉｌｔｅｒ４４２が出力する情報と、第３モジュール４３が出力する情報とが入力される。コンバイナ４４３は、赤外線カメラ２４の画像情報の入力タイミングと第３モジュール４３からの情報入力タイミングのズレを吸収するために、所定時間データを保持して、入力された情報を結合する。続けて、フュージョン部４４４は、結合された情報を関連付けて、対象人物毎の骨格情報とＨａｎｄ情報とＦａｃｅ情報と赤外線顔情報に基づく赤外線Ｆａｃｅ情報を生成する。第４モジュール４４は、対象人物毎の骨格情報とＨａｎｄ情報とＦａｃｅ情報と赤外線顔情報に基づく赤外線Ｆａｃｅ情報を出力する。
【0041】
なお、骨格情報を一番先に処理する理由は、骨格情報を基準にして、手や顔や赤外線情報を統合しているためである。
このように、本実施形態では、幾何学的なキューと他のキューを使用する融合フィルタのカスケードを使用して、前記人間の複数部位の情報を加算して関連付ける。
このように、本実施形態では、幾何学的なキューと他のキューを使用する融合フィルタのカスケードを使用して、前記人間の複数部位の情報を加算して関連付ける。
【0042】
（キャリブレーション方法）
フュージョン処理では、異なるセンサの基準フレームを適切に外部較正する必要がある。このため、本実施形態では、キャリブレーション例を説明する。
図５は、座標系の例を示す図である。図５において、符号ｇ１０１は、ハンドを認識するカメラ、例えば第１カメラ２１の座標系を示す。符号ｇ１０２は、顔を認識するカメラ、例えば第２カメラ２２の座標系を示す。符号ｇ１０３は、ワールド座標系を示す。符号ｇ１１１は、ワールド座標系とハンドを認識するカメラの座標系の変換を示している。符号ｇ１１２は、ワールド座標系と顔を認識するカメラの座標系の変換を示している。
フュージョン処理では、異なるセンサの基準フレームを適切に外部較正する必要がある。このため、本実施形態では、キャリブレーション例を説明する。
図５は、座標系の例を示す図である。図５において、符号ｇ１０１は、ハンドを認識するカメラ、例えば第１カメラ２１の座標系を示す。符号ｇ１０２は、顔を認識するカメラ、例えば第２カメラ２２の座標系を示す。符号ｇ１０３は、ワールド座標系を示す。符号ｇ１１１は、ワールド座標系とハンドを認識するカメラの座標系の変換を示している。符号ｇ１１２は、ワールド座標系と顔を認識するカメラの座標系の変換を示している。
【0043】
図６は、本実施形態に係るキャリブレーションとフュージョンを説明するための図である。符号ｇ２０１は、例えば第１カメラ２１の座標系と撮影された画像における対象人物の骨格情報等である。符号ｇ２０２は、例えば第２カメラ２２の座標系と撮影された画像における対象人物の骨格情報等である。符号ｇ２０３は、対象人物にいける時間情報のイメージ図である。
【0044】
複数カメラによる校正（固有・外来）はコストがかかり、手間がかかる。このため、本実施形態では、観測データによる自動共同キャリブレーションと、フュージョン処理を行う。観測データによる自動共同キャリブレーションと、フュージョン処理では、機械学習と最適化を行う。さらに、機械学習と最適化では、時空間的にコヒーレントなデータ列を求める、未校正のカメラによるＰｎＰ（Perspective-n-Point）問題について、機械学習による初期解を求める等の処理を行う。
【0045】
図７は、本実施形態に係るキャリブレーションとフュージョンの処理手順例を示す図である。
符号ｇ２５１は、例えば第１カメラ２１による対象人物の二次元軌道例である。符号ｇ２５２は、例えば第１カメラ２１とは別アングルの第２カメラ２２による対象人物の二次元軌道例である。符号ｇ２５３は、例えば第Ｎカメラ２３による対象人物の三次元軌道例である。なお、符号ｇ２５１～ｇ２５３、およびその右横の鎖線は、軌道を示している。
符号ｇ２６１は、キャリブレーション処理を示している。
符号ｇ２７１は、キャリブレーションされた軌跡と損失関数を求めて出力することを示している。
なお、本実施形態では、カメラの内部パラメータが既知であり、基準となる座標系（ワールド座標系）が定義されており撮影する物体（の各点）のワールド座標系での位置が既知または得られているとする。
符号ｇ２５１は、例えば第１カメラ２１による対象人物の二次元軌道例である。符号ｇ２５２は、例えば第１カメラ２１とは別アングルの第２カメラ２２による対象人物の二次元軌道例である。符号ｇ２５３は、例えば第Ｎカメラ２３による対象人物の三次元軌道例である。なお、符号ｇ２５１～ｇ２５３、およびその右横の鎖線は、軌道を示している。
符号ｇ２６１は、キャリブレーション処理を示している。
符号ｇ２７１は、キャリブレーションされた軌跡と損失関数を求めて出力することを示している。
なお、本実施形態では、カメラの内部パラメータが既知であり、基準となる座標系（ワールド座標系）が定義されており撮影する物体（の各点）のワールド座標系での位置が既知または得られているとする。
【0046】
（ステップＳ１）情報処理装置１は、時空間的にまとまったデータのシーケンス処理を行う。この処理では、人の存在を「校正パターン」として利用する。また、情報処理装置１は、人物とカメラごとに２次元と３次元の位置データと時間データを抽出する。これにより、情報処理装置１は、空間－時間データを作成する。
【0047】
（ステップＳ２）情報処理装置１は、機械学習を用いてキャリブレーションとフュージョン問題の初期解を求める。なお、情報処理装置１は、処理において、関連付け、キャリブレーション、フュージョンのために追加的な特徴を使用する。
【0048】
（ステップＳ３）情報処理装置１は、初期解と、人の３次元と２次元の時間的な位置に対して最適化し、ＰｎＰ（Perspective-n-Point）を解いてカメラ間のキャリブレーションを行う。なお、情報処理装置１は、ローカルミニマムと悪いデータの関連付けの影響を避けるために、機械学習で求めた初期解を使用する。
【0049】
【0050】
初期値は、機械学習から得たＣＲＷ、ＣｔＷ、ｆ、ｕ０、ｖ０、およびΔｔである（図８の符号ｇ２８１）。なお、ＣＲＷとＣｔＷは外部キャリブレーション（External calibration）、ｆとｕ０とｖ０は内部キャリブレーション（Internal calibration）、Δｔはクロックオフセットである。３Ｄのリファレンスのスケルトン情報をＷＰｉ（ｔ）とする（図８の符号ｇ２８２）。初期値と３Ｄのリファレンスのスケルトン情報を関連付けて投影（Projection）したものをｕ～
ｉ（ｔ）とする（図８の符号ｇ２８３）。また、抽出された２Ｄスケルトン情報をｕｉ（ｔ＋Δｔ）とする（図８の符号ｇ２８４）。
初期値と３Ｄのリファレンスのスケルトン情報を関連付けて投影と、抽出された２Ｄスケルトン情報との差は、｜｜ｕ～ ｉ（ｔ）－ｕｉ（ｔ＋Δｔ）｜｜である（図９の符号ｇ２９１）。これらの情報を用いて、ＰｎＰ問題は、次式（１）のように表される（ｇ２８５）。
初期値と３Ｄのリファレンスのスケルトン情報を関連付けて投影と、抽出された２Ｄスケルトン情報との差は、｜｜ｕ～ ｉ（ｔ）－ｕｉ（ｔ＋Δｔ）｜｜である（図９の符号ｇ２９１）。これらの情報を用いて、ＰｎＰ問題は、次式（１）のように表される（ｇ２８５）。
【0051】
【数1】
【0052】
なお、初期値と３Ｄのリファレンスのスケルトン情報を関連付けて投影（Projection）したものｕ～
ｉ（ｔ）は、３Ｄのリファレンスのスケルトン情報ＷＰｉ（ｔ）を用いて次式（２）のように表される。
【0053】
【数2】
【0054】
式（２）において、左辺がｕ～
ｉ（ｔ）であり、右辺の第１項が内部キャリブレーション行列であり、右辺の第２項が投影変換行列であり、右辺の第３項が外部キャリブレーション行列であり、右辺の第４項が３Ｄのリファレンスのスケルトン情報ＷＰｉ（ｔ）である。
【0055】
情報処理装置１は、式（１）を解いて求めたｃＲＷ、ｃｔＷ、ｆ、ｕｏ、ｖｏ、およびΔｔを更新する（ｇ２８６）。情報処理装置１は、この求めた値を初期値の代わりに用いて、投影以下の処理を例えば所定回数繰り返す。
【0056】
次に、損失関数について説明する。本実施形態において損失関数は、再構成された軌道と実軌道の間の例えば平均二乗誤差（ＭＳＥ）である。そして、損出関数を、標準的な機械学習の勾配ベースの最適化手法（例えばＳＤＧ、Ａｄａｍなど）（参考文献１、２参照）を用いて最適化する。
【0057】
参考文献１；Bock, S., & Weiss, M. (2019, July), “A proof of local convergence for the Adam optimizer”, In 2019 International Joint Conference on Neural Networks (IJCNN) (pp. 1-8). IEEE.
参考文献２；Choi, D., Shallue, C. J., Nado, Z., Lee, J., Maddison, C. J., & Dahl, G. E. (2019), “On empirical comparisons of optimizers for deep learning’, arXiv preprint arXiv:1910.05446.
参考文献２；Choi, D., Shallue, C. J., Nado, Z., Lee, J., Maddison, C. J., & Dahl, G. E. (2019), “On empirical comparisons of optimizers for deep learning’, arXiv preprint arXiv:1910.05446.
【0058】
なお、ローカルミニマムを回避するため、本実施形態では、以下のように２段階の最適化を行うようにした。
第１段階：ネットワークが初期解を提供。
第２段階：グローバルな収束特性を持つＰｎＰとＲＡＮＳＡＣ（RANdom SAmple Consensus）を用いた２段階目の最適化（例えば参考文献３、４参照）。
第１段階：ネットワークが初期解を提供。
第２段階：グローバルな収束特性を持つＰｎＰとＲＡＮＳＡＣ（RANdom SAmple Consensus）を用いた２段階目の最適化（例えば参考文献３、４参照）。
【0059】
参考文献３；G. Nakano, “Globally optimal DLS method for PnP problem with Cayley parameterization,” in British Machine Vision Conference, 2015, pp. 78.1-78.11
参考文献４；G. Terzakis and M. Lourakis, “A consistently fast and globally optimal solution to the perspective-n-point problem,” in European Conference on Computer Vision. Springer Nature Switzerland, 2020, pp. 1-17.
参考文献４；G. Terzakis and M. Lourakis, “A consistently fast and globally optimal solution to the perspective-n-point problem,” in European Conference on Computer Vision. Springer Nature Switzerland, 2020, pp. 1-17.
【0060】
（モジュールのトレーニングとタイミング）
ジオメトリ（geometry）の他に、カメラ間のキャリブレーションが必要な側面の１つは、タイミングである。各カメラが採用するタイムスタンプは、ローカルクロックのオフセットがあるため、異なる場合がある。フュージョンには、タイムスタンプが重要であるため、キャリブレーションプロセス全体の一部として、このオフセットもキャリブレーションする必要がある。
機械学習モデルは、学習するためのデータを必要とする。このシステムでは、自己監視を使用してカメラのオフセットのキャリブレーションの学習を行う。人の存在をラベルとして、「キャリブレーションパターン」として使用する。学習されたモデルは、あるカメラで撮影された人物の骨格が、別のカメラでどのように見えるかを予測する。本実施形態では、このカメラでの予測値と実際の骨格データとの誤差を学習監視信号として用いる。
また、シミュレーションは、監視付きシステムの事前トレーニングに使用可能（固有および外部キャリブレーションが既知のシミュレーションカメラ）である。なお、シミュレーションは、検証に用いた。
ジオメトリ（geometry）の他に、カメラ間のキャリブレーションが必要な側面の１つは、タイミングである。各カメラが採用するタイムスタンプは、ローカルクロックのオフセットがあるため、異なる場合がある。フュージョンには、タイムスタンプが重要であるため、キャリブレーションプロセス全体の一部として、このオフセットもキャリブレーションする必要がある。
機械学習モデルは、学習するためのデータを必要とする。このシステムでは、自己監視を使用してカメラのオフセットのキャリブレーションの学習を行う。人の存在をラベルとして、「キャリブレーションパターン」として使用する。学習されたモデルは、あるカメラで撮影された人物の骨格が、別のカメラでどのように見えるかを予測する。本実施形態では、このカメラでの予測値と実際の骨格データとの誤差を学習監視信号として用いる。
また、シミュレーションは、監視付きシステムの事前トレーニングに使用可能（固有および外部キャリブレーションが既知のシミュレーションカメラ）である。なお、シミュレーションは、検証に用いた。
【0061】
また、キャリブレーションでは、タイムスタンプのオフセットのキャリブレーションを行う。この理由は、キャリブレーションの一環としてタイミングの違いを最適化する（時間情報は軌跡の一部であるため）。
また、カメラ間のサンプリング時間の違いについては、例えば損失関数としてＤｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ（ＤＷＴ）の類似性を利用する（例えば参考文献５、６、７参照）。
また、カメラ間のサンプリング時間の違いについては、例えば損失関数としてＤｙｎａｍｉｃ Ｔｉｍｅ Ｗａｒｐｉｎｇ（ＤＷＴ）の類似性を利用する（例えば参考文献５、６、７参照）。
【0062】
参考文献５；Donald J Berndt and James Clifford, “Using dynamic time warping to find patterns in time series”, In KDD workshop, volume 10, pages 359-370. Seattle, WA, 1994.
参考文献６；Cai, X., Xu, T., Yi, J., Huang, J., & Rajasekaran, S. (2019), “Dtwnet: a dynamic time warping network”, Advances in neural information processing systems, 32.
参考文献７；Mohammadzade, H., Hosseini, S., Rezaei-Dastjerdehei, M. R., & Tabejamaat, M. (2021), “Dynamic time warping-based features with class-specific joint importance maps for action recognition using Kinect depth sensor”, IEEE Sensors Journal, 21(7), 9300-9313.
参考文献６；Cai, X., Xu, T., Yi, J., Huang, J., & Rajasekaran, S. (2019), “Dtwnet: a dynamic time warping network”, Advances in neural information processing systems, 32.
参考文献７；Mohammadzade, H., Hosseini, S., Rezaei-Dastjerdehei, M. R., & Tabejamaat, M. (2021), “Dynamic time warping-based features with class-specific joint importance maps for action recognition using Kinect depth sensor”, IEEE Sensors Journal, 21(7), 9300-9313.
【0063】
（適用例）
次に、情報処理装置１をコミュニケーションロボットに適用した場合の識別結果例を説明する。
図１０は、本実施形態に係る情報処理装置をコミュニケーションロボットに適用した場合の識別結果例を示す図である。
符号ｇ３００は、コミュニケーションロボットｇ３０１と、２人の対象人物がいる環境を撮影した画像であり、顔と手を認識した結果を重ねて示している。符号ｇ３０２は、第１対象者の顔を認識した結果である。符号ｇ３０３は、第２対象者の顔を認識した結果である、符号ｇ３０４は、第１対象者の手を認識した結果である。
次に、情報処理装置１をコミュニケーションロボットに適用した場合の識別結果例を説明する。
図１０は、本実施形態に係る情報処理装置をコミュニケーションロボットに適用した場合の識別結果例を示す図である。
符号ｇ３００は、コミュニケーションロボットｇ３０１と、２人の対象人物がいる環境を撮影した画像であり、顔と手を認識した結果を重ねて示している。符号ｇ３０２は、第１対象者の顔を認識した結果である。符号ｇ３０３は、第２対象者の顔を認識した結果である、符号ｇ３０４は、第１対象者の手を認識した結果である。
【0064】
符号ｇ３１０は、各対象者の認識結果を統合して識別情報として提示している例である。符号ｇ３１１は、第１対象者の識別結果であり、「マスクをしている」、性別は「女性」、状態は「通常」、名前は「Ｅｌｅｎａ」であると識別されたことを示している。符号ｇ３１２は、第２対象者の識別結果であり、「Ｃｏｍｅ ｏｎ」と発話している事が認識され、「マスクをしている」、性別は「男性」、状態は「通常」、名前は不明であると識別されたことを示している。なお、符号ｇ３１０の対象者の状態は、例えばコミュニケーションロボットｇ３０１から見た状態である。この理由は、コミュニケーションロボットｇ３０１が、カメラを備えているためである。
【0065】
なお、図８に示した識別結果等は一例であり、これに限らない。
【0066】
以上のように、本実施形態では、複数のカメラによって得られた情報を統合し、統合した後にカメラに対してキャリブレーションを行うようにした。これにより、本実施形態によれば、特別なセンサ等を用いずに、複数のカメラのキャリブレーションを行うことができる。
【0067】
なお、上述した例では、撮影された画像から対象人物の手を認識して、Ｈａｎｄ情報を生成し、生成したＨａｎｄ情報を識別するための情報に統合する例を説明したが、これに限らない。検出する情報は、例えば脚や足の情報であってもよい。例えば対象人物が歩き方に特徴がある場合は、このような情報を用いることで識別できる場合もあるためである。
【0068】
なお、本発明における情報処理装置１の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより情報処理装置１が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【0069】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【0070】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。
【符号の説明】
【0071】
１…情報処理装置、２…センサ、４…複合情報生成部、５…音声認識部、６…キャリブレーション部、２１…第１カメラ、２２…第２カメラ、２３…第Ｎカメラ、２４…赤外線カメラ、２５…収音部、３１…スケルトン・アッセンブラー部、３２…顔認識部、３３…ハンド抽出部、３４…顔の特徴量抽出部、４１…第１モジュール、４２…第２モジュール、４３…第３モジュール、４４…第４モジュール
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
