特開 2024-100553 特定プログラム、特定方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024100553

(43)【公開日】2024-07-26

(54)【発明の名称】特定プログラム、特定方法および情報処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240719BHJP

   G06T 7/70 20170101ALI20240719BHJP

【ＦＩ】

G06T7/00 660B

G06T7/70 Z

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023004639

(22)【出願日】2023-01-16

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】茂木 厚憲

(72)【発明者】

【氏名】平井 由樹雄

(72)【発明者】

【氏名】鈴木 源太

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096AA09

5L096BA02

5L096CA02

5L096DA02

5L096EA14

5L096FA66

5L096FA67

5L096FA69

5L096FA72

5L096GA51

5L096HA11

5L096JA11

(57)【要約】

【課題】人物の骨格情報の推定精度を向上させること。
【解決手段】情報処理装置は、人物が撮影された映像を取得し、取得した映像から、人物の２次元の骨格情報を生成する。情報処理装置は、２次元の骨格情報を基にして、人物の腰の位置を基準とした３次元の骨格位置の相対座標を生成する。情報処理装置は、人物の複数の所定の部位の３次元の骨格位置の絶対座標を生成する。情報処理装置は、人物の隠れていない部位に対応する３次元の骨格位置の絶対座標と、人物の隠れていない部位に対応する３次元の骨格位置の相対座標とを基にして、相対座標と絶対座標との関係性を推定する。情報処理装置は、推定された関係性に基づいて、隠れていない部位および所定の部位以外を含む人物の骨格位置の絶対座標を特定する。
【選択図】図９

【特許請求の範囲】

【請求項1】

人物が撮影された映像を取得し、
取得した前記映像から、前記人物の２次元の骨格情報を生成し、
前記２次元の骨格情報を基にして、前記人物の腰の位置を基準とした３次元の骨格位置の相対座標を生成し、
前記人物の複数の所定の部位の３次元の骨格位置の絶対座標を生成し、
前記人物の隠れていない部位に対応する前記３次元の骨格位置の絶対座標と、前記人物の隠れていない部位に対応する前記３次元の骨格位置の相対座標とを基にして、前記相対座標と前記絶対座標との関係性を推定し、
推定された前記関係性に基づいて、前記隠れていない部位および前記所定の部位以外を含む前記人物の骨格位置の絶対座標を特定する
処理をコンピュータに実行させることを特徴とする特定プログラム。

【請求項2】

前記人物の複数の所定の部位の３次元の骨格位置の絶対座標の位置関係を基にして、各部位に対する絶対座標の信頼度を特定し、各部位の骨格位置の絶対座標に対する信頼度を基にして、前記人物の複数の所定の部位から、前記人物の隠れていない部位を特定する処理を更にコンピュータに実行させることを特徴とする請求項１に記載の特定プログラム。

【請求項3】

前記関係性を推定する処理は、前記各部位の骨格位置の絶対座標に対する信頼度を基にして、少なくとも３つの部位の骨格位置の絶対座標を選択する処理を更に実行することを特徴とする請求項２に記載の特定プログラム。

【請求項4】

前記絶対座標を生成する処理は、前記人物の複数の所定の部位の座標系にそれぞれ対応する複数のホモグラフィであって、前記映像上の位置に対応する仮想空間上の位置を定義した前記複数のホモグラフィと、前記２次元の骨格情報とを基にして、前記３次元の骨格位置の絶対座標を生成することを特徴とする請求項１に記載の特定プログラム。

【請求項5】

前記絶対座標を生成する処理は、前記人物の頭部、両肩、腰、両足を、前記複数の所定の部位とし、前記複数の所定の部位の３次元の骨格位置の絶対座標を生成することを特徴とする請求項４に記載の特定プログラム。

【請求項6】

人物が撮影された映像を取得し、
取得した前記映像から、前記人物の２次元の骨格情報を生成し、
前記２次元の骨格情報を基にして、前記人物の腰の位置を基準とした３次元の骨格位置の相対座標を生成し、
前記人物の複数の所定の部位の３次元の骨格位置の絶対座標を生成し、
前記人物の隠れていない部位に対応する前記３次元の骨格位置の絶対座標と、前記人物の隠れていない部位に対応する前記３次元の骨格位置の相対座標とを基にして、前記相対座標と前記絶対座標との関係性を推定し、
推定された前記関係性に基づいて、前記隠れていない部位および前記所定の部位以外を含む前記人物の骨格位置の絶対座標を特定する
処理をコンピュータが実行することを特徴とする特定方法。

【請求項7】

人物が撮影された映像を取得し、
取得した前記映像から、前記人物の２次元の骨格情報を生成し、
前記２次元の骨格情報を基にして、前記人物の腰の位置を基準とした３次元の骨格位置の相対座標を生成し、
前記人物の複数の所定の部位の３次元の骨格位置の絶対座標を生成し、
前記人物の隠れていない部位に対応する前記３次元の骨格位置の絶対座標と、前記人物の隠れていない部位に対応する前記３次元の骨格位置の相対座標とを基にして、前記相対座標と前記絶対座標との関係性を推定し、
推定された前記関係性に基づいて、前記隠れていない部位および前記所定の部位以外を含む前記人物の骨格位置の絶対座標を特定する
処理を実行する制御部を有する情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特定プログラム等に関する。

【背景技術】

【0002】

現実世界の物理空間に存在している物体や人物等を、仮想空間で表現するための技術として、デジタルツイン（Digital Twin）と呼ばれる技術がある。たとえば、デジタルツインでは、ＩｏＴ（Internet of Things）等を活用して、実際に動いている工場の生産ラインや設備等からデータをリアルタイムに収集し、各種のシミュレーションを実行する。仮想空間におけるシミュレーション結果を、現場に通知し、現場の状況を仮想空間にフィードバックする処理を繰り返し実行することで、生産効率を向上させたり、発生し得る事故等を未然に防止したりすることができる。

【0003】

ここで、物理空間に存在している人物を仮想空間で表現する場合、物理空間を撮影したカメラの画像データから、人物を抽出し、抽出した人物の、仮想空間上の位置を推定する従来技術が利用されている。

【0004】

たとえば、従来技術では、画像データから抽出した人物の骨格情報を特定する。骨格情報は、人体モデルで定義された複数の部位（関節）に対して、２次元の座標が設定された情報である。従来技術では、骨格情報の各部位のうち、足元の部位と、腰の部位の座標を用いて、仮想空間上の３次元の骨格情報を推定している。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２２－１７６４８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上述した従来技術では、所定の部位に対して、オクルージョンが発生すると、人物の骨格情報の推定精度が低下するという問題がある。所定の部位は、足元の部位、腰の部位等である。

【0007】

１つの側面では、本発明は、人物の骨格情報の推定精度を向上させることができる特定プログラム、特定方法および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

第１の案では、コンピュータに次の処理を実行させる。コンピュータは、人物が撮影された映像を取得し、取得した映像から、人物の２次元の骨格情報を生成する。コンピュータは、２次元の骨格情報を基にして、人物の腰の位置を基準とした３次元の骨格位置の相対座標を生成する。コンピュータは、人物の複数の所定の部位の３次元の骨格位置の絶対座標を生成する。コンピュータは、人物の隠れていない部位に対応する３次元の骨格位置の絶対座標と、人物の隠れていない部位に対応する３次元の骨格位置の相対座標とを基にして、相対座標と絶対座標との関係性を推定する。コンピュータは、推定された関係性に基づいて、隠れていない部位および所定の部位以外を含む人物の骨格位置の絶対座標を特定する。

【発明の効果】

【0009】

人物の骨格情報の推定精度を向上させることができる。

【図面の簡単な説明】

【0010】

【図1】図１は、本実施例に係るシステムを示す図である。

【図2】図２は、事前処理で利用する画像データの一例を示す図である。

【図3】図３は、３Ｄモデルの一例を示す図である。

【図4】図４は、位置および姿勢の推定結果の一例を示す図である。

【図5】図５は、４種類の座標系の例を示す図である。

【図6】図６は、ホモグラフィ行列を推定する処理を説明するための図である。

【図7】図７は、逐次処理で利用する画像データの一例を示す図である。

【図8】図８は、２次元の骨格情報の一例を示す図である。

【図9】図９は、２次元座標と３次元座標との関係性を説明するための図である。

【図10】図１０は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。

【図11】図１１は、事前処理の処理手順を示すフローチャートである。

【図12】図１２は、逐次処理の処理手順を示すフローチャートである。

【図13】図１３は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0011】

以下に、本願の開示する特定プログラム、特定方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

【実施例0012】

本実施例に係るシステムの一例について説明する。図１は、本実施例に係るシステムを示す図である。たとえば、本実施例のシステムは、カメラ１０と、情報処理装置１００とを有する。カメラ１０と、情報処理装置１００とは、ネットワークを介して相互に接続される。図１では、カメラ１０のみを示すが、本実施例に係るシステムは、更に他のカメラを有していてもよい。

【0013】

カメラ１０は、工場内の所定の位置に設置される。たとえば、工場内には様々な機器が設置される。カメラ１０は、工場内の画像（映像）を撮影し、撮影した画像のデータを、情報処理装置１００に送信する。以下の説明では、画像のデータを「画像データ」と表記する。画像データには、画像データを撮影したカメラ１０を識別するカメラ識別情報が付与される。以下では、画像データを用いて説明を行うが、映像のデータであってもよい。映像のデータは、時系列の画像データを含む情報である。

【0014】

情報処理装置１００は、画像データに含まれる人物の物理空間上の位置を基にして、仮想空間上の位置を推定する装置である。本実施例では、仮想空間上の３次元の座標系を「グローバル座標系」として説明を行う。たとえば、情報処理装置１００は、事前処理と、逐次処理とを実行する。

【0015】

情報処理装置１００は、事前処理によって、人物の複数の部位のうち、各キー部位に対応するホモグラフィ行列をそれぞれ推定する。各ホモグラフィ行列は、人物の各キー部位の２次元の座標を、グローバル座標系の座標に変換する場合に利用される。

【0016】

情報処理装置１００は、逐次処理によって、複数のホモグラフィ行列を基にして推定したグローバル座標系のキー部位の座標のうち、信頼できるキー部位を選択する。信頼できるキー部位は、画像データで隠れていない部位である。

【0017】

情報処理装置１００は、選択したキー部位に対応するローカル座標系の座標と、グローバル座標系の座標との関係から、相似変換パラメータを推定する。相似変換パラメータは、ローカル座標系と、グローバル座標系との関係性を示す情報である。情報処理装置１００は、相似変換パラメータを利用することで、ローカル座標系の各部位の座標を、グローバル座標系の各部位の座標に変換する。

【0018】

以下では、情報処理装置１００が実行する、事前処理と、逐次処理について、より具体的に説明する。

【0019】

情報処理装置１００が実行する事前処理について説明する。情報処理装置１００は、カメラ１０から、人物が映っていないタイミングの画像データであって、工場の機器が映っている画像データを取得する。図２は、事前処理で利用する画像データの一例を示す図である。図２に示すように、画像データ１１には、人物が含まれておらず、工場の機器が含まれている。画像データ１１に含まれる工場の機器を既知とする。

【0020】

情報処理装置１００は、事前に設定されていた、工場の機器の３Ｄモデルを読み込む。図３は、３Ｄモデルの一例を示す図である。たとえば、３Ｄモデル２５のデータフォーマットは、３角形のメッシュの連結により、３次元形状を表現するＳＴＬ／ＯＢＪ形式である。情報処理装置１００は、３Ｄモデル２５の外形特徴を示す複数の線分をそれぞれ「稜線」として抽出する。

【0021】

情報処理装置１００は、カメラ１０の初期のカメラパラメータを基にして、画像データ１１上に、抽出した各稜線を投影する。カメラパラメータは、内部パラメータおよび外部パラメータに対応し、焦点距離ｆ、回転行列Ｒ、並進ベクトルＴが含まれる。情報処理装置１００は、ユーザによる操作を受け付け、画像データ１１から抽出される特徴線と、投影された稜線との合わせこみを行い、カメラパラメータを調整する。特徴線は、エッジ線であり、ＬＳＤ等を基にして、抽出される。

【0022】

図４は、位置および姿勢の推定結果の一例を示す図である。図４に示す例では、カメラパラメータが正しく調整されることで、画像データ１１の各特徴線と、投影された各稜線とが一致している。調整後のカメラパラメータによって、物理空間上の機器の位置および姿勢と、グローバル座標系の機器（３Ｄモデル２５）の位置および姿勢が対応付けられる。

【0023】

続いて、情報処理装置１００は、予め準備した骨格形状データを基にして、人物の頭部、肩、腰の高さを推定する。本実施例では、予め準備する骨格形状データを、成人男性の骨格形状データとする。

【0024】

骨格形状データに関し、頭部の地面からの高さを「ｈ」、肩の地面からの高さを「ｓ」、腰の地面からの高さを「ｗ」とする。情報処理装置１００は、人物の頭部、肩、腰、地表に対応する平面の座標系を、グローバル座標系に配置した機器の３Ｄモデル（たとえば、３Ｄモデル２５）上に設定する。３Ｄモデルは、調整後のカメラパラメータによって、物理空間上の機器の位置および姿勢と一致するように、位置および姿勢が設定されている。

【0025】

図５は、４種類の座標系の例を示す図である。たとえば、グローバル座標系の地面から、機器の３Ｄモデル２５の座標原点までの高さを「ｔ」とする。３Ｄモデル２５を配置する際に利用した調整済みのカメラパラメータの並進ベクトルＴを（ｘ、ｙ、ｚ）とする。

【0026】

情報処理装置１００は、３Ｄモデル２５を配置したグローバル座標系において、平面の座標系をｚ軸方向に「ｈ－ｔ」だけ平行移動させた座標系を「頭部位置座標平面２０ｈ」として設定する。頭部位置座標平面２０ｈに関する並進ベクトルＴｈは、（ｘ、ｙ、ｚ－（ｈ－ｔ））となる。

【0027】

情報処理装置１００は、平面の座標系をｚ軸方向に「ｓ－ｔ」だけ平行移動させた座標系を「肩位置座標平面２０ｓ」として設定する。肩位置座標平面２０ｓに関する並進ベクトルＴｓは、（ｘ、ｙ、ｚ－（ｓ－ｔ））となる。

【0028】

情報処理装置１００は、平面の座標系をｚ軸方向に「ｗ－ｔ」だけ平行移動させた座標系を「腰位置座標平面２０ｗ」として設定する。腰位置座標平面２０ｗの並進ベクトルＴｗは、（ｘ、ｙ、ｚ－（ｗ－ｔ））となる。

【0029】

情報処理装置１００は、平面の座標系をｚ軸方向に「－ｔ」だけ平行移動させた座標系を「地表位置座標平面２０ｇ」として設定する。地表位置座標平面２０ｇの並進ベクトルＴｇは、（ｘ、ｙ、ｚ－（－ｔ））となる。

【0030】

情報処理装置１００は、頭部位置座標平面２０ｈ、肩位置座標平面２０ｓ、腰位置座標平面２０ｗ、地表位置座標平面２０ｇを設定した後に、４種類のホモグラフィ行列Ｈ_ｈ、Ｈ_ｓ，Ｈ_ｗ、Ｈ_ｇを推定する。

【0031】

図６は、ホモグラフィ行列を推定する処理を説明するための図である。図６では、地表位置座標平面２０ｇを用いて、ホモグラフィ行列を推定する処理の説明を行う。情報処理装置１００は、地表位置座標平面２０ｇの４隅の点２０ｇ－１，２０ｇ－２，２０ｇ－３，２０ｇ－４の指定を受け付ける。４隅の点２０ｇ－１～２０ｇ－４に囲まれる（ｘ、ｙ）座標範囲は、人物が移動する領域であり、予め指定されていてもよい。たとえば、ユーザは、入力部を操作して、４隅の点２０ｇ－１～２０ｇ－４を指定する。

【0032】

情報処理装置１００は、透視投影式を基にして、４隅の点２０ｇ－１～２０ｇ－４に対応する画像データ２１上の対応点を推定する。たとえば、情報処理装置１００は、地表位置座標平面２０ｇの点２０ｇ－１に対応する対応点２１ｇ－１を推定する。情報処理装置１００は、地表位置座標平面２０ｇの点２０ｇ－２に対応する対応点２１ｇ－２を推定する。情報処理装置１００は、地表位置座標平面２０ｇの点２０ｇ－３に対応する対応点２１ｇ－３を推定する。情報処理装置１００は、地表位置座標平面２０ｇの点２０ｇ－４に対応する対応点２１ｇ－４を推定する。

【0033】

情報処理装置１００は、地表位置座標平面２０ｇの４隅の点２０ｇ－１～２０ｇ－４と、対応点２１ｇ－１～２１ｇ－４との関係からＤＬＴ（Direct Linear Transformation method）法に基づいて、ホモグラフィ行列Ｈ_ｇを推定する。たとえば、情報処理装置１００は、ＤＬＴ法として、文献「R. Hartley and A. Zisserman. Multiple View Geometry In Computer Vision. Cambridge University Press, second edition, 2003.」に記載された処理を実行する。

【0034】

情報処理装置１００は、地表位置座標平面２０ｇと同様にして、頭部位置座標平面２０ｈ、肩位置座標平面２０ｓ、腰位置座標平面２０ｗのホモグラフィ行列Ｈをそれぞれ推定する。

【0035】

頭部位置座標平面２０ｈに対応するホモグラフィ行列Ｈを「ホモグラフィ行列Ｈ_ｈ」とする。肩位置座標平面２０ｓに対応するホモグラフィ行列Ｈを「ホモグラフィ行列Ｈ_ｓ」とする。腰位置座標平面２０ｗに対応するホモグラフィ行列Ｈを「ホモグラフィ行列Ｈ_ｗ」とする。地表位置座標平面２０ｇに対応するホモグラフィ行列Ｈを「ホモグラフィ行列Ｈ_ｇ」とする。ホモグラフィ行列Ｈは、式（１）に示すように、３行３列の行列である。

【0036】

【数1】

【0037】

上記のように、情報処理装置１００が事前処理を実行することで、頭部位置座標平面２０ｈ、肩位置座標平面２０ｓ、腰位置座標平面２０ｗ、地表位置座標平面２０ｇのホモグラフィ行列Ｈ_ｈ，Ｈ_ｓ，Ｈ_ｗ，Ｈ_ｇが推定される。適宜、ホモグラフィ行列Ｈ_ｈ，Ｈ_ｓ，Ｈ_ｗ，Ｈ_ｇをまとめて、「ホモグラフィ行列Ｈ」と表記する。

【0038】

次に、情報処理装置１００が実行する逐次処理について説明する。情報処理装置１００は、カメラ１０から人物が含まれる画像データを取得する。図７は、逐次処理で利用する画像データの一例を示す図である。情報処理装置１００は、取得した画像データ１２から人物の矩形領域１２ａを抽出する。たとえば、情報処理装置１００は、ＹＯＬＯ（You Only Look Once）に対応する第一機械学習モデルに、画像データを入力し、人物の周囲を囲む矩形領域を抽出する。情報処理装置１００は、文献「Redmon et al., You Only Look Once: Unified, Real-Time Object Detection, In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.779-788, 2016.」に記載されたＹＯＬＯの技術を用いてもよい。

【0039】

情報処理装置１００は、人物の矩形領域を抽出した場合に、人物の矩形領域を基にして、人物の２次元の骨格情報を検出する。たとえば、情報処理装置１００は、文献「Y. Chen et al., Cascaded Pyramid Network for Multi-person Pose Estimation, In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.7103-7112, 2018.」に記載された技術を用いて、２次元の骨格情報を検出してもよい。情報処理装置１００は、入力を人物の矩形領域の画像、出力を２次元の骨格情報とする第二機械学習モデルを用いて、人物の２次元の骨格情報を検出してもよい。

【0040】

図８は、２次元の骨格情報の一例を示す図である。図８に示すように、２次元の骨格情報には、部位（関節）ａｒ１，ａｒ２，ａｒ３，ａｒ４，ａｒ５，ａｒ６，ａｒ７，ａｒ８，ａｒ９が含まれる。部位ａｒ１は、頭部に対応する。部位ａｒ２，ａｒ３は、両肩（左肩、右肩）に対応する。部位ａｒ４，ａｒ５は、腰に対応する。なお、腰は、部位ａｒ４，ａｒ５の間の部位であってもよい。部位ａｒ６，ａｒ７は、両膝（左膝、右膝）に対応する。部位ａｒ８，ａｒ９は、両足（左足、右足）に対応する。

【0041】

情報処理装置１００は、２次元の骨格情報を基にして、基準となる部位の位置に対する相対的な各部位の３次元の座標を示す「ローカル座標系の座標」を推定する。たとえば、基準となる部位を腰とする。情報処理装置１００は、文献「J. Martinez et al., A simple yet effective baseline for 3d human pose estimation, In Proc. IEEE International Conference on Computer Vision (ICCV), pp. 2659 － 2668, 2017.」に記載された処理を実行することで、２次元の骨格情報から、ローカル座標系の座標を推定してもよい。ローカル座標系の座標は「３次元の骨格位置の相対座標」の一例である。

【0042】

情報処理装置１００は、２次元の骨格情報を基にして、グローバル座標系における、キー部位の座標を推定する。キー部位は、頭部、両肩、腰、両足である。グローバル座標系における、グローバル座標系のキー部位の座標は「３次元の骨格位置の絶対座標」の一例である。

【0043】

図９は、２次元座標と３次元座標との関係性を説明するための図である。２次元の骨格情報に含まれるキー部位の座標は、カメラ１０の画像座標系の座標である。画像座標系において、頭部の座標を（ｕ_ｈ，ｖ_ｈ）とする。右肩の座標を（ｕ_ｒｓ，ｖ_ｒｓ）とする。左肩の座標を（ｕ_ｌｓ，ｖ_ｌｓ）とする。腰の座標を（ｕ_ｗ，ｖ_ｗ）とする。右足の座標を（ｕ_ｒａ，ｖ_ｒａ）とする。左足の座標を（ｕ_ｌａ，ｖ_ｌａ）とする。

【0044】

ローカル座標系において、頭部の座標を（ｘ_ｌｈ，ｙ_ｌｈ，ｚ_ｌｈ）とする。右肩の座標を（ｘ_ｌｒｓ，ｙ_ｌｒｓ，ｚ_ｌｒｓ）とする。左肩の座標を（ｘ_ｌｌｓ，ｙ_ｌｌｓ，ｚ_ｌｌｓ）とする。腰の座標を（ｘ_ｌｗ，ｙ_ｌｗ，ｚ_ｌｗ）とする。なお、腰の座標を基準としている場合、ローカル座標系における腰の座標は（０，０，０）となる。右足の座標を（ｘ_ｌｒａ，ｙ_ｌｒａ，ｚ_ｌｒａ）とする。左足の座標を（ｘ_ｌｌａ，ｙ_ｌｌａ，ｚ_ｌｌａ）とする。

【0045】

グローバル座標系では、骨格形状データを利用することで、頭部、両肩、腰、足元に関するｚ軸の値が既知となる。グローバル座標系において、頭部の座標を（ｘ_ｇｈ，ｙ_ｇｈ，ｈ）とする。右肩の座標を（ｘ_ｇｒｓ，ｙ_ｇｒｓ，ｓ）とする。左肩の座標を（ｘ_ｇｌｓ，ｙ_ｇｌｓ，ｓ）とする。腰の座標を（ｘ_ｇｗ，ｙ_ｇｗ，ｗ）とする。右足の座標を（ｘ_ｇｒａ，ｙ_ｇｒａ，０）とする。左足の座標を（ｘ_ｇｌａ，ｙ_ｇｌａ，０）とする。

【0046】

情報処理装置１００は、ホモグラフィ行列Ｈを基にして、２次元の骨格情報から、グローバル座標系のキー部位の座標に変換する。たとえば、情報処理装置１００は、式（２）を基にして、グローバル座標系の頭部の３次元座標のうち、ｘ、ｙ座標を推定する。なお、頭部の３次元座標のうち、ｚ座標は「ｈ」となる。

【0047】

【数2】

【0048】

情報処理装置１００は、式（３）を基にして、グローバル座標系の右肩の３次元座標のうち、ｘ、ｙ座標を推定する。なお、右肩の３次元座標のうち、ｚ座標は「ｓ」となる。

【0049】

【数3】

【0050】

情報処理装置１００は、式（４）を基にして、グローバル座標系の左肩の３次元座標のうち、ｘ、ｙ座標を推定する。なお、左肩の３次元座標のうち、ｚ座標は「ｓ」となる。

【0051】

【数4】

【0052】

情報処理装置１００は、式（５）を基にして、グローバル座標系の腰の３次元座標のうち、ｘ、ｙ座標を推定する。なお、腰の３次元座標のうち、ｚ座標は「ｗ」となる。

【0053】

【数5】

【0054】

情報処理装置１００は、式（６）を基にして、グローバル座標系の右足の３次元座標のうち、ｘ、ｙ座標を推定する。なお、右足の３次元座標のうち、ｚ座標は「０」となる。

【0055】

【数6】

【0056】

情報処理装置１００は、式（７）を基にして、グローバル座標系の左足の３次元座標のうち、ｘ、ｙ座標を推定する。なお、左足の３次元座標のうち、ｚ座標は「０」となる。

【0057】

【数7】

【0058】

情報処理装置１００は、キー部位（頭部、両肩、腰、両足）のグローバル座標系の座標を算出した後に、各キー部位の座標の信頼度を算出する。信頼度の値の範囲を「０～１」とする。情報処理装置１００は、各キー部位の座標を基にして、各キー部位を配置し、各キー部位の位置関係から、より適切なキー部位の座標に対して、より大きい信頼度を設定する。たとえば、情報処理装置１００は、腰と頭部との距離、腰と両肩（右肩、左肩）との距離、腰と右足との距離が許容される距離であり、腰と左足との距離が許容される範囲を超える場合、腰、両肩、右足の座標の信頼度を、左足の信頼度よりも大きくする。

【0059】

なお、情報処理装置１００は、その他の従来技術を利用して、各キー部位の座標の信頼度を算出してもよい。オクルージョンの影響を受けるキー部位の座標の信頼度は、オクルージョンの影響を受けていないキー部位の座標の信頼度よりも小さくなる。たとえば、画像データに含まれる人物の右足が隠れ、左足が隠れていない場合、右足の座標の信頼度は、左足の座標の信頼度よりも小さくなる。

【0060】

情報処理装置１００は、キー部位のうち、信頼度が閾値以上となる座標に対応するキー部位を選択する。情報処理装置１００は、信頼度が閾値以上となる座標が、３点未満の場合には、キー部位の座標を、信頼度の大きい順にソートし、上位３つの座標に対応するキー部位を選択する。以下の説明では、信頼度に基づいて選択されたキー部位を、「選択部位」と表記する。

【0061】

情報処理装置１００は、選択部位のローカル座標系の座標と、選択部位のグローバル座標系の座標との関係を基にして、ローカル座標系の座標を、グローバル座標系の座標に変換するための相似変換パラメータを推定する。相似変換パラメータには、スケールｓ_ｌｇ、回転行列Ｒ_ｌｇ，並進ベクトルＴ_ｌｇが含まれる。たとえば、情報処理装置１００は、文献「K.Mardia et al., Multivariate Analysis. Academic Press, 1979.」に記載された技術を用いて、相似変換パラメータを推定してもよい。

【0062】

情報処理装置１００は、相似変換パラメータを推定することで、式（８）によって、ローカル座標系の座標（ｘ_ｌ，ｙ_ｌ，ｚ_ｌ）を、グローバル座標系の座標（ｘ_ｇ，ｙ_ｇ，ｚ_ｇ）に変換することができる。

【0063】

【数8】

【0064】

上記のように、本実施例に係る情報処理装置１００は、複数のホモグラフィ行列Ｈを基にして推定したグローバル座標系のキー部位の座標のうち、信頼度が閾値以上となるキー部位を選択する。情報処理装置１００は、選択したキー部位に対応するローカル座標系の座標と、グローバル座標系の座標との関係から、相似変換パラメータを推定し、相似変換パラメータを利用することで、ローカル座標系の各部位の座標を、グローバル座標系の各部位の座標に変換する。情報処理装置１００は、オクルージョンが発生したキー部位以外の信頼性の高いキー部位の座標を用いて、相似変換パラメータを推定するため、グローバル座標系の人物の各部位の３次元座標を精度よく推定することができる。

【0065】

次に、上述した事前処理および逐次処理を実行する情報処理装置１００の構成例について説明する。図１０は、本実施例に係る情報処理装置の構成を示す機能ブロック図である。図１０に示すように、この情報処理装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

【0066】

通信部１１０は、ネットワークを介して、カメラ１０、外部装置等との間でデータ通信を実行する。通信部１１０は、ＮＩＣ（Network Interface Card）等である。たとえば、通信部１１０は、カメラ１０から、画像データを受信する。

【0067】

入力部１２０は、情報処理装置１００の制御部１５０に各種の情報を入力する入力装置である。たとえば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。ユーザは、入力部１２０を操作して、特徴線と稜線との合わせこみに関する各種の操作を行う。

【0068】

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。たとえば、表示部１３０は、画像データ上の特徴線と稜線とを表示する。

【0069】

記憶部１４０は、映像バッファ１４１、３Ｄモデル１４２、骨格形状データ１４３、ホモグラフィテーブル１４４、カメラパラメータ１４５、相似変換パラメータ１４６、骨格データテーブル１４７を有する。記憶部１４０は、メモリなどの記憶装置である。

【0070】

映像バッファ１４１は、カメラ１０が撮影した画像データを保持する。たとえば、映像バッファ１４１は、カメラ識別情報に対応付けて、画像データを保持する。

【0071】

３Ｄモデル１４２は、図３で説明した、３Ｄモデル２５に対応する。たとえば、３Ｄモデル１４２は、ＣＡＤデータに基づいて生成される。ＣＡＤデータは、直線識別情報と、始点座標と、終点座標とを対応付ける。直線識別情報は、３次元ＣＡＤモデル１４３の直線（辺）を識別する情報である。始点座標は、直線識別情報によって識別される直線の始点の３次元座標である。終点座標は、直線識別情報によって識別される直線の終点の３次元座標である。

【0072】

骨格形状データ１４３は、人物の各部位と、各部位の３次元の座標とを対応付けた情報である。人物の各部位は、図８で説明した人体モデルのａｒ１～ａｒ９に対応する。なお、腰は、部位ａｒ４，ａｒ５の間の部位であってもよい。

【0073】

ホモグラフィテーブル１４４は、ホモグラフィ行列Ｈ_ｈ，Ｈ_ｓ，Ｈ_ｗ，Ｈ_ｇを格納する。

【0074】

カメラパラメータ１４５は、カメラ１０の外部パラメータおよび内部パラメータに対し、焦点距離ｆ、回転Ｒ、並進Ｔを含む。カメラパラメータ１４５は、事前処理における、特徴線と、稜線との合わせこみによって、決定される。カメラパラメータ１４５の初期値は予め設定されているものとする。

【0075】

相似変換パラメータ１４６は、スケールｓ_ｌｇ、回転行列Ｒ_ｌｇ，並進ベクトルＴ_ｌｇが含まれる。相似変換パラメータ１４６は、逐次処理によって、決定される。

【0076】

骨格データテーブル１４７は、グローバル座標系における人物の時系列の骨格情報を保持する。

【0077】

制御部１５０は、取得部１５１と、事前処理部１５２と、逐次処理部１５３とを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等である。

【0078】

取得部１５１は、カメラ１０から画像データを取得する。画像データには、画像データを撮影したカメラ１０のカメラ識別情報が設定されている。取得部１５１は、カメラ識別情報に対応付けて、画像データを映像バッファ１４１に格納する。

【0079】

事前処理部１５２は、上述した事前処理を実行することで、ホモグラフィ行列Ｈ_ｈ，Ｈ_ｓ，Ｈ_ｗ，Ｈ_ｇを推定し、推定した結果をホモグラフィテーブル１４４に登録する。

【0080】

たとえば、事前処理部１５２は、映像バッファ１４１から、人物が映っていない画像データ１１を取得し、３Ｄモデル１４２を読み込む。事前処理部１５２は、画像データ１１から特徴線を抽出し、画像データ上に、３Ｄモデル１４２の稜線を投影する。事前処理部１５２は、画像データ上の特徴線と、投影された稜線とを表示部１３０に表示させる。ユーザは、表示部１３０に表示された特徴線と、稜線との位置が合うように、入力部１２０を操作して、カメラパラメータ１４５を更新する。事前処理部１５２は、カメラパラメータ１４５が更新される度に、稜線を投影し直す。事前処理部１５２は、係る処理を繰り返すことで、画像データ１１から抽出される特徴線と、投影された稜線との合わせこみを行い、カメラパラメータ１４５を調整する。

【0081】

事前処理部１５２は、骨格形状データ１４３を基にして、人物の頭部、肩、腰の高さを推定する。事前処理部１５２は、図６で説明した処理を実行することで、頭部位置座標平面２０ｈ、肩位置座標平面２０ｓ、腰位置座標平面２０ｗ、地表位置座標平面２０ｇのホモグラフィ行列Ｈ_ｈ，Ｈ_ｓ，Ｈ_ｗ，Ｈ_ｇを推定する。事前処理部１５２は、推定した結果をホモグラフィテーブル１４４に登録する。

【0082】

逐次処理部１５３は、上述した逐次処理を実行することで、相似変換パラメータ１４６を推定する。

【0083】

たとえば、逐次処理部１５３は、映像バッファ１４１から、人物が含まれる画像データを取得し、画像データを、第一機械学習モデルに入力することで、人物の矩形領域を抽出する。逐次処理部１５３は、人物の矩形領域の画像を、第二機械学習モデルに入力することで、人物の２次元の骨格情報を検出する。

【0084】

逐次処理部１５３は、２次元の骨格情報を基にして、ローカル座標系の各キー部位（頭部、両肩、腰、両足）の座標を推定する。また、逐次処理部１５３は、２次元の骨格情報を基にして、グローバル座標系の各キー部位の座標を推定する。２次元の骨格情報は、画像座標系の座標に対応する。画像座標系、ローカル座標系、グローバル座標系の関係は、図９で説明した。

【0085】

ここで、逐次処理部１５３は、２次元の骨格情報を基にして、グローバル座標系の各キー部位の座標を推定する場合、ホモグラフィテーブル１４４に格納されたホモグラフィ行列Ｈを利用する。逐次処理部１５３は、式（１）～式（７）を基にして、各キー部位の３次元座標（グローバル座標系の座標）を推定する。

【0086】

逐次処理部１５３は、キー部位のグローバル座標系の座標を算出した後に、各キー部位の座標の信頼度を算出する。逐次処理部１５３は、キー部位のうち、信頼度が閾値以上となる座標に対応するキー部位（選択部位）を選択する。逐次処理部１５３は、選択部位のローカル座標系の座標と、選択部位のグローバル座標系の座標との関係を基にして、ローカル座標系の座標を、グローバル座標系の座標に変換するための相似変換パラメータ１４６を推定する。逐次処理部１５３は、推定した相似変換パラメータ１４６を、記憶部１４０に登録する。

【0087】

逐次処理部１５３は、相似変換パラメータ１４６と、式（８）とを基にして、ローカル座標系の各部位の座標を、グローバル座標系の各部位の座標に変換する。逐次処理部１５３は、係る処理を実行することで、人物の骨格情報であって、グローバル座標系の座標に変換された骨格情報を推定する。逐次処理部１５３は、推定した骨格情報を、骨格データテーブル１４７に格納する。逐次処理部１５３は、映像バッファ１４１に格納された複数の画像データに対して、上記処理を繰り返し実行する。

【0088】

次に、本実施例に係る情報処理装置１００の処理手順の一例について説明する。図１１は、事前処理の処理手順を示すフローチャートである。図１１に示すように、情報処理装置１００の事前処理部１５２は、人物が含まれない画像データを映像バッファ１４１から取得する（ステップＳ１０１）。

【0089】

事前処理部１５２は、３Ｄモデル１４２を読み込み、稜線を抽出する（ステップＳ１０２）。事前処理部１５２は、画像データから特徴線を抽出する（ステップＳ１０３）。事前処理部１５２は、カメラパラメータ１４５を基にして、稜線を画像データ上に射影する（ステップＳ１０４）。

【0090】

事前処理部１５２は、ユーザ操作による、特徴線と稜線との合わせこみを受け付け、カメラパラメータ１４５を調整し、グローバル座標系における３Ｄモデル１４２の位置および姿勢を推定する（ステップＳ１０５）。

【0091】

事前処理部１５２は、複数のキー部位に対応する平面の座標系を設定し、各座標系に対応するホモグラフィ行列を推定する（ステップＳ１０６）。事前処理部１５２は、ホモグラフィ行列を、ホモグラフィテーブル１４４に格納する（ステップＳ１０７）。

【0092】

図１２は、逐次処理の処理手順を示すフローチャートである。図１２に示すように、情報処理装置１００の逐次処理部１５３は、人物が含まれる画像データを映像バッファ１４１から取得する（ステップＳ２０１）。

【0093】

逐次処理部１５３は、画像データから人物の矩形領域を抽出する（ステップＳ２０２）。逐次処理部１５３は、人物の矩形領域の画像を基にして、２次元の骨格情報を検出する（ステップＳ２０３）。逐次処理部１５３は、２次元の骨格情報を基にして、ローカル座標系の各キー部位の座標を推定する（ステップＳ２０４）。

【0094】

逐次処理部１５３は、２次元の骨格情報と、複数のホモグラフィ行列とを基にして、グローバル座標系の各キー部位の座標を推定する（ステップＳ２０５）。逐次処理部１５３は、各キー部位の座標を基にして信頼度を算出する（ステップＳ２０６）。

【0095】

逐次処理部１５３は、信頼度が閾値以上となる座標に対応するキー部位を選択する（ステップＳ２０７）。逐次処理部１５３は、選択したキー部位を基にしてローカル座標系の選択部位の座標と、グローバル座標系の選択部位の座標との関係から、相似変換パラメータを推定する（ステップＳ２０８）。

【0096】

逐次処理部１５３は、相似変換パラメータを基にして、ローカル座標系の各部位の座標を、グローバル座標系の各部位の座標に変換した骨格情報を算出する（ステップＳ２０９）。

【0097】

逐次処理部１５３は、逐次処理を継続する場合には（ステップＳ２１０，Ｙｅｓ）、ステップＳ２０１に移行する。一方、逐次処理部１５３は、逐次処理を継続しない場合には（ステップＳ２１０，Ｎｏ）、処理を終了する。

【0098】

次に、本実施例に係る情報処理装置１００の効果について説明する。情報処理装置１００は、映像データに含まれる人物の２次元の骨格情報を基にして、ローカル座標系のキー部位の座標と、グローバル座標系のキー部位の座標とを生成する。情報処理装置１００は、複数のキー部位のうち、隠れていないキー部位に関するローカル座標系の座標と、グローバル座標系の座標との関係から、相似変換パラメータを推定し、相似変換パラメータを用いて、各部位のグローバル座標系の座標を特定する。これによって、情報処理装置１００は、オクルージョンが発生したキー部位以外の信頼性の高いキー部位の座標を用いて、相似変換パラメータを推定するため、グローバル座標系の人物の各部位の３次元座標を精度よく推定することができる。

【0099】

情報処理装置１００は、グローバル座標系の各キー部位の座標の位置関係を基にして、各キー部位に対する座標の信頼度を特定し、信頼度を基にして、複数のキー部位から、人物の隠れていないキー部位を特定する。これによって、オクルージョンの発生していないキー部位を適切に特定することができる。

【0100】

情報処理装置１００は、信頼度を基にして、少なくとも３つ以上のキー部位を特定する。これによって、相似変換パラメータを算出することができる。

【0101】

情報処理装置１００は、２次元の骨格情報と、複数のホモグラフィ行列Ｈを基にしてグローバル座標系のキー部位の座標を生成する。これによって、各キー部位に対応したグローバル座標系のキー部位の座標を求めることができる。

【0102】

ところで、上述した情報処理装置１００の処理内容は一例であり、情報処理装置１００はその他の処理を実行してもよい。たとえば、情報処理装置１００は、成人男性の骨格形状データを用いて、グローバル座標系のｚ軸の各値ｈ、ｓ、ｗを設定していたが、これに限定されるものではない。情報処理装置１００は、性別、年齢等の属性毎に、骨格形状データを準備しておき、画像データに含まれる人物の属性に応じて、骨格形状データを選択して利用してもよい。

【0103】

また、情報処理装置１００は、２次元の骨格情報を基にして、人物の状態を推定し、直立状態の場合に、上記処理を実行して、グローバル座標系の座標を特定してもよい。情報処理装置１００は、２次元の各部位（関節）の座標と、各部位の角度を特徴量とし、文献「G. Tatkare et al., Gender Recognition and Age Approximation using Deep Learning Techniques. International Journal of Engineering Research and. V9. 10.17577/IJERTV9IS040268. 2020.」を用いて、直立状態であるか否かを判定してもよい。人物が直立状態の場合に限定して、グローバル座標系の座標を特定することで、座標の精度を向上させることができる。

【0104】

次に、上述した情報処理装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１３は、実施例の情報処理装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【0105】

図１３に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、有線または無線ネットワークを介して、カメラ１０、外部装置等との間でデータの授受を行う通信装置３０４と、インタフェース装置３０５とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１～３０７は、バス３０８に接続される。

【0106】

ハードディスク装置３０７は、取得プログラム３０７ａ、事前処理プログラム３０７ｂ、逐次処理プログラム３０７ｃを有する。また、ＣＰＵ３０１は、各プログラム３０７ａ～３０７ｄを読み出してＲＡＭ３０６に展開する。

【0107】

取得プログラム３０７ａは、取得プロセス３０６ａとして機能する。事前処理プログラム３０７ｂは、事前処理プロセス３０６ｂとして機能する。逐次処理プログラム３０７ｃは、逐次処理プロセス３０６ｃとして機能する。

【0108】

取得プロセス３０６ａの処理は、取得部１５１の処理に対応する。事前処理プロセス３０６ｂの処理は、事前処理部１５２の処理に対応する。逐次処理プロセス３０６ｃの処理は、逐次処理部１５３の処理に対応する。

【0109】

なお、各プログラム３０７ａ～３０７ｃについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくても良い。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ～３０７ｃを読み出して実行するようにしてもよい。

【0110】

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0111】

（付記１）人物が撮影された映像を取得し、
取得した前記映像から、前記人物の２次元の骨格情報を生成し、
前記２次元の骨格情報を基にして、前記人物の腰の位置を基準とした３次元の骨格位置の相対座標を生成し、
前記人物の複数の所定の部位の３次元の骨格位置の絶対座標を生成し、
前記人物の隠れていない部位に対応する前記３次元の骨格位置の絶対座標と、前記人物の隠れていない部位に対応する前記３次元の骨格位置の相対座標とを基にして、前記相対座標と前記絶対座標との関係性を推定し、
推定された前記関係性に基づいて、前記隠れていない部位および前記所定の部位以外を含む前記人物の骨格位置の絶対座標を特定する
処理をコンピュータに実行させることを特徴とする特定プログラム。

【0112】

（付記２）前記人物の複数の所定の部位の３次元の骨格位置の絶対座標の位置関係を基にして、各部位に対する絶対座標の信頼度を特定し、各部位の骨格位置の絶対座標に対する信頼度を基にして、前記人物の複数の所定の部位から、前記人物の隠れていない部位を特定する処理を更にコンピュータに実行させることを特徴とする付記１に記載の特定プログラム。

【0113】

（付記３）前記関係性を推定する処理は、前記各部位の骨格位置の絶対座標に対する信頼度を基にして、少なくとも３つの部位の骨格位置の絶対座標を選択する処理を更に実行することを特徴とする付記２に記載の特定プログラム。

【0114】

（付記４）前記絶対座標を生成する処理は、前記人物の複数の所定の部位の座標系にそれぞれ対応する複数のホモグラフィであって、前記映像上の位置に対応する仮想空間上の位置を定義した前記複数のホモグラフィと、前記２次元の骨格情報とを基にして、前記３次元の骨格位置の絶対座標を生成することを特徴とする付記１に記載の特定プログラム。

【0115】

（付記５）前記絶対座標を生成する処理は、前記人物の頭部、両肩、腰、両足を、前記複数の所定の部位とし、前記複数の所定の部位の３次元の骨格位置の絶対座標を生成することを特徴とする付記４に記載の特定プログラム。

【0116】

（付記６）人物が撮影された映像を取得し、
取得した前記映像から、前記人物の２次元の骨格情報を生成し、
前記２次元の骨格情報を基にして、前記人物の腰の位置を基準とした３次元の骨格位置の相対座標を生成し、
前記人物の複数の所定の部位の３次元の骨格位置の絶対座標を生成し、
前記人物の隠れていない部位に対応する前記３次元の骨格位置の絶対座標と、前記人物の隠れていない部位に対応する前記３次元の骨格位置の相対座標とを基にして、前記相対座標と前記絶対座標との関係性を推定し、
推定された前記関係性に基づいて、前記隠れていない部位および前記所定の部位以外を含む前記人物の骨格位置の絶対座標を特定する
処理をコンピュータが実行することを特徴とする特定方法。

【0117】

（付記７）前記人物の複数の所定の部位の３次元の骨格位置の絶対座標の位置関係を基にして、各部位に対する絶対座標の信頼度を特定し、各部位の骨格位置の絶対座標に対する信頼度を基にして、前記人物の複数の所定の部位から、前記人物の隠れていない部位を特定する処理を更にコンピュータが実行することを特徴とする付記６に記載の特定方法。

【0118】

（付記８）前記関係性を推定する処理は、前記各部位の骨格位置の絶対座標に対する信頼度を基にして、少なくとも３つの部位の骨格位置の絶対座標を選択する処理を更に実行することを特徴とする付記７に記載の特定方法。

【0119】

（付記９）前記絶対座標を生成する処理は、前記人物の複数の所定の部位の座標系にそれぞれ対応する複数のホモグラフィであって、前記映像上の位置に対応する仮想空間上の位置を定義した前記複数のホモグラフィと、前記２次元の骨格情報とを基にして、前記３次元の骨格位置の絶対座標を生成することを特徴とする付記６に記載の特定方法。

【0120】

（付記１０）前記絶対座標を生成する処理は、前記人物の頭部、両肩、腰、両足を、前記複数の所定の部位とし、前記複数の所定の部位の３次元の骨格位置の絶対座標を生成することを特徴とする付記９に記載の特定方法。

【0121】

（付記１１）人物が撮影された映像を取得し、
取得した前記映像から、前記人物の２次元の骨格情報を生成し、
前記２次元の骨格情報を基にして、前記人物の腰の位置を基準とした３次元の骨格位置の相対座標を生成し、
前記人物の複数の所定の部位の３次元の骨格位置の絶対座標を生成し、
前記人物の隠れていない部位に対応する前記３次元の骨格位置の絶対座標と、前記人物の隠れていない部位に対応する前記３次元の骨格位置の相対座標とを基にして、前記相対座標と前記絶対座標との関係性を推定し、
推定された前記関係性に基づいて、前記隠れていない部位および前記所定の部位以外を含む前記人物の骨格位置の絶対座標を特定する
処理を実行する制御部を有する情報処理装置。

【0122】

（付記１２）前記制御部は、前記人物の複数の所定の部位の３次元の骨格位置の絶対座標の位置関係を基にして、各部位に対する絶対座標の信頼度を特定し、各部位の骨格位置の絶対座標に対する信頼度を基にして、前記人物の複数の所定の部位から、前記人物の隠れていない部位を特定する処理を更に実行することを特徴とする付記１１に記載の情報処理装置。

【0123】

（付記１３）前記関係性を推定する処理は、前記各部位の骨格位置の絶対座標に対する信頼度を基にして、少なくとも３つの部位の骨格位置の絶対座標を選択する処理を更に実行することを特徴とする付記１２に記載の情報処理装置。

【0124】

（付記１４）前記絶対座標を生成する処理は、前記人物の複数の所定の部位の座標系にそれぞれ対応する複数のホモグラフィであって、前記映像上の位置に対応する仮想空間上の位置を定義した前記複数のホモグラフィと、前記２次元の骨格情報とを基にして、前記３次元の骨格位置の絶対座標を生成することを特徴とする付記１１に記載の情報処理装置。

【0125】

（付記１５）前記絶対座標を生成する処理は、前記人物の頭部、両肩、腰、両足を、前記複数の所定の部位とし、前記複数の所定の部位の３次元の骨格位置の絶対座標を生成することを特徴とする付記１４に記載の情報処理装置。

【符号の説明】

【0126】

１００ 情報処理装置
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 映像バッファ
１４２ ３Ｄモデル
１４３ 骨格形状データ
１４４ ホモグラフィテーブル
１４５ カメラパラメータ
１４６ 相似変換パラメータ
１４７ 骨格データテーブル
１５０ 制御部
１５１ 取得部
１５２ 事前処理部
１５３ 逐次処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】