特開 2024-78348 情報処理プログラム、情報処理方法、および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024078348

(43)【公開日】2024-06-10

(54)【発明の名称】情報処理プログラム、情報処理方法、および情報処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240603BHJP

   G06F 16/73 20190101ALI20240603BHJP

【ＦＩ】

G06T7/00 660B

G06F16/73

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022190856

(22)【出願日】2022-11-29

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100104190

【弁理士】

【氏名又は名称】酒井 昭徳

(72)【発明者】

【氏名】▲高▼橋 悟

(72)【発明者】

【氏名】伊海 佳昭

【テーマコード（参考）】

5B175

5L096

【Ｆターム（参考）】

5B175DA04

5L096AA06

5L096BA02

5L096CA02

5L096DA02

5L096FA69

5L096HA09

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】特定の行動を精度よく認識するモデルを学習し易くすること。
【解決手段】情報処理装置１００は、第１人物が映った映像における、第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を特定する。情報処理装置１００は、特定した左右対となる２つの身体部位のそれぞれの身体部位の位置情報の和を示す第１成分１１０を生成する。情報処理装置１００は、特定した左右対となる２つの身体部位のそれぞれの身体部位の位置情報の差を示す第２成分１２０の絶対値を示す第３成分１３０を生成する。情報処理装置１００は、生成した第１成分１１０と、生成した第３成分１３０とに基づいて、モデルを学習する。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１人物が映った映像を取得し、
取得した前記映像を分析することにより、前記映像における、前記第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を特定し、
特定した前記それぞれの身体部位の位置情報の和を示す第１成分を生成し、
特定した前記それぞれの身体部位の位置情報の差を示す第２成分の絶対値を示す第３成分を生成し、
生成した前記第１成分と、生成した前記第３成分とに基づいて、第２人物が映った映像から前記第２人物の姿勢情報を出力するモデルを学習する、
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【請求項2】

前記学習する処理は、
生成した前記第１成分と、前記第２成分と、生成した前記第３成分とに基づいて、前記モデルを学習する、ことを特徴とする請求項１に記載の情報処理プログラム。

【請求項3】

前記特定する処理は、
取得した前記映像を分析することにより、前記映像における、前記それぞれの身体部位の多次元空間上の位置を表す、それぞれ異なる軸方向の複数の成分値を示す位置情報を特定する、ことを特徴とする請求項１または２に記載の情報処理プログラム。

【請求項4】

前記第１成分を生成する処理は、
前記軸方向ごとに、前記それぞれの身体部位の位置情報が示す前記軸方向の成分値の和を用いた指標値を算出し、算出した当該指標値を組み合わせた前記第１成分を生成し、
前記第３成分を生成する処理は、
前記軸方向ごとに、前記それぞれの身体部位の位置情報が示す前記軸方向の成分値の差を用いた指標値を算出し、算出した当該指標値の絶対値を組み合わせた前記第３成分を生成する、ことを特徴とする請求項３に記載の情報処理プログラム。

【請求項5】

前記２つの身体部位は、左右対となる異なる身体部位の組み合わせである、ことを特徴とする請求項１または２に記載の情報処理プログラム。

【請求項6】

第１人物が映った映像を取得し、
取得した前記映像を分析することにより、前記映像における、前記第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を特定し、
特定した前記それぞれの身体部位の位置情報の和を示す第１成分を生成し、
特定した前記それぞれの身体部位の位置情報の差を示す第２成分の絶対値を示す第３成分を生成し、
生成した前記第１成分と、生成した前記第３成分とに基づいて、第２人物が映った映像から前記第２人物の姿勢情報を出力するモデルを学習する、
処理をコンピュータが実行することを特徴とする情報処理方法。

【請求項7】

第１人物が映った映像を取得し、
取得した前記映像を分析することにより、前記映像における、前記第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を特定し、
特定した前記それぞれの身体部位の位置情報の和を示す第１成分を生成し、
特定した前記それぞれの身体部位の位置情報の差を示す第２成分の絶対値を示す第３成分を生成し、
生成した前記第１成分と、生成した前記第３成分とに基づいて、第２人物が映った映像から前記第２人物の姿勢情報を出力するモデルを学習する、
制御部を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理プログラム、情報処理方法、および情報処理装置に関する。

【背景技術】

【0002】

従来、人物が映った映像を解析することにより、映像の各フレームにおける人物の骨格情報を検出する技術がある。また、入力された人物の骨格情報に応じて、人物の行動を認識する機械学習モデルを学習および利用する技術がある。

【0003】

先行技術としては、例えば、複数の身体部位それぞれに対応する座標のうち、予め定められた複数の基準部位に対応する座標を結ぶことにより形成される基準軸を対象として、複数の身体部位それぞれに対応する座標を線対称となる座標に変換するものがある。また、例えば、入力画像における、一対の垂直線および斜線の周囲に対応する領域内の画素と周囲外の領域内の画素とに基づいて、対称線分図形の存在の有無を判定する技術がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２２－６９１９号公報

【特許文献2】特開２０１１－６５４３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、機械学習モデルを用いて、人物の特定の行動を精度よく認識することが難しい場合がある。例えば、「右手で物体を掴む」という行動と、「左手で物体を掴む」という行動とを、「片手で物体を掴む」という同一の行動として精度よく認識する機械学習モデルを学習することが難しい。

【0006】

１つの側面では、本発明は、特定の行動を精度よく認識するモデルを学習し易くすることを目的とする。

【課題を解決するための手段】

【0007】

１つの実施態様によれば、第１人物が映った映像を取得し、取得した前記映像を分析することにより、前記映像における、前記第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を特定し、特定した前記それぞれの身体部位の位置情報の和を示す第１成分を生成し、特定した前記それぞれの身体部位の位置情報の差を示す第２成分の絶対値を示す第３成分を生成し、生成した前記第１成分と、生成した前記第３成分とに基づいて、第２人物が映った映像から前記第２人物の姿勢情報を出力するモデルを学習する情報処理プログラム、情報処理方法、および情報処理装置が提案される。

【発明の効果】

【0008】

一態様によれば、特定の行動を精度よく認識するモデルを学習し易くすることが可能になる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施の形態にかかる情報処理方法の一実施例を示す説明図である。

【図2】図２は、情報処理システム２００の一例を示す説明図である。

【図3】図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。

【図4】図４は、映像撮影装置２０１のハードウェア構成例を示すブロック図である。

【図5】図５は、情報処理装置１００の機能的構成例を示すブロック図である。

【図6】図６は、情報処理装置１００の動作の流れを示す説明図である。

【図7】図７は、ペア管理テーブル７００の記憶内容の一例を示す説明図である。

【図8】図８は、それぞれの骨格の座標情報を取得する一例を示す説明図である。

【図9】図９は、座標情報を変換する一例を示す説明図（その１）である。

【図10】図１０は、座標情報を変換する一例を示す説明図（その２）である。

【図11】図１１は、情報処理装置１００の効果を表す数値例を示す説明図（その１）である。

【図12】図１２は、情報処理装置１００の効果を表す数値例を示す説明図（その２）である。

【図13】図１３は、情報処理装置１００の効果を表す数値例を示す説明図（その３）である。

【図14】図１４は、情報処理装置１００の効果を表す数値例を示す説明図（その４）である。

【図15】図１５は、情報処理装置１００の効果を表す数値例を示す説明図（その５）である。

【図16】図１６は、情報処理装置１００の効果を表す数値例を示す説明図（その６）である。

【図17】図１７は、情報処理装置１００の効果を表す数値例を示す説明図（その７）である。

【図18】図１８は、情報処理装置１００の効果を表す数値例を示す説明図（その８）である。

【図19】図１９は、情報処理装置１００の効果を表す数値例を示す説明図（その９）である。

【図20】図２０は、情報処理装置１００の効果を表す数値例を示す説明図（その１０）である。

【図21】図２１は、学習処理手順の一例を示すフローチャートである。

【図22】図２２は、認識処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に、図面を参照して、本発明にかかる情報処理プログラム、情報処理方法、および情報処理装置の実施の形態を詳細に説明する。

【0011】

（実施の形態にかかる情報処理方法の一実施例）
図１は、実施の形態にかかる情報処理方法の一実施例を示す説明図である。情報処理装置１００は、モデルを学習するためのコンピュータである。情報処理装置１００は、例えば、サーバ、または、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などである。

【0012】

モデルは、例えば、入力された人物の骨格情報に応じて、人物の行動を認識する機会学習モデルである。骨格情報は、例えば、人物が有する複数の骨格のそれぞれの骨格の位置を表す座標値を含む。骨格の位置は、例えば、首、頭、右肩、左肩、右肘、左肘、右手、左手、右膝、左膝、右足、または、左足などの位置である。

【0013】

モデルは、例えば、顧客である人物の行動を認識し、マーケティングを実施すること、介護対象である人物の行動を認識し、当該人物の転倒などを検出すること、または、監視カメラに映った人物の行動を認識し、不審者を発見することに利用することが考えられる。従って、入力された人物の骨格情報に応じて、人物の行動を精度よく認識可能なモデルを学習することが望まれる。

【0014】

しかしながら、従来では、入力された人物の骨格情報に応じて、人物の行動を精度よく認識可能なモデルを学習することが難しい場合がある。このため、学習したモデルを用いても、人物の特定の行動を精度よく認識することが難しいことがある。

【0015】

例えば、人物の行動を認識するにあたって、左右対となる２つの身体部位のそれぞれの身体部位に関する同種の行動を、同一の行動として認識することが好ましい場合がある。具体的には、「右手で物体を掴む」という行動と、「左手で物体を掴む」という行動とを、「片手で物体を掴む」という同一の行動として認識することが好ましい場合がある。

【0016】

従来では、左右対となる２つの身体部位のそれぞれの身体部位に関する同種の行動を、同一の行動として精度よく認識可能なモデルを学習することが難しい。具体的には、「右手で物体を掴む」という行動と、「左手で物体を掴む」という行動とを、「片手で物体を掴む」という同一の行動として精度よく認識可能なモデルを学習することが難しい。

【0017】

これに対し、例えば、左右対となる２つの身体部位のうち、それぞれ異なる身体部位で同種の行動を行った場合に対応する２つの骨格情報に、同一の行動を示すラベルを対応付けた学習データに基づいて、モデルを学習する手法が考えられる。具体的には、「右手で物体を掴む」という第１行動を行った際の第１骨格情報に、「片手で物体を掴む」という行動を示すラベルを対応付けた第１学習データを用意することが考えられる。具体的には、「左手で物体を掴む」という第２行動を行った際の第２骨格情報に、「片手で物体を掴む」という行動を示すラベルを対応付けた第２学習データを用意することが考えられる。具体的には、用意した第１学習データと、第２学習データとに基づいて、モデルを学習することが考えられる。

【0018】

この手法では、２つの学習データを、それぞれの学習データに含まれる骨格情報が有する特徴が異なるにも拘らず、同一の行動を示すラベルを含む学習データとして扱うことになる。このため、学習データの揺らぎが大きくなり易く、左右対となる２つの身体部位のそれぞれの身体部位に関する同種の行動を、同一の行動として精度よく認識可能なモデルを学習することが難しいという問題がある。

【0019】

また、例えば、左右対となる２つの身体部位のうち、それぞれ異なる身体部位で同種の行動を行った場合に対応する２つのモデルを学習する手法が考えられる。具体的には、「右手で物体を掴む」という第１行動を認識可能な第１モデルと、「左手で物体を掴む」という第２行動を認識可能な第２モデルとを学習することが考えられる。具体的には、第１行動および第２行動のいずれを認識した場合も、「片手で物体を掴む」という同一の行動を認識したと扱うことが考えられる。

【0020】

この手法では、「片手で物体を掴む」という行動を精度よく認識するために、２つのモデルを学習することになるため、用意する学習データの量の増大化を招き、学習時の処理負担および処理時間の増大化を招くという問題がある。また、学習した２つのモデルの精度検証またはメンテナンスの処理負担および処理時間の増大化を招くことになる。このため、「片手で物体を掴む」という行動を認識可能にする際の開発コストおよび運用コストの増大化を招くことになる。

【0021】

また、例えば、左右対となる２つの身体部位のうち、それぞれ異なる身体部位で同種の行動を行った場合に対応する２つの骨格情報のそれぞれの骨格情報を加工し、同一の骨格情報として扱った上で、モデルを学習する手法が考えられる。

【0022】

具体的には、右手の位置を示す座標値と、左手の位置を示す座標値とのうち、絶対値が大きい方の座標値を、手の位置を示す座標値として設定することが考えられる。具体的には、右手の位置を示す座標値と、左手の位置を示す座標値との組み合わせを、手の位置を示す座標値に置き換えるよう、２つの骨格情報のそれぞれの骨格情報を加工した上で、モデルを学習することが考えられる。

【0023】

この手法では、右手の位置を示す座標値と、左手の位置を示す座標値とのうち、絶対値が小さい方の座標値が、モデルに反映されない。このため、左右対となる２つの身体部位のそれぞれの身体部位に関する同種の行動を、同一の行動として精度よく認識可能なモデルを学習することが難しいという問題がある。

【0024】

具体的には、右手の位置を示す座標値と、左手の位置を示す座標値とのうち、身体の中心からの距離が遠い方の座標値を、第１手の位置を示す座標値に設定し、身体の中心からの距離が近い方の座標値を、第２手の位置を示す座標値に設定することが考えられる。具体的には、右手の位置を示す座標値と、左手の位置を示す座標値とを、身体の中心からの距離が遠い第１手の位置を示す座標値と、身体の中心からの距離が近い第２手の位置を示す座標値とに置き換えるよう、骨格情報を加工することが考えられる。具体的には、加工したそれぞれの骨格情報に基づいて、モデルを学習することが考えられる。

【0025】

この手法では、時系列に沿った複数の骨格情報を加工した上で、加工した複数の骨格情報に基づいて、モデルを学習しようとする場合、モデルを適切に学習することができないことがある。具体的には、身体の中心から右手の位置を示す座標値までの距離と、身体の中心から左手の位置を示す座標値までの距離との大小関係が、時系列の途中で入れ替わることがある。このため、右手と、左手とのうち、第１手として扱われる手と、第２手として扱われる手とが、時系列の途中で入れ替わることがある。そして、加工した複数の骨格情報は、人物の片手が連続的に移動せずに瞬間的に別の場所に現れるといった、人物の動作として、物理的に不自然な挙動を表すようになることがある。従って、左右対となる２つの身体部位のそれぞれの身体部位に関する同種の行動を、同一の行動として精度よく認識可能なモデルを学習することが難しいという問題がある。

【0026】

そこで、本実施の形態では、特定の行動を精度よく認識する機械学習モデルを学習し易くすることができる情報処理方法について説明する。

【0027】

図１において、情報処理装置１００は、第１人物が映った映像における、第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を特定する。映像は、例えば、１以上のフレームを含む。身体部位は、例えば、首、頭、右肩、左肩、右肘、左肘、右手、左手、右膝、左膝、右足、または、左足などである。

【0028】

対となる２つの身体部位は、例えば、右手と、左手との組み合わせである。位置情報は、例えば、身体部位の３次元空間上の位置を表す、それぞれ異なる軸方向の複数の成分値の組み合わせを示す。軸は、例えば、Ｘ軸、Ｙ軸、および、Ｚ軸と呼ばれる。身体部位の３次元空間上の位置は、例えば、身体部位を示す骨格の３次元空間上の位置である。位置情報は、例えば、ベクトルであってもよい。

【0029】

位置情報は、例えば、身体部位の２次元空間上の位置を表す、それぞれ異なる軸方向の複数の成分値の組み合わせを示していてもよい。軸は、例えば、Ｘ軸、および、Ｙ軸と呼ばれる。２次元空間は、例えば、フレームまたはフレーム内の人物が映った規定の大きさの領域などに対応していてもよい。身体部位の２次元空間上の位置は、例えば、身体部位を示す骨格の２次元空間上の位置である。位置情報は、例えば、ベクトルであってもよい。位置情報は、例えば、極座標であってもよい。

【0030】

情報処理装置１００は、例えば、第１人物が映った映像の各フレームにおける、第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を特定する。情報処理装置１００は、具体的には、第１人物が映った映像を取得する。そして、情報処理装置１００は、具体的には、取得した映像を分析することにより、当該映像の各フレームにおける、第１人物が有する身体部位のうち、左右対となる２つの身体部位のそれぞれの身体部位の位置情報を生成することにより、当該位置情報を特定する。

【0031】

（１－１）情報処理装置１００は、特定した左右対となる２つの身体部位のそれぞれの身体部位の位置情報の和を示す第１成分１１０を生成する。情報処理装置１００は、例えば、右手の身体部位の位置情報が示すベクトル１０１と、左手の身体部位の位置情報が示すベクトル１０２の和を示す第１成分１１０を生成する。第１成分１１０は、例えば、ベクトルである。

【0032】

情報処理装置１００は、具体的には、第１人物が映った映像の各フレームにおける、右手の身体部位の位置情報が示すベクトル１０１と、左手の身体部位の位置情報が示すベクトル１０２の和を示す第１成分１１０を生成する。これにより、情報処理装置１００は、左右対となる２つの身体部位のそれぞれの身体部位の位置情報の共通性に関する特徴を表し、モデルを学習する際の指針となり得る第１成分１１０を得ることができる。

【0033】

（１－２）情報処理装置１００は、特定した左右対となる２つの身体部位のそれぞれの身体部位の位置情報の差を示す第２成分１２０の絶対値を示す第３成分１３０を生成する。情報処理装置１００は、例えば、右手の身体部位の位置情報が示すベクトル１０１と、左手の身体部位の位置情報が示すベクトル１０２の差を示す第２成分１２０の絶対値を示す第３成分１３０を生成する。第２成分１２０は、例えば、ベクトルである。

【0034】

第３成分１３０は、例えば、第２成分１２０の絶対値を大きさとして有する規定の向きのベクトルである。規定の向きは、例えば、所定の規則に従って、第２成分１２０の向きに応じて決定される。所定の規則は、第３成分の向きを、第２成分の向きと同一の向き、および、第２成分の向きの逆の向きのうち、いずれかの向きに決定する規則である。所定の規則は、第３成分の向きを、第２成分の向きと同一の向き、および、第２成分の向きの逆の向きのうち、いずれかの軸方向の向き成分が正となるいずれかの向きに決定する規則である。

【0035】

情報処理装置１００は、具体的には、第１人物が映った映像の各フレームにおける、右手の身体部位の位置情報が示すベクトル１０１と、左手の身体部位の位置情報が示すベクトル１０２の差を示す第２成分１２０の絶対値を示す第３成分１３０を生成する。これにより、情報処理装置１００は、それぞれの身体部位の位置情報の相違性に関する特徴を表し、モデルを学習する際の指針となり得る第３成分１３０を得ることができる。また、情報処理装置１００は、左右対となる２つの身体部位のそれぞれの身体部位の動きが逆転したとしても、生成する第３成分１３０が一致するよう、向きを調整した第３成分１３０を生成することができる。

【0036】

（１－３）情報処理装置１００は、生成した第１成分１１０と、生成した第３成分１３０とに基づいて、モデルを学習する。第２人物は、例えば、第１人物と同一の人物であってもよい。第２人物は、例えば、第１人物とは異なる人物であってもよい。

【0037】

モデルは、第２人物が映った映像から第２人物の姿勢情報を出力する機能を有する。モデルは、例えば、第２人物が映った映像における、第２人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を含む説明変数の入力に応じて、第２人物の姿勢情報を出力する機能を有する。

【0038】

モデルは、例えば、ニューラルネットワークである。モデルは、例えば、数式であってもよい。モデルは、例えば、木構造であってもよい。姿勢情報は、例えば、第２人物が特定の姿勢であるか否かを示す情報である。姿勢情報は、例えば、第２人物が特定の行動に対応する姿勢であるか否かを示す情報であってもよい。姿勢情報は、例えば、第２人物が特定の行動を行ったか否かを示す情報であってもよい。

【0039】

情報処理装置１００は、例えば、第１人物が映った映像の各フレームにおける、生成した第１成分１１０と、生成した第３成分１３０とに基づいて、モデルを学習する。情報処理装置１００は、具体的には、第１人物が映った映像の各フレームにおける、第１人物の行動の正解を示すラベルを取得する。情報処理装置１００は、具体的には、第１人物が映った映像の各フレームについて、当該フレームにおける、第１成分１１０と、第３成分１３０とを含む入力サンプルと、第１人物の行動の正解を示すラベルとを対応付けた学習データを生成する。

【0040】

情報処理装置１００は、具体的には、ロジスティック回帰を用いて、生成した学習データに基づいて、モデルを学習する。情報処理装置１００は、具体的には、ロジスティック回帰以外の手法を用いて、生成した学習データに基づいて、モデルを学習してもよい。情報処理装置１００は、具体的には、誤差逆伝搬を用いて、生成した学習データに基づいて、モデルを学習してもよい。

【0041】

これにより、情報処理装置１００は、第２人物が映った映像から第２人物の姿勢情報を出力する機能を有するモデルを学習することができる。情報処理装置１００は、例えば、左右対となる２つの身体部位のそれぞれの身体部位の位置情報を、所定の性質を有する、第１成分１１０と、第３成分１３０との組み合わせに変換することができる。

【0042】

所定の性質は、例えば、左右対となる２つの身体部位のそれぞれの身体部位の動きが逆転したとしても、第１成分１１０と、第３成分１３０との組み合わせが同一になるという性質を含む。所定の性質は、例えば、左右対となる２つの身体部位のそれぞれの身体部位の動きの特徴が、第１成分１１０と、第３成分１３０との組み合わせに現れるという性質を含む。所定の性質は、例えば、時系列に沿って、第１成分１１０が連続的に変化し、かつ、第３成分１３０が連続的に変化するという性質を有する。

【0043】

このため、情報処理装置１００は、第１成分１１０と、第３成分１３０との組み合わせを利用して、第２人物が映った映像から第２人物の姿勢情報を精度よく推定可能なモデルを学習することができる。情報処理装置１００は、学習したモデルを用いて、左右対となる２つの身体部位のそれぞれの身体部位に関する同種の行動を、同一の行動として認識可能にすることができる。

【0044】

情報処理装置１００は、単一のモデルを学習すればよいため、用意する学習データの量の増大化を抑制することができ、学習時の処理負担および処理時間の増大化を抑制することができる。情報処理装置１００は、学習したモデルの精度検証またはメンテナンスの処理負担および処理時間の増大化を抑制することができる。情報処理装置１００は、特定の行動を認識可能にする際の開発コストおよび運用コストの増大化を抑制することができる。

【0045】

（１－４）情報処理装置１００は、第２人物が映った映像を取得し、学習したモデルを用いて、第２人物の姿勢情報を取得してもよい。情報処理装置１００は、例えば、取得した第２人物が映った映像を解析することにより、第２人物が映った映像の各フレームにおける、第２人物が有する身体部位のうち、左右対となる２つの身体部位のそれぞれの身体部位の位置情報を特定する。

【0046】

情報処理装置１００は、例えば、第２人物が映った映像の各フレームにおける、特定した左右対となる２つの身体部位のそれぞれの身体部位の位置情報の和を示す第４成分を生成する。情報処理装置１００は、例えば、第２人物が映った映像の各フレームにおける、特定した左右対となる２つの身体部位のそれぞれの身体部位の位置情報の差を示す第５成分の絶対値を示す第６成分を生成する。

【0047】

情報処理装置１００は、例えば、生成した第４成分と、生成した第６成分とに基づいて、学習したモデルを用いて、第２人物が特定の行動に対応する姿勢であるか否かを示す姿勢情報を取得する。これにより、情報処理装置１００は、姿勢情報を精度よく生成することができる。情報処理装置１００は、姿勢情報を利用可能にすることができる。

【0048】

ここでは、情報処理装置１００が、単独で動作する場合について説明したが、これに限らない。例えば、情報処理装置１００が、他のコンピュータと協働する場合があってもよい。例えば、複数のコンピュータが協働して、情報処理装置１００としての機能を実現する場合があってもよい。具体的には、クラウド上に、情報処理装置１００としての機能が実現される場合があってもよい。

【0049】

ここでは、情報処理装置１００が、第１人物が映った映像を分析する場合について説明したが、これに限らない。例えば、情報処理装置１００が、第１人物が映った映像を分析する他のコンピュータと通信可能である場合があってもよい。この場合、情報処理装置１００は、他のコンピュータから、第１人物が映った映像における、第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を受信することにより、当該位置情報を特定する。

【0050】

ここでは、情報処理装置１００が、生成した第１成分と、生成した第３成分とに基づいて、モデルを学習する場合について説明したが、これに限らない。例えば、情報処理装置１００が、生成した第１成分と、生成した第３成分とを、他のコンピュータに送信する場合があってもよい。この場合、他のコンピュータは、受信した第１成分と、受信した第３成分とに基づいて、モデルを学習する。

【0051】

ここでは、情報処理装置１００が、学習したモデルを用いて、第２人物の姿勢情報を取得する場合について説明したが、これに限らない。例えば、情報処理装置１００が、学習したモデルを、他のコンピュータに送信する場合があってもよい。この場合、他のコンピュータは、第２人物が映った映像を取得し、受信したモデルを用いて、第２人物の姿勢情報を取得する。

【0052】

（情報処理システム２００の一例）
次に、図２を用いて、図１に示した情報処理装置１００を適用した、情報処理システム２００の一例について説明する。

【0053】

図２は、情報処理システム２００の一例を示す説明図である。図２において、情報処理システム２００は、情報処理装置１００と、１以上の映像撮影装置２０１と、１以上のクライアント装置２０２とを含む。

【0054】

情報処理システム２００において、情報処理装置１００と映像撮影装置２０１とは、有線または無線のネットワーク２１０を介して接続される。ネットワーク２１０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどである。また、情報処理システム２００において、情報処理装置１００とクライアント装置２０２とは、有線または無線のネットワーク２１０を介して接続される。

【0055】

情報処理装置１００は、モデルを学習するためのコンピュータである。情報処理装置１００は、例えば、第１機械学習モデルを記憶する。第１機械学習モデルは、例えば、映像の入力に応じて、当該映像に映った人物が有する身体部位の位置情報を出力する機能を有する。身体部位は、例えば、首、頭、右肩、左肩、右肘、左肘、右手、左手、右膝、左膝、右足、または、左足などである。位置情報は、身体部位の３次元空間上の位置を示す。位置情報は、例えば、身体部位の３次元空間上の位置を表す、それぞれ異なる軸方向の複数の成分値の組み合わせを示す。位置は、例えば、身体部位を示す骨格の３次元空間上の位置である。

【0056】

位置情報は、例えば、身体部位の２次元空間上の位置を示していてもよい。位置情報は、例えば、身体部位の２次元空間上の位置を表す、それぞれ異なる軸方向の複数の成分値の組み合わせを示していてもよい。位置は、例えば、身体部位を示す骨格の２次元空間上の位置である。位置情報は、例えば、ベクトルであってもよい。位置情報は、例えば、極座標であってもよい。

【0057】

第１機械学習モデルは、具体的には、映像の各フレームの入力に応じて、当該フレームにおける人物が有する身体部位の位置情報を出力する機能を有する。第１機械学習モデルは、例えば、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）モデルなどである。第１機械学習モデルは、例えば、ニューラルネットワーク、数式、または、木構造などによって実現されることが考えられる。

【0058】

情報処理装置１００は、例えば、第１人物が映った映像を取得する。第１人物となり得る人物は、複数存在してもよい。情報処理装置１００は、例えば、第１人物となり得る複数の人物のそれぞれの人物が映った映像を取得してもよい。情報処理装置１００は、具体的には、第１人物が映った映像を、映像撮影装置２０１から受信することにより取得する。

【0059】

情報処理装置１００は、例えば、取得した第１人物が映った映像を解析することにより、第１人物が映った映像の各フレームにおける、第１人物が有する身体部位のうち、左右対となる２つの身体部位のそれぞれの身体部位の位置情報を特定する。情報処理装置１００は、具体的には、第１機械学習モデルを用いて、取得した第１人物が映った映像に基づいて、当該映像の各フレームにおける、第１人物が有する身体部位のうち、左右対となる２つの身体部位のそれぞれの身体部位の位置情報を特定する。

【0060】

情報処理装置１００は、例えば、第１人物が映った映像の各フレームにおける、特定した左右対となる２つの身体部位のそれぞれの身体部位の位置情報の和を示す第１成分を生成する。情報処理装置１００は、例えば、第１人物が映った映像の各フレームにおける、特定した左右対となる２つの身体部位のそれぞれの身体部位の位置情報の差を示す第２成分の絶対値を示す第３成分を生成する。情報処理装置１００は、例えば、第１人物が映った映像の各フレームにおける、生成した第１成分と、生成した第３成分とに基づいて、モデルを学習する。

【0061】

情報処理装置１００は、例えば、第２人物が映った映像を取得する。第２人物は、例えば、特定の行動を行ったか否かを判定する対象の人物である。情報処理装置１００は、具体的には、第２人物が映った映像を、映像撮影装置２０１から受信することにより取得する。

【0062】

情報処理装置１００は、例えば、取得した第２人物が映った映像を解析することにより、第２人物が映った映像の各フレームにおける、第２人物が有する身体部位のうち、左右対となる２つの身体部位のそれぞれの身体部位の位置情報を特定する。情報処理装置１００は、具体的には、第１機械学習モデルを用いて、取得した第２人物が映った映像に基づいて、当該映像の各フレームにおける、第２人物が有する身体部位のうち、左右対となる２つの身体部位のそれぞれの身体部位の位置情報を特定する。

【0063】

情報処理装置１００は、例えば、第２人物が映った映像の各フレームにおける、特定した左右対となる２つの身体部位のそれぞれの身体部位の位置情報の和を示す第４成分を生成する。情報処理装置１００は、例えば、第２人物が映った映像の各フレームにおける、特定した左右対となる２つの身体部位のそれぞれの身体部位の位置情報の差を示す第５成分の絶対値を示す第６成分を生成する。情報処理装置１００は、例えば、第２人物が映った映像の各フレームにおける、生成した第４成分と、生成した第６成分とに基づいて、学習したモデルを用いて、第２人物が特定の行動に対応する姿勢であるか否かを示す姿勢情報を取得する。

【0064】

情報処理装置１００は、例えば、取得した姿勢情報を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、他のコンピュータへの送信、または、記憶領域への記憶などである。情報処理装置１００は、具体的には、取得した姿勢情報を、クライアント装置２０２に送信する。情報処理装置１００は、例えば、情報処理システム２００を管理する管理者によって管理される。情報処理装置１００は、例えば、サーバ、または、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などである。

【0065】

映像撮影装置２０１は、特定の領域を撮影し、人物が映った映像を生成するためのコンピュータである。映像撮影装置２０１は、例えば、複数の撮像素子を有するカメラを含み、カメラによって人物が存在し得る特定の領域を撮影する。映像撮影装置２０１は、例えば、特定の人物が映った映像を生成し、情報処理装置１００に送信する。

【0066】

映像撮影装置２０１は、具体的には、第１人物が映った映像を生成し、情報処理装置１００に送信する。映像撮影装置２０１は、具体的には、第２人物が映った映像を生成し、情報処理装置１００に送信する。映像撮影装置２０１は、例えば、スマートフォンなどである。映像撮影装置２０１は、例えば、定点カメラなどであってもよい。映像撮影装置２０１は、例えば、ドローンなどであってもよい。

【0067】

クライアント装置２０２は、第２人物の姿勢情報を参照しようとする作業者によって用いられるコンピュータである。クライアント装置２０２は、例えば、第２人物の姿勢情報を、情報処理装置１００から受信する。クライアント装置２０２は、受信した第２人物の姿勢情報を、作業者が参照可能に出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、他のコンピュータへの送信、または、記憶領域への記憶などである。クライアント装置２０２は、例えば、ＰＣ、タブレット端末、または、スマートフォンなどである。

【0068】

ここでは、情報処理装置１００が、映像撮影装置２０１とは異なる装置である場合について説明したが、これに限らない。例えば、情報処理装置１００が、映像撮影装置２０１としての機能を有し、映像撮影装置２０１としても動作する場合があってもよい。ここでは、情報処理装置１００が、クライアント装置２０２とは異なる装置である場合について説明したが、これに限らない。例えば、情報処理装置１００が、クライアント装置２０２としての機能を有し、クライアント装置２０２としても動作する場合があってもよい。

【0069】

（情報処理システム２００の適用例）
次に、情報処理システム２００の適用例について説明する。情報処理システム２００は、例えば、監視カメラが撮影した映像に映った対象の人物が、不審な行為、禁止行為、または、犯罪行為などに相当する特定の行動を行ったか否かを判定する場合に対して適用されることが考えられる。特定の行動は、例えば、片手で人を殴るといった暴力行為、または、片手で展示物に触れるといった禁止行為などが考えられる。展示物は、例えば、動植物、または、美術品などである。この場合、映像撮影装置２０１は、例えば、監視カメラである。作業者は、例えば、警備員、または、警察官などである。この場合、情報処理システム２００は、対象の人物が、不審な行為、禁止行為、または、犯罪行為などに相当する特定の行動を行ったか否かを精度よく判定することができる。このため、情報処理システム２００は、不審な行為、禁止行為、または、犯罪行為などに相当する特定の行動を抑止し易くすることができる。

【0070】

また、情報処理システム２００は、例えば、介護施設などに設けられた定点カメラが撮影した映像に映った対象の人物が、特定の行動を行ったか否かを判定し、介護施設に勤める介護者の業務を支援する場合に対して適用されることが考えられる。特定の行動は、例えば、片脚を引き摺りつつ歩く、または、転倒して片手を床につくなどの行動が考えられる。この場合、対象の人物は、例えば、介護施設などに滞在する、介護を要する人物である。映像撮影装置２０１は、例えば、定点カメラである。作業者は、例えば、介護者である。この場合、情報処理システム２００は、対象の人物が、特定の行動を行ったか否かを精度よく判定することができ、作業者が、対象の人物の安全を確保し易くすることができる。

【0071】

また、情報処理システム２００は、例えば、食料品などの販売店に設けられた定点カメラが撮影した映像に映った対象の人物が、特定の行動を行ったか否かを判定し、マーケティングを実施する場合に対して適用されることが考えられる。特定の行動は、例えば、片手で商品を取るなどの行動が考えられる。この場合、対象の人物は、例えば、販売店を訪れた顧客である。映像撮影装置２０１は、例えば、定点カメラである。作業者は、例えば、マーケティングを実施する専門家である。この場合、情報処理システム２００は、対象の人物が、特定の行動を行ったか否かを精度よく判定することができ、作業者が、マーケティングを精度よく実施可能にすることができる。

【0072】

また、情報処理システム２００は、例えば、娯楽施設などに設けられた定点カメラが撮影した映像に映った、娯楽施設を訪れた対象の人物が、特定の行動を行ったかことに応じて、対象の人物に、コンテンツを提供する場合に対して適用されることが考えられる。特定の行動は、例えば、片手を特定のパターンで動かすという行動が考えられる。コンテンツは、例えば、娯楽用の映像、施設内の機械設備、または、音楽などが考えられる。この場合、対象の人物は、例えば、子供である。映像撮影装置２０１は、例えば、定点カメラである。この場合、情報処理システム２００は、対象の人物が、特定の行動を行ったか否かを精度よく判定することができ、コンテンツを適切に提供し易くすることができる。

【0073】

（情報処理装置１００のハードウェア構成例）
次に、図３を用いて、情報処理装置１００のハードウェア構成例について説明する。

【0074】

図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。図３において、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、メモリ３０２と、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３とを有する。また、情報処理装置１００は、記録媒体Ｉ／Ｆ３０４と、記録媒体３０５と、ディスプレイ３０６と、入力装置３０７とを有する。また、各構成部は、バス３００によってそれぞれ接続される。

【0075】

ここで、ＣＰＵ３０１は、情報処理装置１００の全体の制御を司る。メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることにより、コーディングされている処理をＣＰＵ３０１に実行させる。

【0076】

ネットワークＩ／Ｆ３０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ３０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ３０３は、例えば、モデムやＬＡＮアダプタなどである。

【0077】

記録媒体Ｉ／Ｆ３０４は、ＣＰＵ３０１の制御に従って記録媒体３０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ３０４は、例えば、ディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどである。記録媒体３０５は、記録媒体Ｉ／Ｆ３０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体３０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体３０５は、情報処理装置１００から着脱可能であってもよい。

【0078】

ディスプレイ３０６は、カーソル、アイコン、ツールボックス、文書、画像、または、機能情報などのデータを表示する。ディスプレイ３０６は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、液晶ディスプレイ、または、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。入力装置３０７は、文字、数字、または、各種指示などの入力のためのキーを有し、データの入力を行う。入力装置３０７は、例えば、キーボード、または、マウスなどである。入力装置３０７は、例えば、タッチパネル式の入力パッド、または、テンキーなどであってもよい。

【0079】

情報処理装置１００は、上述した構成部の他、例えば、カメラなどを有してもよい。また、情報処理装置１００は、上述した構成部の他、例えば、プリンタ、スキャナ、マイク、または、スピーカーなどを有してもよい。また、情報処理装置１００は、例えば、記録媒体Ｉ／Ｆ３０４および記録媒体３０５を複数有していてもよい。また、情報処理装置１００は、例えば、ディスプレイ３０６、または、入力装置３０７などを有していなくてもよい。また、情報処理装置１００は、例えば、記録媒体Ｉ／Ｆ３０４および記録媒体３０５を有していなくてもよい。

【0080】

（映像撮影装置２０１のハードウェア構成例）
次に、図４を用いて、映像撮影装置２０１のハードウェア構成例について説明する。

【0081】

図４は、映像撮影装置２０１のハードウェア構成例を示すブロック図である。図５において、映像撮影装置２０１は、ＣＰＵ４０１と、メモリ４０２と、ネットワークＩ／Ｆ４０３と、記録媒体Ｉ／Ｆ４０４と、記録媒体４０５と、カメラ４０６とを有する。また、各構成部は、バス４００によってそれぞれ接続される。

【0082】

ここで、ＣＰＵ４０１は、映像撮影装置２０１の全体の制御を司る。メモリ４０２は、例えば、ＲＯＭ、ＲＡＭおよびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ４０１のワークエリアとして使用される。メモリ４０２に記憶されるプログラムは、ＣＰＵ４０１にロードされることにより、コーディングされている処理をＣＰＵ４０１に実行させる。

【0083】

ネットワークＩ／Ｆ４０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ４０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ４０３は、例えば、モデムやＬＡＮアダプタなどである。

【0084】

記録媒体Ｉ／Ｆ４０４は、ＣＰＵ４０１の制御に従って記録媒体４０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ４０４は、例えば、ディスクドライブ、ＳＳＤ、ＵＳＢポートなどである。記録媒体４０５は、記録媒体Ｉ／Ｆ４０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体４０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体４０５は、映像撮影装置２０１から着脱可能であってもよい。

【0085】

カメラ４０６は、複数の撮像素子を有し、複数の撮像素子によって特定の領域を撮影した映像を生成する。カメラ４０６は、例えば、特定の領域に人物が存在すれば、当該人物が映った映像を生成することになる。カメラ４０６は、例えば、デジタルカメラである。カメラ４０６は、例えば、定点カメラである。カメラ４０６は、例えば、移動可能であってもよい。カメラ４０６は、例えば、監視カメラである。

【0086】

映像撮影装置２０１は、上述した構成部の他、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、スピーカーなどを有してもよい。また、映像撮影装置２０１は、記録媒体Ｉ／Ｆ４０４や記録媒体４０５を複数有していてもよい。また、映像撮影装置２０１は、記録媒体Ｉ／Ｆ４０４や記録媒体４０５を有していなくてもよい。

【0087】

（クライアント装置２０２のハードウェア構成例）
クライアント装置２０２のハードウェア構成例は、具体的には、図３に示した情報処理装置１００のハードウェア構成例と同様であるため、説明を省略する。

【0088】

（情報処理装置１００の機能的構成例）
次に、図５を用いて、情報処理装置１００の機能的構成例について説明する。

【0089】

図５は、情報処理装置１００の機能的構成例を示すブロック図である。情報処理装置１００は、記憶部５００と、取得部５０１と、特定部５０２と、生成部５０３と、学習部５０４と、認識部５０５と、出力部５０６とを含む。

【0090】

記憶部５００は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域によって実現される。以下では、記憶部５００が、情報処理装置１００に含まれる場合について説明するが、これに限らない。例えば、記憶部５００が、情報処理装置１００とは異なる装置に含まれ、記憶部５００の記憶内容が情報処理装置１００から参照可能である場合があってもよい。

【0091】

取得部５０１～出力部５０６は、制御部の一例として機能する。取得部５０１～出力部５０６は、具体的には、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、ネットワークＩ／Ｆ３０３により、その機能を実現する。各機能部の処理結果は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶される。

【0092】

記憶部５００は、各機能部の処理において参照され、または更新される各種情報を記憶する。記憶部５００は、例えば、人物が映った映像を記憶する。記憶部５００は、具体的には、第１人物が映った第１映像を記憶する。第１人物は、例えば、姿勢情報が既知の人物である。姿勢情報は、例えば、第１人物の姿勢が、特定の姿勢であるか否かを示す。姿勢情報は、例えば、第１人物の姿勢が、特定の行動に対応する姿勢であるか否かを示していてもよい。姿勢情報は、例えば、第１人物が、特定の行動を行ったか否かを示していてもよい。第１人物は、具体的には、特定の行動を行ったか否かが既知の人物である。第１人物が映った第１映像は、例えば、１以上のフレームを含む。第１人物が映った第１映像は、例えば、取得部５０１によって取得される。

【0093】

記憶部５００は、具体的には、第１人物が映った第１映像に対応付けて、第１人物が特定の行動を行ったか否かを示す正解ラベルを記憶する。記憶部５００は、具体的には、第１人物が映った第１映像の各フレームに対応付けて、当該フレームにおいて、第１人物が特定の行動を行ったか否かを示す正解ラベルを記憶する。正解ラベルは、例えば、取得部５０１によって取得される。記憶部５００は、具体的には、第１人物が映った第１映像全体に対応付けて、第１人物が特定の行動を行ったか否かを示す正解ラベルを記憶していてもよい。

【0094】

記憶部５００は、具体的には、第２人物が映った第２映像を記憶する。第２人物は、例えば、姿勢情報を推定する対象の人物である。姿勢情報は、例えば、第２人物の姿勢が、特定の姿勢であるか否かを示す。姿勢情報は、例えば、第２人物の姿勢が、特定の行動に対応する姿勢であるか否かを示していてもよい。姿勢情報は、例えば、第２人物が、特定の行動を行ったか否かを示していてもよい。第２人物は、具体的には、特定の行動を行ったか否かを判定する対象の人物である。第２人物が映った第２映像は、例えば、１以上のフレームを含む。第２人物が映った第２映像は、例えば、取得部５０１によって取得される。

【0095】

記憶部５００は、例えば、第１人物が映った第１映像における、第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を記憶する。身体部位は、例えば、首、頭、右肩、左肩、右肘、左肘、右手、左手、右膝、左膝、右足、または、左足などである。２つの身体部位は、例えば、左右対となる異なる身体部位の組み合わせである。左右は、例えば、映像上の左右ではなく、身体上の正面を前方向かつ身体上の頭頂側を上方向とした場合の身体上の側面側に関する左右である。２つの身体部位は、具体的には、右手と、左手との組み合わせである。

【0096】

位置情報は、例えば、身体部位の３次元空間上の位置を表す、それぞれ異なる軸方向の複数の成分値の組み合わせを示す。軸は、例えば、Ｘ軸、Ｙ軸、および、Ｚ軸と呼ばれる。身体部位の３次元空間上の位置は、例えば、身体部位を示す骨格の３次元空間上の位置である。位置情報は、例えば、ベクトルであってもよい。

【0097】

位置情報は、例えば、身体部位の２次元空間上の位置を表す、それぞれ異なる軸方向の複数の成分値の組み合わせを示していてもよい。軸は、例えば、Ｘ軸、および、Ｙ軸と呼ばれる。２次元空間は、例えば、フレームまたはフレーム内の人物が映った規定の大きさの領域などに対応していてもよい。身体部位の２次元空間上の位置は、例えば、身体部位を示す骨格の２次元空間上の位置である。位置情報は、例えば、ベクトルであってもよい。位置情報は、例えば、極座標であってもよい。

【0098】

記憶部５００は、具体的には、第１人物が映った第１映像の各フレームにおける、第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を記憶する。位置情報は、例えば、特定部５０２によって特定される。位置情報は、例えば、取得部５０１によって取得されてもよい。

【0099】

記憶部５００は、例えば、第２人物が映った第２映像における、第２人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を記憶する。身体部位は、例えば、首、頭、右肩、左肩、右肘、左肘、右手、左手、右膝、左膝、右足、または、左足などである。２つの身体部位は、例えば、左右対となる異なる身体部位の組み合わせである。２つの身体部位は、具体的には、右手と、左手との組み合わせである。

【0100】

位置情報は、例えば、身体部位の３次元空間上の位置を表す、それぞれ異なる軸方向の複数の成分値の組み合わせを示す。軸は、例えば、Ｘ軸、Ｙ軸、および、Ｚ軸と呼ばれる。身体部位の３次元空間上の位置は、例えば、身体部位を示す骨格の３次元空間上の位置である。位置情報は、例えば、ベクトルであってもよい。

【0101】

位置情報は、例えば、身体部位の２次元空間上の位置を表す、それぞれ異なる軸方向の複数の成分値の組み合わせを示していてもよい。軸は、例えば、Ｘ軸、および、Ｙ軸と呼ばれる。２次元空間は、例えば、フレームまたはフレーム内の人物が映った規定の大きさの領域などに対応していてもよい。身体部位の２次元空間上の位置は、例えば、身体部位を示す骨格の２次元空間上の位置である。位置情報は、例えば、ベクトルであってもよい。位置情報は、例えば、極座標であってもよい。

【0102】

記憶部５００は、具体的には、第２人物が映った第２映像の各フレームにおける、第２人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を記憶する。位置情報は、例えば、特定部５０２によって特定される。位置情報は、例えば、取得部５０１によって取得されてもよい。

【0103】

記憶部５００は、例えば、人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報の和を示す成分を記憶する。記憶部５００は、例えば、人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報の差を示す成分を記憶する。記憶部５００は、例えば、人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報の差を示す成分の絶対値を示す成分を記憶する。

【0104】

記憶部５００は、具体的には、第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報の和を示す第１成分を記憶する。第１成分は、例えば、生成部５０３によって生成される。記憶部５００は、具体的には、第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報の差を示す第２成分を記憶する。第２成分は、例えば、生成部５０３によって生成される。記憶部５００は、例えば、第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報の差を示す第２成分の絶対値を示す第３成分を記憶する。第３成分は、例えば、生成部５０３によって生成される。第１成分と、第２成分と、第３成分とは、対となる２つの身体部位のそれぞれの身体部位の位置情報の組み合わせが有する特徴を表す情報の成分である。

【0105】

記憶部５００は、具体的には、第２人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報の和を示す第４成分を記憶する。第４成分は、例えば、生成部５０３によって生成される。記憶部５００は、具体的には、第２人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報の差を示す第５成分を記憶する。第５成分は、例えば、生成部５０３によって生成される。記憶部５００は、例えば、第２人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報の差を示す第５成分の絶対値を示す第６成分を記憶する。第６成分は、例えば、生成部５０３によって生成される。第４成分と、第５成分と、第６成分とは、対となる２つの身体部位のそれぞれの身体部位の位置情報の組み合わせが有する特徴を表す情報の成分である。

【0106】

記憶部５００は、例えば、モデルを記憶する。モデルは、例えば、人物が映った映像から当該人物の姿勢情報を出力する機能を有する。姿勢情報は、例えば、人物の姿勢が、特定の姿勢であるか否かを示す。姿勢情報は、例えば、人物の姿勢が、特定の行動に対応する姿勢であるか否かを示していてもよい。姿勢情報は、例えば、人物が、特定の行動を行ったか否かを示していてもよい。

【0107】

モデルは、具体的には、第４成分と、第６成分との入力に応じて、第２人物の姿勢情報を出力する機能を有する。モデルは、具体的には、第４成分と、第５成分と、第６成分との入力に応じて、第２人物の姿勢情報を出力する機能を有していてもよい。モデルは、例えば、ＡＩモデルなどである。モデルは、例えば、ニューラルネットワーク、数式、または、木構造などによって実現されることが考えられる。モデルは、例えば、学習部５０４によって学習される。

【0108】

取得部５０１は、各機能部の処理に用いられる各種情報を取得する。取得部５０１は、取得した各種情報を、記憶部５００に記憶し、または、各機能部に出力する。また、取得部５０１は、記憶部５００に記憶しておいた各種情報を、各機能部に出力してもよい。取得部５０１は、例えば、利用者の操作入力に基づき、各種情報を取得する。取得部５０１は、例えば、情報処理装置１００とは異なる装置から、各種情報を受信してもよい。

【0109】

取得部５０１は、例えば、人物が映った映像を取得する。取得部５０１は、具体的には、第１人物が映った第１映像を取得する。取得部５０１は、より具体的には、第１人物が映った第１映像を、他のコンピュータから受信することにより取得する。他のコンピュータは、例えば、映像撮影装置２０１である。取得部５０１は、より具体的には、利用者の操作入力に基づき、第１人物が映った第１映像の入力を受け付けることにより、第１人物が映った第１映像を取得してもよい。

【0110】

取得部５０１は、具体的には、第１人物が映った第１映像に対応付けて、第１人物が特定の行動を行ったか否かを示す正解ラベルを取得する。取得部５０１は、具体的には、第１人物が映った第１映像の各フレームに対応付けて、当該フレームにおいて、第１人物が特定の行動を行ったか否かを示す正解ラベルを取得してもよい。

【0111】

取得部５０１は、具体的には、第２人物が映った第２映像を取得する。取得部５０１は、より具体的には、第２人物が映った第２映像を、他のコンピュータから受信することにより取得する。他のコンピュータは、例えば、映像撮影装置２０１である。取得部５０１は、より具体的には、利用者の操作入力に基づき、第２人物が映った第２映像の入力を受け付けることにより、第２人物が映った第２映像を取得してもよい。

【0112】

取得部５０１は、例えば、第１人物が映った第１映像における、第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を取得してもよい。取得部５０１は、具体的には、第１人物が映った第１映像の各フレームにおける、第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を取得する。取得部５０１は、より具体的には、特定部５０２でそれぞれの身体部位の位置情報を特定しない場合に、第１人物が映った第１映像の各フレームにおける、第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を取得する。

【0113】

取得部５０１は、例えば、第２人物が映った第２映像における、第２人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を取得する。取得部５０１は、具体的には、第２人物が映った第２映像の各フレームにおける、第２人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を記憶する。取得部５０１は、より具体的には、特定部５０２でそれぞれの身体部位の位置情報を特定しない場合に、第２人物が映った第２映像の各フレームにおける、第２人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を記憶する。

【0114】

取得部５０１は、いずれかの機能部の処理を開始する開始トリガーを受け付けてもよい。開始トリガーは、例えば、利用者による所定の操作入力があったことである。開始トリガーは、例えば、他のコンピュータから、所定の情報を受信したことであってもよい。開始トリガーは、例えば、いずれかの機能部が所定の情報を出力したことであってもよい。

【0115】

取得部５０１は、例えば、第１人物が映った第１映像を取得したことを、特定部５０２と、生成部５０３と、学習部５０４との処理を開始する開始トリガーとして受け付けてもよい。取得部５０１は、例えば、第２人物が映った第２映像を取得したことを、特定部５０２と、生成部５０３と、認識部５０５との処理を開始する開始トリガーとして受け付けてもよい。

【0116】

取得部５０１は、例えば、第１人物が映った第１映像における、第１人物が有する、対となる２つの身体部位のそれぞれの身体部位の位置情報を取得したことを、生成部５０３と、学習部５０４との処理を開始する開始トリガーとして受け付けてもよい。取得部５０１は、例えば、第２人物が映った第２映像における、第２人物が有する、対となる２つの身体部位のそれぞれの身体部位の位置情報を取得したことを、生成部５０３と、認識部５０５との処理を開始する開始トリガーとして受け付けてもよい。

【0117】

特定部５０２は、取得部５０１で取得した映像を分析することにより、当該映像における、人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を特定する。特定部５０２は、例えば、取得部５０１で取得した第１人物が映った第１映像を分析することにより、第１映像における、第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を特定する。

【0118】

特定部５０２は、具体的には、取得部５０１で取得した第１人物が映った第１映像を分析することにより、第１映像における、それぞれの身体部位の多次元空間上の位置を表す、それぞれ異なる軸方向の複数の成分値を示す位置情報を特定する。特定部５０２は、より具体的には、取得部５０１で取得した第１人物が映った第１映像を分析することにより、第１映像の各フレームにおける、それぞれの身体部位の多次元空間上の位置を表す、それぞれ異なる軸方向の複数の成分値を示す位置情報を特定する。これにより、特定部５０２は、第１人物の姿勢に関する特徴を表し、第１人物の姿勢情報を推定するためのモデルを学習する指針となり得る情報を得ることができる。

【0119】

特定部５０２は、具体的には、取得部５０１で取得した第１人物が映った第１映像を分析することにより、第１映像における、第１人物の骨格の位置を特定し、特定した第１人物の骨格の位置に基づいて、それぞれの身体部位の位置情報を特定してもよい。これにより、特定部５０２は、骨格の位置を特定する手法を活用して、第１人物の姿勢に関する特徴を表し、第１人物の姿勢情報を推定するためのモデルを学習する指針となり得る情報を得ることができる。

【0120】

特定部５０２は、例えば、取得部５０１で取得した第２人物が映った第２映像を分析することにより、第２映像における、第２人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を特定する。

【0121】

特定部５０２は、具体的には、取得部５０１で取得した第２人物が映った第２映像を分析することにより、第２映像における、それぞれの身体部位の多次元空間上の位置を表す、それぞれ異なる軸方向の複数の成分値を示す位置情報を特定する。特定部５０２は、より具体的には、取得部５０１で取得した第２人物が映った第２映像を分析することにより、第２映像の各フレームにおける、それぞれの身体部位の多次元空間上の位置を表す、それぞれ異なる軸方向の複数の成分値を示す位置情報を特定する。これにより、特定部５０２は、第２人物の姿勢に関する特徴を表し、モデルを用いて、第２人物の姿勢情報を推定する際に用いる情報を得ることができる。

【0122】

特定部５０２は、具体的には、取得部５０１で取得した第２人物が映った第２映像を分析することにより、第２映像における、第２人物の骨格の位置を特定し、特定した第２人物の骨格の位置に基づいて、それぞれの身体部位の位置情報を特定してもよい。これにより、特定部５０２は、骨格の位置を特定する手法を活用して、第２人物の姿勢に関する特徴を表し、モデルを用いて、第２人物の姿勢情報を推定する際に用いる情報を得ることができる。

【0123】

生成部５０３は、特定部５０２で特定した、第１人物が有する身体部位のうち対となる２つの身体部位のそれぞれの身体部位の位置情報に基づいて、それぞれの身体部位の位置情報の和を示す第１成分を生成する。生成部５０３は、例えば、軸方向ごとに、それぞれの身体部位の位置情報が示す当該軸方向の成分値の和を用いた指標値を算出し、算出した当該指標値を組み合わせた第１成分を生成する。指標値は、例えば、軸方向の成分値の和を規定値で除算した値である。規定値は、例えば、√２である。生成部５０３は、具体的には、第１人物が映った第１映像の各フレームについて、軸方向ごとに、それぞれの身体部位の位置情報が示す当該軸方向の成分値の和を用いた指標値を算出し、算出した当該指標値を組み合わせた第１成分を生成する。

【0124】

生成部５０３は、例えば、それぞれの身体部位の位置情報がベクトルであれば、それぞれの身体部位の位置情報が示すベクトルの和を、第１成分として生成してもよい。この場合、第１成分は、ベクトルである。生成部５０３は、具体的には、第１人物が映った第１映像の各フレームについて、それぞれの身体部位の位置情報が示すベクトルの和を、第１成分として生成する。これにより、生成部５０３は、左右対となる２つの身体部位のそれぞれの身体部位の位置情報の共通性に関する特徴を表し、モデルを学習する際の指針となり得る第１成分を得ることができる。

【0125】

生成部５０３は、特定部５０２で特定した、第１人物が有する身体部位のうち対となる２つの身体部位のそれぞれの身体部位の位置情報に基づいて、それぞれの身体部位の位置情報の差を示す第２成分を生成する。生成部５０３は、例えば、軸方向ごとに、それぞれの身体部位の位置情報が示す当該軸方向の成分値の差を用いた指標値を算出し、算出した当該指標値を組み合わせた第２成分を生成する。指標値は、例えば、軸方向の成分値の差を規定値で除算した値である。規定値は、例えば、√２である。生成部５０３は、具体的には、第１人物が映った第１映像の各フレームについて、軸方向ごとに、それぞれの身体部位の位置情報が示す当該軸方向の成分値の差を用いた指標値を算出し、算出した当該指標値を組み合わせた第２成分を生成する。

【0126】

生成部５０３は、例えば、第１人物が有する身体部位のうち対となる２つの身体部位のそれぞれの身体部位の位置情報がベクトルであれば、それぞれの身体部位の位置情報が示すベクトルの差を、第２成分として生成してもよい。生成部５０３は、具体的には、第１人物が映った第１映像の各フレームについて、それぞれの身体部位の位置情報が示すベクトルの差を、第２成分として生成する。この場合、第２成分は、ベクトルである。これにより、生成部５０３は、左右対となる２つの身体部位のそれぞれの身体部位の位置情報の相違性に関する特徴を表し、モデルを学習する際の指針となり得る第２成分を得ることができる。

【0127】

生成部５０３は、特定部５０２で特定した、第１人物が有する身体部位のうち対となる２つの身体部位のそれぞれの身体部位の位置情報に基づいて、それぞれの身体部位の位置情報の差を示す第２成分の絶対値を示す第３成分を生成する。生成部５０３は、例えば、軸方向ごとに、それぞれの身体部位の位置情報が示す当該軸方向の成分値の差の絶対値を用いた指標値を算出し、算出した当該指標値を組み合わせた第３成分を生成する。指標値は、例えば、軸方向の成分値の差の絶対値を規定値で除算した値である。規定値は、例えば、√２である。生成部５０３は、具体的には、第１人物が映った第１映像の各フレームについて、軸方向ごとに、それぞれの身体部位の位置情報が示す当該軸方向の成分値の差の絶対値を用いた指標値を算出し、算出した当該指標値を組み合わせた第３成分を生成する。

【0128】

生成部５０３は、例えば、第１人物が有する身体部位のうち対となる２つの身体部位のそれぞれの身体部位の位置情報がベクトルであれば、第２成分のベクトルの絶対値を大きさとして有する、規定の向きのベクトルを、第３成分として生成する。この場合、第３成分は、ベクトルである。第２成分のベクトルの絶対値は、第２成分のベクトルの長さを示す。規定の向きは、例えば、所定の規則に従って、第２成分のベクトルの差の向きに応じて決定される。

【0129】

所定の規則は、第３成分のベクトルの向きを、第２成分のベクトルの向きと同一の向き、および、第２成分のベクトルの向きとは逆の向きのうち、いずれかの向きに決定する規則である。所定の規則は、第３成分のベクトルの向きを、第２成分のベクトルの向きと同一の向き、および、第２成分のベクトルの向きとは逆の向きのうち、いずれかの軸方向の向き成分が正となるいずれかの向きに統一するよう決定する規則である。

【0130】

生成部５０３は、具体的には、第１人物が映った第１映像の各フレームについて、第２成分のベクトルの絶対値を大きさとして有する、規定の向きのベクトルを、第３成分として生成する。これにより、生成部５０３は、左右対となる２つの身体部位のそれぞれの身体部位の位置情報の相違性に関する特徴を表しつつ、対となる左右対となる２つの身体部位のそれぞれの身体部位の動きの逆転に依存しない第３成分を得ることができる。生成部５０３は、モデルを学習する際の指針となり得る第３成分を得ることができる。

【0131】

生成部５０３は、特定部５０２で特定した、第２人物が有する身体部位のうち対となる２つの身体部位のそれぞれの身体部位の位置情報に基づいて、それぞれの身体部位の位置情報の和を示す第４成分を生成する。生成部５０３は、例えば、軸方向ごとに、それぞれの身体部位の位置情報が示す当該軸方向の成分値の和を用いた指標値を算出し、算出した当該指標値を組み合わせた第４成分を生成する。指標値は、例えば、軸方向の成分値の和を規定値で除算した値である。規定値は、例えば、√２である。生成部５０３は、具体的には、第２人物が映った第２映像の各フレームについて、軸方向ごとに、それぞれの身体部位の位置情報が示す当該軸方向の成分値の和を用いた指標値を算出し、算出した当該指標値を組み合わせた第４成分を生成する。

【0132】

生成部５０３は、例えば、それぞれの身体部位の位置情報がベクトルであれば、それぞれの身体部位の位置情報が示すベクトルの和を、第４成分として生成してもよい。この場合、第４成分は、ベクトルである。生成部５０３は、具体的には、第２人物が映った第２映像の各フレームについて、それぞれの身体部位の位置情報が示すベクトルの和を、第４成分として生成する。これにより、生成部５０３は、左右対となる２つの身体部位のそれぞれの身体部位の位置情報の共通性に関する特徴を表し、モデルを用いて、第２人物の姿勢情報を推定する際の指針となり得る第４成分を得ることができる。

【0133】

生成部５０３は、特定部５０２で特定した、第２人物が有する身体部位のうち対となる２つの身体部位のそれぞれの身体部位の位置情報に基づいて、それぞれの身体部位の位置情報の差を示す第５成分を生成する。生成部５０３は、例えば、軸方向ごとに、それぞれの身体部位の位置情報が示す当該軸方向の成分値の差を用いた指標値を算出し、算出した当該指標値を組み合わせた第５成分を生成する。指標値は、例えば、軸方向の成分値の差を規定値で除算した値である。規定値は、例えば、√２である。生成部５０３は、具体的には、第２人物が映った第２映像の各フレームについて、軸方向ごとに、それぞれの身体部位の位置情報が示す当該軸方向の成分値の差を用いた指標値を算出し、算出した当該指標値を組み合わせた第５成分を生成する。

【0134】

生成部５０３は、例えば、第２人物が有する身体部位のうち対となる２つの身体部位のそれぞれの身体部位の位置情報がベクトルであれば、それぞれの身体部位の位置情報が示すベクトルの差を、第５成分として生成してもよい。この場合、第５成分は、ベクトルである。生成部５０３は、具体的には、第２人物が映った第２映像の各フレームについて、それぞれの身体部位の位置情報が示すベクトルの差を、第５成分として生成する。これにより、生成部５０３は、左右対となる２つの身体部位のそれぞれの身体部位の位置情報の相違性に関する特徴を表し、モデルを用いて、第２人物の姿勢情報を推定する際の指針となり得る第５成分を得ることができる。

【0135】

生成部５０３は、特定部５０２で特定した、第２人物が有する身体部位のうち対となる２つの身体部位のそれぞれの身体部位の位置情報に基づいて、それぞれの身体部位の位置情報の差を示す第５成分の絶対値を示す第６成分を生成する。生成部５０３は、例えば、軸方向ごとに、それぞれの身体部位の位置情報が示す当該軸方向の成分値の差の絶対値を用いた指標値を算出し、算出した当該指標値を組み合わせた第６成分を生成する。指標値は、例えば、軸方向の成分値の差の絶対値を規定値で除算した値である。規定値は、例えば、√２である。生成部５０３は、具体的には、第２人物が映った第２映像の各フレームについて、軸方向ごとに、それぞれの身体部位の位置情報が示す当該軸方向の成分値の差の絶対値を用いた指標値を算出し、算出した当該指標値を組み合わせた第６成分を生成する。

【0136】

生成部５０３は、例えば、第２人物が有する身体部位のうち対となる２つの身体部位のそれぞれの身体部位の位置情報がベクトルであれば、第５成分のベクトルの絶対値を大きさとして有する、規定の向きのベクトルを、第６成分として生成する。この場合、第６成分は、ベクトルである。第５成分のベクトルの絶対値は、第５成分のベクトルの長さを示す。規定の向きは、例えば、所定の規則に従って、第５成分のベクトルの差の向きに応じて決定される。

【0137】

所定の規則は、第６成分のベクトルの向きを、第５成分のベクトルの向きと同一の向き、および、第５成分のベクトルの向きとは逆の向きのうち、いずれかの向きに決定する規則である。所定の規則は、第６成分のベクトルの向きを、第５成分のベクトルの向きと同一の向き、および、第５成分のベクトルの向きとは逆の向きのうち、いずれかの軸方向の向き成分が正となるいずれかの向きに統一するよう決定する規則である。

【0138】

生成部５０３は、具体的には、第２人物が映った第２映像の各フレームについて、第５成分のベクトルの絶対値を大きさとして有する、規定の向きのベクトルを、第６成分として生成する。これにより、生成部５０３は、左右対となる２つの身体部位のそれぞれの身体部位の位置情報の相違性に関する特徴を表しつつ、対となる左右対となる２つの身体部位のそれぞれの身体部位の動きの逆転に依存しない第６成分を得ることができる。生成部５０３は、モデルを用いて、第２人物の姿勢情報を推定する際の指針となり得る第６成分を得ることができる。

【0139】

学習部５０４は、生成した第１成分と、生成した第３成分とに基づいて、第２人物が映った第２映像から第２人物の姿勢情報を出力するモデルを学習する。学習部５０４は、例えば、生成した第１成分と、生成した第３成分との組み合わせと、取得部５０１で取得した正解ラベルとを対応付けた学習データを生成する。

【0140】

学習部５０４は、具体的には、第１人物が映った第１映像の各フレームについて、生成した第１成分と、生成した第３成分との組み合わせと、取得部５０１で取得した正解ラベルとを対応付けた学習データを生成する。学習部５０４は、具体的には、第１人物が映った第１映像における、生成した第１成分の時系列と、生成した第３成分の時系列との組み合わせと、取得部５０１で取得した第１映像全体に対応する正解ラベルとを対応付けた学習データを生成してもよい。

【0141】

学習部５０４は、例えば、生成した学習データに基づいて、モデルを学習する。学習部５０４は、具体的には、ロジスティック回帰を用いて、生成した学習データに基づいて、モデルを学習する。情報処理装置１００は、具体的には、誤差逆伝搬を用いて、生成した学習データに基づいて、モデルを学習してもよい。

【0142】

これにより、学習部５０４は、モデルを学習することができる。学習部５０４は、例えば、第２人物が映った映像から第２人物の姿勢情報を精度よく推定可能なモデルを学習することができる。学習部５０４は、学習したモデルを用いて、対となる２つの身体部位のそれぞれの身体部位に関する同種の行動を、同一の行動として認識可能にすることができる。

【0143】

学習部５０４は、生成した第１成分と、生成した第２成分と、生成した第３成分とに基づいて、第２人物が映った第２映像から第２人物の姿勢情報を出力するモデルを学習してもよい。学習部５０４は、例えば、生成した第１成分と、生成した第２成分と、生成した第３成分との組み合わせと、取得部５０１で取得した正解ラベルとを対応付けた学習データを生成する。

【0144】

学習部５０４は、具体的には、第１人物が映った第１映像の各フレームについて、生成した第１成分と、生成した第２成分と、生成した第３成分との組み合わせと、取得部５０１で取得した正解ラベルとを対応付けた学習データを生成する。学習部５０４は、具体的には、第１人物が映った第１映像における、生成した第１成分の時系列と、生成した第２成分の時系列と、生成した第３成分の時系列との組み合わせと、第１映像全体に対応する正解ラベルとを対応付けた学習データを生成してもよい。

【0145】

学習部５０４は、例えば、生成した学習データに基づいて、モデルを学習する。学習部５０４は、具体的には、ロジスティック回帰を用いて、生成した学習データに基づいて、モデルを学習する。情報処理装置１００は、具体的には、誤差逆伝搬を用いて、生成した学習データに基づいて、モデルを学習してもよい。

【0146】

これにより、学習部５０４は、モデルを学習することができる。学習部５０４は、例えば、第２人物が映った映像から第２人物の姿勢情報を精度よく推定可能なモデルを学習することができる。学習部５０４は、学習したモデルを用いて、対となる２つの身体部位のそれぞれの身体部位に関する同種の行動を、同一の行動として認識可能にすることができる。

【0147】

認識部５０５は、生成した第４成分と、生成した第６成分とに基づいて、学習したモデルを用いて、第２人物の姿勢情報を取得する。認識部５０５は、例えば、生成した第４成分と、生成した第６成分との組み合わせを説明変数として含む入力データを生成する。入力データは、例えば、第２人物が有する身体部位のうち、対とならない身体部位の位置情報を、さらに説明変数として含んでいてもよい。

【0148】

認識部５０５は、具体的には、第２人物が映った第２映像の各フレームについて、生成した第４成分と、生成した第６成分との組み合わせを説明変数として含む入力データを生成する。認識部５０５は、具体的には、第２人物が映った第２映像における、生成した第４成分の時系列と、生成した第６成分の時系列との組み合わせを説明変数として含む入力データを生成してもよい。

【0149】

認識部５０５は、例えば、生成した入力データを、学習したモデルに入力することにより、学習したモデルを用いて、第２人物の姿勢情報を推定し、学習したモデルから出力される第２人物の姿勢情報を取得する。これにより、認識部５０５は、第２人物の姿勢情報を精度よく求めることができる。

【0150】

認識部５０５は、生成した第４成分と、生成した第５成分と、生成した第６成分とに基づいて、学習したモデルを用いて、第２人物の姿勢情報を取得してもよい。認識部５０５は、例えば、生成した第４成分と、生成した第５成分と、生成した第６成分との組み合わせを説明変数として含む入力データを生成する。

【0151】

認識部５０５は、具体的には、第２人物が映った第２映像の各フレームについて、生成した第４成分と、生成した第５成分と、生成した第６成分との組み合わせを説明変数として含む入力データを生成する。認識部５０５は、具体的には、第２人物が映った第２映像における、生成した第４成分の時系列と、生成した第５成分の時系列と、生成した第６成分の時系列との組み合わせを説明変数として含む入力データを生成してもよい。

【0152】

認識部５０５は、例えば、生成した入力データを、学習したモデルに入力することにより、学習したモデルを用いて、第２人物の姿勢情報を推定し、学習したモデルから出力される第２人物の姿勢情報を取得する。これにより、認識部５０５は、第２人物の姿勢情報を精度よく求めることができる。

【0153】

出力部５０６は、少なくともいずれかの機能部の処理結果を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、ネットワークＩ／Ｆ３０３による外部装置への送信、または、メモリ３０２や記録媒体３０５などの記憶領域への記憶である。これにより、出力部５０６は、少なくともいずれかの機能部の処理結果を利用者に通知可能にし、情報処理装置１００の利便性の向上を図ることができる。

【0154】

出力部５０６は、例えば、学習部５０４で学習したモデルを出力する。出力部５０６は、具体的には、学習部５０４で学習したモデルを、他のコンピュータに送信する。他のコンピュータは、例えば、クライアント装置２０２などである。これにより、出力部５０６は、有用なモデルを、他のコンピュータで利用可能にすることができる。

【0155】

出力部５０６は、例えば、認識部５０５で取得した第２人物の姿勢情報を出力する。出力部５０６は、具体的には、第２人物の姿勢情報を、利用者が参照可能に出力する。出力部５０６は、具体的には、第２人物の姿勢情報を、他のコンピュータに送信してもよい。他のコンピュータは、例えば、クライアント装置２０２などである。これにより、出力部５０６は、第２人物の姿勢情報を利用可能にすることができる。

【0156】

ここでは、情報処理装置１００が、取得部５０１と、特定部５０２と、生成部５０３と、学習部５０４と、認識部５０５と、出力部５０６とを含む場合について説明したが、これに限らない。例えば、情報処理装置１００が、いずれかの機能部を含まず、当該機能部を含む他のコンピュータと通信可能である場合があってもよい。具体的には、情報処理装置１００が、認識部５０５を含まない場合があってもよい。

【0157】

（情報処理装置１００の動作の流れ）
次に、図６を用いて、情報処理装置１００の動作の流れについて説明する。

【0158】

図６は、情報処理装置１００の動作の流れを示す説明図である。図６において、（６－１）情報処理装置１００は、人物が映った複数のフレームを含む学習映像データ６０１を、映像撮影装置２０１から受信する。情報処理装置１００は、利用者の操作入力に基づき、学習映像データ６０１の各フレームに対応する人物の行動を示す正解ラベルを含むアノテーションデータ６００を取得する。正解ラベルは、例えば、人物が特定の行動を行っているか否かを示す。

【0159】

（６－２）情報処理装置１００は、ＤＬ（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）モデル６１０を記憶する。ＤＬモデル６１０は、映像データのフレームから、当該フレームに映った人物の複数の骨格のそれぞれの骨格の座標情報を推定する機能を有する。骨格は、身体部位に相当する。身体部位は、例えば、首、頭、右肩、左肩、右肘、左肘、右手、左手、右膝、左膝、右足、または、左足などである。

【0160】

座標情報は、例えば、それぞれの骨格の３次元空間上の位置を表す、それぞれ異なる軸方向の複数の成分値の組み合わせを含む。座標情報は、具体的には、Ｘ軸方向の成分値、Ｙ軸方向の成分値、および、Ｚ軸方向の成分値の組み合わせを含む。ＤＬモデル６１０は、例えば、映像データのフレームの入力に応じて、当該フレームに映った人物の複数の骨格のそれぞれの骨格の座標情報を出力する機能を有する。

【0161】

（６－３）情報処理装置１００は、人物認識６１１の処理を実施することにより、受信した学習映像データ６０１に基づいて、学習映像データ６０１の各フレームに映った人物を認識する。情報処理装置１００は、骨格推定６１２の処理を実施することにより、ＤＬモデル６１０を用いて、学習映像データ６０１の各フレームにおける、認識した人物の複数の骨格のそれぞれの骨格の座標情報を取得する。

【0162】

（６－４）情報処理装置１００は、人物が有する骨格のうち、左右対となる２つの骨格のペアを特定する。ペアは、例えば、右手に相当する右手骨格と、左手に相当する左手骨格との組み合わせである。ペアは、例えば、右肘に相当する右肘骨格と、左肘に相当する左肘骨格との組み合わせであってもよい。情報処理装置１００は、学習映像データ６０１の各フレームにおける、取得した複数の骨格のそれぞれの骨格の座標情報のうち、特定したペアとなる２つの骨格のそれぞれの骨格の座標情報を抽出する。

【0163】

（６－５）情報処理装置１００は、座標変換６１３の処理を実施することにより、学習映像データ６０１の各フレームにおける、抽出した２つの骨格のそれぞれの骨格の座標情報の組み合わせを、特殊な直交座標系における２つの座標情報の組み合わせに変換する。特殊な直交座標系は、左右対となる２つの骨格のそれぞれの骨格の対称的な動きを統一的に扱うための直交座標系である。

【0164】

具体的には、２つの骨格のうち、一方の骨格に関するＸ軸と、他方の骨格に関するＸ軸とを直交させた直交座標系を想定し、当該直交座標系における４５度線を軸の一つとする別の直交座標系を、特殊な直交座標系の一つとして採用することが考えられる。４５度線は、例えば、「一方の骨格に関するＸ軸の成分値＝他方の骨格に関するＸ軸の成分値」の数式によって定義される直線に相当する。

【0165】

同様に、具体的には、２つの骨格のうち、一方の骨格に関するＹ軸と、他方の骨格に関するＹ軸とを直交させた直交座標系を想定し、当該直交座標系における４５度線を軸の一つとする別の直交座標系を、特殊な直交座標系の一つとして採用することが考えられる。４５度線は、例えば、「一方の骨格に関するＹ軸の成分値＝他方の骨格に関するＹ軸の成分値」の数式によって定義される直線に相当する。

【0166】

同様に、具体的には、２つの骨格のうち、一方の骨格に関するＺ軸と、他方の骨格に関するＺ軸とを直交させた直交座標系を想定し、当該直交座標系における４５度線を軸の一つとする別の直交座標系を、特殊な直交座標系の一つとして採用することが考えられる。４５度線は、例えば、「一方の骨格に関するＺ軸の成分値＝他方の骨格に関するＺ軸の成分値」の数式によって定義される直線に相当する。特殊な直交座標系の具体的な一例については、図９および図１０を用いて後述する。変換の具体的な一例については、図９および図１０を用いて後述する。

【0167】

（６－６）情報処理装置１００は、学習映像データ６０１の各フレームにおける、変換した特殊な直交座標系における２つの座標情報の組み合わせに、正解ラベルを対応付けたモデル学習データを生成する。情報処理装置１００は、機械学習６１４の処理を実施することにより、生成したモデル学習データに基づいて、行動認識モデル６２０を学習する。

【0168】

行動認識モデル６２０は、例えば、人物が映った映像データのフレームにおける当該人物の姿勢に関する特徴の入力に応じて、当該フレームにおいて当該人物が特定の行動を行っているか否かを示すラベルを出力する機能を有する。人物の姿勢に関する特徴は、例えば、特殊な直交座標系における２つの座標情報の組み合わせである。これにより、情報処理装置１００は、人物が映った映像のフレームにおいて当該人物が特定の行動を行っているか否かを示すラベルを精度よく推定可能な行動認識モデル６２０を得ることができる。

【0169】

（６－７）情報処理装置１００は、人物が映った複数のフレームを含む評価映像データ６０２を、映像撮影装置２０１から受信する。

【0170】

（６－８）情報処理装置１００は、人物認識６１５の処理を実施することにより、受信した評価映像データ６０２に基づいて、評価映像データ６０２の各フレームに映った人物を認識する。情報処理装置１００は、骨格推定６１６の処理を実施することにより、ＤＬモデル６１０を用いて、評価映像データ６０２の各フレームにおける、認識した人物の複数の骨格のそれぞれの骨格の座標情報を取得する。

【0171】

（６－９）情報処理装置１００は、人物が有する骨格のうち、左右対となる２つの骨格のペアを特定する。ペアは、例えば、右手に相当する右手骨格と、左手に相当する左手骨格との組み合わせである。ペアは、例えば、右肘に相当する右肘骨格と、左肘に相当する左肘骨格との組み合わせであってもよい。情報処理装置１００は、評価映像データ６０２の各フレームにおける、取得した複数の骨格のそれぞれの骨格の座標情報のうち、特定したペアとなる２つの骨格のそれぞれの骨格の座標情報を抽出する。

【0172】

（６－１０）情報処理装置１００は、座標変換６１７の処理を実施することにより、評価映像データ６０２の各フレームにおける、抽出した２つの骨格のそれぞれの骨格の座標情報の組み合わせを、特殊な直交座標系における２つの座標情報の組み合わせに変換する。特殊な直交座標系は、左右対となる２つの骨格のそれぞれの骨格の対称的な動きを統一的に扱うための直交座標系である。

【0173】

（６－１１）情報処理装置１００は、評価映像データ６０２の各フレームにおける、変換した特殊な直交座標系における２つの座標情報の組み合わせを説明変数として含むモデル入力データを生成する。情報処理装置１００は、行動認識６１８の処理を実施することにより、行動認識モデル６２０を用いて、評価映像データ６０２の各フレームにおけるモデル入力データに基づいて、当該フレームにおいて人物が特定の行動を行っているか否かを示すラベルを取得する。これにより、情報処理装置１００は、人物が映った映像のフレームにおいて当該人物が特定の行動を行っているか否かを示すラベルを精度よく推定することができる。

【0174】

（情報処理装置１００の動作の一例）
次に、図７～図２０を用いて、情報処理装置１００の動作の一例について説明する。まず、図７を用いて、人物が有する複数の骨格のうち、左右対となる２つの骨格のペアを特定可能にするために、情報処理装置１００が記憶するペア管理テーブル７００の記憶内容の一例について説明する。ペア管理テーブル７００は、例えば、図３に示した情報処理装置１００のメモリ３０２や記録媒体３０５などの記憶領域により実現される。

【0175】

図７は、ペア管理テーブル７００の記憶内容の一例を示す説明図である。図７に示すように、ペア管理テーブル７００は、骨格１と、骨格２とのフィールドを有する。ペア管理テーブル７００は、２つの骨格を組み合わせたペアごとに各フィールドに情報を設定することにより、ペア情報がレコード７００－ａとして記憶される。ａは、任意の整数である。

【0176】

骨格１のフィールドには、人物が有する複数の骨格のうち、いずれかの骨格の種類が設定される。種類は、例えば、身体部位の名称によって示される。骨格２のフィールドには、上記いずれかの骨格と組み合わせることにより２つの骨格のペアを形成する、人物が有する複数の骨格のうち、上記いずれかの骨格とは異なる他の骨格の種類が設定される。これにより、情報処理装置１００は、ペア管理テーブル７００を参照して、人物が有する複数の骨格のうち、左右対となる２つの骨格のペアを特定可能にすることができる。

【0177】

以下、情報処理装置１００が、人物が映った複数のフレームを含む学習映像データ６０１を取得し、学習映像データ６０１に基づいて、複数の学習データを生成し、生成した複数の学習データに基づいて、行動認識モデル６２０を学習する一例について説明する。情報処理装置１００は、ＤＬモデル６１０を記憶する。

【0178】

情報処理装置１００は、学習映像データ６０１を、映像撮影装置２０１から受信する。情報処理装置１００は、利用者の操作入力に基づき、学習映像データ６０１の各フレームに対応する人物の行動を示す正解ラベルを含むアノテーションデータ６００を取得する。情報処理装置１００は、人物認識６１１の処理を実施することにより、受信した学習映像データ６０１に基づいて、学習映像データ６０１の各フレームに映った人物を認識する。

【0179】

次に、図８を用いて、情報処理装置１００が、骨格推定６１２の処理を実施することにより、ＤＬモデル６１０を用いて、学習映像データ６０１の各フレームにおける、認識した人物の複数の骨格のそれぞれの骨格の座標情報を取得する一例について説明する。

【0180】

図８は、それぞれの骨格の座標情報を取得する一例を示す説明図である。図８の符号８００に示すように、情報処理装置１００は、人物の正面方向をＸ軸とし、人物の側面方向をＹ軸とし、人物の上下方向をＺ軸とする３次元直交座標系における、それぞれの骨格の座標情報を取得する。

【0181】

以下の説明では、図８の符号８１０に示すように、左半身に属する骨格に関するＸ軸を、Ｘｌ軸と表記し、図８の符号８２０に示すように、右半身に属する骨格に関するＸ軸を、Ｘｒ軸と表記し、それぞれの骨格に関するＸ軸を区別する。

【0182】

同様に、図８の符号８１０に示すように、左半身に属する骨格に関するＹ軸を、Ｙｌ軸と表記し、図８の符号８２０に示すように、右半身に属する骨格に関するＹ軸を、Ｙｒ軸と表記し、それぞれの骨格に関するＹ軸を区別する。

【0183】

同様に、図８の符号８１０に示すように、左半身に属する骨格に関するＺ軸を、Ｚｌ軸と表記し、図８の符号８２０に示すように、右半身に属する骨格に関するＺ軸を、Ｚｒ軸と表記し、それぞれの骨格に関するＺ軸を区別する。

【0184】

以下の説明では、左半身に属する骨格の座標情報は、例えば、Ｘｌ軸の座標値ｘｌと、Ｙｌ軸の座標値ｙｌと、Ｚｌ軸の座標値ｚｌとの組み合わせであるとする。同様に、以下の説明では、右半身に属する骨格の座標情報は、例えば、Ｘｒ軸の座標値ｘｒと、Ｙｒ軸の座標値ｙｒと、Ｚｒ軸の座標値ｚｒとの組み合わせであるとする。

【0185】

情報処理装置１００は、具体的には、学習映像データ６０１の各フレームにおける、人物の複数の骨格のうち、少なくとも、左手に相当する左手骨格の座標情報（ｘｌ，ｙｌ，ｚｌ）を取得する。情報処理装置１００は、具体的には、学習映像データ６０１の各フレームにおける、人物の複数の骨格のうち、少なくとも、右手に相当する右手骨格の座標情報（ｘｒ，ｙｒ，ｚｒ）を取得する。

【0186】

情報処理装置１００は、ペア管理テーブル７００を参照して、人物が有する骨格のうち、左右対となる、右手に相当する右手骨格と、左手に相当する左手骨格とのペアを特定する。情報処理装置１００は、学習映像データ６０１の各フレームにおける、取得した複数の骨格のそれぞれの骨格の座標情報のうち、左手骨格の座標情報（ｘｌ，ｙｌ，ｚｌ）と、右手骨格の座標情報（ｘｒ，ｙｒ，ｚｒ）とを抽出する。

【0187】

次に、図９および図１０を用いて、情報処理装置１００が、抽出した座標情報を変換する一例について説明する。具体的には、情報処理装置１００が、左手骨格の座標情報（ｘｌ，ｙｌ，ｚｌ）と、右手骨格の座標情報（ｘｒ，ｙｒ，ｚｒ）との組み合わせを、特殊な直交座標系における２つの座標情報の組み合わせに変換する一例について説明する。

【0188】

図９および図１０は、座標情報を変換する一例を示す説明図である。図９において、情報処理装置１００は、学習映像データ６０１の各フレームにおける、左手骨格の座標情報（ｘｌ，ｙｌ，ｚｌ）と、右手骨格の座標情報（ｘｒ，ｙｒ，ｚｒ）とのうち、互いに対応する座標値同士の組み合わせを特定する。

【0189】

情報処理装置１００は、具体的には、学習映像データ６０１の各フレームにおける、左手骨格の座標値ｘｌと、右手骨格の座標値ｘｒとの組み合わせ（ｘｌ，ｘｒ）を特定する。同様に、情報処理装置１００は、具体的には、学習映像データ６０１の各フレームにおける、左手骨格の座標値ｙｌと、右手骨格の座標値ｙｒとの組み合わせ（ｙｌ，ｙｒ）を特定する。同様に、情報処理装置１００は、具体的には、学習映像データ６０１の各フレームにおける、左手骨格の座標値ｚｌと、右手骨格の座標値ｚｒとの組み合わせ（ｚｌ，ｚｒ）を特定する。

【0190】

ここで、Ｘｌ軸とＸｒ軸との直交座標系９００において、ｘｒ＝ｘｌの数式が示す４５度線９１０に対して、組み合わせ（ｘｌ，ｘｒ）の点９０１と線対称に存在する、組み合わせ（ｘｌ’，ｘｒ’）の点９０２が存在する場合が考えられる。組み合わせ（ｘｌ，ｘｒ）の点９０１に対応する人物の姿勢と、組み合わせ（ｘｌ’，ｘｒ’）の点９０２に対応する人物の姿勢とは、互いに左右逆転した姿勢である。

【0191】

ここで、左右対となる２つの骨格のそれぞれの骨格を用いた同種の行動を、同一の行動として扱うために、人物の左右対称の姿勢または動きを同一視して扱うことが望まれる。そこで、組み合わせ（ｘｌ，ｘｒ）と、組み合わせ（ｘｌ’，ｘｒ’）とを、それぞれ同一の指標値に変換するよう、新たな直交座標系を設定することが考えられる。ここで、図１０の説明に移行し、新たな直交座標系１０００について説明する。

【0192】

図１０に示すように、新たな直交座標系１０００は、Ｘａ軸と、Ｘｂ軸との直交座標系である。Ｘａ軸は、直交座標系９００の４５度線９１０に対応する。Ｘｂ軸は、直交座標系９００の原点を通過し、直交座標系９００の４５度線９１０に直交する直線に対応する。組み合わせ（ｘｌ，ｘｒ）と、直交座標系１０００のＸａ軸の成分値ｘａとの関係は、ｘａ＝（ｘｌ＋ｘｒ）／√２で表される。組み合わせ（ｘｌ，ｘｒ）と、直交座標系１０００のＸｂ軸の成分値ｘｂとの関係は、ｘｂ＝｜ｘｌ－ｘｒ｜／√２で表される。

【0193】

ここで、（ｘｌ＋ｘｒ）／√２＝（ｘｌ’＋ｘｒ’）／√２である。また、｜ｘｌ－ｘｒ｜／√２＝｜ｘｌ’－ｘｒ’｜／√２である。従って、直交座標系１０００において、組み合わせ（ｘｌ，ｘｒ）と、組み合わせ（ｘｌ’，ｘｒ’）とを、それぞれ同一の指標値に変換可能であると考えられる。

【0194】

また、座標値ｘａ＝（ｘｌ＋ｘｒ）／√２は、組み合わせ（ｘｌ，ｘｒ）の共通性に関する特徴を表現可能であると考えられる。一方で、｜ｘｌ－ｘｒ｜／√２＝｜ｘｌ’－ｘｒ’｜／√２であるため、ｘｂ＝｜ｘｌ’－ｘｒ’｜／√２は、人物の左右対称の姿勢または動きを同一視して扱いつつも、組み合わせ（ｘｌ，ｘｒ）の相違性に関する特徴を表現可能であると考えられる。

【0195】

情報処理装置１００は、学習映像データ６０１の各フレームにおける、組み合わせ（ｘｌ，ｘｒ）を、組み合わせ（ｘａ，ｘｂ）に変換する。これにより、情報処理装置１００は、人物の左右対称の姿勢または動きを同一視して扱いつつ、人物の姿勢または動きの特徴を精度よく表す特徴量を得ることができる。情報処理装置１００は、具体的には、左右の区別以外の情報量を残しつつ、組み合わせ（ｘｌ，ｘｒ）を、組み合わせ（ｘａ，ｘｂ）に変換することができる。

【0196】

また、情報処理装置１００は、時系列に沿って、組み合わせ（ｘａ，ｘｂ）が連続的に変化する性質を有するよう、組み合わせ（ｘａ，ｘｂ）を得ることができる。組み合わせ（ｘａ，ｘｂ）は、点１００１に対応する。このように、情報処理装置１００は、左右対となる２つの骨格のそれぞれの骨格に関する同種の行動を、同一の行動として認識可能な行動認識モデル６２０の学習に適した特徴量となる組み合わせ（ｘａ，ｘｂ）を得ることができる。

【0197】

同様に、情報処理装置１００は、学習映像データ６０１の各フレームにおける、組み合わせ（ｙｌ，ｙｒ）を、組み合わせ（ｙａ，ｙｂ）に変換する。同様に、情報処理装置１００は、学習映像データ６０１の各フレームにおける、組み合わせ（ｚｌ，ｚｒ）を、組み合わせ（ｚａ，ｚｂ）に変換する。これにより、情報処理装置１００は、Ｘ軸、Ｙ軸、および、Ｚ軸のそれぞれの軸について、行動認識モデル６２０の学習に適した特徴量を得ることができる。

【0198】

情報処理装置１００は、学習映像データ６０１の各フレームにおける、変換した組み合わせを結合し、全体の組み合わせ（ｘａ，ｙａ，ｚａ，ｘｂ，ｙｂ，ｚｂ）を特定し、当該フレームに対応する正解ラベルを対応付けてモデル学習データを生成する。情報処理装置１００は、機械学習６１４の処理を実施することにより、生成したモデル学習データに基づいて、行動認識モデル６２０を学習する。これにより、情報処理装置１００は、左右対となる２つの骨格のそれぞれの骨格に関する同種の行動を、同一の行動として精度よく認識可能な行動認識モデル６２０を学習することができる。

【0199】

次に、図１１～図２０を用いて、情報処理装置１００の効果を表す数値例について説明する。

【0200】

図１１～図２０は、情報処理装置１００の効果を表す数値例を示す説明図である。図１１において、人物が屈んで「左手」で物体を拾った場面を映した左向き映像データに基づく、当該左向き映像データの秒ごとのフレームにおける、左手骨格の座標情報（ｘｌ，ｙｌ，ｚｌ）と、右手骨格の座標情報（ｘｒ，ｙｒ，ｚｒ）とを、表１１００に示す。

【0201】

表１１００は、秒と、左手ｘｌと、左手ｙｌと、左手ｚｌと、右手ｘｒと、右手ｙｒと、右手ｚｒとのフィールドを有する。秒のフィールドには、左向き映像データのフレームが何秒目かを示す秒数が設定される。

【0202】

左手ｘｌのフィールドには、上記秒数のフレームにおける、Ｘｌ軸に関する、左手骨格の座標値ｘｌが設定される。座標値ｘｌの単位は、例えば、ピクセルである。左手ｙｌのフィールドには、上記秒数のフレームにおける、Ｙｌ軸に関する、左手骨格の座標値ｙｌが設定される。座標値ｙｌの単位は、例えば、ピクセルである。左手ｚｌのフィールドには、上記秒数のフレームにおける、Ｚｌ軸に関する、左手骨格の座標値ｚｌが設定される。座標値ｚｌの単位は、例えば、ピクセルである。

【0203】

右手ｘｒのフィールドには、上記秒数のフレームにおける、Ｘｒ軸に関する、右手骨格の座標値ｘｒが設定される。座標値ｘｒの単位は、例えば、ピクセルである。右手ｙｒのフィールドには、上記秒数のフレームにおける、Ｙｒ軸に関する、右手骨格の座標値ｙｒが設定される。座標値ｙｒの単位は、例えば、ピクセルである。右手ｚｒのフィールドには、上記秒数のフレームにおける、Ｚｒ軸に関する、右手骨格の座標値ｚｒが設定される。座標値ｚｒの単位は、例えば、ピクセルである。次に、図１２の説明に移行する。

【0204】

図１２において、図１１に示した左手骨格の座標情報（ｘｌ，ｙｌ，ｚｌ）の時系列と、図１１に示した右手骨格の座標情報（ｘｒ，ｙｒ，ｚｒ）の時系列とを、グラフ１２００に示す。グラフ１２００の縦軸は、ピクセルである。グラフ１２００の横軸は、秒数である。次に、図１３の説明に移行する。

【0205】

図１３において、人物が屈んで「左手」で物体を拾った左向き映像データを左右反転し、左右反転した反転映像データを、人物が屈んで「右手」で物体を拾った場面を映した右向き映像データとして扱う。人物が屈んで「右手」で物体を拾った右向き映像データに基づく、当該右向き映像データの秒ごとのフレームにおける、左手骨格の座標情報（ｘｌ，ｙｌ，ｚｌ）と、右手骨格の座標情報（ｘｒ，ｙｒ，ｚｒ）とを、表１３００に示す。

【0206】

表１３００は、秒と、左手ｘｌと、左手ｙｌと、左手ｚｌと、右手ｘｒと、右手ｙｒと、右手ｚｒとのフィールドを有する。表１３００が有する各フィールドの内容は、表１１００が有する各フィールドの内容と同様であるため、説明を省略する。次に、図１４の説明に移行する。

【0207】

図１４において、図１３に示した左手骨格の座標情報（ｘｌ，ｙｌ，ｚｌ）の時系列と、図１３に示した右手骨格の座標情報（ｘｒ，ｙｒ，ｚｒ）の時系列とを、グラフ１４００に示す。グラフ１４００の縦軸は、ピクセルである。グラフ１４００の横軸は、秒数である。次に、図１５の説明に移行する。

【0208】

図１５において、左向き映像データの秒ごとのフレームにおける、左手骨格の座標情報（ｘｌ，ｙｌ，ｚｌ）と、右手骨格の座標情報（ｘｒ，ｙｒ，ｚｒ）とを変換した、座標情報（ｘａ，ｙａ，ｚａ，ｘｂ，ｙｂ，ｚｂ）を、表１５００に示す。

【0209】

表１５００は、秒と、ｘａと、ｙａと、ｚａと、ｘｂと、ｙｂと、ｚｂとのフィールドを有する。秒のフィールドには、左向き映像データのフレームが何秒目かを示す秒数が設定される。

【0210】

ｘａのフィールドには、上記秒数のフレームにおける、Ｘａ軸に関する座標値ｘａが設定される。座標値ｘａの単位は、例えば、ピクセルである。ｙａのフィールドには、上記秒数のフレームにおける、Ｙａ軸に関する座標値ｙａが設定される。座標値ｙａの単位は、例えば、ピクセルである。ｚａのフィールドには、上記秒数のフレームにおける、Ｚａ軸に関する座標値ｚａが設定される。座標値ｚａの単位は、例えば、ピクセルである。

【0211】

ｘｂのフィールドには、上記秒数のフレームにおける、Ｘｂ軸に関する座標値ｘｂが設定される。座標値ｘｂの単位は、例えば、ピクセルである。ｙｂのフィールドには、上記秒数のフレームにおける、Ｙｂ軸に関する座標値ｙｂが設定される。座標値ｙｂの単位は、例えば、ピクセルである。ｚｂのフィールドには、上記秒数のフレームにおける、Ｚｂ軸に関する座標値ｚｂが設定される。座標値ｚｂの単位は、例えば、ピクセルである。

【0212】

ここで、右向き映像データの秒ごとのフレームにおける、左手骨格の座標情報（ｘｌ，ｙｌ，ｚｌ）と、右手骨格の座標情報（ｘｒ，ｙｒ，ｚｒ）とを変換した、座標情報（ｘａ，ｙａ，ｚａ，ｘｂ，ｙｂ，ｚｂ）は、表１５００に示す値と同一になる。次に、図１６の説明に移行する。

【0213】

図１６において、左向き映像データにおける座標情報（ｘａ，ｙａ，ｚａ，ｘｂ，ｙｂ，ｚｂ）の時系列を、グラフ１６００に示す。グラフ１６００の縦軸は、ピクセルである。グラフ１６００の横軸は、秒数である。また、右向き映像データにおける座標情報（ｘａ，ｙａ，ｚａ，ｘｂ，ｙｂ，ｚｂ）の時系列を、グラフ１６１０に示す。グラフ１６１０の縦軸は、ピクセルである。グラフ１６１０の横軸は、秒数である。

【0214】

図１５および図１６に示したように、左向き映像データにおける座標情報（ｘａ，ｙａ，ｚａ，ｘｂ，ｙｂ，ｚｂ）の時系列と、右向き映像データにおける座標情報（ｘａ，ｙａ，ｚａ，ｘｂ，ｙｂ，ｚｂ）の時系列とは、同一になる。

【0215】

これにより、情報処理装置１００は、座標情報（ｘａ，ｙａ，ｚａ，ｘｂ，ｙｂ，ｚｂ）により、人物の左右対称の姿勢または動きを同一視して扱いつつ、人物の姿勢または動きの特徴を精度よく表すことができる。情報処理装置１００は、座標情報（ｘａ，ｙａ，ｚａ，ｘｂ，ｙｂ，ｚｂ）に、左右の区別以外の情報量を残すことができる。従って、情報処理装置１００は、座標情報（ｘａ，ｙａ，ｚａ，ｘｂ，ｙｂ，ｚｂ）に基づいて、左右対となる２つの骨格のそれぞれの骨格に関する同種の行動を、同一の行動として精度よく認識可能な行動認識モデル６２０を学習することができる。

【0216】

次に、図１７および図１８の説明に移行し、情報処理装置１００の手法と、従来の手法とを比較した場合について説明する。従来の手法は、例えば、右手の位置を示す座標値と、左手の位置を示す座標値とのうち、絶対値が大きい方の座標値を、手の位置を示す座標値として採用する手法であるとする。

【0217】

図１７において、左向き映像データの秒ごとのフレームにおける、左手骨格の座標情報（ｘｌ，ｙｌ，ｚｌ）と、右手骨格の座標情報（ｘｒ，ｙｒ，ｚｒ）とを、従来の手法により変換した、座標情報（ｘｉ，ｙｉ，ｚｉ）を、表１７００に示す。ｘｉは、ｘｌと、ｘｒとのうち、絶対値が大きい方の値である。ｙｉは、ｙｌと、ｙｒとのうち、絶対値が大きい方の値である。ｚｉは、ｚｌと、ｚｒとのうち、絶対値が大きい方の値である。

【0218】

表１７００は、秒と、ｘｉと、ｙｉと、ｚｉとのフィールドを有する。秒のフィールドには、左向き映像データのフレームが何秒目かを示す秒数が設定される。

【0219】

ｘｉのフィールドには、上記秒数のフレームにおける座標値ｘｉが設定される。座標値ｘｉの単位は、例えば、ピクセルである。ｙｉのフィールドには、上記秒数のフレームにおける座標値ｙｉが設定される。座標値ｙｉの単位は、例えば、ピクセルである。ｚｉのフィールドには、上記秒数のフレームにおける座標値ｚｉが設定される。座標値ｚｉの単位は、例えば、ピクセルである。

【0220】

ここで、右向き映像データの秒ごとのフレームにおける、左手骨格の座標情報（ｘｌ，ｙｌ，ｚｌ）と、右手骨格の座標情報（ｘｒ，ｙｒ，ｚｒ）とを、従来の手法により変換した、座標情報（ｘｉ，ｙｉ，ｚｉ）は、表１７００に示す値と同一になる。次に、図１８の説明に移行する。

【0221】

図１８において、左向き映像データにおける座標情報（ｘｉ，ｙｉ，ｚｉ）の時系列を、グラフ１８００に示す。グラフ１８００の縦軸は、ピクセルである。グラフ１８００の横軸は、秒数である。また、右向き映像データにおける座標情報（ｘｉ，ｙｉ，ｚｉ）の時系列を、グラフ１８１０に示す。グラフ１８１０の縦軸は、ピクセルである。グラフ１８１０の横軸は、秒数である。

【0222】

図１７および図１８に示したように、左向き映像データにおける座標情報（ｘｉ，ｙｉ，ｚｉ）の時系列と、右向き映像データにおける座標情報（ｘｉ，ｙｉ，ｚｉ）の時系列とは、同一になる。しかしながら、従来の手法では、座標情報（ｘｉ，ｙｉ，ｚｉ）は、左手骨格の座標情報（ｘｌ，ｙｌ，ｚｌ）と、右手骨格の座標情報（ｘｒ，ｙｒ，ｚｒ）とに関し、左右の区別以外の情報量が欠落することがある。

【0223】

具体的には、図１２および図１４に示すように、秒数７付近では、一方の手のｚ座標値が小さくなるものの、当該一方の手のｚ座標値に比べて他方の手のｚ表値が小さくならないという特徴が、グラフ１２００およびグラフ１４００に現れる。これに対し、図１８に示すように、従来の手法では、座標情報（ｘｉ，ｙｉ，ｚｉ）の時系列に、秒数７付近で、座標値ｚｉに、一方の手のｚ座標値が小さくなったという特徴は残るものの、他方の手のｚ表値が小さくならないという特徴が欠落することになる。

【0224】

一方で、図１６に示すように、情報処理装置１００は、座標値ｚａと、座標値ｚｂとにより、座標値ｚｌと、座標値ｚｒとの共通性および相違性を表すことができる。このため、情報処理装置１００は、座標情報（ｚａ，ｚｂ）に、秒数７付近で、一方の手のｚ座標値が小さくなるものの、当該一方の手のｚ座標値に比べて他方の手のｚ表値が小さくならないという特徴を残すことができる。

【0225】

従って、情報処理装置１００は、従来の手法に比べて、左右対となる２つの骨格のそれぞれの骨格に関する同種の行動を、同一の行動として精度よく認識可能な行動認識モデル６２０を学習し易くすることができる。次に、図１９および図２０の説明に移行し、情報処理装置１００が、左向き映像データに対応する正解ラベルと、右向き映像データとに対応する正解ラベルとに基づいて、行動認識モデル６２０を学習および検査する場合について説明する。

【0226】

図１９において、左向き映像データに対応する正解ラベルを、表１９００に示す。表１９００は、時間と、動作有無とのフィールドを有する。時間のフィールドには、左向き映像データのフレームが何秒目かを示す秒数が設定される。動作有無のフィールドには、上記フレームにおいて、人物が特定の動作を行ったか否かを示す正解ラベルが設定される。特定の動作は、人物が屈んで片手で物体を拾うという動作である。正解ラベルは、値が０であれば、特定の動作が行われないことを示す。正解ラベルは、値が１であれば、特定の動作が行われたことを示す。

【0227】

また、右向き映像データに対応する正解ラベルを、表１９１０に示す。表１９１０は、時間と、動作有無とのフィールドを有する。時間のフィールドには、右向き映像データのフレームが何秒目かを示す秒数が設定される。動作有無のフィールドには、上記フレームにおいて、人物が特定の動作を行ったか否かを示す正解ラベルが設定される。特定の動作は、人物が屈んで片手で物体を拾うという動作である。正解ラベルは、値が０であれば、特定の動作が行われないことを示す。正解ラベルは、値が１であれば、特定の動作が行われたことを示す。

【0228】

ここで、秒数ｍｏｄ３＝１ではないフレームを学習対象とし、秒数ｍｏｄ３＝１であるフレームを検査対象とする。秒数ｍｏｄ３＝１は、具体的には、秒数＝１，４，７，１０．１３，１６である。情報処理装置１００は、学習対象の各フレームにおける座標情報（ｘａ，ｙａ，ｚａ，ｘｂ，ｙｂ，ｚｂ）と、正解ラベルとを組み合わせたモデル学習データに基づいて、行動認識モデル６２０を学習したとする。

【0229】

また、行動認識モデル６２０の比較対象として、学習対象の各フレームにおける、従来の手法で得た座標情報（ｘｉ，ｙｉ，ｚｉ）と、正解ラベルとを組み合わせた従来学習データに基づいて、従来のモデルを学習したとする。ここで、図２０の説明に移行する。

【0230】

図２０において、情報処理装置１００は、行動認識モデル６２０を用いて、検査対象の各フレームにおける動作有無を推定する。情報処理装置１００は、具体的には、行動認識モデル６２０に、検査対象の各フレームにおける座標情報（ｘａ，ｙａ，ｚａ，ｘｂ，ｙｂ，ｚｂ）を入力することにより、動作有無の推定結果を取得する。行動認識モデル６２０を用いた、動作有無の推定結果を、表２０００に示す。

【0231】

表２０００は、時間と、正解と、推定結果とのフィールドを有する。時間のフィールドには、秒数ｍｏｄ３＝１である当該秒数が設定される。正解のフィールドには、上記秒数のフレームにおける正解ラベルが設定される。推定結果のフィールドには、上記秒数のフレームにおける、行動認識モデル６２０を用いた、動作有無の推定結果が設定される。推定結果は、値が０であれば、特定の動作が行われないことを示す。推定結果は、値が１であれば、特定の動作が行われたことを示す。

【0232】

また、行動認識モデル６２０を用いた、動作有無の推定結果の比較対象として、従来のモデルを用いた、動作有無の推定結果を、表２０１０に示す。表２０１０は、時間と、正解と、推定結果とのフィールドを有する。時間のフィールドには、秒数ｍｏｄ３＝１である当該秒数が設定される。正解のフィールドには、上記秒数のフレームにおける正解ラベルが設定される。推定結果のフィールドには、上記秒数のフレームにおける、従来のモデルを用いた、動作有無の推定結果が設定される。推定結果は、値が０であれば、特定の動作が行われないことを示す。推定結果は、値が１であれば、特定の動作が行われたことを示す。

【0233】

このように、従来の手法は、誤推定が発生し、Ｒｅｃａｌｌ＝１．０かつＰｒｅｃｉｓｉｏｎ＝０．５（Ｆ値０．６６７）になってしまう。具体的には、従来の手法では、上述したように、秒数７付近で、座標値ｚｉに、一方の手のｚ座標値が小さくなり、他方の手のｚ表値が小さくならないという特徴が欠落したため、誤推定が発生したと考えられる。

【0234】

これに対し、情報処理装置１００は、行動認識モデル６２０を用いた、動作有無の推定結果を、正解ラベルと一致する値にすることができる。情報処理装置１００は、Ｒｅｃａｌｌ＝Ｐｒｅｃｉｓｉｏｎ＝１．０（Ｆ値１．０）にすることができる。このように、情報処理装置１００は、従来の手法に比べて、人物の行動を精度よく認識可能な行動認識モデル６２０を学習することができ、人物の行動を精度よく認識することができる。

【0235】

（学習処理手順）
次に、図２１を用いて、情報処理装置１００が実行する、学習処理手順の一例について説明する。学習処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。

【0236】

図２１は、学習処理手順の一例を示すフローチャートである。図２１において、情報処理装置１００は、学習映像データ６０１を取得する（ステップＳ２１０１）。

【0237】

次に、情報処理装置１００は、学習映像データ６０１に基づいて、ＤＬモデルを用いて、学習映像データ６０１の各フレームに映った人物を認識し、各フレームにおける当該人物の複数の骨格のそれぞれの骨格の座標情報を算出する（ステップＳ２１０２）。

【0238】

次に、情報処理装置１００は、各フレームにおける人物の複数の骨格のそれぞれの骨格の座標情報のうち、左右対となる２つの骨格のペアごとに、当該ペアとなる２つの骨格のそれぞれの骨格の座標情報を抽出する（ステップＳ２１０３）。

【0239】

次に、情報処理装置１００は、左右対となるいずれかの２つの骨格のペアを処理対象として選択する（ステップＳ２１０４）。次に、情報処理装置１００は、選択したペアの２つの骨格の座標情報のうち、ｘ座標の組み合わせ、ｙ座標の組み合わせ、および、ｚ座標の組み合わせを、左右に依存しない特殊な直交座標系における座標の組み合わせに変換する（ステップＳ２１０５）。

【0240】

次に、情報処理装置１００は、まだ選択していない左右対となる２つの骨格のペアが残っているか否かを判定する（ステップＳ２１０６）。ここで、左右対となる２つの骨格のペアが残っている場合（ステップＳ２１０６：Ｙｅｓ）、情報処理装置は、ステップＳ２１０４の処理に戻る。一方で、左右対となる２つの骨格のペアが残っていない場合（ステップＳ２１０６：Ｎｏ）、情報処理装置は、ステップＳ２１０７の処理に移行する。

【0241】

ステップＳ２１０７では、情報処理装置１００は、変換した座標の組み合わせを説明変数として含む入力サンプルと、正解データとなるアノテーションデータとの組み合わせに基づいて、機械学習モデルを学習する（ステップＳ２１０７）。

【0242】

次に、情報処理装置１００は、学習した機械学習モデルを保存する（ステップＳ２１０８）。そして、情報処理装置１００は、学習処理を終了する。

【0243】

（認識処理手順）
次に、図２２を用いて、情報処理装置１００が実行する、認識処理手順の一例について説明する。認識処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。

【0244】

図２２は、認識処理手順の一例を示すフローチャートである。図２２において、情報処理装置１００は、評価映像データ６０２を取得する（ステップＳ２２０１）。

【0245】

次に、情報処理装置１００は、評価映像データ６０２に基づいて、ＤＬモデルを用いて、評価映像データ６０２の各フレームに映った人物を認識し、各フレームにおける当該人物の複数の骨格のそれぞれの骨格の座標情報を算出する（ステップＳ２２０２）。

【0246】

次に、情報処理装置１００は、各フレームにおける人物の複数の骨格のそれぞれの骨格の座標情報のうち、左右対となる２つの骨格のペアごとに、当該ペアとなる２つの骨格のそれぞれの骨格の座標情報を抽出する（ステップＳ２２０３）。

【0247】

次に、情報処理装置１００は、左右対となるいずれかの２つの骨格のペアを処理対象として選択する（ステップＳ２２０４）。次に、情報処理装置１００は、選択したペアの２つの骨格の座標情報のうち、ｘ座標の組み合わせ、ｙ座標の組み合わせ、および、ｚ座標の組み合わせを、左右に依存しない特殊な直交座標系における座標の組み合わせに変換する（ステップＳ２２０５）。

【0248】

次に、情報処理装置１００は、まだ選択していない左右対となる２つの骨格のペアが残っているか否かを判定する（ステップＳ２２０６）。ここで、左右対となる２つの骨格のペアが残っている場合（ステップＳ２２０６：Ｙｅｓ）、情報処理装置は、ステップＳ２２０４の処理に戻る。一方で、左右対となる２つの骨格のペアが残っていない場合（ステップＳ２２０６：Ｎｏ）、情報処理装置は、ステップＳ２２０７の処理に移行する。

【0249】

ステップＳ２２０７では、情報処理装置１００は、学習した機械学習モデルを用いて、変換した座標の組み合わせを説明変数として含む入力データに基づいて、行動認識を実施する（ステップＳ２２０７）。

【0250】

次に、情報処理装置１００は、行動認識の実施結果を出力する（ステップＳ２２０８）。そして、情報処理装置１００は、認識処理を終了する。

【0251】

ここで、情報処理装置１００は、図２１および図２２の各フローチャートの一部ステップの処理の順序を入れ替えて実行してもよい。また、情報処理装置１００は、図２１および図２２の各フローチャートの一部ステップの処理を省略してもよい。

【0252】

以上説明したように、情報処理装置１００によれば、第１人物が映った映像を取得することができる。情報処理装置１００によれば、取得した映像を分析することにより、映像における、第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を特定することができる。情報処理装置１００によれば、特定したそれぞれの身体部位の位置情報の和を示す第１成分を生成することができる。情報処理装置１００によれば、特定したそれぞれの身体部位の位置情報の差を示す第２成分の絶対値を示す第３成分を生成することができる。情報処理装置１００によれば、生成した第１成分と、生成した第３成分とに基づいて、第２人物が映った映像から第２人物の姿勢情報を出力するモデルを学習することができる。これにより、情報処理装置１００は、第２人物が映った映像から第２人物の姿勢情報を精度よく推定するモデルを学習し易くすることができる。

【0253】

情報処理装置１００によれば、生成した第１成分と、第２成分と、生成した第３成分とに基づいて、モデルを学習することができる。これにより、情報処理装置１００は、第２成分も考慮して、第２人物が映った映像から第２人物の姿勢情報を精度よく推定するモデルを学習し易くすることができる。

【0254】

情報処理装置１００によれば、取得した映像を分析することにより、映像における、それぞれの身体部位の多次元空間上の位置を表す、それぞれ異なる軸方向の複数の成分値を示す位置情報を特定することができる。これにより、情報処理装置１００は、位置情報が、多次元空間上の位置を表す、それぞれ異なる軸方向の複数の成分値を示す場合に対応することができる。情報処理装置１００は、多次元空間上の位置を表す、それぞれ異なる軸方向の複数の成分値を示す位置情報を利用するモデルを学習することができる。

【0255】

情報処理装置１００によれば、軸方向ごとに、それぞれの身体部位の位置情報が示す軸方向の成分値の和を用いた指標値を算出し、算出した当該指標値を組み合わせた第１成分を生成することができる。情報処理装置１００によれば、軸方向ごとに、それぞれの身体部位の位置情報が示す軸方向の成分値の差を用いた指標値を算出し、算出した当該指標値の絶対値を組み合わせた第３成分を生成することができる。これにより、情報処理装置１００は、位置情報が、多次元空間上の位置を表す、それぞれ異なる軸方向の複数の成分値を示す場合に、第１成分と、第３成分とを精度よく生成することができる。

【0256】

情報処理装置１００によれば、軸方向ごとに、それぞれの身体部位の位置情報が示す軸方向の成分値の差を用いた指標値を算出し、算出した当該指標値を組み合わせた第２成分を生成することができる。情報処理装置１００によれば、生成した第１成分と、生成した第２成分と、生成した第３成分とに基づいて、モデルを学習することができる。これにより、情報処理装置１００は、位置情報が、多次元空間上の位置を表す、それぞれ異なる軸方向の複数の成分値を示す場合に、第２成分を精度よく生成することができる。

【0257】

情報処理装置１００によれば、２つの身体部位に、左右対となる異なる身体部位の組み合わせを採用することができる。これにより、情報処理装置１００は、左右対となる異なる身体部位を用いた第２人物の同種の行動を、同一の行動として認識可能なモデルを学習することができる。

【0258】

情報処理装置１００によれば、第２人物が映った映像を分析することにより、当該映像における、第２人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を特定することができる。情報処理装置１００によれば、対となる２つの身体部位のそれぞれの身体部位の位置情報の和を示す第４成分と、対となる２つの身体部位のそれぞれの身体部位の位置情報の差を示す第５成分の絶対値を示す第６成分とを生成することができる。情報処理装置１００によれば、生成した第４成分と、生成した第６成分とに基づいて、学習したモデルを用いて、第２人物の姿勢情報を取得することができる。これにより、情報処理装置１００は、第２人物の姿勢情報を精度よく推定することができる。

【0259】

情報処理装置１００によれば、取得した映像を分析することにより、映像における、第１人物の骨格の位置を特定し、特定した骨格の位置に基づいて、それぞれの身体部位の位置情報を特定することができる。これにより、情報処理装置１００は、骨格の位置を特定する手法を活用して、第１人物の姿勢に関する、それぞれの身体部位の位置情報を特定することができる。

【0260】

情報処理装置１００によれば、姿勢情報に、第２人物が特定の行動に対応する姿勢であるか否かを示す情報を採用することができる。これにより、情報処理装置１００は、第２人物が特定の行動に対応する姿勢であるか否かを判定可能にすることができ、第２人物が特定の行動を行ったか否かを判定可能にすることができる。

【0261】

なお、本実施の形態で説明した情報処理方法は、予め用意されたプログラムをＰＣやワークステーションなどのコンピュータで実行することにより実現することができる。本実施の形態で説明した情報処理プログラムは、コンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。記録媒体は、ハードディスク、フレキシブルディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などである。また、本実施の形態で説明した情報処理プログラムは、インターネットなどのネットワークを介して配布してもよい。

【0262】

上述した実施の形態に関し、さらに以下の付記を開示する。

【0263】

（付記１）第１人物が映った映像を取得し、
取得した前記映像を分析することにより、前記映像における、前記第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を特定し、
特定した前記それぞれの身体部位の位置情報の和を示す第１成分を生成し、
特定した前記それぞれの身体部位の位置情報の差を示す第２成分の絶対値を示す第３成分を生成し、
生成した前記第１成分と、生成した前記第３成分とに基づいて、第２人物が映った映像から前記第２人物の姿勢情報を出力するモデルを学習する、
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【0264】

（付記２）前記学習する処理は、
生成した前記第１成分と、前記第２成分と、生成した前記第３成分とに基づいて、前記モデルを学習する、ことを特徴とする付記１に記載の情報処理プログラム。

【0265】

（付記３）前記特定する処理は、
取得した前記映像を分析することにより、前記映像における、前記それぞれの身体部位の多次元空間上の位置を表す、それぞれ異なる軸方向の複数の成分値を示す位置情報を特定する、ことを特徴とする付記１または２に記載の情報処理プログラム。

【0266】

（付記４）前記第１成分を生成する処理は、
前記軸方向ごとに、前記それぞれの身体部位の位置情報が示す前記軸方向の成分値の和を用いた指標値を算出し、算出した当該指標値を組み合わせた前記第１成分を生成し、
前記第３成分を生成する処理は、
前記軸方向ごとに、前記それぞれの身体部位の位置情報が示す前記軸方向の成分値の差を用いた指標値を算出し、算出した当該指標値の絶対値を組み合わせた前記第３成分を生成する、ことを特徴とする付記３に記載の情報処理プログラム。

【0267】

（付記５）前記軸方向ごとに、前記それぞれの身体部位の位置情報が示す前記軸方向の成分値の差を用いた指標値を算出し、算出した当該指標値を組み合わせた前記第２成分を生成する、
処理を前記コンピュータに実行させ、
前記学習する処理は、
生成した前記第１成分と、生成した前記第２成分と、生成した前記第３成分とに基づいて、前記モデルを学習する、ことを特徴とする付記４に記載の情報処理プログラム。

【0268】

（付記６）前記２つの身体部位は、左右対となる異なる身体部位の組み合わせである、ことを特徴とする付記１または２に記載の情報処理プログラム。

【0269】

（付記７）前記モデルは、前記第２人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報の和を示す第４成分と、対となる２つの身体部位のそれぞれの身体部位の位置情報の差を示す第５成分の絶対値を示す第６成分との入力に応じて、前記第２人物の姿勢情報を出力する機能を有し、
前記第２人物が映った映像を分析することにより、当該映像における、前記第２人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報の和を示す第４成分と、対となる２つの身体部位のそれぞれの身体部位の位置情報の差を示す第５成分の絶対値を示す第６成分とを生成し、
生成した前記第４成分と、生成した前記第６成分とに基づいて、学習した前記モデルを用いて、前記第２人物の姿勢情報を取得する、
処理を前記コンピュータに実行させることを特徴とする付記１または２に記載の情報処理プログラム。

【0270】

（付記８）前記特定する処理は、
取得した前記映像を分析することにより、前記映像における、前記第１人物の骨格の位置を特定し、特定した前記骨格の位置に基づいて、前記それぞれの身体部位の位置情報を特定する、ことを特徴とする付記１または２に記載の情報処理プログラム。

【0271】

（付記９）前記姿勢情報は、前記第２人物が特定の行動に対応する姿勢であるか否かを示す、ことを特徴とする付記１または２に記載の情報処理プログラム。

【0272】

（付記１０）第１人物が映った映像を取得し、
取得した前記映像を分析することにより、前記映像における、前記第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を特定し、
特定した前記それぞれの身体部位の位置情報の和を示す第１成分を生成し、
特定した前記それぞれの身体部位の位置情報の差を示す第２成分の絶対値を示す第３成分を生成し、
生成した前記第１成分と、生成した前記第３成分とに基づいて、第２人物が映った映像から前記第２人物の姿勢情報を出力するモデルを学習する、
処理をコンピュータが実行することを特徴とする情報処理方法。

【0273】

（付記１１）第１人物が映った映像を取得し、
取得した前記映像を分析することにより、前記映像における、前記第１人物が有する身体部位のうち、対となる２つの身体部位のそれぞれの身体部位の位置情報を特定し、
特定した前記それぞれの身体部位の位置情報の和を示す第１成分を生成し、
特定した前記それぞれの身体部位の位置情報の差を示す第２成分の絶対値を示す第３成分を生成し、
生成した前記第１成分と、生成した前記第３成分とに基づいて、第２人物が映った映像から前記第２人物の姿勢情報を出力するモデルを学習する、
制御部を有することを特徴とする情報処理装置。

【符号の説明】

【0274】

１００ 情報処理装置
１０１，１０２ ベクトル
１１０ 第１成分
１２０ 第２成分
１３０ 第３成分
２００ 情報処理システム
２０１ 映像撮影装置
２０２ クライアント装置
２１０ ネットワーク
３００，４００ バス
３０１，４０１ ＣＰＵ
３０２，４０２ メモリ
３０３，４０３ ネットワークＩ／Ｆ
３０４，４０４ 記録媒体Ｉ／Ｆ
３０５，４０５ 記録媒体
３０６ ディスプレイ
３０７ 入力装置
４０６ カメラ
５００ 記憶部
５０１ 取得部
５０２ 特定部
５０３ 生成部
５０４ 学習部
５０５ 認識部
５０６ 出力部
６００ アノテーションデータ
６０１ 学習映像データ
６０２ 評価映像データ
６１０ ＤＬモデル
６１１，６１５ 人物認識
６１２，６１６ 骨格推定
６１３，６１７ 座標変換
６１４ 機械学習
６１８ 行動認識
６２０ 行動認識モデル
７００ ペア管理テーブル
８００，８１０，８２０ 符号
９００，１０００ 直交座標系
９０１，９０２，１００１ 点
９１０ ４５度線
１１００，１３００，１５００，１７００，１９００，１９１０，２０００，２０１０ 表
１２００，１４００，１６００，１６１０，１８００，１８１０ グラフ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】