特開 2024-126769 動作推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024126769

(43)【公開日】2024-09-20

(54)【発明の名称】動作推定装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240912BHJP

【ＦＩ】

G06T7/20 300A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023035386

(22)【出願日】2023-03-08

(71)【出願人】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(71)【出願人】

【識別番号】501493358

【氏名又は名称】株式会社セック

(74)【代理人】

【識別番号】110003177

【氏名又は名称】弁理士法人旺知国際特許事務所

(72)【発明者】

【氏名】佐藤 里奈

(72)【発明者】

【氏名】原 未來

(72)【発明者】

【氏名】小林 洸陽

(72)【発明者】

【氏名】高木 純平

(72)【発明者】

【氏名】村中 勇輝

(72)【発明者】

【氏名】杉江 卓哉

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096DA02

5L096FA06

5L096FA62

5L096FA69

5L096HA08

5L096HA11

5L096KA04

(57)【要約】

【課題】２次元画像に写る解析対象の動作を精度良く推定する。
【解決手段】取得部１４１は、現実空間ＳＲと解析対象Ｈとが撮影された２次元画像ＰＣを取得する。対象モデル生成部１４２は、現実空間ＳＲにおける解析対象Ｈの形体を模した３次元対象モデルＭを生成する。深度推定部１４３は、２次元画像ＰＣを撮像する撮像装置Ｃに対する解析対象Ｈの深度を推定する。配置部１４４は、深度推定部１４３によって推定された深度および２次元画像ＰＣ上の解析対象Ｈの位置に基づいて、現実空間ＳＲを模した３次元空間モデルＳＶ上に３次元対象モデルＭを配置する。動作推定部１４５は、３次元空間モデルＳＶ内の物体Ｂを示す物体モデルＢｍと３次元対象モデルＭとの相対位置に基づいて、現実空間ＳＲにおける解析対象Ｈの動作を推定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

現実空間と前記現実空間に位置する解析対象とが撮影された２次元画像を取得する取得部と、
前記２次元画像に基づいて、前記現実空間における前記解析対象の形体を模した３次元対象モデルを生成する対象モデル生成部と、
前記２次元画像に基づいて、前記２次元画像を撮像する撮像装置に対する前記解析対象の深度を推定する深度推定部と、
前記深度推定部によって推定された前記深度および前記２次元画像上の前記解析対象の位置に基づいて、前記現実空間を模した３次元空間モデル上に前記３次元対象モデルを配置する配置部と、
前記３次元空間モデル内の物体を示す物体モデルと前記３次元対象モデルとの相対位置に基づいて、前記現実空間における前記解析対象の動作を推定する動作推定部と、
を備える動作推定装置。

【請求項2】

前記動作推定部は、前記物体モデルと前記３次元対象モデルとが接触する箇所に基づいて、前記動作を推定する、
請求項１記載の動作推定装置。

【請求項3】

前記動作推定部は、前記３次元対象モデルの特定の部位が向く方向に位置する前記物体モデルに基づいて、前記動作を推定する、
請求項１記載の動作推定装置。

【請求項4】

前記動作は、前記現実空間の所定箇所に対する動作であり、
前記所定箇所を特定する特定情報を前記３次元空間モデルに表示する表示制御部を更に備える、
請求項１記載の動作推定装置。

【請求項5】

前記表示制御部は、前記動作の継続時間に基づいて、前記特定情報の表示態様を変更する、
請求項４記載の動作推定装置。

【請求項6】

前記解析対象は、人であり、
前記３次元対象モデルは、前記人の骨格を示す骨格モデルである、
請求項１記載の動作推定装置。

【請求項7】

前記配置部は、前記深度、前記２次元画像上の前記解析対象の位置および前記現実空間における前記撮像装置の位置に基づいて、前記現実空間における前記解析対象の位置を示す３次元座標を推定し、前記３次元空間モデル上の前記３次元座標に対応する位置に、前記３次元対象モデルを配置する、
請求項１記載の動作推定装置。

【請求項8】

前記２次元画像および前記深度推定部によって推定された前記深度に基づいて、前記３次元空間モデルを生成する空間モデル生成部を更に備え、
前記配置部は、前記２次元画像上の前記解析対象の位置に対応する前記３次元空間モデル上の位置に、前記３次元対象モデルを配置する、
請求項１記載の動作推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動作推定装置に関する。

【背景技術】

【0002】

従来、監視カメラ等で撮像された２次元画像を解析し、解析対象の行動を推定する技術が知られている。例えば、下記特許文献１に記載の特定動作検出装置は、患者のベッドからの離床を判断する際に、ベッド上で起き上がってベッドに腰掛ける動作の有無を含んで判断する。特定動作検出装置は、カメラ、ベッド検出部、人物姿勢検出部、相対位置算出部、相対位置情報保持部および行動推定部を備える。カメラは、監視エリア全体を撮像する。ベッド検出部は、カメラの撮像映像からベッドを抽出し、その抽出情報からベッドのエリアを算出する。人物姿勢検出部は、カメラの撮像画像からベッド上の患者の特定部位の座標情報を入手し、その情報から患者の姿勢を検出する。相対位置算出部は、ベッド検出部及び人物姿勢検出部が検出した情報を基に、ベッドと患者との相対位置を算出する。相対位置情報保持部は、相対位置算出部が算出した時系列の相対位置情報を保持する。行動推定部は、相対位置情報保持部が保持する複数の時系列情報を基に、ベッド上の患者の行動を推定する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１０８１２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

多くの場合、解析対象を撮像するのは１台のカメラであり、撮像されるのは一方向から見た解析対象の２次元画像である。一方で、現実空間は３次元空間であり、一方向から撮像した２次元画像から解析対象の動作を正確に検出するのは困難であった。

【0005】

本発明の目的は、２次元画像に写る解析対象の動作を精度良く推定することにある。

【課題を解決するための手段】

【0006】

本発明の一態様にかかる動作推定装置は、現実空間と前記現実空間に位置する解析対象とが撮影された２次元画像を取得する取得部と、前記２次元画像に基づいて、前記現実空間における前記解析対象の形体を模した３次元対象モデルを生成する対象モデル生成部と、前記２次元画像に基づいて、前記２次元画像を撮像する撮像装置に対する前記解析対象の深度を推定する深度推定部と、前記深度推定部によって推定された前記深度および前記２次元画像上の前記解析対象の位置に基づいて、前記現実空間を模した３次元空間モデル上に前記３次元対象モデルを配置する配置部と、前記３次元空間モデル内の物体を示す物体モデルと前記３次元対象モデルとの相対位置に基づいて、前記現実空間における前記解析対象の動作を推定する動作推定部と、を備える。

【発明の効果】

【0007】

本発明の一態様によれば、２次元画像に写る解析対象の動作を精度良く推定できる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態にかかる動作推定装置１０の構成を示すブロック図である。

【図2】２次元画像ＰＣの一例を示す模式図である。

【図3】３次元空間モデルＳＶの一例を示す模式図である。

【図4A】動作推定部１４５による動作の推定結果を模式的に示す図である。

【図4B】動作推定部１４５による動作の推定結果を模式的に示す図である。

【図5】動作例２における特定情報Ｎｓの表示例を模式的に示す図である。

【図6】動作の継続時間に基づく特定情報Ｎｓの表示例を模式的に示す図である。

【図7】現実空間ＳＲにおける解析対象Ｈの位置を模式的に示す図である。

【図8】動作推定装置１０の動作を示すフローチャートである。

【図9】第２実施形態にかかる動作推定装置１０の構成を示すブロック図である。

【発明を実施するための形態】

【0009】

Ａ．第１実施形態
図１は、第１実施形態にかかる動作推定装置１０の構成を示すブロック図である。動作推定装置１０は、現実空間ＳＲで撮像された２次元画像ＰＣに基づいて、当該２次元画像ＰＣに写る解析対象Ｈ（例えば人Ｈ１，Ｈ２）の動作を推定する。

【0010】

動作推定装置１０は、具体的には、例えばパーソナルコンピュータ、タブレットまたはスマートフォン等の情報処理端末である。動作推定装置１０は、例えば入力装置１００と、表示装置１１０と、通信装置１２０と、記憶装置１３０と、処理装置１４０と、バス１５０と、を含む。入力装置１００、表示装置１１０、通信装置１２０および記憶装置１３０の各々と、処理装置１４０とは、データの授受を仲介するバス１５０によって相互に接続される。バス１５０は、単一のバスを用いて構成されてもよいし、要素間毎に異なるバスを用いて構成されてもよい。

【0011】

入力装置１００は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、スイッチ、ボタンまたはセンサなど）である。表示装置１１０は、外部に対して情報を表示する表示デバイス（例えば、液晶表示パネルまたは有機ＥＬ表示パネル等の各種の表示パネル）である。入力装置１００および表示装置１１０は、例えばタッチパネルのように一体であってもよい。

【0012】

通信装置１２０は、図示しないネットワークに接続可能な通信インターフェースを備え、ネットワークを介して他の装置と通信する。他の装置とは、例えば２次元画像ＰＣ（図２参照）を撮像する撮像装置Ｃ（図７参照）である。撮像装置Ｃは、例えばカメラである。通信装置１２０の通信インターフェースは、無線通信インターフェースであってもよいし、有線通信インターフェースであってもよい。

【0013】

記憶装置１３０は、処理装置１４０が読み取り可能な記録媒体である。記憶装置１３０は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の少なくとも１つによって構成されてもよい。記憶装置１３０には、プログラムＰＧが記憶されている。プログラムＰＧは、動作推定装置１０を動作させるためのプログラムである。

【0014】

処理装置１４０は、１または複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含む。処理装置１４０は、入力装置１００に対する入力操作によってプログラムＰＧの実行を指示されたことを契機として、記憶装置１３０からプログラムＰＧを読み取る。処理装置１４０は、読み取ったプログラムＰＧを実行する。処理装置１４０は、プログラムＰＧを実行することによって、取得部１４１、対象モデル生成部１４２、深度推定部１４３、配置部１４４、動作推定部１４５および表示制御部１４６として機能する。取得部１４１、対象モデル生成部１４２、深度推定部１４３、配置部１４４、動作推定部１４５および表示制御部１４６の少なくとも一部の機能は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）およびＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路によって構成されてもよい。

【0015】

取得部１４１は、現実空間ＳＲと現実空間ＳＲに位置する解析対象Ｈとが撮影された２次元画像ＰＣを取得する。現実空間ＳＲは、例えば店舗、駅、オフィスまたは病院等の室内空間であってもよいし、道路、テーマパークまたはイベント会場等の屋外空間であってもよい。解析対象Ｈは、人、動物、車両またはロボット等、動作を行う主体である。解析対象Ｈは、例えば投げられたボール等の物体Ｂであってもよい。本実施形態では、現実空間ＳＲは室内空間であり、解析対象Ｈは人Ｈ１，Ｈ２である（図２参照）。

【0016】

取得部１４１は、例えば通信装置１２０を用いて撮像装置Ｃから２次元画像ＰＣを取得する。また、撮像装置Ｃが動作推定装置１０と有線で接続可能な範囲に位置している場合には、動作推定装置１０に設けられた接続インターフェース（図示なし）を介して撮像装置Ｃから２次元画像ＰＣを取得してもよい。接続インターフェースは、動作推定装置１０が他の装置と接続するためのインターフェースである。接続インターフェースは、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等が接続されるコネクタであってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉ（登録商標）等の近距離無線通信を利用する通信モジュールであってもよい。

【0017】

取得部１４１は、現実空間ＳＲの異なる場所に設けられた複数の撮像装置Ｃから、それぞれ２次元画像ＰＣを取得してもよい。また、取得部１４１は、撮像装置Ｃから直接２次元画像ＰＣを取得するに限らず、撮像装置Ｃから２次元画像ＰＣを取得した他の情報処理装置から２次元画像ＰＣを取得してもよい。

【0018】

本実施形態では、２次元画像ＰＣは、動画を構成する静止画であるものとする。撮像装置Ｃは、所定のフレームレート毎に静止画（２次元画像ＰＣ）を生成することによって、動画を撮像する。撮像装置Ｃは、静止画（２次元画像ＰＣ）を生成する都度、動作推定装置１０に送信する。撮像装置Ｃで動画を撮像することによって、解析対象Ｈの状態が連続的に把握され、動作の推定精度が向上する。

【0019】

図２は、２次元画像ＰＣの一例を示す模式図である。図２に示す２次元画像ＰＣには、現実空間ＳＲとして、室内空間が写っている。現実空間ＳＲには、物体Ｂ（Ｂ１～Ｂ６）が存在する。物体Ｂは、例えば壁Ｂ１、床Ｂ２、長椅子Ｂ３、机Ｂ４、丸椅子Ｂ５、およびモニタＢ６等を含む。また、２次元画像ＰＣには、解析対象Ｈである人Ｈ１，Ｈ２が写っている。

【0020】

２次元画像ＰＣについて、横方向にＸｐ軸、縦方向にＹｐ軸を取る。２次元画像ＰＣの各点（例えば各画素）は、Ｘｐ軸およびＹｐ軸を用いた２次元の座標情報（Ｘｐ，Ｙｐ）によって特定できる。

【0021】

なお、２次元画像ＰＣに写る物体Ｂ（本実施形態において、物体Ｂは車両等の無生物の他、人または動物等の生物を含むものとする）のうち、いずれを解析対象Ｈとするかは、２次元画像ＰＣが取得される前から予め指定されていてもよいし、２次元画像ＰＣの取得後に指定されてもよい。解析対象Ｈが予め指定されている場合、例えばニューラルネットワークを用いた機械学習モデルを用いて、２次元画像ＰＣに写る解析対象Ｈを検出する。例えば店舗における人の動きをモニタしたい場合、２次元画像ＰＣから人（より詳細には人が写る領域）を検出する第１学習モデルを用いて、店舗内にいる人が検出される。また、解析対象Ｈが予め指定されていない場合、例えば表示装置１１０に表示された２次元画像ＰＣを作業者が目視し、解析対象Ｈとする物体Ｂが写る部分を、入力装置１００を用いて指定する。例えば多くの人が写る２次元画像ＰＣから特定の人のみを解析対象Ｈとする場合、作業者が解析対象Ｈとする人が写る部分を指定すると、エッジ検出によって当該人が写る領域が検出される。

【0022】

対象モデル生成部１４２は、２次元画像ＰＣに基づいて、現実空間ＳＲにおける解析対象Ｈの形体を模した３次元対象モデルＭを生成する。対象モデル生成部１４２は、例えばニューラルネットワークを用いた機械学習モデル（第２学習モデル）を用いて、３次元対象モデルＭを生成する。解析対象Ｈの形体とは、例えば解析対象Ｈが人Ｈ１，Ｈ２である場合には、人Ｈ１，Ｈ２の姿勢である。

【0023】

本実施形態では、３次元対象モデルＭは、人のＨ１，Ｈ２の骨格を示す骨格モデルである。対象モデル生成部１４２は、例えば人Ｈ１，Ｈ２の関節および顔パーツ等の特徴点を検出し、特徴点同士をつなぐことによって骨格モデルを生成する。３次元対象モデルＭを骨格モデルとすることで、個々の人Ｈ１，Ｈ２が特定されるのを回避し、プライバシーを保護することができる。また、３次元対象モデルＭを骨格モデルとすることで、例えば人Ｈ１，Ｈ２の衣服等、人Ｈ１，Ｈ２の動作とは直接関連しない情報が除去されるため、処理装置１４０の処理負荷が軽減される。なお、３次元対象モデルＭは骨格モデルに限らず、例えば人Ｈ１，Ｈ２を模したアバター等であってもよい。

【0024】

深度推定部１４３は、２次元画像ＰＣに基づいて、２次元画像ＰＣを撮像する撮像装置Ｃに対する解析対象Ｈの深度を推定する。撮像装置Ｃに対する解析対象Ｈの深度とは、例えば撮像装置Ｃの代表点（例えば図７に示す撮像装置Ｃのレンズの中心点Ｏ）と、解析対象Ｈの表面の各点（または代表点）との間の距離である。深度推定部１４３は、例えばニューラルネットワークを用いた機械学習モデル（第３学習モデル）を用いて、２次元画像ＰＣの各画素の深度を推定する。２次元画像ＰＣのうち解析対象Ｈが写る領域の画素の深度が、解析対象Ｈの深度である。また、２次元画像ＰＣの各画素の座標と、それぞれの画素の深度とが対応付けられることによって、解析対象Ｈを含む現実空間ＳＲの点群データが生成される。

【0025】

配置部１４４は、深度推定部１４３によって推定された深度および２次元画像ＰＣ上の解析対象Ｈの位置に基づいて、現実空間ＳＲを模した３次元空間モデルＳＶに３次元対象モデルＭを配置する。第１実施形態では、配置部１４４は、深度推定部１４３によって推定された深度、２次元画像ＰＣ上の解析対象Ｈの位置および現実空間ＳＲにおける撮像装置Ｃの位置に基づいて、現実空間ＳＲにおける解析対象Ｈの位置を示す３次元座標（以下、「現実座標」という）を推定する。そして、配置部１４４は、３次元空間モデルＳＶ上の現実座標に対応する位置に、３次元対象モデルＭを配置する。

【0026】

図７は、現実空間ＳＲにおける解析対象Ｈ（一例として人Ｈ１）の位置を模式的に示す図である。現実空間ＳＲの任意の点は、それぞれ直交するＸｒ軸，Ｙｒ軸およびＺｒ軸を用いた３次元の座標情報（Ｘｒ，Ｙｒ，Ｚｒ）によって特定できる。図７では撮像装置Ｃのレンズの中心点Ｏを原点とした撮像装置Ｃの注視方向をＺｒ、Ｚｒ軸に垂直な面における上方向をＹｒ、右方向をＸｒとした空間を示している。

【0027】

一般に、解析対象Ｈは３次元的な広がりを有するため、解析対象Ｈが現実空間ＳＲに占める領域は複数の座標情報で示される。解析対象Ｈの位置とは、解析対象Ｈが現実空間ＳＲに占める領域を示す複数の座標情報であってもよいし、現実空間ＳＲにおける解析対象Ｈの代表点の位置を示す座標情報であってもよい。以下では、人Ｈ１の頭部の中心点Ｄを、人Ｈ１の代表点とする。すなわち、解析対象Ｈである人Ｈ１の位置（現実座標）は、中心点Ｄを示す３次元座標により示されるものとする。中心点Ｄを示す３次元座標を、（Ｘｒｈ，Ｙｒｈ，Ｚｒｈ）とする。なお、人Ｈ１の代表点は、人Ｈ１の頭部の中心点Ｄに限らず、２次元画像ＰＣから検出できる人体の特徴点（例えば腰または足など）であれば他の部位でもよい。

【0028】

撮像装置Ｃは天井に取り付けられており、現実空間ＳＲにおける撮像装置Ｃの取り付け位置は既知である。また、撮像装置Ｃの撮像方向および撮像倍率が変更可能（すなわち、パン・チルト・ズームが可能）である場合、取得部１４１が２次元画像ＰＣを取得する際に、撮像装置Ｃの撮像方向および撮像倍率も取得する。また、撮像装置Ｃのカメラパラメータも既知であるものとする。よって、配置部１４４は、２次元画像ＰＣに写る現実空間ＳＲの範囲ＰＡを特定可能である。

【0029】

よって、２次元画像ＰＣ上の解析対象Ｈの位置を現実空間ＳＲの位置に投射するとともに、深度推定部１４３によって推定された深度に基づいて、撮像装置Ｃに対する奥行き方向の位置を特定することによって、現実空間ＳＲにおける解析対象Ｈの位置を示す３次元座標が推定され得る。図７の例では、人Ｈ１の位置（中心点Ｄ）を示す３次元座標（Ｘｒｈ，Ｙｒｈ，Ｚｒｈ）が推定される。

【0030】

配置部１４４は、３次元空間モデルＳＶ上の、３次元座標（Ｘｒｈ，Ｙｒｈ，Ｚｒｈ）に対応する位置に、３次元対象モデルＭを配置する。 ３次元空間モデルＳＶは、２次元画像ＰＣが撮像される現実空間ＳＲ（本実施形態では室内空間）を再現するように生成される。３次元空間モデルＳＶは、例えば現実空間ＳＲを３次元スキャンすることによって自動的に生成されてもよい。または、作業者が現実空間ＳＲの寸法等を参考にしながら手動で３次元空間モデルＳＶを生成してもよい。また、第２実施形態に示すように、２次元画像ＰＣから３次元空間モデルＳＶが生成されてもよい。

【0031】

３次元空間モデルＳＶをどの程度の精度で作成するかは、例えばどのような精度で動作の内容を推定するかによって異なる。例えば、動作推定部１４５において推定する動作が人Ｈ１，Ｈ２の視認方向である場合、単にどの方向に人Ｈ１，Ｈ２が向いているかのみを推定すれば足りる場合は、現実空間ＳＲの大まかな構造を規定する物体Ｂ（室内空間であれば、床、壁、天井および棚等、室内の間取りを構成する物体Ｂ）のみが３次元空間モデルＳＶに含まれればよい。一方で、人Ｈ１，Ｈ２が何を見ているかを具体的に特定したい場合は、現実空間ＳＲの大まかな構造を規定する物体Ｂに加えて、現実空間ＳＲに配置された物体Ｂ（室内空間であれば、壁に貼られたポスターまたはテーブルに置かれたカップ等）を３次元空間モデルＳＶに含めるのが好ましい。

【0032】

図３は、３次元空間モデルＳＶの一例を示す模式図である。図３に示される３次元空間モデルＳＶは、図２に示す２次元画像ＰＣに示される現実空間ＳＲを再現している。３次元空間モデルＳＶに含まれる物体モデルＢｍ（Ｂｍ１～Ｂｍ６）は、図２の物体Ｂ（Ｂ１～Ｂ６）に対応する。また、３次元空間モデルＳＶには、人Ｈ１，Ｈ２を模した３次元対象モデル（骨格モデル）Ｍ１，Ｍ２が配置されている。

【0033】

３次元空間モデルＳＶの任意の点は、それぞれ直行するＸｖ軸、Ｙｖ軸およびＺｖ軸を用いた３次元の座標情報（Ｘｖ，Ｙｖ，Ｚｖ）によって特定できる。３次元空間モデルＳＶの座標情報（Ｘｖ，Ｙｖ，Ｚｖ）と、現実空間ＳＲの座標情報（Ｘｒ，Ｙｒ，Ｚｒ）との対応関係は既知であり、相互に変換可能である。３次元空間モデルＳＶにおける物体モデルＢｍ（Ｂｍ１～Ｂｍ６）の位置は、現実空間ＳＲにおける物体Ｂ（Ｂ１～Ｂ６）の位置に対応する。３次元空間モデルＳＶにおける３次元対象モデルＭ１の位置（より詳細には３次元対象モデルＭ１の頭部の中心点Ｄｍ）を示す３次元座標を（Ｘｖｈ，Ｙｖｈ，Ｚｖｈ）とする。配置部１４４は、現実空間ＳＲにおける人Ｈ１の３次元座標である（Ｘｒｈ，Ｙｒｈ，Ｚｒｈ）に対して座標変換処理を行うことによって、３次元座標（Ｘｖｈ，Ｙｖｈ，Ｚｖｈ）を算出し、３次元対象モデルＭ１を配置する。

【0034】

動作推定部１４５は、３次元空間モデルＳＶ内の物体モデルＢｍと３次元対象モデルＭとの相対位置に基づいて、現実空間ＳＲにおける解析対象Ｈの動作を推定する。現実空間ＳＲで解析対象Ｈが動作を行う場合、少なくとも動作の開始時および動作の終了時において、現実空間ＳＲに存在する物体Ｂとの間の相対位置が変化する。例えば解析対象Ｈの動作が、物体Ｂに作用を及ぼす動作（例えば物体Ｂの移動等）の場合、解析対象Ｈの少なくとも一部（または打撃具等の他の物体）を物体Ｂに接触させて力を加える。すなわち、解析対象Ｈの少なくとも一部が物体Ｂに接触する位置となる。また、例えば解析対象Ｈの動作が、物体Ｂに作用を及ぼさない動作（例えば周囲の物体Ｂの視認等）の場合、解析対象Ｈの身体の少なくとも一部（物体Ｂの視認の場合は頭部）と周囲の物体Ｂとの相対位置が変化する。よって、３次元空間モデルＳＶ内の物体モデルＢｍと３次元対象モデルＭとの相対位置に基づいて、現実空間ＳＲにおける解析対象Ｈの動作を推定することができる。

【0035】

動作推定部１４５は、例えば３次元空間モデルＳＶ内の物体モデルＢｍと３次元対象モデルＭとが接触する箇所に基づいて、動作を推定する。例えば３次元対象モデルＭ１の手が丸椅子Ｂ５を示す物体モデルＢｍ５に触れている場合、動作推定部１４５は、人Ｈ１が丸椅子Ｂ５を移動させていると推定する。また、例えば３次元対象モデルＭ１の下肢部が物体モデルＢｍ５に触れている場合、動作推定部１４５は、人Ｈ１が丸椅子Ｂ５に座っていると推定する。

【0036】

他にも、例えば店舗を模した３次元空間モデルＳＶにおいて、来店者を模した３次元対象モデルＭの手が商品を示す物体モデルＢｍに触れた場合、動作推定部１４５は、現実空間ＳＲの店舗において来店者が商品を手に取ったと推定する。３次元空間モデルＳＶが現実空間ＳＲの店舗の棚割りを再現している場合、動作推定部１４５は、来店者が手に取った具体的な商品を特定できる。３次元空間モデルＳＶが現実空間ＳＲの店舗の棚割りを再現していない場合でも、来店者が商品を手に取ったことを特定できる。

【0037】

また、動作推定部１４５は、例えば３次元対象モデルＭの特定の部位が向く方向に位置する３次元空間モデルＳＶ内の物体モデルＢｍに基づいて、動作を推定する。例えば、特定の部位を３次元対象モデルＭの目もしくは顔とすることで、特定の部位が向く方向を、３次元対象モデルＭの視線の向きとみなすことができる。よって、この向きに位置する物体モデルＢｍは、解析対象Ｈが見ている物体Ｂに対応すると推定される。

【0038】

図４Ａおよび図４Ｂは、動作推定部１４５による動作の推定結果を模式的に示す図である。図４Ａは、３次元空間モデルＳＶの側面図であり、図４Ｂは、３次元空間モデルＳＶの上面図である。図４Ａおよび図４Ｂには、３次元対象モデルＭ１，Ｍ２の視線の向きＬ１，Ｌ２が示されている。視線の向きＬ１，Ｌ２は、３次元対象モデルＭ１，Ｍ２の顔の向きを視線の向きと見做したものである。

【0039】

人Ｈ１に対応する３次元対象モデルＭ１の視線の向きＬ１には、壁Ｂ１に対応する物体モデルＢｍ１が位置する。よって、動作推定部１４５は、人Ｈ１は壁Ｂ１を見ていると推定する。また、人Ｈ２に対応する３次元対象モデルＭ２の視線の向きＬ２には、モニタＢ６に対応する物体モデルＢｍ６が位置する。よって、動作推定部１４５は、人Ｈ２はモニタＢ６を見ていると推定する。３次元空間モデルＳＶに３次元対象モデルＭ１，Ｍ２を配置することによって、動作の向きが３次元的に推定可能となり、２次元画像ＰＣのみを用いて解析対象Ｈの動作を推定するのと比較して、動作の推定精度が向上する。

【0040】

表示制御部１４６は、解析対象Ｈが行う動作が現実空間ＳＲの物体Ｂの所定箇所に対する動作である場合に、所定箇所を特定する特定情報Ｎｓを３次元空間モデルＳＶに表示する。物体Ｂの所定箇所に対する動作とは、例えば解析対象Ｈが所定箇所に接触することによって行う動作（動作例１、例えば商品の所定箇所を手に取る等）であってもよいし、解析対象Ｈの特定の部位を所定箇所に向けることによって行う動作（動作例２、例えば壁Ｂ１の所定箇所を目視する等）であってもよい。

【0041】

例えば動作例１について、表示制御部１４６は、３次元対象モデルＭ１と、物体モデルＢｍとの接触点（または接触領域）を特定情報Ｎｓとして３次元空間モデルＳＶに表示する。特定情報Ｎｓは、例えば３次元空間モデルＳＶとともに、表示装置１１０に表示される。より具体的には、例えば３次元対象モデルＭ１の手が商品のパッケージに触れた場合、手とパッケージの接触箇所に特定情報Ｎｓを表示する。特定情報Ｎｓは、例えば円等のマークであってもよい。これにより、３次元対象モデルＭ１が何らかの商品を手に取ったことが明確に把握でき、解析対象Ｈの動作の把握を確実に行い得る。

【0042】

また、例えば動作例２について、表示制御部１４６は、３次元対象モデルＭ１の視線の向きＬ１と、３次元空間モデルＳＶ内の物体モデルＢｍ（例えば図４Ａの例では壁Ｂ１を示す物体モデルＢｍ１）との衝突点を特定情報Ｎｓとして３次元空間モデルＳＶに表示する。視線の向きＬ１と物体モデルＢｍとの衝突点を、以下「目視点」という。

【0043】

図５は、動作例２における特定情報Ｎｓの表示例を模式的に示す図である。図５に示す３次元空間モデルＳＶには、３次元対象モデルＭ１の視線の向きＬ１および特定情報Ｎｓ（Ｎｓ－０およびＮｓ－ｎ）が示されている。図５の例では、特定情報Ｎｓは、円形の画像である。特定情報Ｎｓ－０は、図５に示す時刻における３次元対象モデルＭ１の目視点である。特定情報Ｎｓ－ｎは、特定情報Ｎｓ－０以外の特定情報Ｎｓである。特定情報Ｎｓ－ｎは、図５に示す時刻よりも過去の所定期間における３次元対象モデルＭ１の目視点である。

【0044】

上述のように、２次元画像ＰＣは動画を構成する静止画像であり、所定のフレームレート毎に新たな２次元画像ＰＣ（フレーム画像）が取得される。そして、２次元画像ＰＣが取得される度に、解析対象Ｈの人Ｈ１，Ｈ２の姿勢の変化が３次元対象モデルＭ１，Ｍ２の状態に反映される。一般に、例えば商品を手に取る、等の動作と比較して、目視点は変化が速い。また、特定情報Ｎｓが示されてない限り、過去の目視点を把握するのは困難である。よって、図５には、過去の所定期間に取得された複数の２次元画像ＰＣのそれぞれにおける衝突点が特定情報Ｎｓとして示されている。

【0045】

一方で、図５のように、動画を構成する全てのフレーム画像における特定情報Ｎｓ（衝突点）を表示すると、例えば視線の移動中における衝突点も表示されるので、解析対象Ｈが注目している箇所が分かりにくい場合がある。よって、例えば衝突点が変化しない状態が所定時間以上継続している場合に、当該衝突点を示す特定情報Ｎｓを表示してもよい。衝突点が変化しないとは、衝突点の３次元座標が同一であるのみならず、衝突点の３次元座標の変化が所定範囲内である場合を含めてもよい。言い換えると、全てのフレーム画像における衝突点を表示するとノイズが多いので、複数のフレーム画像に渡って所定範囲内に存在する衝突点をフィルタリングして表示してもよい。

【0046】

図６は、動作の継続時間に基づく特定情報Ｎｓの表示例を模式的に示す図である。図６に示す３次元空間モデルＳＶには、３次元対象モデルＭ１の視線の向きＬ１との衝突が所定期間以上継続した箇所を示す特定情報Ｎｓ－ｋが示されている。特定情報Ｎｓ－ｋを参照すると、３次元対象モデルＭ１の視線は、エリアＡ１およびＡ２に向いている期間が長い。よって、エリアＡ１およびＡ２が、人Ｈ１の注視領域であることが特定される。

【0047】

このように、表示制御部１４６は、動作の継続時間に基づいて、特定情報Ｎｓの表示態様を変更してもよい。表示態様の変更は、特定情報Ｎｓの表示の有無に限らず、例えば表示の大小（例えば継続時間が長いほど特定情報Ｎｓの表示が大きい）または表示の色（例えば一般的にヒートマップとして用いられる、赤ーオレンジー黄―緑―青―紫、等の配色を用い、継続時間が長いほど特定情報Ｎｓの色が赤に近づく）等を変更してもよい。

【0048】

図８は、動作推定装置１０の動作を示すフローチャートである。動作推定装置１０の処理装置１４０は、取得部１４１として機能し、現実空間ＳＲと解析対象Ｈとが撮影された２次元画像ＰＣを撮像装置Ｃから取得する（ステップＳ１０）。処理装置１４０は、対象モデル生成部１４２として機能し、２次元画像ＰＣに基づいて、現実空間ＳＲにおける解析対象Ｈの形体を模した３次元対象モデルＭを生成する（ステップＳ１１）。

【0049】

処理装置１４０は、深度推定部１４３として機能し、２次元画像ＰＣに基づいて、２次元画像ＰＣを撮像する撮像装置Ｃに対する解析対象Ｈの深度を推定する（ステップＳ１２）。処理装置１４０は、配置部１４４として機能し、深度推定部１４３によって推定された深度、２次元画像ＰＣ上の解析対象Ｈの位置、および現実空間ＳＲにおける撮像装置Ｃの位置に基づいて、現実空間ＳＲにおける解析対象Ｈの位置を示す３次元座標を推定する（ステップＳ１３）。なお、ステップＳ１１の処理と、ステップＳ１２～Ｓ１３の処理とは、順序を入れ替えてもよいし、同時に行ってもよい。

【0050】

処理装置１４０は、配置部１４４として機能し、現実空間ＳＲを模した３次元空間モデルＳＶ上の、ステップＳ１３で推定した３次元座標に対応する位置に、３次元対象モデルＭを配置する（ステップＳ１４）。処理装置１４０は、動作推定部１４５として機能し、３次元空間モデルＳＶ内の物体モデルＢｍと３次元対象モデルＭとの相対位置に基づいて、現実空間ＳＲにおける解析対象Ｈの動作を推定する（ステップＳ１５）。

【0051】

処理装置１４０は、表示制御部１４６として機能し、解析対象Ｈによる動作の対象となる所定箇所を特定する特定情報Ｎｓを３次元空間モデルＳＶに表示する（ステップＳ１６）。その後、処理装置１４０は、処理をステップＳ１０に戻し、以降の処理を繰り返す。

【0052】

以上説明したように、実施形態にかかる動作推定装置１０は、２次元画像ＰＣに基づいて解析対象Ｈの３次元対象モデルＭを生成し、現実空間ＳＲを模した３次元空間モデルＳＶに３次元対象モデルＭを配置する。そして、動作推定装置１０は、３次元空間モデルＳＶ内の物体モデルＢｍと３次元対象モデルＭとの相対位置に基づいて、現実空間ＳＲにおける解析対象Ｈの動作を推定する。言い換えると、２次元画像ＰＣに写る解析対象Ｈが３次元空間モデルＳＶに投射される。よって、２次元画像ＰＣのみを用いるのと比較して、解析対象Ｈの動作の推定精度が向上する。

【0053】

また、動作推定装置１０は、物体モデルＢｍと３次元対象モデルＭとが接触する箇所に基づいて、解析対象Ｈの動作を推定する。２次元画像ＰＣでは、特に奥行き方向に関して物体Ｂと解析対象Ｈとが接触しているか、および、接触している場合の接触箇所が判別しにくい。動作推定装置１０は、３次元空間モデルＳＶを用いることによって、物体Ｂと解析対象Ｈとが接触しているか、および、接触している場合の接触箇所を精度良く検出することができ、解析対象Ｈの動作の推定精度が向上する。

【0054】

また、動作推定装置１０は、３次元対象モデルＭの特定の部位が向く方向に位置する物体モデルＢｍに基づいて、解析対象Ｈの動作を推定する。２次元画像ＰＣでは、解析対象Ｈの一部の部位が向く方向が判別しにくい。動作推定装置１０は、３次元空間モデルＳＶを用いることによって、解析対象Ｈの一部の部位が向く方向を３次元的に解析するので、解析対象Ｈの一部の部位が向く方向に位置する物体Ｂを精度良く検出することができ、解析対象Ｈの動作の推定精度が向上する。

【0055】

また、動作推定装置１０は、解析対象Ｈが現実空間ＳＲの所定箇所に向けた動作を行っている場合、所定箇所を特定する特定情報Ｎｓを３次元空間モデルＳＶに表示する。よって、動作の対象となる箇所が明確になり、解析対象Ｈの動作の内容がより精度よく推定される。

【0056】

また、動作推定装置１０は、特定情報Ｎｓを表示するに際して、動作の継続時間に基づいて特定情報Ｎｓの表示態様を変更する。よって、例えば動作のぶれ等のノイズが除去され、解析対象Ｈの動作がより精度よく推定される。

【0057】

また、動作推定装置１０は、解析対象Ｈが人Ｈ１，Ｈ２の場合に、３次元対象モデルＭとして人Ｈ１，Ｈ２の骨格を示す骨格モデルを生成する。よって、２次元画像ＰＣに写る人Ｈ１，Ｈ２が特定されることなく、プライバシーが保護される。また、人Ｈ１，Ｈ２の衣服等の動作と関連しない情報を処理しなくてもよいため、動作推定装置１０の処理負荷が軽減される。

【0058】

Ｂ：第２実施形態
以下、本発明の第２実施形態について説明する。なお、以下の説明では、説明の簡略化のため、第１実施形態と同一の構成要素に対しては、同一の符号を用いるとともに、その機能の説明を省略することがある。また、以下の説明では、説明の簡略化のため、主として、第２実施形態が、第１実施形態に比較して相違する点について説明する。

【0059】

図９は、第２実施形態にかかる動作推定装置１０の構成を示すブロック図である。第２実施形態にかかる動作推定装置１０は、第１実施形態にかかる動作推定装置１０の構成（図１参照）に加えて、空間モデル生成部１４７を有する。

【0060】

空間モデル生成部１４７は、２次元画像ＰＣおよび深度推定部１４３によって推定された深度に基づいて、３次元空間モデルＳＶを生成する。第１実施形態で説明したように、２次元画像ＰＣの各画素の座標と、深度推定部１４３によって推定されたそれぞれの画素の深度とが対応付けられることによって、現実空間ＳＲの点群データが生成される。空間モデル生成部１４７は、点群データを用いて３次元空間モデルＳＶを生成する。点群データを用いて３次元空間モデルＳＶを生成する方法は公知であるため、詳細な説明は省略するが、現実空間ＳＲが店舗等の構造物である場合には、床、壁および棚等の平面で構成される箇所が多い。よって、立方体又は直方体の形状をした単位空間であるＶｏｘｅｌを用いて表現することが好適である。

【0061】

なお、３次元空間モデルＳＶの生成に用いられる２次元画像ＰＣは、解析対象Ｈが写っていない画像が好ましい。よって、第２実施形態では、取得部１４１は、現実空間ＳＲと現実空間ＳＲに位置する解析対象Ｈとが撮影された２次元画像ＰＣ（例えば「第１画像」という）の他、現実空間ＳＲのみが写る他の２次元画像ＰＣ（例えば「第２画像」という）を、同一の撮像装置Ｃから取得する。深度推定部１４３は、第２画像の各画素の深度を推定して、第２画像の点群データを生成する。

【0062】

第２実施形態において、配置部１４４は、２次元画像ＰＣ（第１画像）上の解析対象Ｈの位置に対応する３次元空間モデルＳＶ上の位置に、３次元対象モデルＭを配置する。上述のように、３次元空間モデルＳＶは２次元画像ＰＣ（第２画像）を用いて生成されているので、２次元画像ＰＣ（第１画像）上の位置の、３次元空間モデルＳＶ上の位置への変換は、精度良く行うことができる。

【0063】

動作推定部１４５は、第１実施形態と同様に、３次元空間モデルＳＶ内の物体モデルＢｍと３次元対象モデルＭとの相対位置に基づいて、現実空間ＳＲにおける解析対象Ｈの動作を推定する。第１実施形態では、３次元空間モデルＳＶに３次元対象モデルＭを配置するために、現実空間ＳＲにおける解析対象Ｈの３次元座標の推定を行った。この過程で、相対深度を絶対深度に変換する必要があり、誤差が生じる可能性があった。これに対して、第２実施形態では、３次元空間モデルＳＶの元となる第２画像と、解析対象Ｈが写る第１画像とが、同じ撮像装置Ｃで撮影されており、相対深度のスケールは同一である。よって、相対座標のまま動作推定の計算ができるので、相対深度を絶対深度に変換する際に乗る誤差を排除することが可能となり、より精度よく解析対象Ｈの動作を推定できる。

【0064】

第２実施形態によれば、空間モデル生成部１４７は、２次元画像ＰＣを用いて３次元空間モデルＳＶを生成する。よって、例えば現実空間ＳＲを３次元スキャンしたり、作業者が現実空間ＳＲの寸法等を参考にしながら３次元空間モデルＳＶを生成するのと比較して、作業者の負担を軽減することができる。

【0065】

また、第２実施形態によれば、２次元画像ＰＣを用いて３次元空間モデルＳＶを生成するので、相対深度を絶対深度に変換する必要がなく、変換の際に生じる誤差を排除することができる。よって、より精度よく解析対象Ｈの動作を推定することができる。

【0066】

Ｃ：変形例
上述の実施形態における変形の態様を以下に示す。以下の変形の態様から任意に選択された２以上の態様を、相互に矛盾しない範囲において適宜に併合してもよい。

【0067】

Ｃ１：第１変形例
上述した実施形態では、特定情報Ｎｓを含む３次元空間モデルＳＶ等、解析対象Ｈが行う動作の推定結果を示す画像（以下、「推定結果画像」という）が、動作推定装置１０の表示装置１１０に表示された。これに限らず、例えば動作推定装置１０とは異なる他の情報処理端末を用いて動作推定装置１０に接続し、他の情報処理端末で推定結果画像を閲覧してもよい。この時、他の情報処理端末では、ストリーミングによって推定結果画像を閲覧してもよいし、推定結果画像をダウンロードした上で閲覧してもよい。また、２次元画像ＰＣを用いた動作の推定は、２次元画像ＰＣの取得と同時に行ってもよいし、取得した２次元画像ＰＣを記憶装置１３０に保存しておき、後から行ってもよい。また、推定結果画像を動作推定装置１０に保存しておき、推定結果画像を過去に遡って閲覧できるようにしてもよい。

【0068】

Ｄ：その他
（１）上述した実施形態では、記憶装置１３０としてＲＯＭ及びＲＡＭ等が例示されたが、記憶装置１３０は、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリデバイス（例えば、カード、スティック、キードライブ）、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体であってもよい。

【0069】

（２）上述した実施形態において、説明した情報、信号等は、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップ等は、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

【0070】

（３）上述した実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0071】

（４）上述した実施形態において、判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Ｂｏｏｌｅａｎ：ｔｒｕｅ又はｆａｌｓｅ）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0072】

（５）上述した実施形態において例示した処理手順、シーケンス、フローチャート等は、矛盾の無い限り、順序が入れ替えられてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素が提示されており、提示された特定の順序に限定されない。

【0073】

（６）図１に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線等を用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

【0074】

（７）上述した実施形態で例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能等を意味するよう広く解釈されるべきである。

【0075】

また、ソフトウェア、命令、情報等は、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）等）及び無線技術（赤外線、マイクロ波等）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

【0076】

（８）前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。

【0077】

（９）本開示において説明した情報、パラメータ等は、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。

【0078】

（１０）上述した実施形態において、携帯機器には、移動局（ＭＳ：Ｍｏｂｉｌｅ Ｓｔａｔｉｏｎ）である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザ端末（ｕｓｅｒ ｔｅｒｍｉｎａｌ）」、「ユーザ装置（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）」、「端末」等の用語は、互換的に使用され得る。

【0079】

（１１）上述した実施形態において、「接続された（ｃｏｎｎｅｃｔｅｄ）」、「結合された（ｃｏｕｐｌｅｄ）」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は、「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギー等を用いて、互いに「接続」又は「結合」されると考えることができる。

【0080】

（１２）上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0081】

（１３）本開示で使用する「判断（ｄｅｔｅｒｍｉｎｉｎｇ）」、「決定（ｄｅｔｅｒｍｉｎｉｎｇ）」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定（ｊｕｄｇｉｎｇ）、計算（ｃａｌｃｕｌａｔｉｎｇ）、算出（ｃｏｍｐｕｔｉｎｇ）、処理（ｐｒｏｃｅｓｓｉｎｇ）、導出（ｄｅｒｉｖｉｎｇ）、調査（ｉｎｖｅｓｔｉｇａｔｉｎｇ）、探索（ｌｏｏｋｉｎｇ ｕｐ、ｓｅａｒｃｈ、ｉｎｑｕｉｒｙ）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ａｓｃｅｒｔａｉｎｉｎｇ）した事を「判断」「決定」したとみなす事等を含み得る。また、「判断」、「決定」は、受信（ｒｅｃｅｉｖｉｎｇ）（例えば、情報を受信すること）、送信（ｔｒａｎｓｍｉｔｔｉｎｇ）（例えば、情報を送信すること）、入力（ｉｎｐｕｔ）、出力（ｏｕｔｐｕｔ）、アクセス（ａｃｃｅｓｓｉｎｇ）（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事等を含み得る。また、「判断」、「決定」は、解決（ｒｅｓｏｌｖｉｎｇ）、選択（ｓｅｌｅｃｔｉｎｇ）、選定（ｃｈｏｏｓｉｎｇ）、確立（ｅｓｔａｂｌｉｓｈｉｎｇ）、比較（ｃｏｍｐａｒｉｎｇ）等した事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（ａｓｓｕｍｉｎｇ）」、「期待する（ｅｘｐｅｃｔｉｎｇ）」、「みなす（ｃｏｎｓｉｄｅｒｉｎｇ）」等で読み替えられてもよい。

【0082】

（１４）上述した実施形態において、「含む（ｉｎｃｌｕｄｅ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（ｃｏｍｐｒｉｓｉｎｇ）」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は（ｏｒ）」は、排他的論理和ではないことが意図される。

【0083】

（１５）本開示において、例えば、英語でのａ， ａｎ及びｔｈｅのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

【0084】

（１６）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢが夫々Ｃと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。

【0085】

（１７）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

【符号の説明】

【0086】

１０…動作推定装置、１００…入力装置、１１０…表示装置、１２０…通信装置、１３０…記憶装置、１４０…処理装置、１４１…取得部、１４２…対象モデル生成部、１４３…深度推定部、１４４…配置部、１４５…動作推定部、１４６…表示制御部、１４７…空間モデル生成部、Ｂ（Ｂ１～Ｂ６）…物体、Ｂｍ（Ｂｍ１～Ｂｍ６）…物体モデル、Ｃ…撮像装置、Ｈ…解析対象、Ｈ１，Ｈ２…人、Ｍ（Ｍ１，Ｍ２）…３次元対象モデル、Ｎｓ（Ｎｓ－０，Ｎｓ－ｋ，Ｎｓ－ｎ）…特定情報、ＰＣ…２次元画像、ＳＲ…現実空間、ＳＶ…３次元空間モデル。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】