特開 2025-21977 画像解析装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025021977

(43)【公開日】2025-02-14

(54)【発明の名称】画像解析装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250206BHJP

   G06V 20/52 20220101ALI20250206BHJP

   H04N 7/18 20060101ALI20250206BHJP

【ＦＩ】

G06T7/00 660B

G06V20/52

H04N7/18 K

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023126120

(22)【出願日】2023-08-02

(71)【出願人】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(71)【出願人】

【識別番号】501493358

【氏名又は名称】株式会社セック

(74)【代理人】

【識別番号】110003177

【氏名又は名称】弁理士法人旺知国際特許事務所

(72)【発明者】

【氏名】原 未來

(72)【発明者】

【氏名】佐藤 里奈

(72)【発明者】

【氏名】小林 洸陽

(72)【発明者】

【氏名】村中 勇輝

(72)【発明者】

【氏名】高木 純平

(72)【発明者】

【氏名】杉江 卓哉

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054HA18

5L096BA02

5L096EA16

5L096FA10

5L096FA66

5L096FA67

5L096FA79

(57)【要約】

【課題】２次元画像に写る解析対象の状態を精度良く解析する。
【解決手段】取得部１４１は、現実空間ＳＲと解析対象Ｈとが撮像装置Ｃによって撮像された２次元画像ＰＣを取得する。対象モデル生成部１４２は、解析対象Ｈを模した３次元対象モデルＭを生成する。深度推定部１４３は、撮像装置Ｃに対する解析対象Ｈの深度を推定する。配置部１４４は、深度推定部１４３によって推定された深度および２次元画像ＰＣ上の解析対象Ｈの位置に基づいて、現実空間ＳＲを模した３次元空間モデルＳＶ上に３次元対象モデルＭを配置する。補正部１４５は、撮像装置Ｃの光軸と、解析対象Ｈとの位置関係に基づいて、３次元空間モデルＳＶ上の３次元対象モデルＭの向きを補正する。
【選択図】図１

【特許請求の範囲】

【請求項1】

現実空間と前記現実空間に位置する解析対象とが撮像装置によって撮像された２次元画像を取得する取得部と、
前記２次元画像に基づいて、前記解析対象を模した３次元対象モデルを生成する対象モデル生成部と、
前記２次元画像に基づいて、前記撮像装置に対する前記解析対象の深度を推定する深度推定部と、
前記深度推定部によって推定された前記深度および前記２次元画像上の前記解析対象の位置に基づいて、前記現実空間を模した３次元空間モデル上に前記３次元対象モデルを配置する配置部と、
前記撮像装置の光軸と、前記解析対象との位置関係に基づいて、前記３次元空間モデル上の前記３次元対象モデルの向きを補正する補正部と、
を備える画像解析装置。

【請求項2】

前記補正部は、前記光軸に対する前記解析対象の位置に基づいて、前記３次元対象モデルを回転させることにより前記３次元対象モデルの向きを補正する、
請求項１記載の画像解析装置。

【請求項3】

前記補正部は、前記２次元画像に写る領域を、前記光軸と前記光軸に直交する直交軸とによって、前記光軸に対して第１方向に位置する第１領域と、前記光軸に対して第２方向に位置する第２領域と、に分割し、前記解析対象が前記第１領域に位置する場合、前記光軸と前記直交軸とによって形成される第１平面上における前記３次元対象モデルの向きを前記第１方向に回転させ、前記解析対象が前記第２領域に位置する場合、前記第１平面上における前記３次元対象モデルの向きを前記第２方向に回転させる、
請求項２記載の画像解析装置。

【請求項4】

前記補正部は、前記光軸と前記直交軸との交点を基準点とし、前記解析対象の前記第１平面上の位置と前記基準点とを結ぶ線分が前記光軸に対して成す角度を検出し、前記３次元対象モデルの向きを前記角度回転させる、
請求項３記載の画像解析装置。

【請求項5】

前記直交軸は第１直交軸であり、
前記補正部は、前記２次元画像に写る領域を、前記光軸と前記第１直交軸とに直交する第２直交軸とによって、前記光軸に対して第３方向に位置する第３領域と、前記光軸に対して第４方向に位置する第４領域と、に分割し、前記解析対象が前記第３領域に位置する場合、前記光軸と前記第２直交軸とによって形成される第２平面上における前記３次元対象モデルの向きを前記第３方向に回転させ、前記解析対象が前記第４領域に位置する場合、前記第２平面上における前記３次元対象モデルの向きを前記第４方向に回転させる、
請求項３記載の画像解析装置。

【請求項6】

前記３次元空間モデル内の物体を示す物体モデルと補正後の前記３次元対象モデルとの相対位置に基づいて、前記現実空間における前記解析対象の動作を推定する動作推定部を更に備える、
請求項１記載の画像解析装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像解析装置に関する。

【背景技術】

【0002】

従来、監視カメラ等で撮像された２次元画像を解析し、解析対象の行動を推定する技術が知られている。例えば、下記特許文献１に記載の特定動作検出装置は、患者のベッドからの離床を判断する際に、ベッド上で起き上がってベッドに腰掛ける動作の有無を含んで判断する。特定動作検出装置は、カメラ、ベッド検出部、人物姿勢検出部、相対位置算出部、相対位置情報保持部および行動推定部を備える。カメラは、監視エリア全体を撮像する。ベッド検出部は、カメラの撮像映像からベッドを抽出し、その抽出情報からベッドのエリアを算出する。人物姿勢検出部は、カメラの撮像画像からベッド上の患者の特定部位の座標情報を入手し、その情報から患者の姿勢を検出する。相対位置算出部は、ベッド検出部及び人物姿勢検出部が検出した情報を基に、ベッドと患者との相対位置を算出する。相対位置情報保持部は、相対位置算出部が算出した時系列の相対位置情報を保持する。行動推定部は、相対位置情報保持部が保持する複数の時系列情報を基に、ベッド上の患者の行動を推定する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１０８１２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

撮像装置で撮像された２次元画像は、３次元空間中の点を２次元平面に投影したものである。一般的なレンズを用いた場合、この投影は、透視投影によって記述される。透視投影では、解析対象が同じ状態（例えば同じ向きを向いている場合）であっても撮像装置に対する位置関係に基づいて２次元画像における写り方が変化する。このため、解析対象の状態が正確に解析されない場合があった。

【0005】

本発明の目的は、２次元画像に写る解析対象の状態を精度良く解析することにある。

【課題を解決するための手段】

【0006】

本発明の一態様にかかる画像解析装置は、現実空間と前記現実空間に位置する解析対象とが撮像装置によって撮像された２次元画像を取得する取得部と、前記２次元画像に基づいて、前記解析対象を模した３次元対象モデルを生成する対象モデル生成部と、前記２次元画像に基づいて、前記撮像装置に対する前記解析対象の深度を推定する深度推定部と、前記深度推定部によって推定された前記深度および前記２次元画像上の前記解析対象の位置に基づいて、前記現実空間を模した３次元空間モデル上に前記３次元対象モデルを配置する配置部と、前記撮像装置の光軸と、前記解析対象との位置関係に基づいて、前記３次元空間モデル上の前記３次元対象モデルの向きを補正する補正部と、を備える。

【発明の効果】

【0007】

本発明の一態様によれば、２次元画像に写る解析対象の状態を精度良く解析できる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態にかかる画像解析装置１０の構成を示すブロック図である。

【図2】２次元画像ＰＣの一例を示す模式図である。

【図3】３次元空間モデルＳＶの一例を示す模式図である。

【図4A】動作推定部１４６による動作の推定結果を模式的に示す図である。

【図4B】動作推定部１４６による動作の推定結果を模式的に示す図である。

【図5】現実空間ＳＲにおける解析対象Ｈの位置を模式的に示す図である。

【図6A】撮像装置Ｃと、解析対象Ｈとの位置関係を模式的に示す図である。

【図6B】撮像装置Ｃと、解析対象Ｈとの位置関係を模式的に示す図である。

【図7】２次元画像ＰＣ２を示す図である。

【図8A】人Ｈ５の視線の向きを模式的に示す図である。

【図8B】人Ｈ５の視線の向きを模式的に示す図である。

【図9A】２次元画像ＰＣ３を示す図である。

【図9B】２次元画像ＰＣ３を示す図である。

【図10A】ヨーの補正角度の算出方法を模式的に示す図である。

【図10B】ピッチの補正角度の算出方法を模式的に示す図である。

【図11】画像解析装置１０の動作を示すフローチャートである。

【発明を実施するための形態】

【0009】

Ａ．第１実施形態
図１は、第１実施形態にかかる画像解析装置１０の構成を示すブロック図である。画像解析装置１０は、現実空間ＳＲで撮像された２次元画像ＰＣに基づいて、当該２次元画像ＰＣに写る解析対象Ｈ（例えば人Ｈ１～Ｈ６）の状態を推定する。解析対象Ｈの状態とは、例えば解析対象Ｈの姿勢、または、解析対象Ｈの動作である。

【0010】

画像解析装置１０は、具体的には、例えばパーソナルコンピュータ、タブレットまたはスマートフォン等の情報処理端末である。画像解析装置１０は、例えば入力装置１００と、表示装置１１０と、通信装置１２０と、記憶装置１３０と、処理装置１４０と、バス１５０と、を含む。入力装置１００、表示装置１１０、通信装置１２０および記憶装置１３０の各々と、処理装置１４０とは、データの授受を仲介するバス１５０によって相互に接続される。バス１５０は、単一のバスを用いて構成されてもよいし、要素間毎に異なるバスを用いて構成されてもよい。

【0011】

入力装置１００は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、スイッチ、ボタンまたはセンサなど）である。表示装置１１０は、外部に対して情報を表示する表示デバイス（例えば、液晶表示パネルまたは有機ＥＬ表示パネル等の各種の表示パネル）である。入力装置１００および表示装置１１０は、例えばタッチパネルのように一体であってもよい。

【0012】

通信装置１２０は、図示しないネットワークに接続可能な通信インターフェースを備え、ネットワークを介して他の装置と通信する。他の装置とは、例えば２次元画像ＰＣ（図２等参照）を撮像する撮像装置Ｃ（図５等参照）である。撮像装置Ｃは、例えばカメラである。通信装置１２０の通信インターフェースは、無線通信インターフェースであってもよいし、有線通信インターフェースであってもよい。

【0013】

記憶装置１３０は、処理装置１４０が読み取り可能な記録媒体である。記憶装置１３０は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の少なくとも１つによって構成されてもよい。記憶装置１３０には、プログラムＰＧが記憶されている。プログラムＰＧは、画像解析装置１０を動作させるためのプログラムである。

【0014】

処理装置１４０は、１または複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含む。処理装置１４０は、入力装置１００に対する入力操作によってプログラムＰＧの実行を指示されたことを契機として、記憶装置１３０からプログラムＰＧを読み取る。処理装置１４０は、読み取ったプログラムＰＧを実行する。処理装置１４０は、プログラムＰＧを実行することによって、取得部１４１、対象モデル生成部１４２、深度推定部１４３、配置部１４４、補正部１４５および動作推定部１４６として機能する。取得部１４１、対象モデル生成部１４２、深度推定部１４３、配置部１４４、補正部１４５および動作推定部１４６の少なくとも一部の機能は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）およびＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路によって構成されてもよい。

【0015】

取得部１４１は、現実空間ＳＲと現実空間ＳＲに位置する解析対象Ｈとが撮像装置Ｃによって撮像された２次元画像ＰＣ（ＰＣ１，ＰＣ２等）を取得する。現実空間ＳＲは、例えば店舗、駅、オフィスまたは病院等の室内空間であってもよいし、道路、テーマパークまたはイベント会場等の屋外空間であってもよい。解析対象Ｈは、人、動物、車両またはロボット等、動作を行う主体である。解析対象Ｈは、例えば投げられたボール等の物体Ｂであってもよい。本実施形態では、現実空間ＳＲは室内空間であり、解析対象Ｈは人Ｈ１～Ｈ６である（図２等参照）。

【0016】

取得部１４１は、例えば通信装置１２０を用いて撮像装置Ｃから２次元画像ＰＣを取得する。また、撮像装置Ｃが画像解析装置１０と有線で接続可能な範囲に位置している場合には、画像解析装置１０に設けられた接続インターフェース（図示なし）を介して撮像装置Ｃから２次元画像ＰＣを取得してもよい。接続インターフェースは、画像解析装置１０が他の装置と接続するためのインターフェースである。接続インターフェースは、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等が接続されるコネクタであってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉ（登録商標）等の近距離無線通信を利用する通信モジュールであってもよい。

【0017】

取得部１４１は、現実空間ＳＲの異なる場所に設けられた複数の撮像装置Ｃから、それぞれ異なる２次元画像ＰＣを取得してもよい。また、取得部１４１は、撮像装置Ｃから直接２次元画像ＰＣを取得するに限らず、撮像装置Ｃから２次元画像ＰＣを取得した他の情報処理装置から２次元画像ＰＣを取得してもよい。

【0018】

本実施形態では、２次元画像ＰＣは、動画を構成する静止画であるものとする。撮像装置Ｃは、所定のフレームレート毎に静止画（２次元画像ＰＣ）を生成することによって、動画を撮像する。撮像装置Ｃは、静止画（２次元画像ＰＣ）を生成する都度、画像解析装置１０に送信する。撮像装置Ｃで動画を撮像することによって、解析対象Ｈの状態が連続的に把握され、動作の推定精度が向上する。

【0019】

図２は、２次元画像ＰＣの一例を示す模式図である。図２に示す２次元画像ＰＣ１には、現実空間ＳＲとして、室内空間が写っている。現実空間ＳＲには、物体Ｂ（Ｂ１～Ｂ６）が存在する。物体Ｂは、例えば壁Ｂ１、床Ｂ２、長椅子Ｂ３、机Ｂ４、丸椅子Ｂ５、およびモニタＢ６等を含む。また、２次元画像ＰＣには、解析対象Ｈである人Ｈ１，Ｈ２が写っている。

【0020】

２次元画像ＰＣ１について、横方向にＸｐ軸、縦方向にＹｐ軸を取る。２次元画像ＰＣ１の各点（例えば各画素）は、Ｘｐ軸およびＹｐ軸を用いた２次元の座標情報（Ｘｐ，Ｙｐ）によって特定できる。

【0021】

なお、２次元画像ＰＣ１に写る物体Ｂ（本実施形態において、物体Ｂは車両等の無生物の他、人または動物等の生物を含むものとする）のうち、いずれを解析対象Ｈとするかは、２次元画像ＰＣ１が取得される前から予め指定されていてもよいし、２次元画像ＰＣ１の取得後に指定されてもよい。解析対象Ｈが予め指定されている場合、例えばニューラルネットワークを用いた機械学習モデルを用いて、２次元画像ＰＣ１に写る解析対象Ｈを検出する。例えば店舗における人の動きをモニタしたい場合、２次元画像ＰＣ１から人（より詳細には人が写る領域）を検出する第１学習モデルを用いて、店舗内にいる人が検出される。また、解析対象Ｈが予め指定されていない場合、例えば表示装置１１０に表示された２次元画像ＰＣ１を作業者が目視し、解析対象Ｈとする物体Ｂが写る部分を、入力装置１００を用いて指定する。例えば多くの人が写る２次元画像ＰＣ１から特定の人のみを解析対象Ｈとする場合、作業者が解析対象Ｈとする人が写る部分を指定すると、エッジ検出によって当該人が写る領域が検出される。

【0022】

対象モデル生成部１４２は、２次元画像ＰＣに基づいて、解析対象Ｈを模した３次元対象モデルＭを生成する。対象モデル生成部１４２は、例えばニューラルネットワークを用いた機械学習モデル（第２学習モデル）を用いて、３次元対象モデルＭを生成する。３次元対象モデルＭは、例えば解析対象Ｈのパーツの位置および向きの情報を含む。解析対象Ｈのパーツとは、例えば解析対象Ｈが人Ｈ１，Ｈ２である場合には、人Ｈ１，Ｈ２の顔、または手など、解析対象Ｈを構成する一部のパーツであってもよい。３次元対象モデルＭは、例えば解析対象Ｈの形体を模していてもよい。解析対象Ｈの形体とは、例えば解析対象Ｈが人Ｈ１，Ｈ２である場合には、人Ｈ１，Ｈ２の姿勢である。

【0023】

本実施形態では、３次元対象モデルＭは、人のＨ１，Ｈ２の骨格を示す骨格モデルである。対象モデル生成部１４２は、例えば２次元画像ＰＣ１のうち、人Ｈ１が写る領域の部分画像から人Ｈ１の関節および顔パーツ等の特徴点を検出し、特徴点同士をつなぐことによって骨格モデルを生成する。人Ｈ２についても同様に、人Ｈ２が写る領域の部分画像から骨格モデルを生成する。３次元対象モデルＭを骨格モデルとすることで、個々の人Ｈ１，Ｈ２が特定されるのを回避し、プライバシーを保護することができる。また、３次元対象モデルＭを骨格モデルとすることで、例えば人Ｈ１，Ｈ２の衣服等、人Ｈ１，Ｈ２の動作とは直接関連しない情報が除去されるため、処理装置１４０の処理負荷が軽減される。なお、３次元対象モデルＭは骨格モデルに限らず、例えば人Ｈ１，Ｈ２を模したアバター等であってもよい。

【0024】

深度推定部１４３は、２次元画像ＰＣに基づいて、２次元画像ＰＣを撮像する撮像装置Ｃに対する解析対象Ｈの深度を推定する。撮像装置Ｃに対する解析対象Ｈの深度とは、例えば撮像装置Ｃの代表点（例えば図５に示す撮像装置Ｃのレンズの中心点Ｏ）と、解析対象Ｈの表面の各点（または代表点）との間の距離である。深度推定部１４３は、例えばニューラルネットワークを用いた機械学習モデル（第３学習モデル）を用いて、２次元画像ＰＣの各画素の深度を推定する。２次元画像ＰＣのうち解析対象Ｈが写る領域の画素の深度が、解析対象Ｈの深度である。また、２次元画像ＰＣの各画素の座標と、それぞれの画素の深度とが対応付けられることによって、解析対象Ｈを含む現実空間ＳＲの点群データが生成される。

【0025】

配置部１４４は、深度推定部１４３によって推定された深度および２次元画像ＰＣ上の解析対象Ｈの位置に基づいて、現実空間ＳＲを模した３次元空間モデルＳＶに３次元対象モデルＭを配置する。第１実施形態では、配置部１４４は、深度推定部１４３によって推定された深度、２次元画像ＰＣ上の解析対象Ｈの位置および現実空間ＳＲにおける撮像装置Ｃの位置に基づいて、現実空間ＳＲにおける解析対象Ｈの位置を示す３次元座標（以下、「現実座標」という）を推定する。そして、配置部１４４は、３次元空間モデルＳＶ上の現実座標に対応する位置に、３次元対象モデルＭを配置する。

【0026】

図５は、現実空間ＳＲにおける解析対象Ｈ（一例として人Ｈ１）の位置を模式的に示す図である。現実空間ＳＲの任意の点は、それぞれ直交するＸｒ軸，Ｙｒ軸およびＺｒ軸を用いた３次元の座標情報（Ｘｒ，Ｙｒ，Ｚｒ）によって特定できる。図５では撮像装置Ｃのレンズの中心点Ｏを原点とし、撮像装置Ｃの光軸方向をＺｒ軸、Ｚｒ軸に垂直な面における上方向をＹｒ軸、右方向をＸｒ軸に設定している。

【0027】

一般に、解析対象Ｈは３次元的な広がりを有するため、解析対象Ｈが現実空間ＳＲに占める領域は複数の座標情報で示される。解析対象Ｈの位置とは、解析対象Ｈが現実空間ＳＲに占める領域を示す複数の座標情報であってもよいし、現実空間ＳＲにおける解析対象Ｈの代表点の位置を示す座標情報であってもよい。以下では、人Ｈ１の頭部の中心点Ｄを、人Ｈ１の代表点とする。すなわち、解析対象Ｈである人Ｈ１の位置（現実座標）は、中心点Ｄを示す３次元座標により示されるものとする。中心点Ｄを示す３次元座標を、（Ｘｒｈ，Ｙｒｈ，Ｚｒｈ）とする。なお、人Ｈ１の代表点は、人Ｈ１の頭部の中心点Ｄに限らず、２次元画像ＰＣから検出できる人体の特徴点（例えば腰または足など）であれば他の部位でもよい。

【0028】

現実空間ＳＲにおける撮像装置Ｃの取り付け位置は既知である。例えば図５において、撮像装置Ｃは、人Ｈ１がいる部屋の天井の特定の箇所に取り付けられている。また、撮像装置Ｃの撮像方向および撮像倍率が変更可能（すなわち、パン・チルト・ズームが可能）である場合、取得部１４１が２次元画像ＰＣを取得する際に、撮像装置Ｃの撮像方向および撮像倍率も取得する。また、撮像装置Ｃのカメラパラメータも既知であるものとする。よって、配置部１４４は、２次元画像ＰＣに写る現実空間ＳＲの範囲ＰＡを特定可能である。

【0029】

よって、２次元画像ＰＣ上の解析対象Ｈの位置を現実空間ＳＲの位置に投射するとともに、深度推定部１４３によって推定された深度に基づいて、撮像装置Ｃに対する奥行き方向の位置を特定することによって、現実空間ＳＲにおける解析対象Ｈの位置を示す３次元座標が推定され得る。図５の例では、人Ｈ１の位置（中心点Ｄ）を示す３次元座標（Ｘｒｈ，Ｙｒｈ，Ｚｒｈ）が推定される。

【0030】

配置部１４４は、３次元空間モデルＳＶ上の、３次元座標（Ｘｒｈ，Ｙｒｈ，Ｚｒｈ）に対応する位置に、３次元対象モデルＭを配置する。３次元空間モデルＳＶは、２次元画像ＰＣが撮像される現実空間ＳＲ（本実施形態では室内空間）を再現するように生成される。３次元空間モデルＳＶは、例えば現実空間ＳＲを３次元スキャンすることによって自動的に生成されてもよい。または、作業者が現実空間ＳＲの寸法等を参考にしながら手動で３次元空間モデルＳＶを生成してもよい。

【0031】

３次元空間モデルＳＶをどの程度の精度で作成するかは、例えばどのような精度で動作の内容を推定するかによって異なる。例えば、動作推定部１４６において推定する動作が人Ｈ１，Ｈ２の視認方向である場合、単にどの方向に人Ｈ１，Ｈ２が向いているかのみを推定すれば足りる場合は、現実空間ＳＲの大まかな構造を規定する物体Ｂ（室内空間であれば、床、壁、天井および棚等、室内の間取りを構成する物体Ｂ）のみが３次元空間モデルＳＶに含まれればよい。一方で、人Ｈ１，Ｈ２が何を見ているかを具体的に特定したい場合は、現実空間ＳＲの大まかな構造を規定する物体Ｂに加えて、現実空間ＳＲに配置された物体Ｂ（室内空間であれば、壁に貼られたポスターまたはテーブルに置かれたカップ等）を３次元空間モデルＳＶに含めるのが好ましい。

【0032】

図３は、３次元空間モデルＳＶの一例を示す模式図である。図３に示される３次元空間モデルＳＶは、図２に示す２次元画像ＰＣに示される現実空間ＳＲを再現している。３次元空間モデルＳＶに含まれる物体モデルＢｍ（Ｂｍ１～Ｂｍ６）は、図２の物体Ｂ（Ｂ１～Ｂ６）に対応する。また、３次元空間モデルＳＶには、人Ｈ１，Ｈ２を模した３次元対象モデル（骨格モデル）Ｍ１，Ｍ２が配置されている。図３では、解析対象Ｈである人Ｈ１，Ｈ２の身体（頭より下の部分）は直線で表現し、頭部は円（球）によって表現した骨格モデルを図示している。図３では視認性の観点から配置を省略しているが、骨格モデルの頭部に、目等の顔パーツが配置されていてもよい。

【0033】

３次元空間モデルＳＶの任意の点は、それぞれ直行するＸｖ軸、Ｙｖ軸およびＺｖ軸を用いた３次元の座標情報（Ｘｖ，Ｙｖ，Ｚｖ）によって特定できる。３次元空間モデルＳＶの座標情報（Ｘｖ，Ｙｖ，Ｚｖ）と、現実空間ＳＲの座標情報（Ｘｒ，Ｙｒ，Ｚｒ）との対応関係は既知であり、相互に変換可能である。３次元空間モデルＳＶにおける物体モデルＢｍ（Ｂｍ１～Ｂｍ６）の位置は、現実空間ＳＲにおける物体Ｂ（Ｂ１～Ｂ６）の位置に対応する。３次元空間モデルＳＶにおける３次元対象モデルＭ１の位置（より詳細には３次元対象モデルＭ１の頭部の中心点Ｄｍ）を示す３次元座標を（Ｘｖｈ，Ｙｖｈ，Ｚｖｈ）とする。配置部１４４は、現実空間ＳＲにおける人Ｈ１の３次元座標である（Ｘｒｈ，Ｙｒｈ，Ｚｒｈ）に対して座標変換処理を行うことによって、３次元座標（Ｘｖｈ，Ｙｖｈ，Ｚｖｈ）を算出し、３次元対象モデルＭ１を配置する。

【0034】

補正部１４５は、撮像装置Ｃの光軸Ｋと、解析対象Ｈとの位置関係に基づいて、３次元対象モデルＭの姿勢を補正する。本実施形態では、補正部１４５は、光軸Ｋに対する解析対象Ｈの位置に基づいて、３次元対象モデルＭを回転させることにより３次元対象モデルＭの向きを補正する。

【0035】

以下、図６Ａ～図１０Ｂを用いて、補正部１４５による補正の原理を説明する。図６Ａおよび図６Ｂは撮像装置Ｃと、解析対象Ｈとの位置関係を模式的に示す図である。図６Ａは、撮像装置Ｃと解析対象Ｈとが配置された部屋Ｆを上方から見た図であり、図６Ｂは、部屋Ｆを側方から見た図である。部屋Ｆは、壁Ｆｗ１～Ｆｗ４、天井Ｆｃおよび床Ｆｆを有する。撮像装置Ｃは、壁Ｆｗ３の近傍に、壁Ｆｗ４に光軸Ｋを向けて設置されている。説明の便宜上、Ｚｒ軸（光軸Ｋ）は天井Ｆｃおよび床Ｆｆと平行であり、Ｙｒ軸は壁Ｆｗ３の上下方向と平行であり、Ｘｒ軸は壁Ｆｗ３の左右方向と平行であるものとする。図６Ａにおいて一点破線で示されるのは、撮像装置Ｃの撮像範囲である。

【0036】

部屋Ｆの上方から見て、撮像装置Ｃの光軸Ｋの延長上に位置Ｐ１、光軸Ｋに対して右側の領域に位置Ｐ２、光軸Ｋに対して左側の領域に位置Ｐ３を設定する。位置Ｐ１～Ｐ３は、直線上に配置されている。位置Ｐ１～Ｐ３に解析対象Ｈである人Ｈ３～Ｈ５をそれぞれ配置して撮像することにより、図７に示す２次元画像ＰＣ２を得る。人Ｈ３～Ｈ５は、図７等に示すように、壁Ｆｗ１の左右方向に沿って両腕を広げた姿勢で、壁Ｆｗ１に顔および視線を向けている。なお、図６Ａおよび図６Ｂでは、人Ｈ３～Ｈ５を模式的に示している。

【0037】

図７は、２次元画像ＰＣ２を示す図である。２次元画像ＰＣ２には、壁Ｆｗ１，Ｆｗ２，Ｆｗ４、床Ｆｆおよび人Ｈ３～Ｈ５が写っている。ここで、人Ｈ３～Ｈ５は、同じ姿勢をとっている（壁Ｆｗ１の左右方向に沿って両腕を広げた姿勢で、壁Ｆｗ１に顔および視線を向けている）が、２次元画像ＰＣ２における写り方が異なる。具体的には、光軸Ｋの延長線上の位置Ｐ１に位置する人Ｈ３は、現実空間ＳＲと同様に、壁Ｆｗ１に向かう方向（Ｘｒ軸に沿った方向）を向いているように写る。これに対して、光軸Ｋより右側の領域の位置Ｐ２に位置する人Ｈ４は、壁Ｆｗ１に対して（または人Ｈ３と比較して）左回りに回転しているように写る。また、光軸Ｋより左側の領域の位置Ｐ３に位置する人Ｈ５は、壁Ｆｗ１に対して（または人Ｈ３と比較して）右回りに回転しているように写る。

【0038】

このような写り方の違いは、透視投影の性質に起因する。２次元画像ＰＣ２は、３次元空間中の点を透視投影によって２次元平面に投影したものである。透視投影では、物体Ｂの奥行き方向の広がりが消失点で消失するように描画される。よって、同一の姿勢を取る人Ｈ３～Ｈ５であっても、撮像装置Ｃに対する位置に応じて異なる形状で描画される。なお、平行投影の場合には、同一の姿勢を取る人Ｈ３～Ｈ５は、同じ形状で描画される。

【0039】

ここで、上述した配置部１４４は、２次元画像ＰＣ２に写る通りに３次元対象モデルＭを３次元空間モデルＳＶに配置する。このため、現実空間ＳＲにおける人Ｈ３～Ｈ５の向きと、３次元空間モデルＳＶに配置された３次元対象モデルＭの向きとに誤差が生じる場合がある。

【0040】

図８Ａおよび図８Ｂは、人Ｈ５の視線の向きを模式的に示す図である。図８Ａに示すように、現実空間ＳＲにおける人Ｈ５の視線の向きが壁Ｆｗ１に対して垂直である場合、視線の向きは矢印Ａｗ１で示される。一方、図７に示す２次元画像ＰＣ２に基づいて人Ｈ５の視線の向きを推定すると、図８Ｂの矢印Ａｒ２に示すように、矢印Ａｒ２に対して時計回りに角度Φずれた方向となる。このような推定結果は、人Ｈ５の視線の向きを正しく反映できていない。

【0041】

このため、補正部１４５は、撮像装置Ｃの光軸Ｋと、解析対象Ｈとの位置関係に基づいて、３次元対象モデルＭの姿勢を補正する。上述のように本実施形態では、補正部１４５は、光軸Ｋに対する解析対象Ｈの位置に基づいて、３次元対象モデルＭを回転させることにより３次元対象モデルＭの向きを補正する。

【0042】

図９Ａおよび図９Ｂは、２次元画像ＰＣ３を示す図である。図９Ａおよび図９Ｂでは、解析対象Ｈである人Ｈ６を模式的に示している。図９Ａは、部屋Ｆの壁Ｆｗ３の天井Ｆｃ付近に設置された撮像装置Ｃで撮像された２次元画像ＰＣ３を示す。２次元画像ＰＣ３には、人Ｈ６が写る。図９Ｂは、図９Ａのうち、人Ｈ６の顔が写る部分の拡大図である。配置部１４４は、２次元画像ＰＣ３に写る人Ｈ６の顔に基づいて、人Ｈ６の視線が矢印Ａｒ３を向いていると推定する。

【0043】

矢印Ａｒ３は、Ｙｒ軸周りの回転成分であるヨー（Ｙａｗ）、Ｚｒ軸周りの回転成分であるロール（Ｒｏｌｌ）、Ｘｒ軸周りの回転成分であるピッチ（Ｐｉｔｃｈ）に分解できる。矢印Ａｒ３のヨーをａ°、ロールをｂ°、ピッチをｃ°とする。補正部１４５は、矢印Ａｒのヨーおよびピッチを補正する。

【0044】

図１０Ａは、ヨーの補正角度の算出方法を模式的に示す図である。Ｘｒ軸―Ｚｒ軸平面上の人Ｈ５の位置を座標（ｘ１，ｚ１）とする。撮像装置Ｃの光軸Ｋ（Ｚｒ軸）と、中心点Ｏおよび人Ｈ５の位置を結ぶ線分Ｌｃ１とのなす角度ｙ°は、下記式（１）によって算出できる。角度ｙ°は、撮像装置Ｃの光軸Ｋに対して右側の領域Ｆｒではプラスに、左側の領域Ｆｌではマイナスになる。

【0045】

【数1】

【0046】

補正部１４５は、下記式（２）によって補正後のヨーａ’°を算出する。

【0047】

ａ’°＝ａ°＋ｙ° ・・・（２）

【0048】

補正部１４５は、３次元対象モデルＭの視線の向きのヨーが、補正後のａ’°となるように、３次元空間モデル上の３次元対象モデルＭをｙ°回転させる。角度ｙ°がプラスの場合、３次元対象モデルＭは、時計回り（右回り）に回転される。角度ｙ°がマイナスの場合、３次元対象モデルＭは、反時計回り（左回り）に回転される。図１０Ａの例では、角度ｙ°はプラスとなる。よって、補正部１４５は、ヨーが矢印Ａｒ３ｙと一致するように、３次元対象モデルＭを時計回りにｙ°補正する。

【0049】

図１０Ｂは、ピッチの補正角度の算出方法を模式的に示す図である。Ｚｒ軸―Ｙｒ軸平面上の人Ｈ５の位置を座標（ｚ１，ｙ１）とする。撮像装置Ｃの光軸Ｋ（Ｚｒ軸）と、中心点Ｏおよび人Ｈ５の位置を結ぶ線分Ｌｃ２とのなす角度ｐ°は、下記式（３）によって算出できる。角度ｐ°は、撮像装置Ｃの光軸Ｋに対して上側の領域Ｆｕではプラスに、下側の領域Ｆｄではマイナスになる。

【0050】

【数2】

【0051】

補正部１４５は、下記式（４）によって補正後のピッチｃ’°を算出する。

【0052】

ｃ’°＝ｃ°＋ｐ° ・・・（４）

【0053】

補正部１４５は、３次元対象モデルＭの視線の向きのピッチが、補正後のｃ’°となるように、３次元空間モデル上の３次元対象モデルＭをｐ°回転させる。角度ｐ°がプラスの場合、３次元対象モデルＭは、上回りに回転される。角度ｐ°がマイナスの場合、３次元対象モデルＭは、下回りに回転される。図１０Ｂの例では、角度ｐ°はプラスとなる。よって、補正部１４５は、ピッチが矢印Ａｒ３ｐと一致するように、３次元対象モデルＭを上周りに回転させる。

【0054】

なお、ヨーの補正およびピッチの補正は、両方行われてもよいし、いずれか一方のみが行われてもよい。

【0055】

以上をまとめると、補正部１４５は、２次元画像ＰＣ３に写る領域を、光軸Ｋと光軸Ｋに直交する直交軸とによって、光軸Ｋに対して第１方向に位置する第１領域と、光軸Ｋに対して第２方向に位置する第２領域と、に分割する。補正部１４５は、解析対象Ｈが第１領域に位置する場合、光軸Ｋと直交軸とによって形成される第１平面上における３次元対象モデルＭの向きを第１方向に回転させる。また、補正部１４５は、解析対象Ｈが第２領域に位置する場合、第１平面上における３次元対象モデルＭの向きを第２方向に回転させる。

【0056】

光軸ＫはＺｒ軸に対応し、直交軸はＸｒ軸またはＹｒ軸に対応する。直交軸がＸｒ軸の場合、第１平面はＸｒ－Ｚｒ平面であり、第１方向は例えば右方向、第２方向は例えば左方向である。第１方向が左方向、第２方向が右方向であってもよい。第１方向が右方向、第２方向が左方向の場合、第１領域は図１０Ａにおける領域Ｆｒ、第２領域は図１０Ａにおける領域Ｆｌである。解析対象Ｈである人Ｈ６が領域Ｆｒにいる場合、補正部１４５は、右方向に３次元対象モデルＭを回転させる。また、人Ｈ６が領域Ｆｌにいる場合、補正部１４５は、左方向に３次元対象モデルＭを回転させる。

【0057】

また、補正部１４５は、光軸Ｋと直交軸との交点を基準点とし、解析対象Ｈの第１平面上の位置と基準点とを結ぶ線分が光軸Ｋに対して成す角度を検出し、３次元対象モデルＭの向きを当該角度回転させる。

【0058】

基準点は、レンズの中心点Ｏに対応する。直交軸がＸｒ軸の場合、解析対象Ｈの第１平面上の位置は図１０Ａに示す座標（ｘ１，ｚ１）であり、中心点Ｏと座標（ｘ１，ｚ１）とを結ぶ線分は線分Ｌｃ１である。線分Ｌｃ１が光軸Ｋに対して成す角度はｙ°である。補正部１４５は、３次元対象モデルＭの向きをｙ°回転させる。

【0059】

上述した直交軸を第１直交軸とする。補正部１４５は、更に、２次元画像ＰＣ３に写る領域を、光軸Ｋと第１直交軸とに直交する第２直交軸とによって、光軸Ｋに対して第３方向に位置する第３領域と、光軸Ｋに対して第４方向に位置する第４領域と、に分割する。補正部１４５は、解析対象が第３領域に位置する場合、光軸Ｋと第２直交軸とによって形成される第２平面上における３次元対象モデルＭの向きを第３方向に回転させる。また、補正部１４５は、解析対象Ｈが第４領域に位置する場合、第２平面上における３次元対象モデルＭの向きを前記第４方向に回転させる。

【0060】

Ｘｒ軸を第１直交軸とすると、第２直交軸はＹｒ軸である。第２直交軸がＹｒ軸の場合、第２平面はＺｒ－Ｙｒ平面であり、第３方向は例えば上方向、第４方向は例えば下方向である。第３方向が下方向、第４方向が上方向であってもよい。第３方向が上方向、第４方向が下方向の場合、第３領域は図１０Ｂにおける領域Ｆｕ、第４領域は図１０Ｂにおける領域Ｆｄである。解析対象Ｈである人Ｈ６が領域Ｆｕにいる場合、補正部１４５は、上方向に３次元対象モデルＭを回転させる。また、人Ｈ６が領域Ｆｄにいる場合、補正部１４５は、下方向に３次元対象モデルＭを回転させる。なお、第１直交軸をＹｒ軸、第２直交軸をＸｒ軸としてもよい。

【0061】

また、補正角度は、解析対象Ｈの第１平面上または第２面上の位置と基準点とを結ぶ線分が光軸Ｋに対して成す角度（角度ｙ°または角度ｐ°）に限らない。例えば、補正角度は、角度ｙ°または角度ｐ°に対して所定のマージンを持たせた角度であってもよい。

【0062】

図１の説明に戻り、動作推定部１４６は、３次元空間モデルＳＶ内の物体モデルＢｍと補正後の３次元対象モデルＭとの相対位置に基づいて、現実空間ＳＲにおける解析対象Ｈの動作を推定する。現実空間ＳＲで解析対象Ｈが動作を行う場合、少なくとも動作の開始時および動作の終了時において、現実空間ＳＲに存在する物体Ｂとの間の相対位置が変化する。例えば解析対象Ｈの動作が、物体Ｂに作用を及ぼす動作（例えば物体Ｂの移動等）の場合、解析対象Ｈの少なくとも一部（または打撃具等の他の物体）を物体Ｂに接触させて力を加える。すなわち、解析対象Ｈの少なくとも一部が物体Ｂに接触する位置となる。また、例えば解析対象Ｈの動作が、物体Ｂに作用を及ぼさない動作（例えば周囲の物体Ｂの視認等）の場合、解析対象Ｈの身体の少なくとも一部（物体Ｂの視認の場合は頭部）と周囲の物体Ｂとの相対位置が変化する。よって、３次元空間モデルＳＶ内の物体モデルＢｍと３次元対象モデルＭとの相対位置に基づいて、現実空間ＳＲにおける解析対象Ｈの動作を推定することができる。

【0063】

動作推定部１４６は、例えば３次元空間モデルＳＶ内の物体モデルＢｍと３次元対象モデルＭとが接触する箇所に基づいて、動作を推定する。例えば３次元対象モデルＭ１の手が丸椅子Ｂ５を示す物体モデルＢｍ５に触れている場合、動作推定部１４６は、人Ｈ１が丸椅子Ｂ５を移動させていると推定する。また、例えば３次元対象モデルＭ１の下肢部が物体モデルＢｍ５に触れている場合、動作推定部１４６は、人Ｈ１が丸椅子Ｂ５に座っていると推定する。

【0064】

他にも、例えば店舗を模した３次元空間モデルＳＶにおいて、来店者を模した３次元対象モデルＭの手が商品を示す物体モデルＢｍに触れた場合、動作推定部１４６は、現実空間ＳＲの店舗において来店者が商品を手に取ったと推定する。３次元空間モデルＳＶが現実空間ＳＲの店舗の棚割りを再現している場合、動作推定部１４６は、来店者が手に取った具体的な商品を特定できる。３次元空間モデルＳＶが現実空間ＳＲの店舗の棚割りを再現していない場合でも、来店者が商品を手に取ったことを特定できる。

【0065】

また、動作推定部１４６は、例えば３次元対象モデルＭの特定の部位が向く方向に位置する３次元空間モデルＳＶ内の物体モデルＢｍに基づいて、動作を推定する。例えば、特定の部位を３次元対象モデルＭの目もしくは顔とすることで、特定の部位が向く方向を、３次元対象モデルＭの視線の向きとみなすことができる。よって、この向きに位置する物体モデルＢｍは、解析対象Ｈが見ている物体Ｂに対応すると推定される。

【0066】

上述のように、３次元空間モデルＳＶにおける３次元対象モデルＭの向きは、補正部１４５によって補正される。よって、３次元対象モデルＭは、解析対象Ｈの身体の向き、手の位置、または、視線の向き等を、３次元空間モデルＳＶ上で高精度に再現する。補正部１４５による補正を行うことによって、動作推定部１４６による動作推定の精度を向上させることができる。

【0067】

図４Ａおよび図４Ｂは、動作推定部１４６による動作の推定結果を模式的に示す図である。図４Ａは、３次元空間モデルＳＶの側面図であり、図４Ｂは、３次元空間モデルＳＶの上面図である。図４Ａおよび図４Ｂには、３次元対象モデルＭ１，Ｍ２の視線の向きＬ１，Ｌ２が示されている。視線の向きＬ１，Ｌ２は、３次元対象モデルＭ１，Ｍ２の顔の向きを視線の向きと見做したものである。

【0068】

人Ｈ１に対応する３次元対象モデルＭ１の視線の向きＬ１には、壁Ｂ１に対応する物体モデルＢｍ１が位置する。よって、動作推定部１４６は、人Ｈ１は壁Ｂ１を見ていると推定する。また、人Ｈ２に対応する３次元対象モデルＭ２の視線の向きＬ２には、モニタＢ６に対応する物体モデルＢｍ６が位置する。よって、動作推定部１４６は、人Ｈ２はモニタＢ６を見ていると推定する。３次元空間モデルＳＶに３次元対象モデルＭ１，Ｍ２を配置することによって、動作の向きが３次元的に推定可能となり、２次元画像ＰＣのみを用いて解析対象Ｈの動作を推定するのと比較して、動作の推定精度が向上する。

【0069】

図１１は、画像解析装置１０の動作を示すフローチャートである。画像解析装置１０の処理装置１４０は、取得部１４１として機能し、現実空間ＳＲと解析対象Ｈとが撮像された２次元画像ＰＣを撮像装置Ｃから取得する（ステップＳ１０）。処理装置１４０は、対象モデル生成部１４２として機能し、２次元画像ＰＣに基づいて、解析対象Ｈを模した３次元対象モデルＭを生成する（ステップＳ１１）。

【0070】

処理装置１４０は、深度推定部１４３として機能し、２次元画像ＰＣに基づいて、２次元画像ＰＣを撮像する撮像装置Ｃに対する解析対象Ｈの深度を推定する（ステップＳ１２）。処理装置１４０は、配置部１４４として機能し、深度推定部１４３によって推定された深度、２次元画像ＰＣ上の解析対象Ｈの位置、および現実空間ＳＲにおける撮像装置Ｃの位置に基づいて、現実空間ＳＲにおける解析対象Ｈの位置を示す３次元座標を推定する（ステップＳ１３）。なお、ステップＳ１１の処理と、ステップＳ１２～Ｓ１３の処理とは、順序を入れ替えてもよいし、同時に行ってもよい。

【0071】

処理装置１４０は、配置部１４４として機能し、現実空間ＳＲを模した３次元空間モデルＳＶ上の、ステップＳ１３で推定した３次元座標に対応する位置に、３次元対象モデルＭを配置する（ステップＳ１４）。処理装置１４０は、補正部１４５として機能し、３次元空間モデルＳＶに配置された３次元対象モデルＭの向きを、撮像装置Ｃの光軸Ｋと、解析対象Ｈとの位置関係に基づいて補正する（ステップＳ１５）。

【0072】

処理装置１４０は、動作推定部１４６として機能し、３次元空間モデルＳＶ内の物体モデルＢｍと３次元対象モデルＭとの相対位置に基づいて、現実空間ＳＲにおける解析対象Ｈの動作を推定する（ステップＳ１６）。その後、処理装置１４０は、処理をステップＳ１０に戻し、以降の処理を繰り返す。

【0073】

以上説明したように、実施形態にかかる画像解析装置１０は、画像解析装置１０は、２次元画像ＰＣに基づいて解析対象Ｈの３次元対象モデルＭを生成し、現実空間ＳＲを模した３次元空間モデルＳＶに３次元対象モデルＭを配置する。画像解析装置１０は、３次元空間モデルＳＶに配置された３次元対象モデルＭの向きを、撮像装置Ｃの光軸Ｋと解析対象Ｈとの位置関係に基づいて補正する。よって、３次元空間モデルＳＶに配置された３次元対象モデルＭによって現実空間ＳＲにおける解析対象Ｈの状態を高精度に再現することができる。

【0074】

また、画像解析装置１０は、２次元画像ＰＣに写る領域を、光軸Ｋと光軸Ｋに直交するＸｒ軸とによって、光軸Ｋに対して右方向に位置する領域Ｆｒと、光軸Ｋに対して左方向に位置する領域Ｆｌとに分割する。画像解析装置１０は、解析対象Ｈが領域Ｆｒに位置する場合、Ｘｒ－Ｚｒ平面上における３次元対象モデルＭの向きを右方向に回転させ、解析対象Ｈが領域Ｆｌに位置する場合、Ｘｒ－Ｚｒ平面上における３次元対象モデルＭの向きを左方向に回転させる。よって、透視投影で表現される２次元画像ＰＣにおける像のずれが補正されて、３次元対象モデルＭは、解析対象Ｈの状態をより正確に再現することができる。

【0075】

また、画像解析装置１０は、光軸ＫとＸｒ軸との交点を基準点（中心点Ｏ）とし、解析対象ＨのＸｒ－Ｚｒ平面上の位置と基準点とを結ぶ線分Ｌｃ１が光軸Ｋに対して成す角度ｙ°を検出し、３次元対象モデルの向きを角度ｙ°回転させる。よって、補正すべき角度が、簡易かつ正確に算出できる。

【0076】

また、画像解析装置１０は、２次元画像ＰＣに写る領域を、Ｘｒ軸に直交するＹｒ軸と光軸Ｋによって、光軸Ｋに対して上方向に位置する領域Ｆｕと、光軸Ｋに対して下方向に位置する領域Ｆｄとに分割する。画像解析装置１０は、解析対象Ｈが領域Ｆｕに位置する場合、Ｚｒ－Ｙｒ平面上における３次元対象モデルＭの向きを上方向に回転させ、解析対象Ｈが領域Ｆｄに位置する場合、Ｚｒ－Ｙｒ平面上における３次元対象モデルＭの向きを下方向に回転させる。よって、透視投影で表現される２次元画像ＰＣにおける像のずれが補正されて、３次元対象モデルＭは、解析対象Ｈの状態をより正確に再現することができる。また、第１直交軸であるＸｒ軸に加えて、第２直交軸であるＹｒ軸についても、補正することによって、３次元対象モデルＭの向きの精度がより向上する。

【0077】

また、画像解析装置１０は、３次元空間モデルＳＶ内の物体モデルＢｍと３次元対象モデルＭとの相対位置に基づいて、現実空間ＳＲにおける解析対象Ｈの動作を推定する。言い換えると、２次元画像ＰＣに写る解析対象Ｈが３次元空間モデルＳＶに投射される。よって、２次元画像ＰＣのみを用いるのと比較して、解析対象Ｈの動作の推定精度が向上する。

【0078】

また、画像解析装置１０は、補正部１４５によって３次元空間モデルＳＶにおける３次元対象モデルＭの向きを補正する。よって、３次元対象モデルＭは、解析対象Ｈの身体の向き、手の位置、または、視線の向き等を、３次元空間モデルＳＶ上で高精度に再現することができ、動作推定部１４６による動作推定の精度を向上させることができる。

【0079】

Ｂ：その他
（１）上述した実施形態では、記憶装置１３０としてＲＯＭ及びＲＡＭ等が例示されたが、記憶装置１３０は、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリデバイス（例えば、カード、スティック、キードライブ）、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体であってもよい。

【0080】

（２）上述した実施形態において、説明した情報、信号等は、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップ等は、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

【0081】

（３）上述した実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0082】

（４）上述した実施形態において、判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Ｂｏｏｌｅａｎ：ｔｒｕｅ又はｆａｌｓｅ）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0083】

（５）上述した実施形態において例示した処理手順、シーケンス、フローチャート等は、矛盾の無い限り、順序が入れ替えられてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素が提示されており、提示された特定の順序に限定されない。

【0084】

（６）図１に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線等を用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

【0085】

（７）上述した実施形態で例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能等を意味するよう広く解釈されるべきである。

【0086】

また、ソフトウェア、命令、情報等は、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）等）及び無線技術（赤外線、マイクロ波等）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

【0087】

（８）前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。

【0088】

（９）本開示において説明した情報、パラメータ等は、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。

【0089】

（１０）上述した実施形態において、携帯機器には、移動局（ＭＳ：Ｍｏｂｉｌｅ Ｓｔａｔｉｏｎ）である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。また、本開示においては、「移動局」、「ユーザ端末（ｕｓｅｒ ｔｅｒｍｉｎａｌ）」、「ユーザ装置（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）」、「端末」等の用語は、互換的に使用され得る。

【0090】

（１１）上述した実施形態において、「接続された（ｃｏｎｎｅｃｔｅｄ）」、「結合された（ｃｏｕｐｌｅｄ）」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は、「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギー等を用いて、互いに「接続」又は「結合」されると考えることができる。

【0091】

（１２）上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0092】

（１３）本開示で使用する「判断（ｄｅｔｅｒｍｉｎｉｎｇ）」、「決定（ｄｅｔｅｒｍｉｎｉｎｇ）」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定（ｊｕｄｇｉｎｇ）、計算（ｃａｌｃｕｌａｔｉｎｇ）、算出（ｃｏｍｐｕｔｉｎｇ）、処理（ｐｒｏｃｅｓｓｉｎｇ）、導出（ｄｅｒｉｖｉｎｇ）、調査（ｉｎｖｅｓｔｉｇａｔｉｎｇ）、探索（ｌｏｏｋｉｎｇ ｕｐ、ｓｅａｒｃｈ、ｉｎｑｕｉｒｙ）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ａｓｃｅｒｔａｉｎｉｎｇ）した事を「判断」「決定」したとみなす事等を含み得る。また、「判断」、「決定」は、受信（ｒｅｃｅｉｖｉｎｇ）（例えば、情報を受信すること）、送信（ｔｒａｎｓｍｉｔｔｉｎｇ）（例えば、情報を送信すること）、入力（ｉｎｐｕｔ）、出力（ｏｕｔｐｕｔ）、アクセス（ａｃｃｅｓｓｉｎｇ）（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事等を含み得る。また、「判断」、「決定」は、解決（ｒｅｓｏｌｖｉｎｇ）、選択（ｓｅｌｅｃｔｉｎｇ）、選定（ｃｈｏｏｓｉｎｇ）、確立（ｅｓｔａｂｌｉｓｈｉｎｇ）、比較（ｃｏｍｐａｒｉｎｇ）等した事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（ａｓｓｕｍｉｎｇ）」、「期待する（ｅｘｐｅｃｔｉｎｇ）」、「みなす（ｃｏｎｓｉｄｅｒｉｎｇ）」等で読み替えられてもよい。

【0093】

（１４）上述した実施形態において、「含む（ｉｎｃｌｕｄｅ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（ｃｏｍｐｒｉｓｉｎｇ）」と同様に、包括的であることが意図される。更に、本開示において使用されている用語「又は（ｏｒ）」は、排他的論理和ではないことが意図される。

【0094】

（１５）本開示において、例えば、英語でのａ， ａｎ及びｔｈｅのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

【0095】

（１６）本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢが夫々Ｃと異なる」ことを意味してもよい。「離れる」、「結合される」等の用語も、「異なる」と同様に解釈されてもよい。

【0096】

（１７）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

【符号の説明】

【0097】

１０…画像解析装置、１００…入力装置、１１０…表示装置、１２０…通信装置、１３０…記憶装置、１４０…処理装置、１４１…取得部、１４２…対象モデル生成部、１４３…深度推定部、１４４…配置部、１４５…補正部、１４６…動作推定部、Ｂ…物体、Ｂｍ…物体モデル、Ｃ…撮像装置、Ｈ…解析対象、Ｈ１～Ｈ６…人、Ｋ…光軸、Ｍ（Ｍ１，Ｍ２）…３次元対象モデル、ＰＧ…プログラム、ＳＲ…現実空間、ＳＶ…３次元空間モデル。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図9A】

【図9B】

【図10A】

【図10B】

【図11】