ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-02
(45)【発行日】2024-09-10
(54)【発明の名称】画像処理装置、画像処理方法および画像処理プログラム
(51)【国際特許分類】
H04N 13/279 20180101AFI20240903BHJP
G06T 7/70 20170101ALI20240903BHJP
G06T 19/00 20110101ALI20240903BHJP
G09G 5/00 20060101ALI20240903BHJP
G09G 5/36 20060101ALI20240903BHJP
H04N 13/305 20180101ALI20240903BHJP
H04N 13/324 20180101ALI20240903BHJP
H04N 13/366 20180101ALI20240903BHJP
G02B 30/27 20200101ALN20240903BHJP
【ＦＩ】
H04N13/279
G06T7/70 B
G06T19/00 A
G09G5/00 550C
G09G5/36 500
H04N13/305
H04N13/324
H04N13/366
G02B30/27
【請求項の数】
8
(21)【出願番号】P 2021567120
(86)(22)【出願日】2020-12-01
(86)【国際出願番号】 JP2020044755
(87)【国際公開番号】W WO2021131543
(87)【国際公開日】2021-07-01
【審査請求日】2023-11-06
(31)【優先権主張番号】P 2019239640
(32)【優先日】2019-12-27
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】赤尾 雅人
【審査官】石本 努
(56)【参考文献】
【文献】特開２０１７－１９９４０４（ＪＰ，Ａ）
【文献】特開２０１５－２１０３７９（ＪＰ，Ａ）
【文献】特開平０７－１８５１３１（ＪＰ，Ａ）
【文献】特開２０００－０２０１９３（ＪＰ，Ａ）
【文献】特開２０１６－０４５８１５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ２７／００－３０／６０
Ｇ０６Ｆ３／０１
３／０４８－３／０４８９５
Ｇ０６Ｔ１／００
７／００－７／９０
１１／６０－１３／８０
１７／０５
１９／００－１９／２０
Ｇ０６Ｖ１０／００－２０／９０
３０／４１８
４０／１６
４０／２０
Ｇ０９Ｆ９／００－９／４６
Ｇ０９Ｇ３／００－３／０８
３／１２
３／１６
３／１９－３／２６
３／３０
３／３４
３／３８－５／４２
Ｈ０４Ｎ７／１０
７／１４－７／１７３
７／２０－７／５６
１３／００－１７／０６
２１／００－２１／８５８
(57)【特許請求の範囲】
【請求項1】
ディスプレイを視聴するユーザ、および、前記ディスプレイと前記ユーザとの間にある実物体を含む撮像画像を取得する撮像部と、前記撮像画像を基にして、前記実物体の姿勢を解析し、前記実物体の姿勢を基にして、前記ディスプレイの表示領域のうち、前記実物体により前記ユーザが参照できない遮蔽領域と、前記ユーザが参照可能な非遮蔽領域とを計算する解析部と、
前記非遮蔽領域に、前記実物体の前記姿勢に応じた形状を有する仮想物体の立体画像を表示するように前記ディスプレイを制御する制御部と、
を有する画像処理装置。
【請求項2】
前記解析部は、前記撮像画像を基にして、前記実物体の大きさを計算する処理を更に実行し、前記制御部は、前記実物体の大きさを基にした大きさを有する前記仮想物体を表示するように前記ディスプレイを制御する、
請求項１に記載の画像処理装置。
【請求項3】
前記解析部は、前記撮像画像を基にして、視聴方向における前記表示領域と前記ユーザとの間の距離を表す第１距離と、前記視聴方向における前記表示領域と前記実物体との間の距離を表す第２距離とを計算し、前記制御部は、前記第１距離および前記第２距離を基にして、前記仮想物体の大きさを調整する、
請求項１に記載の画像処理装置。
【請求項4】
前記ユーザは、前記ディスプレイを視聴する複数のユーザを含み、前記遮蔽領域は、前記複数のユーザのそれぞれに対応する複数の遮蔽領域を含み、
前記非遮蔽領域は、前記複数のユーザに共通の前記非遮蔽領域を含み、
前記制御部は、前記共通の非遮蔽領域に、前記立体画像を表示させ、
前記制御部は、前記複数のユーザに共通しない前記非遮蔽領域には、前記立体画像を表示させない、
請求項１に記載の画像処理装置。
【請求項5】
前記制御部は、前記ユーザから見た前記表示領域を基準とした前記実物体と前記仮想物体との距離を基にして、前記仮想物体が前記実物体に遮蔽されるか否かを自動的に切り替える、請求項１に記載の画像処理装置。
【請求項6】
前記制御部は、前記ユーザの視点位置および前記実物体の動きを基にして、前記仮想物体の運動視差を変化させるように前記ディスプレイを制御する、請求項１に記載の画像処理装置。
【請求項7】
コンピュータが、ディスプレイを視聴するユーザ、および、前記ディスプレイと前記ユーザとの間にある実物体を含む撮像画像を取得する撮像部によって取得された前記撮像画像を基にして、前記実物体の姿勢を解析し、
前記実物体の姿勢を基にして、前記ディスプレイの表示領域のうち、前記実物体により前記ユーザが参照できない遮蔽領域と、前記ユーザが参照可能な非遮蔽領域とを計算し、
前記非遮蔽領域に、前記実物体の前記姿勢に応じた形状を有する仮想物体の立体画像を表示するように前記ディスプレイを制御する、
処理を実行する画像処理方法。
【請求項8】
コンピュータを、ディスプレイを視聴するユーザ、および、前記ディスプレイと前記ユーザとの間にある実物体を含む撮像画像を取得する撮像部によって取得された前記撮像画像を基にして、前記実物体の姿勢を解析し、前記実物体の姿勢を基にして、前記ディスプレイの表示領域のうち、前記実物体により前記ユーザが参照できない遮蔽領域と、前記ユーザが参照可能な非遮蔽領域とを計算する解析部と、
前記非遮蔽領域に、前記実物体の前記姿勢に応じた形状を有する仮想物体の立体画像を表示するように前記ディスプレイを制御する制御部と、
として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【0002】
ディスプレイに立体画像を表示させる様々な技術が提案されている。その中で、眼鏡等のツールを使用しない裸眼立体表示に関する提案もなされている。たとえば、裸眼立体表示に関するディスプレイとして、レンチキュラ方式に代表されるLight Fieldディスプレイがある。
【0003】
Light Fieldディスプレイに立体画像を表示する場合、ユーザの左右それぞれの視点位置を検出し、視点位置に最適な光線を集光し、右目用の画像及び左眼用の画像を生成する。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０００－２２４６１２号公報
【文献】特開２０１８－４４８２４号公報
【文献】特開平９－５４８２１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した従来技術では、立体画像を表示する処理について改善の余地があった。
【0006】
そこで、本開示では、ユーザに対して立体画像を適切に表示することができる画像処理装置、画像処理方法および画像処理プログラムを提供する。
【課題を解決するための手段】
【0007】
上記の課題を解決するための、本開示に係る一形態の画像処理装置は、ユーザおよび実物体を撮像する撮像部と、前記撮像部に撮像された撮像情報を基にして、前記実物体の姿勢を解析する解析部と、前記実物体の姿勢を基にして、前記実物体に関連する画像の表示を制御する制御部とを備える。
【図面の簡単な説明】
【0008】
【図1】第１の実施形態に係る画像処理装置の外観例を示す図である。
【図2】第１の実施形態に係る画像処理装置による立体画像表示の一例を示す図である。
【図3】第１の実施形態に係るシチュエーションの一例を説明するための図である。
【図4】第１の実施形態に係る画像処理装置の構成例を示す図である。
【図5】第１の実施形態に係る解析部の処理を説明するための図である。
【図6】解析結果テーブルのデータ構造の一例を示す図である。
【図7】制御ポリシーＰ１に基づく画像処理装置の処理手順を示すフローチャートである。
【図8】制御ポリシーＰ２に基づく制御部の処理を説明するための図である。
【図9】制御ポリシーＰ２に基づく画像処理装置の処理手順を示すフローチャートである。
【図10】制御ポリシーＰ３に基づく制御部の処理を説明するための図である。
【図11】制御ポリシーＰ３に基づく画像処理装置の処理手順を示すフローチャートである。
【図12】制御ポリシーＰ３に基づく制御部の処理を説明するための図である。
【図13】制御ポリシーＰ４に基づく画像処理装置の処理手順を示すフローチャートである。
【図14】制御ポリシーＰ５に基づく制御部の処理を説明するための図（１）である。
【図15】制御ポリシーＰ５に基づく制御部の処理を説明するための図（２）である。
【図16】制御ポリシーＰ５に基づく画像処理装置の処理手順を示すフローチャートである。
【図17】制御ポリシーＰ６に基づく制御部の処理を説明するための図（１）である。
【図18】制御ポリシーＰ６に基づく制御部の処理を説明するための図（２）である。
【図19】制御ポリシーＰ６に基づく画像処理装置の処理手順を示すフローチャートである。
【図20】制御ポリシーＰ７に基づく制御部の処理を説明するための図である。
【図21】制御ポリシーＰ７に基づく画像処理装置の処理手順を示すフローチャートである。
【図22】制御ポリシーＰ８に基づく制御部の処理を説明するための図である。
【図23】制御ポリシーＰ８に基づく画像処理装置の処理手順を示すフローチャートである。
【図24】第２の実施形態に係るシチュエーションの一例を説明するための図である。
【図25】第２の実施形態に係る画像処理装置の構成例を示す図（１）である。
【図26】第２の実施形態に係る画像処理装置の構成例を示す図（２）である。
【図27】第２の実施形態に係る画像処理装置の処理手順を示すフローチャート（１）である。
【図28】第２の実施形態に係る画像処理装置の処理手順を示すフローチャート（２）である。
【図29】第３の実施形態に係るシチュエーションの一例を説明するための図である。
【図30】第３の実施形態に係る画像処理装置の構成例を示す図である。
【図31】第３の実施形態に係る端末装置の処理手順を示すフローチャートである。
【図32】第３の実施形態に係る画像処理装置の処理手順を示すフローチャートである。
【図33】ユーザが複数人の場合における遮蔽領域および非遮蔽領域の一例を示す図である。
【図34】その他の実施形態に係る画像処理装置の処理手順を示すフローチャートである。
【図35】画像処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0009】
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0010】
また、以下に示す項目順序に従って本開示を説明する。
１．第１の実施形態
１．１．画像処理装置の外観例
１．２．第１の実施形態に係るシチュエーション
１．３．第１の実施形態に係る画像処理装置の構成
１．４．第１の実施形態に係る画像処理装置の効果
２．第２の実施形態
２．１．第２の実施形態に係るシチュエーション
２．２．第２の実施形態に係る画像処理装置の構成
２．３．第２の実施形態に係る画像処理装置の効果
３．第３の実施形態
３．１．第３の実施形態に係るシチュエーション
３．２．第３の実施形態に係る画像処理装置の構成
３．３．第３の実施形態に係る画像処理装置の効果
４．その他の実施形態
５．ハードウェア構成
６．むすび
１．第１の実施形態
１．１．画像処理装置の外観例
１．２．第１の実施形態に係るシチュエーション
１．３．第１の実施形態に係る画像処理装置の構成
１．４．第１の実施形態に係る画像処理装置の効果
２．第２の実施形態
２．１．第２の実施形態に係るシチュエーション
２．２．第２の実施形態に係る画像処理装置の構成
２．３．第２の実施形態に係る画像処理装置の効果
３．第３の実施形態
３．１．第３の実施形態に係るシチュエーション
３．２．第３の実施形態に係る画像処理装置の構成
３．３．第３の実施形態に係る画像処理装置の効果
４．その他の実施形態
５．ハードウェア構成
６．むすび
【0011】
＜１．第１の実施形態＞
＜＜１．１．画像処理装置の外観例＞＞
図１は、第１の実施形態に係る画像処理装置の外観例を示す図である。画像処理装置１００は、ベース２と、ベース２から上方に向かって立設するディスプレイ３とを有している。画像処理装置１００は、ディスプレイ３の上側にカメラ（ステレオカメラ）４を有している。カメラ４は、ディスプレイ３の前方に位置する「ユーザ」およびユーザが保持する「実物体」を撮像できるように構成されている。
＜＜１．１．画像処理装置の外観例＞＞
図１は、第１の実施形態に係る画像処理装置の外観例を示す図である。画像処理装置１００は、ベース２と、ベース２から上方に向かって立設するディスプレイ３とを有している。画像処理装置１００は、ディスプレイ３の上側にカメラ（ステレオカメラ）４を有している。カメラ４は、ディスプレイ３の前方に位置する「ユーザ」およびユーザが保持する「実物体」を撮像できるように構成されている。
【0012】
画像処理装置１００は、たとえば、レンチキュラ方式による立体画像をディスプレイ３に表示可能とされている。概略的には、立体表示用の眼鏡等を使用していない裸眼のユーザの視点位置を、カメラ４により撮像された画像を使用して検出する。左右それぞれの視点位置に集光する光線で右目用及び左目用の画像（視差画像）を生成し、生成した画像をレンチキュラレンズが実装されたディスプレイ３に表示する。
【0013】
図２は、第１の実施形態に係る画像処理装置による立体画像表示の一例を示す図である。図２に示すように、画像処理装置１００は、カメラ４により撮像された画像を基にして、ユーザの視点位置（左目５ａ、右目５ｂ）を検出し、左右それぞれの視点位置に集光する光線で右目用及び左目用の画像（視差画像）を生成する。画像処理装置１００は、生成した画像をディスプレイ３に表示することで、ユーザは、眼鏡やＨＵＤ(Head Up Display)等を用いることなく、立体画像６を見ることが可能となる。
【0014】
＜＜１．２第１の実施形態に係るシチュエーション＞＞
図３は、第１の実施形態に係るシチュエーションの一例を説明するための図である。図３に示すように、画像処理装置１００の前方にユーザ１０が位置しており、ユーザ１０は、実物体１１ａを保持しているものとする。画像処理装置１００は、カメラ４によって、ユーザ１０と実物体１１ａとを含む画像を撮像する。画像処理装置１００は、カメラ４が撮像した画像（撮像情報）を基にして、実物体１１ａに関連する画像（仮想物体１１ｂ）を生成し、仮想物体１１ｂの立体画像を、ディスプレイ３に表示させる。画像処理装置１００は、ユーザ１０が、実物体１１ａを動かすと、実物体１１ａの動きに応じて、仮想物体１１ｂの動きを制御する。
図３は、第１の実施形態に係るシチュエーションの一例を説明するための図である。図３に示すように、画像処理装置１００の前方にユーザ１０が位置しており、ユーザ１０は、実物体１１ａを保持しているものとする。画像処理装置１００は、カメラ４によって、ユーザ１０と実物体１１ａとを含む画像を撮像する。画像処理装置１００は、カメラ４が撮像した画像（撮像情報）を基にして、実物体１１ａに関連する画像（仮想物体１１ｂ）を生成し、仮想物体１１ｂの立体画像を、ディスプレイ３に表示させる。画像処理装置１００は、ユーザ１０が、実物体１１ａを動かすと、実物体１１ａの動きに応じて、仮想物体１１ｂの動きを制御する。
【0015】
なお、実物体１１ａと、仮想物体１１ｂとは形状が完全に同一でなくてもよい。たとえば、実物体１１ａは、仮想物体１１ｂの一部（顔だけ等）であってもよいし、実物体１１ａの形状は、仮想物体１１ｂの近似形状であってもよい。なお、実物体１１ａは、非剛体であってもよく、ユーザ１０は、実物体１１ａの一部の形状を変形させてもよい。
【0016】
＜＜１．３．第１の実施形態に係る画像処理装置の構成＞＞
図４は、第１の実施形態に係る画像処理装置の構成例を示す図である。図４に示すように、この画像処理装置１００は、画像撮像部５０および画像表示部６０に接続される。なお、画像処理装置１００は、画像撮像部５０および画像表示部６０を有していてもよい。
図４は、第１の実施形態に係る画像処理装置の構成例を示す図である。図４に示すように、この画像処理装置１００は、画像撮像部５０および画像表示部６０に接続される。なお、画像処理装置１００は、画像撮像部５０および画像表示部６０を有していてもよい。
【0017】
画像撮像部５０は、撮像範囲に位置するユーザ１０およびユーザ１０の保持する実物体１１ａを撮像するステレオカメラである。画像撮像部５０は、図１～図３に示したカメラ４に対応する。画像撮像部５０は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサもしくはＣＣＤ(Charge Coupled Device)等の他のイメージセンサーを備える。画像撮像部５０は、撮像した画像の情報を、画像処理装置１００に出力する。以下の説明では、画像撮像部５０が撮像した画像の情報を「撮像情報」と表記する。
【0018】
画像撮像部５０は、ステレオカメラであるため、撮像情報には、一方のカメラで撮影した画像と、他方のカメラで撮影した画像とが含まれる。画像撮像部５０は、所定のフレームレート（fps：frame per second）で画像を撮像し、撮像する度に、撮像情報を、画像処理装置１００に出力する。撮像情報には、時系列にフレーム番号が昇順に付与されてもよい。
【0019】
画像表示部６０は、画像処理装置１００から出力される情報を基にして立体画像を表示する表示装置である。画像表示部６０は、図１～図３に示したディスプレイ３に対応する。たとえば、画像表示部６０は、図３で説明した仮想物体１１ｂの立体画像を表示する。
【0020】
画像処理装置１００は、視点位置検出部１１０と、表示画像生成部１２０と、解析部１３０と、記憶部１４０と、制御部１５０とを有する。
【0021】
視点位置検出部１１０は、撮像情報を基にして顔検出を行い、ユーザ１０の視点位置を検出する処理部である。視点位置検出部１１０が検出する視点位置には、ユーザ１０の左目の位置と、右目の位置とが含まれる。視点位置検出部１１０は、視点位置の情報を、表示画像生成部１２０に出力する。視点位置検出部１１０が、ユーザの顔（顔枠、左目の座標、右目の座標）を検出する方法は、画像の特徴を利用して行う方法等、公知の方法を適用することができる。たとえば、左目の座標、右目の座標は、２次元座標である。
【0022】
表示画像生成部１２０は、画像表示部６０に立体画像を表示させるための情報を生成し、生成した情報を画像表示部６０に出力する処理部である。たとえば、表示画像生成部１２０は、視点位置検出部１１０から視点位置の情報を取得し、視点位置を示す２次元座標を、公知の手法を適用して空間位置における視点座標（３次元座標）に変換する。
【0023】
表示画像生成部１２０は、モデルデータ１４０ａおよび制御情報によって決定される立体画像の情報と、空間位置における視点座標との関係から、光線（画像）の情報を生成し、画像表示部６０に光線（画像）の情報を出力し、画像表示部６０に光線（画像）表示させることで、ユーザ１０に立体画像を見せる。
【0024】
ここで、モデルデータ１４０ａは、仮想物体１１ｂの各部位の形状、各部位の色、各部位の基準サイズ等を予め定義した情報であり、記憶部１４０に格納される。表示画像生成部１２０は、モデルデータ１４０ａを記憶部１４０から取得する。
【0025】
制御情報は、姿勢、表示座標が含まれる。姿勢は、仮想物体１１ｂの姿勢である。姿勢をどのように定義してもよいが、たとえば、各部位の基準位置および基準方向との差異が、姿勢として指定される。表示座標は、画像表示部６０の表示画面において、仮想物体１１ｂを表示する座標を示すものである。表示画像生成部１２０は、制御情報を、後述する制御部１５０から取得する。
【0026】
解析部１３０は、画像撮像部５０から取得する撮像情報を基にして各種の解析を行い、解析結果を制御部１５０に出力する処理部である。以下において、解析部１３０が実行する各種の解析処理について説明する。
【0027】
図５は、第１の実施形態に係る解析部の処理を説明するための図である。図５において、カメラ４は画像撮像部５０に対応し、ディスプレイ３は画像表示部６０に対応する。ディスプレイ３の上側に、カメラ４が設置されているものとし、ディスプレイ３とユーザ１０との距離と、カメラ４とユーザ１０との距離は同一であるものとする。カメラ４の内部パラメータや、カメラ４の設置位置（外部パラメータ）は既知であるものとする。
【0028】
解析部１３０が、「実物体１１ａを検出する処理」の一例について説明する。解析部１３０は、撮像情報に含まれる２枚の画像の各部（画素）についてステレオマッチングを行うことで、各画素の距離を算出する。解析部１３０は、ディスプレイ３からの距離が閾値未満となり、かつ、距離の差が閾値未満となる画素の領域を、実物体１１ａとして検出する。解析部１３０は、その他の如何なる公知技術を用いて、撮像情報から、実物体１１ａを検出してもよい。
【0029】
解析部１３０が、「実物体１１ａの姿勢を計算する処理」の一例について説明する。解析部１３０は、上記の実物体１１ａを検出する処理によって、撮像情報から実物体１１ａの領域を検出し、実物体１１ａの各部位の位置を特定する。解析部１３０は、特定した各部位の位置と、予め設定された各部位の基準位置および基準方向との差異をそれぞれ、実物体１１ａの姿勢として算出する。
【0030】
解析部１３０が、「実物体１１ａの大きさを計算する処理」の一例について説明する。解析部１３０は、上記の実物体１１ａを検出する処理によって、撮像情報から実物体１１ａの領域を検出する。解析部１３０は、撮像情報の領域の大きさと、実空間上の大きさとの関係を定義した変換テーブルを用いて、実物体１１ａの領域の大きさから、実物体１１ａの実空間上の大きさを計算する。たとえば、解析部１３０は、実物体１１ａの実空間上の縦幅Ｈ、横幅Ｗを、実物体１１ａの大きさとする。
【0031】
解析部１３０が、「実物体１１ａの位置を計算する処理」の一例について説明する。解析部１３０は、上記の実物体１１ａを検出する処理によって、撮像情報から実物体１１ａの領域を検出する。解析部１３０は、実物体１１ａの領域の重心を実物体１１ａの座標として検出する。解析部１３０は、撮像情報上の座標（２次元座標）と、実空間上の位置（３次元座標）との関係を定義した変換テーブルを用いて、撮像情報上の座標から、実物体１１ａの実空間上の位置を計算する。
【0032】
解析部１３０が、「遮蔽領域６０ａと非遮蔽領域６０ｂとを計算する処理」の一例について説明する。解析部１３０は、撮像情報に含まれる２枚の画像の各部についてステレオマッチングを行うことで、撮像情報に含まれるユーザ１０とディスプレイ３との距離、実物体１１ａとディスプレイ３との距離を算出する。以下の説明では、ユーザ１０とディスプレイ３との距離を、「第１距離」と表記する。実物体１１ａとディスプレイ３との距離を、「第２距離」と表記する。
【0033】
解析部１３０は、実物体１１ａの大きさと、ユーザ１０の視点位置と、第１距離と、第２距離との幾何学的な関係から、遮蔽領域６０ａと、非遮蔽領域６０ｂを算出する。遮蔽領域６０ａは、ディスプレイ３の表示領域のうち、ユーザ１０が実物体１１ａにより見ることができない領域を示す。非遮蔽領域６０ｂは、ディスプレイ３の表示領域のうち、ユーザ１０が見ることのできる領域を示す。
【0034】
解析部１３０は、上記の実物体１１ａの大きさを計算する処理によって、前記実物体１１ａの大きさを計算する。解析部１３０が、ユーザ１０の実空間上の視点位置を計算する処理は、視点位置検出部１１０、表示画像生成部１２０と同様である。
【0035】
解析部１３０は、画像撮像部５０から撮像情報を取得する度に、上記処理を繰り返し実行し、解析結果を制御部１５０に出力する。また、解析部１３０は、解析結果の一部または全部を、記憶部１４０の解析結果テーブルに登録してもよい。また、解析部１３０は、撮像情報に含まれる実物体１１ａの画像を基にして、後述するモデルデータ１４０ａを生成してもよい。
【0036】
記憶部１４０は、モデルデータ１４０ａおよび解析結果テーブル１４０ｂを有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。
【0037】
モデルデータ１４０ａは、仮想物体１１ｂの各部位の形状、各部位の色、各部位の基準サイズ等を定義した情報（３Ｄモデル）である。記憶部１４０には、仮想物体１１ｂ以外のモデルデータが含まれていてもよく、表示画像生成部１２０は、いずれかのモデルデータを選択してもよい。
【0038】
解析結果テーブル１４０ｂは、解析部１３０による解析結果を保持するテーブルである。図６は、解析結果テーブルのデータ構造の一例を示す図である。図６に示すように、この解析結果テーブル１４０ｂは、フレーム番号と、位置と、視点位置と、大きさと、姿勢と、遮蔽領域と、非遮蔽領域とを有する。
【0039】
図６において、フレーム番号は、撮像情報に付与されるフレーム番号であり、撮像情報を一意に識別する情報である。同一のフレーム番号に対応するレコード（位置、視点位置、大きさ、姿勢、遮蔽領域、非遮蔽領域）は、同一の撮像情報を解析することで得られる情報である。
【0040】
図６において、位置は、実物体１１ａの実空間上の位置（３次元座標）を示すものである。視点位置は、ユーザ１０の実空間上の視点位置（左目の座標、右目の座標）を示すものである。大きさは、実物体１１ａの実空間上の大きさを示すものであり、縦幅Ｈ、横幅Ｗで表記する。姿勢は、実物体１１ａの姿勢を示すものであり、実物体１１ａから検出される各部位の位置および方向と、予め設定された各部位の基準位置および基準方向との差異θによって表記する。
【0041】
図６において、遮蔽領域は、図５の遮蔽領域６０ａに対応するものであり、遮蔽領域６０ａの左上の座標と、右下の座標によって示される。非遮蔽領域は、図５の非遮蔽領域６０ｂに対応するものであり、非遮蔽領域６０ｂの左上の座標と、右下の座標によって示される。
【0042】
図４の説明に戻る。制御部１５０は、解析部１３０の解析結果を基にして、制御情報を生成し、生成した制御情報を表示画像生成部１２０に出力する処理部である。制御部１５０には、複数の制御ポリシーが用意されており、ユーザ１０は所望する制御ポリシーを選択しておくものとする。以下において、各制御ポリシーＰ１～Ｐ８に基づく、制御部１５０の処理について個別に説明するが、複数のポリシーを組み合わせた処理を実行してもよい。
【0043】
（制御ポリシーＰ１：姿勢を合わせる）
制御部１５０は、制御ポリシーＰ１が選択されている場合、実物体１１ａの姿勢と、画像表示部６０に表示される立体画像（仮想物体１１ｂ）の姿勢とを合わせる制御を行う。たとえば、制御部１５０は、解析部１３０から実物体１１ａの姿勢（θ）を取得し、取得した姿勢を、制御情報に設定して、表示画像生成部１２０に出力する。表示画像生成部１２０は、モデルデータ１４０ａに設定された姿勢を、制御情報に設定された姿勢に合わせる調整を行い、調整を行ったモデルデータ１４０ａを用いて、立体画像を画像表示部６０に表示させる。また、制御部１５０は、ユーザ１０の視点位置を基にして、ユーザ１０の位置から実物体１１ａと仮想物体１１ｂとの姿勢が同じに見えるように仮想物体１１ｂの姿勢を決めることができる。
制御部１５０は、制御ポリシーＰ１が選択されている場合、実物体１１ａの姿勢と、画像表示部６０に表示される立体画像（仮想物体１１ｂ）の姿勢とを合わせる制御を行う。たとえば、制御部１５０は、解析部１３０から実物体１１ａの姿勢（θ）を取得し、取得した姿勢を、制御情報に設定して、表示画像生成部１２０に出力する。表示画像生成部１２０は、モデルデータ１４０ａに設定された姿勢を、制御情報に設定された姿勢に合わせる調整を行い、調整を行ったモデルデータ１４０ａを用いて、立体画像を画像表示部６０に表示させる。また、制御部１５０は、ユーザ１０の視点位置を基にして、ユーザ１０の位置から実物体１１ａと仮想物体１１ｂとの姿勢が同じに見えるように仮想物体１１ｂの姿勢を決めることができる。
【0044】
（制御ポリシーＰ１に基づく画像処理装置の処理手順）
図７は、制御ポリシーＰ１に基づく画像処理装置の処理手順を示すフローチャートである。図７に示すように、画像処理装置１００は、画像撮像部５０から撮像情報の取得を開始する（ステップＳ１１）。画像処理装置１００の視点位置検出部１１０は、ユーザ１０の視点位置を検出する（ステップＳ１２）。
図７は、制御ポリシーＰ１に基づく画像処理装置の処理手順を示すフローチャートである。図７に示すように、画像処理装置１００は、画像撮像部５０から撮像情報の取得を開始する（ステップＳ１１）。画像処理装置１００の視点位置検出部１１０は、ユーザ１０の視点位置を検出する（ステップＳ１２）。
【0045】
画像処理装置１００の解析部１３０は、ユーザ１０が保持する実物体１１ａを検出する（ステップＳ１３）。解析部１３０は、実物体１１ａの姿勢（θ）を計算する（ステップＳ１４）。画像処理装置１００の制御部１５０は、実物体１１ａの姿勢に合わせた仮想物体１１ｂの姿勢を計算して制御情報を生成する（ステップＳ１５）。
【0046】
画像処理装置１００の表示画像生成部１２０は、モデルデータ１４０ａと制御情報とを基にして、立体画像の情報を生成し、画像表示部６０に立体画像を表示させる（ステップＳ１６）。
【0047】
画像処理装置１００は、処理を継続する場合には（ステップＳ１７，Ｙｅｓ）、ステップＳ１２に移行する。一方、画像処理装置１００は、処理を継続しない場合には（ステップＳ１７，Ｎｏ）、処理を終了する。
【0048】
画像処理装置１００は、制御ポリシーＰ１に従って、処理を実行することで、ユーザ１０は、自身が保持する実物体１１ａの姿勢と同一の姿勢となる仮想物体１１ｂの立体画像を参照することができ、ユーザ１０の作業をサポートすることができる。
【0049】
（制御ポリシーＰ２：大きさを合わせる）
制御部１５０は、制御ポリシーＰ２が選択されている場合、実物体１１ａの大きさと、画像表示部６０に表示される立体画像（仮想物体１１ｂ）の大きさとを合わせる制御を行う。たとえば、制御部１５０は、解析部１３０から実物体１１ａの大きさ（Ｈ、Ｗ）を取得し、取得した大きさを、制御情報に設定して、表示画像生成部１２０に出力する。表示画像生成部１２０は、モデルデータ１４０ａに設定された大きさを、制御情報に設定された大きさに合わせる調整を行い、調整を行ったモデルデータ１４０ａを用いて、立体画像を画像表示部６０に表示させる。
制御部１５０は、制御ポリシーＰ２が選択されている場合、実物体１１ａの大きさと、画像表示部６０に表示される立体画像（仮想物体１１ｂ）の大きさとを合わせる制御を行う。たとえば、制御部１５０は、解析部１３０から実物体１１ａの大きさ（Ｈ、Ｗ）を取得し、取得した大きさを、制御情報に設定して、表示画像生成部１２０に出力する。表示画像生成部１２０は、モデルデータ１４０ａに設定された大きさを、制御情報に設定された大きさに合わせる調整を行い、調整を行ったモデルデータ１４０ａを用いて、立体画像を画像表示部６０に表示させる。
【0050】
図８は、制御ポリシーＰ２に基づく制御部の処理を説明するための図である。図８に示すように、仮想物体１１ｂ－１の大きさと、実物体１１ａの大きさとが異なっている。制御部１５０が、上記処理により、仮想物体１１ｂ－１をリサイズすることで、仮想物体１１ｂ－２となり、仮想物体１１ｂ－１の大きさと、実物体１１ａの大きさとが同じになる。
【0051】
（制御ポリシーＰ２に基づく画像処理装置の処理手順）
図９は、制御ポリシーＰ２に基づく画像処理装置の処理手順を示すフローチャートである。図９に示すように、画像処理装置１００は、画像撮像部５０から撮像情報の取得を開始する（ステップＳ２１）。画像処理装置１００の視点位置検出部１１０は、ユーザ１０の視点位置を検出する（ステップＳ２２）。
図９は、制御ポリシーＰ２に基づく画像処理装置の処理手順を示すフローチャートである。図９に示すように、画像処理装置１００は、画像撮像部５０から撮像情報の取得を開始する（ステップＳ２１）。画像処理装置１００の視点位置検出部１１０は、ユーザ１０の視点位置を検出する（ステップＳ２２）。
【0052】
画像処理装置１００の解析部１３０は、ユーザ１０が保持する実物体１１ａを検出する（ステップＳ２３）。解析部１３０は、実物体１１ａの大きさ（Ｈ、Ｗ）を計算する（ステップＳ２４）。画像処理装置１００の制御部１５０は、実物体１１ａの大きさに合わせて仮想物体の大きさを計算し、制御情報を生成する（ステップＳ２５）。
【0053】
表示画像生成部１２０は、モデルデータ１４０ａと制御情報とを基にして、立体画像の情報を生成し、画像表示部６０にリサイズした立体画像を表示させる（ステップＳ２６）。
【0054】
画像処理装置１００は、処理を継続する場合には（ステップＳ２７，Ｙｅｓ）、ステップＳ２２に移行する。一方、画像処理装置１００は、処理を継続しない場合には（ステップＳ２７，Ｎｏ）、処理を終了する。
【0055】
画像処理装置１００は、制御ポリシーＰ２に従って、処理を実行することで、ユーザ１０は、自身が保持する実物体１１ａと同一の大きさとなる仮想物体１１ｂの立体画像を参照することができ、ユーザ１０の作業をサポートすることができる。
【0056】
（制御ポリシーＰ３：見た目の大きさを合わせる）
実物体１１ａは、画像表示部６０より手前に存在するため、ユーザ１０は、実物体１１ａと、立体画像（仮想物体１１ｂ）との大きさが同じでも、相対的に立体画像が小さく見える。このため、制御部１５０は、実物体１１ａと、立体画像との相対的な大きさを合わせる制御を行う。
実物体１１ａは、画像表示部６０より手前に存在するため、ユーザ１０は、実物体１１ａと、立体画像（仮想物体１１ｂ）との大きさが同じでも、相対的に立体画像が小さく見える。このため、制御部１５０は、実物体１１ａと、立体画像との相対的な大きさを合わせる制御を行う。
【0057】
図１０は、制御ポリシーＰ３に基づく制御部の処理を説明するための図である。制御部１５０は、解析結果を基にして、仮想物体１１ｂの高さＨｖを計算する。図１０において、Ｈｒは、実物体１１ａの高さを示す。Ｄｒは、実物体１１ａと、ユーザ１０との距離を示し、たとえば、第１距離から第２距離を減算した距離に相当する。Ｄｖは、ユーザ１０と仮想物体１１ｂ（画像表示部６０）との距離を示し、たとえば、第１距離に対応する。
【0058】
制御部１５０は、式（１）に従って、仮想物体１１ｂの高さＨｖを計算する。図示を省略するが、制御部１５０は、式（２）に従って、仮想物体１１ｂの幅Ｗｖを計算する。式（２）において、Ｗｒは、実物体１１ａの幅を示す。以下の説明では、高さＨｖと、幅Ｗｖとをまとめて、「リサイズ後の大きさ」と表記する。
【0059】
Ｈｖ＝Ｈｒ×Ｄｖ／Ｄｒ・・・（１）
Ｗｖ＝Ｗｒ×Ｄｖ／Ｄｒ・・・（２）
Ｗｖ＝Ｗｒ×Ｄｖ／Ｄｒ・・・（２）
【0060】
制御部１５０は、上記処理により、リサイズ後の大きさを計算し、リサイズ後の大きさを制御情報に設定し、表示画像生成部１２０に出力する。表示画像生成部１２０は、モデルデータ１４０ａに設定された大きさを、制御情報に設定されたリサイズ後の大きさに合わせる調整を行い、調整を行ったモデルデータ１４０ａを用いて、立体画像を画像表示部６０に表示させる。
【0061】
（制御ポリシーＰ３に基づく画像処理装置の処理手順）
図１１は、制御ポリシーＰ３に基づく画像処理装置の処理手順を示すフローチャートである。図１１に示すように、画像処理装置１００は、画像撮像部５０から撮像情報の取得を開始する（ステップＳ３１）。画像処理装置１００の視点位置検出部１１０は、ユーザ１０の視点位置を検出する（ステップＳ３２）。
図１１は、制御ポリシーＰ３に基づく画像処理装置の処理手順を示すフローチャートである。図１１に示すように、画像処理装置１００は、画像撮像部５０から撮像情報の取得を開始する（ステップＳ３１）。画像処理装置１００の視点位置検出部１１０は、ユーザ１０の視点位置を検出する（ステップＳ３２）。
【0062】
画像処理装置１００の解析部１３０は、ユーザ１０が保持する実物体１１ａを検出する（ステップＳ３３）。解析部１３０は、実物体１１ａの大きさ（Ｈ、Ｗ）を計算する（ステップＳ３４）。画像処理装置１００の制御部１５０は、リサイズ後の大きさ（Ｈｖ、Ｗｖ）を計算し、制御情報を生成する（ステップＳ３５）。
【0063】
表示画像生成部１２０は、モデルデータ１４０ａと制御情報とを基にして、立体画像の情報を生成し、画像表示部６０にリサイズした立体画像を表示させる（ステップＳ３６）。
【0064】
画像処理装置１００は、処理を継続する場合には（ステップＳ３７，Ｙｅｓ）、ステップＳ３２に移行する。一方、画像処理装置１００は、処理を継続しない場合には（ステップＳ３７，Ｎｏ）、処理を終了する。
【0065】
画像処理装置１００は、制御ポリシーＰ３に従って、処理を実行することで、実物体１１ａが、画像表示部６０よりもユーザ１０の手前に位置する場合でも、ユーザ１０は、見た目が、自身が保持する実物体１１ａと同一の大きさとなる仮想物体１１ｂの立体画像を参照することができ、ユーザ１０の作業をサポートすることができる。
【0066】
（制御ポリシーＰ４：重ならない位置に移動させる）
仮想物体１１ｂの立体画像を、画像表示部６０の遮蔽領域に表示させると、立体画像と、実物体１１ａとが重なってしまう。このため、制御部１５０は、立体画像を、画像表示部６０の非遮蔽領域に表示させる制御を行う。
仮想物体１１ｂの立体画像を、画像表示部６０の遮蔽領域に表示させると、立体画像と、実物体１１ａとが重なってしまう。このため、制御部１５０は、立体画像を、画像表示部６０の非遮蔽領域に表示させる制御を行う。
【0067】
図１２は、制御ポリシーＰ４に基づく制御部の処理を説明するための図である。上述したように、解析部１３０が、撮像情報を解析することで、遮蔽領域６０ａと、非遮蔽領域６０ｂとが計算される。制御部１５０は、制御ポリシーＰ４－１、制御ポリシーＰ４－２、制御ポリシーＰ４－３のいずれかの制御ポリシーによって、立体画像の表示位置を調整する。調整前の立体画像の表示位置を「Ｒ」とする。調整後の立体画像の表示位置を「Ｑ」とする。
【0068】
「制御ポリシーＰ４－１」について説明する。制御部１５０は、解析結果に含まれる非遮蔽領域６０ｂに、仮想物体１１ｂの全体が含まれる立体画像の表示位置Ｑ１を計算する。たとえば、制御部１５０は、位置Ｒから、表示位置Ｑ１までの距離が最小となるように、表示位置Ｑ１を計算する。
【0069】
「制御ポリシーＰ４－２」について説明する。制御部１５０は、非遮蔽領域６０ｂに含まれ、かつ、位置Ｒから表示位置Ｑ２までの距離が最大となるように、表示位置Ｑ２を計算する。
【0070】
「制御ポリシーＰ４－３」について説明する。制御部１５０は、画像表示部６０（ディスプレイ３）の中心部分により近くなるような表示位置Ｑ３を計算する。ディスプレイ３の中心ほど、立体画像の画質が向上するからである。たとえば、制御部１５０は、式（３）を基にして、表示位置Ｑ３を計算する。
【0071】
Ｃ＝ｍｉｎ（ＣＲＱ（ＤＲＱ）＋ＣＣＱ（ＤＣＱ））・・・（３）
【0072】
式（３）において、ＣＲＱ（ＤＲＱ）は、ＤＲＱにより決定される表示位置Ｑ３が、遮蔽領域６０ａから離れるほど、コストが小さくなる関数である。ＣＣＱ（ＤＣＱ）は、ＤＣＱにより決定される表示位置Ｑ３が、ディスプレイ３の中心に近いほど、コストが小さくなる関数である。制御部１５０は、式（３）の値が最小化する位置を、最終的な表示位置Ｑ３として計算する。
【0073】
制御部１５０は、上記制御ポリシーＰ４－１～Ｐ４－３のいずれか一つの制御ポリシーを基にして、仮想物体１１ｂの表示位置を計算する。制御部１５０は、計算した表示位置を制御情報に設定し、表示画像生成部１２０に出力する。表示画像生成部１２０は、制御情報に設定された表示位置に、立体画像の表示位置を合わせる調整を行い、立体画像を画像表示部６０に表示させる。
【0074】
（制御ポリシーＰ４に基づく画像処理装置の処理手順）
図１３は、制御ポリシーＰ４に基づく画像処理装置の処理手順を示すフローチャートである。図１３に示すように、画像処理装置１００は、画像撮像部５０から撮像情報の取得を開始する（ステップＳ４１）。画像処理装置１００の視点位置検出部１１０は、ユーザ１０の視点位置を検出する（ステップＳ４２）。
図１３は、制御ポリシーＰ４に基づく画像処理装置の処理手順を示すフローチャートである。図１３に示すように、画像処理装置１００は、画像撮像部５０から撮像情報の取得を開始する（ステップＳ４１）。画像処理装置１００の視点位置検出部１１０は、ユーザ１０の視点位置を検出する（ステップＳ４２）。
【0075】
画像処理装置１００の解析部１３０は、ユーザ１０が保持する実物体１１ａを検出する（ステップＳ４３）。解析部１３０は、実物体１１ａと仮想物体１１ｂとの位置関係を計算する（ステップＳ４４）。画像処理装置１００の制御部１５０は、遮蔽領域と非遮蔽領域とを特定する（ステップＳ４５）。
【0076】
制御部１５０は、非遮蔽領域に含まれる表示位置を計算し、制御情報を生成する（ステップＳ４６）。表示画像生成部１２０は、モデルデータ１４０ａと制御情報とを基にして、立体画像の情報を生成し、画像表示部６０の非遮蔽領域に立体画像を表示させる（ステップＳ４７）。
【0077】
画像処理装置１００は、処理を継続する場合には（ステップＳ４８，Ｙｅｓ）、ステップＳ４２に移行する。一方、画像処理装置１００は、処理を継続しない場合には（ステップＳ４８，Ｎｏ）、処理を終了する。
【0078】
画像処理装置１００は、制御ポリシーＰ４に従って、処理を実行することで、実物体１１ａと、立体画像（仮想物体１１ｂ）とが重ならないため、ユーザ１０は、実物体１１ａと、立体画像との双方を同時に参照することができ、ユーザ１０の作業をサポートすることができる。
【0079】
（制御ポリシーＰ５：重なる／重ならないを自動選択）
ユーザ１０が作業を行う場合、「実物体１１ａと立体画像とを重ねて見る」場合と、「実物体１１ａと立体画像とを並べて見くらべる」場合とがある。このため、制御部１５０は、実物体１１ａの見た目の位置と、立体画像の表示位置との距離Ｄを基にして、立体画像の表示位置を制御する。ここでは、一例として、実物体１１ａの見た目の位置を、ユーザ１０の視点位置および実物体１１ａの位置を通る直線と、ディスプレイ３とが交差する位置とする。
ユーザ１０が作業を行う場合、「実物体１１ａと立体画像とを重ねて見る」場合と、「実物体１１ａと立体画像とを並べて見くらべる」場合とがある。このため、制御部１５０は、実物体１１ａの見た目の位置と、立体画像の表示位置との距離Ｄを基にして、立体画像の表示位置を制御する。ここでは、一例として、実物体１１ａの見た目の位置を、ユーザ１０の視点位置および実物体１１ａの位置を通る直線と、ディスプレイ３とが交差する位置とする。
【0080】
図１４は、制御ポリシーＰ５に基づく制御部の処理を説明するための図（１）である。図１４に示すように、実物体１１ａの見た目の位置と、仮想物体１１ｂ（立体画像）との距離が閾値未満の場合には、制御部１５０は、遮蔽領域に仮想物体１１ｂを表示させる。一方、実物体１１ａの見た目の位置と、仮想物体１１ｂ（立体画像）との距離が閾値以上の場合には、制御部１５０は、非遮蔽領域に仮想物体１１ｂを表示させる。
【0081】
図１５は、制御ポリシーＰ５に基づく制御部の処理を説明するための図（２）である。図１５において、実物体１１ａの見た目の位置を「Ｓ」とする。制御部１５０は、ユーザ１０の視線位置、実物体１１ａの空間上の位置、ディスプレイ３の位置関係から、見た目の位置「Ｓ」を計算する。位置「Ｑ」は、立体画像の表示位置を示す。
【0082】
制御部１５０は、位置Ｓと位置Ｑとの距離Ｄを計算し、距離Ｄが閾値Ｄｔｈ未満の場合には、立体画像の表示位置を、位置Ｓに設定する。一方、制御部１５０は、位置Ｓと位置Ｑとの距離Ｄを計算し、距離Ｄが閾値Ｄｔｈ以上の場合には、非遮蔽領域６０ｂに含まれるように、表示画像の表示位置を設定する。
【0083】
制御部１５０は、上記処理により、立体画像の表示位置を計算し、表示位置を制御情報に設定し、表示画像生成部１２０に出力する。表示画像生成部１２０は、制御情報に設定された表示位置に、立体画像の表示位置を合わせる調整を行い、立体画像を画像表示部６０に表示させる。
【0084】
（制御ポリシーＰ５に基づく画像処理装置の処理手順）
図１６は、制御ポリシーＰ５に基づく画像処理装置の処理手順を示すフローチャートである。図１６に示すように、画像処理装置１００は、画像撮像部５０から撮像情報の取得を開始する（ステップＳ５１）。画像処理装置１００の視点位置検出部１１０は、ユーザ１０の視点位置を検出する（ステップＳ５２）。
図１６は、制御ポリシーＰ５に基づく画像処理装置の処理手順を示すフローチャートである。図１６に示すように、画像処理装置１００は、画像撮像部５０から撮像情報の取得を開始する（ステップＳ５１）。画像処理装置１００の視点位置検出部１１０は、ユーザ１０の視点位置を検出する（ステップＳ５２）。
【0085】
画像処理装置１００の解析部１３０は、ユーザ１０が保持する実物体１１ａを検出する（ステップＳ５３）。解析部１３０は、実物体１１ａと仮想物体１１ｂとの位置関係を計算する（ステップＳ５４）。画像処理装置１００の制御部１５０は、遮蔽領域と非遮蔽領域とを特定する（ステップＳ５５）。
【0086】
制御部１５０は、実物体１１ａの見た目の位置と仮想物体１１ｂの位置との距離Ｄを計算する（ステップＳ５６）。制御部１５０は、距離Ｄが閾値Ｄｔｈ未満であるか否かを判定する（ステップＳ５７）。
【0087】
制御部１５０は、距離Ｄが閾値Ｄｔｈ未満である場合には（ステップＳ５７，Ｙｅｓ）、遮蔽領域に含まれる表示位置を計算し、制御情報を生成し（ステップＳ５８）、ステップＳ６０に移行する。
【0088】
一方、制御部１５０は、距離Ｄが閾値Ｄｔｈ未満でない場合には（ステップＳ５７，Ｎｏ）、非遮蔽領域に含まれる表示位置を計算し、制御情報を生成し（ステップＳ５９）、ステップＳ６０に移行する。
【0089】
表示画像生成部１２０は、モデルデータ１４０ａと制御情報とを基にして、立体画像の情報を生成し、画像表示部６０の表示位置に立体画像を表示させる（ステップＳ６０）。画像処理装置１００は、処理を継続する場合には（ステップＳ６０，Ｙｅｓ）、ステップＳ５２に移行する。一方、画像処理装置１００は、処理を継続しない場合には（ステップＳ４８，Ｎｏ）、処理を終了する。
【0090】
画像処理装置１００は、制御ポリシーＰ５に従って、処理を実行することで、実物体１１ａの見た目の位置と、仮想物体１１ｂ（立体画像）との距離が閾値未満の場合には、制御部１５０は、遮蔽領域に仮想物体１１ｂを表示させる。一方、実物体１１ａの見た目の位置と、仮想物体１１ｂ（立体画像）との距離が閾値以上の場合には、制御部１５０は、非遮蔽領域に仮想物体１１ｂを表示させる。これによって、「実物体１１ａと立体画像とを重ねて見る」場合と、「実物体１１ａと立体画像とを並べて見くらべる」場合とにそれぞれ対応して、ユーザ１０の作業をサポートすることができる。
【0091】
（制御ポリシーＰ６：運動視差）
たとえば、ユーザ１０は、視点位置を固定し、実物体１１ａを動かして鑑賞する場合がある。制御部１５０は、実物体１１ａの移動に相当する変化を、仮想物体１１ｂの表示位置の移動で代替表現する。
たとえば、ユーザ１０は、視点位置を固定し、実物体１１ａを動かして鑑賞する場合がある。制御部１５０は、実物体１１ａの移動に相当する変化を、仮想物体１１ｂの表示位置の移動で代替表現する。
【0092】
図１７は、制御ポリシーＰ６に基づく制御部の処理を説明するための図（１）である。図１７に示すように、ユーザ１０は、実物体１１ａを「右方向」に移動させたものとする。この場合、制御部１５０は、仮想物体１１ｂを「右方向」に移動させることで、実物体１１ａの移動に相当する変化を、仮想物体の表示位置の移動で代替表現する。
【0093】
図１８は、制御ポリシーＰ６に基づく制御部の処理を説明するための図（２）である。図１８に示すように、ユーザ１０は、実物体１１ａを右に移動させる。ユーザ１０の視点位置が動いていないとすると、実物体１１ａを右に移動させることで、実物体１１ａの左側面が参照可能となる。制御部１５０は、仮想物体１１ｂの表示位置を位置Ｒ１からＲ２に移動させることで、ユーザ１０は、仮想物体１１ｂの左側面が参照可能となる。すなわち、実物体１１ａの移動に相当する変化を、仮想物体１１ｂの表示位置の移動で代替表現する。
【0094】
制御部１５０は、各撮像情報に対する解析結果に含まれる実物体の位置を基にして、実物体１１ａの移動軌跡を計算し、仮想物体１１ｂの動きを計算する。たとえば、制御部１５０は、所定期間における移動軌跡を、画像表示部６０の座標系に変換することで、仮想物体１１ｂの動きを計算する。仮想物体１１ｂの動きの情報には、画像表示部６０上の複数の座標が時系列に配置した情報が含まれる。
【0095】
制御部１５０は、上記処理により、仮想物体１１ｂの動きを計算し、仮想物体１１ｂの動きを制御情報に設定し、表示画像生成部１２０に出力する。表示画像生成部１２０は、制御情報に設定された動きを基にして、画像表示部６０に表示される立体画像を移動させる。
【0096】
（制御ポリシーＰ６に基づく画像処理装置の処理手順）
図１９は、制御ポリシーＰ６に基づく画像処理装置の処理手順を示すフローチャートである。図１９に示すように、画像処理装置１００は、画像撮像部５０から撮像情報の取得を開始する（ステップＳ７１）。画像処理装置１００の解析部１３０は、ユーザ１０が保持する実物体１１ａを検出する（ステップＳ７２）。
図１９は、制御ポリシーＰ６に基づく画像処理装置の処理手順を示すフローチャートである。図１９に示すように、画像処理装置１００は、画像撮像部５０から撮像情報の取得を開始する（ステップＳ７１）。画像処理装置１００の解析部１３０は、ユーザ１０が保持する実物体１１ａを検出する（ステップＳ７２）。
【0097】
画像処理装置１００の制御部１５０は、解析結果を基にして実物体１１ａの移動軌跡を計算する（ステップＳ７３）。制御部１５０は、仮想物体１１ｂの動きを計算し、制御情報を生成する（ステップＳ７４）。
【0098】
表示画像生成部１２０は、モデルデータ１４０ａと制御情報とを基にして、立体画像の情報を生成し、画像表示部６０に立体画像を表示させ、立体画像を移動させる（ステップＳ７５）。
【0099】
画像処理装置１００は、処理を継続する場合には（ステップＳ７６，Ｙｅｓ）、ステップＳ７２に移行する。一方、画像処理装置１００は、処理を継続しない場合には（ステップＳ７６，Ｎｏ）、処理を終了する。
【0100】
画像処理装置１００は、制御ポリシーＰ６に従って、処理を実行することで、実物体１１ａの移動に相当する変化を、仮想物体１１ｂの表示位置の移動で代替表現することができ、ユーザ１０の作業をサポートすることができる。
【0101】
（制御ポリシーＰ７：動きの記録・再生）
たとえば、上述したように、解析部１３０は、各撮像情報の解析結果（実物体１１ａの位置）を、解析結果テーブル１４０ｂに時系列に記録している。制御部１５０は、解析結果テーブル１４０ｂに記録された、一定期間における実物体１１ａの各位置を基にして、実物体１１ａの動きを計算する。制御部１５０は、実物体１１ａの動きを基にして、仮想物体１１ｂの動きを算出し、かかる動きを基にして、仮想物体１１ｂを移動させることで、過去の実物体１１ａの動きを再生することができる。
たとえば、上述したように、解析部１３０は、各撮像情報の解析結果（実物体１１ａの位置）を、解析結果テーブル１４０ｂに時系列に記録している。制御部１５０は、解析結果テーブル１４０ｂに記録された、一定期間における実物体１１ａの各位置を基にして、実物体１１ａの動きを計算する。制御部１５０は、実物体１１ａの動きを基にして、仮想物体１１ｂの動きを算出し、かかる動きを基にして、仮想物体１１ｂを移動させることで、過去の実物体１１ａの動きを再生することができる。
【0102】
ここで、解析部１３０は、実物体１１ａの動きを用いる場合、実物体１１ａの移動平均を算出することで、ノイズを除去してもよい。また、解析部１３０は、実物体１１ａの異なる動きをそれぞれ記録し、記録した各位置を合成することで、細切れの動きを、一続きの動きの情報に編集してもよい。たとえば、解析部１３０は、第１期間、第２期間、第３期間の移動軌跡を合成してもよい。
【0103】
図２０は、制御ポリシーＰ７に基づく制御部の処理を説明するための図である。ユーザ１０は、一定期間、実物体１１ａを動かし、解析部１３０は、撮像情報を基にして、実物体１１ａの動き（各フレーム番号の位置）を解析結果テーブル１４０ｂに記録する。制御部１５０は、解析結果テーブル１４０ｂに記録された、一定期間の実物体１１ａの動きを基にして、仮想物体１１ｂの動きを計算し、かかる動きによって、仮想物体１１ｂを移動させるための制御情報を生成する。たとえば、制御部１５０は、実物体１１ａの動きとなる各フレームの位置（実空間上の位置）を、画像表示部６１の表示画面の座標系に変換する計算を行う。実空間上の位置と、表示画面の座標との関係は、予め定義されているものとする。
【0104】
（制御ポリシーＰ７に基づく画像処理装置の処理手順）
図２１は、制御ポリシーＰ７に基づく画像処理装置の処理手順を示すフローチャートである。図２１に示すように、画像処理装置１００は、画像撮像部５０から撮像情報の取得を開始する（ステップＳ８１）。画像処理装置１００の解析部１３０は、ユーザ１０が保持する実物体１１ａを検出する（ステップＳ８２）。
図２１は、制御ポリシーＰ７に基づく画像処理装置の処理手順を示すフローチャートである。図２１に示すように、画像処理装置１００は、画像撮像部５０から撮像情報の取得を開始する（ステップＳ８１）。画像処理装置１００の解析部１３０は、ユーザ１０が保持する実物体１１ａを検出する（ステップＳ８２）。
【0105】
解析部１３０は、実物体１１ａの位置を計算し、解析結果テーブル１４０ｂに記録する（ステップＳ８３）。画像処理装置１００は、一定期間経過していない場合には（ステップＳ８４，Ｎｏ）、ステップＳ８２に移行する。一方、画像処理装置１００は、一定期間経過している場合には（ステップＳ８４，Ｙｅｓ）、ステップＳ８５に移行する。
【0106】
画像処理装置１００の制御部１５０は、解析結果テーブル１４０ｂに記録された実物体１１ａの各位置を基にして、仮想物体１１ｂの動きを計算し、制御情報を生成する（ステップＳ８５）。表示画像生成部１２０は、モデルデータ１４０ａと制御情報とを基にして、立体画像の情報を生成し、画像表示部６０に立体画像を表示させ、立体画像を移動させる（ステップＳ８６）。
【0107】
画像処理装置１００は、制御ポリシーＰ７に従って、処理を実行することで、一定期間の実物体１１ａの動きを記録しておき、記録した動きを基にして、仮想物体１１ｂの動きを計算し、立体画像の移動を制御する。これによって、過去の実物体１１ａの動きを、仮想物体１１ｂで再生することができる。
【0108】
（制御ポリシーＰ８：照明）
制御部１５０は、外部から、照明の位置と照明色の指定を受け付けた場合、制御情報に照明の位置と照明色を基にして、仮想物体１１ｂの色および反射位置を計算し、制御情報を生成する。表示画像生成部１２０は、制御情報に設定された仮想物体１１ｂの色および反射位置を基にして、立体画像の情報を生成し、画像表示部６０に表示させる。
制御部１５０は、外部から、照明の位置と照明色の指定を受け付けた場合、制御情報に照明の位置と照明色を基にして、仮想物体１１ｂの色および反射位置を計算し、制御情報を生成する。表示画像生成部１２０は、制御情報に設定された仮想物体１１ｂの色および反射位置を基にして、立体画像の情報を生成し、画像表示部６０に表示させる。
【0109】
図２２は、制御ポリシーＰ８に基づく制御部の処理を説明するための図である。ユーザ１０は、図示しない入力装置等を用いて、画像処理装置１００に、照明１２の照明位置、照明色を指定する。また、解析部１３０が、撮像情報を用いて照明位置および照明色を推定し、解析した照明位置および照明色の情報を、制御部１５０に出力してもよい。制御部１５０は、照明位置、照明色を基にして、仮想物体１１ｂ－１の色および反射位置を計算する。表示画像生成部１２０は、解析部１３０により計算された色および反射位置を基にして、仮想物体１１ｂ－１にエフェクト（色、光沢）を加える補正を行うことで、仮想物体１１ｂ－２を生成し、画像表示部６０に表示させる。
【0110】
制御部１５０は、実物体１１ａの色が変化した場合には、仮想物体１１ｂ－２の色を変更する。また、制御部１５０は、照明位置が変化した場合、仮想物体１１ｂ－２の鏡面反射の位置を変更してもよい。
【0111】
（制御ポリシーＰ８に基づく画像処理装置の処理手順）
図２３は、制御ポリシーＰ８に基づく画像処理装置の処理手順を示すフローチャートである。図２３に示すように、画像処理装置１００は、画像撮像部５０から撮像情報の取得を開始する（ステップＳ９１）。画像処理装置１００の視点位置検出部１１０は、ユーザ１０の視点位置を検出する（ステップＳ９２）。
図２３は、制御ポリシーＰ８に基づく画像処理装置の処理手順を示すフローチャートである。図２３に示すように、画像処理装置１００は、画像撮像部５０から撮像情報の取得を開始する（ステップＳ９１）。画像処理装置１００の視点位置検出部１１０は、ユーザ１０の視点位置を検出する（ステップＳ９２）。
【0112】
画像処理装置１００の解析部１３０は、ユーザ１０が保持する実物体１１ａを検出する（ステップＳ９３）。画像処理装置１００の制御部１５０は、照明色、照明位置の指定を受け付ける（あるいは、解析部１３０は、撮像情報を用いて照明位置および照明色を推定し、解析した照明位置および照明色の情報を、制御部１５０に出力する）（ステップＳ９４）。制御部１５０は、照明色、照明位置に応じて、仮想物体１１ｂの色、反射位置を計算して、制御情報を生成する（ステップＳ９５）。
【0113】
表示画像生成部１２０は、モデルデータ１４０ａと制御情報とを基にして、立体画像の情報を生成し、照明のエフェクトを反映させた立体画像を表示させる（ステップＳ９６）。
【0114】
画像処理装置１００は、処理を継続する場合には（ステップＳ９７，Ｙｅｓ）、ステップＳ９２に移行する。一方、画像処理装置１００は、処理を継続しない場合には（ステップＳ９７，Ｎｏ）、処理を終了する。
【0115】
画像処理装置１００は、制御ポリシーＰ８に従って、処理を実行することで、実物体１１ａに照明を照射した場合と同様の照明のエフェクトを仮想物体１１ｂに反映させることが可能となる。
【0116】
＜＜１．４．第１の実施形態に係る画像処理装置の効果＞＞
上述してきたように、第１の実施形態に係る画像処理装置は、解析部１３０が撮像情報を解析し、制御部１５０が解析結果を基にして、制御ポリシーＰ１～Ｐ８に基づいて制御情報を生成し、立体画像の表示を制御することで、ユーザに対して立体画像を適切に表示することができる。たとえば、上記の処理により、３Ｄの実物体１１ａを仮想物体１１ｂとして画像表示部６０に表示する場合に、実物体１１ａと仮想物体１１ｂとを同時鑑賞・比較する作業を自動的にアシストし、ユーザの作業効率を向上させることができる。
上述してきたように、第１の実施形態に係る画像処理装置は、解析部１３０が撮像情報を解析し、制御部１５０が解析結果を基にして、制御ポリシーＰ１～Ｐ８に基づいて制御情報を生成し、立体画像の表示を制御することで、ユーザに対して立体画像を適切に表示することができる。たとえば、上記の処理により、３Ｄの実物体１１ａを仮想物体１１ｂとして画像表示部６０に表示する場合に、実物体１１ａと仮想物体１１ｂとを同時鑑賞・比較する作業を自動的にアシストし、ユーザの作業効率を向上させることができる。
【0117】
＜２．第２の実施形態＞
＜＜２．１．第２の実施形態に係るシチュエーション＞＞
図２４は、第２の実施形態に係るシチュエーションの一例を説明するための図である。図２４に示すように、画像処理装置２００と、画像処理装置３００とがネットワーク２０を介して相互に接続されている。
＜＜２．１．第２の実施形態に係るシチュエーション＞＞
図２４は、第２の実施形態に係るシチュエーションの一例を説明するための図である。図２４に示すように、画像処理装置２００と、画像処理装置３００とがネットワーク２０を介して相互に接続されている。
【0118】
画像処理装置２００の前方にユーザ１０が位置しており、ユーザ１０は、実物体１１ａを保持しているものとする。画像処理装置２００は、カメラ４ａによって、実物体１１ａを撮像し、実物体１１ａの動きを計算する。画像処理装置２００は、実物体１１ａの動きの情報を制御情報に設定し、画像処理装置３００に制御情報を送信する。画像処理装置２００は、第１の実施形態の画像処理装置１００と同様にして、仮想物体１１ｂの立体画像を、ディスプレイ３ａに表示してもよい。
【0119】
なお、画像処理装置３００は、上記処理とは別に、カメラ４ｂを用いて、画像処理装置１００と同様の処理を実行してもよい。
【0120】
画像処理装置３００は、制御情報を受信すると、仮想物体１１ｂのモデルデータと、制御情報とを基にして、仮想物体１１ｂの立体画像をディスプレイ３ｂに表示する。制御情報には、実物体１１ａの動きの情報が設定されており、画像処理装置３００は、実物体１１ａの動きに合わせて、仮想物体１１ｂの動きを制御する。
【0121】
＜＜２．２．第２の実施形態に係る画像処理装置の構成＞＞
図２５は、第２の実施形態に係る画像処理装置の構成例を示す図（１）である。図２５に示すように、この画像処理装置２００は、画像撮像部５１および画像表示部６１に接続される。なお、画像処理装置２００は、画像撮像部５１および画像表示部６１を有していてもよい。
図２５は、第２の実施形態に係る画像処理装置の構成例を示す図（１）である。図２５に示すように、この画像処理装置２００は、画像撮像部５１および画像表示部６１に接続される。なお、画像処理装置２００は、画像撮像部５１および画像表示部６１を有していてもよい。
【0122】
画像撮像部５１は、撮像範囲に位置するユーザ１０およびユーザ１０の保持する実物体１１ａを撮像するステレオカメラである。画像撮像部５１は、図２４に示したカメラ４ａに対応する。画像撮像部５１は、ＣＭＯＳセンサもしくはＣＣＤ等の他のイメージセンサーを備える。画像撮像部５１は、撮像した画像の情報を、画像処理装置２００に出力する。以下の説明では、画像撮像部５１が撮像した画像の情報を「撮像情報」と表記する。
【0123】
画像撮像部５１は、ステレオカメラであるため、撮像情報には、一方のカメラで撮影した画像と、他方のカメラで撮影した画像とが含まれる。画像撮像部５１は、所定のフレームレートで画像を撮像し、撮像する度に、撮像情報を、画像処理装置２００に出力する。撮像情報には、時系列にフレーム番号が昇順に付与されてもよい。
【0124】
画像表示部６１は、画像処理装置２００から出力される情報を基にして立体画像を表示する表示装置である。画像表示部６１は、図２４に示したディスプレイ３ａに対応する。たとえば、画像表示部６１は、仮想物体１１ｂの立体画像を表示する。
【0125】
画像処理装置２００は、視点位置検出部２１０と、表示画像生成部２２０と、解析部２３０と、記憶部２４０と、制御部２５０と、通信部２６０とを有する。
【0126】
視点位置検出部２１０は、撮像情報を基にして顔検出を行い、ユーザ１０の視点位置を検出する処理部である。視点位置検出部２１０は、視点位置の情報を、表示画像生成部２２０に出力する。視点位置検出部２１０に関するその他の説明は、第１の実施形態で説明した視点位置検出部１１０に関する説明と同様である。
【0127】
表示画像生成部２２０は、画像表示部６１に立体画像を表示させるための情報を生成し、生成した情報を画像表示部６１に出力する処理部である。表示画像生成部２２０に関するその他の説明は、第１の実施形態で説明した表示画像生成部１２０に関する説明と同様である。
【0128】
解析部２３０は、画像撮像部５１から取得する撮像情報を基にして各種の解析を行い、解析結果を制御部２５０に出力する処理部である。解析部２３０に関するその他の処理は、第１の実施形態で説明した解析部１３０に関する説明と同様である。
【0129】
記憶部２４０は、モデルデータ２４０ａおよび解析結果テーブル２４０ｂを有する。記憶部２４０は、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。モデルデータ２４０ａの説明は、第１の実施形態で説明したモデルデータ１４０ａの説明と同様である。解析結果テーブル２４０ｂの説明は、第１の実施形態で説明した解析結果テーブル１４０ｂの説明と同様である。
【0130】
制御部２５０は、解析部２３０の解析結果を基にして、制御情報を生成し、生成した制御情報を表示画像生成部２２０に出力する処理部である。また、制御部２５０は、制御情報を、通信部２６０を介して、画像処理装置３００に送信する。
【0131】
たとえば、制御部２５０は、解析結果に含まれる実物体１１ａの位置を、後述する画像処理装置３００の画像表示部６２の表示画面の座標系に変換する計算を行い、計算した位置の情報を、制御情報に設定し、画像処理装置３００に送信する。
【0132】
通信部２６０は、制御部２５０から取得した制御情報を、ネットワーク２０を介して、画像処理装置３００に送信する処理部である。通信部２６０は、ＮＩＣ（Network Interface Card）等の通信装置に対応する。
【0133】
図２６は、第２の実施形態に係る画像処理装置の構成例を示す図（２）である。図２６に示すように、この画像処理装置３００は、画像撮像部５２および画像表示部６２に接続される。なお、画像処理装置３００は、画像撮像部５２および画像表示部６２を有していてもよい。
【0134】
画像撮像部５２は、撮像範囲に位置するユーザ１５を撮像するステレオカメラである。画像撮像部５２は、図２４に示したカメラ４ｂに対応する。画像撮像部５２は、ＣＭＯＳセンサもしくはＣＣＤ等の他のイメージセンサーを備える。画像撮像部５２は、撮像した画像の情報を、画像処理装置２００に出力する。以下の説明では、画像撮像部５２が撮像した画像の情報を「撮像情報」と表記する。
【0135】
画像表示部６２は、画像処理装置３００から出力される情報を基にして立体画像を表示する表示装置である。画像表示部６２は、図２４に示したディスプレイ３ｂに対応する。たとえば、画像表示部６２は、仮想物体１１ｂの立体画像を表示する。
【0136】
画像処理装置３００は、視点位置検出部３１０と、表示画像生成部３２０と、解析部３３０と、記憶部３４０と、制御部３５０と、通信部３６０とを有する。ここで、画像処理装置３００は、「第１動作モード」または「第２動作モード」が予め設定される。第１動作モードは、画像処理装置３００が、ネットワーク２０を介して、画像処理装置２００から制御情報を受信し、受信した制御情報を基にして、仮想物体１１ｂの立体画像を表示するモードである。
【0137】
第２動作モードは、画像処理装置３００自身が、カメラ４ｂを用いて撮像した撮像情報を解析して、仮想物体１１ｂの立体画像を表示するモードである。第２動作モードにおける画像処理装置３００の視点位置検出部３１０、表示画像生成部３２０、解析部３３０、制御部３５０の処理は、第１の実施形態で説明した画像処理装置１００の視点位置検出部１１０、表示画像生成部１２０、解析部１３０、制御部１５０の処理と同様であるため、説明を省略する。
【0138】
以下において、第１動作モードにおける、画像処理装置３００の視点位置検出部３１０、表示画像生成部３２０、解析部３３０、制御部３５０、通信部３６０の処理について説明する。
【0139】
視点位置検出部３１０は、撮像情報を基にして顔検出を行い、ユーザ１５の視点位置を検出する処理部である。視点位置検出部２１０は、視点位置の情報を、表示画像生成部３２０に出力する。視点位置検出部３１０に関するその他の説明は、第１の実施形態で説明した視点位置検出部１１０に関する説明と同様である。
【0140】
表示画像生成部３２０は、画像表示部６２に立体画像を表示させるための情報を生成し、生成した情報を画像表示部６２に出力する処理部である。表示画像生成部３２０に関するその他の説明は、第１の実施形態で説明した表示画像生成部１２０に関する説明と同様である。
【0141】
解析部３３０は、第１動作モードにおいて、処理を休止してもよいし、第１の実施形態で説明した解析部１３０と同様の処理を実行してもよい。
【0142】
記憶部３４０は、モデルデータ３４０ａおよび解析結果テーブル３４０ｂを有する。記憶部３４０は、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。モデルデータ３４０ａの説明は、第１の実施形態で説明したモデルデータ１４０ａの説明と同様である。解析結果テーブル３４０ｂの説明は、第１の実施形態で説明した解析結果テーブル１４０ｂの説明と同様である。
【0143】
制御部２５０は、通信部３６０を介して、画像処理装置２００から制御情報を取得し、取得した制御情報を、表示画像生成部３２０に出力する処理部である。
【0144】
通信部３６０は、ネットワーク２０を介して、画像処理装置２００から制御情報を受信する処理部である。通信部３６０は、ＮＩＣ等の通信装置に対応する。
【0145】
（画像処理装置２００の処理手順）
図２７は、第２の実施形態に係る画像処理装置の処理手順を示すフローチャート（１）である。図２７に示すように、画像処理装置２００は、画像撮像部５１から撮像情報の取得を開始する（ステップＳ１００）。画像処理装置２００の視点位置検出部２１０は、ユーザ１０の視点位置を検出する（ステップＳ１０１）。
図２７は、第２の実施形態に係る画像処理装置の処理手順を示すフローチャート（１）である。図２７に示すように、画像処理装置２００は、画像撮像部５１から撮像情報の取得を開始する（ステップＳ１００）。画像処理装置２００の視点位置検出部２１０は、ユーザ１０の視点位置を検出する（ステップＳ１０１）。
【0146】
画像処理装置２００の解析部２３０は、ユーザ１０が保持する実物体１１ａを検出する（ステップＳ１０２）。画像処理装置２００の制御部２５０は、実物体１１ａの動きを計算する（ステップＳ１０３）。画像処理装置２００の制御部２５０は、実物体１１ａの動きに合わせた仮想物体１１ｂの動きを計算して制御情報を生成する（ステップＳ１０４）。
【0147】
画像処理装置２００の通信部２６０は、制御情報を、画像処理装置３００に送信する（ステップＳ１０５）。画像処理装置２００は、処理を継続する場合には（ステップＳ１０６，Ｙｅｓ）、ステップＳ１０１に移行する。一方、画像処理装置２００は、処理を継続しない場合には（ステップＳ１０６，Ｎｏ）、処理を終了する。
【0148】
（画像処理装置３００の処理手順）
図２８は、第２の実施形態に係る画像処理装置の処理手順を示すフローチャート（２）である。図２８に示すように、画像処理装置３００は、画像撮像部５２から撮像情報の取得を開始する（ステップＳ１５０）。画像処理装置３００の視点位置検出部３１０は、ユーザ１５の視点位置を検出する（ステップＳ１５１）。
図２８は、第２の実施形態に係る画像処理装置の処理手順を示すフローチャート（２）である。図２８に示すように、画像処理装置３００は、画像撮像部５２から撮像情報の取得を開始する（ステップＳ１５０）。画像処理装置３００の視点位置検出部３１０は、ユーザ１５の視点位置を検出する（ステップＳ１５１）。
【0149】
画像処理装置３００の通信部３６０は、画像処理装置２００から制御情報を受信する（ステップＳ１５２）。画像処理装置３００の制御部３５０は、制御情報を、表示画像生成部３２０に出力する（ステップＳ１５３）。
【0150】
画像処理装置３００の表示画像生成部３２０は、モデルデータ３４０ａと制御情報とを基にして、立体画像の情報を生成し、画像表示部６０に立体画像を表示させ、移動させる（ステップＳ１５４）。
【0151】
画像処理装置３００は、処理を継続する場合には（ステップＳ１５５，Ｙｅｓ）、ステップＳ１５１に移行する。一方、画像処理装置３００は、処理を継続しない場合には（ステップＳ１５５，Ｎｏ）、処理を終了する。
【0152】
＜＜２．３．第２の実施形態に係る画像処理装置の効果＞＞
上述してきたように、画像処理装置２００は、解析部２３０が撮像情報を解析し、制御部２５０が解析結果を基にして制御情報を生成し、制御情報を、画像処理装置３００に送信する。画像処理装置３００は、制御情報を受信すると、モデルデータ３４０ａと、制御情報とを基にして、仮想物体１１ｂの立体画像をディスプレイ３ｂに表示する。これによって、ユーザ１５とは異なる場所に位置するユーザ１０が保持する実物体１１ａの動きを、画像処理装置３００が表示する立体画像で再現することができる。
上述してきたように、画像処理装置２００は、解析部２３０が撮像情報を解析し、制御部２５０が解析結果を基にして制御情報を生成し、制御情報を、画像処理装置３００に送信する。画像処理装置３００は、制御情報を受信すると、モデルデータ３４０ａと、制御情報とを基にして、仮想物体１１ｂの立体画像をディスプレイ３ｂに表示する。これによって、ユーザ１５とは異なる場所に位置するユーザ１０が保持する実物体１１ａの動きを、画像処理装置３００が表示する立体画像で再現することができる。
【0153】
＜３．第３の実施形態＞
＜＜３．１．画像処理装置の外観例＞＞
図２９は、第３の実施形態に係るシチュエーションの一例を説明するための図である。図２９に示すように、画像処理装置４００と、端末装置７０とがネットワーク２０を介して相互に接続されている。端末装置７０は、タブレット端末やスマートフォン等に対応する。
＜＜３．１．画像処理装置の外観例＞＞
図２９は、第３の実施形態に係るシチュエーションの一例を説明するための図である。図２９に示すように、画像処理装置４００と、端末装置７０とがネットワーク２０を介して相互に接続されている。端末装置７０は、タブレット端末やスマートフォン等に対応する。
【0154】
ユーザ１０は、端末装置７０を保持している。ユーザ１０が端末装置７０を動かすと、端末装置７０は、加速度センサ等を用いて、端末装置７０の動きの情報を計算し、動きの情報を設定した制御情報を、画像処理装置４００に送信する。画像処理装置４００は、制御情報を受信すると、仮想物体１１ｂのモデルデータと、制御情報とを基にして、仮想物体１１ｂの立体画像をディスプレイ３に表示する。
【0155】
＜＜３．２．第３の実施形態に係る画像処理装置の構成＞＞
図３０は、第３の実施形態に係る画像処理装置の構成例を示す図である。図３０に示すように、この画像処理装置４００は、画像撮像部５３および画像表示部６３に接続される。なお、画像処理装置４００は、画像撮像部５３および画像表示部６３を有していてもよい。
図３０は、第３の実施形態に係る画像処理装置の構成例を示す図である。図３０に示すように、この画像処理装置４００は、画像撮像部５３および画像表示部６３に接続される。なお、画像処理装置４００は、画像撮像部５３および画像表示部６３を有していてもよい。
【0156】
画像撮像部５３は、撮像範囲に位置するユーザ１５を撮像するステレオカメラである。画像撮像部５１は、図２９に示したカメラ４に対応する。画像撮像部５３は、ＣＭＯＳセンサもしくはＣＣＤ等の他のイメージセンサーを備える。画像撮像部５３は、撮像した画像の情報を、画像処理装置４００に出力する。以下の説明では、画像撮像部５３が撮像した画像の情報を「撮像情報」と表記する。
【0157】
画像撮像部５３は、ステレオカメラであるため、撮像情報には、一方のカメラで撮影した画像と、他方のカメラで撮影した画像とが含まれる。画像撮像部５３は、所定のフレームレートで画像を撮像し、撮像する度に、撮像情報を、画像処理装置４００に出力する。撮像情報には、時系列にフレーム番号が昇順に付与されてもよい。
【0158】
画像表示部６３は、画像処理装置４００から出力される情報を基にして立体画像を表示する表示装置である。画像表示部６３は、図２９に示したディスプレイ３に対応する。たとえば、画像表示部６３は、仮想物体１１ｂの立体画像を表示する。
【0159】
画像処理装置４００は、視点位置検出部４１０と、表示画像生成部４２０と、解析部４３０と、記憶部４４０と、制御部４５０と、通信部４６０とを有する。
【0160】
視点位置検出部４１０は、撮像情報を基にして顔検出を行い、ユーザ１５の視点位置を検出する処理部である。視点位置検出部４１０は、視点位置の情報を、表示画像生成部４２０に出力する。視点位置検出部４１０に関するその他の説明は、第１の実施形態で説明した視点位置検出部１１０に関する説明と同様である。
【0161】
表示画像生成部４２０は、画像表示部６３に立体画像を表示させるための情報を生成し、生成した情報を画像表示部６３に出力する処理部である。表示画像生成部４２０に関するその他の説明は、第１の実施形態で説明した表示画像生成部１２０に関する説明と同様である。
【0162】
解析部４３０は、画像撮像部５３から取得する撮像情報を基にして各種の解析を行い、解析結果を制御部４５０に出力する処理部である。解析部４３０に関するその他の処理は、第１の実施形態で説明した解析部１３０に関する説明と同様である。なお、撮像情報に実物体１１ａが含まれていない場合には、解析部４３０は、実物体１１ａを検出する処理を行わない。
【0163】
記憶部４４０は、モデルデータ４４０ａおよび解析結果テーブル４４０ｂを有する。記憶部４４０は、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。モデルデータ４４０ａの説明は、第１の実施形態で説明したモデルデータ１４０ａの説明と同様である。解析結果テーブル４４０ｂの説明は、第１の実施形態で説明した解析結果テーブル１４０ｂの説明と同様である。
【0164】
制御部４５０は、端末装置７０から制御情報を取得し、取得した制御情報を、表示画像生成部４２０に出力する処理部である。なお、制御部４５０は、端末装置７０から取得した制御情報に含まれる動きの変化を、画像表示部６０の座標系に変換することで、仮想物体１１ｂの動きに合うように制御情報を更新した後に、表示画像生成部４２０に出力してもよい。
【0165】
通信部４６０は、ネットワーク２０を介して、端末装置７０から制御情報を受信する処理部である。通信部４６０は、ＮＩＣ等の通信装置に対応する。
【0166】
（端末装置７０の処理手順）
図３１は、第３の実施形態に係る端末装置の処理手順を示すフローチャートである。図３１に示すように、端末装置７０は、自装置に設定された加速度センサ等を用いて、動きの検出を開始する（ステップＳ２００）。端末装置７０は、端末装置７０の動きの情報を制御情報に設定する（ステップＳ２０１）。
図３１は、第３の実施形態に係る端末装置の処理手順を示すフローチャートである。図３１に示すように、端末装置７０は、自装置に設定された加速度センサ等を用いて、動きの検出を開始する（ステップＳ２００）。端末装置７０は、端末装置７０の動きの情報を制御情報に設定する（ステップＳ２０１）。
【0167】
端末装置７０は、制御情報を画像処理装置４００に送信する（ステップＳ２０２）。端末装置７０は、処理を継続する場合には（ステップＳ２０３，Ｙｅｓ）、ステップＳ２０１に移行する。端末装置７０は、処理を継続しない場合には（ステップＳ２０３，Ｎｏ）、処理を終了する。
【0168】
（画像処理装置４００の処理手順）
図３２は、第３の実施形態に係る画像処理装置の処理手順を示すフローチャートである。図３２に示すように、画像処理装置４００は、画像撮像部５３から撮像情報の取得を開始する（ステップＳ２５０）。画像処理装置４００の視点位置検出部４１０は、ユーザ１５の視点位置を検出する（ステップＳ２５１）。
図３２は、第３の実施形態に係る画像処理装置の処理手順を示すフローチャートである。図３２に示すように、画像処理装置４００は、画像撮像部５３から撮像情報の取得を開始する（ステップＳ２５０）。画像処理装置４００の視点位置検出部４１０は、ユーザ１５の視点位置を検出する（ステップＳ２５１）。
【0169】
画像処理装置４００の通信部４６０は、端末装置７０から制御情報を受信する（ステップＳ２５２）。画像処理装置４００の制御部４５０は、制御情報を、表示画像生成部４２０に出力する（ステップＳ２５３）。
【0170】
画像処理装置４００の表示画像生成部４２０は、モデルデータ４４０ａと制御情報とを基にして、立体画像の情報を生成し、画像表示部６３に立体画像を表示させ、移動させる（ステップＳ２５４）。
【0171】
画像処理装置４００は、処理を継続する場合には（ステップＳ２５５，Ｙｅｓ）、ステップＳ２５１に移行する。一方、画像処理装置４００は、処理を継続しない場合には（ステップＳ２５５，Ｎｏ）、処理を終了する。
【0172】
＜＜３．３．第３の実施形態に係る画像処理装置の効果＞＞
上述してきたように、画像処理装置４００は、端末装置７０から端末装置７０の動きを示す制御情報を受信し、モデルデータ４４０ａと、制御情報とを基にして、仮想物体１１ｂの立体画像をディスプレイ３ｂに表示する。これによって、ユーザ１５とは異なる場所に位置するユーザ１０が保持する端末装置７０の動きを、画像処理装置４００が表示する立体画像で再現することができる。
上述してきたように、画像処理装置４００は、端末装置７０から端末装置７０の動きを示す制御情報を受信し、モデルデータ４４０ａと、制御情報とを基にして、仮想物体１１ｂの立体画像をディスプレイ３ｂに表示する。これによって、ユーザ１５とは異なる場所に位置するユーザ１０が保持する端末装置７０の動きを、画像処理装置４００が表示する立体画像で再現することができる。
【0173】
＜４．その他の実施形態＞
（ユーザが複数人の場合における遮蔽領域および非遮蔽領域）
図５で説明した例では、解析部１３０が、ユーザが１人の場合の遮蔽領域６０ａ、非遮蔽領域６０ｂを計算する場合について説明したが、ユーザが複数人（たとえば、２人）の場合でも、遮蔽領域６０ａ、非遮蔽領域６０ｂを計算することができる。その他の実施形態に関する各処理部の説明は、図４を用いた各処理部の符号を用いる。
（ユーザが複数人の場合における遮蔽領域および非遮蔽領域）
図５で説明した例では、解析部１３０が、ユーザが１人の場合の遮蔽領域６０ａ、非遮蔽領域６０ｂを計算する場合について説明したが、ユーザが複数人（たとえば、２人）の場合でも、遮蔽領域６０ａ、非遮蔽領域６０ｂを計算することができる。その他の実施形態に関する各処理部の説明は、図４を用いた各処理部の符号を用いる。
【0174】
図３３は、ユーザが複数人の場合における遮蔽領域および非遮蔽領域の一例を示す図である。解析部１３０は、撮像情報に含まれる２枚の画像の各部についてステレオマッチングを行うことで、撮像情報に含まれるユーザ１０Ａ，１０Ｂとディスプレイ３との距離、実物体１１ａとディスプレイ３との距離を算出する。以下の説明では、ユーザ１０Ａとディスプレイ３との距離を、「第３距離」と表記する。ユーザ１０Ｂとディスプレイ３との距離を、「第４距離」と表記する。実物体１１ａとディスプレイ３との距離を、「第２距離」と表記する。
【0175】
解析部１３０は、実物体１１ａの大きさと、ユーザ１０Ａの視点位置と、ユーザ１０Ｂの視点位置と、第２距離と、第３距離と、第４距離との幾何学的な関係から、遮蔽領域６０ａと、非遮蔽領域６０ｂを算出する。遮蔽領域６０ａは、ディスプレイ３の表示領域のうち、ユーザ１０Ａまたはユーザ１０Ｂが実物体１１ａにより見ることができない領域を示す。非遮蔽領域６０ｂは、ディスプレイ３の表示領域のうち、ユーザ１０Ａおよびユーザ１０Ｂが見ることのできる領域を示す。
【0176】
制御部１５０は、解析部１３０の解析結果を基にして、たとえば、制御ポリシーＰ４で説明した処理を実行する。すなわち、制御部１５０は、立体画像を、画像表示部６０の非遮蔽領域に表示させる制御を行う。
【0177】
（その他の実施形態に係る画像処理装置の処理手順）
図３４は、その他の実施形態に係る画像処理装置の処理手順を示すフローチャートである。図３４に示すように、画像処理装置１００は、画像撮像部５０から撮像情報の取得を開始する（ステップＳ３００）。画像処理装置１００の視点位置検出部１１０は、複数のユーザ１０Ａ，１０Ｂの視点位置を検出する（ステップＳ３０１）。
図３４は、その他の実施形態に係る画像処理装置の処理手順を示すフローチャートである。図３４に示すように、画像処理装置１００は、画像撮像部５０から撮像情報の取得を開始する（ステップＳ３００）。画像処理装置１００の視点位置検出部１１０は、複数のユーザ１０Ａ，１０Ｂの視点位置を検出する（ステップＳ３０１）。
【0178】
画像処理装置１００の解析部１３０は、ユーザ１０Ａ（または、ユーザ１０Ｂ）が保持する実物体１１ａを検出する（ステップＳ３０２）。解析部１３０は、実物体１１ａと仮想物体１１ｂとの位置関係を計算する（ステップＳ３０３）。画像処理装置１００の制御部１５０は、遮蔽領域と非遮蔽領域とを特定する（ステップＳ３０４）。
【0179】
制御部１５０は、非遮蔽領域に含まれる表示位置を計算し、制御情報を生成する（ステップＳ３０５）。表示画像生成部１２０は、モデルデータ１４０ａと制御情報とを基にして、立体画像の情報を生成し、画像表示部６０の非遮蔽領域に立体画像を表示させる（ステップＳ３０６）。
【0180】
画像処理装置１００は、処理を継続する場合には（ステップＳ３０７，Ｙｅｓ）、ステップＳ３０１に移行する。一方、画像処理装置１００は、処理を継続しない場合には（ステップＳ３０７，Ｎｏ）、処理を終了する。
【0181】
画像処理装置１００は、上記の処理を実行することで、複数のユーザの視点位置に基づいて、立体画像（仮想物体１１ｂ）を非遮蔽領域に表示させるため、複数のユーザは、実物体１１ａと、立体画像との双方を同時に参照することができる。
【0182】
＜５．ハードウェア構成＞
上述してきた各実施形態に係る画像処理装置は、たとえば、図３５に示すような構成のコンピュータ５００によって実現される。以下、実施形態に係る画像処理装置１００（２００，３００，４００）を例に挙げて説明する。図３５は、画像処理装置の機能を実現するコンピュータ５００の一例を示すハードウェア構成図である。コンピュータ５００は、各種演算処理を実行するＣＰＵ５０１と、ユーザからのデータの入力を受け付ける入力装置５０２と、立体画像を表示するディスプレイ５０３とを有する。また、コンピュータ５００は、各種装置に接続するためのインタフェース５０４を有する。インタフェース５０４は、カメラ等に接続される。
上述してきた各実施形態に係る画像処理装置は、たとえば、図３５に示すような構成のコンピュータ５００によって実現される。以下、実施形態に係る画像処理装置１００（２００，３００，４００）を例に挙げて説明する。図３５は、画像処理装置の機能を実現するコンピュータ５００の一例を示すハードウェア構成図である。コンピュータ５００は、各種演算処理を実行するＣＰＵ５０１と、ユーザからのデータの入力を受け付ける入力装置５０２と、立体画像を表示するディスプレイ５０３とを有する。また、コンピュータ５００は、各種装置に接続するためのインタフェース５０４を有する。インタフェース５０４は、カメラ等に接続される。
【0183】
ハードディスク装置５０６は、画像処理プログラム５０６ａを有する。ＣＰＵ５０１は、画像処理プログラム５０６ａを読み出してＲＡＭ５０５に展開する。画像処理プログラム５０６ａは、画像処理プロセス５０５ａとして機能する。
【0184】
画像処理プロセス５０５ａの処理は、図４で説明した視点位置検出部１１０、表示画像生成部１２０、解析部１３０、制御部１５０の各処理に対応する。
【0185】
なお、画像処理プログラム５０６ａについては、必ずしも最初からハードディスク装置２０６に記憶させておかなくてもよい。例えば、コンピュータ５００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ５００が画像処理プログラム５０６ａを読み出して実行するようにしてもよい。
【0186】
＜６．むすび＞
画像処理装置は、撮像部と、解析部と、制御部とを有する。撮像部は、ユーザおよび実物体を撮像する。解析部は、前記撮像部に撮像された撮像情報を基にして、前記実物体の姿勢を解析する。制御部は、前記実物体の姿勢を基にして、前記実物体に関連する画像の表示を制御する。これによって、ユーザ１０は、自身が保持する実物体１１ａの姿勢と同一の姿勢となる仮想物体１１ｂの立体画像を参照することができ、ユーザ１０の作業をサポートすることができる。
画像処理装置は、撮像部と、解析部と、制御部とを有する。撮像部は、ユーザおよび実物体を撮像する。解析部は、前記撮像部に撮像された撮像情報を基にして、前記実物体の姿勢を解析する。制御部は、前記実物体の姿勢を基にして、前記実物体に関連する画像の表示を制御する。これによって、ユーザ１０は、自身が保持する実物体１１ａの姿勢と同一の姿勢となる仮想物体１１ｂの立体画像を参照することができ、ユーザ１０の作業をサポートすることができる。
【0187】
前記解析部は、前記撮像情報を基にして、前記実物体の大きさを計算する処理を更に実行し、前記制御部は、前記実物体の大きさを基にして、前記実物体に関連する画像の大きさを制御する。これによって、ユーザ１０は、自身が保持する実物体１１ａと同一の大きさとなる仮想物体１１ｂの立体画像を参照することができ、ユーザ１０の作業をサポートすることができる。
【0188】
前記解析部は、前記撮像情報を基にして、前記画像を表示する表示画面および前記ユーザの第１距離と、前記表示画面および前記実物体の第２距離とを計算し、前記制御部は、前記第１距離および前記第２距離とを基にして、前記実物体に関連する画像の大きさを調整する。これによって、実物体１１ａが、画像表示部６０よりもユーザ１０の手前に位置する場合でも、ユーザ１０は、見た目が、自身が保持する実物体１１ａと同一の大きさとなる仮想物体１１ｂの立体画像を参照することができ、ユーザ１０の作業をサポートすることができる。
【0189】
前記実物体は、前記画像を表示する表示画面と前記ユーザとの間に位置し、前記解析部は、前記撮像情報を基にして、前記表示画面の領域のうち、前記実物体により前記ユーザが参照できない遮蔽領域と、前記ユーザが参照可能な非遮蔽領域とを計算し、前記制御部は、前記非遮蔽領域に、前記実物体に関連する画像を表示させる。
【0190】
前記実物体は、前記表示画面と複数のユーザとの間に位置し、前記解析部は、前記撮像情報を基にして、前記表示画面の領域のうち、前記実物体により前記複数のユーザが参照できない遮蔽領域と、前記複数のユーザが参照可能な非遮蔽領域とを計算し、前記制御部は、前記非遮蔽領域に、前記実物体に関連する画像を表示させる。これによって、複数のユーザは、実物体１１ａと、立体画像との双方を同時に参照することができる。
【0191】
前記制御部は、前記実物体と、前記表示画面に表示される前記実物体に関連する画像との距離を基にして、前記実物体に関連する画像を、前記非遮蔽領域または前記遮蔽領域に表示させる。これによって、「実物体１１ａと立体画像とを重ねて見る」場合と、「実物体１１ａと立体画像とを並べて見くらべる」場合とにそれぞれ対応して、ユーザ１０の作業をサポートすることができる。
【0192】
前記解析部は、前記撮像情報を基にして、前記ユーザの位置の動きおよび前記実物体の動きを計算し、前記制御部は、前記ユーザの位置の動きおよび前記実物体の動きを基にして、前記実物体に関する画像を表示する表示画面の位置を制御する。これによって、実物体１１ａの移動に相当する変化を、仮想物体１１ｂの表示位置の移動で代替表現することができ、ユーザ１０の作業をサポートすることができる。
【0193】
前記制御部は、他の実物体を撮像する他の撮像部に撮像された撮像情報を基にして作成される表示制御情報であって、前記実物体に関連する画像の表示を制御する情報である前記表示制御情報を他の装置から受信し、受信した前記表示制御情報を基にして、前記実物体に関連する画像の表示を制御する。これによって、これによって、ユーザ１５とは異なる場所に位置するユーザ１０が保持する実物体１１ａの動きを、画像処理装置３００が表示する立体画像で再現することができる。
【0194】
前記制御部は、端末装置の動きを基にして作成される表示制御情報であって、前記実物体に関連する画像の表示を制御する情報である前記表示制御情報を前記端末装置から受信し、受信した前記表示制御情報を基にして、前記実物体に関連する画像の表示を制御する。これによって、ユーザ１５とは異なる場所に位置するユーザ１０が保持する端末装置７０の動きを、画像処理装置４００が表示する立体画像で再現することができる。
【0195】
前記解析部は、前記撮像情報を基にして、前記実物体の姿勢および動きを解析し、前記実物体の特徴と、前記実物体の姿勢および動きの情報を記憶部に記憶する。前記制御部は、前記解析部に解析される前記実物体の特徴に対応する姿勢および動きの情報を記憶部から取得し、取得した姿勢および動きの情報を基にして、前記実物体に関連する画像の表示を制御する。これによって、過去の実物体１１ａの動きを、仮想物体１１ｂで再生することができる。
【0196】
前記解析部は、前記撮像情報を基にして、前記実物体に対する照明の位置および照明の色を推定し、前記制御部は、照明の位置および照明の色を基にして、前記実物体に関連する画像の色を変化させる。これによって、実物体１１ａに照明を照射した場合と同様の照明のエフェクトを仮想物体１１ｂに反映させることが可能となる。
【0197】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0198】
なお、本技術は以下のような構成も取ることができる。
（１）
ユーザおよび実物体を撮像する撮像部と、
前記撮像部に撮像された撮像情報を基にして、前記実物体の姿勢を解析する解析部と、
前記実物体の姿勢を基にして、前記実物体に関連する画像の表示を制御する制御部と
を有する画像処理装置。
（２）
前記解析部は、前記撮像情報を基にして、前記実物体の大きさを計算する処理を更に実行し、前記制御部は、前記実物体の大きさを基にして、前記実物体に関連する画像の大きさを制御することを特徴とする前記（１）に記載の画像処理装置。
（３）
前記解析部は、前記撮像情報を基にして、前記画像を表示する表示画面および前記ユーザの第１距離と、前記表示画面および前記実物体の第２距離とを計算し、前記制御部は、前記第１距離および前記第２距離とを基にして、前記実物体に関連する画像の大きさを調整することを特徴とする前記（１）または（２）に記載の画像処理装置。
（４）
前記実物体は、前記画像を表示する表示画面と前記ユーザとの間に位置し、前記解析部は、前記撮像情報を基にして、前記表示画面の領域のうち、前記実物体により前記ユーザが参照できない遮蔽領域と、前記ユーザが参照可能な非遮蔽領域とを計算し、前記制御部は、前記非遮蔽領域に、前記実物体に関連する画像を表示させることを特徴とする前記（１）、（２）または（３）に記載の画像処理装置。
（５）
前記実物体は、前記表示画面と複数のユーザとの間に位置し、前記解析部は、前記撮像情報を基にして、前記表示画面の領域のうち、前記実物体により前記複数のユーザが参照できない遮蔽領域と、前記複数のユーザが参照可能な非遮蔽領域とを計算し、前記制御部は、前記非遮蔽領域に、前記実物体に関連する画像を表示させることを特徴とする前記（１）～（４）のいずれか一つに記載の画像処理装置。
（６）
前記制御部は、前記実物体と、前記表示画面に表示される前記実物体に関連する画像との距離を基にして、前記実物体に関連する画像を、前記非遮蔽領域または前記遮蔽領域に表示させることを特徴とする前記（４）に記載の画像処理装置。
（７）
前記解析部は、前記撮像情報を基にして、前記ユーザの位置の動きおよび前記実物体の動きを計算し、前記制御部は、前記ユーザの位置の動きおよび前記実物体の動きを基にして、前記実物体に関する画像を表示する表示画面の位置を制御することを特徴とする前記（１）～（６）のいずれか一つに記載の画像処理装置。
（８）
前記制御部は、他の実物体を撮像する他の撮像部に撮像された撮像情報を基にして作成される表示制御情報であって、前記実物体に関連する画像の表示を制御する情報である前記表示制御情報を他の装置から受信し、受信した前記表示制御情報を基にして、前記実物体に関連する画像の表示を制御することを特徴とする前記（１）に記載の画像処理装置。
（９）
前記制御部は、端末装置の動きを基にして作成される表示制御情報であって、前記実物体に関連する画像の表示を制御する情報である前記表示制御情報を前記端末装置から受信し、受信した前記表示制御情報を基にして、前記実物体に関連する画像の表示を制御することを特徴とする前記（１）に記載の画像処理装置。
（１０）
前記解析部は、前記撮像情報を基にして、前記実物体の姿勢および動きを解析し、前記実物体の特徴と、前記実物体の姿勢および動きの情報を記憶部に記憶する処理を更に実行することを特徴とする前記（１）に記載の画像処理装置。
（１１）
前記制御部は、前記解析部に解析される前記実物体の特徴に対応する姿勢および動きの情報を記憶部から取得し、取得した姿勢および動きの情報を基にして、前記実物体に関連する画像の表示を制御することを特徴とする前記（１）に記載の画像処理装置。
（１２）
前記解析部は、前記撮像情報を基にして、前記実物体に対する照明の位置および照明の色を推定し、前記制御部は、照明の位置および照明の色を基にして、前記実物体に関連する画像の色を変化させることを特徴とする前記（１）～（７）のいずれか一つに記載の画像処理装置。
（１３）
前記制御部は、前記実物体に関連する立体画像の表示を制御することを特徴とする前記（１）～（１２）のいずれか一つに記載の画像処理装置。
（１４）
コンピュータが、
ユーザおよび実物体を撮像する撮像部に撮像された撮像情報を基にして、前記実物体の姿勢を解析し、
前記実物体の姿勢を基にして、前記実物体に関連する画像の表示を制御する
処理を実行する画像処理方法。
（１５）
コンピュータを、
ユーザおよび実物体を撮像する撮像部に撮像された撮像情報を基にして、前記実物体の姿勢を解析する解析部と、
前記実物体の姿勢を基にして、前記実物体に関連する画像の表示を制御する制御部と
として機能させるための画像処理プログラム。
（１）
ユーザおよび実物体を撮像する撮像部と、
前記撮像部に撮像された撮像情報を基にして、前記実物体の姿勢を解析する解析部と、
前記実物体の姿勢を基にして、前記実物体に関連する画像の表示を制御する制御部と
を有する画像処理装置。
（２）
前記解析部は、前記撮像情報を基にして、前記実物体の大きさを計算する処理を更に実行し、前記制御部は、前記実物体の大きさを基にして、前記実物体に関連する画像の大きさを制御することを特徴とする前記（１）に記載の画像処理装置。
（３）
前記解析部は、前記撮像情報を基にして、前記画像を表示する表示画面および前記ユーザの第１距離と、前記表示画面および前記実物体の第２距離とを計算し、前記制御部は、前記第１距離および前記第２距離とを基にして、前記実物体に関連する画像の大きさを調整することを特徴とする前記（１）または（２）に記載の画像処理装置。
（４）
前記実物体は、前記画像を表示する表示画面と前記ユーザとの間に位置し、前記解析部は、前記撮像情報を基にして、前記表示画面の領域のうち、前記実物体により前記ユーザが参照できない遮蔽領域と、前記ユーザが参照可能な非遮蔽領域とを計算し、前記制御部は、前記非遮蔽領域に、前記実物体に関連する画像を表示させることを特徴とする前記（１）、（２）または（３）に記載の画像処理装置。
（５）
前記実物体は、前記表示画面と複数のユーザとの間に位置し、前記解析部は、前記撮像情報を基にして、前記表示画面の領域のうち、前記実物体により前記複数のユーザが参照できない遮蔽領域と、前記複数のユーザが参照可能な非遮蔽領域とを計算し、前記制御部は、前記非遮蔽領域に、前記実物体に関連する画像を表示させることを特徴とする前記（１）～（４）のいずれか一つに記載の画像処理装置。
（６）
前記制御部は、前記実物体と、前記表示画面に表示される前記実物体に関連する画像との距離を基にして、前記実物体に関連する画像を、前記非遮蔽領域または前記遮蔽領域に表示させることを特徴とする前記（４）に記載の画像処理装置。
（７）
前記解析部は、前記撮像情報を基にして、前記ユーザの位置の動きおよび前記実物体の動きを計算し、前記制御部は、前記ユーザの位置の動きおよび前記実物体の動きを基にして、前記実物体に関する画像を表示する表示画面の位置を制御することを特徴とする前記（１）～（６）のいずれか一つに記載の画像処理装置。
（８）
前記制御部は、他の実物体を撮像する他の撮像部に撮像された撮像情報を基にして作成される表示制御情報であって、前記実物体に関連する画像の表示を制御する情報である前記表示制御情報を他の装置から受信し、受信した前記表示制御情報を基にして、前記実物体に関連する画像の表示を制御することを特徴とする前記（１）に記載の画像処理装置。
（９）
前記制御部は、端末装置の動きを基にして作成される表示制御情報であって、前記実物体に関連する画像の表示を制御する情報である前記表示制御情報を前記端末装置から受信し、受信した前記表示制御情報を基にして、前記実物体に関連する画像の表示を制御することを特徴とする前記（１）に記載の画像処理装置。
（１０）
前記解析部は、前記撮像情報を基にして、前記実物体の姿勢および動きを解析し、前記実物体の特徴と、前記実物体の姿勢および動きの情報を記憶部に記憶する処理を更に実行することを特徴とする前記（１）に記載の画像処理装置。
（１１）
前記制御部は、前記解析部に解析される前記実物体の特徴に対応する姿勢および動きの情報を記憶部から取得し、取得した姿勢および動きの情報を基にして、前記実物体に関連する画像の表示を制御することを特徴とする前記（１）に記載の画像処理装置。
（１２）
前記解析部は、前記撮像情報を基にして、前記実物体に対する照明の位置および照明の色を推定し、前記制御部は、照明の位置および照明の色を基にして、前記実物体に関連する画像の色を変化させることを特徴とする前記（１）～（７）のいずれか一つに記載の画像処理装置。
（１３）
前記制御部は、前記実物体に関連する立体画像の表示を制御することを特徴とする前記（１）～（１２）のいずれか一つに記載の画像処理装置。
（１４）
コンピュータが、
ユーザおよび実物体を撮像する撮像部に撮像された撮像情報を基にして、前記実物体の姿勢を解析し、
前記実物体の姿勢を基にして、前記実物体に関連する画像の表示を制御する
処理を実行する画像処理方法。
（１５）
コンピュータを、
ユーザおよび実物体を撮像する撮像部に撮像された撮像情報を基にして、前記実物体の姿勢を解析する解析部と、
前記実物体の姿勢を基にして、前記実物体に関連する画像の表示を制御する制御部と
として機能させるための画像処理プログラム。
【符号の説明】
【0199】
５０，５１，５２，５３ 画像撮像部
６０，６１，６２，６３ 画像表示部
１００，２００，３００，４００ 画像処理装置
１１０，２１０，３１０，４１０ 視点位置検出部
１２０，２２０，３２０，４２０ 表示画像生成部
１３０，２３０，３３０，４３０ 解析部
１４０，２４０，３４０，４４０ 記憶部
１４０ａ，２４０ａ，３４０ａ，４４０ａ モデルデータ
１４０ｂ，２４０ｂ，３４０ｂ，４４０ｂ 解析結果テーブル
１５０，２５０，３５０，４５０ 制御部
２６０，３６０，４６０ 通信部
６０，６１，６２，６３ 画像表示部
１００，２００，３００，４００ 画像処理装置
１１０，２１０，３１０，４１０ 視点位置検出部
１２０，２２０，３２０，４２０ 表示画像生成部
１３０，２３０，３３０，４３０ 解析部
１４０，２４０，３４０，４４０ 記憶部
１４０ａ，２４０ａ，３４０ａ，４４０ａ モデルデータ
１４０ｂ，２４０ｂ，３４０ｂ，４４０ｂ 解析結果テーブル
１５０，２５０，３５０，４５０ 制御部
２６０，３６０，４６０ 通信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】