ホーム > 特許ランキング > 東京ガスｉネット株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-05
(45)【発行日】2022-12-13
(54)【発明の名称】情報処理システム及びプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20221206BHJP
【ＦＩ】
G06T19/00 600
【請求項の数】
6
(21)【出願番号】P 2018070419
(22)【出願日】2018-03-30
(65)【公開番号】P2019185069
(43)【公開日】2019-10-24
【審査請求日】2021-02-17
(73)【特許権者】
【識別番号】390031897
【氏名又は名称】東京ガスｉネット株式会社
(74)【代理人】
【識別番号】100104880
【弁理士】
【氏名又は名称】古部 次郎
(74)【代理人】
【識別番号】100125346
【弁理士】
【氏名又は名称】尾形 文雄
(74)【代理人】
【識別番号】100166981
【弁理士】
【氏名又は名称】砂田 岳彦
(72)【発明者】
【氏名】大田 政文
(72)【発明者】
【氏名】湯本 吉宏
(72)【発明者】
【氏名】鶴岡 美緒
(72)【発明者】
【氏名】小林 賢知
(72)【発明者】
【氏名】白木 俊
【審査官】片岡 利延
(56)【参考文献】
【文献】特開２００９－１３４６８１（ＪＰ，Ａ）
【文献】特開２０１１－０６０１９５（ＪＰ，Ａ）
【文献】特開２０１３－００３８４８（ＪＰ，Ａ）
【文献】特開２０１７－０７２９９９（ＪＰ，Ａ）
【文献】特開２００９－１６３６１０（ＪＰ，Ａ）
【文献】特開２０１６－０９１３４８（ＪＰ，Ａ）
【文献】ITmedia NEWS，網膜に映像を投影する眼鏡型ディスプレイ、ブラザーが開発，[online]，2008年04月15日，https://www.itmedia.co.jp/news/articles/0804/15/news021.html
【文献】Mogura VR News，落合陽一氏ら、広視野角・網膜投影のメガネ型HMD発表，[online]，2017年11月16日，https://www.moguravr.com/glasses-hmd/
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
(57)【特許請求の範囲】
【請求項1】
ユーザの視界前方を少なくとも含む周囲を撮像するカメラと、前記カメラによって撮像された現実空間の画像から現実空間に存在する光源の情報を取得する取得手段と、
取得された前記光源の情報に基づいて、当該光源からの光が仮想の物体に与える効果を推定する推定手段と、
推定された効果を加えて前記仮想の物体を描画する描画手段と
を有し、
前記取得手段は、前記画像に被写体として含まれる現実の物体の輪郭と、当該現実の物体の周囲に出現する濃度が濃い暗部の輪郭と濃度が薄い暗部の輪郭とを抽出し、抽出された輪郭の組の位置と対応する当該現実の物体の位置との関係から、現実空間に存在する前記光源の位置と数を取得する、
情報処理システム。
【請求項2】
前記取得手段は、前記画像に含まれる現実の物体の像の色調と、当該現実の物体の既知の色調との違いに基づいて前記光源の光の色を推定して前記画像から取得される前記光源の情報の一部として光源の光の色を出力し、前記推定手段は、取得された前記光源の情報に基づいて、当該光源からの光が仮想の物体の色調に与える影響を含む効果を推定する、
請求項１に記載の情報処理システム。
【請求項3】
現実空間を直接視認するユーザの網膜に仮想の画像を投影する網膜投射型デバイスを更に有し、前記描画手段は、推定された効果を加えた前記仮想の物体を、前記網膜投射型デバイスを通じて描画する、
請求項１に記載の情報処理システム。
【請求項4】
前記光源は、現実空間に存在する投影機であり、前記推定手段は、前記取得手段で取得された前記投影機の情報に基づいて、当該投影機から投影される画像が前記仮想の物体及び周囲に存在する現実の物体に与える効果を推定する、
請求項１に記載の情報処理システム。
【請求項5】
前記推定手段は、現実の物体に照射された前記光源からの光が、前記仮想の物体に与える効果を推定する、請求項１～４のいずれか１項に記載の情報処理システム。
【請求項6】
コンピュータに、ユーザの視界前方を少なくとも含む周囲を撮像するカメラによって現実空間を撮像した画像から現実空間に存在する光源の情報を取得する機能と、
取得された前記光源の情報に基づいて、当該光源からの光が仮想の物体に与える効果を推定する機能と、
推定された効果を加えて前記仮想の物体を描画する機能と、
を実現させるためのプログラムであり、
前記光源の情報を取得する機能は、前記画像に被写体として含まれる現実の物体の輪郭と、当該現実の物体の周囲に出現する濃度が濃い暗部の輪郭と濃度が薄い暗部の輪郭とを抽出し、抽出された輪郭の組の位置と対応する当該現実の物体の位置との関係から、現実空間に存在する当該光源の位置と数を取得する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム及びプログラムに関する。
【背景技術】
【0002】
現在、仮想現実（Ｖｉｒｔｕａｌ ＲｅａｌｉｔｙまたはＶＲ）や拡張現実（Ａｕｇｕｍｅｎｔｅｄ ＲｅａｌｉｔｙまたはＡＲ）ではなく、現実の空間（現実空間）と、コンピュータを用いて仮想的に作成する空間（仮想空間）との複合を意味する複合現実（Ｍｉｘｅｄ ＲｅａｌｉｔｙまたはＭＲ）なる技術が注目されている。複合現実が実現された空間（複合現実空間）では、現実空間の物体と仮想空間の物体とが、現実空間と仮想空間の２つの三次元空間の形状情報を重ね合わせて、実時間で影響し合う体験が可能である。
例えば特許文献１には、仮想の物体の背後に現実の物体が位置する場合に（ユーザからは現実の物体が見えない場合に）、ユーザに近づいてきている現実の物体の存在を事前に知らせる技術が記載されている。具体的には、現実の物体とユーザとの距離とが予め定めた距離以内になると、手前側に位置する仮想の物体の表示を半透明又は輪郭線の表示に制御して背後に位置する現実の物体の視認を可能にする技術が記載されている。
例えば特許文献１には、仮想の物体の背後に現実の物体が位置する場合に（ユーザからは現実の物体が見えない場合に）、ユーザに近づいてきている現実の物体の存在を事前に知らせる技術が記載されている。具体的には、現実の物体とユーザとの距離とが予め定めた距離以内になると、手前側に位置する仮想の物体の表示を半透明又は輪郭線の表示に制御して背後に位置する現実の物体の視認を可能にする技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１６－４４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一方で、現在の技術では、仮想の物体の描画に、現実空間に存在する光源からの光の影響が反映されていない。例えば現実空間は暗がりであるのに、仮想の物体は明るい場所にあるかのように描画されている。また例えば現実の物体であれば光源の位置に対して反対側に影や透過像が形成されるが、現在の技術では、現実空間に存在する光源からの光によって生じるはずの仮想の物体の影や透過像が描画されていない。
【0005】
本発明は、現実空間に存在する光源からの光が仮想の物体に与える影響を描画して仮想の物体が現実空間に存在する光源からの光で実際に照らされているのに近い体験を可能にすることを目的とする。
【課題を解決するための手段】
【0006】
請求項１に記載の発明は、ユーザの視界前方を少なくとも含む周囲を撮像するカメラと、前記カメラによって撮像された現実空間の画像から現実空間に存在する光源の情報を取得する取得手段と、取得された前記光源の情報に基づいて、当該光源からの光が仮想の物体に与える効果を推定する推定手段と、推定された効果を加えて前記仮想の物体を描画する描画手段とを有し、前記取得手段は、前記画像に被写体として含まれる現実の物体の輪郭と、当該現実の物体の周囲に出現する濃度が濃い暗部の輪郭と濃度が薄い暗部の輪郭とを抽出し、抽出された輪郭の組の位置と対応する当該現実の物体の位置との関係から、現実空間に存在する前記光源の位置と数を取得する、情報処理システムである。
請求項２に記載の発明は、前記取得手段は、前記画像に含まれる現実の物体の像の色調と、当該現実の物体の既知の色調との違いに基づいて前記光源の光の色を推定して前記画像から取得される前記光源の情報の一部として光源の光の色を出力し、前記推定手段は、取得された前記光源の情報に基づいて、当該光源からの光が仮想の物体の色調に与える影響を含む効果を推定する、請求項１に記載の情報処理システムである。
請求項３に記載の発明は、現実空間を直接視認するユーザの網膜に仮想の画像を投影する網膜投射型デバイスを更に有し、前記描画手段は、推定された効果を加えた前記仮想の物体を、前記網膜投射型デバイスを通じて描画する、請求項１に記載の情報処理システムである。
請求項４に記載の発明は、前記光源は、現実空間に存在する投影機であり、前記推定手段は、前記取得手段で取得された前記投影機の情報に基づいて、当該投影機から投影される画像が前記仮想の物体及び周囲に存在する現実の物体に与える効果を推定する、請求項１に記載の情報処理システムである。
請求項５に記載の発明は、前記推定手段は、現実の物体に照射された前記光源からの光が、前記仮想の物体に与える効果を推定する、請求項１～４のいずれか１項に記載の情報処理システムである。
請求項６に記載の発明は、コンピュータに、ユーザの視界前方を少なくとも含む周囲を撮像するカメラによって現実空間を撮像した画像から現実空間に存在する光源の情報を取得する機能と、取得された前記光源の情報に基づいて、当該光源からの光が仮想の物体に与える効果を推定する機能と、推定された効果を加えて前記仮想の物体を描画する機能と、を実現させるためのプログラムであり、前記光源の情報を取得する機能は、前記画像に被写体として含まれる現実の物体の輪郭と、当該現実の物体の周囲に出現する濃度が濃い暗部の輪郭と濃度が薄い暗部の輪郭とを抽出し、抽出された輪郭の組の位置と対応する当該現実の物体の位置との関係から、現実空間に存在する当該光源の位置と数を取得する、プログラムである。
請求項２に記載の発明は、前記取得手段は、前記画像に含まれる現実の物体の像の色調と、当該現実の物体の既知の色調との違いに基づいて前記光源の光の色を推定して前記画像から取得される前記光源の情報の一部として光源の光の色を出力し、前記推定手段は、取得された前記光源の情報に基づいて、当該光源からの光が仮想の物体の色調に与える影響を含む効果を推定する、請求項１に記載の情報処理システムである。
請求項３に記載の発明は、現実空間を直接視認するユーザの網膜に仮想の画像を投影する網膜投射型デバイスを更に有し、前記描画手段は、推定された効果を加えた前記仮想の物体を、前記網膜投射型デバイスを通じて描画する、請求項１に記載の情報処理システムである。
請求項４に記載の発明は、前記光源は、現実空間に存在する投影機であり、前記推定手段は、前記取得手段で取得された前記投影機の情報に基づいて、当該投影機から投影される画像が前記仮想の物体及び周囲に存在する現実の物体に与える効果を推定する、請求項１に記載の情報処理システムである。
請求項５に記載の発明は、前記推定手段は、現実の物体に照射された前記光源からの光が、前記仮想の物体に与える効果を推定する、請求項１～４のいずれか１項に記載の情報処理システムである。
請求項６に記載の発明は、コンピュータに、ユーザの視界前方を少なくとも含む周囲を撮像するカメラによって現実空間を撮像した画像から現実空間に存在する光源の情報を取得する機能と、取得された前記光源の情報に基づいて、当該光源からの光が仮想の物体に与える効果を推定する機能と、推定された効果を加えて前記仮想の物体を描画する機能と、を実現させるためのプログラムであり、前記光源の情報を取得する機能は、前記画像に被写体として含まれる現実の物体の輪郭と、当該現実の物体の周囲に出現する濃度が濃い暗部の輪郭と濃度が薄い暗部の輪郭とを抽出し、抽出された輪郭の組の位置と対応する当該現実の物体の位置との関係から、現実空間に存在する当該光源の位置と数を取得する、プログラムである。
【発明の効果】
【0007】
請求項１記載の発明によれば、現実空間に存在する光源からの光が仮想の物体に与える影響を描画して仮想の物体が現実空間に存在する光源からの光で実際に照らされているのに近い体験を可能にできる。
請求項２記載の発明によれば、仮想の物体が実在するかのように仮想の物体の見え方を表現することができる。
請求項３記載の発明によれば、仮想の物体が実在するかのように仮想の物体の見え方を表現することができる。
請求項４記載の発明によれば、仮想の物体が実在するかのように仮想の物体の見え方を表現することができる。
請求項５記載の発明によれば、仮想の物体が実在するかのように仮想の物体の見え方を表現することができる。
請求項６記載の発明によれば、現実空間に存在する光源からの光が仮想の物体に与える影響を描画して仮想の物体が現実空間に存在する光源からの光で実際に照らされているのに近い体験を可能にできる。
請求項２記載の発明によれば、仮想の物体が実在するかのように仮想の物体の見え方を表現することができる。
請求項３記載の発明によれば、仮想の物体が実在するかのように仮想の物体の見え方を表現することができる。
請求項４記載の発明によれば、仮想の物体が実在するかのように仮想の物体の見え方を表現することができる。
請求項５記載の発明によれば、仮想の物体が実在するかのように仮想の物体の見え方を表現することができる。
請求項６記載の発明によれば、現実空間に存在する光源からの光が仮想の物体に与える影響を描画して仮想の物体が現実空間に存在する光源からの光で実際に照らされているのに近い体験を可能にできる。
【図面の簡単な説明】
【0008】
【図1】外界を透過的に視認可能なメガネ型の端末を装着したユーザが、複合現実を体感する原理を説明する図である。
【図2】メガネ型の端末のハードウェア構成の一例を示す図である。
【図3】メガネ型の端末の機能構成の一例を示す図である。
【図4】現実の物体を撮像した画像から現実空間に存在する光源の情報を推定する手法の一例を説明するフローチャートである。
【図5】実光源の数と位置を推定する手法を説明する図である。（Ａ）は暗部を伴う現実物体の画像を示し、（Ｂ）は暗部を強調した画像から抽出される輪郭の情報を示し、（Ｃ）は実光源の数の推定の過程を示し、（Ｄ）は光源位置を特定する過程を示す。
【図6】メガネ型の端末で仮想物体を描画する場合に実行される処理動作の一例を説明するフローチャートである。
【図7】実光源と現実物体の間に仮想物体を描画する場合における従前の技術と本実施の形態による見え方の違いの一例を説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。
【図8】実光源と現実物体の間に仮想物体を描画する場合における従前の技術と本実施の形態による見え方の違いの他の例を説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。
【図9】実空間にある光源が実投影機であり、実投影機と現実物体の間に仮想物体を描画する場合における従前の技術と本実施の形態による見え方の違いの一例を説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。
【図10】実空間にある光源が実投影機であり、実投影機と現実物体の間に仮想物体を描画する場合における従前の技術と本実施の形態による見え方の違いの他の例を説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。
【図11】複合現実の体験に、実時間で撮像される外界の画像に仮想物体を合成した画像を表示する表示装置を装着したユーザが、複合現実を体感する原理を説明する図である。
【図12】表示装置の機能構成の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
本実施の形態では、複合現実の体験に、外界を透過的に視認可能なメガネ型の端末を使用する場合について説明する。
図１は、外界を透過的に視認可能なメガネ型の端末１を装着したユーザが、複合現実を体感する原理を説明する図である。
＜実施の形態１＞
本実施の形態では、複合現実の体験に、外界を透過的に視認可能なメガネ型の端末を使用する場合について説明する。
図１は、外界を透過的に視認可能なメガネ型の端末１を装着したユーザが、複合現実を体感する原理を説明する図である。
【0010】
この種の端末１のハードウェア部分は、既に複数のメーカによって実用化されている。例えばマイクロソフト社のＨｏｌｏＬｅｎｓ（商標）、ソニー社のＳｍａｒｔＥｙｅｇｌａｓｓ（商標）、コニカミノルタ社のウェアラブルコミュニケーター（商標）がある。この種の端末１は、透過型デバイス、網膜投射型デバイス等とも呼ばれる。
図１に示すメガネ型の端末１は、透明度が高い導光板２と、画像を表示する小型の表示部３と、仮想の物体（仮想物体１１）を描画する仮想物体描画部４とを有している。
ここでのメガネ型の端末１は、情報処理装置の一例であるとともに情報処理システムの一例でもある。
図１に示すメガネ型の端末１は、透明度が高い導光板２と、画像を表示する小型の表示部３と、仮想の物体（仮想物体１１）を描画する仮想物体描画部４とを有している。
ここでのメガネ型の端末１は、情報処理装置の一例であるとともに情報処理システムの一例でもある。
【0011】
導光板２は、例えば８５％以上の透明度を有する部材で構成され、その内部には、不図示の可視光透過型回折格子が配置されている。可視光透過型回折格子には、例えばホログラフィック回折格子が用いられる。
可視光透過型回折格子は、導光板２の前方から入射する外光Ｂ１を直線的に透過してユーザの眼球５に導くように作用する。一方で、可視光透過型回折格子は、表示部３から導光板２に入射した表示光Ｂ２を屈折させて導光板２の内部を伝搬させ、その後、眼球５の方向に表示光Ｂ２を屈折させるように作用する。
外光Ｂ１と表示光Ｂ２は、眼球５内で合成される。この結果、端末１を装着したユーザは、現実の物体（現実物体１２）に仮想の物体（仮想物体１１）を合成した複合現実の風景を知覚する。因みに、図１の例では、仮想物体１１が現実物体１２よりも手前側に位置している。
可視光透過型回折格子は、導光板２の前方から入射する外光Ｂ１を直線的に透過してユーザの眼球５に導くように作用する。一方で、可視光透過型回折格子は、表示部３から導光板２に入射した表示光Ｂ２を屈折させて導光板２の内部を伝搬させ、その後、眼球５の方向に表示光Ｂ２を屈折させるように作用する。
外光Ｂ１と表示光Ｂ２は、眼球５内で合成される。この結果、端末１を装着したユーザは、現実の物体（現実物体１２）に仮想の物体（仮想物体１１）を合成した複合現実の風景を知覚する。因みに、図１の例では、仮想物体１１が現実物体１２よりも手前側に位置している。
【0012】
＜メガネ型の端末１のハードウェア構成＞
図２は、メガネ型の端末１のハードウェア構成の一例を示す図である。
図２に示す端末１は、プログラム（基本ソフトウェアを含む）の実行を通じて装置全体を制御するＣＰＵ（Central Processing Unit）２１と、ＢＩＯＳ（Basic Input Output System）や基本ソフトウェア等のプログラムを記憶するＲＯＭ２２と、プログラムの実行領域として使用されるＲＡＭ（Random Access Memory）２３と、を有している。
ＲＯＭ２２は、例えば電気的にデータの書き換えが可能な不揮発性の半導体メモリで構成される。
ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３は、コンピュータ２０として機能する。
図２は、メガネ型の端末１のハードウェア構成の一例を示す図である。
図２に示す端末１は、プログラム（基本ソフトウェアを含む）の実行を通じて装置全体を制御するＣＰＵ（Central Processing Unit）２１と、ＢＩＯＳ（Basic Input Output System）や基本ソフトウェア等のプログラムを記憶するＲＯＭ２２と、プログラムの実行領域として使用されるＲＡＭ（Random Access Memory）２３と、を有している。
ＲＯＭ２２は、例えば電気的にデータの書き換えが可能な不揮発性の半導体メモリで構成される。
ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３は、コンピュータ２０として機能する。
【0013】
コンピュータ２０には、仮想の物体を表示する表示部３Ｌ及び３Ｒと、外界を撮像するカメラ２４Ｌ及び２４Ｒと、角度、角速度、加速度等の慣性情報を計測する慣性計測センサ２５と、現実の物体までの距離を測定する深度センサ２６と、周囲の明るさを検知する照度センサ２７と、外部との通信に用いられる無線通信部２８と、が接続されている。
左目用の表示部３Ｌには、左目用の画像が表示され、右目用の表示部３Ｒには、右目用の画像が表示される。左目用の画像と右目用の画像には視差が再現されている。このため、端末１を装着したユーザは、仮想物体１１を立体視できる。
左目用の表示部３Ｌには、左目用の画像が表示され、右目用の表示部３Ｒには、右目用の画像が表示される。左目用の画像と右目用の画像には視差が再現されている。このため、端末１を装着したユーザは、仮想物体１１を立体視できる。
【0014】
カメラ２４Ｌはユーザの左目側に配置され、カメラ２４Ｒはユーザの右目側に配置される。カメラ２４Ｌ及び２４Ｒによって、端末１の周囲がステレオ撮影される。カメラ２４Ｌ及び２４Ｒで撮像された画像は、現実の物体の認識や現実の物体の表面までの距離の測定に用いられる。なお、現実の物体までの距離の測定に用いるカメラと、現実の物体の認識に用いられるカメラは、それぞれ別に用意されてもよい。
慣性計測センサ２５は、頭の位置や向きの計測に用いられ、視線の追跡などに使用される。
深度センサ２６は、赤外線や超音波を使用して現実空間に存在する物体までの距離を計測する。
慣性計測センサ２５は、頭の位置や向きの計測に用いられ、視線の追跡などに使用される。
深度センサ２６は、赤外線や超音波を使用して現実空間に存在する物体までの距離を計測する。
【0015】
＜メガネ型の端末１の機能構成＞
図３は、メガネ型の端末１の機能構成の一例を示す図である。
図３に示す機能構成は、ＣＰＵ２１によるプログラムの実行を通じて実現される。
図３に示す機能構成は、プログラムの実行を通じて実現される各種の機能のうち、現実の光源（すなわち実光源）と現実の物体との間に仮想の物体が配置される複合現実空間をユーザに知覚させる機能について表している。
図３は、メガネ型の端末１の機能構成の一例を示す図である。
図３に示す機能構成は、ＣＰＵ２１によるプログラムの実行を通じて実現される。
図３に示す機能構成は、プログラムの実行を通じて実現される各種の機能のうち、現実の光源（すなわち実光源）と現実の物体との間に仮想の物体が配置される複合現実空間をユーザに知覚させる機能について表している。
【0016】
図３の場合、ＣＰＵ２１は、カメラ２４Ｌ及び２４Ｒによって撮像される画像から現実空間の情報を取得する現実空間情報取得部３１と、現実空間に存在する１つ又は複数の光源に関する情報を推定する光源情報推定部３２と、推定された光源からの光が仮想物体１１（図１参照）やその背後に位置する現実物体１２（図１参照）に与える効果を推定する光源光効果推定部３３と、推定された光源光の効果に対応するフィルタ（画像を含む）を生成する光源光効果生成部３４と、仮想物体１１を描画するとともに生成された効果を表示部３Ｌ及び３Ｒ（図２参照）に描画する仮想物体描画部４と、を有している。
【0017】
現実空間情報取得部３１は、撮像された画像から現実空間に関する様々な情報を取得し、現実空間情報４１としてＲＡＭ２３に保存する。
現実空間情報４１として保存される情報の種類は、メガネ型の端末１を使用する場面や用途によって異なる。
ただし、情報の種類が増えることで、複合現実空間における体験を、現実空間の体験に近づけることができる。
本実施の形態の場合、現実空間情報４１には、実時間で追加される現実物体１２に関する情報に加え、事前に与えられた又は事前に取得された現実物体１２に関する情報も含まれる。
現実空間情報４１として保存される情報の種類は、メガネ型の端末１を使用する場面や用途によって異なる。
ただし、情報の種類が増えることで、複合現実空間における体験を、現実空間の体験に近づけることができる。
本実施の形態の場合、現実空間情報４１には、実時間で追加される現実物体１２に関する情報に加え、事前に与えられた又は事前に取得された現実物体１２に関する情報も含まれる。
【0018】
現実物体１２に関する情報は、撮像された画像から推定（計算）される場合もあれば、現実物体１２毎に既知の情報としてＲＡＭ２３の不揮発性領域に保存されている場合もある。
撮像された画像から推定される情報には、色情報のように撮像された画像から直接的に取得可能な情報もあれば、後述する手法などを用いて推定される情報もある。
本実施の形態の場合、ＲＡＭ２３の不揮発性領域には、現実物体１２の透過性を有する部分の全てに適用される情報（透過情報を計算するための式や透過情報の代表値を含む）や反射性を有する部分の全てに適用される情報（反射情報を計算するための式や反射情報の代表値）も記憶される。
なお、ＲＡＭ２３の不揮発性領域には、透過性を有する部分別の情報と反射性を有する部分別の情報が記憶されていてもよい。
本実施の形態における現実空間情報取得部３１は、ＲＡＭ２３から、画像認識によって特定された個々の現実物体１２に関する情報を取得する。
撮像された画像から推定される情報には、色情報のように撮像された画像から直接的に取得可能な情報もあれば、後述する手法などを用いて推定される情報もある。
本実施の形態の場合、ＲＡＭ２３の不揮発性領域には、現実物体１２の透過性を有する部分の全てに適用される情報（透過情報を計算するための式や透過情報の代表値を含む）や反射性を有する部分の全てに適用される情報（反射情報を計算するための式や反射情報の代表値）も記憶される。
なお、ＲＡＭ２３の不揮発性領域には、透過性を有する部分別の情報と反射性を有する部分別の情報が記憶されていてもよい。
本実施の形態における現実空間情報取得部３１は、ＲＡＭ２３から、画像認識によって特定された個々の現実物体１２に関する情報を取得する。
【0019】
また、ＲＡＭ２３に記憶される情報には、ある現実物体１２が他の現実物体１２を透過して視認される場合やある現実物体１２の反射像が他の現実物体１２の表面で視認される場合の見え方を再現する複数種類のフィルタの情報が含まれてもよい。個々のフィルタは、透過率、屈折率、偏光度、反射率などの項目のうちの１つの項目、又は、複数の項目の組み合わせで与えられる。
本実施の形態における現実空間情報取得部３１には、現実物体１２の透過性を有する部分を撮像した画像と同様の見え方を実現するフィルタを取得する機能や現実物体１２の反射性を有する部分を撮像した画像と同様の見え方を実現するフィルタを取得する機能が設けられていてもよい。ここでのフィルタは、透過情報や反射情報の一例である。
なお、反射性を有する部分とは、物体の表面に他の物体の像が映り込むような反射性、言い換えると、正反射が起こる鏡面的な反射性を有する部分をいうものとする。
本実施の形態における現実空間情報取得部３１には、現実物体１２の透過性を有する部分を撮像した画像と同様の見え方を実現するフィルタを取得する機能や現実物体１２の反射性を有する部分を撮像した画像と同様の見え方を実現するフィルタを取得する機能が設けられていてもよい。ここでのフィルタは、透過情報や反射情報の一例である。
なお、反射性を有する部分とは、物体の表面に他の物体の像が映り込むような反射性、言い換えると、正反射が起こる鏡面的な反射性を有する部分をいうものとする。
【0020】
現実物体１２に関する情報には、例えば個別の物体（人を含む）の情報、ユーザが位置する現実空間の情報、ユーザの位置から画像内の各位置までの距離の情報、光源に関する情報（光源情報）、撮像に関する情報などが含まれる。
ここで、個別の物体の情報には、例えば形状、色調、材質、透過情報、反射情報、現実空間内での位置を特定する情報が含まれる。物体の認識には、既存の技術を使用する。例えばエッジや色領域を特徴量として検出する手法が用いられる。物体の認識には、人工知能を用いてもよい。
撮像に関する情報には、現実の空間内におけるカメラ２４Ｌ及び２４Ｒの位置の情報、現実の空間内におけるカメラ２４Ｌ及び２４Ｒの移動の方向、現実の空間内におけるカメラ２４Ｌ及び２４Ｒが撮像する向きの情報等が含まれる。なお、カメラ２４Ｌ及び２４Ｒによって撮像された画像には、撮像の日時に関する情報なども付属する。
ここで、個別の物体の情報には、例えば形状、色調、材質、透過情報、反射情報、現実空間内での位置を特定する情報が含まれる。物体の認識には、既存の技術を使用する。例えばエッジや色領域を特徴量として検出する手法が用いられる。物体の認識には、人工知能を用いてもよい。
撮像に関する情報には、現実の空間内におけるカメラ２４Ｌ及び２４Ｒの位置の情報、現実の空間内におけるカメラ２４Ｌ及び２４Ｒの移動の方向、現実の空間内におけるカメラ２４Ｌ及び２４Ｒが撮像する向きの情報等が含まれる。なお、カメラ２４Ｌ及び２４Ｒによって撮像された画像には、撮像の日時に関する情報なども付属する。
【0021】
透過性に関する各種の情報を与える透過情報には、例えば透過性を有する部分と有しない部分の情報、透過性を有する部分の透過率の情報、透過性を有する部分の屈折率、透過性を有する部分の色調、透過性を有する部分の偏光度、透過性を有する部分の模様が含まれる。
因みに、透過性を有しない部分の透過率は０（ゼロ）である。
透過率等の情報は、画像の処理を通じて推定される場合もあれば、事前に与えられる場合もある。透過性を推定する手法には、複数の時点に撮像された複数の画像の比較による方法、人工知能によって特定された物体に対応する透過情報をデータベースから取得する方法等がある。データベースは、例えばクラウドネットワーク上の不図示のサーバに記憶されていてもよい。なお、特定された物体に対応する透過情報がデータベースに存在しない場合、人工知能は、特定された物体に対応する透過情報を、データベースに存在する類似する物品の情報に基づいて推定してもよい。
透過情報に含まれる個々の要素の組み合わせにより、物体の質感が変化する。
因みに、透過性を有しない部分の透過率は０（ゼロ）である。
透過率等の情報は、画像の処理を通じて推定される場合もあれば、事前に与えられる場合もある。透過性を推定する手法には、複数の時点に撮像された複数の画像の比較による方法、人工知能によって特定された物体に対応する透過情報をデータベースから取得する方法等がある。データベースは、例えばクラウドネットワーク上の不図示のサーバに記憶されていてもよい。なお、特定された物体に対応する透過情報がデータベースに存在しない場合、人工知能は、特定された物体に対応する透過情報を、データベースに存在する類似する物品の情報に基づいて推定してもよい。
透過情報に含まれる個々の要素の組み合わせにより、物体の質感が変化する。
【0022】
反射性に関する情報には、例えば反射性を有する部分と有しない部分の情報、反射性を有する部分の色調、模様、形状が含まれる。
反射には、一般に、正反射と拡散反射が存在する。正反射とは、拡散がない反射であり、入射光が一定の方向に反射するものである。拡散反射とは、肉眼で見えるような正反射がない反射であり、入射光が様々な方向に反射するものである。
例えば鏡の場合、極めて平滑な鏡面の全ての位置で正反射が起こることで、元の物体の像を正確に見ることができる。一方、例えば紙や布のような表面がざらざらした物体では拡散反射が起こり、入射した光が表面の微細な凹凸により様々な方向に反射するため、像が崩れてしまい、元の物体の形がわからない状態になる。
反射には、一般に、正反射と拡散反射が存在する。正反射とは、拡散がない反射であり、入射光が一定の方向に反射するものである。拡散反射とは、肉眼で見えるような正反射がない反射であり、入射光が様々な方向に反射するものである。
例えば鏡の場合、極めて平滑な鏡面の全ての位置で正反射が起こることで、元の物体の像を正確に見ることができる。一方、例えば紙や布のような表面がざらざらした物体では拡散反射が起こり、入射した光が表面の微細な凹凸により様々な方向に反射するため、像が崩れてしまい、元の物体の形がわからない状態になる。
【0023】
反射率等の情報は、画像の処理を通じて推定される場合もあれば、事前に与えられる場合もある。反射性を推定する手法には、現実物体１２の表面に現れる模様と他の現実物体１２との関連性の発見による方法、人工知能によって特定された物体に対応する反射情報をデータベースから取得する方法等がある。データベースは、例えばクラウドネットワーク上の不図示のサーバに記憶されていてもよい。特定された物体に対応する反射情報がデータベースに存在しない場合、人工知能は、特定された物体に対応する反射情報を、データベースに存在する類似する物品の情報に基づいて推定してもよい。
反射情報に含まれる個々の要素の組み合わせにより、物体の質感が変化する。
反射情報に含まれる個々の要素の組み合わせにより、物体の質感が変化する。
【0024】
光源に関する情報には、例えばカメラ２４Ｌ及び２４Ｒによって撮像中の画像から推定された現実空間内に存在する光源の数、現実空間内における位置、種類、光の色、光源の光度（カンデラ）又は光束（ルーメン）の他、以前に推定された又は予め与えられた情報が含まれる。
光源は、太陽、月、生物等の自然物と、照明器具、表示装置、投影機等の人工物（人工光源）とに分類が可能である。
なお、現実空間情報４１は、例えばクラウドネットワーク上の不図示のサーバに記憶されていてもよい。
光源は、太陽、月、生物等の自然物と、照明器具、表示装置、投影機等の人工物（人工光源）とに分類が可能である。
なお、現実空間情報４１は、例えばクラウドネットワーク上の不図示のサーバに記憶されていてもよい。
【0025】
本実施の形態における現実空間情報取得部３１には、現実空間を模した３次元モデルを生成又は更新する機能（すなわち、現実空間を仮想化する機能）も設けられている。
現実空間情報取得部３１は、現実空間から取得された複数の情報を仮想空間上で整合的に統合し、３次元モデルを生成又は更新する。ここでの３次元モデルは、現実空間仮想化情報４２としてＲＡＭ２３に記憶される。現実空間仮想化情報４２には、光源情報推定部３２で推定された光源の情報も含まれる。
現実空間を仮想化した空間に仮想物体１１を配置したものが複合現実空間である。
現実空間情報取得部３１は、現実空間から取得された複数の情報を仮想空間上で整合的に統合し、３次元モデルを生成又は更新する。ここでの３次元モデルは、現実空間仮想化情報４２としてＲＡＭ２３に記憶される。現実空間仮想化情報４２には、光源情報推定部３２で推定された光源の情報も含まれる。
現実空間を仮想化した空間に仮想物体１１を配置したものが複合現実空間である。
【0026】
本実施の形態における光源情報推定部３２は、現実の物体を撮像した画像から現実空間に存在する光源に関する情報を推定する。ここでの光源情報推定部３２は、光源の情報を取得する取得手段の一例である。
例えばカメラ２４Ｌ及び２４Ｒで撮像された画像に光源が被写体として含まれる場合、光源情報推定部３２は、撮像された画像から光源を抽出し、抽出された光源の位置、種類、光の色、光源の光度（カンデラ）又は光束（ルーメン）などの情報を取得する。取得された情報は、前述したように現実空間情報４１の一部として記録される。
例えばカメラ２４Ｌ及び２４Ｒで撮像された画像に光源が被写体として含まれる場合、光源情報推定部３２は、撮像された画像から光源を抽出し、抽出された光源の位置、種類、光の色、光源の光度（カンデラ）又は光束（ルーメン）などの情報を取得する。取得された情報は、前述したように現実空間情報４１の一部として記録される。
【0027】
例えば撮像された光源が壁などに固定的に取り付けられている照明器具等であれば、画像から取得された位置の情報は何度でも使用できる。
ただし、照明器具は点灯している場合だけでなく、消灯している場合もある。また、光の色を調整できる場合もあれば、明るさを調整できる場合もある。
また、卓上スタンド、懐中電灯その他のように、位置の移動が可能な照明器具もある。また、太陽や月等の自然物は、時間の経過に伴って移動する。
ただし、照明器具は点灯している場合だけでなく、消灯している場合もある。また、光の色を調整できる場合もあれば、明るさを調整できる場合もある。
また、卓上スタンド、懐中電灯その他のように、位置の移動が可能な照明器具もある。また、太陽や月等の自然物は、時間の経過に伴って移動する。
【0028】
このため、光源情報推定部３２は、撮像中の画像に基づいて、光源の位置、種類、光の色、光源の光度（カンデラ）又は光束（ルーメン）などの状態を推定する。
ここで、光源の種類には、例えば点光源、線光源、スポット光源、平行光源、面光源等が含まれる。
光が全方向に広がる点光源には、例えば白熱電球がある。発光部が線形状の線光源には、例えば蛍光灯がある。１点から指定の向きに円錐状の光が出力されるスポット光源には、例えばＬＥＤ（Light Emitting Diode）ライトがある。平行光を一方向に出力する平行光源には、例えば高い指向性を有する照明器具や太陽がある。発光部が面形状の面光源には、例えば液晶ディスプレイや投影機（プロジェクタ）がある。
ここで、光源の種類には、例えば点光源、線光源、スポット光源、平行光源、面光源等が含まれる。
光が全方向に広がる点光源には、例えば白熱電球がある。発光部が線形状の線光源には、例えば蛍光灯がある。１点から指定の向きに円錐状の光が出力されるスポット光源には、例えばＬＥＤ（Light Emitting Diode）ライトがある。平行光を一方向に出力する平行光源には、例えば高い指向性を有する照明器具や太陽がある。発光部が面形状の面光源には、例えば液晶ディスプレイや投影機（プロジェクタ）がある。
【0029】
以下では、図４及び図５を使用して、光源情報推定部３２による光源情報の推定手法を説明する。
図４は、現実の物体を撮像した画像から現実空間に存在する光源（以下「実光源」ともいう）の情報を推定する手法の一例を説明するフローチャートである。
図４に示す処理動作は、ＣＰＵ２１（図２参照）によるプログラムの実行を通じて実現される。なお、図中では、ステップを記号のＳで表している。
図５は、実光源の数と位置を推定する手法を説明する図である。（Ａ）は暗部６０、６１、６２を伴う現実物体１２の画像を示し、（Ｂ）は暗部を強調した画像から抽出される輪郭の情報を示し、（Ｃ）は実光源の数の推定の過程を示し、（Ｄ）は光源位置を特定する過程を示す。
図４は、現実の物体を撮像した画像から現実空間に存在する光源（以下「実光源」ともいう）の情報を推定する手法の一例を説明するフローチャートである。
図４に示す処理動作は、ＣＰＵ２１（図２参照）によるプログラムの実行を通じて実現される。なお、図中では、ステップを記号のＳで表している。
図５は、実光源の数と位置を推定する手法を説明する図である。（Ａ）は暗部６０、６１、６２を伴う現実物体１２の画像を示し、（Ｂ）は暗部を強調した画像から抽出される輪郭の情報を示し、（Ｃ）は実光源の数の推定の過程を示し、（Ｄ）は光源位置を特定する過程を示す。
【0030】
まず、ＣＰＵ２１は、図４に示すように、現実空間情報４１（図３参照）を取得する（ステップ０）。具体的には、現実空間に存在する現実物体１２の形状に関する情報が取得される。
次に、ＣＰＵ２１は、カメラ２４Ｌ及び２４Ｒによって撮像されている画像の中から現実物体１２の周囲に暗部が出現する部分を取得する（ステップ１）。この際、ＣＰＵ２１は、現実物体１２の３次元的な形状も取得する。
図５（Ａ）に示す画像５０には、現実物体１２（ここでは筆記具）の周囲に、現実物体１２の形状に類似する棒状の暗部６０、６１、６２が現れている。
次に、ＣＰＵ２１は、カメラ２４Ｌ及び２４Ｒによって撮像されている画像の中から現実物体１２の周囲に暗部が出現する部分を取得する（ステップ１）。この際、ＣＰＵ２１は、現実物体１２の３次元的な形状も取得する。
図５（Ａ）に示す画像５０には、現実物体１２（ここでは筆記具）の周囲に、現実物体１２の形状に類似する棒状の暗部６０、６１、６２が現れている。
【0031】
次に、ＣＰＵ２１は、暗部の形状を抽出する（ステップ２）。ここで、ＣＰＵ２１は、画像５０内の暗部を強調し、強調後の暗部に現れる輪郭を抽出する。
図５（Ｂ）に示す画像５１は、画像５０の暗部を強調した後の画像である。経験的に知られているように、光の回り込みの影響で、現実物体１２の周囲には濃い影とその周囲の薄い影が生じる。図５（Ｂ）では、濃度が濃い暗部の輪郭７１と濃度が薄い暗部の輪郭７２を抽出する。
図５（Ｂ）に示す画像５１は、画像５０の暗部を強調した後の画像である。経験的に知られているように、光の回り込みの影響で、現実物体１２の周囲には濃い影とその周囲の薄い影が生じる。図５（Ｂ）では、濃度が濃い暗部の輪郭７１と濃度が薄い暗部の輪郭７２を抽出する。
【0032】
続いて、ＣＰＵ２１は、現実物体１２の輪郭１２１と暗部の輪郭７１、７２から実光源の数を推定する（ステップ３）。
図５（Ｃ）に示す画像５２は、現実物体１２の輪郭１２１と、その影である暗部の輪郭７１、７２の位置関係を表している。
ＣＰＵ２１は、現実物体１２の輪郭１２Ａと類似する形状を有する輪郭７１、７２の組を抽出し、抽出された数を実光源の数として推定する。図５（Ｃ）の場合は、輪郭１２Ａと類似する輪郭７１と輪郭７１を取り囲む輪郭７２の組７０Ａ、７０Ｂ、７０Ｃがある。従って、ＣＰＵ２１は、実光源の数を３つと推定する。
図５（Ｃ）に示す画像５２は、現実物体１２の輪郭１２１と、その影である暗部の輪郭７１、７２の位置関係を表している。
ＣＰＵ２１は、現実物体１２の輪郭１２Ａと類似する形状を有する輪郭７１、７２の組を抽出し、抽出された数を実光源の数として推定する。図５（Ｃ）の場合は、輪郭１２Ａと類似する輪郭７１と輪郭７１を取り囲む輪郭７２の組７０Ａ、７０Ｂ、７０Ｃがある。従って、ＣＰＵ２１は、実光源の数を３つと推定する。
【0033】
次に、ＣＰＵ２１は、抽出された３つの輪郭の組７０Ａ、７０Ｂ、７０Ｃの位置と、現実物体１２の位置との関係から実光源の位置を推定する（ステップ４）。
図５（Ｄ）に示すように、ＣＰＵ２１は、輪郭の組７０Ａと現実物体１２との位置関係から光源１の位置を推定し、輪郭の組７０Ｂと現実物体１２との位置関係から光源２の位置を推定し、輪郭の組７０Ｃと現実物体１２との位置関係から光源３の位置を推定する。
推定には光線追跡法（レイトレーシング）法を使用する。
なお、本実施の形態における光源の位置の推定は、描画される仮想物体１１の現実感を高める効果を加えられればよいので、厳密な位置の推定は不要である。
勿論、推定される位置の精度が高いほど、仮想物体１１とその周囲に存在する現実物体１２の見え方を、仮想物体１１が実在する場合に近づけることが できる。
図５（Ｄ）に示すように、ＣＰＵ２１は、輪郭の組７０Ａと現実物体１２との位置関係から光源１の位置を推定し、輪郭の組７０Ｂと現実物体１２との位置関係から光源２の位置を推定し、輪郭の組７０Ｃと現実物体１２との位置関係から光源３の位置を推定する。
推定には光線追跡法（レイトレーシング）法を使用する。
なお、本実施の形態における光源の位置の推定は、描画される仮想物体１１の現実感を高める効果を加えられればよいので、厳密な位置の推定は不要である。
勿論、推定される位置の精度が高いほど、仮想物体１１とその周囲に存在する現実物体１２の見え方を、仮想物体１１が実在する場合に近づけることが できる。
【0034】
次に、ＣＰＵ２１は、推定された実光源の位置と、棒状の暗部６０、６１、６２を形成する現実物体１２の位置と、棒状の暗部６０、６１、６２が形成された現実物体１２の位置と、撮像された棒状の暗部６０、６１、６２の濃度から実光源の明るさに関する情報を推定する（ステップ５）。実光源の明るさに関する情報には、例えば光度（カンデラ）、光束（ルーメン）がある。ステップ５では、単に明るさと表記している。
【0035】
なお、ＣＰＵ２１は、図５（Ａ）に示す画像５０から光源光の色を推定する（ステップ６）。例えばＣＰＵ２１は、画像５０に含まれる現実物体１２（筆記具の背後に位置する現実物体１２も含む）の像の色調と本来の色調との違いから光源光の色を推定する。例えば白色であるはずの壁が暖色系の色味を帯びている場合、ＣＰＵ２１は、光源光が電球色であると推定する。
また、ＣＰＵ２１は、濃度が濃い暗部の輪郭７１と濃度が薄い暗部の輪郭７２の関係から実光源の種類を推定する（ステップ７）。例えば輪郭７１と輪郭７２が一致し、輪郭７１と輪郭７２の幅が広がりを持たない場合、ＣＰＵ２１は、平行光源であると推定する。
また、ＣＰＵ２１は、濃度が濃い暗部の輪郭７１と濃度が薄い暗部の輪郭７２の関係から実光源の種類を推定する（ステップ７）。例えば輪郭７１と輪郭７２が一致し、輪郭７１と輪郭７２の幅が広がりを持たない場合、ＣＰＵ２１は、平行光源であると推定する。
【0036】
また例えば実光源の位置と現実物体１２との距離にしては輪郭７１の広がりが大きく、輪郭７１と輪郭７２の幅も広い場合、ＣＰＵ２１は、点光源であると推定する。
なお、実光源の位置と現実物体１２との距離にしては輪郭７１の広がりが狭く、輪郭７１と輪郭７２の幅も狭い場合、ＣＰＵ２１は、スポット光源であると推定する。
光源情報推定部３２によって推定された実光源の情報は、光源情報として現実空間情報４１に保存される。
なお、実光源の位置と現実物体１２との距離にしては輪郭７１の広がりが狭く、輪郭７１と輪郭７２の幅も狭い場合、ＣＰＵ２１は、スポット光源であると推定する。
光源情報推定部３２によって推定された実光源の情報は、光源情報として現実空間情報４１に保存される。
【0037】
図３の説明に戻る。
光源光効果推定部３３は、推定された実光源が仮想物体１１に与える効果と、仮想物体１１の背後に位置する現実物体１２に与える効果を推定する。ここでの光源光効果推定部３３は、実光源からの光が仮想物体１１に与える効果を推定する推定手段の一例である。
光源光効果推定部３３は、各実光源が仮想物体１１に与える効果と、仮想物体１１の背後に位置する現実物体１２に与える効果を推定する。
ここで、光源光効果推定部３３は、端末１（図１参照）を装着しているユーザの眼球５の位置を基準として、仮想物体１１や実光源に対して仮想物体１１の背後に位置する現実物体１２に対する効果を推定する。
なお、ユーザの眼球５の位置は、実測されるのではなく、端末１との関係で与えられる。
光源光効果推定部３３は、推定された実光源が仮想物体１１に与える効果と、仮想物体１１の背後に位置する現実物体１２に与える効果を推定する。ここでの光源光効果推定部３３は、実光源からの光が仮想物体１１に与える効果を推定する推定手段の一例である。
光源光効果推定部３３は、各実光源が仮想物体１１に与える効果と、仮想物体１１の背後に位置する現実物体１２に与える効果を推定する。
ここで、光源光効果推定部３３は、端末１（図１参照）を装着しているユーザの眼球５の位置を基準として、仮想物体１１や実光源に対して仮想物体１１の背後に位置する現実物体１２に対する効果を推定する。
なお、ユーザの眼球５の位置は、実測されるのではなく、端末１との関係で与えられる。
【0038】
仮想物体１１に与える効果には、例えば以下の効果がある。
（１）実光源と対向する面のうち光源光で照射されている部分（明部）の輝度を高める効果
例えば特定の実光源の位置、仮想物体の形状と位置に基づいて輝度が計算される。ここでの計算は、仮想化された空間内に、計算の対象としている実光源のみが存在するとの仮定の下で実行される。他の効果の説明についても同様である。
なお、光源情報と、仮想物体１１の形状と、実光源と仮想物体１１との距離との関係に基づいて仮想物体１１の表面に明るさの濃淡（分布）を表現してもよい。また、仮想物体１１の透過性や反射性を表現してもよい。この 効果によって、仮想物体１１が実在するかのように仮想物体１１の見え方を表現することができる。その結果、仮想物体１１が現実空間に存在する光源からの光で実際に照らされているのに近い体験を可能にできる。後述する他の効果についても同様である。
（１）実光源と対向する面のうち光源光で照射されている部分（明部）の輝度を高める効果
例えば特定の実光源の位置、仮想物体の形状と位置に基づいて輝度が計算される。ここでの計算は、仮想化された空間内に、計算の対象としている実光源のみが存在するとの仮定の下で実行される。他の効果の説明についても同様である。
なお、光源情報と、仮想物体１１の形状と、実光源と仮想物体１１との距離との関係に基づいて仮想物体１１の表面に明るさの濃淡（分布）を表現してもよい。また、仮想物体１１の透過性や反射性を表現してもよい。この 効果によって、仮想物体１１が実在するかのように仮想物体１１の見え方を表現することができる。その結果、仮想物体１１が現実空間に存在する光源からの光で実際に照らされているのに近い体験を可能にできる。後述する他の効果についても同様である。
【0039】
（２）実光源と対向する面に光源光を遮る他の現実物体１２の影が形成される効果
例えば推定された実光源の位置、他の現実物体１２の形状と位置、仮想物体１１の形状と位置の関係から影の形状や描画される位置が計算される。
（３）実光源と対向する面に光源光を遮る他の現実物体１２の反射像（他の現実物体１２のうち仮想物体１１と対面する側の面の像）や透過像が形成される効果
例えば仮想物体１１の反射特性、他の現実物体１２の透過特性等に基づいて反射像や透過像が計算される。
（４）実光源と対向しない面に陰（暗部）が形成される効果
例えば推定された光源の位置、仮想物体１１の形状と位置から陰（暗部）になる部位が計算される。
（５）実光源が投影機である場合に、投影機が投影する画像（投影像）が形成される効果
なお、現実空間に存在する投影機が投影している画像の内容は、カメラ２４Ｌ及び２４Ｒ（図２参照）を通じて撮像され、投影機の位置と仮想物体１１との位置との関係から仮想物体１１に投影される
例えば推定された実光源の位置、他の現実物体１２の形状と位置、仮想物体１１の形状と位置の関係から影の形状や描画される位置が計算される。
（３）実光源と対向する面に光源光を遮る他の現実物体１２の反射像（他の現実物体１２のうち仮想物体１１と対面する側の面の像）や透過像が形成される効果
例えば仮想物体１１の反射特性、他の現実物体１２の透過特性等に基づいて反射像や透過像が計算される。
（４）実光源と対向しない面に陰（暗部）が形成される効果
例えば推定された光源の位置、仮想物体１１の形状と位置から陰（暗部）になる部位が計算される。
（５）実光源が投影機である場合に、投影機が投影する画像（投影像）が形成される効果
なお、現実空間に存在する投影機が投影している画像の内容は、カメラ２４Ｌ及び２４Ｒ（図２参照）を通じて撮像され、投影機の位置と仮想物体１１との位置との関係から仮想物体１１に投影される
【0040】
実光源を基準として仮想物体１１の周囲に位置する現実物体１２に与える効果には、例えば以下の効果がある。周囲には、実光源を基準として仮想物体１１の背後だけでなく、仮想物体１１の前方（すなわち、実光源との間）も含まれる。
（１）仮想物体１１が透過性を有しない場合に、仮想物体１１の影が形成される効果
この効果は、実光源を基準として仮想物体１１の背後に現れる。なお、影は、現実物体１２だけでなく、他の仮想物体１１にも形成される。この効果によって、光路上に仮想物体１１が実在するかのように現実物体１２又は他の仮想の物体１１の見え方を表現できる。その結果、現実空間に存在する光源の光路上に仮想物体１１が実在するのに近い体験を可能にできる。後述する他の効果についても同様である。
（２）仮想物体１１が透過性を有する場合に、仮想物体１１の透過像が形成される効果
この効果も、実光源を基準として仮想物体１１の背後に現れる。なお、透過像には、仮想物体１１の透過率、屈折率、色調、模様等が反映される。また、透過像には、光源の種類や色等の情報が考慮される。透過像は、現実物体１２だけでなく、他の仮想物体１１にも形成される。
（３）仮想物体１１が透過性を有し、実光源が投影機である場合に、投影機が投影する画像（投影像）の透過像が形成される効果
この効果も、実光源を基準として仮想物体１１の背後に現れる。投影機が投影する画像（透過像）は、現実物体１２だけでなく、他の仮想物体１１にも形成される。
（４）仮想物体１１が反射性を有する場合に、仮想物体１１の周囲に存在する他の物体（仮想物体１１か現実物体１２かを問わない）を反射光で照らす効果
この効果は、実光源によって照明されている仮想物体１１の面と対向している物体に現れる。反射光には、仮想物体１１の反射率、屈折率、色調、模様等が反映される。なお、実光源が投影機である場合には、反射像には、投影機が投影する画像（投影像）も影響する。
（５）仮想物体１１が鏡面である場合には、仮想物体１１の表面に、仮想物体１１の周囲に存在する他の物体（仮想物体１１か現実物体１２かを問わない）の反射像が形成される効果
この効果は、仮想物体１１の鏡面部分に現れる。他の物体の反射像には、仮想物体１１の反射率、屈折率、色調、模様等が反映される。なお、実光源が投影機である場合には、反射像には、投影機が投影する画像（投影像）も影響する。
（１）仮想物体１１が透過性を有しない場合に、仮想物体１１の影が形成される効果
この効果は、実光源を基準として仮想物体１１の背後に現れる。なお、影は、現実物体１２だけでなく、他の仮想物体１１にも形成される。この効果によって、光路上に仮想物体１１が実在するかのように現実物体１２又は他の仮想の物体１１の見え方を表現できる。その結果、現実空間に存在する光源の光路上に仮想物体１１が実在するのに近い体験を可能にできる。後述する他の効果についても同様である。
（２）仮想物体１１が透過性を有する場合に、仮想物体１１の透過像が形成される効果
この効果も、実光源を基準として仮想物体１１の背後に現れる。なお、透過像には、仮想物体１１の透過率、屈折率、色調、模様等が反映される。また、透過像には、光源の種類や色等の情報が考慮される。透過像は、現実物体１２だけでなく、他の仮想物体１１にも形成される。
（３）仮想物体１１が透過性を有し、実光源が投影機である場合に、投影機が投影する画像（投影像）の透過像が形成される効果
この効果も、実光源を基準として仮想物体１１の背後に現れる。投影機が投影する画像（透過像）は、現実物体１２だけでなく、他の仮想物体１１にも形成される。
（４）仮想物体１１が反射性を有する場合に、仮想物体１１の周囲に存在する他の物体（仮想物体１１か現実物体１２かを問わない）を反射光で照らす効果
この効果は、実光源によって照明されている仮想物体１１の面と対向している物体に現れる。反射光には、仮想物体１１の反射率、屈折率、色調、模様等が反映される。なお、実光源が投影機である場合には、反射像には、投影機が投影する画像（投影像）も影響する。
（５）仮想物体１１が鏡面である場合には、仮想物体１１の表面に、仮想物体１１の周囲に存在する他の物体（仮想物体１１か現実物体１２かを問わない）の反射像が形成される効果
この効果は、仮想物体１１の鏡面部分に現れる。他の物体の反射像には、仮想物体１１の反射率、屈折率、色調、模様等が反映される。なお、実光源が投影機である場合には、反射像には、投影機が投影する画像（投影像）も影響する。
【0041】
光源光効果生成部３４は、光源光効果推定部３３で推定された効果に対応するフィルタ（画像）を生成し、ＲＡＭ２３に光源光効果情報４４として保存する。
なお、ＲＡＭ２３には、仮想物体１１が配置される位置（３次元モデル内での位置）、形状、色調、材質などの情報が、仮想物体情報４３として記憶されている。仮想物体情報４３には、透過率、反射率、屈折率その他の光学特性の情報が含まれる。
仮想物体描画部４は、現実空間仮想化情報４２、仮想物体情報４３、光源光効果情報４４を用い、表示部３Ｌ（図２参照）用の仮想物体１１の画像と表示部３Ｒ（図２参照）用の仮想物体１１の画像を描画する。
本実施の形態における仮想物体描画部４は、描画手段の一例である。
なお、ＲＡＭ２３には、仮想物体１１が配置される位置（３次元モデル内での位置）、形状、色調、材質などの情報が、仮想物体情報４３として記憶されている。仮想物体情報４３には、透過率、反射率、屈折率その他の光学特性の情報が含まれる。
仮想物体描画部４は、現実空間仮想化情報４２、仮想物体情報４３、光源光効果情報４４を用い、表示部３Ｌ（図２参照）用の仮想物体１１の画像と表示部３Ｒ（図２参照）用の仮想物体１１の画像を描画する。
本実施の形態における仮想物体描画部４は、描画手段の一例である。
【0042】
本実施の形態における仮想物体描画部４は、仮想物体１１だけでなく、仮想物体１１に対する光源光の効果や仮想物体１１の背後に位置する現実物体１２に対する光源光の効果も描画の対象に含める。
光源光の効果に対応するフィルタを作用させた後の仮想物体１１の描画により、仮想物体情報４３には変更を加えずに済み、演算量も少なく済む。演算量が少なく済むので、現実物体１２の背後に隠れる領域の変化が速い場合でも、現実物体１２の透過情報を仮想物体１１の描画に実時間で反映させることができる。
このように、仮想物体描画部４は、実光源からの光の効果を仮想物体１１と一緒に描画するので、従前の技術に比して、複合現実の現実感を高めることができる。
また、仮想物体描画部４は、実光源からの光の光路上に位置する仮想物体１１がその背後に位置する現実物体１２に与える効果を現実物体１２の位置に描画するので、従前の技術に比して、複合現実の現実感を高めることができる。
光源光の効果に対応するフィルタを作用させた後の仮想物体１１の描画により、仮想物体情報４３には変更を加えずに済み、演算量も少なく済む。演算量が少なく済むので、現実物体１２の背後に隠れる領域の変化が速い場合でも、現実物体１２の透過情報を仮想物体１１の描画に実時間で反映させることができる。
このように、仮想物体描画部４は、実光源からの光の効果を仮想物体１１と一緒に描画するので、従前の技術に比して、複合現実の現実感を高めることができる。
また、仮想物体描画部４は、実光源からの光の光路上に位置する仮想物体１１がその背後に位置する現実物体１２に与える効果を現実物体１２の位置に描画するので、従前の技術に比して、複合現実の現実感を高めることができる。
【0043】
＜メガネ型の端末１で実行される処理動作＞
図６は、メガネ型の端末１で仮想物体１１を描画する場合に実行される処理動作の一例を説明するフローチャートである。
図６に示す処理動作は、ＣＰＵ２１によるプログラムの実行を通じて実現される。なお、図中では、ステップを記号のＳで表している。
図６は、メガネ型の端末１で仮想物体１１を描画する場合に実行される処理動作の一例を説明するフローチャートである。
図６に示す処理動作は、ＣＰＵ２１によるプログラムの実行を通じて実現される。なお、図中では、ステップを記号のＳで表している。
【0044】
まず、ＣＰＵ２１は、現実空間の情報を取得する（ステップ１１）。この処理により、ＣＰＵ２１は、端末１を装着しているユーザが導光板２を透して視認している現実物体１２を認識する。
次に、ＣＰＵ２１は、例えばカメラ２４Ｌ及び２４Ｒで撮像中の現実空間に関する光源情報を取得する（ステップ１２）。例えば既知の実光源については、現在の光の色や明るさが取得される。また、未知の実光源については、前述した光源情報推定部３２（図３参照）により光源情報が推定される。
次に、ＣＰＵ２１は、例えばカメラ２４Ｌ及び２４Ｒで撮像中の現実空間に関する光源情報を取得する（ステップ１２）。例えば既知の実光源については、現在の光の色や明るさが取得される。また、未知の実光源については、前述した光源情報推定部３２（図３参照）により光源情報が推定される。
【0045】
続いて、ＣＰＵ２１は、描画の対象である１つ又は複数の仮想物体１１のうちで未選択の１つを選択する（ステップ１３）。
ＣＰＵ２１は、選択された仮想物体１１を処理の対象として、現実空間に存在する実光源の光が仮想物体１１の描画によって生じる効果を推定する（ステップ１４）。この処理は、光源光効果推定部３３としてのＣＰＵ２１が実行する。
ここで、ＣＰＵ２１は、端末１を装着しているユーザの眼球５（図１参照）の位置を基準として、処理対象とする仮想物体１１のうちユーザから見える面、仮想物体１１に影響を与える現実物体１２、仮想物体１１が影響する現実物体１２を推定し、各効果を推定する。
ＣＰＵ２１は、選択された仮想物体１１を処理の対象として、現実空間に存在する実光源の光が仮想物体１１の描画によって生じる効果を推定する（ステップ１４）。この処理は、光源光効果推定部３３としてのＣＰＵ２１が実行する。
ここで、ＣＰＵ２１は、端末１を装着しているユーザの眼球５（図１参照）の位置を基準として、処理対象とする仮想物体１１のうちユーザから見える面、仮想物体１１に影響を与える現実物体１２、仮想物体１１が影響する現実物体１２を推定し、各効果を推定する。
【0046】
次に、ＣＰＵ２１は、推定された効果を表現するフィルタを生成する（ステップ１５）。この処理は、光源光効果生成部３４としてのＣＰＵ２１が実行する。
なお、仮想物体１１の背後に位置する現実物体１２が複数ある場合、ＣＰＵ２１は、個々の現実物体１２に対する効果を表現するフィルタを生成する。
次に、ＣＰＵ２１は、全ての仮想物体１１が選択済みであるか否かを判定する（ステップ１６）。
ステップ１６で否定結果が得られた場合、ＣＰＵ２１は、ステップ１３に戻る。ステップ１３では未選択の仮想物体１１の中から１つが処理の対象として選択される。
一方、ステップ１６で肯定結果が得られた場合、ＣＰＵ２１は、全ての仮想物体１１と対応する全ての効果を描画する（ステップ１７）。
なお、仮想物体１１の背後に位置する現実物体１２が複数ある場合、ＣＰＵ２１は、個々の現実物体１２に対する効果を表現するフィルタを生成する。
次に、ＣＰＵ２１は、全ての仮想物体１１が選択済みであるか否かを判定する（ステップ１６）。
ステップ１６で否定結果が得られた場合、ＣＰＵ２１は、ステップ１３に戻る。ステップ１３では未選択の仮想物体１１の中から１つが処理の対象として選択される。
一方、ステップ１６で肯定結果が得られた場合、ＣＰＵ２１は、全ての仮想物体１１と対応する全ての効果を描画する（ステップ１７）。
【0047】
＜描画例＞
以下では、具体例を用いて、本実施の形態における仮想物体１１の描画例について説明する。
＜例１＞
図７は、実光源１３と現実物体１２の間に仮想物体１１Ａを描画する場合における従前の技術と本実施の形態による見え方の違いの一例を説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。
図７では、従前の技術による描画例を比較例と記している。
図７の場合、円筒形状の仮想物体１１Ａは、透過性を有していないもの（すなわち透過性なし）とする。
図７において、端末１を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
以下では、具体例を用いて、本実施の形態における仮想物体１１の描画例について説明する。
＜例１＞
図７は、実光源１３と現実物体１２の間に仮想物体１１Ａを描画する場合における従前の技術と本実施の形態による見え方の違いの一例を説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。
図７では、従前の技術による描画例を比較例と記している。
図７の場合、円筒形状の仮想物体１１Ａは、透過性を有していないもの（すなわち透過性なし）とする。
図７において、端末１を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
【0048】
従前の技術では、仮想物体情報４３（図３参照）の通りに仮想物体１１Ａが描画される。すなわち、実光源１３からの光の存在は考慮されない。また、実光源１３の光で照らされている現実物体１２の表面は明るいままであり、仮想物体１１Ａの影は描画されていない。一方で、本実施の形態の場合、仮想物体１１Ａのうち実光源１３の光で照らされる部位１１Ａ１は明るく描画され、実光源１３の光で照らされない部位１１Ａ２は暗く描画される。すなわち、仮想物体１１Ａの表面に明部（ハイライト）と暗部（陰）が表現される。
【0049】
なお、図７の場合、仮想物体１１Ａは円筒形状であるので、実光源１３から光源光で照らされる表面までの距離が部位によって異なる。このため、実際には、実光源１３からの距離が最も短い部位の輝度が最も高くなり、距離が長くなるほど輝度が低下するように描画される。
図７では、仮想物体１１Ａが円筒形状であるが、仮想物体１１Ａが平板状の場合にも平面内の位置に応じて輝度差が発生する。点光源である実光源１３から出力された光は四方に広がるように進むため、平板状の仮想物体１１の位置に応じて光路長の違いが生じるためである。このため、輝度値が高い領域を中心として同心円状に輝度が低下する効果を描画することで現実感を高めることができる。
図７では、仮想物体１１Ａが円筒形状であるが、仮想物体１１Ａが平板状の場合にも平面内の位置に応じて輝度差が発生する。点光源である実光源１３から出力された光は四方に広がるように進むため、平板状の仮想物体１１の位置に応じて光路長の違いが生じるためである。このため、輝度値が高い領域を中心として同心円状に輝度が低下する効果を描画することで現実感を高めることができる。
【0050】
なお、仮想物体１１Ａの描画では、実光源１３の光源光の色の影響も再現してもよい。
また、図７では描画していないが、仮想物体１１Ａと実光源１３との間に存在する不図示の現実物体１２の影を仮想物体１１Ａの表面に描画してもよい。
また、図７では描画していないが、仮想物体１１Ａの表面が鏡面である場合、実光源１３との間に存在する不図示の仮想物体１１や現実物体１２の反射像を仮想物体１１Ａの表面に描画してもよい。
因みに、反射像の描画に際しては、仮想物体１１Ａの表面における反射光の影響を付加することが望ましい。仮想物体１１Ａと対面する不図示の現実物体１２の背面は、実光源１３とは反対側の面であるので実光源１３からの光源光による陰が生じる部位（１１Ａ２参照）であるが、仮想物体１１Ａの表面を含む周辺から反射光により陰が少し薄くなる。従って、（Ｂ）における部位１１Ａ１も厳密には周囲からの反射光（又は環境光）の影響により陰の濃度が薄くなる。
更に、実光源１３との間に存在する不図示の仮想物体１１や現実物体１２による影や透過像を描画してもよい。
このように、仮想物体１１Ａの表面を照らす実光源１３の光による効果を描画することにより、仮想物体１１Ａが実光源１３からの光で実際に照らされているのに近い 体験が可能になる。
また、図７では描画していないが、仮想物体１１Ａと実光源１３との間に存在する不図示の現実物体１２の影を仮想物体１１Ａの表面に描画してもよい。
また、図７では描画していないが、仮想物体１１Ａの表面が鏡面である場合、実光源１３との間に存在する不図示の仮想物体１１や現実物体１２の反射像を仮想物体１１Ａの表面に描画してもよい。
因みに、反射像の描画に際しては、仮想物体１１Ａの表面における反射光の影響を付加することが望ましい。仮想物体１１Ａと対面する不図示の現実物体１２の背面は、実光源１３とは反対側の面であるので実光源１３からの光源光による陰が生じる部位（１１Ａ２参照）であるが、仮想物体１１Ａの表面を含む周辺から反射光により陰が少し薄くなる。従って、（Ｂ）における部位１１Ａ１も厳密には周囲からの反射光（又は環境光）の影響により陰の濃度が薄くなる。
更に、実光源１３との間に存在する不図示の仮想物体１１や現実物体１２による影や透過像を描画してもよい。
このように、仮想物体１１Ａの表面を照らす実光源１３の光による効果を描画することにより、仮想物体１１Ａが実光源１３からの光で実際に照らされているのに近い 体験が可能になる。
【0051】
また、（Ｂ）に示す現実物体１２には、仮想物体１１Ａの影１２Ａを描画している。影１２Ａを描画する位置や形状、影１２Ａの濃さは、仮想物体１１Ａと現実物体１２との距離によっても異なる。
また、影１２Ａを描画する位置の現実物体１２の図柄や構造を画像から抽出して影１２Ａを生成することにより、影１２Ａを描画する部分が周囲（影１２Ａが存在しない部分）に対して違和感を与えないようにできる。
このように、仮想物体１１Ａが実光源１３の光を妨げることで生じる効果を現実物体１２の位置に描画することにより、実光源１３の光路上に仮想物体１１Ａが実在するのに近い体験 が可能になる。
なお、図７の場合には実光源１３が１つの場合を表しているが、複数の実光源１３が存在する場合にも、個々の実光源１３に対応する効果を描画することにより、現実感を高めることができる。
また、影１２Ａを描画する位置の現実物体１２の図柄や構造を画像から抽出して影１２Ａを生成することにより、影１２Ａを描画する部分が周囲（影１２Ａが存在しない部分）に対して違和感を与えないようにできる。
このように、仮想物体１１Ａが実光源１３の光を妨げることで生じる効果を現実物体１２の位置に描画することにより、実光源１３の光路上に仮想物体１１Ａが実在するのに近い体験 が可能になる。
なお、図７の場合には実光源１３が１つの場合を表しているが、複数の実光源１３が存在する場合にも、個々の実光源１３に対応する効果を描画することにより、現実感を高めることができる。
【0052】
＜例２＞
図８は、実光源１３と現実物体１２の間に仮想物体１１Ｂを描画する場合における従前の技術と本実施の形態による見え方の違いの他の例を説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。
図８でも、従前の技術による描画例を比較例と記している。
図８の場合、平板形状の仮想物体１１Ｂは、透過性を有するもの（すなわち透過性あり）とする。
図８の場合も、端末１を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
図８の場合も、従前の技術では、例１（図７参照）の場合と同じく、仮想物体情報４３（図３参照）の通りに仮想物体１１Ｂが描画される。なお、本例の仮想物体１１Ｂには全面に網目状の模様が形成されている。
図８は、実光源１３と現実物体１２の間に仮想物体１１Ｂを描画する場合における従前の技術と本実施の形態による見え方の違いの他の例を説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。
図８でも、従前の技術による描画例を比較例と記している。
図８の場合、平板形状の仮想物体１１Ｂは、透過性を有するもの（すなわち透過性あり）とする。
図８の場合も、端末１を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
図８の場合も、従前の技術では、例１（図７参照）の場合と同じく、仮想物体情報４３（図３参照）の通りに仮想物体１１Ｂが描画される。なお、本例の仮想物体１１Ｂには全面に網目状の模様が形成されている。
【0053】
一方で、本実施の形態の場合、仮想物体１１Ｂのうち実光源１３の光で照らされる部位は明るく描画され、実光源１３の光で照らされない部位は暗く描画される。ただし、図８における仮想物体１１Ｂは平板形状であるので、陰の部分は表示していない。
例１との違いは、実光源１３に対して仮想物体１１Ｂの背後に位置する現実物体１２の表面に仮想物体１１Ｂの透過像１２Ｂが描画されている点である。
本例の場合、仮想物体１１Ｂには網目状の模様が形成されているので、透過像１２Ｂにも網目状の模様が表現されている。なお、図８では実光源１３からの光が広がる性質を有するため、現実物体１２の表面には仮想物体１１Ｂの模様を拡大した透過像１２Ｂが描画されている。
例１との違いは、実光源１３に対して仮想物体１１Ｂの背後に位置する現実物体１２の表面に仮想物体１１Ｂの透過像１２Ｂが描画されている点である。
本例の場合、仮想物体１１Ｂには網目状の模様が形成されているので、透過像１２Ｂにも網目状の模様が表現されている。なお、図８では実光源１３からの光が広がる性質を有するため、現実物体１２の表面には仮想物体１１Ｂの模様を拡大した透過像１２Ｂが描画されている。
【0054】
図８の場合、透過像１２Ｂは、仮想物体１１Ｂの投影像に相当する。実光源１３からの光は、仮想物体１１Ｂの透過率だけ減衰されて現実物体１２に達するため、透過像１２Ｂの輝度は、実光源１３からの光が直接照らす部分（仮想物体１１Ｂの周囲を通った光が照らす部分）に比して低くなる。透過率は、仮想物体情報４３として記憶されている光学特性の一例である。
【0055】
また、透過像１２Ｂには、仮想物体１１Ｂの透過部分の色が再現される。勿論、透過像１２Ｂが投影される部分の現実物体１２の表面の図柄や構造は、透過像１２Ｂに反映されることが望ましい。
なお、仮想物体１１Ｂに光を透過する部分と光を透過しない部分が混在する場合には、例１（図７参照）による影１２Ａと本例による透過像１２Ｂの混在した画像が、現実物体１２の表面に描画される。
このように、仮想物体１１Ｂが実光源１３の光を妨げることで生じる効果を現実物体１２の位置に描画することにより、実光源１３の光路上に仮想物体１１Ｂが実在するのに近い体験 が可能になる。
なお、仮想物体１１Ｂに光を透過する部分と光を透過しない部分が混在する場合には、例１（図７参照）による影１２Ａと本例による透過像１２Ｂの混在した画像が、現実物体１２の表面に描画される。
このように、仮想物体１１Ｂが実光源１３の光を妨げることで生じる効果を現実物体１２の位置に描画することにより、実光源１３の光路上に仮想物体１１Ｂが実在するのに近い体験 が可能になる。
【0056】
＜例３＞
図９は、実空間にある光源が実投影機１３Ａであり、実投影機１３Ａと現実物体１２の間に仮想物体１１Ｃを描画する場合における従前の技術と本実施の形態による見え方の違いの一例を説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。
図９でも、従前の技術による描画例を比較例と記している。
図９における仮想物体１１Ｃも平板形状とする。ただし、仮想物体１１Ｃは、透過性を有しないもの（すなわち透過性なし）とする。
図９の場合も、端末１を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
図９は、実空間にある光源が実投影機１３Ａであり、実投影機１３Ａと現実物体１２の間に仮想物体１１Ｃを描画する場合における従前の技術と本実施の形態による見え方の違いの一例を説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。
図９でも、従前の技術による描画例を比較例と記している。
図９における仮想物体１１Ｃも平板形状とする。ただし、仮想物体１１Ｃは、透過性を有しないもの（すなわち透過性なし）とする。
図９の場合も、端末１を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
【0057】
従前の技術では、実投影機１３Ａから投影された画像（ここでは帯状の物体の画像）の全体が現実物体１２の表面に投影されたままであり、投影光を遮る位置に存在する仮想物体１１Ｃの影は描画されていない。
また、従前の技術では、実投影機１３Ａから投影された画像を遮る位置の仮想物体１１Ｃの表面に、実投影機１３Ａが投影する画像が描画されていない。
これでは、描画された仮想物体１１Ｃの存在が違和感を与えてしまう。
また、従前の技術では、実投影機１３Ａから投影された画像を遮る位置の仮想物体１１Ｃの表面に、実投影機１３Ａが投影する画像が描画されていない。
これでは、描画された仮想物体１１Ｃの存在が違和感を与えてしまう。
【0058】
一方で、本実施の形態の場合、仮想物体１１Ｃのうち実投影機１３Ａの光で照らされる部位は明るく描画され、実投影機１３Ａの光で照らされない部位は暗く描画される。
しかも、実投影機１３Ａから投影された画像の一部（帯状の物体の画像のうち仮想物体１１Ｃと重なる部分）が、仮想物体１１Ｃの表面に描画されることになる。
なお、図９では実投影機１３Ａからの光が広がる性質を有するため、仮想物体１１Ｃの表面に描画される画像は、現実物体１２の表面に描画される画像の一部よりも縮小された形状で描画される。その際、仮想物体１１Ｃに描画される画像にボケが生じることもあれば、ボケが無い明瞭な画像が描画されることもある。これらは、実投影機１３Ａと仮想物体１１Ｃとの光学距離に応じて決まる。
このように、仮想物体１１Ｃの表面を照らす実投影機１３Ａの光による効果を描画することにより、仮想物体１１Ｃが実投影機１３Ａからの光で実際に照らされているのに近い 体験が可能になる。
しかも、実投影機１３Ａから投影された画像の一部（帯状の物体の画像のうち仮想物体１１Ｃと重なる部分）が、仮想物体１１Ｃの表面に描画されることになる。
なお、図９では実投影機１３Ａからの光が広がる性質を有するため、仮想物体１１Ｃの表面に描画される画像は、現実物体１２の表面に描画される画像の一部よりも縮小された形状で描画される。その際、仮想物体１１Ｃに描画される画像にボケが生じることもあれば、ボケが無い明瞭な画像が描画されることもある。これらは、実投影機１３Ａと仮想物体１１Ｃとの光学距離に応じて決まる。
このように、仮想物体１１Ｃの表面を照らす実投影機１３Ａの光による効果を描画することにより、仮想物体１１Ｃが実投影機１３Ａからの光で実際に照らされているのに近い 体験が可能になる。
【0059】
また、本実施の形態では、仮想物体１１Ｃが実投影機１３Ａから投影される画像を遮る範囲が影１２Ａとして現実物体１２の表面に描画される。
このように、仮想物体１１Ｃが実投影機１３Ａの光を妨げることで生じる効果を現実物体１２の位置に描画することにより、実投影機１３Ａの光路上に仮想物体１１Ｃが実在するのに近い体験 が可能になる。
このように、仮想物体１１Ｃが実投影機１３Ａの光を妨げることで生じる効果を現実物体１２の位置に描画することにより、実投影機１３Ａの光路上に仮想物体１１Ｃが実在するのに近い体験 が可能になる。
【0060】
＜例４＞
図１０は、実空間にある光源が実投影機１３Ａであり、実投影機１３Ａと現実物体１２の間に仮想物体１１Ｃを描画する場合における従前の技術と本実施の形態による見え方の違いの他の例を説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。
図１０でも、従前の技術による描画例を比較例と記している。
図１０における仮想物体１１Ｃは、例２（図８参照）と同じである。すなわち、仮想物体１１Ｃは、平板形状を有し、更に透過性を有している。
図１０の場合も、端末１を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
図１０は、実空間にある光源が実投影機１３Ａであり、実投影機１３Ａと現実物体１２の間に仮想物体１１Ｃを描画する場合における従前の技術と本実施の形態による見え方の違いの他の例を説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。
図１０でも、従前の技術による描画例を比較例と記している。
図１０における仮想物体１１Ｃは、例２（図８参照）と同じである。すなわち、仮想物体１１Ｃは、平板形状を有し、更に透過性を有している。
図１０の場合も、端末１を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
【0061】
図１０の場合も、従前の技術では、例３（図９参照）の場合と同様に、仮想物体情報４３（図３参照）の通りに仮想物体１１Ｃが描画される。
一方で、本実施の形態の場合、例３の場合と同様に、仮想物体１１Ｃの表面には実投影機１３Ａから投影された画像の一部（帯状の物体の画像のうち仮想物体１１Ｃと重なる部分）が描画される。
なお、本例の仮想物体１１Ｃでは、例２（図８参照）の場合と同じく、全面に網目状の模様が形成されている。このため、仮想物体１１Ｃの表面には、網目状の模様と投影される画像とが混在した画像が描画されている。従って、仮想物体１１Ｃが実投影機１３Ａからの光で実際に照らされているのに近い体験 が可能になる。
一方で、本実施の形態の場合、例３の場合と同様に、仮想物体１１Ｃの表面には実投影機１３Ａから投影された画像の一部（帯状の物体の画像のうち仮想物体１１Ｃと重なる部分）が描画される。
なお、本例の仮想物体１１Ｃでは、例２（図８参照）の場合と同じく、全面に網目状の模様が形成されている。このため、仮想物体１１Ｃの表面には、網目状の模様と投影される画像とが混在した画像が描画されている。従って、仮想物体１１Ｃが実投影機１３Ａからの光で実際に照らされているのに近い体験 が可能になる。
【0062】
また、本実施の形態では、例２（図８参照）の場合と同様に、実投影機１３Ａから投影される画像のうち仮想物体１１Ｃを透過した透過像１２Ｂが、現実物体１２の表面に描画される。
図１０の場合には、仮想物体１１Ｃを透過する際の光の屈折の影響により、透過像１２Ｂを構成する帯状の物体の画像と、実投影機１３Ａから直接投影された帯状の物体の画像との間にズレが生じている。
また、仮想物体１１Ｃに形成されている網目状の模様も、透過像１２Ｂに表現されている。
このため、透過像１２Ｂは、仮想物体１１Ｃを透過した画像であることの実感が高くなる。
このように、仮想物体１１Ｃが実投影機１３Ａの光を妨げることで生じる効果を現実物体１２の位置に描画することにより、実投影機１３Ａの光路上に仮想物体１１Ｃが実在するのに近い体験が可能になる。
図１０の場合には、仮想物体１１Ｃを透過する際の光の屈折の影響により、透過像１２Ｂを構成する帯状の物体の画像と、実投影機１３Ａから直接投影された帯状の物体の画像との間にズレが生じている。
また、仮想物体１１Ｃに形成されている網目状の模様も、透過像１２Ｂに表現されている。
このため、透過像１２Ｂは、仮想物体１１Ｃを透過した画像であることの実感が高くなる。
このように、仮想物体１１Ｃが実投影機１３Ａの光を妨げることで生じる効果を現実物体１２の位置に描画することにより、実投影機１３Ａの光路上に仮想物体１１Ｃが実在するのに近い体験が可能になる。
【0063】
＜実施の形態２＞
本実施の形態では、複合現実の体験に頭部に装着された表示装置を使用する場合について説明する。
図１１は、複合現実の体験に、実時間で撮像される外界の画像に仮想物体を合成した画像を表示する表示装置１００を装着したユーザが、複合現実を体感する原理を説明する図である。
本実施の形態では、複合現実の体験に頭部に装着された表示装置を使用する場合について説明する。
図１１は、複合現実の体験に、実時間で撮像される外界の画像に仮想物体を合成した画像を表示する表示装置１００を装着したユーザが、複合現実を体感する原理を説明する図である。
【0064】
図１１には、図１及び図２と対応する部分に対応する符号を付して示している。
表示装置１００は、カメラ２４Ｌ及び２４Ｒによって撮像された外界の画像と、仮想物体描画部４が描画した仮想物体１１の画像とを画像合成部１０１で合成した画像を、ユーザの眼球５の前方に配置された表示部３Ｌ及び３Ｒに表示する。
ここでの表示装置１００は、情報処理装置の一例であるとともに情報処理システムの一例でもある。
なお、表示装置１００のハードウェア構成は、メガネ型の端末１（図２参照）と同様である。このため、表示装置１００のハードウェア構成の説明は省略する。
表示装置１００は、カメラ２４Ｌ及び２４Ｒによって撮像された外界の画像と、仮想物体描画部４が描画した仮想物体１１の画像とを画像合成部１０１で合成した画像を、ユーザの眼球５の前方に配置された表示部３Ｌ及び３Ｒに表示する。
ここでの表示装置１００は、情報処理装置の一例であるとともに情報処理システムの一例でもある。
なお、表示装置１００のハードウェア構成は、メガネ型の端末１（図２参照）と同様である。このため、表示装置１００のハードウェア構成の説明は省略する。
【0065】
図１２は、表示装置１００の機能構成の一例を示す図である。
図１２には、図３との対応部分に対応する符号を付して示している。
表示装置１００の基本的な機能構成は、メガネ型の端末１（図２参照）と同様である。表示装置１００に特有の機能構成は、画像合成部１０１である。
画像合成部１０１は、仮想物体描画部４が描画した画像と、カメラ２４Ｌ及び２４Ｒで撮像されている外界の画像とが整合するように２つの画像を合成する機能を有している。
例えば画像合成部１０１は、現実空間仮想化情報４２として記憶されている３次元モデルとカメラ２４Ｌ及び２４Ｒで撮像されている外界の画像とを照合して、仮想物体１１の画像を合成する領域を決定する。
このように、本実施の形態が複合現実を知覚させる方式は実施の形態１と異なるが、ユーザによって知覚される複合現実の現実感が従前の技術に比して高くなる点は、実施の形態１と同じである。
図１２には、図３との対応部分に対応する符号を付して示している。
表示装置１００の基本的な機能構成は、メガネ型の端末１（図２参照）と同様である。表示装置１００に特有の機能構成は、画像合成部１０１である。
画像合成部１０１は、仮想物体描画部４が描画した画像と、カメラ２４Ｌ及び２４Ｒで撮像されている外界の画像とが整合するように２つの画像を合成する機能を有している。
例えば画像合成部１０１は、現実空間仮想化情報４２として記憶されている３次元モデルとカメラ２４Ｌ及び２４Ｒで撮像されている外界の画像とを照合して、仮想物体１１の画像を合成する領域を決定する。
このように、本実施の形態が複合現実を知覚させる方式は実施の形態１と異なるが、ユーザによって知覚される複合現実の現実感が従前の技術に比して高くなる点は、実施の形態１と同じである。
【0066】
＜他の実施形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
例えば前述の実施の形態では、左右両目用の表示部３Ｌ及び３Ｒを用いているが、表示部は１つでも構わない。例えばメガネ型の端末１（図１参照）の場合には、左右どちらか一方の前方に表示部を１つ配置してもよい。また例えば表示装置１００（図１１参照）の場合には、両目の前に表示部を１つ配置してもよい。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
例えば前述の実施の形態では、左右両目用の表示部３Ｌ及び３Ｒを用いているが、表示部は１つでも構わない。例えばメガネ型の端末１（図１参照）の場合には、左右どちらか一方の前方に表示部を１つ配置してもよい。また例えば表示装置１００（図１１参照）の場合には、両目の前に表示部を１つ配置してもよい。
【0067】
また、前述の実施の形態では、仮想物体描画部４をメガネ型の端末１（図１参照）や表示装置１００（図１２参照）の機能の１つとして実現しているが、外部ネットワーク（例えばクラウドネットワーク）に接続されているサーバなどの情報処理装置において、仮想物体描画部４の機能を実行してもよい。ここでのメガネ型の端末１と仮想物体描画部４の機能を実行する外部ネットワーク上のサーバは、情報処理システムの一例である。
また、前述の実施の形態では、仮想物体描画部４の機能を汎用的な演算装置であるＣＰＵ２１を用いて実現しているが、実時間での画像処理に特化した演算装置であるＧＰＵ（Graphics Processing Unit）を用いて実現してもよい。
また、前述の実施の形態では、仮想物体描画部４の機能を汎用的な演算装置であるＣＰＵ２１を用いて実現しているが、実時間での画像処理に特化した演算装置であるＧＰＵ（Graphics Processing Unit）を用いて実現してもよい。
【符号の説明】
【0068】
１…メガネ型の端末、２…導光板、３、３Ｌ、３Ｒ…表示部、４…仮想物体描画部、１１、１１Ａ、１１Ｂ、１１Ｃ…仮想物体、１２Ａ…影、１２Ｂ…透過像、１２…現実物体、１３…実光源、１３Ａ…実投影機、３１…現実空間情報取得部、３２…光源情報推定部、３３…光源光効果推定部、３４…光源光効果生成部、４１…現実空間情報、４２…現実空間仮想化情報、４３…仮想物体情報、４４…光源光効果情報、１００…表示装置、１０１…画像合成部、Ｂ１…外光、Ｂ２…表示光
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
