特許 6618260 情報処理装置、情報処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6618260

(24)【登録日】2019年11月22日

(45)【発行日】2019年12月11日

(54)【発明の名称】情報処理装置、情報処理方法、プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20191202BHJP

   H04N 5/64 20060101ALI20191202BHJP

   H04N 13/239 20180101ALI20191202BHJP

   H04N 13/332 20180101ALI20191202BHJP

   G09G 5/00 20060101ALI20191202BHJP

   G09G 5/36 20060101ALI20191202BHJP

   G09G 5/377 20060101ALI20191202BHJP

【ＦＩ】

   G06T19/00 600

   H04N5/64 511A

   H04N13/239

   H04N13/332

   G09G5/00 550C

   G09G5/36 510V

   G09G5/00 530M

   G09G5/00 520W

   G09G5/00 510H

   G09G5/36 520L

【請求項の数】10

【全頁数】16

(21)【出願番号】特願2015-30860(P2015-30860)

(22)【出願日】2015年2月19日

(65)【公開番号】特開2016-152023(P2016-152023A)

(43)【公開日】2016年8月22日

【審査請求日】2018年2月19日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】田中 靖己

【審査官】 松尾 俊介

(56)【参考文献】

【文献】 特開２００７−０４２０７３（ＪＰ，Ａ）

【文献】 特開２０１３−００５２５９（ＪＰ，Ａ）

【文献】 特開２０１０−２７８９５５（ＪＰ，Ａ）

【文献】 特開２０１０−２２６３９０（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０８６６３０（ＷＯ，Ａ１）

【文献】 国際公開第２０１１／０５２３８９（ＷＯ，Ａ１）

【文献】 特開２０１１−１６６６０６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００−１９／２０

Ｇ０９Ｇ ５／００−５／４０

Ｈ０４Ｎ ５／６４−５／６５５

Ｈ０４Ｎ １３／００−１７／０６

(57)【特許請求の範囲】

【請求項1】

ユーザの左眼の視点に対応して撮像された第１の撮像画像と、前記ユーザの右眼の視点に対応して撮像された第２の撮像画像とを取得する画像取得手段と、
前記第１の撮像画像と仮想画像とが合成された第１の合成画像と、前記第２の撮像画像と仮想画像とが合成された第２の合成画像とを生成する生成手段と、
第１のモードでは、前記第１または第２の合成画像の一方を、前記ユーザの左眼に画像を提示する第１の表示部および前記ユーザの右眼に画像を提示する第２の表示部へ出力し、前記第１の撮像画像または前記第２の撮像画像に含まれる対象物体までの距離が前記第１のモードとは異なる場合に設定される第２のモードでは、前記第１の合成画像を前記第１の表示部へ出力し、前記第２の合成画像を前記第２の表示部へ出力する出力手段とを備えることを特徴とする情報処理装置。

【請求項2】

前記ユーザの左眼および右眼の視点の位置姿勢を第１および第２の位置姿勢として導出する位置姿勢導出手段をさらに備え、
前記生成手段は、前記第１の合成画像として、前記第１の位置姿勢に基づいて生成される仮想画像と前記第１の撮像画像とを合成し、前記第２の合成画像として、前記第２の位置姿勢に基づいて生成される仮想画像と前記第２の撮像画像とを合成することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

更に、前記第１のモードと前記第２のモードのいずれかを設定する設定手段を備えることを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記モードは、ユーザによる入力に基づいて設定されることを特徴とする請求項３に記載の情報処理装置。

【請求項5】

前記第１の撮像画像または前記第２の撮像画像に含まれる対象物体までの距離を取得する距離取得手段を更に備え、
前記設定手段は、前記取得された距離に基づいて、前記モードを設定することを特徴とする請求項３に記載の情報処理装置。

【請求項6】

前記設定手段は、前記距離が所定の値よりも大きい場合に、前記第１のモードを設定し、前記距離が前記所定の値と等しい、または前記所定の値よりも小さい場合に、前記第２のモードを設定することを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記第１の表示部と前記第２の表示部は、頭部装着型表示装置に備えつけられていることを特徴とする請求項１に記載の情報処理装置。

【請求項8】

前記第１の撮像画像と前記第２の撮像画像とに基づいて背景画像を生成する背景画像生成手段をさらに備え、
前記生成手段は、前記第２のモードが設定されている場合は、前記第１の合成画像として、前記背景画像から切り出された第１の背景画像と仮想画像とを合成し、前記第２の合成画像として、前記背景画像から切り出された前記第１の背景画像とは異なる第２の背景画像と仮想画像とを合成することを特徴とする請求項１に記載の情報処理装置。

【請求項9】

ユーザの左眼の視点に対応して撮像された第１の撮像画像と、前記ユーザの右眼の視点に対応して撮像された第２の撮像画像とを取得する画像取得工程と、
前記第１の撮像画像と仮想画像とが合成された第１の合成画像と、前記第２の撮像画像と仮想画像とが合成された第２の合成画像とを生成する生成工程と、
第１のモードでは、前記第１または第２の合成画像の一方を、前記ユーザの左眼に画像を提示する第１の表示部および前記ユーザの右眼に画像を提示する第２の表示部へ出力し、前記第１の撮像画像または前記第２の撮像画像に含まれる対象物体までの距離が前記第１のモードとは異なる場合に設定される第２のモードでは、前記第１の合成画像を前記第１の表示部へ出力し、前記第２の合成画像を前記第２の表示部へ出力する出力工程とを備えることを特徴とする情報処理方法。

【請求項10】

コンピュータを、請求項１乃至８のいずれか一項に記載された情報処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置および方法に関し、複合現実感を提示する情報処理装置に関する。

【背景技術】

【0002】

近年、現実空間と仮想空間との繋ぎ目のない結合を目的とした、複合現実感（ＭＲ：ＭＩＸＥＤ ＲＥＡＬＩＴＹ）に関する研究が盛んに行われている。複合現実感の提示を行う画像表示装置は、例えば次のような構成を有する装置である。即ち、ビデオカメラ等の撮像装置が撮像した現実空間の画像上に、撮像装置の位置及び姿勢に応じて生成した仮想現実空間の画像（例えばコンピュータグラフィックスにより描画された仮想物体や文字情報等）を重畳描画した画像を表示する装置である。このような装置には、例えば、ＨＭＤ（ヘッドマウントディスプレイ、頭部装着型ディスプレイ）を用いることができる。

【0003】

このようなＨＭＤを用いて、ユーザに、撮像装置から対象物体が比較的近い距離にある画像（近景）と、比較的遠い距離にある画像（遠景）とをそれぞれ違和感なく提示するには、撮像装置の焦点の位置を調整する必要がある。

【0004】

特許文献１には、焦点の位置を変更するために、左右の撮像装置の基線長を調整する機構を備えたＨＭＤが開示されている。

【0005】

一方、特許文献２には、遠景用と近景用それぞれに対応するために、基線長の異なる左右の一対の撮像装置を用意し、モードに応じて使用する撮像装置を切り替えることが開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開平７−８４３２６号公報

【特許文献2】特願２０１４−４９８９０号公報

【特許文献3】特開２０１１−２１６９５８号公報

【特許文献4】特開２０１３−０９００３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１の方法では、装置構成が複雑になり、大型化してしまうという課題があった。
また、特許文献２の方法では、遠景、近景それぞれに対応する撮像装置を用意しなければならないため、コスト及びＨＭＤの重量が増えるという課題があった。
そこで、本発明は、複雑な装置構成を必要とせずとも、対象物体までの距離に拘わらず、違和感のない複合現実感映像を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本願発明の情報処理装置は、ユーザの左眼の視点に対応して撮像された第１の撮像画像と、前記ユーザの右眼の視点に対応して撮像された第２の撮像画像とを取得する画像取得手段と、前記第１の撮像画像と仮想画像とが合成された第１の合成画像と、前記第２の撮像画像と仮想画像とが合成された第２の合成画像とを生成する生成手段と、第１のモードでは、前記第１または第２の合成画像の一方を、前記ユーザの左眼に画像を提示する第１の表示部および前記ユーザの右眼に画像を提示する第２の表示部へ出力し、前記第１の撮像画像または前記第２の撮像画像に含まれる対象物体までの距離が前記第１のモードとは異なる場合に設定される第２のモードでは、前記第１の合成画像を前記第１の表示部へ出力し、前記第２の合成画像を前記第２の表示部へ出力する出力手段とを備える。

【発明の効果】

【0009】

本発明によれば、複雑な装置構成を必要とせずとも、対象物体までの距離に拘わらず、違和感のない複合現実感映像を提供することができる。

【図面の簡単な説明】

【0010】

【図1】第１の実施形態に係る情報処理装置を備えるシステムのブロック図である。

【図2】対象物体が近くにある場合（近景）の概念図である。

【図3】対象物体が遠くにある場合（遠景）の概念図である。

【図4】第１の実施形態での実施形態を示す図である。

【図5】第１の実施形態の処理フローチャートである。

【図6】第１の実施形態に係る情報処理装置を備えるシステムのブロック図である。

【図7】第２の実施形態の処理フローチャートである。

【図8】第２の実施形態での実施形態を示す図である。

【図9】第３の実施形態に係る情報処理装置を備えるシステムのブロック図である。

【図10】第３の実施形態での実施形態を示す図である。

【図11】第３の実施形態での実施形態を示す図である。

【図12】第３の実施形態の処理フローチャートである。

【図13】本発明の情報処理装置のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0011】

（第１の実施形態）
本発明にかかる実施形態を説明するのに先立ち、各実施形態に示す情報処理装置が実装されるハードウェア構成について、図１３を用いて説明する。

【0012】

図１３は、本実施形態における情報装置のハードウェア構成図である。同図において、ＣＰＵ１３１０は、バス１３００を介して接続する各デバイスを統括的に制御する。ＣＰＵ１３１０は、読み出し専用メモリ（ＲＯＭ）１３２０に記憶された処理ステップやプログラムを読み出して実行する。オペレーティングシステム（ＯＳ）をはじめ、本実施形態に係る各処理プログラム、デバイスドライバ等はＲＯＭ１３２０に記憶されており、ランダムアクセスメモリ（ＲＡＭ）１３３０に一時記憶され、ＣＰＵ１３１０によって適宜実行される。また、入力Ｉ／Ｆ１３４０は、外部の装置（表示装置や操作装置など）から情報処理装置１で処理可能な形式で入力信号として入力する。また、出力Ｉ／Ｆ１３５０は、外部の装置（表示装置）へ表示装置が処理可能な形式で出力信号として出力する。

【0013】

図１は、本実施形態に係る情報処理装置１０００を備えたシステムの構成例を示すブロック図である。図１に示す如く、本実施形態に係る情報処理装置１０００は、表示装置１１００と、入力部１７００と、頭部装着型表示装置１２００とに接続されている。また、情報処理装置１０００は、撮像画像取得部１０２０、データ記憶部１０４０、視点情報計測部１０３０、モード設定部１０５０、仮想空間生成部１０８０、画像生成部１０６０、画像出力部１０７０により構成される。

【0014】

頭部装着型表示装置（以降ＨＭＤ）１２００は、撮像部１２２０（撮像部１２２０Ｒ、撮像部１２２０Ｌ）と表示部１２１０（表示部１２１０Ｒ、表示部１２１０Ｌ）とが取り付けられ固定されている。観察者は、このＨＭＤ１２００を頭部に装着することで、表示部１０２０に映るステレオの複合現実空間画像（以下、ＭＲ画像とする）を観察することができる。すなわち、観察者は、図１における、現実物体１６００と、仮想物体１３００とが合成されたＭＲ画像を表示部１２１０を介して観察する。また、現実物体１４００と、仮想物体１５００とが合成されたＭＲ画像を表示部１２１０を介して観察する。現実物体１４００と現実物体１６００は、それぞれ、ＨＭＤ１２００からの距離が異なっている。また、本願発明のＨＭＤ１２００は、特許文献１に開示される装置とは異なり、撮像部１２２０Ｒ、撮像部１２２０Ｌの間の基線長および、輻輳角が固定されており、撮像部１２２０Ｒ、撮像部１２２０Ｌの焦点位置も固定されているものとする。

【0015】

また、本実施形態では、ステレオの撮像と表示を行うことに限定するものではなく、３以上の複数の撮像部、表示部であってもよい。また、少なくとも１つ以上の撮像部と表示部があれば適応可能である。さらに、本発明では、ＨＭＤ１２００を使用することに限定するものではなく、撮像部１２１０が装備されていないタイプでも適応可能である。以下、表示部及び撮像部について特に右眼用の表示部、左眼用の表示部に限定していない限り、表示装置は１２１０、撮像装置は１２２０でもって示す（Ｒ、Ｌは付けない）。なお、本実施形態では、頭部装着型表示装置として説明するが、頭部でなくユーザの顔面に装着する形式の表示装置でもよい。

【0016】

情報処理装置１０００の有する各機能について以下説明する。

【0017】

撮像画像取得部１０２０は、撮像装置１２２０から送出された右眼の撮像画像、左眼用の撮像画像を取得する。そして取得した右撮像画像、左撮像画像をデータ記憶部１０４０に格納する。以降、右撮像画像、左撮像画像の両方をさす場合は撮像画像とする。

【0018】

視点情報計測部１０３０は、データ記憶部１０４０に保存している撮像画像から撮像装置の位置姿勢を計測し視点位置姿勢情報を求める（位置姿勢取得）。この時、撮像装置ではなく、観察者の頭の中心、撮像装置１２２０Ｌと撮像装置１２２０Ｒの中心であっても良く視点位置姿勢情報を計測する方法に関しては、種々の研究報告が行われておりどの手法を利用しても良く、磁気式センサー、光学式センサーを利用しても良い。その後、前記視点位置姿勢情報をデータ記憶部１０４０に保存する。

【0019】

モード設定部１０５０では、入力部１７００から入力されたイベント等から遠景モードまたは近景モードを設定し、前記データ記憶部１０４０に保存する。

【0020】

仮想空間生成部１０８０は、データ記憶部１０４０に格納されている仮想空間のデータに基づいて、仮想空間を生成する。仮想空間のデータには、仮想物体１３００、仮想物体１４００及び現実物体１６００、現実物体１５００を３Ｄデジタイザや既知の手法で三次元計測された三次元データや仮想空間を構成する各仮想物体に係るデータや、仮想空間中を照射する光源に係るデータなどが含まれる。その後、仮想空間データをデータ記憶部１０４０に保存する。

【0021】

画像生成部１０６０では、データ記憶部１０４０に保存されている、モード設定から前記右撮像画像または前記左撮像画像と前記仮想空間データと前記位置姿勢情報に基づいて仮想画像を生成する。仮想画像生成の詳細に関しては、図５のフローチャートにて説明を行う。

【0022】

画像出力部１０７０では、画像生成部１０６０で生成された前記右複合現実感画像を表示部１２１０Ｒに表示し、前記左複合現実感画像を表示部１２１０Ｌに表示する。

【0023】

この時、画像が出力可能な表示部１１００に前記左複合現実画像または前記右複合現実画像または他の画像の表示を行っても良い。

【0024】

データ記憶部１０４０は、上述の通り、様々な情報を格納するためのものであり、ＲＡＭやハードディスクドライブ装置などにより構成されている。なお、データ記憶部１０４０には、上記説明においてデータ記憶部１０４０に格納するものとして説明した情報のほかに、本実施形態において既知の情報として説明するものについても格納されているものとする。

【0025】

これらの各機能部は、ＣＰＵ１３１０が、ＲＯＭ１３２０に格納されたプログラムをＲＡＭ１３３０に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、ＣＰＵ１３１０を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。

【0026】

以下、情報処理装置１０００による複合現実感画像を生成の処理について、図５のフローチャートを参照して説明する。

【0027】

（ステップＳ１６００１）
ステップＳ１６００１で、ユーザの処理を開始する。

【0028】

（ステップＳ１６００２）
次に、ステップＳ１６００２では、モード設定部は、入力部１７００から入力されたデータに基づいて、遠景（第１のモード）または近景のモード（第２のモード）の設定を行う。この時、入力はＧＵＩからの入力でもテキストでの入力でもゲームコントローラーからの入力でもジェスチャーでもモードを設定できる方法であれば何でも良い。そして、ステップＳ１６００３に処理を移す。

【0029】

（ステップＳ１６００３）
次に、ステップＳ１６００３では、撮像画像取得部１０２０は、ＨＭＤ１２００から、撮像画像を取得し、データ記憶部１０４０に記憶させる。そして、ステップＳ１６００３に処理を移す。

【0030】

（ステップＳ１６００４）
ステップＳ１６００４では、視点情報計測部１０３０は、ステップＳ１６００３でデータ記憶部１０４０に記憶された撮像画像に基づいて、撮像装置１２２０の位置姿勢情報を計測する。計測する方法に関しては、種々の研究報告が行われておりどの手法を利用しても良い。そして、ステップＳ１６００５へ処理を移す。

【0031】

（ステップＳ１６００５）
ステップＳ１６００５では、ステップＳ１６００２で入力したモードが近景モードの時は、ステップＳ１６００６に処理を移し、遠景モードの時は、ステップＳ１６００７へ処理を移す。

【0032】

（ステップＳ１６００６）
ステップＳ１６００６では、画像生成部１０６０は、表示装置１２１０Ｒに表示される近景用の複合現実感映像を生成するために撮像装置１２２０Ｒが取得した撮像画像を背景画像として設定を行う。同様に、画像生成部１０６０は、表示装置１２１０Ｌに表示される近景用の複合現実感映像を生成するために撮像装置１２２０Ｌが取得した撮像画像を背景画像として設定を行う。つまり左右の視差を考慮した異なる映像を左右の表示装置に背景画像として設定する。

【0033】

そこで、本実施形態では、上記のように、左右の視差を考慮した異なる映像を左右の表示装置に背景画像として設定する。これにより、観察者は、立体視をすることができる。

【0034】

（ステップＳ１６００７）
ステップＳ１６００７では、画像生成部１０６０は、表示部１２１０Ｒに表示される遠景用の複合現実感映像を生成するために撮像装置１２２０Ｒが取得した撮像画像を背景画像として設定を行う。同様に、画像生成部１０６０は、表示部１２１０Ｌに表示される遠景用の複合現実感映像を生成するために撮像装置１２２０Ｒが取得した撮像画像を背景画像として設定を行う。つまり左右で同じ映像を設定する。

【0035】

ここで、本発明のように、基線長や輻輳角が固定された撮像装置の場合に生じる、遠景現実物体１５００、遠景仮想物体１４００の立体視が適切に行われない課題を図２、３を用いて詳述する。

【0036】

図２は、近景にある現実物体１６００を肉眼または、ＨＭＤを通して確認した図である。図１と同じ部分については同じ番号をつけており、その説明を省略する。

【0037】

図２（Ａ）は、肉眼で、観察者から近景にある現実物体１６００を観察している様子を表している。

【0038】

右眼２１００Ｒは、観察者（ユーザ）の右眼であり、同様に左眼２１００Ｌは観察者の左眼である。

【0039】

視線２２００Ｒは観察者の右眼２１００Ｒの視線方向であり、同様に視線２２００Ｌは観察者の左眼２１００Ｌの視線方向である。

【0040】

焦点位置２３００は、観察者の視線が交わる焦点である。

【0041】

距離２５０１は、観察者の両目の中心から焦点までの距離である。

【0042】

映像２２１０Ｒは、右眼２１００Ｒから肉眼で見える映像であり、同様にして映像２２１０Ｌは左眼２１００Ｌから肉眼で見える映像である。観察者は、映像２２０１Ｒと映像２２１０Ｌとをそれぞれの眼で観察することにより、立体感のある映像を観察できる。

【0043】

一方、図２（Ｂ）は、観察者がＨＭＤを装着して、ＨＭＤ１２００から近景にある現実物体１６００及び仮想物体１３００を確認している様子を表している。

【0044】

焦点位置２３０１は、ＨＭＤに固定された撮像部１２２０Ｌと撮像部１２２０Ｒとの焦点である。ここで、ＨＭＤ１２００の撮像部１２２０Ｒ、撮像部１２２０Ｌの間の距離（基線長）と図２（Ａ）の観察者の眼間距離は略等しく、ＨＭＤに固定された撮像部１２２０Ｌと撮像部１２２０Ｒの焦点位置２３０１と、観察者の肉眼の焦点位置２３００とは略等しい位置であるとする。

【0045】

距離２５０２は、ＨＭＤ１２００の撮像装置１２２０の中心から焦点位置２３０１までの距離である。

【0046】

映像２２１１Ｌは、表示部１２１０Ｌに表示される複合現実感映像であり、同様にして映像２２１１Ｒは、表示部１２１０Ｌに表示される複合現実感映像である。複合現実感映像の生成方法の詳細に関しては、後述する。

【0047】

本実施形態では、上記のように、焦点位置２３００と焦点位置２３０１とは略等しい、即ち、距離２５０１と距離２５０２との距離が略等しい。そのため、映像２２１０Ｌと前記映像２２１１Ｌの画像がほぼ同じとなるため肉眼とＨＭＤを通して見た映像の差が少なくなり、肉眼で観察した場合と同様に立体感のある映像を観察することができる。

【0048】

次に、観察する現実物体が肉眼またはＨＭＤ２１００から遠距離にある場合の例を説明する。図３は、遠景にある物体を肉眼または、ＨＭＤ１２００を通して観察した場合を示す。図１、図２と同じ部分については同じ番号をつけており、その説明を省略する。

【0049】

図３（Ａ）は、肉眼で遠景にある現実物体１５００を観察している様子を表している。

【0050】

視線３２００Ｒは観察者の右眼３１００Ｒの視線方向であり、同様に視線３２００Ｌは観察者の左眼３１００Ｌの視線方向である。

【0051】

焦点位置３３００は、観察者の視線が交わる焦点である。

【0052】

距離３５０１は、観察者の両目の中心から焦点までの距離である。

【0053】

映像３２１０Ｒは、右眼３１００Ｒから肉眼で見える映像であり、同様にして映像３２１０Ｌは左眼３１００Ｌから肉眼で見える映像である。

【0054】

図３（Ａ）において、距離３５０１は、距離２５０１よりも大きく、観察者の両眼で観察する映像３２１０Ｒ，３２１０Ｌには視差がつきにくくなる。

【0055】

一方、図３（Ｂ）は、ＨＭＤ１２００から遠距離にある現実物体１５００と仮想物体１４００が合成された画像を観察している場合を表している。

【0056】

映像３２１１Ｌは、表示部１２１０Ｌに表示される複合現実感映像であり、同様にして映像３２１１Ｒは、表示部１２１０Ｒに表示される複合現実感映像である。複合現実感映像の生成方法の詳細に関しては、後述する。

【0057】

この時、距離３５０１と距離２５０２の距離の差が大きい程、映像４２１０Ｌと前記映像４２１１Ｌの画像の差が大きくなり肉眼とＨＭＤ１２００を通して見た映像の差が大きく観察者は違和感を感じる。

【0058】

本実施形態では、この課題を解決するために、上記のように、左右の表示部に対して、同じ画像を設定する。これより、視差がつかないため、立体視はできなくなるが、上記のような違和感を解消することができる。また、図３（Ｂ）のように、対象物体までの距離がある程度離れていると、肉眼であってもそれほど視差はつかないため、本実施形態のように同じ画像を設定しても、観察者にとっても違和感はほとんど感じられない。

【0059】

（ステップＳ１６００８）
ステップＳ１６００８では、仮想画像生成部１０８０は、ステップＳ１６００４で求めた撮像装置１２２０の位置姿勢情報と、データ記憶部１０４０に記憶された仮想物体及びの情報から仮想画像を生成する。

【0060】

（ステップＳ１６００９）
ステップＳ１６００９では、画像生成部１０６０は、ステップＳ１６０１０で生成した仮想画像と、ステップ１６００６またはステップ１６００７で設定された背景画像とを合成した画像を生成し、ステップＳ１６０１２に処理を移す。

【0061】

この時、生成される近景モード時の画像と遠景モード時の画像を、図２、図３、図４を用いて説明を行う。図１と同じ部分については同じ番号をつけており、その説明を省略する。また、既知の複合現実画像の生成手法に関しては説明を省略する。

【0062】

図２（Ｂ）は、上記の通り近くにある現実物体１６００や仮想物体１３００をＨＭＤ１２００を通して確認した際の事例である。よって近景のモードが設定されている場合は、表示部１２１０Ｒに撮像装置１２２０Ｒから取得された撮像画像と撮像画像から計測された撮像装置１２２０Ｒの位置姿勢と仮想空間から映像２２１１Ｒが表示（提示）され、表示部１２１０Ｌには同様に映像２２１１Ｌが表示される。

【0063】

一方で、図３（Ｂ）のように、観察者から遠くにある現実物体１５００を見た際には、撮像装置１２２０の焦点位置２３０１と、現実物体１５００とが大きく離れているため、撮像されたそれぞれの画像を観察する観察者には、大きな違和感を与える。

【0064】

そこで、本実施形態では、図４のように、遠景モードが設定されると、以下の如く処理を行う。すなわち、遠景モードが設定されている場合には、ステップＳ１６００７で設定されたように、表示部１２１０Ｒと表示部１２１０Ｌとで、が表示される。

【0065】

（ステップＳ１６０１０）
ステップＳ１６０１０では、ステップＳ１６００９で生成された画像を画像出力部１１３０によって表示部１２１０Ｌ及び表示部１２１０Ｒに表示しステップＳ１６０１１に処理を移す。

【0066】

ステップＳ１６０１１では、処理を終了する。

【0067】

上記の処理を行うことにより、対象物体までの距離が焦点位置よりも遠くである場合であっても、観察者にとって違和感のない映像を提供することができる。

【0068】

（第２の実施形態）
第１の実施形態では、入力部１７００から入力されたモードに応じて、近景モード又は遠景モードの設定を行っていたが、本実施形態では、ＨＤＭの位置と観察者が観察している観察物との距離から自動的にモードを設定する例を説明する。

【0069】

本実施形態に係る情報処理装置６０００を備えるシステムについて図６のブロック図を用いて説明する。図１と同じ部分については同じ番号をつけており、その説明を省略する。

【0070】

次に情報処理装置６０００について説明する。

【0071】

距離計測部６０１０は、データ記憶部１０４０に保存された視点位置情報と撮像画像１２２０に映っている仮想物体または現実物体との間の距離を計測し（距離取得）、計測された距離を、距離情報としてデータベースに記憶する。距離の導出については、後述する。

【0072】

モード設定部６０２０は、データ記憶部１０４０に記憶してある距離情報に基づいて、所定の距離よりも大きい場合には、遠景モード、それ以外の場合には近景モードと、自動的に設定を行い、そのモードをデータ記憶部１０４０に記憶する。

【0073】

図７は、情報処理装置６０００が複合現実感画像を生成し、ＨＭＤ１２００の表示装置１２１０又は表示装置１１００に対して出力するために行う処理のフローチャートである。図５と同じ部分については同じ番号をつけており、その説明を省略する。

【0074】

（ステップＳ１７００４）
ステップＳ１７００４では、距離計測部６０１０は、ステップＳ１６００３で求めた撮像装置１２２０の位置と観察者が注視している仮想物体又は現実物体との距離を求める。距離の算出方法に関して図８を用いて詳細な説明を行う。図２と同じ部分については同じ番号を付けており、その説明を省略する。

【0075】

撮像装置１２２０Ｌと撮像装置１２２０Ｒを結んだ線分８００２の中点８００１から、線分８００２に垂直なベクトル８００３と仮想物体１３００と交わる点７００２と点８００１との距離８０００を求め、ステップＳ１７００５に処理を進める。

【0076】

本実施形態では、上記手法で距離を求めたが、観察者が注視している仮想物体又は現実物体をジェスチャー等で指定しても良く、またゲームコントローラーやキーボードやタブレット等で指定しても良い。

【0077】

（ステップＳ１７００５）
ステップＳ１７００５では、モード設定部６０２０は、距離８０００が観察者又はシステムが設定した任意のＸｍｍ以上の時は、ステップＳ１６００８に処理を進め、Ｘｍｍ以内の時はステップＳ１６００６に処理を進める。

【0078】

以上、本実施形態は、現実物体または仮想物体までの距離を測定することにより、自動で遠景または近景のいずれかのモードを設定することができるため、観察者に特別な処理を要求することなく、観察者にとって違和感のない映像を提供することができる。

【0079】

（第３の実施形態）
第１、第２の実施形態では、撮像装置１２２０から取得した撮像画像を遠景・近景モードの現実画像として利用していた。本実施形態は、情報処理装置が動的に背景画像を作り出す例を示す。

【0080】

本実施形態に係る情報処理装置９０００を備えるシステムについて図９のブロック図を用いて説明する。図１、図６と同じ部分については同じ番号をつけており、その説明を省略する。本実施形態では、現実画像生成部９０２０が追加された点が、第２の実施形態と異なる。

【0081】

現実画像生成部９０２０では、撮像画像取得部１０２０で得られた画像７０１０、７０２０と距離計測部６０１０から得られた距離とに基づいて、図１０に示す背景画像７０３０を作成する。そして、生成された背景画像７０３０から、表示装置１２１０Ｒに表示される複合現実感映像を生成するための背景画像を生成し、同様に表示部１２１０Ｌに表示される複合現実感映像を生成するための背景画像を生成する。詳細に関しては後述する。

【0082】

図１２は、情報処理装置９０００が複合現実感画像を生成し、ＨＭＤ１２００の表示装置１２１０又は表示装置１１００に対して出力するために行う処理のフローチャートである。図５と同じ部分については同じ番号をつけており、その説明を省略する。

【0083】

（ステップＳ９７００７）
ステップ９７００７において、現実画像生成部９０２０は、撮像部１２２０で得られた撮像画像をスティッチする。以下、図１０を用いて本処理を詳述する。

【0084】

図１０は、撮像部１２２０Ｌ及び撮像部１２２０Ｒで得られた撮像画像７０１０、７０２０とから、背景画像７０３０を生成している。

【0085】

撮像画像７０２０は、撮像部１２２０Ｌから取得した画像である。

【0086】

撮像画像７０１０は、撮像部１２２０Ｒから取得した画像である。

【0087】

背景画像７０３０は、撮像画像７０２０撮像画像７０１０をスティッチして作成した画像である。スティッチに関しては公知の技術（特許文献３に開示されている）であるためその説明を省略する。

【0088】

背景画像７０３０を作成した後、ステップ９６００８へ処理を進める。

【0089】

（ステップＳ９６００８）
ステップ９６００８において、現実画像生成部９０２０は、ステップ９６００７で得られた背景画像７０３０から右眼左眼用の背景画像の生成を行う。図１１は、背景画像７０３０から右眼左眼用の背景画像を生成する図である。

【0090】

第１、第２の実施形態では、右眼と左眼を同じ画像を背景として表示して違和感を軽減したが、本実施形態では、スティッチ画像７０３０から左眼用の画像７０２０と右眼用の画像７０１０を作成する。画像から視差画像を生成する方法に関しては、公知の技術（特許文献４に開示されている）のためその説明を割愛する。

【0091】

右眼用現実画像７０４０は、図３（Ａ）のように観察者が観察物を見た際に右眼に見える映像を想定して作成した画像である。

【0092】

左眼用現実画像７０５０は、図３（Ａ）のように観察者が観察物を見た際に左眼に見える映像を想定して作成した画像である。

【0093】

現実画像生成部９０２０は、右眼用現実画像７０４０及び左眼用現実画像７０５０を生成しステップ１６０１０に処理を進める。

【0094】

上記の処理を行うことにより、対象物体までの距離が焦点位置よりも遠くである場合であっても、観察者にとって違和感のない映像を提供することができる。

【0095】

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。

【0096】

即ち、上述した各実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

【0097】

このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】