知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025142672
(43)【公開日】2025-10-01
(54)【発明の名称】情報処理装置、情報処理方法、プログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20250924BHJP
G06F 3/01 20060101ALI20250924BHJP
G06F 3/04815 20220101ALI20250924BHJP
【ＦＩ】
G06T19/00 600
G06F3/01 510
G06F3/04815
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2024042166
(22)【出願日】2024-03-18
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】▲高▼柳 渉
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050AA00
5B050BA04
5B050BA06
5B050BA09
5B050BA13
5B050CA01
5B050DA01
5B050EA19
5B050EA26
5B050FA02
5B050FA05
5E555AA27
5E555AA62
5E555AA74
5E555BA01
5E555BA38
5E555BB01
5E555BC04
5E555BE17
5E555CA42
5E555CB21
5E555CB23
5E555CB66
5E555CC01
5E555DA08
5E555DA09
5E555DB56
5E555DB57
5E555DC09
5E555DC35
5E555DC84
5E555DD07
5E555EA08
5E555EA11
5E555EA22
5E555FA00
(57)【要約】
【課題】ＭＲ技術において、衝突の危険をユーザに適切に通知可能な技術を提供する。
【解決手段】情報処理装置は、第１のオブジェクトおよび第２のオブジェクトを含む現実空間を撮像した撮像画像を取得する取得手段と、仮想物体を生成する生成手段と、前記撮像画像と前記仮想物体とを合成して、合成画像を生成する合成手段と、前記合成画像を表示するように表示手段を制御する表示制御手段と、前記合成画像が表す空間において前記第２のオブジェクトの手前に前記仮想物体が重畳する第１の場合には、 前記第１のオブ
ジェクトと前記第２のオブジェクトとの間の距離に応じた通知をユーザに行う通知手段と、を有する。
【選択図】図６
【解決手段】情報処理装置は、第１のオブジェクトおよび第２のオブジェクトを含む現実空間を撮像した撮像画像を取得する取得手段と、仮想物体を生成する生成手段と、前記撮像画像と前記仮想物体とを合成して、合成画像を生成する合成手段と、前記合成画像を表示するように表示手段を制御する表示制御手段と、前記合成画像が表す空間において前記第２のオブジェクトの手前に前記仮想物体が重畳する第１の場合には、 前記第１のオブ
ジェクトと前記第２のオブジェクトとの間の距離に応じた通知をユーザに行う通知手段と、を有する。
【選択図】図６
【特許請求の範囲】
【請求項1】
第１のオブジェクトおよび第２のオブジェクトを含む現実空間を撮像した撮像画像を取得する取得手段と、
仮想物体を生成する生成手段と、
前記撮像画像と前記仮想物体とを合成して、合成画像を生成する合成手段と、
前記合成画像を表示するように表示手段を制御する表示制御手段と、
前記合成画像が表す空間において前記第２のオブジェクトの手前に前記仮想物体が重畳する第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じた通知をユーザに行う通知手段と、
を有することを特徴とする情報処理装置。
仮想物体を生成する生成手段と、
前記撮像画像と前記仮想物体とを合成して、合成画像を生成する合成手段と、
前記合成画像を表示するように表示手段を制御する表示制御手段と、
前記合成画像が表す空間において前記第２のオブジェクトの手前に前記仮想物体が重畳する第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じた通知をユーザに行う通知手段と、
を有することを特徴とする情報処理装置。
【請求項2】
前記第２のオブジェクトは、前記現実空間における複数のオブジェクトのうち、前記第１のオブジェクトの背後に位置し、かつ、前記第１のオブジェクトに最も近いオブジェクトである、
ことを特徴とする請求項１に記載の情報処理装置。
ことを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記通知手段は、前記第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じて、前記第１のオブジェクトの表示の強調を制御することによって、前記通知を行う、
ことを特徴とする請求項１または２に記載の情報処理装置。
ことを特徴とする請求項１または２に記載の情報処理装置。
【請求項4】
前記通知手段は、前記第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離が短いほど、前記第１のオブジェクトの表示を強調する、
ことを特徴とする請求項３に記載の情報処理装置。
ことを特徴とする請求項３に記載の情報処理装置。
【請求項5】
前記通知手段は、前記第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じて、第１の装置の振動強度を制御することによって、前記通知を行う、
ことを特徴とする請求項１または２に記載の情報処理装置。
ことを特徴とする請求項１または２に記載の情報処理装置。
【請求項6】
前記通知手段は、前記第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じて、第２の装置から発せられる警告音の音量を制御することによって、前記通知を行う、
ことを特徴とする請求項１または２に記載の情報処理装置。
ことを特徴とする請求項１または２に記載の情報処理装置。
【請求項7】
前記通知手段は、前記第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じて、前記仮想物体の透過度を制御することによって、前記通知を行う、
ことを特徴とする請求項１または２に記載の情報処理装置。
ことを特徴とする請求項１または２に記載の情報処理装置。
【請求項8】
前記第１のオブジェクトは、体の一部である、
ことを特徴とする請求項１または２に記載の情報処理装置。
ことを特徴とする請求項１または２に記載の情報処理装置。
【請求項9】
前記第１のオブジェクトは、手である、
ことを特徴とする請求項８に記載の情報処理装置。
ことを特徴とする請求項８に記載の情報処理装置。
【請求項10】
前記第１のオブジェクトは、操作部材の一部である、
ことを特徴とする請求項１または２に記載の情報処理装置。
ことを特徴とする請求項１または２に記載の情報処理装置。
【請求項11】
前記通知手段は、前記第１の場合において、
前記合成画像が表す空間において前記第１のオブジェクトが前記仮想物体の手前に重畳する第２の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じて、前記第１のオブジェクトの表示の強調を制御することによって、前記通知を行い、
前記合成画像が表す空間において前記仮想物体が前記第１のオブジェクトの手前に重畳する第３の場合には、前記第１のオブジェクトの表示の強調を制御する以外の方法により、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じた通知をユーザに行う、
ことを特徴とする請求項１または２に記載の情報処理装置。
前記合成画像が表す空間において前記第１のオブジェクトが前記仮想物体の手前に重畳する第２の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じて、前記第１のオブジェクトの表示の強調を制御することによって、前記通知を行い、
前記合成画像が表す空間において前記仮想物体が前記第１のオブジェクトの手前に重畳する第３の場合には、前記第１のオブジェクトの表示の強調を制御する以外の方法により、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じた通知をユーザに行う、
ことを特徴とする請求項１または２に記載の情報処理装置。
【請求項12】
前記通知手段は、前記第３の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じて、第１の装置の振動強度、第２の装置から発せられる警告音の音量、または、前記仮想物体の透過度を制御する、
ことを特徴とする請求項１１に記載の情報処理装置。
ことを特徴とする請求項１１に記載の情報処理装置。
【請求項13】
第１のオブジェクトおよび第２のオブジェクトを含む現実空間を撮像した撮像画像を取得する取得ステップと、
仮想物体を生成する生成ステップと、
前記撮像画像と前記仮想物体とを合成して、合成画像を生成する合成ステップと、
前記合成画像を表示するように表示手段を制御する表示制御ステップと、
前記合成画像が表す空間において前記第２のオブジェクトの手前に前記仮想物体が重畳する第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じた通知をユーザに行う通知ステップと、
を有することを特徴とする情報処理方法。
仮想物体を生成する生成ステップと、
前記撮像画像と前記仮想物体とを合成して、合成画像を生成する合成ステップと、
前記合成画像を表示するように表示手段を制御する表示制御ステップと、
前記合成画像が表す空間において前記第２のオブジェクトの手前に前記仮想物体が重畳する第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じた通知をユーザに行う通知ステップと、
を有することを特徴とする情報処理方法。
【請求項14】
コンピュータを、請求項１または２に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、プログラムに関する。
【背景技術】
【0002】
ＭＲシステムにおいて、ユーザの実物の手の画像を使って、ＣＧオブジェクトと手の前後関係をオクルージョンで表現するハンドマスキング技術がある。ハンドマスキング技術を用いることで、ユーザは、仮想のＣＧオブジェクトとユーザの手の前後関係を把握することができる。そして、ユーザは、ＣＧオブジェクトがあたかも実在するオブジェクトのように感じられる。
【0003】
特許文献１では、ハンドマスクに関する技術が記載されている。特許文献２では、ＨＭＤ（ヘッドマウントディスプレイ）がＣＧの背後に近づいた場合に、ＣＧを透過度を変更する技術が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００２－１５７６０６号公報
【特許文献2】特開２０２０－５３６３０５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ハンドマスキング技術では、仮想のＣＧオブジェクトとＨＭＤとの間にユーザの実物の手が位置する場合には、手の形にＣＧオブジェクトのマスキングが行われて、実物の手がユーザから見える。このことで、ユーザは、ＣＧオブジェクトよりも手が前側にあるように見える。また、実物の手が仮想のＣＧオブジェクトよりも背後にある場合には、実物の手が仮想のＣＧオブジェクトによって隠される。このことでも、ユーザは、あたかも仮想のＣＧが実在しているかのような感覚を味わうことができる。
【0006】
しかし、ハンドマスキング技術では、仮想のＣＧオブジェクトの背後に実物のオブジェクトが隠れている場合には、ユーザは、実物のオブジェクトを見ることはできない。このため、ユーザは、ユーザの実物の手と実物のオブジェクトとの距離感を把握できず、接触の危険性を察知することができない。
【0007】
そこで、本発明は、ＭＲ技術において、衝突の危険をユーザに適切に通知可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の１つの形態は、
第１のオブジェクトおよび第２のオブジェクトを含む現実空間を撮像した撮像画像を取得する取得手段と、
仮想物体を生成する生成手段と、
前記撮像画像と前記仮想物体とを合成して、合成画像を生成する合成手段と、
前記合成画像を表示するように表示手段を制御する表示制御手段と、
前記合成画像が表す空間において前記第２のオブジェクトの手前に前記仮想物体が重畳する第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じた通知をユーザに行う通知手段と、
を有することを特徴とする情報処理装置である。
第１のオブジェクトおよび第２のオブジェクトを含む現実空間を撮像した撮像画像を取得する取得手段と、
仮想物体を生成する生成手段と、
前記撮像画像と前記仮想物体とを合成して、合成画像を生成する合成手段と、
前記合成画像を表示するように表示手段を制御する表示制御手段と、
前記合成画像が表す空間において前記第２のオブジェクトの手前に前記仮想物体が重畳する第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じた通知をユーザに行う通知手段と、
を有することを特徴とする情報処理装置である。
【0009】
本発明の１つの態様は、
第１のオブジェクトおよび第２のオブジェクトを含む現実空間を撮像した撮像画像を取得する取得ステップと、
仮想物体を生成する生成ステップと、
前記撮像画像と前記仮想物体とを合成して、合成画像を生成する合成ステップと、
前記合成画像を表示するように表示手段を制御する表示制御ステップと、
前記合成画像が表す空間において前記第２のオブジェクトの手前に前記仮想物体が重畳する第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じた通知をユーザに行う通知ステップと、
を有することを特徴とする情報処理方法である。
第１のオブジェクトおよび第２のオブジェクトを含む現実空間を撮像した撮像画像を取得する取得ステップと、
仮想物体を生成する生成ステップと、
前記撮像画像と前記仮想物体とを合成して、合成画像を生成する合成ステップと、
前記合成画像を表示するように表示手段を制御する表示制御ステップと、
前記合成画像が表す空間において前記第２のオブジェクトの手前に前記仮想物体が重畳する第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じた通知をユーザに行う通知ステップと、
を有することを特徴とする情報処理方法である。
【発明の効果】
【0010】
本発明によれば、ＭＲ技術において、衝突の危険をユーザに適切に通知可能な技術を提供できる。
【図面の簡単な説明】
【0011】
【図1】実施形態に係るＨＭＤシステムの構成図である。
【図2】実施形態１に係るＨＭＤシステムの構成図である。
【図3】実施形態１に係るＭＲ空間を説明する図である。
【図4】実施形態１に係る手の表示の強調処理を説明する図である。
【図5】実施形態１に係る手の表示の強調処理を説明する図である。
【図6】実施形態１に係る手の表示の強調処理のフローチャートである。
【図7】実施形態２に係るＨＭＤシステムの構成図である。
【図8】実施形態２に係る操作部材の表示の強調処理を説明する図である。
【図9】実施形態２に係る足の表示の強調処理を説明する図である。
【図10】実施形態２に係る強調処理のフローチャートである。
【図11】実施形態３に係るＨＭＤシステムの構成図である。
【図12】実施形態３に係る通知処理の例１のフローチャートである。
【図13】実施形態３に係る通知処理の例２のフローチャートである。
【図14】実施形態３に係る通知処理の例３のフローチャートである。
【図15】実施形態３に係る通知処理の例１を説明する図である。
【図16】実施形態３に係る通知処理の例２を説明する図である。
【図17】実施形態３に係る通知処理の例３を説明する図である。
【発明を実施するための形態】
【0012】
以下、本発明の各実施形態について、添付図面を参照して詳細に説明する。まず、各実施形態に共通する事項について説明する。
【0013】
まず、仮想のＣＧオブジェクトの背後に隠れた実物のオブジェクトと実物の手との接触を未然に防ぐ方法として、ＨＭＤが実物のオブジェクトに近づくとＣＧの透過度を上げて、ユーザに実物のオブジェクトを見えるようにする方法がある。しかしながら、この方法では、ＣＧが実在するような没入感は得られず、作業の中断が発生してしまうなどのＵＸ（Ｕｓｅｒ ｅＸｐｅｒｉｅｎｃｅ）上の課題もある。
【0014】
図１は、実施形態に係るＨＭＤシステムの構成を示すブロック図である。ＨＭＤシステムは、現実空間の画像と仮想のコンピュータグラフィックス（ＣＧ）とを重ねて表示するヘッドマウントシステムである。このように、実施形態には、ユーザの頭部に装着可能なＨＭＤを含む各種のＨＭＤシステムに適用することができる。
【0015】
ＨＭＤシステムは、レンズユニット１０１、撮像部１０２、撮像処理部１０３、画像処理部１０４、画像合成部１０５、表示部１０６、接眼光学系１０７、撮像制御部１０８、ＨＭＤ制御部１０９を有する。ＨＭＤシステムは、マスク生成部１１０、距離センサ１１１、センサ制御部１１２、電源部１１３、操作部１１４、揺れ検出部１１５、自己位置推定部１１６、スピーカー１１７、スピーカー制御部１１８、ＨＭＤ通信制御部１１９を有する。ＨＭＤシステムは、ハプティクスデバイス１２０、ハプティクス制御部１２１、ＨＭＤ通信部１２２、ハプティクス通信部１２３、オブジェクト距離取得部１２４、比較部１２５、背景距離取得部１２６、空間マップ生成部１２７を有する。ＨＭＤシステムは、記憶部１２８、ＣＧ生成部１２９、オブジェクト強調部１３０、透過変更部１３１、ＣＧ通信制御部１３２を有する。
【0016】
撮像部１０２は、レンズユニット１０１を介して、ユーザの手などの複数のオブジェクトを含む現実空間を撮像する。
【0017】
撮像部１０２から出力された画像（撮像画像）は、撮像処理部１０３および画像処理部１０４により画像処理が行われた後に、画像合成部１０５に送られる。画像合成部１０５は、ＣＧ生成部１２９により生成されたコンピュータグラフィックス（ＣＧ；仮想物体）と撮像画像とを合成して、合成画像を生成する。
【0018】
表示部１０６は、合成画像を表示する。合成画像は、接眼光学系１０７を通して目の網膜において結像される。
【0019】
撮像制御部１０８は、撮像部１０２における露出制御を行う。
【0020】
距離センサ１１１は、ＨＭＤに内蔵されている。距離センサ１１１は、センサ制御部１１２によって制御されることによって、距離情報を示す距離画像を撮像する。距離画像では、各画素が当該画素に写る物体（オブジェクト）までの距離を示す。
【0021】
スピーカー１１７は、スピーカー制御部１１８によって制御されることによって、音声を再生する装置である。ハプティクスデバイス１２０は、ＨＭＤとは別体部である。ハプティクスデバイス１２０は、ハプティクスの振動パターン（ＨＭＤ通信部１２２からハプティクス通信部１２３が受け取った振動パターン）に応じて、振動する装置である。ハプティクスデバイス１２０は、ハプティクス制御部１２１によって制御される。
【0022】
電源部１１３は、システム全体の用途に応じて電源（電力）を供給する。操作部１１４は、ユーザがＨＭＤシステムの操作に使用する操作部である。操作部１１４は、操作信号をＨＭＤ制御部１０９に出力する。振れ検出部１１５は、ＨＭＤに加わる振れ量を検出して、振れ量を示す検出信号を生成する。振れ検出部１１５は、画像処理部１０４による処理後の撮像画像とともに、検出信号を自己位置推定部１１６に出力する。自己位置推定部１１６は、振れ量を示す検出信号と撮像画像とに基づき、ＨＭＤの自己位置を推定する。
【0023】
ＨＭＤ制御部１０９は、ＨＭＤシステム全体を統括制御する。ＨＭＤ制御部１０９は、ＣＰＵを備える。ＨＭＤ制御部１０９は、ＨＭＤ通信制御部１１９を介して、ＣＧ通信制御部１３２と通信する。
【0024】
オブジェクト距離取得部１２４は、「撮像部１０２から得られた撮像画像（ステレオカメラ画像）」または／および「距離センサ１１１から得られる距離画像」に基づき、ＨＭＤから被写体までの距離を得る。具体的には、オブジェクト距離取得部１２４は、撮像部１０２または距離センサ１１１から得られた画像に基づき、特定のオブジェクトまでの距離を示す距離画像（以下、「オブジェクトマップ」と呼ぶ）を取得する。
【0025】
背景距離取得部１２６は、撮像部１０２または距離センサ１１１から得られた画像に基づき、背景の距離画像を取得する。空間マップ生成部１２７は、背景距離取得部１２６により得られた背景の距離画像に基づき、特定のオブジェクトを除いた現実空間の距離画像（以下、「空間マップ」と呼ぶ）を生成する。比較部１２５は、オブジェクトマップと空間マップとに基づき、特定のオブジェクトと背景との間の距離を算出する。
【0026】
マスク生成部１１０は、オブジェクトマップを用いて、ＣＧを切り抜くためのマスクを生成する。ＣＧ生成部１２９は、ＣＧを生成する。また、ＣＧ生成部１２９は、マスク生成部１１０により生成されたマスクを用いて、生成したＣＧからマスクの領域を切り抜く（除外する）。切り抜きが行われたＣＧは、画像合成部１０５により撮像画像と合成される。画像合成部１０５は、ＣＧを含むＭＲ画像を表示部１０６が表示するように表示制御を行う。
【0027】
オブジェクト強調部１３０は、特定のオブジェクトと背景の間の距離に応じて、特定のオブジェクトの領域を強調するような画像処理を行う。
【0028】
透過変更部１３１は、特定のオブジェクトと背景の間の距離に応じて、ＣＧの透過度を変更する。
【0029】
スピーカー１１７は、比較部１２５で算出された特定のオブジェクトと背景の間の距離に応じて警告音の音量を制御することによって、衝突の危険性をユーザに通知する。
【0030】
次に、上記構成を有するＨＭＤシステムの概略動作の１つの例について説明する。
【0031】
（１）レンズユニット１０１と撮像部１０２によって、手を含む現実空間を撮像した撮像画像が取得される。オブジェクト距離取得部１２４は、撮像画像に基づき、もしくは、距離センサ１１１から得た距離画像から、手の領域の距離画像を取得する。
【0032】
（２）背景距離取得部１２６は、撮像画像もしくは、距離センサ１１１から得られた距離画像に基づき、ＨＭＤから背景までの距離を取得する。空間マップ生成部１２７は、ＨＭＤから背景までの距離を示す距離画像に基づき、空間マップを生成する。比較部１２５は、手の距離と背景の距離を比較する。また、同時に、マスク生成部１１０は、ハンドマップに基づき、手のマスク画像を生成する。
【0033】
（３）オブジェクト強調部１３０とＣＧ生成部１２９は、手のマスク画像と、手と背景の間の距離の情報とを取得する。オブジェクト強調部１３０は、手と背景の間の距離に応じて、手の画像に強調処理を行う。ＣＧ生成部１２９は、ＣＧを生成する。ＣＧ生成部１２９は、ＣＧにおいて手の領域と重なる領域が存在する場合には、その領域をＣＧから除外する。
【0034】
（４）画像合成部１０５は、強調処理が行われた手の画像とＣＧ（手の領域が除外されたＣＧ）とを合成して、合成画像を生成する。表示部１０６は、接眼光学系１０７を介してユーザに光を届けることによって、ユーザに合成画像を知覚させる。
【0035】
上記の処理によって、手と背景の距離に応じて、手の領域の強調表示が行われる。このため、手の領域の強調表示により手とオブジェクトとの衝突の危険をユーザに知らせることが可能なＵＸ（Ｕｓｅｒ ｅＸｐｅｒｉｅｎｃｅ）が実現できる。
【0036】
＜実施形態１＞
実施形態１では、手とオブジェクトとの間の距離に応じて、手の領域の強調表示を行うＨＭＤシステムついて説明する。ＨＭＤシステムは、ＨＭＤ、デジタルカメラ、スマートフォンなどの任意の電子機器（装置）であり得る。
実施形態１では、手とオブジェクトとの間の距離に応じて、手の領域の強調表示を行うＨＭＤシステムついて説明する。ＨＭＤシステムは、ＨＭＤ、デジタルカメラ、スマートフォンなどの任意の電子機器（装置）であり得る。
【0037】
【0038】
ＨＭＤシステムは、光学系２０１、撮像センサ２０２、画像処理部２０３、合成部２０４、表示部２０６、カメラ制御部２０７、位置推定部２０８、ＣＧ生成部２０９、距離センサ２１０を有する。ＨＭＤシステムは、距離センサ制御部２１１、ハンドマップ取得部２１２、距離比較部２１３、マスク生成部２１４、距離画像取得部２１５、空間マップ生成部２１６、強調部２１７を有する。
【0039】
光学系２０１は、レンズユニット１０１を有する。
【0040】
撮像センサ２０２は、ユーザの手などの複数のオブジェクトを含む現実空間を撮像することによって、撮像画像を取得する。撮像センサ２０２は、撮像部１０２に相当する。
【0041】
画像処理部２０３は、撮像センサ２０２が取得した撮像画像に画像処理を行う。画像処理部２０３は、撮像処理部１０３および画像処理部１０４に相当する。
【0042】
カメラ制御部２０７は、撮像センサ２０２を制御する。カメラ制御部２０７は、撮像制御部１０８に相当する。
【0043】
位置推定部２０８は、撮像画像に基づき、撮像センサ２０２（ＨＭＤ）の位置を推定する。位置推定部２０８は、揺れ検出部１１５および自己位置推定部１１６に相当する。
【0044】
距離センサ２１０は、被写体を撮像することによって、距離画像を取得する。距離センサ２１０は、距離センサ１１１に相当する。
【0045】
距離センサ制御部２１１は、距離センサ２１０を制御する。距離センサ制御部２１１は、センサ制御部１１２に相当する。
【0046】
距離画像取得部２１５は、撮像画像を距離画像に変換する。もしくは、距離画像取得部２１５は、距離センサ２１０から距離画像を取得する。また、距離画像取得部２１５は、撮像画像に基づき、距離センサ２１０から取得した距離画像を補正してもよい。以下では、距離画像取得部２１５が取得した距離画像を「全体距離画像」と呼ぶ。
【0047】
ハンドマップ取得部２１２は、全体距離画像に基づき、手の領域の距離情報を示す画像（「以下、ハンドマップ」と呼ぶ）を取得する。ハンドマップ取得部２１２は、オブジェクト距離取得部１２４に相当する。
【0048】
空間マップ生成部２１６は、全体距離画像に基づき、手を除いた現実空間の距離情報を示す画像として空間マップを取得する。空間マップ生成部２１６は、空間マップ生成部１２７に相当する。
【0049】
距離比較部２１３は、ハンドマップと空間マップとに基づき、手とオブジェクト（現実空間に存在するオブジェクト）との間の距離を算出する。なお、距離比較部２１３は、ハンドマップと空間マップとに基づく方法以外の方法によって、手とオブジェクトとの間の距離を算出してもよい。距離比較部２１３は、例えば、異なる視点から撮像された複数の
撮像画像に基づき、手とオブジェクトとの間の距離を算出してもよい。距離比較部２１３は、比較部１２５に相当する。
撮像画像に基づき、手とオブジェクトとの間の距離を算出してもよい。距離比較部２１３は、比較部１２５に相当する。
【0050】
マスク生成部２１４は、ハンドマップに基づき、手の領域のマスクを生成する。マスク生成部２１４は、マスク生成部１１０に相当する。
【0051】
ＣＧ生成部２０９は、位置推定部２０８が推定したＨＭＤの位置に基づき、ＣＧ（仮想物体）を生成する。そして、ＣＧ生成部２０９は、手の領域のマスクに基づき、手の領域にＣＧとが重なると判定した場合には、ＣＧから手の領域に該当する範囲を除外する。ＣＧ生成部２０９は、ＣＧ生成部１２９に相当する。
【0052】
強調部２１７は、手とオブジェクトとの間の距離（距離比較部２１３により算出された距離）に応じて、手の領域の強調度合いを制御する。強調部２１７は、オブジェクト強調部１３０に相当する。
【0053】
合成部２０４は、「ＣＧ」と「強調処理が行われた手の画像」とを合成することによって、合成画像を生成する。合成部２０４は、画像合成部１０５に相当する。
【0054】
表示部２０６は、合成画像を表示する。これによって、表示部２０６は、手と背景との間の距離に応じて強調表示がされた手の画像を表示可能である。このため、表示部２０６は、「ＣＧの背後にある実物」と「手」との衝突の危険性を、ユーザに通知できる。表示部２０６は、表示部１０６に相当する。
【0055】
図３Ｃは、図３Ａに示す実物の机３０１に、図３Ｂに示すＣＧのプリンタ３０２を重ねた画像３０３を表す図である。実物の机３０１の上には、ＡＲマーカーが予め配置されている。そして、ＭＲでは、ＡＲマーカーの上にＣＧのプリンタを配置して、ＣＧのプリンタを手で触れるようなユースケースが存在する。
【0056】
図４Ａおよび図４Ｂは、図３Ｃに示す「実物の机の上に重ねて表示したＣＧのプリンタ」を実物のユーザの手で触れる機能に関する図である。また、図４Ｂでは、実物の手とＣＧの裏に隠れている実物の机との間の距離に応じて手の領域の強調表示が行われており、ユーザに衝突の危険が通知されている。図４Ａでは、ＣＧのプリンタの奥に位置する実物の机から少し遠くに手４０１が位置するため、手４０１は強調処理が行われていない。一方で、図４Ｂでは、ＣＧのプリンタの奥に位置する実物の机に近くに手４０２が位置するため、手４０２は強調処理が行われている。このように、実物の手の領域の強調度合いによって、ユーザは、ＣＧの奥に位置する実物の机と手との間の距離を大まかに把握することができる。このため、ユーザは、優れたＵＸによるＭＲ体験が可能となる。
【0057】
図５Ａおよび図５Ｂは、ＣＧの奥に位置する実物の机も可視化した図である。図５Ａでは、ＣＧのプリンタの奥に位置する実物の机から少し遠くに手５０１が位置するため、手５０１は強調処理が行われていない。図５Ｂでは、ＣＧのプリンタの奥に位置する実物の机に近くに手５０２が位置するため、手５０２は強調処理が行われている。
【0058】
図６のフローチャートを参照して、実施形態１に係る手の領域の強調処理を説明する。なお、以下では、合成画像（合成画像が表現する空間）において、手とＣＧ（仮想物体）が重畳する場合を前提について説明する。しかしながら、例えば、これ以外の場合（例えば、手とＣＧとが所定の距離よりも近い場合）などであっても、図６のフローチャートの処理が実行されてもよい。また、合成画像（合成画像が表現する空間）において、手とＣＧ（仮想物体）が重畳する場合以外には、手の領域の強調処理が行われなくてもよい。ステップＳ６０１では、本フローチャートが開始する。
【0059】
ステップＳ６０２では、距離画像取得部２１５は、撮像センサ２０２が取得した撮像画像に基づき、全体距離画像を取得する。もしくは、距離画像取得部２１５は、距離センサ２１０が取得した距離画像に基づき、全体距離画像を取得する。
【0060】
ステップＳ６０３では、空間マップ生成部２１６は、全体距離画像に基づき、現実空間のうち手を含まない空間の距離情報を示す空間マップを生成する。
【0061】
ステップＳ６０４では、ハンドマップ取得部２１２は、全体距離画像に基づき、ハンドマップを生成する。
【0062】
ステップＳ６０５では、マスク生成部２１４は、手の領域のマスクを生成する。
【0063】
ステップＳ６０６では、ＣＧ生成部２０９は、ＣＧを生成する。そして、ＣＧ生成部２０９は、手の領域のマスクを用いて、マスクの領域をＣＧから除外する。または、ＣＧ生成部２０９は、ＣＧのうち、マスクの領域を透明化する。
【0064】
ステップＳ６０７では、距離比較部２１３は、空間マップとハンドマップとに基づき、実物のオブジェクト（例えば、複数のオブジェクトのうち、手の奥（背後）に位置し、かつ、手に最も近いオブジェクト）と手との間の距離を算出する。
【0065】
ステップＳ６０８では、強調部２１７は、手から実物のオブジェクトまでの距離に応じて手の領域の表示の強調を制御する。なお、「手の領域の強調を制御する」とは、「手から実物のオブジェクトまでの距離に応じて手の領域の表示形態を制御する」と捉えててもよい。例えば、強調部２１７は、手から実物のオブジェクトまでの距離が短いほど、手の領域を明るくしたり、手の領域の色を特定の色に近づけたり、手の領域を大きくしたりする。
【0066】
ステップＳ６０８の処理は、合成画像が表す空間（ＭＲ空間）において、ＣＧが実物のオブジェクトの手前に重畳する場合にのみ、実行されてもよい。なお、実物のオブジェクトの少なくとも一部が合成画像に表示されている場合には、強調部２１７は、「手から実物のオブジェクトまでの距離に応じて手の領域の表示の強調を制御すること」を実行しなくてもよい。この場合には、ユーザは、合成画像を見ることによって、手と実物のオブジェクトとの間の位置関係を推測し得るので、強調の必要性が低下する。また、強調が行われないことによって、ユーザのＭＲへの没入感を向上させることもできる。
【0067】
ステップＳ６０９では、強調部２１７は、終了条件が満たされるか否かを判定する。終了条件が満たされないと判定された場合には、ステップＳ６０２に戻る。終了条件が満たされたと判定された場合には、ステップＳ６１０において本フローチャートの処理が終了する。なお、本フローチャートの処理が終了すると、ＣＧと撮像画像（手の領域の強調度合いが制御された撮像画像）とが合成された合成画像が合成部２０４によって生成されて、表示部２０６に合成画像が表示される。
【0068】
実施形態１によれば、ＨＭＤシステムは、「実物の手」と「ＣＧよりも奥に位置する実物のオブジェクト」との間の距離に応じて、手の強調表示を行う。このことによって、ＨＭＤシステムは、ＣＧに隠れている実物のオブジェクトとユーザの手が衝突しないように、ユーザに警告することが可能である。なお、実施形態１は、ＣＧの透過度を変更したり、ユーザに警告音を発することによって、没入感をなくしたりや作業を中断する方法を用いる必要がない。このため、ユーザは、ＭＲによるハンドマスク機能を体験することが可能な優れたＵＸを得られる。
【0069】
＜実施形態２＞
実施形態１では、手とオブジェクトとの間の距離に応じて、手の表示の強調度合いが制御された。しかしながら、手の代わりに、ユーザが自由に動かすことが可能な任意のオブジェクトが用いられてもよい。そこで、実施形態２では、ＨＭＤシステムは、「特定のオブジェクト（体の一部または操作部材）」と「特定のオブジェクト以外のオブジェクト」との間の距離に応じて、特定のオブジェクトの領域の強調処理を行う。以下、「特定のオブジェクト以外のオブジェクト」を、「一般オブジェクト」と呼ぶ。
実施形態１では、手とオブジェクトとの間の距離に応じて、手の表示の強調度合いが制御された。しかしながら、手の代わりに、ユーザが自由に動かすことが可能な任意のオブジェクトが用いられてもよい。そこで、実施形態２では、ＨＭＤシステムは、「特定のオブジェクト（体の一部または操作部材）」と「特定のオブジェクト以外のオブジェクト」との間の距離に応じて、特定のオブジェクトの領域の強調処理を行う。以下、「特定のオブジェクト以外のオブジェクト」を、「一般オブジェクト」と呼ぶ。
【0070】
図７は、実施形態２に係るＨＭＤシステムの構成を示す。ＨＭＤシステムは、光学系２０１、撮像センサ２０２、画像処理部２０３、合成部２０４、表示部２０６、カメラ制御部２０７、位置推定部２０８、ＣＧ生成部７０９、距離センサ２１０を有する。ＨＭＤシステムは、距離センサ制御部２１１、オブジェクトマップ取得部７１２、距離比較部７１３、マスク生成部７１４、距離画像取得部２１５、空間マップ生成部２１６、強調部７１７を有する。これらの構成のうち、図２に示す構成については、実施形態１で説明した処理が行われるため説明を省略する。
【0071】
オブジェクトマップ取得部７１２は、距離画像取得部２１５が取得した全体距離画像に基づき、特定のオブジェクトの領域の距離情報を示す画像（以下、「オブジェクトマップ」と呼ぶ）を取得する。特定のオブジェクトは、ユーザが予め指定したオブジェクトであってもよいし、ユーザの手に最も近いオブジェクトであってもよい。
【0072】
距離比較部７１３は、オブジェクトマップと空間マップとに基づき、特定のオブジェクトと一般オブジェクト（背景など）との間の距離を比較する。
【0073】
マスク生成部７１４は、オブジェクトマップに基づき、特定のオブジェクトの領域のマスクを生成する。
【0074】
ＣＧ生成部７０９は、位置推定部２０８が推定したＨＭＤの位置に基づき、ＣＧを生成する。そして、ＣＧ生成部７０９は、特定のオブジェクトの領域のマスクに基づき、特定のオブジェクトの領域にＣＧが重なると判定した場合には、特定のオブジェクトの領域に該当する範囲をＣＧから除外する。
【0075】
強調部７１７は、特定のオブジェクトと一般オブジェクトの間の距離（距離比較部７１３により算出された距離）に応じて、特定のオブジェクトの領域の強調度合いを制御する。
【0076】
図８Ａおよび図８Ｂは、実物の机の上に重ねて表示したＣＧのプリンタを、ドライバなどの操作部材（特定のオブジェクト）で触れる機能に関する図である。また、図８Ａおよび図８Ｂは、「実物のドライバなどの操作部材」と「ＣＧの裏に隠れている実物の机」の間の距離に応じて、操作部材の領域の強調表示を行って、ユーザに衝突の危険を知らせるＵＩに関する。
【0077】
図８Ａでは、ＣＧのプリンタの奥に位置する実物の机から少し遠くに操作部材８０１が位置しているため、操作部材８０１は強調処理が行われていない。一方で、図８Ｂでは、ＣＧのプリンタの奥に位置する実物の机の近くに操作部材８０２が位置しているため、操作部材８０２は強調処理が行われている。このように、実物の操作部材の領域の強調度合いによって、ユーザは、ＣＧの奥に位置する実物の机と操作部材との間の大まかな距離を把握することができる。
【0078】
図９Ａおよび図９Ｂは、実物の椅子の上に重ねて表示したＣＧの車の座席に乗る体験をする機能に関する図である。また、図９Ａおよび図９Ｂは、実物の足（体の一部）を特定のオブジェクトとして扱い、「ＣＧの裏に隠れている実物の椅子」と「実物の足」との間の距離に応じて、足の領域の強調表示を行う様子を説明する。
【0079】
図９Ａでは、ＣＧの車の奥に位置する実物の椅子から少し遠くに足９０１が位置するため、足９０１は強調処理が行われていない。図９Ｂでは、ＣＧのプリンタの奥に位置する実物の机に近くに足９０２が位置しているため、足９０２は強調処理が行われている。このように、実物の足の領域の強調度合いによって、ユーザは、ＣＧの奥に位置する実物の椅子と足との間の大まかな距離を把握することができる。
【0080】
【0081】
ステップＳ１００４では、オブジェクトマップ取得部７１２は、全体距離画像に基づき、オブジェクトマップを生成する。
【0082】
ステップＳ１００５では、マスク生成部７１４は、特定のオブジェクトの領域のマスクを生成する。
【0083】
ステップＳ１００６では、ＣＧ生成部７０９は、ＣＧを生成する。そして、ＣＧ生成部７０９は、特定のオブジェクトの領域のマスクを用いて、特定のオブジェクトの領域に対応する範囲をＣＧから除外する。
【0084】
ステップＳ１００７では、距離比較部７１３は、空間マップとオブジェクトマップとに基づき、特定のオブジェクトに最も近い実物のオブジェクト（一般オブジェクト）と特定のオブジェクトとの間の距離を算出する。
【0085】
ステップＳ１００８では、強調部７１７は、距離比較部７１３により算出された距離に応じて、特定のオブジェクトの領域の強調を制御する。例えば、強調部７１７は、特定のオブジェクトから一般オブジェクトまでの距離が短いほど、ユーザが把握しやすいように特定のオブジェクトを強調する。具体的には、強調部７１７は、特定のオブジェクトから一般オブジェクトまでの距離が短いほど、特定のオブジェクトの領域を明るくしたり、特定のオブジェクトを大きくしたりする。ステップＳ１００８の処理は、合成画像が表す空間（ＭＲ空間）において、ＣＧが一般オブジェクトの手前に重畳する場合にのみ、実行されてもよい。
【0086】
実施形態２によれば、ＨＭＤシステムは、「特定のオブジェクト（操作部材の一部または体の一部）」と「ＣＧの奥に位置する他のオブジェクト」との距離に応じて、特定のオブジェクトの強調表示を行う。このことで、ＨＭＤシステムは、ＣＧに隠れている実物と特定のオブジェクトが衝突しないように、ユーザに警告することが可能である。ＨＭＤシステムは、ＣＧの透過度を変更したり、ユーザに警告を発することによって、没入感をなくしたりや作業を中断する方法を用いない。このため、ＭＲによるハンドマスク機能をユーザが体験することが可能な優れたＵＸを提供可能になる。
【0087】
＜実施形態３＞
実施形態３では、ＨＭＤシステムは、手がＣＧよりも手前に位置する場合には、手の領域の強調表示を行う。ＨＭＤシステムは、手がＣＧよりも奥に位置しており、手が見えない場合には、手の強調表示を行わない。この場合には、ＨＭＤシステムは、距離に応じて
ハプティクスデバイスの振動強度を変更する、距離に応じて警告音の音量を変更する、または、距離に応じてＣＧの透過度を変更する。
実施形態３では、ＨＭＤシステムは、手がＣＧよりも手前に位置する場合には、手の領域の強調表示を行う。ＨＭＤシステムは、手がＣＧよりも奥に位置しており、手が見えない場合には、手の強調表示を行わない。この場合には、ＨＭＤシステムは、距離に応じて
ハプティクスデバイスの振動強度を変更する、距離に応じて警告音の音量を変更する、または、距離に応じてＣＧの透過度を変更する。
【0088】
図１１は、実施形態３に係るＨＭＤシステムの構成図を示す。実施形態３に係るＨＭＤシステムは、図７に示すＨＭＤシステムの構成に加えて、ハプティクス制御部１１１８、音声制御部１１１９、ハプティクスデバイス１１２０、スピーカー１１２１を有する。新たに追加された構成は、特定のオブジェクトがＣＧよりも奥に位置するために、合成画像において特定のオブジェクトが表示されない場合に、衝突の危険性の通知処理を実行する。ハプティクスデバイス１１２０、スピーカー１１２１、および表示部２０６は、ユーザへの衝突の危険性の通知を行う構成であるため、これらの構成を併せて「通知部」と呼ぶこともできる。以下では、ハプティクスデバイス１１２０、スピーカー１１２１、および表示部２０６が実行する衝突の危険性の通知処理を説明する３つの例を示す。
【0089】
１つ目の例（例１）として、ハプティクス制御部１１１８は、特定のオブジェクトと一般オブジェクトとの間の距離に応じて、ハプティクス強度（振動強度）の制御パターンを切り替える。ハプティクスデバイス１１２０は、切り替えられた制御パターンに応じた振動を行って、特定のオブジェクトとＣＧの背後にある一般オブジェクトとの衝突の危険をユーザに知らせる。
【0090】
２つ目の例（例２）として、音声制御部１１１９は、特定のオブジェクトと一般オブジェクトとの間の距離に応じて、スピーカー１１２１の出力の音量を切り替える。スピーカー１１２１は、切り替えた出力の音量に応じて、特定のオブジェクトとＣＧの背後にある一般オブジェクトとの衝突の危険をユーザに知らせる音声を発する。
【0091】
３つ目の例（例３）として、ＣＧ生成部７０９は、特定のオブジェクトと一般オブジェクトとの間の距離に応じて、ＣＧの透過度を変更する。合成部２０４は、透過度が変更されたＣＧを用いた合成を行う。表示部２０６は、透明度が変更されたＣＧを用いた合成画像を表示することによって、特定のオブジェクトとＣＧの背後にある一般オブジェクトとの衝突の危険をユーザに知らせる。
【0092】
このように、手などの特定のオブジェクトがＣＧより手前に位置する場合には、特定のオブジェクトの強調処理が行われる。一方で、手などの特定のオブジェクトがＣＧより後ろに位置する場合に、ハプティクス強度、音量、またはＣＧの透過度が変更される。このことによって、ＣＧにより手などが隠れて見えない場合においても、ＣＧの奥に位置する実物との衝突をユーザに知らせることができる。
【0093】
図１２のフローチャートを参照して、上記の例１の場合の実施形態３に係る処理を説明する。図１２のうち、図１０のフローチャートのステップと同名のステップでは、実施形態２と同様の処理が実行されるため、説明を省略する。
【0094】
ステップＳ１２０１では、距離比較部７１３は、特定のオブジェクトがＣＧに埋もれる（特定のオブジェクトがＣＧよりも奥に位置する）か否かを判定する。特定のオブジェクトがＣＧに埋もれると判定された場合には、ステップＳ１２０２に進む。特定のオブジェクトがＣＧに埋もれないと判定された場合には、ステップＳ１００５に進む。
【0095】
ステップＳ１２０２では、ハプティクス制御部１１１８は、距離比較部７１３により算出された距離に応じた振動強度を示すハプティクス信号を生成する。具体的には、ハプティクス制御部１１１８は、例えば、距離比較部７１３により算出された距離が短いほど、ハプティクス信号が示す振動強度を高くする。
【0096】
ステップＳ１２０３では、ハプティクス制御部１１１８は、生成したハプティクス信号をハプティクスデバイス１１２０に送信する。
【0097】
ステップＳ１２０４では、ハプティクスデバイス１１２０は、受信したハプティクス信号に応じた振動強度で振動する。
【0098】
図１３のフローチャートを参照して、上記の例２の場合の実施形態３に係る処理を説明する。図１３のうち、図１０のフローチャートのステップと同名のステップでは、実施形態２と同様の処理が実行されるため、説明を省略する。
【0099】
ステップＳ１３０１では、距離比較部７１３は、特定のオブジェクトがＣＧに埋もれる（特定のオブジェクトがＣＧよりも奥に位置する）か否かを判定する。特定のオブジェクトがＣＧに埋もれると判定された場合には、ステップＳ１３０２に進む。特定のオブジェクトがＣＧに埋もれないと判定された場合には、ステップＳ１００５に進む。
【0100】
ステップＳ１３０２では、音声制御部１１１９は、距離比較部７１３により算出された距離に応じた音量を示す音信号を生成する。具体的には、音声制御部１１１９は、例えば、距離比較部７１３により算出された距離が短いほど、音信号が示す音量を大きくする。
【0101】
ステップＳ１３０３では、音声制御部１１１９は、生成した音信号をスピーカー１１２１に送信する。
【0102】
ステップＳ１３０４では、スピーカー１１２１は、受信した音信号に応じた音量で、警告を示す音（音声）を出力する。
【0103】
図１４のフローチャートを参照して、上記の例３の場合の実施形態３に係る処理を説明する。図１４のうち、図１０のフローチャートのステップと同名のステップでは、実施形態２と同様の処理が実行されるため、説明を省略する。
【0104】
ステップＳ１４０１では、距離比較部７１３は、特定のオブジェクトがＣＧに埋もれる（特定のオブジェクトがＣＧよりも奥に位置する）か否かを判定する。特定のオブジェクトがＣＧに埋もれると判定された場合には、ステップＳ１４０２に進む。特定のオブジェクトがＣＧに埋もれないと判定された場合には、ステップＳ１００５に進む。
【0105】
ステップＳ１４０２では、ＣＧ生成部７０９は、生成したＣＧの透明度を、距離比較部７１３により算出された距離に応じて制御する。具体的には、ＣＧ生成部７０９は、例えば、距離比較部７１３により算出された距離が短いほど、ＣＧの透明度を高くする。
【0106】
ステップＳ１４０３では、ＣＧ生成部７０９は、透明度を制御したＣＧを合成部２０４に送信する。
【0107】
ステップＳ１４０４では、合成部２０４は、透明度を制御したＣＧと撮像画像とを合成して、合成画像を生成する。
【0108】
図１５Ａでは、手がＣＧより手前に位置しているため、手と「ＣＧの背後にある実物の机」との間の距離に応じて、手の領域の強調表示が行われている。図１５Ｂでは、手がＣＧより後ろに位置するため、手と「ＣＧの背後にある実物の机」の間の距離に応じて、指に装着されたハプティクスデバイス１１２０の振動強度が変更されている。このことで、図１５Ｂに示すように、ＣＧに手が隠れていても、ユーザは、ＣＧに隠れた手と実物の机までの距離を直感的に把握できる。
【0109】
図１６Ａでは、手がＣＧより手前に位置しているため、手と「ＣＧの背後にある実物の机」との間の距離に応じて、手の領域の強調表示が行われている。図１６Ｂでは、手がＣＧより後ろに位置するため、手と「ＣＧの背後にある実物の机」の間の距離に応じて、スピーカー１１２１からの警告音の音量が変更されている。このことで、図１６Ｂに示すように、ＣＧに手が隠れていても、ユーザは、ＣＧに隠れた手と実物の机までの距離を直感的に把握できる。
【0110】
図１７Ａでは、手がＣＧより手前に位置しているため、手と「ＣＧの背後にある実物の机」との間の距離に応じて、手の領域の強調表示が行われている。図１７Ｂでは、手がＣＧより後ろに位置するため、手と「ＣＧの背後にある実物の机」の間の距離に応じて、ＣＧの透過度が変更されている。このことで、図１７Ｂに示すように、ＣＧに手が隠れていても、ユーザは、ＣＧに隠れた手と実物の机までの距離を直感的に把握できる。
【0111】
実施形態３によれば、ＨＭＤシステムは、特定のオブジェクトがＣＧよりも後ろに位置しており、特定のオブジェクトが視認可能でない場合には、特定のオブジェクトの強調表示を行わない。この場合には、ＨＭＤシステムは、特定のオブジェクトと一般オブジェクトとの間の距離に応じてハプティクスデバイスの振動強度を変更する方法、当該距離に応じて警告音の音量を変更する方法、または、当該距離に応じてＣＧの透過度を変更する方法を用いる。このことによって、特定のオブジェクトがＣＧに隠れてしまった場合でも、ユーザは、特定のオブジェクトと他のオブジェクトとの距離を認識できる。ユーザは、特定のオブジェクトが他のオブジェクトに衝突する危険を回避できる。
【0112】
また、上記において、「ＡがＢ以上の場合にはステップＳ１に進み、ＡがＢよりも小さい（低い）場合にはステップＳ２に進む」は、「ＡがＢよりも大きい（高い）場合にはステップＳ１に進み、ＡがＢ以下の場合にはステップＳ２に進む」と読み替えてもよい。逆に、「ＡがＢよりも大きい（高い）場合にはステップＳ１に進み、ＡがＢ以下の場合にはステップＳ２に進む」は、「ＡがＢ以上の場合にはステップＳ１に進み、ＡがＢよりも小さい（低い）場合にはステップＳ２に進む」と読み替えてもよい。このため、矛盾が生じない限り、「Ａ以上」は、「Ａよりも大きい（高い；長い；多い）」と読み替えてよく、「Ａ以下」は、「Ａよりも小さい（低い；短い；少ない）」と読み替えてもよい。そして、「Ａよりも大きい（高い；長い；多い）」は、「Ａ以上」と読み替えてもよく、「Ａよりも小さい（低い；短い；少ない）」は「Ａ以下」と読み替えてもよい。
【0113】
なお、上述の各種制御は１つのハードウェア（例えばプロセッサーまたは回路）が行ってもよいし、そうでなくてもよい。複数のハードウェア（例えば、複数のプロセッサー、複数の回路、または１つ以上のプロセッサーと１つ以上の回路の組み合わせ）が処理を分担することで、装置全体の制御を行ってもよい。
【0114】
また、上記プロセッサーは、広義のプロセッサーであり、汎用のプロセッサーと専用のプロセッサーを含む。汎用のプロセッサーは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などである。専用のプロセッサーは、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などである。プログラマブル論理デバイスは、例えば、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などである。
【0115】
また、本発明の実施形態を詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【0116】
また、上述した実施形態においては、本発明をＨＭＤシステム（ＨＭＤ）に適用した場合を例にして説明したが、これはこの例に限定されず、撮像画像に画像処理を実行可能な電子機器または情報処理装置（情報処理システム）であれば適用可能である。電子機器または情報処理装置（情報処理システム）は、コンピュータ、スマートフォン、タブレット端末、デジタルカメラ、または、家電機器であってよい。
【0117】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路によっても実現可能である。
【0118】
上記の実施形態の開示は、以下の構成、方法、およびプログラムを含む。
（構成１）
第１のオブジェクトおよび第２のオブジェクトを含む現実空間を撮像した撮像画像を取得する取得手段と、
仮想物体を生成する生成手段と、
前記撮像画像と前記仮想物体とを合成して、合成画像を生成する合成手段と、
前記合成画像を表示するように表示手段を制御する表示制御手段と、
前記合成画像が表す空間において前記第２のオブジェクトの手前に前記仮想物体が重畳する第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じた通知をユーザに行う通知手段と、
を有することを特徴とする情報処理装置。
（構成２）
前記第２のオブジェクトは、前記現実空間における複数のオブジェクトのうち、前記第１のオブジェクトの背後に位置し、かつ、前記第１のオブジェクトに最も近いオブジェクトである、
ことを特徴とする構成１に記載の情報処理装置。
（構成３）
前記通知手段は、前記第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じて、前記第１のオブジェクトの表示の強調を制御することによって、前記通知を行う、
ことを特徴とする構成１または２に記載の情報処理装置。
（構成４）
前記通知手段は、前記第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離が短いほど、前記第１のオブジェクトの表示を強調する、
ことを特徴とする構成３に記載の情報処理装置。
（構成５）
前記通知手段は、前記第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じて、第１の装置の振動強度を制御することによって、前記通知を行う、
ことを特徴とする構成１から４のいずれかに記載の情報処理装置。
（構成６）
前記通知手段は、前記第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じて、第２の装置から発せられる警告音の音量を制御することによ
って、前記通知を行う、
ことを特徴とする構成１から５のいずれかに記載の情報処理装置。
（構成７）
前記通知手段は、前記第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じて、前記仮想物体の透過度を制御することによって、前記通知を行う、
ことを特徴とする構成１から６のいずれかに記載の情報処理装置。
（構成８）
前記第１のオブジェクトは、体の一部である、
ことを特徴とする構成１から７のいずれかに記載の情報処理装置。
（構成９）
前記第１のオブジェクトは、手である、
ことを特徴とする構成８に記載の情報処理装置。
（構成１０）
前記第１のオブジェクトは、操作部材の一部である、
ことを特徴とする構成１から７のいずれかに記載の情報処理装置。
（構成１１）
前記通知手段は、前記第１の場合において、
前記合成画像が表す空間において前記第１のオブジェクトが前記仮想物体の手前に重畳する第２の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じて、前記第１のオブジェクトの表示の強調を制御することによって、前記通知を行い、
前記合成画像が表す空間において前記仮想物体が前記第１のオブジェクトの手前に重畳する第３の場合には、前記第１のオブジェクトの表示の強調を制御する以外の方法により、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じた通知をユーザに行う、
ことを特徴とする構成１から１０のいずれかに記載の情報処理装置。
（構成１２）
前記通知手段は、前記第３の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じて、第１の装置の振動強度、第２の装置から発せられる警告音の音量、または、前記仮想物体の透過度を制御する、
ことを特徴とする構成１１に記載の情報処理装置。
（方法）
第１のオブジェクトおよび第２のオブジェクトを含む現実空間を撮像した撮像画像を取得する取得ステップと、
仮想物体を生成する生成ステップと、
前記撮像画像と前記仮想物体とを合成して、合成画像を生成する合成ステップと、
前記合成画像を表示するように表示手段を制御する表示制御ステップと、
前記合成画像が表す空間において前記第２のオブジェクトの手前に前記仮想物体が重畳する第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じた通知をユーザに行う通知ステップと、
を有することを特徴とする情報処理方法。
（プログラム）
コンピュータを、構成１から１２のいずれかに記載の情報処理装置の各手段として機能させるためのプログラム。
（構成１）
第１のオブジェクトおよび第２のオブジェクトを含む現実空間を撮像した撮像画像を取得する取得手段と、
仮想物体を生成する生成手段と、
前記撮像画像と前記仮想物体とを合成して、合成画像を生成する合成手段と、
前記合成画像を表示するように表示手段を制御する表示制御手段と、
前記合成画像が表す空間において前記第２のオブジェクトの手前に前記仮想物体が重畳する第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じた通知をユーザに行う通知手段と、
を有することを特徴とする情報処理装置。
（構成２）
前記第２のオブジェクトは、前記現実空間における複数のオブジェクトのうち、前記第１のオブジェクトの背後に位置し、かつ、前記第１のオブジェクトに最も近いオブジェクトである、
ことを特徴とする構成１に記載の情報処理装置。
（構成３）
前記通知手段は、前記第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じて、前記第１のオブジェクトの表示の強調を制御することによって、前記通知を行う、
ことを特徴とする構成１または２に記載の情報処理装置。
（構成４）
前記通知手段は、前記第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離が短いほど、前記第１のオブジェクトの表示を強調する、
ことを特徴とする構成３に記載の情報処理装置。
（構成５）
前記通知手段は、前記第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じて、第１の装置の振動強度を制御することによって、前記通知を行う、
ことを特徴とする構成１から４のいずれかに記載の情報処理装置。
（構成６）
前記通知手段は、前記第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じて、第２の装置から発せられる警告音の音量を制御することによ
って、前記通知を行う、
ことを特徴とする構成１から５のいずれかに記載の情報処理装置。
（構成７）
前記通知手段は、前記第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じて、前記仮想物体の透過度を制御することによって、前記通知を行う、
ことを特徴とする構成１から６のいずれかに記載の情報処理装置。
（構成８）
前記第１のオブジェクトは、体の一部である、
ことを特徴とする構成１から７のいずれかに記載の情報処理装置。
（構成９）
前記第１のオブジェクトは、手である、
ことを特徴とする構成８に記載の情報処理装置。
（構成１０）
前記第１のオブジェクトは、操作部材の一部である、
ことを特徴とする構成１から７のいずれかに記載の情報処理装置。
（構成１１）
前記通知手段は、前記第１の場合において、
前記合成画像が表す空間において前記第１のオブジェクトが前記仮想物体の手前に重畳する第２の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じて、前記第１のオブジェクトの表示の強調を制御することによって、前記通知を行い、
前記合成画像が表す空間において前記仮想物体が前記第１のオブジェクトの手前に重畳する第３の場合には、前記第１のオブジェクトの表示の強調を制御する以外の方法により、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じた通知をユーザに行う、
ことを特徴とする構成１から１０のいずれかに記載の情報処理装置。
（構成１２）
前記通知手段は、前記第３の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じて、第１の装置の振動強度、第２の装置から発せられる警告音の音量、または、前記仮想物体の透過度を制御する、
ことを特徴とする構成１１に記載の情報処理装置。
（方法）
第１のオブジェクトおよび第２のオブジェクトを含む現実空間を撮像した撮像画像を取得する取得ステップと、
仮想物体を生成する生成ステップと、
前記撮像画像と前記仮想物体とを合成して、合成画像を生成する合成ステップと、
前記合成画像を表示するように表示手段を制御する表示制御ステップと、
前記合成画像が表す空間において前記第２のオブジェクトの手前に前記仮想物体が重畳する第１の場合には、前記第１のオブジェクトと前記第２のオブジェクトとの間の距離に応じた通知をユーザに行う通知ステップと、
を有することを特徴とする情報処理方法。
（プログラム）
コンピュータを、構成１から１２のいずれかに記載の情報処理装置の各手段として機能させるためのプログラム。
【符号の説明】
【0119】
２０２：撮像センサ、２０９：ＣＧ生成部、２０４：合成部、
２０６：表示部
２０６：表示部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】