特開 2024-179618 表示プログラムおよび電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024179618

(43)【公開日】2024-12-26

(54)【発明の名称】表示プログラムおよび電子機器

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241219BHJP

   G06F 3/01 20060101ALI20241219BHJP

   G06F 3/04815 20220101ALI20241219BHJP

【ＦＩ】

G06T19/00 600

G06F3/01 510

G06F3/04815

【審査請求】未請求

【請求項の数】21

【出願形態】ＯＬ

(21)【出願番号】P 2023098602

(22)【出願日】2023-06-15

(71)【出願人】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】高階 知巳

(72)【発明者】

【氏名】安藤 良次

(72)【発明者】

【氏名】堀内 俊介

(72)【発明者】

【氏名】福本 研索

(72)【発明者】

【氏名】東 啓輔

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050CA08

5B050DA01

5B050EA07

5B050EA09

5B050EA19

5B050FA02

5B050FA05

5B050FA17

5E555AA22

5E555AA23

5E555AA27

5E555BA08

5E555BA87

5E555BB08

5E555BE16

5E555BE17

5E555CA42

5E555CB47

5E555DA08

5E555DA09

5E555DB57

5E555DC10

5E555DC11

5E555DC35

5E555DC37

5E555DD03

5E555DD08

5E555EA22

5E555FA00

(57)【要約】

【課題】仮想オブジェクトの視認性の向上を図ること。
【解決手段】電子機器は、３次元実空間を検出する検出部と、３次元仮想空間における仮想オブジェクトを表示画面に表示する表示部と、前記検出部によって検出された前記３次元実空間に存在する物体における３次元位置と、前記３次元仮想空間における前記仮想オブジェクトの３次元位置と、に基づいて、前記仮想オブジェクトの表示態様を変更する表示制御部と、を有する。
【選択図】図５

【特許請求の範囲】

【請求項1】

プロセッサに、
３次元実空間を検出する検出処理と、
３次元仮想空間における仮想オブジェクトを表示する表示画面を制御して、前記検出処理によって検出された前記３次元実空間に存在する物体における３次元位置と、前記３次元仮想空間における前記仮想オブジェクトの３次元位置と、に基づいて、前記仮想オブジェクトの表示態様を変更する表示制御処理と、
を実行させる表示プログラム。

【請求項2】

請求項１に記載の表示プログラムであって、
前記表示制御処理では、前記プロセッサに、前記検出処理によって検出された前記３次元実空間を前記３次元仮想空間として前記表示画面に表示させる、
表示プログラム。

【請求項3】

請求項１または２に記載の表示プログラムであって、
前記表示制御処理では、前記プロセッサに、前記仮想オブジェクトが前記表示画面の面方向で前記物体と重複する場合、前記仮想オブジェクトの表示態様を変更させる、
表示プログラム。

【請求項4】

請求項３に記載の表示プログラムであって、
前記表示制御処理では、前記プロセッサに、前記仮想オブジェクトの色情報を変更させる、
表示プログラム。

【請求項5】

請求項３に記載の表示プログラムであって、
前記表示制御処理では、前記プロセッサに、前記仮想オブジェクトのうち、少なくとも前記表示画面の面方向で重複する部分の透過率を変更させる、
表示プログラム。

【請求項6】

請求項３に記載の表示プログラムであって、
前記表示制御処理では、前記プロセッサに、前記仮想オブジェクトのうち、少なくとも前記表示画面の面方向で重複する部分を非表示にさせる、
表示プログラム。

【請求項7】

請求項３に記載の表示プログラムであって、
前記表示制御処理では、前記プロセッサに、前記仮想オブジェクトのうち、少なくとも前記表示画面の面方向で重複する部分を点滅させる、
表示プログラム。

【請求項8】

請求項３に記載の表示プログラムであって、
前記表示制御処理では、前記プロセッサに、前記仮想オブジェクトが前記表示画面の面方向で前記物体と重複状態であることを示す警告情報を表示させる、
表示プログラム。

【請求項9】

請求項３に記載の表示プログラムであって、
前記表示制御処理では、前記プロセッサに、前記仮想オブジェクトが、前記表示画面の奥行方向において前記物体と重複する、または前記物体よりも奥に位置する場合、前記仮想オブジェクトの表示態様を変更させる、
表示プログラム。

【請求項10】

請求項３に記載の表示プログラムであって、
前記表示制御処理では、前記プロセッサに、前記仮想オブジェクトが前記表示画面の奥行方向において前記物体よりも手前に位置する場合、前記仮想オブジェクトの表示態様を変更させる、
表示プログラム。

【請求項11】

請求項３に記載の表示プログラムであって、
前記プロセッサに、
前記仮想オブジェクトが前記複数の部分仮想オブジェクトに分割可能な構成であれば、前記仮想オブジェクトを前記複数の部分仮想オブジェクトに分割する分割処理を実行させる、
表示プログラム。

【請求項12】

請求項１１に記載の表示プログラムであって、
前記表示制御処理では、前記プロセッサに、前記分割処理によって分割された複数の部分仮想オブジェクトのうち、少なくとも前記面方向で前記物体と重複する前記部分仮想オブジェクトを前記物体と前記面方向で重複しない位置に表示させる、
表示プログラム。

【請求項13】

請求項３に記載の表示プログラムであって、
前記表示制御処理では、前記プロセッサに、前記仮想オブジェクトを、前記物体と前記面方向で重複しない位置に表示させる、
表示プログラム。

【請求項14】

請求項３に記載の表示プログラムであって、
前記表示制御処理では、前記プロセッサに、前記仮想オブジェクトを、前記物体よりも手前に表示させる、
表示プログラム。

【請求項15】

請求項３に記載の表示プログラムであって、
前記プロセッサに、
前記物体が作業対象物であるか否かを認識する認識処理を実行させ、
前記表示制御処理では、前記プロセッサに、前記仮想オブジェクトが前記表示画面の奥行方向において前記物体よりも手前に位置する場合で、かつ、前記認識処理によって前記物体が前記作業対象物であると認識された場合、前記仮想オブジェクトの表示態様を変更させる、
表示プログラム。

【請求項16】

請求項１に記載の表示プログラムであって、
前記プロセッサに、
前記検出処理によって検出された前記３次元実空間に存在する手が、前記３次元実空間に存在する特定被写体を保持しているか否かを認識する認識処理を実行させ、
前記表示制御処理では、前記プロセッサに、前記認識処理による認識結果に基づいて、前記仮想オブジェクトの表示態様を変更させる、
表示プログラム。

【請求項17】

請求項１６に記載の表示プログラムであって、
前記表示制御処理では、前記プロセッサに、前記３次元実空間に存在する前記手の３次元位置と、前記仮想オブジェクトの３次元位置に基づいて、前記仮想オブジェクトの表示態様を変更させる、
表示プログラム。

【請求項18】

請求項１６に記載の表示プログラムであって、
前記認識処理では、前記プロセッサに、前記３次元実空間に存在する前記手の形状が所定の形状である場合、または、前記３次元実空間における前記手の３次元位置および前記特定被写体の３次元位置が重複する場合、前記手が前記特定被写体を保持していると認識させる、
表示プログラム。

【請求項19】

請求項１６に記載の表示プログラムであって、
前記表示制御処理では、前記プロセッサに、前記認識処理によって、前記手が前記特定被写体を保持していると認識され、かつ、前記３次元実空間における前記手または前記特定被写体の３次元位置と前記３次元仮想空間における前記仮想オブジェクトの３次元位置の間の距離が所定の範囲であると認識された場合、前記仮想オブジェクトの表示態様を変更させる、
表示プログラム。

【請求項20】

請求項１６に記載の表示プログラムであって、
前記表示制御処理では、前記プロセッサに、前記認識処理によって、前記手が前記特定被写体を保持していると認識され、かつ、前記３次元実空間における前記手または前記特定被写体の３次元位置と前記３次元仮想空間における前記仮想オブジェクトの３次元位置の間の距離が所定の範囲であると認識された場合、前記仮想オブジェクトが操作不能であることを示す警告情報を表示させる、
表示プログラム。

【請求項21】

３次元実空間を検出する検出部と、
３次元仮想空間における仮想オブジェクトを表示画面に表示する表示部と、
前記検出部によって検出された前記３次元実空間に存在する物体における３次元位置と、前記３次元仮想空間における前記仮想オブジェクトの３次元位置と、に基づいて、前記仮想オブジェクトの表示態様を変更する表示制御部と、
を有する電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示プログラムおよび電子機器に関する。

【背景技術】

【0002】

液晶ディスプレイに表示される仮想空間の画像をハーフミラーで反射させることで、現実空間に仮想空間の画像を重ねて表示するゴーグル表示システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－８６１３０号公報

【発明の概要】

【0004】

第１開示技術の電子機器は、３次元実空間を検出する検出部と、３次元仮想空間における仮想オブジェクトを表示画面に表示する表示部と、前記検出部によって検出された前記３次元実空間に存在する物体における３次元位置と、前記３次元仮想空間における前記仮想オブジェクトの３次元位置と、に基づいて、前記仮想オブジェクトの表示態様を変更する表示制御部と、を有する。

【0005】

第２開示技術の表示プログラムは、プロセッサに、３次元実空間を検出する検出処理と、３次元仮想空間における仮想オブジェクトを表示する表示画面を制御して、前記検出処理によって検出された前記３次元実空間に存在する物体における３次元位置と、前記３次元仮想空間における前記仮想オブジェクトの３次元位置と、に基づいて、前記仮想オブジェクトの表示態様を変更する表示制御処理と、を実行させる。

【図面の簡単な説明】

【0006】

【図1】図１は、電子機器システムのシステム構成例を示す説明図である。

【図2】図２は、手の３次元位置データおよび形状データの一例を示す説明図である。

【図3】図３は、サーバのハードウェア構成例を示すブロック図である。

【図4】図４は、ヘッドマウントディスプレイのハードウェア構成例を示すブロック図である。

【図5】図５は、仮想物体表示態様変更例１を示す説明図である。

【図6】図６は、仮想物体表示態様変更例２を示す説明図である。

【図7】図７は、仮想物体表示態様変更例３を示す説明図である。

【図8】図８は、ヘッドマウントディスプレイによる表示態様変更処理手順例１を示すフローチャートである。

【図9】図９は、ヘッドマウントディスプレイによる表示態様変更処理手順例２を示すフローチャートである。

【図10】図１０は、仮想オブジェクトの分割例を示す説明図である。

【図11】図１１は、図９に示した仮想オブジェクトの分割処理（ステップＳ９０１）の詳細な処理手順例を示すフローチャートである。

【図12】図１２は、力学系を用いたレイアウトアルゴリズムの適用した場合の仮想オブジェクトの分割処理例を示す説明図である。

【図13】図１３は、仮想物体配置変更例１を示す説明図である。

【図14】図１４は、仮想物体配置変更例２を示す説明図である。

【図15】図１５は、ヘッドマウントディスプレイによる配置変更処理手順例１を示すフローチャートである。

【図16】図１６は、仮想オブジェクトの操作抑制例１を示す説明図である。

【図17】図１７は、仮想オブジェクトの操作抑制例２を示す説明図である。

【図18】図１８は、仮想オブジェクトの操作抑制処理手順例を示すフローチャートである。

【発明を実施するための形態】

【実施例0007】

＜電子機器システムのシステム構成例＞
図１は、電子機器システムのシステム構成例を示す説明図である。電子機器システム１００は、サーバ１０１と、ヘッドマウントディスプレイＤａ、Ｄｂと、複合装置１１２と、を有する。ヘッドマウントディスプレイＤａ、Ｄｂを区別しない場合は、ヘッドマウントディスプレイＤと表記する。

【0008】

サーバ１０１とヘッドマウントディスプレイＤとは、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワーク１３０を介して通信可能に接続される。

【0009】

指示者環境１１０には、ヘッドマウントディスプレイＤａと複合装置１１２と指示者Ｓ１、Ｓ２と第１作業対象物ＴａＲとが存在する。第１作業対象物ＴａＲの末尾の「Ｒ」は実物であることを強調するために付与した符号である。他の符号においても、実物であることを強調する場合には、末尾に「Ｒ」が付与される。

【0010】

指示者Ｓ１、Ｓ２を区別しない場合は指示者Ｓと表記する。ヘッドマウントディスプレイＤａは、指示者Ｓ１が装着する表示装置である。指示者Ｓ２は、ヘッドマウントディスプレイＤを装着していない。ヘッドマウントディスプレイＤは、カメラ１０２とディスプレイ１０３とを有する。なお、指示者環境１１０における指示者は、指示者Ｓ１と指示者Ｓ２のうちいずれか１人が存在していればよい。カメラ１０２は、３次元実空間を撮像し、３次元実空間（３次元実空間内の物体や背景を含む）の画像データをヘッドマウントディスプレイＤ内に出力する。３次元実空間の画像データが表示される空間を３次元仮想空間と称す。

【0011】

複合装置１１２は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラとハンドトラッカとを有する。ＴＯＦカメラは、指示者Ｓ２および第１作業対象物ＴａＲに対し、撮像と撮像した３次元実空間内の物体の測距とをおこなう。ハンドトラッカは、赤外線により指示者Ｓ２の手を検出し、手の形状を認識し、撮像した３次元実空間内における手の関節や指先などの特徴点の座標値を取得する。

【0012】

なお、ＴＯＦカメラおよびハンドトラッカは別々に設けられていてもよい。この場合、サーバ１０１は、ＴＯＦカメラが撮像した３次元実空間の座標原点を基準とするハンドトラッカの設置位置を認識しており、ハンドトラッカが検出した手の関節や指先などの特徴点の座標値をＴＯＦカメラが撮像した３次元実空間内の座標値となるように補正する。

【0013】

第１作業対象物ＴａＲは、指示者Ｓが作業指示を作業者Ｗに対して操作を実演するための装置の実物であり、たとえば、工作機械である。仮想第１作業対象物ＴａＶは、第１作業対象物ＴａＲの仮想的な３次元モデル（仮想オブジェクト）であり、ヘッドマウントディスプレイＤａが生成してディスプレイ１０３に表示され、指示者Ｓ１は視認可能である。

【0014】

仮想第１作業対象物ＴａＶの末尾の「Ｖ」は仮想オブジェクトであることを強調するために付与した符号である。他の符号においても、仮想オブジェクトであることを強調する場合には、末尾に「Ｖ」が付与される。第１作業対象物ＴａＲおよび仮想第１作業対象物ＴａＶを区別しない場合は、第１作業対象物Ｔａと表記する。

【0015】

３次元実空間である作業者環境１２０には、ヘッドマウントディスプレイＤｂと作業者Ｗと第２作業対象物ＴｂＲとが存在する。ヘッドマウントディスプレイＤｂは、作業者Ｗが装着する表示装置である。第２作業対象物ＴｂＲは、作業者Ｗが操作する装置の実物であり、たとえば、第１作業対象物ＴａＲと同種の工作機械である。

【0016】

第１作業対象物Ｔａおよび第２作業対象物Ｔｂを区別しない場合は、作業対象物Ｔと表記する。なお、指示者Ｓおよび作業者Ｗを区別しない場合は、ユーザＳ／Ｗと表記する。なお、第１作業対象物ＴａＲは、第２作業対象物ＴｂＲに対して形状等が簡略化されていてもよい。

【0017】

カメラ１０２は、可視光域の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光を電気信号に変換するとともに、たとえば、ＴＯＦ方式により被写体までの距離を取得する撮像素子（ＲＧＢ－Ｄカメラ）である。カメラ１０２は、被写体の撮像面上の平面位置と被写体までの距離とにより、被写体の３次元位置を取得する。

【0018】

ディスプレイ１０３は、表示画面を有する。また、ディスプレイ１０３の方式がビデオ透過型（ビデオシースルー）であれば、カメラ１０２で撮像または再生された動画を表示画面に表示する。一方、ディスプレイ１０３の方式が光学透過型（光学シースルー）であれば、ユーザは、目の前の実物を視認でき、それに重畳して仮想データを表示させることができる。

【0019】

図２は、手の３次元位置データおよび形状データの一例を示す説明図である。（Ａ）は、ユーザの手Ｈを撮像したローカル３次元座標系２００における手Ｈの３次元位置データ２０１を示す。（Ｂ）は、ユーザの手Ｈを撮像したローカル３次元座標系２００における手Ｈの形状データ２０２を示す。

【0020】

なお、指示者Ｓの手Ｈを手Ｈａと表記し、作業者Ｗの手Ｈを手Ｈｂと表記する。手Ｈの左右を区別する場合は、符号の末尾にｒ、ｌを付与する。たとえば、指示者Ｓの右手は、Ｈａｒと表記し、指示者Ｓの左手は、Ｈａｌと表記する。

【0021】

ユーザの手Ｈの３次元位置データ２０１は、画像に加えて距離情報を取得できるＲＧＢ－Ｄカメラであるカメラ１０２から取得される。ユーザの手Ｈの３次元位置データ２０１は、ユーザの手Ｈの特徴点の集合である。特徴点は３次元座標値を有する。特徴点は、たとえば、ユーザの手Ｈの指先および関節である骨格点である。特徴点は、ユーザの手Ｈの輪郭を構成する点でもよい。

【0022】

手Ｈの形状データ２０２は、手Ｈの３次元位置を示す３次元位置データ２０１から生成される。具体的には、たとえば、３次元位置データ２０１が手Ｈの骨格点の集合である場合、手Ｈの骨格に沿うように骨格点を連結し、骨格点および骨格点間のリンクに所定の幅を持たせて手Ｈの輪郭を生成することで、手Ｈの形状データ２０２が生成される。また、３次元位置データ２０１が手Ｈの輪郭を構成する点の集合である場合、隣り合う点を連結することにより、手Ｈの形状データ２０２が生成される。なお、手Ｈの仮想データとして、骨格点間のリンクに所定の幅を持たせることなく、骨格点間をリンクさせたリンクモデルとして構成してもよい。

【0023】

なお、ヘッドマウントディスプレイＤは、物体の特徴点から、機械学習や形状のパターンマッチングを用いた既存の物体認識を実行可能である。また、ヘッドマウントディスプレイＤが、物体の特徴点をサーバ１０１に送信し、サーバ１０１が物体の特徴点から物体認識を実行し、ヘッドマウントディスプレイＤに物体認識結果を送信してもよい。

【0024】

＜サーバ１０１のハードウェア構成例＞
図３は、サーバ１０１のハードウェア構成例を示すブロック図である。サーバ１０１は、プロセッサ３０１と、記憶デバイス３０２と、入力デバイス３０３と、出力デバイス３０４と、通信インターフェース（通信ＩＦ）３０５と、を有する。プロセッサ３０１、記憶デバイス３０２、入力デバイス３０３、出力デバイス３０４、および通信ＩＦ３０５は、バス３０６により接続される。プロセッサ３０１は、サーバ１０１を制御する。記憶デバイス３０２は、プロセッサ３０１の作業エリアとなる。また、記憶デバイス３０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス３０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス３０３は、データを入力する。入力デバイス３０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナ、マイク、センサがある。出力デバイス３０４は、データを出力する。出力デバイス３０４としては、たとえば、ディスプレイ、プリンタ、スピーカがある。通信ＩＦ３０５は、ネットワーク１３０と接続し、データを送受信する。

【0025】

＜ヘッドマウントディスプレイＤのハードウェア構成例＞
図４は、ヘッドマウントディスプレイＤのハードウェア構成例を示すブロック図である。ヘッドマウントディスプレイＤは、プロセッサ３０１、記憶デバイス３０２、通信ＩＦ３０５、およびバス３０６のほか、操作デバイス４０３、ディスプレイ１０３、カメラ１０２、マイク４０４およびスピーカ４０５を有する。

【0026】

操作デバイス４０３は、指示者Ｓまたは作業者Ｗの操作により、カメラ１０２で撮像する動画の記録の開始、停止および一時停止、記録された動画の再生の開始、停止および一時停止など各種入力を受け付ける。なお、操作デバイス４０３は、カメラ１０２が撮像する静止画の記録等を受け付けてもよい。

【0027】

マイク４０４は、ヘッドマウントディスプレイＤの周囲の音声を電気信号に変換してヘッドマウントディスプレイＤ内部に入力する。スピーカ４０５は、音声に関する電気信号を音声に変換してヘッドマウントディスプレイＤ外部に出力する。

【0028】

なお、ヘッドマウントディスプレイＤ間では、直接通信されてもよく、サーバ１０１経由で通信されてもよい。

【0029】

なお、カメラ１０２は、３次元実空間を検出する検出部として機能する。ディスプレイ１０３は、３次元仮想空間における仮想オブジェクトを表示画面に表示する表示部として機能する。記憶デバイス３０２に記憶されたプログラムをプロセッサ３０１が実行することにより実現する機能として、表示制御部と、認識部と、分割部と、がある。

【0030】

表示制御部は、３次元実空間に存在する物体における３次元位置と、３次元仮想空間における仮想オブジェクトの３次元位置と、に基づいて、仮想オブジェクトの表示態様を変更する。

【0031】

認識部は、物体が作業対象物であるか否かを認識する。表示制御部による表示制御の詳細および認識部による認識の詳細は、図５～図１８で後述する。

【0032】

分割部は、仮想オブジェクトが複数の部分仮想オブジェクトに分割可能な構成であれば、仮想オブジェクトを前記複数の部分仮想オブジェクトに分割する。分割部による分割の詳細は、図１０～図１２で後述する。

【0033】

なお、以降の図面において、３次元実空間における実物と、実物がヘッドマウントディスプレイＤのカメラ１０２で撮像されてディスプレイ１０３に表示される３次元仮想空間におけるオブジェクトとを区別するため、実物の符号を（）で囲むことでオブジェクトとして表記する。たとえば、ユーザの実物の右手Ｈｒのオブジェクトは右手（Ｈｒ）と表記し、実物の左手Ｈｌのオブジェクトは左手（Ｈｌ）と表記し、実物の作業対象物Ｔのオブジェクトは作業対象物（Ｔ）と表記する。なお、カメラ１０２で撮像されずにヘッドマウントディスプレイＤで生成されてディスプレイ１０３に表示されるオブジェクトについては、符号を（）で囲まずに表記する。

【0034】

＜仮想物体表示態様変更＞
図５は、仮想物体表示態様変更例１を示す説明図である。図５は、作業対象物Ｔが存在する３次元実空間５００Ｒにおいて、ヘッドマウントディスプレイＤを装着したユーザＳ／Ｗが、ヘッドマウントディスプレイＤのカメラ１０２により作業対象物Ｔおよびその周囲を撮像した状態を示す。３次元撮像空間５００Ｉは、当該撮像によりヘッドマウントディスプレイＤのディスプレイ１０３に表示される３次元実空間５００Ｒの３次元画像であり、世界座標系５０１により規定される。

【0035】

世界座標系５０１は、互いに直交しあうＸ軸、Ｙ軸およびＺ軸によって規定される座標系である。Ｘ軸、Ｙ軸およびＺ軸の交点を原点とする。Ｘ軸、Ｙ軸およびＺ軸の終端（矢頭がある端部）側をプラス方向、始端（矢頭がない端部）側をマイナス方向とする。たとえば、Ｚ軸であれば、Ｚプラス方向は、Ｚ軸の始端から終端に向かう方向であり、Ｚマイナス方向は、Ｚ軸の終端から始端に向かう方向である。Ｘ軸、Ｙ軸についても同様である。プラス方向およびマイナス方向を区別しない場合は、単に、Ｘ方向、Ｙ方向、Ｚ方向と称す。また、Ｘ軸およびＹ軸で張られる平面をＸＹ平面と称す。Ｘ軸およびＺ軸の場合はＸＺ平面、Ｙ軸およびＺ軸の場合はＹＺ平面と称す。

【0036】

ＸＹ平面は、ディスプレイ１０３の画面に対応する。Ｚ軸は、ディスプレイ１０３の画面の奥行に対応する。

【0037】

仮想オブジェクト５０２Ａ，５０２Ｂは、透過度が異なる同一内容のコンテンツである。具体的には、たとえば、仮想オブジェクト５０２Ａは、仮想オブジェクト５０２Ｂよりも透過度が低い。仮想オブジェクト５０２Ａ，５０２Ｂを区別しない場合は、単に、仮想オブジェクト５０２と表記する。

【0038】

仮想オブジェクト５０２は、ユーザＳ／Ｗが作業対象物Ｔを操作するためのテキストや画像データを含む操作マニュアルの電子データである。仮想オブジェクト５０２は、３次元撮像空間５００Ｉ内において、自動的に、または、ユーザＳ／Ｗの手（Ｈ）の動きの検出結果にしたがって、ページ捲り、拡大、縮小、移動、回転が可能である。

【0039】

ヘッドマウントディスプレイＤは、ディスプレイ１０３に表示された仮想オブジェクト５０２を表示させるための不図示の項目をユーザＳ／Ｗの手（Ｈ）が選択することにより、仮想オブジェクト５０２Ａを３次元撮像空間５００Ｉに表示する。

【0040】

また、ヘッドマウントディスプレイＤは、作業対象物Ｔの形状や色、寸法といった特徴情報と仮想オブジェクト５０２とを関連付けた関連情報を参照して、既存の物体認識により作業対象物（Ｔ）の特徴情報を特定し、特定した作業対象物（Ｔ）に関連する仮想オブジェクト５０２を取得して、３次元撮像空間５００Ｉに表示してもよい。なお、関連情報は、ヘッドマウントディスプレイＤの記憶デバイス３０２に記憶されていてもよく、サーバ１０１の記憶デバイス３０２に記憶されていてもよい。

【0041】

図５（Ａ）に示すように、仮想オブジェクト５０２は、３次元撮像空間５００Ｉ内において、あらかじめ設定されたデフォルト位置に表示される。図５（Ａ）では、ユーザＳ／Ｗから見て３次元撮像空間５００Ｉの奥行を示すＺ方向において、仮想オブジェクト５０２は、作業対象物（Ｔ）よりも手前（より具体的には、作業対象物（Ｔ）の最も手前側の面（５０３）よりも手前）に位置し、かつ、ＸＹ平面において作業対象物（Ｔ）と重複する。この場合、ユーザＳ／Ｗは、Ｚ方向において、作業対象物（Ｔ）のうち、仮想オブジェクト５０２とＸＹ平面において重複する部分を視認できない。このため、作業対象物（Ｔ）を操作しようとするときに仮想オブジェクト５０２の存在により作業対象物（Ｔ）の視認性が落ち、作業対象物（Ｔ）の操作性が悪化することになる。

【0042】

そこで、図５（Ｂ）に示すように、ヘッドマウントディスプレイＤは、図５（Ａ）のような仮想オブジェクト５０２Ａと作業対象物（Ｔ）との配置関係を検出すると、仮想オブジェクト５０２Ａの透過度を作業対象物（Ｔ）が視認できる程度まで上げて、仮想オブジェクト５０２Ｂに変換する。

【0043】

作業対象物（Ｔ）が視認できる程度の透過度とは、たとえば、仮想オブジェクト５０２Ａと作業対象物（Ｔ）との重複部分において、作業対象物（Ｔ）が仮想オブジェクト５０２に隠蔽されずに表示され、かつ、仮想オブジェクト５０２が消失しない範囲内での仮想オブジェクト５０２の透過率である。これにより、ユーザＳ／Ｗは、作業対象物（Ｔ）のうち、仮想オブジェクト５０２ＢとＸＹ平面において重複する部分も視認することができる。なお、仮想オブジェクト５０２Ａの透過度を作業対象物（Ｔ）が視認できる程度まで上げる代わりに、作業対象物（ＴＡ）の透過度を作業対象物（Ｔ）が視認できる程度まで下げてもよい。

【0044】

このように、作業対象物（Ｔ）のうち、仮想オブジェクト５０２Ａに隠れた重複部分の視認が容易になるため、作業対象物（Ｔ）の操作性を向上させることができる。また、３次元撮像空間５００Ｉ内の仮想オブジェクト５０２Ｂと３次元実空間５００Ｒの作業対象物Ｔとの相対位置の把握が容易になる。したがって、仮想オブジェクト５０２Ａを操作しようとするときに、手Ｈや手Ｈに保持している工具と作業対象物Ｔとの意図しない干渉を抑制することができ、手Ｈの負傷や、工具および作業対象物Ｔの破損を抑制することができる。

【0045】

なお、図５では、ヘッドマウントディスプレイＤは、仮想オブジェクト５０２Ａの全体の透過度を上げて仮想オブジェクト５０２Ｂに変換したが、仮想オブジェクト５０２Ａのうち、ＸＹ平面において作業対象物（Ｔ）との重複する部分のみの透過度を上げて仮想オブジェクト５０２Ｂに変換してもよい。

【0046】

また、ヘッドマウントディスプレイＤは、仮想オブジェクト５０２Ａの全体またはＸＹ平面における作業対象物（Ｔ）との重複部分の透過度を上げるのではなく、仮想オブジェクト５０２Ａを色変換してもよい。この場合、ユーザＳ／Ｗは、色変換された仮想オブジェクト５０２Ｂにより重複部分の作業対象物（Ｔ）を視認できないが、ＸＹ平面において仮想オブジェクト５０２Ｂおよび作業対象物（Ｔ）が重複していることを視認することができる。

【0047】

また、色変換の場合、ヘッドマウントディスプレイＤは、ユーザＳ／Ｗに注意喚起するために、仮想オブジェクト５０２Ｂの色変換された重複部分の色を点滅させてもよい。

【0048】

また、ヘッドマウントディスプレイＤは、仮想オブジェクト５０２Ａを非表示にしてもよい。具体的には、たとえば、ヘッドマウントディスプレイＤは、３次元撮像空間５００Ｉから仮想オブジェクト５０２Ａを削除してもよく、仮想オブジェクト５０２Ａが消失する透過率に設定してもよい。この場合、仮想オブジェクト５０２Ａのうち、ＸＹ平面において作業対象物（Ｔ）との重複する部分のみを仮想オブジェクト５０２Ａが消失する透過率に設定してもよい。

【0049】

図６は、仮想物体表示態様変更例２を示す説明図である。図５と異なり、ユーザＳ／Ｗから見て３次元撮像空間５００Ｉの奥行を示すＺ方向において、仮想オブジェクト５０２Ａが、作業対象物（Ｔ）よりも奥（より具体的には、作業対象物（Ｔ）の最も手前側の面（５０３）よりも奥）に位置し、かつ、ＸＹ平面において作業対象物（Ｔ）と重複する。この場合、ユーザＳ／Ｗは、Ｚ方向において、仮想オブジェクト５０２のうち、作業対象物（ＴＡ）とＸＹ平面において重複する部分は作業対象物（ＴＡ）と重なった状態で視認することになる。

【0050】

このため、図６（Ｂ）に示すように、ヘッドマウントディスプレイＤは、図６（Ａ）のような仮想オブジェクト５０２Ａと作業対象物（ＴＡ）との配置関係を検出すると、仮想オブジェクト５０２Ａの透過度を仮想オブジェクト５０２Ａが視認できなくなる程度まで上げて、仮想オブジェクト５０２Ｂに変換する。

【0051】

仮想オブジェクト５０２が視認できなくなる程度の透過度とは、たとえば、仮想オブジェクト５０２と作業対象物（Ｔ）との重複部分において、仮想オブジェクト５０２Ａのコンテンツの内容を認識できない程度の透過率である。これにより、ユーザＳ／Ｗは、仮想オブジェクト５０２のうち、作業対象物（ＴＢ）とＸＹ平面において重複する部分を視認することができなくなる。なお、仮想オブジェクト５０２Ａの透過度を仮想オブジェクト５０２が視認できなくなる程度まで上げる代わりに、作業対象物（Ｔ）の透過度を仮想オブジェクト５０２が視認できなくなる程度まで下げてもよい。

【0052】

これにより、ユーザＳ／Ｗは、仮想オブジェクト５０２Ａのうち、作業対象物（Ｔ）とＸＹ平面において重複する部分については仮想オブジェクト５０２Ａや仮想オブジェクト５０２Ａのコンテンツを視認できなくなるため、仮想オブジェクト５０２Ａの操作を行うことがない。この結果、仮想オブジェクト５０２を操作しようとして、手Ｈや手Ｈに保持している工具と作業対象物Ｔとの意図しない干渉を抑制することができ、手Ｈの負傷や、工具および作業対象物Ｔの破損を抑制することができる。また、操作対象である作業対象物（Ｔ）の視認性の向上を図ることができる。

【0053】

なお、仮想オブジェクト５０２Ａの透過度を仮想オブジェクト５０２Ａが視認できなくなる程度まで上げる代わりに、仮想オブジェクト５０２Ａの透過度を仮想オブジェクト５０２が視認できる程度まで上げてもよい。仮想オブジェクト５０２Ａが視認できる程度の透過度とは、たとえば、仮想オブジェクト５０２Ａと作業対象物（Ｔ）との重複部分において、仮想オブジェクト５０２Ａのコンテンツを認識できる程度の透過率である。これにより、ユーザＳ／Ｗは、作業対象物（ＴＢ）、および仮想オブジェクト５０２のうち、作業対象物（ＴＢ）とＸＹ平面において重複する部分のいずれも良好に視認することができる。

【0054】

なお、図６では、ヘッドマウントディスプレイＤは、仮想オブジェクト５０２Ａの全体の透過度を上げて仮想オブジェクト５０２Ｂに変換したが、仮想オブジェクト５０２Ａのうち、ＸＹ平面において仮想オブジェクト５０２との重複する部分のみの透過度を上げて仮想オブジェクト５０２Ｂに変換してもよい。

【0055】

また、ヘッドマウントディスプレイＤは、作業対象物（ＴＡ）の全体またはＸＹ平面における仮想オブジェクト５０２との重複部分の透過度を上げるのではなく、作業対象物（ＴＡ）を色変換してもよい。この場合、ユーザＳ／Ｗは、色変換された作業対象物（ＴＢ）により重複部分の仮想オブジェクト５０２を視認できないが、ＸＹ平面において重複していることを視認することができる。

【0056】

また、色変換の場合、ヘッドマウントディスプレイＤは、ユーザＳ／Ｗに注意喚起するために、作業対象物（ＴＢ）の色変換された重複部分の色を点滅させてもよい。

【0057】

図７は、仮想物体表示態様変更例３を示す説明図である。図７は、仮想オブジェクト５０２を分割する例を示す。仮想オブジェクト５０２は、複数のブロックが結合されたデータ構造を有し、ブロック単位で分割可能である。図７では、仮想オブジェクト５０２は２分割される。分割された一方のデータを分割仮想オブジェクト５０２ｄ１、他方を分割仮想オブジェクト５０２ｄ２と称す。なお、図７では、２分割としたが、３分割以上でもよい。

【0058】

（Ａ）は、図６の（Ａ）と同じ状態を示す。（Ｂ）に示すように、ヘッドマウントディスプレイＤは、（Ａ）のような仮想オブジェクト５０２と作業対象物（ＴＡ）との配置関係を検出すると、ＸＹ平面方向において、仮想オブジェクト５０２を分割仮想オブジェクト５０２ｄ１，５０２ｄ２に分割し、作業対象物（Ｔ）と重複しないように、分割仮想オブジェクト５０２ｄ１，５０２ｄ２をＸＹ平面方向に移動させる。

【0059】

このように、仮想オブジェクト５０２を分割することで、ユーザＳ／Ｗは、作業対象物（Ｔ）と重なって表示されることなく、分割仮想オブジェクト５０２ｄ１，５０２ｄ２を視認することができることから、仮想オブジェクト５０２のコンテンツを容易に把握することができる。また、仮想オブジェクト５０２を操作しようとして、手Ｈや手Ｈに保持している工具と作業対象物Ｔとの意図しない干渉を抑制することができ、手Ｈの負傷や、工具および作業対象物Ｔの破損を抑制することができる。さらに、作業対象物（Ｔ）が仮想オブジェクト５０２と重なって表示されることがないため、作業対象物（Ｔ）の操作性を向上させることができる。

【0060】

なお、図７では、仮想オブジェクト５０２が、作業対象物（Ｔ）よりも奥（より具体的には、作業対象物（Ｔ）の最も手前側の面（５０３）よりも奥）に位置し、かつ、ＸＹ平面において作業対象物（Ｔ）と重複する場合について、ヘッドマウントディスプレイＤは、仮想オブジェクト５０２を分割したが、仮想オブジェクト５０２が、作業対象物（Ｔ）よりも手前（より具体的には、作業対象物（Ｔ）の最も手前側の面（５０３）よりも手前）に位置し、かつ、ＸＹ平面において作業対象物（Ｔ）と重複する場合についても、ヘッドマウントディスプレイＤは、仮想オブジェクト５０２を分割してもよい。

【0061】

＜表示態様変更処理手順＞
図８は、ヘッドマウントディスプレイＤによる表示態様変更処理手順例１を示すフローチャートである。図９は、ヘッドマウントディスプレイＤによる表示態様変更処理手順例２を示すフローチャートである。ヘッドマウントディスプレイＤは、カメラ１０２で撮像したローカル３次元座標系２００における３次元撮像空間５００Ｉの物体の特徴点を取得する（ステップＳ８０１）。

【0062】

ヘッドマウントディスプレイＤは、ステップＳ８０１で取得した３次元撮像空間５００Ｉの物体の特徴点を世界座標系５０１の特徴点に座標変換する（ステップＳ８０２）。ローカル３次元座標系２００の座標点から世界座標系５０１の座標点への変換行列は、あらかじめ設定されているものとする。

【0063】

ヘッドマウントディスプレイＤは、世界座標系５０１での仮想オブジェクト（たとえば、仮想オブジェクト５０２）を取得する（ステップＳ８０３）。

【0064】

ヘッドマウントディスプレイＤは、３次元撮像空間５００Ｉの物体と仮想オブジェクトとが世界座標系５０１のＸＹ平面方向において重複するか否かを判定する（ステップＳ８０４）。

【0065】

３次元撮像空間５００Ｉの物体と仮想オブジェクトとがＸＹ平面方向において重複しない場合（ステップＳ８０４：Ｎｏ）、ヘッドマウントディスプレイＤは、３次元撮像空間５００Ｉの物体と仮想オブジェクトとを３次元撮像空間５００Ｉに表示して（ステップＳ８０５）、一連の処理を終了する。

【0066】

一方、３次元撮像空間５００Ｉの物体と仮想オブジェクトとがＸＹ平面方向において重複する場合（ステップＳ８０４：Ｙｅｓ）、ヘッドマウントディスプレイＤは、Ｚ方向において、仮想オブジェクトが３次元撮像空間５００Ｉの物体よりも手前に位置するか否かを判定する（ステップＳ８０６）。具体的には、たとえば、ヘッドマウントディスプレイＤは、仮想オブジェクトが３次元撮像空間５００Ｉの物体のＺ方向における最も手前側の面（たとえば、作業対象物（Ｔ）の面（５０３））よりも手前に位置するか否かを判定する。

【0067】

仮想オブジェクトが３次元撮像空間５００Ｉの物体よりも手前にある場合（ステップＳ８０６：Ｙｅｓ）、ヘッドマウントディスプレイＤは、３次元撮像空間５００Ｉの物体が作業対象物であるか否かを判定する（ステップＳ８０７）。この判定処理は、ヘッドマウントディスプレイＤのカメラ１０２が撮像した画像データを学習モデルに入力することにより実行される。

【0068】

この学習モデルは、作業対象物名と、ＣＡＤデータを基にして作成される作業対象物についての複数方向の画像データとをセットにした教師データセットにより学習された識別モデルであり、記憶デバイス３０２に記憶されている。なお、教師データセットは、複数種あってもよい。

【0069】

ユーザＳ／Ｗは、作業を行う前に作業対象物名を指定する。カメラ１０２は、作業を行う物体を撮像し、プロセッサ３０１が、カメラ１０２が撮像した画像データを学習モデルに入力すると、学習モデルは、撮像した画像データに含まれる複数の物体の中から学習された作業対象物に対応する物体を特定し、特定された画像データとセットで学習された作業物体名を出力する。

【0070】

ユーザＳ／Ｗが作業を行う前に指定した作業対象物名と学習モデルから出力された作業対象物名とが一致した場合、プロセッサ３０１は、３次元撮像空間５００Ｉの物体が作業対象物であると判定する。なお、撮像した画像データに作業対象物が複数種含まれている場合、学習モデルは対応する複数種の作業対象物名を出力してもよい。

【0071】

この判定処理は、具体的には、たとえば、ヘッドマウントディスプレイＤは、物体認識により３次元撮像空間５００Ｉ内の物体を認識する。ヘッドマウントディスプレイＤは、当該認識物体およびユーザＳ／Ｗの手（Ｈ）が、３次元撮像空間５００ＩのＸＹ平面上で重複し、かつ、ユーザＳ／Ｗの手（Ｈ）の特定のゼスチャ（たとえば、手（Ｈ）が認識物体の１以上の頂点と干渉するようなゼスチャ）を検出した場合に、当該認識物体を作業対象物（Ｔ）に決定する。

【0072】

また、ヘッドマウントディスプレイＤは、手（Ｈ）が認識物体と重複していなくても、ユーザＳ／Ｗの手（Ｈ）が当該認識物体を包含する図形を３次元撮像空間５００ＩのＸＹ平面上に描くようなゼスチャを検出した場合に、当該認識物体を作業対象物（Ｔ）に決定してもよい。

【0073】

ステップＳ８０７において、物体が作業対象物（Ｔ）でないと判定された場合（ステップＳ８０７：Ｎｏ）、ヘッドマウントディスプレイＤは、３次元撮像空間５００Ｉの物体と仮想オブジェクト５０２とを３次元撮像空間５００Ｉに表示して（ステップＳ８０５）、一連の処理を終了する。

【0074】

一方、ステップＳ８０７において、物体が作業対象物（Ｔ）であると判定された場合（ステップＳ８０７：Ｙｅｓ）、ヘッドマウントディスプレイＤは、仮想オブジェクト５０２が分割可能であるか否かを判定する（ステップＳ８０８）。仮想オブジェクト５０２が複数ブロックで構成されていれば、仮想オブジェクト５０２は分割可能である。仮想オブジェクト５０２が分割可能である場合（ステップＳ８０８：Ｙｅｓ）、図９に移行する。

【0075】

なお、仮想オブジェクト５０２が分割可能（ステップＳ８０８：Ｙｅｓ）であっても、ヘッドマウントディスプレイＤは、３次元撮像空間５００Ｉの物体／作業対象物（Ｔ）と仮想オブジェクト５０２との表示態様変更を選択することを示す手（Ｈ）のゼスチャを検出した場合には、ヘッドマウントディスプレイＤは、図９の処理に移行せずに、ステップＳ８０９の処理を実行してもよい。

【0076】

ステップＳ８０８において、仮想オブジェクト５０２が分割可能でない場合（ステップＳ８０８：Ｎｏ）、ヘッドマウントディスプレイＤは、３次元撮像空間５００Ｉの物体（ステップＳ８０６：Ｎｏの場合）／作業対象物（Ｔ）（ステップＳ８０７：Ｙｅｓの場合）と仮想オブジェクト５０２とのＸＹ平面方向の重複範囲を計算する（ステップＳ８０９）。

【0077】

ヘッドマウントディスプレイＤは、図５および図６に示したように、３次元撮像空間５００Ｉの物体／作業対象物（Ｔ）および仮想オブジェクト５０２のいずれか一方の重複範囲の表示態様を変更する（ステップＳ８１０）。

【0078】

具体的には、たとえば、ヘッドマウントディスプレイＤは、仮想オブジェクト５０２が３次元撮像空間５００Ｉの物体／作業対象物（Ｔ）よりも手前に位置する場合（ステップＳ８０６：Ｙｅｓ）は、ＸＹ平面方向において仮想オブジェクト５０２が作業対象物（Ｔ）と重複する仮想オブジェクト５０２の重複範囲を計算する。

【0079】

また、ヘッドマウントディスプレイＤは、仮想オブジェクト５０２が３次元撮像空間５００Ｉの物体／作業対象物（Ｔ）よりも手前に位置しない場合（ステップＳ８０６：Ｎｏ）は、ＸＹ平面方向において３次元撮像空間５００Ｉの物体／作業対象物（Ｔ）が仮想オブジェクト５０２と重複する３次元撮像空間５００Ｉの物体／作業対象物（Ｔ）の重複範囲を計算する。

【0080】

つぎに、ヘッドマウントディスプレイＤは、ステップＳ８０９で計算された重複範囲の表示態様を変更する（ステップＳ８１０）。具体的には、たとえば、ヘッドマウントディスプレイＤは、ステップＳ８０９において仮想オブジェクト５０２の重複範囲が計算された場合、図５および図６に示したように、仮想オブジェクト５０２のうち少なくとも仮想オブジェクト５０２の重複範囲の表示態様を変更する。

【0081】

なお、表示態様の変更とは、図５および図６に示したように、透過度の変更や色変換、点滅を含む。

【0082】

このあと、ヘッドマウントディスプレイＤは、ステップＳ８１０の表示態様変更後における３次元撮像空間５００Ｉの物体／作業対象物（Ｔ）および仮想オブジェクト５０２を３次元撮像空間５００Ｉに表示して（ステップＳ８１１）、一連の処理を終了する。

【0083】

図９において、ヘッドマウントディスプレイＤは、ステップＳ８０８において仮想オブジェクト５０２が分割可能であると判定された場合に（ステップＳ８０８：Ｙｅｓ）、仮想オブジェクト５０２の分割処理を実行する（ステップＳ９０１）。そして、ヘッドマウントディスプレイＤは、物体／作業対象物および分割された仮想オブジェクト５０２を３次元撮像空間５００Ｉに表示して（ステップＳ９０２）、一連の処理を終了する。ここで、仮想オブジェクトの分割処理（ステップＳ９０１）について、具体的に説明する。

【0084】

図１０は、仮想オブジェクトの分割例を示す説明図である。図１０において、仮想オブジェクト１０００は、３つのブロックｂ１～ｂ３で構成される。仮想オブジェクト１０００は、ブロックｂ１～ｂ３に分割可能である。なお、ヘッドマウントディスプレイＤは、２以上の最大ブロック数で仮想オブジェクト１０００を分割してもよい。

【0085】

たとえば、仮想オブジェクト１０００の場合、ブロックｂ１とブロックｂ２，ｂ３の結合ブロックとに分割可能であり、ブロックｂ２とブロックｂ１，ｂ３の結合ブロックとに分割可能であり、ブロックｂ３とブロックｂ１，ｂ２の結合ブロックとに分割可能である。

【0086】

図１１は、図９に示した仮想オブジェクトの分割処理（ステップＳ９０１）の詳細な処理手順例を示すフローチャートである。図１２は、力学系を用いたレイアウトアルゴリズムを適用した場合の仮想オブジェクト１０００の分割処理例を示す説明図である。図１１では、位置を調整するアルゴリズムの例として、力学系でモデル化したグラフレイアウトアルゴリズムを適用する。また、図１２では、仮想オブジェクト１０００が作業対象物（Ｔ）の手前の面（５０３）よりもＺ方向の奥側に位置するものとする。以下、図１１の仮想オブジェクトの分割処理（ステップＳ９０１）について、図１２を例示しながら説明する。

【0087】

図１１に示すように、ヘッドマウントディスプレイＤは、ＸＹ平面方向において、ブロック集合から物体／作業対象物との重複範囲が最小のブロックをアンカーブロックに決定する（ステップＳ１１０１）。ブロック集合とは、仮想オブジェクト１０００に含まれるすべてのブロックｂ１～ｂ３である。

【0088】

また、アンカーブロックとは、ブロック集合のうち他のブロックの基準となるブロックである。図１２の例では、（Ａ）ブロックｂ１が、作業対象物（Ｔ）との重複範囲が最小のブロックである。したがって、ヘッドマウントディスプレイＤは、ブロックｂ３をアンカーブロックに決定する。

【0089】

図１１に戻り、ヘッドマウントディスプレイＤは、ＸＹ平面方向において、アンカーブロックに対する他のブロックの配置方向を検出する（ステップＳ１１０２）。配置方向とは、アンカーブロックの配置位置から、アンカーブロック以外の他のブロックの配置位置への方向である。

【0090】

具体的には、たとえば、ヘッドマウントディスプレイＤは、アンカーブロックの重心と他のブロックとの重心を結ぶ線分が示す方向を検出する。そして、ヘッドマウントディスプレイＤは、線分が示す方向とＸ軸、Ｙ軸との角度差を算出し、最小角度差となる軸が示す方向を配置方向として検出する。

【0091】

図１２の例では、（Ａ）ブロックｂ１の配置方向は、Ｙプラス方向であり、ブロックｂ２の配置方向は、Ｘマイナス方向であり、ブロックｂ３の配置方向は、Ｘプラス方向である。

【0092】

図１１に戻り、ヘッドマウントディスプレイＤは、ＸＹ平面方向において、物体／作業対象物とアンカーブロックとが重複しないよう、物体／作業対象物の代表点から離間する方向にアンカーブロックを移動させる（ステップＳ１１０３）。物体／作業対象物の代表点とは、たとえば、ＸＹ平面方向における物体／作業対象物の面（５０３）上の点であり、たとえば、重心である。なお、ヘッドマウントディスプレイＤは、ユーザの手（Ｈ）で示した位置を代表点に決定してもよい。

【0093】

そして、ヘッドマウントディスプレイＤは、物体／作業対象物の代表点から離間する方向にアンカーブロックを移動させる。図１２の例では、（Ｂ）ヘッドマウントディスプレイＤは、面（５０３）と重複しないよう、面（５０３）上の代表点Ｐから離間するＸプラス方向にアンカーブロックｂ３を移動させる。移動後は、アンカーブロックｂ３の位置は固定される。

【0094】

図１１に戻り、ヘッドマウントディスプレイＤは、ＸＹ平面方向において、物体／作業対象物の代表点から配置方向に他のブロックを配置する（ステップＳ１１０４）。具体的には、たとえば、図１２の例では、（Ｂ）ヘッドマウントディスプレイＤは、代表点ＰからＹプラス方向の位置にブロックｂ１を配置し、代表点ＰからＸマイナス方向の位置にブロックｂ２を配置する。

【0095】

図１１に戻り、ヘッドマウントディスプレイＤは、ＸＹ平面方向において、物体／作業対象物と重複しなくなるまで、他のブロックを配置方向に移動させ（ステップＳ１１０５）、ステップＳ９０２に移行する。具体的には、たとえば、図１２の例では、（Ｃ）ヘッドマウントディスプレイＤは、代表点ＰからＸマイナス方向に、作業対象物（Ｔ）と重複しなくなるまで、ブロックｂ２を移動させる。また、（Ｄ）ヘッドマウントディスプレイＤは、代表点ＰからＹプラス方向に、作業対象物（Ｔ）と重複しなくなるまで、ブロックｂ１を移動させる。

【0096】

このように、実施例１によれば、仮想オブジェクトの表示態様を変更することで、３次元撮像空間５００Ｉにおいて作業対象物（Ｔ）と重複しないよう仮想オブジェクト５０２を表示することができる。したがって、作業対象物（Ｔ）や仮想オブジェクト５０２，１０００の視認性の向上を図ることができる。

【実施例0097】

つぎに、実施例２について説明する。実施例１では、ＸＹ平面方向で重複しあう作業対象物（Ｔ）と仮想オブジェクト５０２，１０００とのＺ方向の配置関係により、作業対象物（Ｔ）および仮想オブジェクト５０２，１０００のいずれか一方の表示態様を変更した例について説明した。実施例２では、このような配置関係にある仮想オブジェクト５０２，１０００の位置を、ＸＹ平面方向で作業対象物（Ｔ）と重複しないように変更する例について説明する。なお、実施例２では、実施例１との相違点を中心に説明するため、実施例１と同一構成には同一符号を付し、その説明を省略する。

【0098】

図１３は、仮想物体配置変更例１を示す説明図である。図１３は、仮想オブジェクト５０２をＸＹ平面方向に移動させる例を示す。

【0099】

（Ａ）は、図７の（Ａ）と同じ状態を示す。（Ｂ）に示すように、ヘッドマウントディスプレイＤは、（Ａ）のような仮想オブジェクト５０２と作業対象物（Ｔ）との配置関係を検出すると、仮想オブジェクト５０２を作業対象物（Ｔ）と重複しないように、仮想オブジェクト５０２をＸＹ平面方向に移動させる。

【0100】

具体的には、たとえば、ヘッドマウントディスプレイＤは、作業対象物（Ｔ）のＸＹ平面における領域と仮想オブジェクト５０２のＸＹ平面における領域を計算し、作業対象物（Ｔ）のＸＹ平面における領域外に仮想オブジェクト５０２を移動させる。また、ヘッドマウントディスプレイＤは、一定時間経過後に、仮想オブジェクト５０２を元の位置に、（Ｂ）の位置から(Ａ)の位置に戻してもよい。

【0101】

なお、ヘッドマウントディスプレイＤは、ユーザＳ／Ｗの手（Ｈ）のゼスチャから仮想オブジェクト５０２のＸＹ平面における移動方向を検出して、検出した移動方向に仮想オブジェクト５０２を移動させてもよい。たとえば、（Ａ）の状態において、ヘッドマウントディスプレイＤは、手（Ｈ）の形状が仮想オブジェクト５０２のＸＹ平面における重複回避を示す第１形状である場合に、当該第１形状を検出し、かつ、当該第１形状のまま手（Ｈ）のＸプラス方向への移動を検出した場合に、仮想オブジェクト５０２をＸプラス方向に移動させてもよい。

【0102】

同様に、（Ａ）から（Ｂ）に遷移した状態において、ヘッドマウントディスプレイＤは、手（Ｈ）の形状が仮想オブジェクト５０２の元の位置への復帰を示す第２形状である場合に、当該第２形状を検出し、かつ、当該第２形状のまま手（Ｈ）のＸマイナス方向への移動を検出した場合に、仮想オブジェクト５０２をＸマイナス方向に移動させて、（Ａ）に示しように、仮想オブジェクト５０２を元の位置に復帰させてもよい。

【0103】

また、ヘッドマウントディスプレイＤは、３次元撮像空間５００Ｉにおける作業対象物（Ｔ）が表示されていない領域のうち、最も広い領域に仮想オブジェクト５０２を移動させてもよい。３次元撮像空間５００Ｉ内で作業対象物（Ｔ）が表示される領域はユーザＳ／Ｗが作業を進めるなかで変わっていくが、最も広い領域に仮想オブジェクト５０２を配置しておけば、作業対象物（Ｔ）と仮想オブジェクト５０２が重複する機会が減ることになる。この結果、頻繁に仮想オブジェクト５０２を移動させることがなくなり、ユーザによる仮想オブジェクト５０２のコンテンツの確認が容易になる。

【0104】

また、ヘッドマウントディスプレイＤは、作業対象物（Ｔ）と仮想オブジェクト５０２が重複している場合に、仮想オブジェクト５０２の移動距離が短くなる方向に仮想オブジェクト５０２を移動させてもよい。この結果、仮想オブジェクト５０２が大きく移動することが無くなり、ユーザによる仮想オブジェクト５０２のコンテンツの確認が容易になる。

【0105】

図１４は、仮想物体配置変更例２を示す説明図である。図１４は、仮想オブジェクト５０２をＺ方向に移動させる例を示す。（Ａ）は、図１３の（Ａ）と同じ状態を示す。

【0106】

具体的には、たとえば、ヘッドマウントディスプレイＤは、仮想オブジェクト５０２のＺ方向の座標値を、面（５０３）のＺ方向の座標値よりも手前の座標値に変換することで、仮想オブジェクト５０２を面（５０３）よりも手前の位置に移動させる。また、ヘッドマウントディスプレイＤは、一定時間経過後に、仮想オブジェクト５０２を元の位置に、（Ｂ）の位置から(Ａ)の位置に戻してもよい。

【0107】

なお、ヘッドマウントディスプレイＤは、ユーザＳ／Ｗの手（Ｈ）のゼスチャから仮想オブジェクト５０２のＺ軸における移動方向を検出して、検出した移動方向に仮想オブジェクト５０２を移動させてもよい。たとえば、（Ａ）の状態において、ヘッドマウントディスプレイＤは、手（Ｈ）の形状が仮想オブジェクト５０２のＺ方向への移動を示す第３形状である場合に、当該第３形状を検出し、かつ、当該第３形状のまま手（Ｈ）のＺマイナス方向への移動を検出した場合に、仮想オブジェクト５０２をＺマイナス方向に移動させてもよい。

【0108】

同様に、（Ａ）から（Ｂ）に遷移した状態において、ヘッドマウントディスプレイＤは、手（Ｈ）の形状が仮想オブジェクト５０２の元の位置への復帰を示す第２形状である場合に、当該第２形状を検出し、かつ、当該第２形状のまま手（Ｈ）のＺプラス方向への移動を検出した場合に、仮想オブジェクト５０２をＺプラス方向に移動させて、（Ａ）に示しように、仮想オブジェクト５０２を元の位置に復帰させてもよい。

【0109】

このように、仮想オブジェクト５０２の配置位置を変更することにより、ユーザＳ／Ｗは、仮想オブジェクト５０２が作業対象物（Ｔ）に重なって表示されることなく視認することができる。また、仮想オブジェクト５０２を操作しようとして、手Ｈや手Ｈに保持している工具と作業対象物Ｔとの意図しない干渉を抑制することができ、手Ｈの負傷や、工具および作業対象物Ｔの破損を抑制することができる。

【0110】

＜配置変更処理手順＞
図１５は、ヘッドマウントディスプレイＤによる配置変更処理手順例１を示すフローチャートである。ステップＳ８０１～Ｓ８０９は、図８と同一ステップであるため、説明を省略する。

【0111】

ステップＳ８０９のあと、ヘッドマウントディスプレイＤは、図１３および図１４に示したように、物体／作業対象物と重複しない位置に仮想オブジェクト５０２を移動させる（ステップＳ１５１０）。

【0112】

そして、ヘッドマウントディスプレイＤは、ステップＳ１５１０の移動後における３次元撮像空間５００Ｉの物体／作業対象物（Ｔ）および仮想オブジェクト５０２を３次元撮像空間５００Ｉに表示して（ステップＳ８１１）、一連の処理を終了する。

【0113】

このように、実施例２によれば、仮想オブジェクト５０２，１０００を移動することで、３次元撮像空間５００Ｉにおいて作業対象物（Ｔ）と重複しないよう仮想オブジェクト５０２を表示することができる。したがって、作業対象物（Ｔ）や仮想オブジェクト５０２，１０００の視認性の向上を図ることができる。