特許 7167654 情報処理装置、ヘッドマウントディスプレイ、コンピュータプログラム及び画像表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-31

(45)【発行日】2022-11-09

(54)【発明の名称】情報処理装置、ヘッドマウントディスプレイ、コンピュータプログラム及び画像表示システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20221101BHJP

【ＦＩ】

G06T19/00 600

【請求項の数】 5

(21)【出願番号】P 2018216240

(22)【出願日】2018-11-19

(65)【公開番号】P2020086629

(43)【公開日】2020-06-04

【審査請求日】2021-10-19

(73)【特許権者】

【識別番号】000003687

【氏名又は名称】東京電力ホールディングス株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100140774

【弁理士】

【氏名又は名称】大浪 一徳

(74)【代理人】

【識別番号】100179833

【弁理士】

【氏名又は名称】松本 将尚

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(72)【発明者】

【氏名】篠田 幸男

(72)【発明者】

【氏名】大木 功

(72)【発明者】

【氏名】芹澤 正弘

(72)【発明者】

【氏名】上打田内 啓允

【審査官】村松 貴士

(56)【参考文献】

【文献】特開２０１８－０８４９５４（ＪＰ，Ａ）

【文献】特開２０１６－０８１２０９（ＪＰ，Ａ）

【文献】特表２０１８－５０６７６７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

(57)【特許請求の範囲】

【請求項1】

ヘッドマウントディスプレイに備わる３次元センサが検出した現実空間の物体の輪郭と、仮想空間の３次元モデルの輪郭とを位置合わせする位置合わせ部と、
前記位置合わせに基づいて、現実空間の前記物体上に前記３次元モデルが重ねて表示される第１重畳画像データを生成する重畳画像データ生成部と、
前記第１重畳画像データを前記ヘッドマウントディスプレイに送信する送信部と、
前記３次元センサが検出した前記物体上の基準位置と前記３次元モデル上の基準位置とを位置合わせし、前記物体の外形寸法データを使用して現実空間の前記物体の輪郭と仮想空間の前記３次元モデルの輪郭との前記位置合わせを補正する位置合わせ補正部と、を備え、
前記重畳画像データ生成部は、前記位置合わせの補正結果に基づいて、現実空間の前記物体上に前記３次元モデルが重ねて表示される第２重畳画像データを生成し、
前記送信部は、前記第２重畳画像データを前記ヘッドマウントディスプレイに送信する、
情報処理装置。

【請求項2】

３次元センサと、
前記３次元センサが検出した現実空間の物体の輪郭と、仮想空間の３次元モデルの輪郭とを位置合わせする位置合わせ部と、
前記位置合わせに基づいて、現実空間の前記物体上に前記３次元モデルが重ねて表示される第１重畳画像データを生成する重畳画像データ生成部と、
前記３次元センサが検出した前記物体上の基準位置と前記３次元モデル上の基準位置とを位置合わせし、前記物体の外形寸法データを使用して現実空間の前記物体の輪郭と仮想空間の前記３次元モデルの輪郭との前記位置合わせを補正する位置合わせ補正部と、を備え、
前記重畳画像データ生成部は、前記位置合わせの補正結果に基づいて、現実空間の前記物体上に前記３次元モデルが重ねて表示される第２重畳画像データを生成し、
前記第１重畳画像データ及び前記第２重畳画像データを表示するヘッドマウントディスプレイ。

【請求項3】

コンピュータに、
ヘッドマウントディスプレイに備わる３次元センサが検出した現実空間の物体の輪郭と、仮想空間の３次元モデルの輪郭とを位置合わせする位置合わせステップと、
前記位置合わせに基づいて、現実空間の前記物体上に前記３次元モデルが重ねて表示される第１重畳画像データを生成する第１重畳画像データ生成ステップと、
前記第１重畳画像データを前記ヘッドマウントディスプレイに送信する第１送信ステップと、
前記３次元センサが検出した前記物体上の基準位置と前記３次元モデル上の基準位置とを位置合わせし、前記物体の外形寸法データを使用して現実空間の前記物体の輪郭と仮想空間の前記３次元モデルの輪郭との前記位置合わせを補正する位置合わせ補正ステップと、
前記位置合わせの補正結果に基づいて、現実空間の前記物体上に前記３次元モデルが重ねて表示される第２重畳画像データを生成する第２重畳画像データ生成ステップと、
前記第２重畳画像データを前記ヘッドマウントディスプレイに送信する第２送信ステップと、
を実行させるためのコンピュータプログラム。

【請求項4】

コンピュータに、
ヘッドマウントディスプレイが備える３次元センサが検出した現実空間の物体の輪郭と、仮想空間の３次元モデルの輪郭とを位置合わせする位置合わせステップと、
前記位置合わせに基づいて、現実空間の前記物体上に前記３次元モデルが重ねて表示される第１重畳画像データを生成する第１重畳画像データ生成ステップと、
前記第１重畳画像データを前記ヘッドマウントディスプレイに表示させる第１表示ステップと、
前記３次元センサが検出した前記物体上の基準位置と前記３次元モデル上の基準位置とを位置合わせし、前記物体の外形寸法データを使用して現実空間の前記物体の輪郭と仮想空間の前記３次元モデルの輪郭との前記位置合わせを補正する位置合わせ補正ステップと、
前記位置合わせの補正結果に基づいて、現実空間の前記物体上に前記３次元モデルが重ねて表示される第２重畳画像データを生成する第２重畳画像データ生成ステップと、
前記第２重畳画像データを前記ヘッドマウントディスプレイに表示させる第２表示ステップと、
を実行させるためのコンピュータプログラム。

【請求項5】

３次元センサを備えるヘッドマウントディスプレイと、情報処理装置とを備え、
前記情報処理装置は、
前記３次元センサが検出した現実空間の物体の輪郭と、仮想空間の３次元モデルの輪郭とを位置合わせする位置合わせ部と、
前記位置合わせに基づいて、現実空間の前記物体上に前記３次元モデルが重ねて表示される第１重畳画像データを生成する重畳画像データ生成部と、
前記第１重畳画像データを前記ヘッドマウントディスプレイに送信する送信部と、
前記３次元センサが検出した前記物体上の基準位置と前記３次元モデル上の基準位置とを位置合わせし、前記物体の外形寸法データを使用して現実空間の前記物体の輪郭と仮想空間の前記３次元モデルの輪郭との前記位置合わせを補正する位置合わせ補正部と、を備え、
前記重畳画像データ生成部は、前記位置合わせの補正結果に基づいて、現実空間の前記物体上に前記３次元モデルが重ねて表示される第２重畳画像データを生成し、
前記送信部は、前記第２重畳画像データを前記ヘッドマウントディスプレイに送信する、
画像表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、ヘッドマウントディスプレイ、コンピュータプログラム及び画像表示システムに関する。

【背景技術】

【0002】

近年、複合現実感（Mixed Reality）技術を利用して作業者を支援するための技術が知られている（例えば、特許文献１参照）。特許文献１に記載の従来技術では、現実の世界（以下、現実空間と称する）の金属加工品に、コンピュータで生成された仮想の世界（以下、仮想空間と称する）の３次元モデルを重畳させて、ヘッドマウントディスプレイに表示させることにより、作業者に対して３次元モデルを用いた作業支援を行っている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－０４４４９６

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上述した従来技術では、現実空間の金属加工品と仮想空間の３次元モデルとの位置合わせが不十分であると、作業者が作業し辛い場合があった。

【0005】

本発明は、このような事情を考慮してなされたものであり、その目的は、現実空間の物体と仮想空間の３次元モデルとの位置合わせの精度を向上させることができる、情報処理装置、ヘッドマウントディスプレイ、コンピュータプログラム及び画像表示システムを提供することである。

【課題を解決するための手段】

【0006】

本発明の一態様は、ヘッドマウントディスプレイに備わる３次元センサが検出した現実空間の物体の輪郭と、仮想空間の３次元モデルの輪郭とを位置合わせする位置合わせ部と、前記位置合わせに基づいて、現実空間の前記物体上に前記３次元モデルが重ねて表示される第１重畳画像データを生成する重畳画像データ生成部と、前記第１重畳画像データを前記ヘッドマウントディスプレイに送信する送信部と、前記３次元センサが検出した前記物体上の基準位置と前記３次元モデル上の基準位置とを位置合わせし、前記物体の外形寸法データを使用して現実空間の前記物体の輪郭と仮想空間の前記３次元モデルの輪郭との前記位置合わせを補正する位置合わせ補正部と、を備え、前記重畳画像データ生成部は、前記位置合わせの補正結果に基づいて、現実空間の前記物体上に前記３次元モデルが重ねて表示される第２重畳画像データを生成し、前記送信部は、前記第２重畳画像データを前記ヘッドマウントディスプレイに送信する、情報処理装置である。

【0007】

本発明の一態様は、３次元センサと、前記３次元センサが検出した現実空間の物体の輪郭と、仮想空間の３次元モデルの輪郭とを位置合わせする位置合わせ部と、前記位置合わせに基づいて、現実空間の前記物体上に前記３次元モデルが重ねて表示される第１重畳画像データを生成する重畳画像データ生成部と、前記３次元センサが検出した前記物体上の基準位置と前記３次元モデル上の基準位置とを位置合わせし、前記物体の外形寸法データを使用して現実空間の前記物体の輪郭と仮想空間の前記３次元モデルの輪郭との前記位置合わせを補正する位置合わせ補正部と、を備え、前記重畳画像データ生成部は、前記位置合わせの補正結果に基づいて、現実空間の前記物体上に前記３次元モデルが重ねて表示される第２重畳画像データを生成し、前記第１重畳画像データ及び前記第２重畳画像データを表示するヘッドマウントディスプレイである。

【0008】

本発明の一態様は、コンピュータに、ヘッドマウントディスプレイに備わる３次元センサが検出した現実空間の物体の輪郭と、仮想空間の３次元モデルの輪郭とを位置合わせする位置合わせステップと、前記位置合わせに基づいて、現実空間の前記物体上に前記３次元モデルが重ねて表示される第１重畳画像データを生成する第１重畳画像データ生成ステップと、前記第１重畳画像データを前記ヘッドマウントディスプレイに送信する第１送信ステップと、前記３次元センサが検出した前記物体上の基準位置と前記３次元モデル上の基準位置とを位置合わせし、前記物体の外形寸法データを使用して現実空間の前記物体の輪郭と仮想空間の前記３次元モデルの輪郭との前記位置合わせを補正する位置合わせ補正ステップと、前記位置合わせの補正結果に基づいて、現実空間の前記物体上に前記３次元モデルが重ねて表示される第２重畳画像データを生成する第２重畳画像データ生成ステップと、前記第２重畳画像データを前記ヘッドマウントディスプレイに送信する第２送信ステップと、を実行させるためのコンピュータプログラムである。

【0009】

本発明の一態様は、コンピュータに、ヘッドマウントディスプレイが備える３次元センサが検出した現実空間の物体の輪郭と、仮想空間の３次元モデルの輪郭とを位置合わせする位置合わせステップと、前記位置合わせに基づいて、現実空間の前記物体上に前記３次元モデルが重ねて表示される第１重畳画像データを生成する第１重畳画像データ生成ステップと、前記第１重畳画像データを前記ヘッドマウントディスプレイに表示させる第１表示ステップと、前記３次元センサが検出した前記物体上の基準位置と前記３次元モデル上の基準位置とを位置合わせし、前記物体の外形寸法データを使用して現実空間の前記物体の輪郭と仮想空間の前記３次元モデルの輪郭との前記位置合わせを補正する位置合わせ補正ステップと、前記位置合わせの補正結果に基づいて、現実空間の前記物体上に前記３次元モデルが重ねて表示される第２重畳画像データを生成する第２重畳画像データ生成ステップと、前記第２重畳画像データを前記ヘッドマウントディスプレイに表示させる第２表示ステップと、を実行させるためのコンピュータプログラムである。

【0010】

本発明の一態様は、３次元センサを備えるヘッドマウントディスプレイと、情報処理装置とを備え、前記情報処理装置は、前記３次元センサが検出した現実空間の物体の輪郭と、仮想空間の３次元モデルの輪郭とを位置合わせする位置合わせ部と、前記位置合わせに基づいて、現実空間の前記物体上に前記３次元モデルが重ねて表示される第１重畳画像データを生成する重畳画像データ生成部と、前記第１重畳画像データを前記ヘッドマウントディスプレイに送信する送信部と、前記３次元センサが検出した前記物体上の基準位置と前記３次元モデル上の基準位置とを位置合わせし、前記物体の外形寸法データを使用して現実空間の前記物体の輪郭と仮想空間の前記３次元モデルの輪郭との前記位置合わせを補正する位置合わせ補正部と、を備え、前記重畳画像データ生成部は、前記位置合わせの補正結果に基づいて、現実空間の前記物体上に前記３次元モデルが重ねて表示される第２重畳画像データを生成し、前記送信部は、前記第２重畳画像データを前記ヘッドマウントディスプレイに送信する、画像表示システムである。

【発明の効果】

【0011】

本発明によれば、現実空間の物体と仮想空間の３次元モデルとの位置合わせの精度を向上させることができるという効果が得られる。

【図面の簡単な説明】

【0012】

【図1】第１実施形態に係る画像表示システムの構成例を示すブロック図である。

【図2】外形寸法データ格納部の構成例を示す図である。

【図3】機器配置データ格納部の構成例を示す図である。

【図4】作業室の機器配置の例を示す平面図である。

【図5】第１実施形態に係る画像表示方法の手順の例を示すフローチャートである。

【図6】第１実施形態に係る画像表示システムの他の構成例を示すブロック図である。

【図7】第２実施形態に係るヘッドマウントディスプレイの構成例を示すブロック図である。

【発明を実施するための形態】

【0013】

以下、図面を参照し、本発明の実施形態について説明する。

【0014】

［第１実施形態］
図１は、第１実施形態に係る画像表示システムの構成例を示すブロック図である。図１において、画像表示システム１は、サーバ装置（情報処理装置）１０と、端末装置４０と、ヘッドマウントディスプレイ５０とを備える。サーバ装置１０と端末装置４０とは、それぞれ通信部１１，４１を備え、通信を行う。

【0015】

サーバ装置１０は、サーバ通信部１１と、位置合わせ部１２と、重畳画像データ生成部１３と、位置合わせ補正部１４と、外形寸法データ格納部１５と、機器配置データ格納部１６と、を備える。端末装置４０は、端末通信部４１と、端末制御部４２と、ディスプレイインタフェース４３とを備える。ヘッドマウントディスプレイ５０は、３次元センサ５１を備える。

【0016】

ヘッドマウントディスプレイ５０は、作業者の頭部に装着されるディスプレイ装置である。端末装置４０は、サーバ装置１０とヘッドマウントディスプレイ５０との間のデータの中継等を行う。端末装置４０として、例えばスマートフォン等の携帯通信端末装置を利用してもよい。

【0017】

端末装置４０において、端末通信部４１は、サーバ装置１０のサーバ通信部１１と通信を行う。端末制御部４２は、端末装置４０の制御を行う。ディスプレイインタフェース４３は、ヘッドマウントディスプレイ５０と通信を行う。ディスプレイインタフェース４３とヘッドマウントディスプレイ５０とは、通信方式として、例えば近距離無線通信方式を利用してもよい。

【0018】

ヘッドマウントディスプレイ５０は、ヘッドマウントディスプレイ５０を頭部に装着している作業者に対して見えるように画像を表示する。３次元センサ５１は、現実空間における物体の検出を行う。３次元センサ５１として、例えば赤外線カメラを利用してもよい。

【0019】

サーバ装置１０において、サーバ通信部１１は、端末装置４０の端末通信部４１と通信を行う。位置合わせ部１２は、３次元センサ５１が検出した現実空間の物体の輪郭と、仮想空間の３次元モデルの輪郭とを位置合わせする。重畳画像データ生成部１３は、位置合わせ部１２による位置合わせに基づいて、現実空間の物体上に仮想空間の３次元モデルが重ねて表示される第１重畳画像データを生成する。第１重畳画像データは、サーバ通信部１１（送信部）によりヘッドマウントディスプレイ５０に送信され、ヘッドマウントディスプレイ５０で表示される。

【0020】

位置合わせ補正部１４は、３次元センサ５１が検出した物体上の基準位置と３次元モデル上の基準位置とを位置合わせし、当該物体の外形寸法データを使用して現実空間の当該物体の輪郭と仮想空間の当該３次元モデルの輪郭との位置合わせを補正する。重畳画像データ生成部１３は、位置合わせ補正部１４による位置合わせの補正結果に基づいて、現実空間の物体上に仮想空間の３次元モデルが重ねて表示される第２重畳画像データを生成する。第２重畳画像データは、サーバ通信部１１（送信部）によりヘッドマウントディスプレイ５０に送信され、ヘッドマウントディスプレイ５０で表示される。

【0021】

外形寸法データ格納部１５は、物体の外形寸法データを格納する。図２は、外形寸法データ格納部１５の構成例を示す図である。図２の例では、物体は、作業者が作業を行う場所である作業室に設けられた機器である。図２に示されるように、外形寸法データ格納部１５には、機器の種別を示す機器種別識別子（機器種別ＩＤ）に関連付けて、当該機器の外形寸法を示す外形寸法データが格納される。機器の外形寸法データは、当該機器の横（幅）、縦（高さ）及び奥行きの各寸法を示すデータである。

【0022】

機器配置データ格納部１６は、機器配置データを格納する。図３は、機器配置データ格納部１６の構成例を示す図である。図３に示されるように、機器配置データ格納部１６には、配置場所に関連付けて、当該配置場所に設置される機器の機器種別ＩＤが格納される。図３の例では、機器種別ＩＤは、図２に対応するものである。

【0023】

図３に示される機器配置データ格納部１６の機器配置データの例は、図４に示される作業室の機器配置に対応する。図４は、作業室の機器配置の例を示す平面図である。図４に示される作業室において、配置場所Ｐａ１からＰａ６までは順番に一列に配列されている。各配置場所Ｐａ１、Ｐａ２、Ｐａ３、Ｐａ４、Ｐａ５、Ｐａ６には、図３の機器配置データで示される各機器種別ＩＤの機器が設置されている。配置場所Ｐａ１からＰａ６までの配列において、一端の配置場所Ｐａ１に設置された機器（Ｅｉｄ１）には、当該配列の外側の方の端部上に基準位置Ｑａ１が設けられる。他方、配置場所Ｐａ６に設置された機器（Ｅｉｄ２）には、当該配列の外側の方の端部上に基準位置Ｑａ２が設けられる。

【0024】

また、図４に示される作業室において、配置場所Ｐｂ１からＰｂ６までは順番に一列に配列されている。各配置場所Ｐｂ１、Ｐｂ２、Ｐｂ３、Ｐｂ４、Ｐｂ５、Ｐｂ６には、図３の機器配置データで示される各機器種別ＩＤの機器が設置されている。配置場所Ｐｂ１からＰｂ６までの配列において、一端の配置場所Ｐｂ１に設置された機器（Ｅｉｄ１）には、当該配列の外側の方の端部上に基準位置Ｑｂ１が設けられる。他方、配置場所Ｐｂ６に設置された機器（Ｅｉｄ２）には、当該配列の外側の方の端部上に基準位置Ｑｂ２が設けられる。

【0025】

次に図５を参照して、本実施形態に係る画像表示システム１の動作を説明する。図５は、本実施形態に係る画像表示方法の手順の例を示すフローチャートである。ここでは、図２、図３及び図４の例を用いて説明を行う。

【0026】

（ステップＳ１） 図４に示される作業室において、作業者は、ヘッドマウントディスプレイ５０を頭部に装着する。また、作業者は、端末装置４０を携帯する、又は、端末装置４０のディスプレイインタフェース４３とヘッドマウントディスプレイ５０とが通信可能な場所に端末装置４０を置いておく。

【0027】

作業者は、ヘッドマウントディスプレイ５０により、作業場所の現実空間のスキャンを行う。作業場所の現実空間のスキャンにより、ヘッドマウントディスプレイ５０の３次元センサ５１は、各配置場所Ｐａ１－Ｐａ６、Ｐｂ１－Ｐｂ６に設置された各機器を検出し、検出結果の３次元データ（以下、現実空間検出３次元データと称する）を出力する。当該現実空間検出３次元データは、３次元センサ５１が検出した現実空間の各機器の３次元の輪郭を示す情報を含むものである。

【0028】

現実空間検出３次元データは、ヘッドマウントディスプレイ５０から端末装置４０のディスプレイインタフェース４３へ送信される。端末装置４０の端末制御部４２は、ヘッドマウントディスプレイ５０からディスプレイインタフェース４３により受信した現実空間検出３次元データを、端末通信部４１によりサーバ装置１０へ送信する。サーバ装置１０は、サーバ通信部１１により、ヘッドマウントディスプレイ５０からの現実空間検出３次元データを受信する。

【0029】

（ステップＳ２） サーバ装置１０の位置合わせ部１２は、ヘッドマウントディスプレイ５０から受信した現実空間検出３次元データにより、作業場所の現実空間の各配置場所Ｐａ１－Ｐａ６、Ｐｂ１－Ｐｂ６に設置された各機器の３次元の輪郭を認識する。位置合わせ部１２は、当該認識した各機器の３次元の輪郭と、各機器に対応する仮想空間の３次元モデルの輪郭とを位置合わせする。仮想空間の３次元モデルは、予め、サーバ装置１０に設定される。仮想空間の３次元モデルとして、例えば３次元の多面体を利用してもよい。

【0030】

（ステップＳ３） サーバ装置１０の重畳画像データ生成部１３は、ステップＳ２の位置合わせ部１２による位置合わせに基づいて、現実空間の各機器上に各機器に対応する仮想空間の３次元モデルが重ねて表示される第１重畳画像データを生成する。

【0031】

サーバ装置１０は、サーバ通信部１１により第１重畳画像データを端末装置４０へ送信する。端末装置４０は、サーバ装置１０から端末通信部４１により第１重畳画像データを受信する。端末装置４０の端末制御部４２は、サーバ装置１０から受信した第１重畳画像データを、ディスプレイインタフェース４３によりヘッドマウントディスプレイ５０へ送信する。

【0032】

ヘッドマウントディスプレイ５０は、端末装置４０から受信した第１重畳画像データを表示する。これにより、作業者は、図４に示される作業室の作業場所において、ヘッドマウントディスプレイ５０により、現実空間の各機器上に各機器に対応する仮想空間の３次元モデルが重ねて表示される状態を視認する。但し、この状態では、現実空間の各機器の輪郭と、各機器に対応する仮想空間の３次元モデルの輪郭との位置合わせが不十分である可能性がある。現実空間の機器の輪郭と当該機器に対応する仮想空間の３次元モデルの輪郭との位置合わせが不十分である場合、作業者にとっては、現実空間の機器の輪郭と当該機器に対応する仮想空間の３次元モデルの輪郭とがズレて見えるので、作業がし辛い場合がある。このため、本実施形態では、以降の手順により、現実空間の機器の輪郭と当該機器に対応する３次元モデルの輪郭との位置合わせの補正を行う。

【0033】

（ステップＳ４） 作業者は、図４に示される作業室の作業場所において、現実空間の基準位置Ｑａ１及びＱａ２を指定する操作を行う。現実空間の基準位置Ｑａ１及びＱａ２を指定する操作として、例えば、基準位置Ｑａ１及びＱａ２に予めマーカを貼付しておき、作業者がヘッドマウントディスプレイ５０により基準位置Ｑａ１及びＱａ２の各マーカをスキャンする。又は、作業者が各基準位置Ｑａ１、Ｑａ２に指先で触っている状態を、ヘッドマウントディスプレイ５０によりスキャンする。現実空間の基準位置Ｑｂ１及びＱｂ２に対しても、前記基準位置Ｑａ１及びＱａ２と同様に、指定する操作を行う。

【0034】

現実空間の基準位置Ｑａ１及びＱａ２を指定する操作により、ヘッドマウントディスプレイ５０の３次元センサ５１は、各基準位置Ｑａ１、Ｑａ２を検出し、検出結果の３次元データ（以下、基準位置検出３次元データと称する）を出力する。当該基準位置検出３次元データは、３次元センサ５１が検出した現実空間の各基準位置Ｑａ１、Ｑａ２を示す情報を含むものである。現実空間の基準位置Ｑｂ１及びＱｂ２に対しても、前記基準位置Ｑａ１及びＱａ２と同様に、基準位置検出３次元データを出力する。

【0035】

基準位置検出３次元データは、上述した現実空間検出３次元データと同様に、ヘッドマウントディスプレイ５０から端末装置４０を介してサーバ装置１０へ送信される。サーバ装置１０は、サーバ通信部１１により、ヘッドマウントディスプレイ５０からの基準位置検出３次元データを受信する。

【0036】

（ステップＳ５） サーバ装置１０の位置合わせ補正部１４は、ヘッドマウントディスプレイ５０から受信した基準位置検出３次元データにより、作業場所の現実空間の各基準位置Ｑａ１、Ｑａ２を認識する。位置合わせ補正部１４は、当該認識した現実空間の各基準位置Ｑａ１、Ｑａ２と仮想空間の３次元モデル上の基準位置とを位置合わせし、各配置場所Ｐａ１－Ｐａ６に設置された各機器の外形寸法データを使用して現実空間の各配置場所Ｐａ１－Ｐａ６に設置された各機器の輪郭と仮想空間の各３次元モデルの輪郭との位置合わせを補正する。同様に、各配置場所Ｐｂ１－Ｐｂ６に設置された各機器についても、基準位置Ｑｂ１及びＱｂ２の基準位置検出３次元データに基づいて、現実空間の各機器の輪郭と仮想空間の各３次元モデルの輪郭との位置合わせを補正する。位置合わせ補正方法について以下に説明する。

【0037】

現実空間の基準位置Ｑａ１は、配置場所Ｐａ１に設置された機器（Ｅｉｄ１）に設けられたものである。現実空間の基準位置Ｑａ２は、配置場所Ｐａ６に設置された機器（Ｅｉｄ２）に設けられたものである。位置合わせ補正部１４は、当該認識した現実空間の基準位置Ｑａ１と、配置場所Ｐａ１に設置された機器（Ｅｉｄ１）に対応する仮想空間の３次元モデル上の基準位置とを位置合わせする。併せて、当該認識した現実空間の基準位置Ｑａ２と、配置場所Ｐａ６に設置された機器（Ｅｉｄ２）に対応する仮想空間の３次元モデル上の基準位置とを位置合わせする。次いで、位置合わせ補正部１４は、図２の外形寸法データ格納部１５及び図３の機器配置データ格納部１６にそれぞれ格納されるデータによって、各配置場所Ｐａ１、Ｐａ２、Ｐａ３、Ｐａ４、Ｐａ５、Ｐａ６に設置された各機器の配列順序及び外形寸法を取得する。次いで、位置合わせ補正部１４は、各機器の配列順序に従って、基準位置Ｑａ１と基準位置Ｑａ２との間に存在する各機器までの各基準位置Ｑａ１、Ｑａ２からの距離（第１距離と称する）を各機器の外形寸法を使用して計算する。次いで、位置合わせ補正部１４は、基準位置Ｑａ１と基準位置Ｑａ２との間の距離（第２距離と称する）を１として、第２距離に対する第１距離の比として各機器の位置を算出する。次いで、位置合わせ補正部１４は、各機器に対応する仮想空間の各３次元モデルの輪郭を、当該第１距離の比及び各機器の外形寸法に基づいて補正する。これにより、各配置場所Ｐａ１、Ｐａ２、Ｐａ３、Ｐａ４、Ｐａ５、Ｐａ６に設置された各機器に対応する仮想空間の各３次元モデルの輪郭が、それぞれ対応する現実空間の各機器の輪郭に精度よく位置合わせされる。

【0038】

現実空間の基準位置Ｑｂ１は、配置場所Ｐｂ１に設置された機器（Ｅｉｄ１）に設けられたものである。現実空間の基準位置Ｑｂ２は、配置場所Ｐｂ６に設置された機器（Ｅｉｄ２）に設けられたものである。位置合わせ補正部１４は、当該認識した現実空間の基準位置Ｑｂ１と、配置場所Ｐｂ１に設置された機器（Ｅｉｄ１）に対応する仮想空間の３次元モデル上の基準位置とを位置合わせする。併せて、当該認識した現実空間の基準位置Ｑｂ２と、配置場所Ｐｂ６に設置された機器（Ｅｉｄ２）に対応する仮想空間の３次元モデル上の基準位置とを位置合わせする。次いで、位置合わせ補正部１４は、図２の外形寸法データ格納部１５及び図３の機器配置データ格納部１６にそれぞれ格納されるデータによって、各配置場所Ｐｂ１、Ｐｂ２、Ｐｂ３、Ｐｂ４、Ｐｂ５、Ｐｂ６に設置された各機器の配列順序及び外形寸法を取得する。次いで、位置合わせ補正部１４は、各機器の配列順序に従って、基準位置Ｑｂ１と基準位置Ｑｂ２との間に存在する各機器までの各基準位置Ｑｂ１、Ｑｂ２からの距離（第３距離と称する）を各機器の外形寸法を使用して計算する。次いで、位置合わせ補正部１４は、基準位置Ｑｂ１と基準位置Ｑｂ２との間の距離（第４距離と称する）を１として、第４距離に対する第３距離の比として各機器の位置を算出する。次いで、位置合わせ補正部１４は、各機器に対応する仮想空間の各３次元モデルの輪郭を、当該第３距離の比及び各機器の外形寸法に基づいて補正する。これにより、各配置場所Ｐｂ１、Ｐｂ２、Ｐｂ３、Ｐｂ４、Ｐｂ５、Ｐｂ６に設置された各機器に対応する仮想空間の各３次元モデルの輪郭が、それぞれ対応する現実空間の各機器の輪郭に精度よく位置合わせされる。

【0039】

（ステップＳ６） サーバ装置１０の重畳画像データ生成部１３は、ステップＳ５の位置合わせ補正部１４による位置合わせの補正結果に基づいて、現実空間の各機器上に各機器に対応する仮想空間の３次元モデルが重ねて表示される第２重畳画像データを生成する。

【0040】

第２重畳画像データは、上述した第１重畳画像データと同様に、サーバ装置１０から端末装置４０を介してヘッドマウントディスプレイ５０へ送信される。

【0041】

ヘッドマウントディスプレイ５０は、端末装置４０から受信した第２重畳画像データを表示する。これにより、作業者は、図４に示される作業室の作業場所において、ヘッドマウントディスプレイ５０により、現実空間の各機器上に各機器に対応する仮想空間の３次元モデルが重ねて表示される状態を視認する。この状態では、現実空間の各機器の輪郭と、各機器に対応する３次元モデルの輪郭とが精度よく位置合わせされている。これにより、作業者に対して、仮想空間の３次元モデルを用いた作業支援を高品質で提供することができる。例えば、仮想空間の３次元モデルによって作業の操作のお手本を作業者に示す場合に、あたかも現実空間の実物の作業対象機器を操作しているかのように作業者に示すことができる。また、例えば、仮想空間の３次元モデルによって作業手順書を作業者に示す場合に、仮想空間の３次元モデルの作業手順書を、現実空間の作業対象機器の位置に対して適切な位置に精度よく表示させることができる。

【0042】

［画像表示システムの他の構成例］
図６は、本実施形態に係る画像表示システムの他の構成例を示すブロック図である。図６において図１の各部に対応する部分には同一の符号を付け、その説明を省略する。図６に示される画像表示システム１ａにおいては、ヘッドマウントディスプレイ５０ａがディスプレイ通信部５２を備え、端末装置４０は具備されなくてもよい。ディスプレイ通信部５２は、サーバ装置１０のサーバ通信部１１と通信を行う。ヘッドマウントディスプレイ５０は、ディスプレイ通信部５２により、サーバ装置１０と通信を行う。画像表示システム１ａにおいて、ヘッドマウントディスプレイ５０とサーバ装置１０との間の通信に係る構成以外は、図１に示される画像表示システム１と同様である。

【0043】

上述したように本実施形態によれば、現実空間の物体と仮想空間の３次元モデルとの位置合わせの精度を向上させることができるという効果が得られる。これにより、現実空間の物体に仮想空間の３次元モデルを重畳させて、ヘッドマウントディスプレイに表示させることにより、作業者に対して仮想空間の３次元モデルを用いた高品質の作業支援を行うことができる。

【0044】

［第２実施形態］
図７は、第２実施形態に係るヘッドマウントディスプレイ６０の構成例を示すブロック図である。図７において図１の各部に対応する部分には同一の符号を付け、その説明を省略する。第２実施形態は、第１実施形態のサーバ装置１０の位置合わせ部１２、重畳画像データ生成部１３、位置合わせ補正部１４、外形寸法データ格納部１５及び機器配置データ格納部１６をヘッドマウントディスプレイ６０に備え、ヘッドマウントディスプレイ単体で実施するものである。この点以外は第１実施形態と同様である。

【0045】

なお、ヘッドマウントディスプレイ６０は、外部と通信を行うディスプレイ通信部をさらに備えてもよい。これにより、作業対象の作業室が変わる場合に、作業対象の作業室に応じて、該当する外形寸法データや機器配置データなどを通信により外部の装置から取得し、外形寸法データ格納部１５や機器配置データ格納部１６などに格納するデータを適宜更新することができる。

【0046】

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【0047】

また、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disc）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

【0048】

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【符号の説明】

【0049】

１…画像表示システム、１０…サーバ装置、１１…サーバ通信部、１２…位置合わせ部、１３…重畳画像データ生成部、１４…位置合わせ補正部、１５…外形寸法データ格納部、１６…機器配置データ格納部、４０…端末装置、４１…端末通信部、４２…端末制御部、４３…ディスプレイインタフェース、５０，５０ａ，６０…ヘッドマウントディスプレイ、５１…３次元センサ、５２…ディスプレイ通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】