特許 6751777 コンピュータプログラム、表示装置、頭部装着型表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6751777

(24)【登録日】2020年8月19日

(45)【発行日】2020年9月9日

(54)【発明の名称】コンピュータプログラム、表示装置、頭部装着型表示装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20200831BHJP

   G06F 3/0481 20130101ALI20200831BHJP

【ＦＩ】

   G06T19/00 600

   G06F3/0481 150

【請求項の数】7

【全頁数】11

(21)【出願番号】特願2018-558610(P2018-558610)

(86)(22)【出願日】2016年12月28日

(86)【国際出願番号】JP2016089106

(87)【国際公開番号】WO2018123022

(87)【国際公開日】20180705

【審査請求日】2019年6月27日

(73)【特許権者】

【識別番号】591274532

【氏名又は名称】株式会社メガハウス

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(72)【発明者】

【氏名】▲濱▼ ▲高▼朗

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２００９−２７１８２２（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０９１８２４（ＷＯ，Ａ１）

【文献】 特開２０１６−０５２１１４（ＪＰ，Ａ）

【文献】 特開２０１５−１１４７５８（ＪＰ，Ａ）

【文献】 特開２０１５−０２２７３７（ＪＰ，Ａ）

【文献】 特開２０１３−１８６６９１（ＪＰ，Ａ）

【文献】 特開２００７−３０４７３２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０４８１

(57)【特許請求の範囲】

【請求項1】

表示装置のコンピュータを、
動画像における各フレームの撮像画像を取得する取得手段、
前記取得手段が取得した第１フレームの撮像画像から検出したマーカの形状を規定する形状情報をメモリに格納し、該形状に関わらず、基準形状を有する基準表示画像を前記表示装置の表示画面に表示させる第１表示制御手段、
前記取得手段が前記第１フレームよりも後に取得した第２フレームの撮像画像から前記マーカを検出した場合には、前記形状情報が示す形状を前記第２フレームの撮像画像から検出した前記マーカの形状に変形させるためのパラメータを求め、前記基準表示画像の形状を該パラメータを用いて変化させた表示画像を生成して前記表示画面に表示させる第２表示制御手段
として機能させるためのコンピュータプログラム。

【請求項2】

前記第１フレームの撮像画像は、
前記表示装置の起動後に初めて前記マーカを検出した撮像画像であることを特徴とする請求項１に記載のコンピュータプログラム。

【請求項3】

前記第２表示制御手段は、
前記第２フレームの撮像画像から前記マーカを検出した場合には、前記第１フレームの撮像画像から検出した前記マーカの四隅の画像座標から前記第２フレームの撮像画像から検出した前記マーカの四隅の画像座標への座標変換を行う座標変換パラメータを求め、前記基準表示画像の四隅の画像座標を該座標変換パラメータを用いて変換することで、前記基準表示画像の形状を変化させた表示画像を生成して前記表示画面に表示させることを特徴とする請求項１または２に記載のコンピュータプログラム。

【請求項4】

前記取得手段は、前記表示装置が有するカメラから前記動画像における各フレームの撮像画像を取得することを特徴とする請求項１乃至３の何れか１項に記載のコンピュータプログラム。

【請求項5】

前記表示装置はスマートフォンであることを特徴とする請求項１乃至４の何れか１項に記載のコンピュータプログラム。

【請求項6】

表示装置であって、
動画像における各フレームの撮像画像を取得する取得手段と、
前記取得手段が取得した第１フレームの撮像画像から検出したマーカの形状を規定する形状情報をメモリに格納し、該形状に関わらず、基準形状を有する基準表示画像を前記表示装置の表示画面に表示させる第１表示制御手段と、
前記取得手段が前記第１フレームよりも後に取得した第２フレームの撮像画像から前記マーカを検出した場合には、前記形状情報が示す形状を前記第２フレームの撮像画像から検出した前記マーカの形状に変形させるためのパラメータを求め、前記基準表示画像の形状を該パラメータを用いて変化させた表示画像を生成して前記表示画面に表示させる第２表示制御手段と
を備えることを特徴とする表示装置。

【請求項7】

請求項６に記載の表示装置を有する頭部装着型表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータプログラム、表示装置、頭部装着型表示装置、マーカに関するものである。

【背景技術】

【0002】

仮想空間を体感するための装置としてＨＭＤ（ヘッドマウントディスプレイ）がある。ユーザは自身の頭部にＨＭＤを装着することで、眼前に提示される仮想空間の映像を観察することができる。例えば、特許文献１には、操作者の頭部の姿勢に対応する画像を、該頭部に装着される頭部装着型のディスプレイに表示すると共に、操作部の姿勢に対応する特定処理を実行する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５９４４６００号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示されている技術では、操作者の頭部の姿勢に対応する画像を表示するために、操作者の頭部のモーションを検出するためのモーションセンサを利用していた。本発明では、このようなモーションセンサを使用せずとも、撮像画像を用いた簡便な処理でもって、操作者の頭部の位置や向きに応じた画像を表示させるための技術を提供する。

【課題を解決するための手段】

【0005】

本発明の一様態は、表示装置のコンピュータを、
動画像における各フレームの撮像画像を取得する取得手段、
前記取得手段が取得した第１フレームの撮像画像から検出したマーカの形状を規定する形状情報をメモリに格納し、該形状に関わらず、基準形状を有する基準表示画像を前記表示装置の表示画面に表示させる第１表示制御手段、
前記取得手段が前記第１フレームよりも後に取得した第２フレームの撮像画像から前記マーカを検出した場合には、前記形状情報が示す形状を前記第２フレームの撮像画像から検出した前記マーカの形状に変形させるためのパラメータを求め、前記基準表示画像の形状を該パラメータを用いて変化させた表示画像を生成して前記表示画面に表示させる第２表示制御手段
として機能させる。

【発明の効果】

【0006】

本発明の構成によれば、モーションセンサを使用せずとも、撮像画像を用いた簡便な処理でもって、操作者の頭部の位置や向きに応じた画像を表示させることができる。

【0007】

本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

【図面の簡単な説明】

【0008】

添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。

【図1A】ＨＭＤを説明する図。

【図1B】ＨＭＤを説明する図。

【図2】表示装置１０１及びＨＭＤ本体部１０２のハードウェア構成例を示すブロック図。

【図3】マーカを説明する図。

【図4A】マーカを含む撮像画像を示す図。

【図4B】マーカを含む撮像画像を示す図。

【図4C】マーカを含む撮像画像を示す図。

【図4D】マーカを含む撮像画像を示す図。

【図5A】表示画像を示す図。

【図5B】表示画像を示す図。

【図5C】表示画像を示す図。

【図5D】表示画像を示す図。

【図6】表示装置１０１が行う処理のフローチャート。

【発明を実施するための形態】

【0009】

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。

【0010】

［第１の実施形態］
本実施形態では、ＨＭＤの表示画面に表示画像（静止画像であっても動画像であっても、それらの両方であっても良い）を表示するのであるが、この表示画像の形状を、壁面に設けたマーカをＨＭＤに設けられたカメラで撮像した撮像画像中の該マーカの形状の変化に応じて制御するものである。以下の説明において「形状」とは、「外形」と「サイズ」の両方の意味を含むものとする。

【0011】

先ず、本実施形態に係るＨＭＤについて、図１Ａ，１Ｂを用いて説明する。図１Ａは、本実施形態に係るＨＭＤ１００の外観例を示す図である。図１Ａに示す如く、本実施形態に係るＨＭＤ１００は、表示装置１０１とＨＭＤ本体部１０２と、を有する。

【0012】

表示装置１０１は、自身が保持する若しくは外部から受信したデータに基づく画像や文字を表示可能な表示画面を有する機器であり、例えば、スマートフォンやタブレット端末装置などを適用することができる。１１４はカメラであり、現実空間の動画像を撮像する。表示装置１０１の表示画面は、カメラ１１４が取り付けられた面とは逆の面に設けられている。

【0013】

ＨＭＤ本体部１０２は、ＨＭＤ１００を装着したユーザの眼前に表示装置１０１の表示画面が位置するように該表示装置１０１を取り付けることができる機器である。ＨＭＤ本体部１０２において１９０ａ、１９０ｂはそれぞれ、ＨＭＤ１００を装着したユーザの右耳、左耳に音声を出力するためのスピーカである。

【0014】

ＨＭＤ１００の装着例を図１Ｂに示す。図１Ｂ及び上記の如く、表示装置１０１は、ユーザの眼１８０の前に表示装置１０１の表示画面が位置するようにＨＭＤ本体部１０２に取り付けられている。

【0015】

なお、図１Ａ，１Ｂには、ＨＭＤ１００において以下の説明に関連する主要な構成を示しており、例えばＨＭＤ１００をユーザの頭部に固定するためのベルトや、ベルトの長さを調整するための調整用つまみなどの図示は省略している。

【0016】

次に、表示装置１０１及びＨＭＤ本体部１０２のハードウェア構成例について、図２のブロック図を用いて説明する。なお、図２に示した構成は、以下の説明において表示装置１０１及びＨＭＤ本体部１０２が行うものとして後述する各処理を実現可能な構成の一例である。

【0017】

先ず、表示装置１０１のハードウェア構成例について説明する。

【0018】

ＣＰＵ１１１は、ＲＡＭ１１２に格納されているコンピュータプログラムやデータを用いて、表示装置１０１全体の動作制御を行うと共に、表示装置１０１が行うものとして後述する各処理を実行若しくは制御する。

【0019】

ＲＡＭ１１２は、不揮発性メモリ１１３からロードされたコンピュータプログラムやデータを格納するためのエリア、ＣＰＵ１１１が各種の処理を実行する際に用いるワークエリアを有する。更に、表示装置１０１が外部の機器とのデータ通信が可能な機器であれば、外部の機器から受信したコンピュータプログラムやデータを格納するためのエリアも有する。このように、ＲＡＭ１１２は、各種のエリアを適宜提供することができる。

【0020】

不揮発性メモリ１１３には、ＯＳ（オペレーティングシステム）や、表示装置１０１が行うものとして後述する各処理をＣＰＵ１１１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。不揮発性メモリ１１３に保存されているコンピュータプログラムには、撮像画像におけるマーカの領域を検出するためのコンピュータプログラム、表示画像の再生プログラム、音声の再生プログラム等が含まれている。また、不揮発性メモリ１１３に保存されているデータには、表示画像のデータ、音声のデータ、以下の説明において既知の情報として取り扱う情報、等が含まれている。なお、表示装置１０１が外部の機器とのデータ通信が可能な機器であれば、上記の各種のプログラムやデータ等は、外部の機器から受信して不揮発性メモリ１１３に保存するようにしても良い。

【0021】

不揮発性メモリ１１３に保存されているコンピュータプログラムやデータは、ＣＰＵ１１１による制御に従って適宜ＲＡＭ１１２にロードされ、ＣＰＵ１１１による処理対象となる。

【0022】

カメラ１１４は、表示装置１０１において表示画面１１５とは逆の面に取り付けられたもので、現実空間の動画像を撮像する。カメラ１１４からは各フレームの画像（撮像画像）が出力され、該出力された撮像画像は不揮発性メモリ１１３に保存される。

【0023】

表示画面１１５は、液晶画面、タッチパネル画面などにより構成されており、ＣＰＵ１１１による処理結果を画像や文字などでもって表示することができる。

【0024】

Ｉ／Ｆ（インターフェース）１１６は、ＨＭＤ本体部１０２への音声出力用のインターフェースであり、後述するように、ＨＭＤ本体部１０２側のＩ／Ｆ１２１とデータ通信が可能なように構成されている。Ｉ／Ｆ１１６とＩ／Ｆ１２１との間のデータ通信は無線通信でも良いし、有線通信でも良い。

【0025】

ＣＰＵ１１１、ＲＡＭ１１２、不揮発性メモリ１１３、カメラ１１４、表示画面１１５、Ｉ／Ｆ１１６は何れもバス１１７に接続されている。

【0026】

次に、ＨＭＤ本体部１０２のハードウェア構成例について説明する。

【0027】

Ｉ／Ｆ１２１は、表示装置１０１からＩ／Ｆ１１６を介して出力された音声信号を受信し、該受信した音声信号を音声出力部１２２に送出するためのインターフェースであり、上記のＩ／Ｆ１１６とデータ通信が可能なように構成されている。

【0028】

音声出力部１２２は、Ｉ／Ｆ１２１から受けた音声信号を音として出力するためのものである。音声出力部１２２は、上記の右耳用のスピーカ１９０ａと左耳用のスピーカ１９０ｂと、を含み、それぞれのスピーカに対して音声信号に基づく音を出力する。

【0029】

次に、上記のマーカについて図３を用いて説明する。図３のマーカ３０１は、矩形（例えば正方形）の枠３０２の内部に、該枠３０２に内接するように該枠３０２を縮小して規定角度（図３では９０度）回転させた枠３０３を配置し、該枠３０３の内部に規定のマーク３０４を配置したシートである。図３に示したマーカ３０１は、現実空間中に固定して配置されるのであれば、如何なる方法で現実空間中に設けても構わない。例えば、マーカ３０１を壁面に貼り付けても良いし、天井からつるしても構わない。また、壁面に設けた若しくは天井からつるした表示画面にマーカ３０１の画像を表示しても良い。また、本実施形態で使用可能なマーカの構成は図３に示した構成に限らない。

【0030】

次に、表示装置１０１の表示画面１１５に表示画像を表示するためにＣＰＵ１１１が行う処理について、図６のフローチャートを用いて説明する。なお、図６のフローチャートに従った処理は、１フレーム分の表示画像を表示画面１１５に表示させるための処理である。然るにＣＰＵ１１１は、図６のフローチャートに従った処理を繰り返し行うことで、複数フレーム分の表示画像を表示画面１１５に表示させることができる。

【0031】

ステップＳ６０１では、ＣＰＵ１１１は、カメラ１１４から出力された撮像画像（Ｎフレーム目の撮像画像）を取得し、該取得した撮像画像を不揮発性メモリ１１３に保存する。

【0032】

ステップＳ６０２では、ＣＰＵ１１１は、ステップＳ６０１で取得したＮフレーム目の撮像画像（現フレームの撮像画像）においてマーカ３０１が写っている画像領域をマーカ領域として検出する。撮像画像からマーカ領域を検出するための技術には様々な技術があり、本ステップでは如何なる技術を用いて撮像画像からマーカ領域を検出しても良い。例えば、予めマーカを学習させた認識モデルを用いて、撮像画像から該マーカの画像領域をマーカ領域として検出するようにしても良いし、パターンマッチング技術により、撮像画像からマーカの画像と最も一致する画像領域をマーカ領域として検出するようにしても良い。

【0033】

ステップＳ６０３では、ＣＰＵ１１１は、ステップＳ６０１で取得した撮像画像が、表示装置１０１の起動後に初めてマーカ領域を検出した撮像画像であるのか否かを判断する。この判断の結果、ステップＳ６０１で取得した撮像画像が、表示装置１０１の起動後に初めてマーカ領域を検出した撮像画像であれば、処理はステップＳ６０４に進み、ステップＳ６０１で取得した撮像画像が、表示装置１０１の起動後にマーカ領域を検出した２枚目以降の撮像画像であれば、処理はステップＳ６０５に進む。

【0034】

ステップＳ６０４では、ＣＰＵ１１１は、ステップＳ６０２で検出したマーカ領域、すなわち、表示装置１０１の起動後に初めて検出したマーカ領域の形状を規定する形状情報をＲＡＭ１１２に格納する。形状情報は、例えば、撮像画像上におけるマーカ領域の四隅の画像座標である。そして更にＣＰＵ１１１は、基準形状を有する表示画像（基準表示画像と称する場合がある）を表示画面１１５に表示する。以下では説明上、ステップＳ６０１で取得した撮像画像が、表示装置１０１の起動後に初めてマーカ領域を検出した撮像画像である場合には、図５Ｂに示す表示画像５０２が基準表示画像として表示画面１１５に表示されるものとして説明する。この例でいうところの「基準表示画像」とは「基準サイズを有する長方形の表示画像」に相当する。

【0035】

一方、ステップＳ６０５では、ＣＰＵ１１１は、ステップＳ６０４でＲＡＭ１１２に格納した形状情報が示す形状から、Ｎフレーム目の撮像画像についてステップＳ６０２で検出したマーカ領域の形状へ、の変化を検出する。

【0036】

ステップＳ６０６では、ＣＰＵ１１１は、ステップＳ６０５で求めた形状の変化に応じて基準表示画像の形状を制御して新たな表示画像を生成し、該生成した表示画像を表示画面１１５に表示させる。

【0037】

ここで、ステップＳ６０５及びステップＳ６０６における処理について、図４Ａ〜４Ｄ，５Ａ〜５Ｄを例にとり説明する。

【0038】

図４Ａ〜４Ｄには、撮像画像中におけるマーカ３０１の様々な写り方の一例を示している。撮像画像におけるマーカ３０１の写り方は、カメラ１１４とマーカ３０１との間の距離や、マーカ３０１の面の法線方向とカメラ１１４の光軸方向との関係などに応じて変化する。

【0039】

例えば、マーカ３０１の位置から該マーカ３０１の法線方向に距離ｄ１だけ離間した位置から該マーカ３０１を正面から撮像したことで、図４Ａの撮像画像４０１ａが得られたとする。撮像画像４０１ａにはマーカ３０１が適当なサイズのマーカ４０１ｂとして写っている。

【0040】

ここで、マーカ３０１の位置から該マーカ３０１の法線方向に距離ｄ２（ｄ２＞ｄ１）だけ離間した位置から該マーカ３０１を正面から撮像すると、図４Ｂに示す如く、マーカ４０１ｂより小さいサイズのマーカ４０２ｂが写った撮像画像４０２ａが得られる。

【0041】

また、マーカ３０１の位置から該マーカ３０１の法線方向に距離ｄ１だけ離間した位置を位置Ｐとしたとき、位置Ｐから該マーカ３０１に向かって左側に適当な距離だけ離間した位置から該マーカ３０１を撮像すると、図４Ｃに示す如く、左辺及び右辺のそれぞれが、マーカ４０１ｂの左辺よりも長く、マーカ４０１ｂの右辺よりも短いマーカ４０４ｂが写った撮像画像４０４ａが得られる。

【0042】

また、位置Ｐから該マーカ３０１に向かって右側に適当な距離だけ離間した位置から該マーカ３０１を撮像すると、図４Ｄに示す如く、左辺及び右辺のそれぞれが、マーカ４０１ｂの左辺よりも短く、マーカ４０１ｂの右辺よりも長いマーカ４０５ｂが写った撮像画像４０５ａが得られる。

【0043】

このように、マーカ３０１とカメラ１１４との位置関係に応じて、撮像画像中のマーカ３０１の見え方は変化する。本実施形態では、表示装置１０１の起動後に初めて撮像画像からマーカ領域を検出した場合には、該検出したマーカ領域の形状に関わらず、基準表示画像（ここでは表示画像５０２）を表示画面１１５に表示する。つまり、図４Ａ〜４Ｄを例にとると、表示装置１０１の起動後に初めて撮像画像から検出したマーカ領域が、マーカ４０１ｂ、４０２ｂ、４０４ｂ、４０５ｂの何れの画像領域であっても、その形状に関わらず、基準表示画像を表示する。そして、それ以降のフレームであるＮフレーム目の撮像画像からマーカ領域を検出した場合には、形状情報が示す形状から該マーカ領域の形状への変化を求め、該求めた変化に応じて表示画像５０２の形状を制御した新たな表示画像を生成して表示する。

【0044】

例えば、表示装置１０１の起動後に初めてマーカ領域を検出した撮像画像が図４Ｂの撮像画像４０２ａであるとする。このとき、形状情報が示す形状はマーカ４０２ｂの形状である。そしてこのときに、基準表示画像として表示画像５０２が表示画面１１５に表示されたとする。

【0045】

そしてその後、Ｎフレーム目の撮像画像として撮像画像４０１ａを取得したとする。この場合は、マーカ４０２ｂの形状からマーカ４０１ｂの形状への変化を求める。形状の変化を求める方法には様々な方法があるが、ここではその一例を挙げる。先ず、撮像画像４０１ａにおけるマーカ４０１ｂの四隅の画像座標を求める。そして、形状情報が示すマーカ４０２ｂの四隅の画像座標からマーカ４０１ｂの四隅の画像座標への座標変換パラメータ（マーカ４０２ｂのマーカ領域の形状をマーカ４０１ｂのマーカ領域の形状に変形させるための領域変形パラメータ）を求める。そして、該座標変換パラメータを用いて表示画像５０２の四隅の画像座標を変換することで該表示画像５０２を変形させた表示画像５０１を生成し、該生成した表示画像５０１を表示画面１１５に表示させる。その結果、図５Ａに示す如く、表示画面１１５には、表示画像５０２を、マーカ４０２ｂのサイズに対するマーカ４０１ｂのサイズの拡大率に応じて拡大した表示画像５０１が表示されることになる。これは、撮像画像４０１ａ内のマーカ４０１ｂのサイズが、撮像画像４０２ａ内のマーカ４０２ｂのサイズよりも大きくなっているため、これに合わせて、表示画像５０２を拡大した表示画像５０１を表示したことに起因する。

【0046】

また、表示装置１０１の起動後に初めてマーカ領域を検出した撮像画像が図４Ａの撮像画像４０１ａであり、そのときに表示した基準表示画像が表示画像５０１であり、Ｎフレーム目の撮像画像として撮像画像４０２ａを取得した場合には、例えば、撮像画像４０２ａにおけるマーカ４０２ｂの四隅の画像座標を求め、形状情報が示すマーカ４０１ｂの四隅の画像座標からマーカ４０２ｂの四隅の画像座標への座標変換パラメータを求め、該座標変換パラメータを用いて表示画像５０１の四隅の画像座標を変換させた表示画像５０２を生成し、該生成した表示画像５０２を表示画面１１５に表示させる。

【0047】

また、表示装置１０１の起動後に初めてマーカ領域を検出した撮像画像が図４Ａの撮像画像４０１ａであり、そのときに表示した基準表示画像が表示画像５０１であり、Ｎフレーム目の撮像画像として撮像画像４０４ａを取得した場合には、例えば、撮像画像４０４ａにおけるマーカ４０４ｂの四隅の画像座標を求め、形状情報が示すマーカ４０１ｂの四隅の画像座標からマーカ４０４ｂの四隅の画像座標への座標変換パラメータを求め、該座標変換パラメータを用いて表示画像５０１の四隅の画像座標を変換させた表示画像５０４を生成し、該生成した表示画像５０４を表示画面１１５に表示させる。これは、表示装置１０１の起動後に初めてマーカ領域を検出した撮像画像が図４Ｂの撮像画像４０２ａであっても同様である。

【0048】

また、表示装置１０１の起動後に初めてマーカ領域を検出した撮像画像が図４Ａの撮像画像４０１ａであり、そのときに表示した基準表示画像が表示画像５０１であり、Ｎフレーム目の撮像画像として撮像画像４０５ａを取得した場合には、例えば、撮像画像４０５ａにおけるマーカ４０５ｂの四隅の画像座標を求め、形状情報が示すマーカ４０１ｂの四隅の画像座標からマーカ４０５ｂの四隅の画像座標への座標変換パラメータを求め、該座標変換パラメータを用いて表示画像５０１の四隅の画像座標を変換した表示画像５０５を生成し、該生成した表示画像５０５を表示画面１１５に表示させる。これは、表示装置１０１の起動後に初めてマーカ領域を検出した撮像画像が図４Ｂの撮像画像４０２ａであっても同様である。

【0049】

このような構成によれば、ＨＭＤ（頭部）の位置姿勢に応じた画像表示を行う場合、従来のように、ＨＭＤの位置姿勢をセンサなどを用いて計測したり、センサを用いて収集した情報やマーカの３次元位置姿勢なども考慮して仮想３次元空間における視点からの画像を生成するといった複雑な演算処理を行う必要はなく、撮像画像中のマーカ領域の形状の変化のみに応じて、ＨＭＤ（頭部）の位置姿勢に応じた画像表示を行うことができる。

【0050】

［第２の実施形態］
第１の実施形態では、表示装置１０１の起動後に初めて撮像画像から検出したマーカ領域の形状を示す情報を形状情報としたが、他のフレームにおけるマーカ領域の形状を示す情報であっても良い。例えば、最近に検出したマーカ領域の形状を示す情報を形状情報としても良い。

【0051】

また、第１の実施形態では、ＨＭＤの代わりに、ハンドヘルド表示装置、スマートフォン、タブレット端末装置を使用しても良いが、何れの装置であっても、現実空間の動画像を撮像するカメラを有する必要がある。

【0052】

また、表示画面１１５に表示画像を表示する場合には、カメラ１１４による撮像画像も表示しても良い。例えば、撮像画像上のマーカ領域に重ねて表示画像を表示しても良い。もちろん、表示画像の表示位置はマーカ領域に重なる位置に限らない。

【0053】

本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】