(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1によれば、カメラで撮影した現実空間において、用紙の存在の有無とこの用紙の姿勢とを検出し、この用紙の姿勢に合わせて、印刷装置が画像又は用紙に施す予定の付加処理を模擬的に示す出力イメージ画像として、この用紙に重ね合わせた拡張現実空間を表示することが記載されている。
【0006】
しかしながら、実際にユーザがこのイメージ画像を重ね合わせた用紙を視認したか否かを判断することは困難である。そのため、ユーザは自身が視認する物体に対しての仮想現実や拡張現実を表示されているか否かを判断することは困難であった。
【0007】
そこで、本発明では、ユーザの視線を解析することにより、3次元データとして表示された対象物を特定し、出力することにより、ユーザが視認する物体を判断することができる点に着目した。
【0008】
本発明は、ユーザの視線に基づいて、3次元データとして表示された対象物を特定し、出力することが可能なヘッドマウントディスプレイ、データ出力方法及びヘッドマウントディスプレイを提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明では、以下のような解決手段を提供する。
【0010】
第1の特徴に係る発明は、ユーザの目を覆って、仮想現実又は拡張現実として3次元空間データを出力するヘッドマウントディスプレイであって、
前記ユーザの目を撮影する撮影手段と、
撮影された画像を画像解析することで、撮影した画像における虹彩の位置を取得する解析手段と、
3次元データとして表示された対象物の3次元データ内の位置情報と前記虹彩の位置を対応付けて記憶する記憶手段と、
前記取得した虹彩の位置に基づいて、
前記対象物を特定し、前記対象物を関心対象データとして出力する関心データ出力手段と、
を備えることを特徴とするヘッドマウントディスプレイを提供する。
【0011】
第1の特徴に係る発明によれば、ユーザの目を覆って、仮想現実又は拡張現実として3次元空間データを出力するヘッドマウントディスプレイは、前記ユーザの目を撮影し、撮影された画像を画像解析することで、撮影した画像における虹彩の位置を取得し、
3次元データとして表示された対象物の3次元データ内の位置情報と前記虹彩の位置を対応付けて記憶し、前記取得した虹彩の位置に基づいて、
前記対象物を特定し、前記対象物を関心対象データとして出力する。
【0012】
ここで、第1の特徴に係る発明は、ヘッドマウントディスプレイのカテゴリであるが、データ出力方法及びヘッドマウントディスプレイ用プログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
【0015】
第
2の特徴に係る発明は、前記関心データ出力手段は、前記対象物を画像認識し、当該対象物の名称等のテキストデータを、前記関心対象データとして出力することを特徴とする第
1の特徴に係る発明であるヘッドマウントディスプレイを提供する。
【0016】
第
2の特徴に係る発明によれば、第
1の特徴に係る発明であるヘッドマウントディスプレイは、前記関心対象データを、画像認識したテキストデータとして出力する。
【0017】
第
3の特徴に係る発明は、ユーザの目を覆って、仮想現実又は拡張現実として3次元空間データを出力する
ヘッドマウントディスプレイが実行するデータ出力方法であって、
前記ユーザの目を撮影する撮影ステップと、
撮影された画像を画像解析することで、撮影した画像における虹彩の位置を取得する解析ステップと、
3次元データとして表示された対象物の3次元データ内の位置情報と前記虹彩の位置を対応付けて記憶する記憶ステップと、
前記取得した虹彩の位置に基づいて、
前記対象物を特定し、前記対象物を関心対象データとして出力するステップと、
を備えることを特徴とするデータ出力方法を提供する。
【0018】
第
4の特徴に係る発明は、ユーザの目を覆って、仮想現実又は拡張現実として3次元空間データを出力するヘッドマウントディスプレイ
に、
前記ユーザの目を撮影する撮影ステッ
プ、
撮影された画像を画像解析することで、撮影した画像における虹彩の位置を取得する解析ステップ、
3次元データとして表示された対象物の3次元データ内の位置情報と前記虹彩の位置を対応付けて記憶する記憶ステップ、
前記取得した虹彩の位置に基づいて、
前記対象物を特定し、前記対象物を関心対象データとして出力するステップ、
を
実行させるためのコンピュータ読み取り可能なヘッドマウントディスプレイ用プログラムを提供する。
【発明の効果】
【0019】
本発明によれば、ユーザの視線に基づいて、3次元データとして表示された対象物を特定し、出力することが可能なヘッドマウントディスプレイ、データ出力方法及びヘッドマウントディスプレイを提供することが可能となる。
【発明を実施するための形態】
【0021】
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これらはあくまでも例であって、本発明の技術的範囲はこれに限られるものではない。
【0022】
[ヘッドマウントディスプレイ10の概要]
図1は、本発明の好適な実施形態であるヘッドマウントディスプレイ10の概要を説明するための図である。ヘッドマウントディスプレイ10は、カメラ100、ディスプレイ110、視線検知部120、データ出力部130及び記憶部140から構成される。
【0023】
ヘッドマウントディスプレイ10は、ユーザの目を覆って、仮想現実又は拡張現実として3次元空間データを出力する装置である。また、カメラ100は、ユーザの目を撮影するデバイス等を含む。また、ディスプレイ110は、仮想現実又は拡張現実として3次元空間データを表示するデバイス等を含む。また、視線検知部120は、カメラ100で撮影したユーザの目の画像データを画像解析し、ユーザの視線を検知し、特定するデバイス等を含む。また、データ出力部130は、特定したユーザの視線の先にある対象物と、この対象物の3次元空間内での位置情報とを出力するデバイスや、特定した対象物をテキストデータとして出力するデバイス等を含む。
【0024】
はじめに、カメラ100は、装着したユーザの目を撮影する(ステップS01)。
【0025】
視線検知部120は、撮影したユーザの目の画像データを画像解析し、目の位置情報を検知し、取得する(ステップS02)。
【0026】
データ出力部130は、ディスプレイ110に出力する3次元データの位置情報を生成する(ステップS03)。
【0027】
記憶部140は、視線検知部120が取得したユーザの目の位置情報と、データ出力部130が生成した3次元データの位置情報とを対応付けて記憶する(ステップS04)。ステップS04において、記憶部140は、ディスプレイ110が表示する3次元データの位置に関する位置情報と、ユーザの目の位置とを対応付けて記憶する。
【0028】
ディスプレイ110は、仮想現実空間を表示する(ステップS05)。ステップS05において、ディスプレイ110は、データ出力部130が生成した3次元データの位置情報に基づいて、仮想現実空間を表示する。
【0029】
カメラ100は、ユーザの目を撮影する(ステップS06)。
【0030】
視線検知部120は、ステップS06において撮影したユーザの目の画像を解析し、目の位置情報を取得する(ステップS07)。ステップS07において、視線検知部120は、目の位置情報の解析を虹彩の位置に基づいて取得する。
【0031】
視線検知部120は、取得したユーザの目の位置情報に基づいて、現在ユーザの視線の先に存在する対象物の3次元データの位置情報を取得する(ステップS08)。
【0032】
データ出力部130は、視線検知部120が取得した3次元データの位置情報に基づいて、この3次元データがユーザの視線の先にある対象物を特定し、この対象物を関心対象データとして出力する(ステップS09)。ステップS09において、データ出力部130は、関心対象データをディスプレイ110、通信可能に接続された外部端末等に出力する。また、ステップS09において、データ出力部130は、3次元空間内での位置情報に対応付けられた関心対象データとして出力する。また、ステップS09において、データ出力部130は、この関心対象データを画像認識したテキストデータとして出力する。
【0033】
以上が、ヘッドマウントディスプレイ10の概要である。
【0034】
[ヘッドマウントディスプレイ10の構成]
図2は、本発明の好適な実施形態であるヘッドマウントディスプレイの構成図である。ヘッドマウントディスプレイ10は、制御部11、通信部12、撮影部13、記憶部14及び表示部15から構成される。
【0035】
ヘッドマウントディスプレイ10は、後述の機能を備え、ユーザの目を覆って、仮想現実又は拡張現実として3次元空間データを出力する装置である。また、ヘッドマウントディスプレイ10は、データ通信機能を備える通信部12を備える。また、ヘッドマウントディスプレイ10は、ユーザの目を撮影するカメラ等のデバイスを備えた撮影部13を備える。また、ヘッドマウントディスプレイ10は、各種データや情報を記憶する記憶部14を備える。また、ヘッドマウントディスプレイ10は、制御部11が制御した画像、データ及び各種情報を表示する表示部15を備える。
【0036】
また、ヘッドマウントディスプレイ10は、撮影部13が撮影したユーザの目の画像を解析し、ユーザの視線を検知するデバイス等を備える。また、ヘッドマウントディスプレイ10は、検知したユーザの視線に基づいて、3次元データとして表示部15に表示した対象物を特定し、対象物を関心対象物として出力するデバイス等を備える。また、ヘッドマウントディスプレイ10は、3次元空間内での位置情報に対応付けた関心対象データを出力するデバイス等を備える。また、ヘッドマウントディスプレイ10は、関心対象データを画像認識したテキストデータとして出力デバイス等を備える。
【0037】
[各機能の説明]
図3に基づいて、各構成について説明する。
【0038】
ヘッドマウントディスプレイ10は、制御部11として、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、通信部12として、他の機器と通信可能にするためのデバイス、例えば、IEEE802.11に準拠したWiFi(Wireless Fidelity)対応デバイスを備える。
【0039】
また、ヘッドマウントディスプレイ10は、撮影部13として、カメラ等の画像を撮影するデバイスを備える。また、ヘッドマウントディスプレイ10は、記憶部14として、例えば、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。記憶部14には、後述する対象物テーブル、テキストデータテーブルが含まれる。
【0040】
また、ヘッドマウントディスプレイ10は、表示部15として、制御部11で制御したデータや画像を出力表示するデバイスを備える。
【0041】
ヘッドマウントディスプレイ10において、制御部11が所定のプログラムを読み込むことで、通信部12と協働して、表示データ取得モジュール20、データ出力モジュール21を実現する。また、ヘッドマウントディスプレイ10において、制御部11が所定のプログラムを読み込むことで、撮影部13と協働して、撮影モジュール30、解析モジュール31を実現する。また、ヘッドマウントディスプレイ10において、制御部11が所定のプログラムを読み込むことで、記憶部14と協働して、データ記憶モジュール40、データ演算モジュール41を実現する。また、ヘッドマウントディスプレイ10において、制御部11が所定のプログラムを読み込むことで、表示部15と協働して、表示モジュール50を実現する。
【0042】
[データ出力処理]
図4は、ヘッドマウントディスプレイ10が実行するデータ出力処理の手順を示すフローチャートである。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
【0043】
はじめに、ヘッドマウントディスプレイ10の撮影モジュール30は、装着したユーザの目を撮影する(ステップS20)。ステップS20において、撮影モジュール30は、
図5に示す通り、ユーザの目として、眼球及び瞼を一つの画像として撮影する。
【0044】
ヘッドマウントディスプレイ10の解析モジュール31は、ステップS20において撮影した画像を画像解析し、撮影した画像における虹彩200の位置を虹彩位置情報として取得する(ステップS21)。ステップS21において、解析モジュール31は、目頭210を基準点とし、虹彩200の位置を座標として取得する。
【0045】
ヘッドマウントディスプレイ10の表示データ取得モジュール20は、自身に表示する3次元空間の仮想データである3次元データを取得する(ステップS22)。ステップS22において、表示データ取得モジュール20は、通信可能に接続されたサーバ、携帯端末、家庭用又は業務用のコンピュータ等の外部端末から、3次元データを取得する。
【0046】
ヘッドマウントディスプレイ10のデータ記憶モジュール40は、ステップS21において取得した虹彩位置情報と、ステップS22において取得した3次元データとを其々記憶する(ステップS23)。
【0047】
ヘッドマウントディスプレイ10のデータ演算モジュール41は、記憶した3次元データに基づいて、3次元データに含まれる各対象物の位置等の対象物位置情報と、虹彩位置情報とを対応付ける(ステップS24)。ステップS24において、データ演算モジュール41は、虹彩位置情報の各々と、対象物位置情報との位置関係を演算する。例えば、ユーザが表示されたビルAを見ている場合における、ユーザの虹彩200の位置を演算して算出し、この時の対象物位置情報と、虹彩位置情報とを演算して算出する。
【0048】
ヘッドマウントディスプレイ10のデータ記憶モジュール40は、ステップS24において算出した虹彩位置情報と、対象物位置情報とを対応付けて、
図6に位置情報記憶テーブルとして記憶する(ステップS25)。
【0049】
[位置情報記憶テーブル]
図6は、ヘッドマウントディスプレイ10のデータ記憶モジュール40が記憶する位置情報記憶テーブルを示す図である。データ記憶モジュール40は、ユーザの虹彩200の位置を示す情報である虹彩位置情報と、対象物の名称及び位置情報を示す情報である対象物位置情報とを対応付けて記憶する。
図6において、データ記憶モジュール40は、虹彩位置情報として(X01,Y01)―(X02,Y02)と、対象物位置情報としてタワーA(X20,Y20)―(X25,Y40)とを対応付けて記憶する。また、データ記憶モジュール40は、虹彩位置情報として(X10,Y10)―(X11,Y11)と、対象物位置情報としてビルA(X30,Y10)―(X35,Y20)とを対応付けて記憶する。データ記憶モジュール40は、同様に、3次元空間データに存在する他の対象物等の対象物位置情報と、虹彩位置情報とを対応付けて記憶する。なお、データ記憶モジュール40は、他の対象物の対象物位置情報と、虹彩位置情報とを対応付けて記憶していても良い。また、データ記憶モジュール40は、虹彩位置情報と、3次元データに基づいた画像とを対応付けて記憶していても良い。
【0050】
ヘッドマウントディスプレイ10の表示モジュール50は、ステップS22において取得した3次元データに基づいて、
図7に示す仮想現実空間を表示する(ステップS26)。
図7において、表示モジュール50は、仮想現実空間として、ビルA、タワーAを表示する。なお、表示モジュール50が表示する仮想現実空間は、他の物体を表示しても良いのは言うまでもない。また、表示モジュール50が表示する仮想現実空間は適宜変更可能である。
【0051】
ヘッドマウントディスプレイ10の撮影モジュール30は、装着するユーザの目を撮影する(ステップS27)。ステップS27は、上述したステップS20の処理と同様である。
【0052】
ヘッドマウントディスプレイ10の解析モジュール31は、ステップS27において撮影したユーザの虹彩200の位置を解析する(ステップS28)。ステップS28において、解析モジュール31は、撮影した目の画像データにおいて、目頭210の位置を基準点として、虹彩200の位置を示す虹彩位置情報を座標として解析する。解析モジュール31は、解析した虹彩位置情報に基づいて、ユーザの視線を解析する。
【0053】
ヘッドマウントディスプレイ10の解析モジュール31は、
図8に示す通り、表示モジュール50に表示した3次元データにおいて、ユーザの視線300を認識する。
【0054】
ステップS28において、解析モジュール31は、解析モジュール31が解析した虹彩位置情報に基づいて、データ記憶モジュール40に記憶された虹彩位置情報を検索し、ユーザの視線の先にある対象物を判断する(ステップS29)。
【0055】
ステップS29において、解析モジュール31は、解析した虹彩位置情報が、記憶した虹彩位置情報には存在しないと判断した場合(ステップS29 NO)、本処理を終了する。一方、ステップS29において、解析モジュール31は、解析した虹彩位置情報が、記憶した虹彩位置情報に存在すると判断した場合(ステップS29 YES)、ヘッドマウントディスプレイ10のデータ出力モジュール21は、この虹彩位置情報に対応付けられた対象物位置情報を関心対象データとして出力する(ステップS30)。
【0056】
ステップS30において、データ出力モジュール21は、関心対象データとして、この対象物位置情報に含まれる、位置情報、名称や種別等のテキストデータ、画像認識したテキストデータ等を出力する。また、データ出力モジュール21は、関心対象データを、表示モジュール50、外部端末又は他のヘッドマウントディスプレイ等に出力する。例えば、データ出力モジュール21が表示モジュール50に関心対象データを出力した場合、表示モジュール50は、ユーザの視線の先に、テキストデータや、拡大画像の画像データ等の各種データを
図9に示すように表示する。また、データ出力モジュール21が外部端末に関心対象データを出力した場合、この外部端末に、出力元のヘッドマウントディスプレイ10の識別子、出力元のヘッドマウントディスプレイ10のユーザ名、ユーザの視線の先にある物体のテキストデータや拡大画像の画像データ等の各種データを表示する。また、データ出力モジュール21が他のヘッドマウントディスプレイに関心対象データを出力した場合、他のヘッドマウントディスプレイの表示部の一部、又は対象物位置情報に含まれる位置情報に該当する位置に出力元のヘッドマウントディスプレイ10の識別子や出力元のヘッドマウントディスプレイ10のユーザ名、出力元のヘッドマウントディスプレイの10ユーザの視線の先にある物体のテキストデータや拡大画像の画像データ等の各種データを表示する。
【0057】
図9は、ヘッドマウントディスプレイ10の表示モジュール50が表示する関心対象データである。
図9において、表示モジュール10は、対象物の名称、情報、その他の各項目を表示する。対象物の名称とは、ユーザの視線の先にある物体の名称である。また、情報とは、この物体に関連付けられた各種情報である。この情報は、例えば、表示データ取得モジュール20が公衆回線網等を介して取得したこの物体に関する各種情報を表示する。また、その他の項目とは、表示データ取得モジュール20がこの物体をキーワードとして検索した検索結果のURLアドレスを表示する。なお、表示モジュール50は、例えば、対象物の拡大画像やその他の情報等を表示しても良い。
【0059】
上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、CD(CD−ROMなど)、DVD(DVD−ROM、DVD−RAMなど)等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置(記録媒体)に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
【0060】
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。