知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-06
(45)【発行日】2024-06-14
(54)【発明の名称】ヘッドマウントディスプレイ
(51)【国際特許分類】
G06F 3/01 20060101AFI20240607BHJP
G06T 19/00 20110101ALI20240607BHJP
G06F 3/0484 20220101ALI20240607BHJP
【ＦＩ】
G06F3/01 510
G06T19/00 600
G06F3/0484
G06F3/01 570
【請求項の数】
14
(21)【出願番号】P 2022161325
(22)【出願日】2022-10-06
(62)【分割の表示】P 2021519969の分割
【原出願日】2019-05-22
(65)【公開番号】P2022183213
(43)【公開日】2022-12-08
【審査請求日】2022-10-06
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜弁理士法人
(72)【発明者】
【氏名】中出 眞弓
(72)【発明者】
【氏名】橋本 康宣
(72)【発明者】
【氏名】奥 万寿男
【審査官】相川 俊
(56)【参考文献】
【文献】米国特許第０６７７１２９４（ＵＳ，Ｂ１）
【文献】米国特許出願公開第２０１５／０２６９７８３（ＵＳ，Ａ１）
【文献】特開２０１４－０６７３８８（ＪＰ，Ａ）
【文献】国際公開第２０１４／１５６７０６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１
Ｇ０６Ｔ １９／００
Ｇ０６Ｆ ３／０４８４
(57)【特許請求の範囲】
【請求項1】
ヘッドマウントディスプレイであって、現実空間を撮影し撮影映像を得るカメラと、
表示部と、
制御装置を有し、
前記制御装置は、
前記カメラで撮影された撮像映像に基づいた現実空間に第１のＡＲオブジェクトを表示して形成されるＭＲ空間の表示映像を前記表示部に表示し、
前記撮影映像から操作画面表示物体を検知し、
前記操作画面表示物体の前面に前記ＭＲ空間内の前記第１のＡＲオブジェクトに対応する第２のＡＲオブジェクトを含む映像を前記第１のＡＲオブジェクトを表示して形成される前記ＭＲ空間の操作画面として前記表示部に表示する
ことを特徴とするヘッドマウントディスプレイ。
【請求項2】
請求項１に記載のヘッドマウントディスプレイであって、前記操作画面の映像は、前記撮影映像とＡＲオブジェクトとから成るＭＲ空間の映像であることを特徴とするヘッドマウントディスプレイ。
【請求項3】
請求項１に記載のヘッドマウントディスプレイであって、前記制御装置は、前記操作画面上の指示物体の動きを認識し、前記指示物体の動きにより、前記ＭＲ空間のＡＲオブジェクトを操作することを特徴とするヘッドマウントディスプレイ。
【請求項4】
請求項３に記載のヘッドマウントディスプレイであって、前記指示物体は指であり、指の動きによりＡＲオブジェクト、及び操作画面が操作されることを特徴とするヘッドマウントディスプレイ。
【請求項5】
請求項４に記載のヘッドマウントディスプレイであって、前記操作画面表示物体は手のひらであることを特徴とするヘッドマウントディスプレイ。
【請求項6】
請求項５に記載のヘッドマウントディスプレイであって、前記制御装置は、操作画面を表示する前記手のひらの指で前記指示物体の動きを認識し、指の折り曲げ、または、指の開閉のうち少なくとも１つを認識することを特徴とするヘッドマウントディスプレイ。
【請求項7】
請求項１に記載のヘッドマウントディスプレイであって、前記制御装置は、現実空間の現実物体、背景、及びＡＲオブジェクトをパターン化した映像に変換し、前記パターン化した映像を合成して、前記操作画面の映像とすることを特
徴とするヘッドマウントディスプレイ。
【請求項8】
請求項１に記載のヘッドマウントディスプレイであって、前記制御装置は、前記ＭＲ空間のＡＲオブジェクトをドラッグする操作により選択したＡＲオブジェクトを前記操作画面の映像とすることを特徴とするヘッドマウントディスプレイ。
【請求項9】
請求項１に記載のヘッドマウントディスプレイであって、ヘッドマウントディスプレイの動きを検知するセンサを備え、
前記制御装置は、ヘッドマウントディスプレイが下向きに回転移動したことを検知し、さらに前記操作画面表示物体を検知した場合、ヘッドマウントディスプレイが下向きに回転移動する前のＭＲ空間の映像を前記操作画面の映像とすることを特徴とするヘッドマウントディスプレイ。
【請求項10】
請求項１に記載のヘッドマウントディスプレイあって、前記現実空間を撮影し撮影映像を得るカメラは、前記ＭＲ空間の表示範囲よりも広角の撮影映像を得るカメラであって、
ヘッドマウントディスプレイの動きを検知するセンサを備え、
前記制御装置は、ヘッドマウントディスプレイが下向きに回転移動したことを検知し、前記操作画面表示物体を検知した場合、前記広角の撮影映像の切り出し位置を上方にずらした映像を含むＭＲ空間の映像を前記操作画面の映像とすることを特徴とするヘッドマウントディスプレイ。
【請求項11】
請求項１に記載のヘッドマウントディスプレイであって、透過型光学系とＡＲオブジェクトを投影する表示光学系を備え、
前記制御装置は、透過型光学系を通して視認する現実空間に前記表示光学系で投影するＡＲオブジェクトを重ね合わせて前記ＭＲ空間を得ることを特徴とするヘッドマウントディスプレイ。
【請求項12】
請求項１に記載のヘッドマウントディスプレイであって、前記現実空間内の現実物体の距離を測定するカメラを備え、
前記制御装置は、前記現実物体の距離に基づいて、前記現実物体とＡＲオブジェクトの遠近を反映したＭＲ空間の表示映像を生成することを特徴とするヘッドマウントディスプレイ。
【請求項13】
請求項１に記載のヘッドマウントディスプレイであって、前記制御装置は、前記操作画面表示物体の傾きを検出し、前記検出した傾きに応じて、前記操作画面の縦方向のサイズまたは横方向のサイズまたは形状のうち少なくとも１つを変更することを特徴とするヘッドマウントディスプレイ。
【請求項14】
請求項１３に記載のヘッドマウントディスプレイであって、前記制御装置は、前記操作画面の前記検出した傾きの方向のサイズを変更することを特徴とするヘッドマウントディスプレイ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、現実空間と仮想空間（仮想物体とも記す）とを重畳して表示する複合現実（ＭＲ:Mixed Reality）システムに用いるヘッドマウントディスプレイ（ＨＭＤ:Head Mount Display）に関する。
【背景技術】
【0002】
現実空間に映像や文字などの仮想物体（ＡＲオブジェクト:Argument Realityオブジェクト）の映像を重ね合わせて表示させ、視認させることが、ゲームや保守作業等のコンテンツに用いられている。ゲームの一例として、公園、駅等の公共の場に配置したキャラクタ（ＡＲオブジェクト）を捕まえて、捕まえたキャラクタの種類や得点を競うものがあり、保守の一例としては、エレベータの狭いピットの中で、作業指示映像（ＡＲオブジェクト）に従って作業を行なうような場合がある。
【0003】
ここで、ＡＲオブジェクトを表示するために、ＡＲトリガーあるいはマークと呼ばれる映像をカメラで背景と同時に撮影して、ＡＲトリガーで紐付けするＡＲオブジェクトを現実空間に配置する。あるいは、ユーザのいる現実空間を空間座標系に対応付け、任意の空間座標位置へＡＲオブジェクトを配置することで重畳するなどの方法がある。
【0004】
ＭＲシステムでは、カメラと表示光学系、及びセンサとが一体化されたＨＭＤをユーザが装着して、カメラで現実空間を撮影し、現実空間を、センサを用いて空間座標系で表す。表示光学系では、ＡＲオブジェクトを空間座標系の任意の位置に配置し、現実空間にＡＲオブジェクトの映像を重畳表示する。さらにＭＲシステムでは、現実空間内に置いたユーザの手などをカメラで撮影し、手の動き、即ちジェスチャでＡＲオブジェクトを操作することも行われる。しかしながらジェスチャによる操作は、公共の場では、周りの人の迷惑になり、狭い場所では、ジェスチャのような大きな動きをすることが困難である。
【0005】
本技術分野における従来技術として特許文献１がある。特許文献１では、手のひら、及び近傍に操作入力用の映像を投影し、手のひらの動きにより、操作入力を特定することを特徴とする情報入力装置が開示されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０１８-７３１７０号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ＭＲシステムでは、ＭＲ空間（現実空間にＡＲオブジェクトが重畳された空間）の任意のＡＲオブジェクトを選択して、ＭＲ空間の変化に反応して、ＡＲオブジェクトを操作するという、直感的な操作が必要である。しかしながら、特許文献１で開示されている手のひらに投射される操作入力用の釦を選択する方法では、ＭＲ空間の中で直感的な操作を実現することは困難である。
【0008】
本発明は上記の点を鑑みてなされたものであり、その目的は、公共の場、狭い場所等でも使用可能なＭＲシステムのＨＭＤであって、ＭＲ空間の任意のＡＲオブジェクトを選択して、ＭＲ空間の変化に反応して、直感的にＡＲオブジェクトの操作が可能なＨＭＤを提供することにある。
【課題を解決するための手段】
【0009】
本発明は、上記課題を解決するために、その一例を挙げるならば、現実空間にＡＲオブジェクトを表示してＭＲ空間を形成するヘッドマウントディスプレイであって、現実空間を撮影し撮影映像を得るカメラと、現実空間内の現実物体の距離を測定する測距カメラと、制御装置を有し、制御装置は、撮影映像から現実物体を認識する撮影オブジェクト処理と、ＡＲオブジェクトを得てＡＲオブジェクトに現実空間内の距離を含む位置を与えるＡＲオブジェクト処理と、現実物体とＡＲオブジェクトの遠近を反映しＭＲ空間の表示映像を生成する表示映像生成処理を備え、さらに撮影映像から操作画面表示物体を検知する処理と、操作画面表示物体の前面にＭＲ空間の操作画面を表示する処理を有し、操作画面の映像は、ＭＲ空間内のＡＲオブジェクトを含む。
【発明の効果】
【0010】
本発明によれば、ユーザは、操作画面に映し出されているＡＲオブジェクトを直接操作することができ、ＭＲ空間の中で直感的な操作が可能となる。
【図面の簡単な説明】
【0011】
【図1】実施例１におけるＨＭＤの概略外観構成図である。
【図2】実施例１におけるＨＭＤの構成ブロック図である。
【図3】実施例１におけるＭＲ空間の表示映像の例である。
【図4】実施例１におけるＭＲ空間の操作方法を説明する図である。
【図5】実施例１におけるＭＲ処理の全体制御プロセスのフロー図である。
【図6】実施例１における撮影オブジェクトプロセスのフロー図である。
【図7】実施例１におけるＡＲオブジェクトプロセスのフロー図である。
【図8】実施例１における表示映像生成プロセスのフロー図である。
【図9】実施例１における操作認識プロセスのフロー図である。
【図10】実施例２における操作画面上のＡＲオブジェクトを片手操作で選択する説明図である。
【図11】実施例２における操作画面の拡大や縮小を片手操作で行なう説明図である。
【図12】実施例３における操作画面の映像を簡略化し見やすくする説明図である。
【図13】実施例３における操作画面生成と表示のフロー図である。
【図14】実施例４における操作画面の映像にはＡＲオブジェクトのみを映す説明図である。
【図15】実施例５における操作画面の楽な体制での操作方法の説明図である。
【図16】実施例６におけるユーザが手を持ち上げて手のひらを前にかざさなくてもよい操作方法の説明図である。
【図17】実施例７における広角カメラの撮影範囲とＭＲ空間の表示映像と操作画面との関係を示す説明図である。
【発明を実施するための形態】
【0012】
以下、図面を参照しながら、本発明の実施例について説明する。
【実施例1】
【0013】
図１は、本実施例におけるＨＭＤの概略外観構成図である。図１において、１はＨＭＤ、１０はカメラ、１１は測距カメラ、１２ａ、１２ｂは表示光学系（映像投影部）、１３はレンズやスクリーン等の透過型光学系、１４はノーズパッド、１５はコントローラ（制御装置）、１６はスピーカ、１７はマイク、１８ａ、１８ｂ、１８ｃはフレーム筐体である。
【0014】
ユーザは、フレーム筐体１８ａ、１８ｂとノーズパッド１４で、ＨＭＤ１を自身の顔部に装着する。
【0015】
カメラ１０は、ユーザの視線前方を撮影するように取り付けられており、測距カメラ１１は、カメラ１０の撮影映像が捉える現実空間の現実物体（壁などの背景を含む）との距離を測定する。
【0016】
測距カメラ１１は、現実物体の輪郭等の特徴点に対してステレオカメラのような方式で距離を算出するものでも良いし、ＴＯＦ（Time of Flight）方式のように２次元的に光線を照射して距離を計測するものでもよく、カメラ撮影映像に対応して、現実物体との距離を測定できるものであれば良い。
【0017】
表示光学系１２ａ、１２ｂは、仮想物体（ＡＲオブジェクト）を、左目で確認する映像と右目で確認する映像を透過型光学系１３に投射して表示する。ユーザは前方の風景や現実物体を、透過型光学系１３を通して見ることができ、表示光学系１２ａ、１２ｂから投射する仮想物体を透過型光学系１３により、現実空間の所定の位置にあるように視認する。
【0018】
コントローラ１５は、カメラ１０で撮影した現実空間の映像、測距カメラ１１で取得した現実物体などの現実空間の位置データを取り込み、内部のメモリやＣＰＵに供給する。また、ジャイロ、方位、位置、接触センサ等のセンサ群を内蔵する。さらに表示光学系１２ａ、１２ｂで投射する映像やスピーカ１６に出力する音を作成する。コントローラ１５、カメラ１０、測距カメラ１１、スピーカ１６、マイク１７は、フレーム筐体１８ａ、１８ｂ、１８ｃに配置される。なお、配置場所は図１の通りでなくてもよい。
【0019】
さらにコントローラ１５は、主にＣＰＵで処理するユーザとのユーザインターフェース（ＵＩ）を含む。ユーザインターフェースとしては、後述する操作入力処理を含む。
【0020】
図２は、本実施例におけるＨＭＤ１の構成ブロック図である。図２において、図１と同一のものには同一の番号を付している。５１は特徴抽出処理部、５２は距離算出処理部、５３はセンサ群、５４は通信部、５５はＣＰＵ、５６はＲＡＭ、５７は映像ＲＡＭ、５８はプログラムＦｌａｓｈ ＲＯＭ（ＦＲＯＭ）、５９はデータＦＲＯＭである。
【0021】
表示光学系１２は、図１の表示光学系１２ａ、１２ｂに対応する。表示光学系１２は、１２ａ、１２ｂのように左目の映像と右目の映像を独立に透過型光学系１３に投射させる。他に、ひとつのプロジェクタでインターリーブした左目の映像と右目の映像を投射し、シャッタ光学系で左目の映像と右目の映像をそれぞれの目に透過させるものであっても良い。さらには、ホログラフィックレンズを用いた光学系でも良い。
【0022】
通信部５４には、ＨＭＤ１にネットワーク２を接続できる。ネットワーク２上の外部サーバ（図示略）で、ＨＭＤ１の処理の一部を実行してもよい。
【0023】
プログラムＦＲＯＭ５８には、処理プログラムを構成する全体制御プロセス８１、撮影オブジェクトプロセス８２、ＡＲオブジェクトプロセス８３、表示映像生成プロセス８４、操作認識プロセス８５等が含まれる。これらの処理プログラムは、ＲＡＭ５６に展開して、ＣＰＵ５５で実行する。さらにデータＦＲＯＭ５９には、これら処理プログラムを実行する過程及び結果で発生するデータを格納することができる。
【0024】
なお、プログラムＦＲＯＭ５８とデータＦＲＯＭ５９は、図示したように別々のメモリ媒体で構成しても良いし、ひとつのメモリ媒体で構成しても良い。さらには２つ以上のメモリ媒体であっても良く、ＦＲＯＭ以外の不揮発性のメモリ媒体であっても良い。またデータＦＲＯＭ５９は、そのデータの一部をネットワーク２上にある外部サーバに置いても良い。表示映像生成プロセス８４で生成する映像データは、映像ＲＡＭ５７に格納し、映像ＲＡＭ５７から読み出して表示光学系１２で投射する。
【0025】
図３は、本実施例におけるＭＲ空間の表示映像の例である。図３において、１００はＭＲ空間及びその映像、１０１から１０６はＡＲオブジェクトであり、ＡＲオブジェクト以外の映像は、現実空間としてユーザが透過型光学系１３を通して視認している背景である。
【0026】
図３において、ユーザが視認している背景は街角であり、ユーザは例えば経路案内アプリを使って、□□駅に向かおうとしている。ユーザのいるところから３０ｍ先を右折することをＡＲオブジェクト１０３が案内しており、右折した方向に□□駅があることをＡＲオブジェクト１０４が案内している。さらに背景の説明をＡＲオブジェクトは示している。ＡＲオブジェクト１０１は、背景の正面やや左にいる人物を認識して、ユーザの交流関係と照合して、友人Ａであることを示し、また正面右のお店の看板「トゥルヌッソル」を認識して、お店の代表的なメニューの例をＡＲオブジェクト１０２で表示している。
【0027】
またユーザは、小動物（キャラクタ）を捕獲するゲームを楽しんでいる。ＡＲオブジェクト１０５、１０６は、ゲームのキャラクタである。キャラクタは移動することもあり、キャラクタを捕獲するには、キャラクタの表示位置に合わせた操作が必要である。
【0028】
図４は、本実施例におけるＭＲ空間の操作方法を説明する図である。図４（ａ）において、１はＨＭＤ、３はユーザ、３ａはユーザの手のひらである。ユーザ３は、ＭＲ空間で操作を開始する場合に、ユーザの手のひら３ａをＨＭＤ１のカメラ撮影範囲内にかざす。
【0029】
図４（ｂ）は、ユーザの手のひら３ａを検出して、ユーザの手のひら３ａの上、もしくはその前面に操作画面１０７を表示した、ＭＲ空間の表示映像を示している。操作画面１０７は、ＨＭＤ１のＭＲ空間の表示映像から、ユーザの手のひら３ａを除去した映像である。ユーザの手のひら３ａの除去は、例えばユーザの手のひら３ａをかざす前の映像を記憶しておき、ユーザの手のひら３ａの領域を、記憶している映像に置き換えることにより得る。またユーザ３は、ユーザの手のひら３ａによって操作しようとしているＡＲオブジェクトが隠されてしまわないように、ユーザの手のひら３ａの位置を、例えば左右に動かして調整する。
【0030】
３ｂは、ユーザのかざしている手のひら３ａとは異なる手の指であり、操作画面１０７内のＡＲオブジェクトを指差して、ＡＲオブジェクトを操作する指示物体である。操作できる内容はＡＲオブジェクトにより異なり、例えば、図４（ｂ）では、ＡＲオブジェクト１０６を選択することで、ＡＲオブジェクト１０６のキャラクタを捕獲する。他にも、ＡＲオブジェクトを選択することで、操作できるメニュー表示を表示し、さらに指をスライドすることにより、メニュー内の操作を選択するようにしてもよい。
【0031】
このように、ユーザは、ユーザの手のひらの上、もしくは前面に、操作用の子画面である操作画面を表示し、操作画面に映し出されているＡＲオブジェクトを直接操作することができる。したがって、手のひらの上で操作することが出来、空間内で大きな動きを行なう必要がなく、ＭＲ空間の中で直感的な操作が可能となる。
【0032】
図５は、本実施例におけるＭＲ処理の全体制御プロセス８１のフローである。図５において、Ｓ１００でプロセスを開始する。Ｓ１０１で必要に応じてＨＭＤ１を使用するためにログインする。ログインサーバは、イントラネットワークのパソコンであっても良いし、外部のネットワーク２を介して繋がるサーバであっても良い。あるいは、ＨＭＤ１内で処理してもよい。ログインすることにより、あらかじめ登録してあるユーザ固有の設定（ユーザ情報）をデータＦＲＯＭ５９から呼び出す。ユーザ固有の設定とは、たとえば、そのユーザにとって見やすい輝度、コントラスト、配色、メニュー表示位置などの表示に関する設定が挙げられる。その他にユーザの名前やアバターなどのアイコンでもよい。
【0033】
Ｓ１０２でカメラ１０および測距カメラ１１を用いて現実空間を撮影する。カメラ撮影は、ＭＲ処理全体を実行するタイミングで行っても良いし、例えば３０ｆｐｓ（frame per second）の動画撮影を継続していて、ＭＲ処理全体を実行するタイミングで撮影映像をキャプチャするようにしても良い。
【0034】
Ｓ１０３では撮影オブジェクトプロセス８２を実行し、キャプチャしたカメラ撮影映像の特徴抽出を行い、特徴点を選び、特徴点の集合に対して現実物体の形状等を特定し撮影オブジェクトとして登録する。例えば、人物とか店舗の看板とか現実空間を特徴付けるものが、撮影オブジェクトとして挙げられる。現実物体はＨＭＤ１の中では、撮影オブジェクトデータとして取り扱われる。現実空間の中で、部屋の壁や遠方の風景等は背景を与える撮影オブジェクトとして取り扱う。
【0035】
Ｓ１０４ではＡＲオブジェクトプロセス８３を実行し、現実空間に配置するＡＲオブジェクトのデータを、ＨＭＤ１内のデータＦＲＯＭ５９などのメモリから、または外部のネットワーク２を介して繋がるサーバからのダウンロード等で得る。あるいは、コントローラ１５の主にＣＰＵ５５で生成する、あるいは他のアプリで生成するＡＲオブジェクトをインポートしてもよい。
【0036】
Ｓ１０５は表示映像生成プロセス８４であり、ＡＲオブジェクトの表示映像を生成する。また操作画面の映像を生成する。
【0037】
Ｓ１０６は操作認識プロセス８５であり、カメラ撮影映像から操作画面上の指示物体等の動きをトレースして操作情報を取得し、どのＡＲオブジェクトを選択するのか、選択したＡＲオブジェクトに何の変更を与えるのかを決定する。
【0038】
なお、Ｓ１０４からＳ１０６に破線で示したループでは、操作認識プロセス８５が実行され、ＡＲオブジェクトのパラメータ等の変更が行われた時、あるいはユーザの手のひらが検出された時、それらのパラメータや状態の操作情報をＡＲオブジェクトプロセス８３、表示映像生成プロセス８４に与え、表示映像生成プロセス８４で表示映像に反映させる。
【0039】
図６は、ＭＲ処理における撮影オブジェクトプロセス８２のフローである。図６において、Ｓ１５０でプロセスを開始する。Ｓ１５１では、カメラ撮影映像を読み込む。Ｓ１５２では、映像の特徴解析を行い、例えばエッジを抽出し、エッジの頂点や変曲点を特徴点として抽出する。Ｓ１５３では、測距カメラ１１やセンサ群５３で得る距離等の位置データを特徴点に与える。
【0040】
Ｓ１５４では、特徴点の前回との差を評価し、Ｓ１５５では、評価結果から差が有意な特徴点の集合から、オブジェクトの種別等を検索し特定する。Ｓ１５６は、この結果を撮影オブジェクトとして登録する。Ｓ１５７でフローを終了する。
【0041】
図７は、ＭＲ処理におけるＡＲオブジェクトプロセス８３のフローである。図７において、Ｓ１８０で開始する。Ｓ１８１でひとつの撮影オブジェクトを選択し、Ｓ１８２でＡＲオブジェクトを選択する。ＡＲオブジェクトの選択候補は、例えばＣＰＵ５５、通信部５４を介して外部のサーバに蓄えられているデータを参照しても良い。Ｓ１８３では、撮影オブジェクトに対するＡＲオブジェクトの紐付けを行なうために、撮影オブジェクトに対する相対位置などの従属するパラメータを選択し、ＡＲオブジェクトの表示映像上の位置、大きさ、方向を与える。例えば、選択された撮影オブジェクトのある特徴点の位置に対するオフセットを与えることにより、位置決めができる。
【0042】
なおＳ１８３のステップには、操作認識プロセス８５から操作情報が与えられ、パラメータ等の変更が指示される。
【0043】
Ｓ１８４では、ＡＲオブジェクトを紐付ける撮影オブジェクトが残っているかどうかを判定し、残っている場合は（Ｙｅｓ）Ｓ１８１に戻り、Ｎｏの場合はＳ１８５で終了する。
【0044】
なお、撮影オブジェクトと無関係なＡＲオブジェクト、例えば時計のＡＲオブジェクトを画面内に置いておく等の場合は、Ｓ１８１の撮影オブジェクトの選択は不要であり、Ｓ１８３での撮影オブジェクトに対するＡＲオブジェクトの紐付けも不要である。
【0045】
また、ＡＲオブジェクトプロセス８３は、上述したフローに限られるものではない。例えば、ＨＭＤ１内の主にＣＰＵ５５で描画等の処理によって生成させる場合もあるし、別のアプリケーションを実行させ、アプリケーションが生成するＡＲオブジェクトをインポートする形態であってもよい。
【0046】
図８は、ＭＲ処理における表示映像生成プロセス８４のフローである。図８において、Ｓ２００で開始する。Ｓ２０１で表示しようとするＡＲオブジェクトを選択する。表示するＡＲオブジェクトは、ＨＭＤ１の表示範囲にある現実物体（ＨＭＤ１内では撮影オブジェクトとして取り扱われる）に紐付けられたＡＲオブジェクト全てであるが、ひとつ毎に処理を行っている。Ｓ２０２でＡＲオブジェクトが表示設定になっていない場合（Ｎｏ）には、Ｓ２０３からＳ２０５をパスする。
【0047】
表示設定がＹｅｓの場合、Ｓ２０３でＨＭＤ１の方向を考慮した回転処理、ＡＲオブジェクトの距離を考慮した拡大縮小処理を行う。Ｓ２０４では、ＡＲオブジェクトと表示上重なる現実物体との距離関係を評価し、Ｓ２０５でＡＲオブジェクトの表示を行うが、現実物体がＡＲオブジェクトの前にあり、隠れる部分がある場合には、ＡＲオブジェクトのその部分を表示させないように処理する。これにより、現実物体とＡＲオブジェクトの奥行き関係を考慮した、立体的な表示が行なえる。
【0048】
Ｓ２０６で、未処理のＡＲオブジェクトがある場合（Ｙｅｓ）には、Ｓ２０１に戻る。全てのＡＲオブジェクトの処理を終えると表示映像が完成するが、操作認識プロセス８５から操作情報に手のひら検出情報が含まれる場合には、Ｓ２０７で検出し、Ｓ２０８で操作画面を生成し、表示映像に加える。Ｓ２０９でフローを終了する。
【0049】
図９は、ＭＲ処理における操作認識プロセス８５のフローである。図９において、Ｓ２２０で開始する。Ｓ２２１ではカメラ撮影映像の中で、ＨＭＤ１と近い領域に手のひらが有るかを認識し、有りの場合は操作情報として出力する。Ｓ２２２ではカメラ撮影映像の中で、操作画面上に指等の指示物体が有るかを検出するとともに、有りの場合、指示物体の位置、及び動き検出する。この結果は、Ｓ２２３で判定され、どのＡＲオブジェクトに、何の操作が指示されているのかを特定し、操作情報として出力する。Ｓ２２４でフローを終了する。
【0050】
以上説明したように、本実施例によれば、ユーザは、ユーザの手のひらの上、もしくは前面に操作画面を表示し、操作画面に映し出されているＡＲオブジェクトを直接操作することができるので、大きな動きを行なうことなく、ＭＲ空間の中で直感的な操作が可能となる。
【0051】
なお、本実施例では、ユーザの手のひらに操作画面を表示するとして説明したが、これに限らず、例えば、手の甲や腕等の体の一部や、予め定めた本などの手に持てる範囲の物体等を含めた、操作画面を指示する指示物体（指等）が物理的に接触できる物体、すなわち操作画面表示物体であればよい。
【実施例2】
【0052】
本実施例は、操作画面上でＡＲオブジェクトを片手で操作可能とできる例について説明する。
【0053】
図１０は、本実施例における操作画面上のＡＲオブジェクトを片手操作で選択する説明図である。図１０において、図４（ｂ）と同一の構成については同じ符号を付し、その説明は省略する。図１０（ａ）に示すように、手を開いた状態から、いずれかの指を折り曲げて、折り曲げた指先に最も近いＡＲオブジェクトを選択する。
【0054】
図１０（ｂ）は、指を折り曲げただけでは、操作画面の下側にあるＡＲオブジェクトに届かない場合を示している。図示するように、手のひらを傾けることにより、操作画面の縦方向を圧縮し、操作画面の下側にあるＡＲオブジェクトに指先を近づけることができるようにして、ＡＲオブジェクトを選択可能とする。手のひらの傾きは、例えば距離センサで検出する、もしくは、手のひらの画像から縦横比の変化を検出することで、操作画面の表示を縦方向に圧縮する。横方向も、縦方向と同様に、手のひらを左右に傾けることにより横方向を圧縮し折り曲げが容易な指でＡＲオブジェクトを選択可能とすることができる。
【0055】
図１１は、本実施例における操作画面の拡大や縮小を片手操作で行なう説明図である。図１１において、図１０と同一の構成については同じ符号を付し、その説明は省略する。図１１（ａ）では、図示している矢印の方向で指間を広げて、操作画面を拡大する。指間を広げた状態から元に戻す動作で操作画面の拡大縮小はせず、再び指間を広げた時、更に操作画面を拡大させる。これにより、ほぼ制約のない大きさまで操作画面を拡大させることができる。指間の動きは、例えば、手のひらの画像から指の先端を検出し、検出した各指間の距離の変化により検出できる。
【0056】
図１１（ｂ）は、操作画面の縮小を行う操作である。図示している矢印の方向に指間を狭めて、操作画面を縮小する。拡大の場合と同様、連続した操作により、ほぼ制約のない縮小した操作画面を得ることができる。
【0057】
以上説明したように、本実施例によれば、片手で、かつ小さな動きの動作で、ＡＲオブジェクト等の操作が可能となる。
【実施例3】
【0058】
本実施例は、操作画面の映像を簡略化し、見やすくする例について説明する。
【0059】
図１２は、本実施例におけるＭＲ空間の表示映像を示している。図１２において、図４（ｂ）と同一の構成については同じ符号を付し、その説明は省略する。図１２（ａ）は、図４（ｂ）に示したものと同じＭＲ空間であるが、操作画面１０７の映像が異なる。図１２（ｂ）は、説明のために、図１２（ａ）における操作画面１０７を拡大した図である。図１２（ｂ）に示すように、操作画面１０７の映像は、図４（ｂ）の操作画面１０７の簡略化した映像を表示している。
【0060】
図１３は、本実施例における、図８の表示映像生成プロセス８４の操作画面生成と表示のステップＳ２０８に相当する処理のフローである。図１３において、Ｓ２５０で開始し、Ｓ２５１で、カメラ撮影映像と撮影オブジェクトのデータを受信する。
【0061】
Ｓ２５２では、撮影オブジェクトに対してパターン映像を割り当て、Ｓ２５３ではパターン映像を描画する色を決定する。色は１色でなくてもよく、パターン映像の上部と下部で色を変えてもよく、パターン映像の枠と内側で異なる色としてもよい。同様にＳ２５４は、ＡＲオブジェクトに対してパターン映像を割り当て、Ｓ２５５で描画する色を決定する。さらにＳ２５６は、背景形状をパターン映像化し、Ｓ２５７で描画する色を決定する。Ｓ２５８では、撮影オブジェクト、ＡＲオブジェクトと背景のパターン映像を合成し、図１２の１０７で示す操作画面を得て出力する。Ｓ２５９で終了する。
【0062】
以上説明したように、本実施例によれば、操作画面の簡素化が図れ、操作画面の中でＡＲオブジェクトを容易に選択しやすくなる。
【実施例4】
【0063】
本実施例では、操作画面の映像にはＡＲオブジェクトのみを映す例について説明する。
【0064】
【0065】
図１４（ａ）は、ＡＲオブジェクトを選択する図であり、ユーザはＡＲオブジェクトを指差すことにより選択する。選択後、ユーザはＡＲオブジェクトを指していた指を、図中の破線矢印の方向に動かす（ドラッグする）。
【0066】
図１４（ｂ）は、図１４（ａ）で選択したＡＲオブジェクトを操作画面１０７として表示する。表示するため、指を十分下方に動かした後で、手のひら３ａを開くと、手のひら３ａの前面に操作画面１０７を表示する。操作画面１０７の映像は、選択したＡＲオブジェクトである。そして、ユーザは、操作画面１０７上のＡＲオブジェクトを操作することが出来る。
【0067】
なお、ＡＲオブジェクトの選択は、指差し以外でもよい。例えば、ＨＭＤ１は、ユーザ３の視線を検出する手段を備える構成とし、視線が捉えるＡＲオブジェクトを選択するようにしてもよい。
【0068】
以上説明したように、本実施例によれば、操作対象のＡＲオブジェクトのみを操作画面に映し出しており、操作対象のＡＲオブジェクトの細部まで手元で視認できる。また、操作対象のＡＲオブジェクトを操作しやすい場所に移動して操作できるので、操作性が向上するという効果がある。
【実施例5】
【0069】
本実施例では、ユーザが手を持ち上げて、手のひらを前にかざした後、手や頭を下げて楽な体制での操作画面の操作方法の例について説明する。
【0070】
【0071】
図１５（ａ）の左図（ａ１）では、実施例１と同様に、ユーザ３は、手を上げた状態で視線を前方に向けている。ＨＭＤ１はカメラの撮影範囲に、ユーザの手を捉え、操作画面を手のひら上に表示する。ユーザ３は、例えば、手を開いた状態から、握った状態にすることで、操作画面でコントロール可能なＡＲオブジェクトを確定する。ユーザ３は、再度手をひらき、左図（ａ１）の姿勢から、右図（ａ２）のように、手および顔を下に向けた楽な姿勢で、先に確定した操作画面でＡＲオブジェクトを操作する。
【0072】
図１５（ｂ）は、図１５（ａ）に対応させて、ＭＲ空間の映像の変化を示している。（ａ１）の姿勢のとき、ＭＲ空間の映像は１００であり、前方の現実空間とＡＲオブジェクトを映し出している。ＨＭＤ１はこの映像を数秒程度の内部メモリに巡回的に、過去の映像を上書きするように保存する。
【0073】
図１５（ａ２）のようにユーザの姿勢が移動すると、ＭＲ空間の映像は１００ａへと変化し、１００の下部を映し出す。ユーザ３の手のひら３ａには先に確定した操作画面１０７が表示されている。操作画面１０７に映し出されている映像は、（ａ１）の姿勢のときの映像であり、ユーザ３は（ａ１）の姿勢の時のＡＲオブジェクトを選択して操作する。確定された操作画面１０７を解除し、現在見えているＭＲ空間の映像１００aにするには、確定した時と同様に、開いた手のひらを握る、または、指３ｂをＡＲオブジェクトのないところから、外にスライドさせる等のジェスチャを解除コマンドとして登録し、該当するジェスチャを実行することで、容易に操作が可能である。
【0074】
以上説明したように、本実施例では、ユーザは楽な姿勢で、ＭＲ空間の操作が可能となる。
【0075】
なお、本実施例では、操作画面内１０７で実画像の背景は固定にはなるが、動きのあるＡＲオブジェクトの動作を止める必要はない。ＡＲオブジェクトの処理範囲を、ＭＲ空間の映像１００および１００ａにすることで、操作画面内１０７のＡＲオブジェクトをＭＲ空間の映像１００に表示している画像と同様に動かしたままとすることができる。
【0076】
また、操作画面の確定、解除は、上記ジェスチャに限ったことではなく、例えば、他のジェスチャや、音声、手のひらを数秒認識する等で操作画面の確定を行ってもよい。
【実施例6】
【0077】
本実施例では、ユーザが手を持ち上げて、手のひらを前にかざさなくてもよい操作方法の例について説明する。
【0078】
【0079】
図１６（ａ）では、ユーザ３は、手を下げた状態で視線を前方に向けている。この姿勢では、ＨＭＤ１はカメラの撮影範囲に、ユーザの手を捉えていない。この姿勢から、ユーザ３はＭＲ空間で操作をするために、図１６（ｂ）のように、顔を下に向け、ＨＭＤ１が手のひら３ａをカメラの撮影範囲内となるようにする。この時ユーザは、手を動かす必要はない。
【0080】
ＭＲ空間の映像の変化は、図１５（ｂ）と同様になる。図１６（ａ）の姿勢のとき、ＭＲ空間の映像は１００であり、前方の現実空間とＡＲオブジェクトを映し出している。この時、ＨＭＤ１はこの映像を数秒程度の内部メモリに巡回的に、過去の映像を上書きするように保存する。
図１６（ｂ）にユーザの姿勢が移動すると、ＭＲ空間の映像は１００ａへと変化し、１００の下部を映し出すとともに、ユーザの手のひら３ａを捉える。この動きはＨＭＤ１のセンサ群５３で検知され、ＨＭＤ１は映像を内部メモリに保存することを停止し、直前の図１６（ａ）で保存した映像を読み出し、操作画面の映像とする。操作画面１０７に映し出されている映像は、図１６（ａ）の姿勢のときの映像であり、ユーザ３は図１６（ａ）の姿勢の時のＡＲオブジェクトを選択して操作する。
図１６（ｂ）にユーザの姿勢が移動すると、ＭＲ空間の映像は１００ａへと変化し、１００の下部を映し出すとともに、ユーザの手のひら３ａを捉える。この動きはＨＭＤ１のセンサ群５３で検知され、ＨＭＤ１は映像を内部メモリに保存することを停止し、直前の図１６（ａ）で保存した映像を読み出し、操作画面の映像とする。操作画面１０７に映し出されている映像は、図１６（ａ）の姿勢のときの映像であり、ユーザ３は図１６（ａ）の姿勢の時のＡＲオブジェクトを選択して操作する。
【0081】
以上説明したように、本実施例では、ユーザは僅かに頭を下に向けるという動きだけで、ＭＲ空間の操作が可能となる。
【実施例7】
【0082】
本実施例では、映像表示部の視野角が比較的狭い場合でも、広角のカメラを用い、実施例５あるいは実施例６と同等の効果を得る、かつ、操作画面の背景となる現実空間画像をリアルタイム動画にする例について説明する。
【0083】
【0084】
図１７において、１０８は、図１５の（ａ１）の姿勢で、広角のカメラ１０が光学的に撮影している範囲であり、広角のカメラ１０は、１０８の範囲の中から、１００と１００ｂを合わせた範囲に相応した撮像素子により、広角撮影を行う。
【0085】
図１５（ａ１）の姿勢で、ＭＲ空間は、１００（実線）の範囲である。１００は、透過型光学系１３を通して見える現実空間の背景であり、表示光学系１２でＡＲオブジェクトを投影した映像がＭＲ空間である。広角のカメラ１０は透過型光学系１３を通して見える現実空間よりも、上部１００ｂの範囲に広角な撮影範囲を有する。
【0086】
この状態から、ユーザが図１５（ａ２）の姿勢に移行すると、広角カメラの光学的な範囲は１０８ａに移動する。この時、ＭＲ空間の映像は１００ａとなり、ユーザの手のひら３ａを捉える。手のひら３ａの前面に、操作画面を映し出すが、その映像は、広角な撮影範囲の上部の領域１００の映像とすることにより、ＭＲ空間の操作範囲であるユーザが操作するＭＲ空間は姿勢の移行の前後で変わることがない。この時、ＨＭＤ１は、ＭＲ空間１００とＭＲ空間１００ａの範囲で、ＡＲオブジェクトの生成、重畳処理を行う。
【0087】
さらに、広角のカメラで操作範囲の映像を撮影し続けているので、リアルタイムの実空間画像が得られるとともに、撮影ＡＲオブジェクトもリアルタイムに追従可能である。
【0088】
以上説明したように、本実施例でも、ユーザは楽な姿勢の操作や、僅かに頭を下に向けるという動きだけで、ＭＲ空間の操作が可能となり、かつ、変化する実空間の映像に沿ったＡＲオブジェクトを表示、操作可能になる。
【実施例8】
【0089】
実施例１では、透過型光学系を用いて、ＡＲオブジェクトを透過型光学系に投射して表示するとともに、ユーザは、前方の風景や現実物体を透過型光学系を通して見る構成としていた。これに対して、本実施例では、ビデオスルー方式のＨＭＤを用いる例について説明する。
【0090】
ビデオスルー方式とは、前方の風景や現実物体をカメラで撮影したビデオ映像とＡＲオブジェクトを合成して表示装置に表示する構成である。なお、本実施例におけるＨＭＤの構成ブロック図は省略する。また、カメラを一対のカメラで構成し、左右視差のあるカメラ撮影映像を得るだけでなく、視差情報からカメラ撮影映像内の現実物体や背景の距離等の位置情報を得る３Ｄカメラとしてもよい。
【0091】
透過型光学系を用いた場合、現実空間へのＡＲオブジェクトの貼り付けにおいて、視差の影響等でずれが生じる可能性があるが、本実施例のようにビデオスルー方式とすることで、ビデオ映像とＡＲオブジェクトとの合成時に視差の影響等を調整でき、ずれがない合成映像を生成できる。
【0092】
以上、本発明の実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成と置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、ハードウェアとソフトウェアを併用しても良い。
【符号の説明】
【0093】
１：ヘッドマウントディスプレイ（ＨＭＤ）、３：ユーザ、３ａ：ユーザの手のひら、３ｂ：ユーザの指、１０：カメラ、１１：測距カメラ、１２、１２ａ、１２ｂ：表示光学系（映像投影部）、１３：透過型光学系、１５：コントローラ、５１：特徴抽出処理部、５２：距離算出処理部、５３：センサ群、５４：通信部、５５：ＣＰＵ、５６：ＲＡＭ、５７：映像ＲＡＭ、５８：プログラムＦＲＯＭ、５９：データＦＲＯＭ、８１：全体制御プロセス、８２：撮影オブジェクトプロセス、８３：ＡＲオブジェクトプロセス、８４：表示映像生成プロセス、８５：操作認識プロセス、１００、１００ａ：ＭＲ空間及びその映像、１０１、１０２、１０３、１０４、１０５、１０６：ＡＲオブジェクト、１０７：操作画面。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】