特許 7523615 拡張現実表示装置及び拡張現実表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-18

(45)【発行日】2024-07-26

(54)【発明の名称】拡張現実表示装置及び拡張現実表示方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240719BHJP

   G06F 3/04842 20220101ALI20240719BHJP

【ＦＩ】

G06T19/00 600

G06F3/04842

【請求項の数】 1

(21)【出願番号】P 2023036556

(22)【出願日】2023-03-09

(62)【分割の表示】P 2020558687の分割

【原出願日】2018-12-03

(65)【公開番号】P2023078241

(43)【公開日】2023-06-06

【審査請求日】2023-03-09

(73)【特許権者】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】川前 治

(72)【発明者】

【氏名】奥 万寿男

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１２－１６８７９８（ＪＰ，Ａ）

【文献】特表２０１４－５３５１１２（ＪＰ，Ａ）

【文献】特開２０１８－１４７１５１（ＪＰ，Ａ）

【文献】特開２００８－０４６７５０（ＪＰ，Ａ）

【文献】特開２０１４－１３１０９４（ＪＰ，Ａ）

【文献】特開２００３－１４１５７４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０４８－ ３／０４８９５

(57)【特許請求の範囲】

【請求項1】

ユーザが視認する背景映像に重ねて拡張現実オブジェクト（以下、ＡＲオブジェクト）を表示する拡張現実表示方法であって、
前記背景映像を撮影し、撮影した前記背景映像から現実物体を認識するステップと、
前記背景映像内の前記現実物体までの距離を測定するステップと、
前記背景映像の撮影位置と撮影方向を検知するステップと、
認識した前記現実物体に所定の前記ＡＲオブジェクトを紐付けするステップと、
前記現実物体が移動したことを検知することにより、その物体が移動可能な物体であると認識するステップと、
紐付けされた前記ＡＲオブジェクトの映像を表示するステップと、を備え、
前記現実物体に前記ＡＲオブジェクトを紐付けするステップでは、先に前記現実物体を選択して次にこれに紐付けする前記ＡＲオブジェクトを選択する第１の手順と、先に前記ＡＲオブジェクトを選択して次にこれを紐付けする前記現実物体を選択する第２の手順とがあり、
前記第１の手順と前記第２の手順は、ユーザにより選択可能であり、
前記ＡＲオブジェクトの映像を表示するステップでは、前記ＡＲオブジェクトが紐付けされた前記現実物体の位置が移動した場合には、前記現実物体の現在の位置に合わせて前記ＡＲオブジェクトを配置することを特徴とする拡張現実表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、背景映像に重ねて拡張現実オブジェクト（以下、ＡＲ（Augmented Reality）オブジェクト）を表示する拡張現実表示装置及び拡張現実表示方法に関する。

【背景技術】

【0002】

ヘッドマウントディスプレイ（以下、ＨＭＤ）などの拡張現実表示装置（ＡＲ表示装置）は、カメラで撮影した背景映像（現実空間）にＣＧ（Computer Graphics）等で作成したＡＲオブジェクトを重ねて表示するもので、ゲーム表示や保守作業等のコンテンツ表示の分野で用いられている。その際ＡＲオブジェクトを付与するために、ＡＲトリガーあるいはマークと呼ばれる映像をカメラで背景と同時に撮影して、ＡＲトリガーを手掛かりにＡＲオブジェクトを背景映像に合成する。あるいは、カメラ映像から特徴点を抽出して画像認識を行い、特定の物体にＡＲオブジェクトを付与するマークレスＡＲと呼ばれる手法も知られている。

【0003】

また、ＡＲオブジェクトをどのタイミングで表示するかについて、以下の提案がある。特許文献１では、仮想空間（仮想物体）を観察している観察者の位置姿勢、観察条件を記録し、その後、仮想空間中に仮想窓を配置し、仮想窓と視点との位置姿勢関係が規定条件を満たすか否かを判断する。そして、規定条件を満たすとき、記録時の位置姿勢、観察条件を復元した仮想空間（仮想物体）の画像を出力することが開示されている。特許文献２では、現実空間内にて移動可能な現実物体に追従して表示される仮想オブジェクトの位置と、仮想空間又は現実空間における他の物体との距離を計算する。そして、その距離が閾値以下となった場合、仮想オブジェクトの画像、他の物体の少なくとも一方における、一部又は全部の透明度を制御することが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００７－１８８３３２号公報

【文献】特開２０１５－１４３９７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ＨＭＤを装着しＡＲオブジェクトを空間に配置する際に、ユーザはその空間内の物体（例えば家具）を認識し、ＡＲオブジェクトはその空間内における絶対的な座標とともに配置される。しかしながら、後日、その空間にてＡＲオブジェクトを再現する際に、空間内の物体（家具）の配置が異なっている場合がある。その場合には、現在の空間を別の空間と認識されたり、以前の配置と前後の距離関係が異なったりすることで、ＡＲオブジェクトを適切な位置に配置できなくなる。その結果、これを観察するユーザに違和感を与えたりユーザを混乱させたりするという課題がある。

【0006】

前記特許文献１では、移動する物体を対象としたＡＲオブジェクトの配置については考慮されていない。また前記特許文献２では、移動する物体を対象としているが、物体と仮想オブジェクトとの距離が近接したときに仮想オブジェクトを表示するものであるから、物体の配置が変わったような場合には仮想オブジェクトを表示することができなくなる。

【0007】

上記の課題を鑑み、本発明の目的は、移動可能な物体を含めて物体の現在の位置に合わせてＡＲオブジェクトを適切に表示する拡張現実表示装置および拡張現実表示方法を提供することにある。

【課題を解決するための手段】

【0008】

本発明の拡張現実表示装置は、背景映像を撮影するカメラと、背景映像内の現実物体までの距離を測定する測距センサと、カメラの位置と撮影方向を検知する位置・方位センサと、カメラで撮影した背景映像から現実物体を認識し、認識した現実物体に所定のＡＲオブジェクトを紐付けするコントローラと、紐付けされたＡＲオブジェクトの映像を表示する表示部と、紐付けされた現実物体とＡＲオブジェクトのデータを記憶するメモリと、を備える。ここにコントローラは、測距センサの測定結果から、現実物体が移動可能なものであるかどうかを判断し、ＡＲオブジェクトが紐付けされた現実物体の位置が移動した場合には、現実物体の現在の位置に合わせてＡＲオブジェクトを配置する。

【0009】

さらに本発明の拡張現実表示方法は、背景映像を撮影し、撮影した背景映像から現実物体を認識するステップと、背景映像内の現実物体までの距離を測定するステップと、背景映像の撮影位置と撮影方向を検知するステップと、認識した現実物体に所定のＡＲオブジェクトを紐付けするステップと、現実物体が移動したことを検知することにより、その物体が移動可能な物体であると認識するステップと、紐付けされたＡＲオブジェクトの映像を表示するステップと、を備える。ここにＡＲオブジェクトの映像を表示するステップでは、ＡＲオブジェクトが紐付けされた現実物体の位置が移動した場合には、現実物体の現在の位置に合わせてＡＲオブジェクトを配置する。

【発明の効果】

【0010】

本発明によれば、移動可能な物体を含めて物体の現在の位置に合わせてＡＲオブジェクトを適切に表示することができ、これを観察するユーザに違和感を与えることなく、ユーザは快適に観察することができる。

【図面の簡単な説明】

【0011】

【図1A】実施例１に係る拡張現実表示装置（ＡＲ表示装置）の外観を示す図。

【図1B】ユーザがＡＲ表示装置を装着している状態を示す図

【図2】ＡＲ表示装置の内部構成を示すブロック図。

【図3A】カメラで撮影した映像の例を示す図。

【図3B】ＡＲオブジェクトを合成した表示映像の例を示す図。

【図3C】可動物体が移動した場合の表示映像の例を示す図。

【図3D】現実空間に衝立を追加した場合の表示映像の例を示す図。

【図4】自然風景にＡＲオブジェクトを配置した表示映像の例を示す図。

【図5A】ユーザの視線方向と背景物体の認識の仕方を説明する図。

【図5B】ユーザの視線方向が符号２６ａの方向の時の認識の仕方を示す図。

【図5C】ユーザの視線方向が符号２６ｂの方向の時の認識の仕方を示す図。

【図6】移動可能なＡＲオブジェクトの表示例を示す図。

【図7】視線に連動するＡＲオブジェクトの表示例を示す図。

【図8】全体制御処理８８０のフローを示す図。

【図9】基準点と移動履歴処理８８１のフローを示す図。

【図10】撮影物体処理８８２のフローを示す図。

【図11】背景物体処理８８３のフローを示す図。

【図12A】ＡＲオブジェクト処理８８４（その１）のフローを示す図。

【図12B】ＡＲオブジェクト処理８８４（その２）のフローを示す図。

【図13】撮影物体グループ処理８８５のフローを示す図。

【図14】表示映像生成処理８８６のフローを示す図。

【図15A】ＡＲオブジェクト処理８８４におけるユーザ操作の具体例を示す図。

【図15B】ＡＲオブジェクト処理８８４におけるユーザ操作の具体例を示す図。

【図16】ヘッダデータのデータテーブルの例を示す図。

【図17】基準点と移動履歴データ８９１のデータテーブルの例を示す図。

【図18A】撮影物体データ８９２のデータテーブルの例を示す図。

【図18B】撮影物体データ８９２のデータテーブルの例を示す図。

【図18C】撮影物体データ８９２のデータテーブルの例を示す図。

【図19】背景物体データ８９３のデータテーブルの例を示す図。

【図20】ＡＲオブジェクトデータ８９４のデータテーブルの例を示す図。

【図21】撮影物体グループデータ８９５のデータテーブルの例を示す図。

【図22】実施例２に係る拡張現実表示装置（ＡＲ表示装置）の外観を示す図。

【図23】ＡＲ表示装置の内部構成を示すブロック図。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について図面を参照しながら説明する。なお、拡張現実表示装置のことを、簡単のために「ＡＲ表示装置」とも呼び、拡張現実表示装置を使用して拡張現実（ＡＲ）を体験する人を「ユーザ」と呼ぶことにする。

【実施例1】

【0013】

図１Ａは、実施例１に係る拡張現実表示装置（ＡＲ表示装置）の外観を示す図である。ＡＲ表示装置１は、カメラ２、測距センサ３、位置・方位センサ４、３Ｄ（３次元）プロジェクタ５、透過型スクリーン６、シャッタ付きメガネ７、コントローラ８、スピーカ９ａ，９ｂ、ホルダ１０ａ，１０ｂを備える。

【0014】

図１Ｂは、ユーザがＡＲ表示装置を装着している状態を示す図である。ユーザ１００は、ホルダ１０ａ，１０ｂにて、ＨＭＤであるＡＲ表示装置１を自身の頭部に装着する。

【0015】

装置内の各部の説明を行う。３Ｄプロジェクタ（表示部）５は、３ＤのＡＲオブジェクトの映像、すなわち左目で視認する映像と右目で視認する映像とを、交互に透過型スクリーン６に投射して表示する。透過型スクリーン６の手前にあるシャッタ付メガネ７は、３Ｄプロジェクタ５の左右映像の切り替え動作に同期して、左右交互に映像を透過させる。これによりユーザ１００は、前方の風景や現実物体を透過型スクリーン６を通して見ることができるとともに、３Ｄプロジェクタ５にて投射される３ＤのＡＲオブジェクトを透過型スクリーン６上で合成して視認することができる。視認される合成された映像を「表示映像」とも呼ぶことにする。

【0016】

カメラ２は、ユーザ１００の頭部前方（ユーザの視線方向）を撮影するように取り付けられている。測距センサ３は、カメラ２の撮影映像が捉える現実物体までの距離を測定する。その測定方式は、ＴＯＦ（Time of Flight）センサのように２次元的に光線を照射してその飛行時間から距離を計測する方式や、後述する実施例２のように、２つのカメラの視差情報から距離を算出する方式でもよい。位置・方位センサ４は、ＡＲ表示装置１の位置と方位、すなわちユーザ１００の位置の移動や視線方向を検知する。

【0017】

コントローラ８は、カメラ２からの撮影映像、測距センサ３からの距離データ、位置・方位センサ４からの位置・方位データを取り込み、内部のメモリやＣＰＵに供給する。また、３Ｄプロジェクタ５で投射する映像やスピーカ９ａ，９ｂに出力する音を作成する。さらにシャッタ付メガネ７の駆動信号を生成し、３Ｄプロジェクタ５で投射するＡＲオブジェクトの左右映像に同期して、左右メガネの透過を切り替えて、ユーザ１００に３Ｄ映像を提供する。

【0018】

またコントローラ８は、ユーザ１００とのユーザインターフェースを含む。コントローラ８をスマートフォンのようなデバイスで実現する場合には、ユーザインターフェースはタッチセンサを内蔵した平面パネルを利用できる。

【0019】

図２は、ＡＲ表示装置１の内部構成を示すブロック図である。図１Ａ，図１Ｂと同一のものには同一の符号を付している。コントローラ８の内部（破線で示す）は、特徴抽出処理部８１、距離算出処理部８２、移動検知処理部８３、通信部８４、ＣＰＵ８５、ＲＡＭ８６、画像ＲＡＭ８７、プログラムフラッシュＲＯＭ（Ｐ－ＦＲＯＭ）８８、データフラッシュＲＯＭ（Ｄ－ＦＲＯＭ）８９と、さらにユーザ操作入力部９０を備える。

【0020】

特徴抽出処理部８１は、カメラ２からの撮影映像に対し、現実物体の輪郭（エッジ）を抽出し、輪郭の変曲点や頂点を特徴点とする処理を行う。距離算出処理部８２は、測距センサ３での計測データをもとに、特徴点までの距離を算出する。移動検知処理部８３は、位置・方位センサ４からの計測データをもとに、ＡＲ表示装置１の位置と移動量、及びカメラ２の撮影方向を求め、すなわちこれが、ユーザ１００の位置と移動量、視線方向となる。

【0021】

プログラムフラッシュＲＯＭ８８には、各種の処理プログラムが格納されている。これには、全体制御処理８８０、基準点と移動履歴処理８８１、撮影物体処理８８２、背景物体処理８８３、ＡＲオブジェクト処理８８４、撮影物体グループ処理８５６、表示映像生成処理８８６が含まれる。これらの処理プログラムは、ＲＡＭ８６に展開されてＣＰＵ８５で実行する。また通信部８４は、ＡＲ表示装置１を外部ネットワークに接続し、外部ネットワークに繋がるサーバ等によって、ＡＲ表示装置１の処理の一部を担わせることができる。

【0022】

さらにデータフラッシュＲＯＭ８９には、これら処理プログラムを実行する過程及び結果で発生するデータが格納される。すなわち、基準点と移動履歴データ８９１、撮影物体データ８９２、背景物体データ８９３、ＡＲオブジェクトデータ８９４、撮影物体グループデータ８９５が含まれる。ユーザがＡＲ表示を再現して体験したい場合に、これらの格納しているデータを読み出すことによって再現可能となる。

【0023】

なお、プログラムフラッシュＲＯＭ８８とデータフラッシュＲＯＭ８９は、図示したように別々のメモリ媒体で構成してもよいし、１つのメモリ媒体で構成してもよい。さらには２つ以上のメモリ媒体であってもよく、フラッシュＲＯＭ以外の不揮発性メモリ媒体であってもよい。

【0024】

表示映像生成処理８８６で生成する映像データ（ＡＲオブジェクト）は、画像ＲＡＭ８７に格納し、画像ＲＡＭ８７から読み出して３Ｄプロジェクタ５で投射する。また、ユーザ操作入力部９０ではタッチセンサによりユーザ入力を受け付け、３Ｄプロジェクタ５で表示する制御画面によってＡＲ表示装置１を制御する。

【0025】

図３Ａ～図３Ｄでは、背景映像にＡＲオブジェクトを配置するまでの処理を、具体的な表示映像の例で説明する。

【0026】

図３Ａは、カメラ２で撮影した映像の例を示す。すなわち、ユーザが透過型スクリーン６を通して視認する現実風景である。カメラ２は部屋の内部を撮影しており、部屋の中は現実物体として、左側壁１１、右側壁１２、正面壁１３、床１４で囲われており、エアコン１５、窓１６、テーブル１７、２脚の椅子１８、１９などが存在する。カメラの撮影映像に対し、特徴抽出処理部８１は、撮影された映像の中の物体の輪郭から特徴点を抽出する。輪郭を構成する特徴点の集合は、ＣＰＵ８５に送られ、物体が何であるかを識別する。その際、通信部８４を介して外部サーバの映像データベースと照合することで、物体の識別を行ってもよい。

【0027】

一方、測距センサ３と距離算出処理部８２により、部屋内の各物体までの距離を算出し、現実空間内の見取り図を作成する。そして、特徴抽出処理部８１で抽出した特徴点には、距離算出処理部８２で算出した距離データを組み合わせる。さらに、位置・方位センサ４と移動検知処理部８３により、ＡＲ表示装置１がどの位置（座標）でどの方向を向いた状態で撮影したものかを記録しておく。

【0028】

識別された現実物体は、撮影物体処理８８２および背景物体処理８８３により、「撮影物体」または「背景物体」に区別して登録する。撮影物体は、特有の物体形状を有し距離データが相対的に近くに位置するもので、本例では、エアコン１５、窓１６、テーブル１７、椅子１８，１９が相当する。一方、背景物体は、例えば平面以外の特有の物体形状を有していなかったり、距離データが最遠点を含んだりするもので、本例では、左側壁１１、右側壁１２、正面壁１３、床１４が相当する。つまり、背景物体は、カメラ撮影映像の背景を構成する物体である。

【0029】

また、撮影物体及び背景物体について、位置が固定されて動かない状態か、移動して位置が変わった状態かを判断して、現在の位置を登録する。本例では、エアコン１５、窓１６、左側壁１１、右側壁１２、正面壁１３、床１４は位置が固定される物体である。一方、テーブル１７、椅子１８，１９などは、レイアウト(模様)変え等によって位置が変わる可動物体である。可動物体については、移動後の位置データを取得し、移動後の位置に合わせてＡＲオブジェクトを配置する。

【0030】

図３Ｂは、背景映像とＡＲオブジェクトを合成した表示映像の例である。部屋内の現実物体１１～１９の他にＡＲオブジェクト２０～２３が追加されており、ユーザはＡＲ表示装置１を用いてこのような表示画像を視認することができる。

【0031】

ＡＲオブジェクトとして、カーテンオブジェクト２０は窓１６に配置されている。その他、時計オブジェクト２１は右側壁１２に、花瓶オブジェクト２２はテーブル１７に、ぬいぐるみオブジェクト２３は椅子１８に配置されている。

【0032】

このようなＡＲオブジェクトの配置は、ユーザの操作に基づくＡＲオブジェクト処理８８４により決定される。この操作、処理を「紐付け操作」、「紐付け処理」という。すなわち紐付け処理では、図３Ａのカメラ映像から作成した現実空間の見取り図をベースとし、ＡＲ表示装置１の現在位置を考慮して、各ＡＲオブジェクトを配置する座標を決める。この時、ＡＲオブジェクトの配置情報（紐付け情報）では、どの物体に関連付けるかを指定するだけでなく、物体のどの部分に配置するか指定するため、物体の特定の特徴点にオフセット距離を与えて位置決めする。

【0033】

例えば、カーテンオブジェクト２０を窓１６のどの位置に貼り付けるか、花瓶オブジェクト２２をテーブル１７のどの位置に置くか、などを指定する。さらに、ぬいぐるみオブジェクト２３を椅子１８に配置するとき、ぬいぐるみオブジェクト２３の姿勢を椅子１８の方向に合わせて配置する。また、物体に接触して配置するだけでなく、空間に浮遊させて配置する場合もある。これらの関連付けの状況（紐付け情報）を数値パラメータで表現し、ＡＲオブジェクトの位置情報と一緒にデータフラッシュＲＯＭ８９に記憶する。

【0034】

本実施例の特徴として、テーブル１７や椅子１８のような可動物体の上に置かれたＡＲオブジェクト（花瓶オブジェクト２２やぬいぐるみオブジェクト２３）は、その可動物体が移動した場合には、その可動物体との位置関係を保ったまま配置する。可動物体が回転した場合には、ＡＲオブジェクトも同じ角度だけ回転して、可動物体に対して同じ姿勢を保つように配置する。物体の移動によってＡＲオブジェクトとの前後関係が変わった場合は、移動後の配置では、隠れるＡＲオブジェクトの部分が見えないようにマスクする。これらの表示制御処理により、ユーザに違和感を与えないように表示している。

【0035】

次に、本実施例における特徴的な表示制御について述べる。
図３Ｃは、図３Ｂの表示映像の後で、可動物体である椅子１８が例えば人の手によって移動した場合の表示を示す。移動後の椅子１８’には、ＡＲオブジェクトであるぬいぐるみオブジェクト２３が配置されている。その際、椅子１８’は移動したことが検知されているので、これに紐付けされたぬいぐるみオブジェクト２３は、椅子１８’との位置関係を保ったまま移動する。また、椅子１８’が回転した場合には、ぬいぐるみオブジェクト２３も同様に回転が施される結果、椅子１８’に対する姿勢を保ったまま配置される。もし、椅子１８がカメラ撮影映像の範囲外に移動された場合には、これに紐付けられたぬいぐるみオブジェクト２３も表示映像から外れることになる。

【0036】

また、図３Ｃでは、図３Ｂにおける２脚の椅子１８，１９のうち、一方が除去されている。椅子１８が除去され、残された椅子が符号１９のものであった場合には、ぬいぐるみオブジェクト２３は残された椅子１９に配置される。これは後述する撮影物体のグループ化の効果によるものである。

【0037】

図３Ｄは、図３Ｃの表示映像の後で、現実空間に衝立２５を追加して配置した場合の表示を示す。この例では、衝立２５はテーブル１７の手前に配置され、ＡＲオブジェクトである花瓶オブジェクト２２と近接し、一部が重なって配置されている。この場合の表示では、花瓶オブジェクト２２はテーブル１７の上に存在する訳であるから、衝立２５と重なる部分は衝立２５の陰になり、ユーザから見えないように表示される（点線で示す）。そのため、次のように処理する。

【0038】

衝立２５は撮影物体として認識され、その特徴点には距離データが与えられている。衝立２５の距離データを、表示しているＡＲオブジェクトである花瓶オブジェクト２２の距離データと比較する。花瓶オブジェクト２２と、これと近接する衝立２５の距離を比較した結果、花瓶オブジェクト２２は衝立２５よりも奥にあり、花瓶オブジェクト２２のうち隠れる部分は非表示とする。

【0039】

図３Ｄの場合、さらにＡＲオブジェクトであるカーテンオブジェクト２０についても、衝立２５に重なっており、左下部分を非表示にしている。このように、表示するＡＲオブジェクトが撮影物体と視線方向に重なるとともに、ＡＲオブジェクトが撮影物体よりも奥に配置されるときは、ＡＲオブジェクトの隠れる部分を非表示とすることで、違和感のない表示が行える。

【0040】

図４は、自然の風景にＡＲオブジェクトを配置した表示映像の例を示す図である。この例では、カメラは自然風景を撮影している。風景内の物体（山、森林、丘陵などの自然物）は、測距センサ３では測定不可能な距離にあり、このような物体は「背景物体」として扱う。背景物体には、十分大きな（または無限遠の）距離データを与える。

【0041】

風景のような背景物体にもＡＲオブジェクトを配置できる。この例では、２つの家オブジェクト２４ａ，２４ｂを背景物体に紐付けして表示している。この時、家オブジェクト２４ａ，２４ｂにも距離データを与え、背景物体（山、森林など）に対し所定の位置関係に配置することで、見映えの良い風景を表示することができる。

【0042】

図５Ａ～図５Ｃは、ユーザの視線方向と背景物体の認識の仕方を説明する図である。
図５Ａでは、カメラ撮影映像には正面壁１３と窓１６が存在し、衝立２５が手前に配置されている。正面壁１３と衝立２５は現実物体であり、それぞれ背景物体と撮影物体として認識されている。これに対しユーザの視線方向が、符号２６ａの方向から符号２６ｂの方向に移動した場合を想定する。

【0043】

図５Ｂは、ユーザの視線方向が符号２６ａの方向の時、正面壁１３の認識できる領域を示す図である。正面壁１３はその一部が衝立２５で覆われるので、背景物体として認識できるのは領域１３ａで、左下の隅の領域１３ｘが欠けている。

【0044】

図５Ｃは、ユーザの視線方向が符号２６ｂの方向に移動した時、正面壁１３の認識できる領域を示す図である。ユーザは衝立２５の後ろの正面壁１３を全部見ることができる。その結果、背景物体として認識できるのは、矩形領域１３ｂとなる。このように、撮影物体の背面にある背景物体の領域（形状）は、ユーザの視線方向（ＡＲ表示装置の方向）に依存して変わることがある。

【0045】

背景物体は、一旦広い領域の背景物体として認識されたならば、その後の視線方向に係らず、広い領域を有する背景物体として取り扱う。これにより、視線方向２６ａのとき衝立２５の後ろにあり見えないはずの正面壁の部分１３ｘに、ＡＲオブジェクトを配置させることが可能となる。

【0046】

図６は、移動可能なＡＲオブジェクトの表示例を示す図である。ドローンオブジェクト２７は衝立２５付近に紐付けられているが、移動可能なＡＲオブジェクトである。ドローンオブジェクト２７には所定の動きプロファイルが与えられ、例えば、時刻Ｔ１で起点となる衝立２５の左側に位置し、移動速度と移動方向のパラメータに従い移動し、時刻Ｔ２になると衝立２５の右側に位置する。ユーザの視線方向２８が衝立２５の右側にあれば、ドローンオブジェクト２７が衝立２５を貫通して現れたように見える。このように、移動可能なＡＲオブジェクトを使用することにより、移動物体が障害物から突然現れるといったＡＲ体験が可能となる。

【0047】

図７は、視線に連動するＡＲオブジェクトの表示例を示す図である。ぬいぐるみオブジェクト２３は３Ｄ映像であり、椅子に座っている方向に体を向けるように紐付けられている。よって、椅子１８が椅子１９の位置に移動するとユーザの視線が符号２９ａから符号２９ｂの方向に変化し、ぬいぐるみオブジェクト２３の３Ｄ表示も回転させ、椅子に座っている方向に合わせた表示を行うことができる。

【0048】

次に、ＡＲ表示装置１の行う各種の処理フローについて説明する。すなわちＣＰＵ８５は、プログラムフラッシュＲＯＭ８８に格納される以下のプログラムに従い、処理を実行する。

【0049】

図８は、全体制御処理８８０のフローである。すなわち、カメラ撮影からＡＲオブジェクトを表示するまでの全体の工程を示す。

【0050】

Ｓ１０１でカメラ撮影を開始する。カメラ撮影は、ＡＲ処理全体を実行するタイミングで行ってもよいし、例えば３０フレーム／秒の動画撮影を継続していて、ＡＲ処理全体を実行するタイミングで撮影する映像をキャプチャするようにしてもよい。
Ｓ１０２は基準点と移動履歴処理８８１であり、時刻毎にカメラの位置及び撮影方向、即ちユーザの頭部の位置と視線方向を検知し、基準点・移動履歴データ８９１に登録する。

【0051】

Ｓ１０３は撮影物体処理８８２であり、キャプチャしたカメラ撮影映像の特徴抽出を行い、特徴点を選び、特徴点の集合に対して、現実物体が何であるかを認識し、撮影物体として撮影物体データ８９２に登録する。
Ｓ１０４は背景物体処理８８３であり、特徴点に付与される距離データが最遠点となる特徴点を含み、撮影物体を除く領域を背景物体として背景物体データ８９３に登録する。

【0052】

Ｓ１０５はＡＲオブジェクト処理８８４であり、撮影物体と背景物体に配置するＡＲオブジェクトを選択し、また配置するときのパラメータ（表示パラメータ）を決定する。この処理には、ユーザによる選択操作が含まれる。選択したＡＲオブジェクトのデータをＡＲオブジェクトデータ８９４に登録し、表示パラメータは紐付けデータとして、撮影物体データ８９２と背景物体データ８９３に登録する。
Ｓ１０６は撮影物体グループ処理８８５であり、共通のＡＲオブジェクトを紐付けする関連する複数の撮影物体をグループ化し、撮影物体グループデータ８９５に登録する。

【0053】

Ｓ１０７は表示映像生成処理８８６であり、登録した各種データを読み出してＡＲオブジェクトの表示映像を加工して生成し、画像ＲＡＭ８７に書き込み、３Ｄプロジェクタ５で透過型スクリーン６に投射させる。この時、シャッタ付メガネ７の駆動信号も生成する。
Ｓ１０８で継続するか否かの判断を行い、継続する場合（Ｙｅｓ）はＳ１０１に戻り、継続しない場合（Ｎｏ）は終了する。

【0054】

以下、各処理８８１～８８６について詳細に説明する。
図９は、基準点と移動履歴処理８８１のフローである。この処理は、位置・方位センサ４と移動検知処理部８３により実行される。

【0055】

Ｓ１１１では、ユーザはＡＲ表示装置１を装着し、ＡＲ体験する現実空間のほぼ中心の位置に立ち、カメラ撮影を開始する。開始点の位置とカメラ撮影方向は対として、現実空
間での基準点となる。
Ｓ１１２では、位置・方位センサ４でＡＲ表示装置１の位置及びカメラ２の撮影方向を検知し、ユーザの位置及び視線方向を表すデータとして取得する。

【0056】

Ｓ１１３では、データフラッシュＲＯＭ８９内の基準点と移動履歴データ８９１に基準点データが既に登録されているか、即ちＡＲ体験の開始かどうかを確認する。登録されていない時（Ｎｏ）には、Ｓ１１５で基準点テータとして登録する。登録されている時（Ｙｅｓ）には、Ｓ１１４で移動履歴データとして登録する。移動履歴データは基準点データとの差分で表される。
以降、ユーザが現実空間を移動しながらカメラ撮影を行う毎に、現在の位置とカメラ撮影方向の対を移動履歴として、基準点と移動履歴データ８９１に記録する。

【0057】

図１０は、撮影物体処理８８２のフローである。この処理は特徴抽出処理部８１により実行される。

【0058】

Ｓ１２１では、カメラ２から撮影映像を読み出す。
Ｓ１２２では、映像の特徴解析を行い、例えばエッジを抽出し、エッジの頂点や変曲点を特徴点として抽出する。
Ｓ１２３では、測距センサ３と距離算出処理部８２で取得した距離データを特徴点に付加する。

【0059】

Ｓ１２４では、前回の特徴点との差分を評価し、Ｓ１２５では、差分が有意と評価された特徴点の集合から、物体の種別等を認識する。その際、通信部８４を介して外部サーバの映像データベースと照合することで、物体の識別を行ってもよい。

【0060】

Ｓ１２６では、識別した結果を撮影物体として撮影物体データ８９２に登録する。また、測距センサ３で取得した撮影物体の位置が前回の位置から移動したか否かを示す「移動フラグ」を付与する。移動フラグの値が「Ｘ」は基準点を、「０」は移動なしを、「１」は移動ありを意味する。

【0061】

図１１は、背景物体処理８８３のフローである。
Ｓ１３１では、特徴抽出処理部８１により抽出された特徴点のうち、最遠距離を有する特徴点を選択する。図３Ａの例では、正面壁１３の隅などが相当する。
Ｓ１３２では、最遠距離を有する特徴点を含み撮影物体と認識されていない領域を選定する（領域Ａとする）。

【0062】

Ｓ１３３では、特徴抽出処理部８１により抽出された特徴点のうち、距離検出が不可能な（検出限界を超える）領域を選定する（領域Ｂとする）。
Ｓ１３４では、上記の領域Ａ及び領域Ｂを、現実空間の背景を構成する要素とみなし、背景物体として背景物体データ８９３に登録する。
なお、Ｓ１３２で最遠距離を有する特徴点が撮影物体に含まれる場合には、最遠点は、背景物体と撮影物体で共有することになる。

【0063】

図１２Ａと図１２Ｂは、ＡＲオブジェクト処理８８４のフローである。図１２Ａと図１２Ｂでは、処理手順の一部を入れ替えている。この処理は、ユーザが操作画面を見ながら対話形式で行う。

【0064】

図１２Ａの場合から説明する。
Ｓ１４１では、撮影物体もしくは背景物体から、ＡＲオブジェクトを配置する物体を１つ選択する。
Ｓ１４２では、選択した物体に対して、紐付けするＡＲオブジェクトを選択する。ＡＲオブジェクトの選択候補は、ＡＲ表示装置１に予め準備しておいてもよいし、通信部８４を介して外部のサーバに蓄えられているデータを参照してもよい。選択したＡＲオブジェクトをＡＲオブジェクトデータ８９４に登録する。

【0065】

Ｓ１４３は、ＡＲオブジェクトを表示するときの表示パラメータを設定する。これにより、ＡＲオブジェクトの物体に対する表示位置、大きさ、方向を与える。すなわち、選択された物体のある特徴点の位置に対してオフセットを与えることにより、物体に対する位置決めができる。前記領域Ｂのように特徴点が明確でない背景物体では、領域の任意の点を選択して、選択した点を擬似特徴点として用いてもよい。例えば、壁の平坦部の一点を壁の隅や柱、天井からの座標で示すことで位置決めができる。設定した表示パラメータはＡＲオブジェクトの紐付けデータとして、撮影物体データ８９２と背景物体データ８９３に登録する。
Ｓ１４４では、ＡＲオブジェクトを配置する撮影物体もしくは背景物体が残っているかどうかを判定し、残っている場合（Ｙｅｓ）はＳ１４１に戻り、残っていない場合（Ｎｏ）は終了する。

【0066】

次に、図１２Ｂの場合について説明する。この場合は、最初にＡＲオブジェクトを選定し、選定したＡＲオブジェクトに対して撮影物体もしくは背景物体を割り当てるという手順となる。
Ｓ１４５では、使用するＡＲオブジェクトを全て選定する。そのため、ＡＲ表示装置１に内蔵するもの、または外部のサーバを参照する。選定したＡＲオブジェクトをＡＲオブジェクトデータ８９４に登録する。

【0067】

Ｓ１４６では、選定したＡＲオブジェクトの１つを選択する。
Ｓ１４７では、選択したＡＲオブジェクトを紐付けする撮影物体もしくは背景物体を選択する。

【0068】

Ｓ１４８では、ＡＲオブジェクトを表示するときの表示パラメータ（表示上の位置、大きさ、方向）を設定する。設定した表示パラメータはＡＲオブジェクトの紐付けデータとして、撮影物体データ８９２と背景物体データ８９３に登録する。
Ｓ１４９では、Ｓ１４５で選定したＡＲオブジェクトが残っているかどうかを判定し、残っている場合（Ｙｅｓ）はＳ１４６に戻り、残っていない場合（Ｎｏ）は終了する。

【0069】

図１２Ａと図１２Ｂを比較すると、紐付けしたい撮影物体もしくは背景物体の数がＡＲオブジェクトの選択肢の数よりも少ない場合は、図１２Ａのフローが効率的である。逆に、紐付けしたいＡＲオブジェクトの数が撮影物体もしくは背景物体の選択肢の数よりも少ない場合は、図１２Ｂのフローが効率的である。ユーザはそのときの状況により、図１２Ａと図１２Ｂのいずれかのフローを選択できるものとする。
なお、ＡＲオブジェクト処理８８４におけるユーザの操作画面の例は、図１５Ａ～Ｂで説明する。

【0070】

図１３は、撮影物体グループ処理８８５のフローである。撮影物体グループとは、複数の撮像物体をグループ化して、共通のＡＲオブジェクトを紐付ける処理である。
Ｓ１５１では、同一形態の複数の撮影物体を撮影物体グループとして、撮影物体グループデータ８９５に登録する。例えば図３Ａの２個の椅子１８，１９をグループ化する。その際、各撮影物体に紐付けする優先度を指定する。

【0071】

Ｓ１５２では、１つの撮像物体が変形した複数の状態を撮影物体グループとして登録する。例えば、図３Ａの窓１６は、閉じられた状態、開いた状態、カーテンの降りた状態などの変形が可能で、これらをグループ化する。
Ｓ１５３では、登録した撮影物体グループに共通するＡＲオブジェクトを紐付けし、また表示パラメータを設定する。
このグループ化処理により、紐付けしたユーザの意図を反映し、現実空間の状況に柔軟に対応してＡＲオブジェクトを表示することができる。

【0072】

図１４は、表示映像生成処理８８６のフローである。ここでは、データフラッシュＲＯＭ８９に登録した各種データを読み出してＡＲオブジェクトの表示映像を生成し、３Ｄプロジェクタ５にて投射、表示する。

【0073】

Ｓ１６１では、撮影物体データ８９２と背景物体データ８９３、及びＡＲオブジェクトデータ８９４を参照して、表示するＡＲオブジェクトを選択する。
Ｓ１６２では、選択したＡＲオブジェクトを紐付けする撮影物体が現在の撮影空間に存在するかどうかを判定する。存在すれば（Ｙｅｓ）Ｓ１６５へ進み、存在しなければ（Ｎｏ）Ｓ１６３へ進む。

【0074】

Ｓ１６３では、撮影物体グループデータ８９５を参照し、紐付けする撮影物体がグループ化されているかどうかを判定する。グループ化されていれば（Ｙｅｓ）Ｓ１６４へ進み、グループ化されていなければ（Ｎｏ）Ｓ１７２へ進む。
Ｓ１６４では、グループ化された他の撮影物体を紐付けする対象とする。その際、複数の候補があれば優先度に従って対象を決定する。例えば、図３Ｃのように、紐付け対象物体を椅子１８から椅子１９に切り替える。

【0075】

Ｓ１６５では、対象の撮影物体の移動フラグを参照し、「１」（＝移動可能）かどうかを判定する。移動フラグが「１」ならば（Ｙｅｓ）Ｓ１６６へ進み、「１」以外（移動不可の「０」または基準点の「Ｘ」）ならばＳ１６７へ進む。
Ｓ１６６では、撮影物体の現在の位置に合わせてＡＲオブジェクトを移動させて位置決めする。なお、移動フラグが「０」（移動不可）ならば、前回の位置のままとする。

【0076】

Ｓ１６７では、ＡＲ表示装置１の方向（ユーザの視線）に合わせてＡＲオブジェクトを回転させる。また、紐付けする撮影物体（または背景物体）までの距離に応じて、ＡＲオブジェクトを拡大・縮小させる。これにより、図５Ａ－Ｃ、図７のような表示が可能となる。

【0077】

Ｓ１６８では、ＡＲオブジェクトと、これと視線方向に重なる現実物体（撮影物体）との距離関係を評価する。
Ｓ１６９では、ＡＲオブジェクトが現実物体で隠れるかどうか、すなわち、ＡＲオブジェクトの手前に現実物体が存在するかどうかを判定する。隠れる場合（Ｙｅｓ）はＳ１７０へ進み、隠れない場合（Ｎｏ）はＳ１７１へ進む。
Ｓ１７０では、ＡＲオブジェクトの隠れる部分の映像をマスク処理する（例えば映像データを０に書き換える）。これにより図３Ｄのような表示が可能となる。

【0078】

Ｓ１７１では、３Ｄプロジェクタ５にてＡＲオブジェクトの投射、表示を行う。
Ｓ１７２では、未処理のＡＲオブジェクトがある場合（Ｙｅｓ）には、Ｓ１６１に戻り次のＡＲオブジェクトについて処理する。

【0079】

図１５Ａと図１５Ｂは、図１２Ａ（図１２Ｂ）で説明したＡＲオブジェクト処理８８４におけるユーザ操作の具体例を示す図である。現実物体である椅子１８を撮影物体として認識し、該撮影物体にＡＲオブジェクトであるぬいぐるみオブジェクト２３を紐付ける場面である。なお、この処理はユーザが操作画面を見ながら対話形式で行う。

【0080】

図１５Ａは、紐付けるＡＲオブジェクトを選択する画面である。この紐付け操作では、まずカーソル３１を椅子１８の上に置き、クリックする。この操作によりメニュー小画面３２ａがポップアップする。このメニュー小画面３２ａで提示されるリストの中から、「ＡＲオブジェクトの選択」をクリックする。クリックした項目は、黒地に白抜きの文字に変換される。これに反応し、ＡＲオブジェクトの候補画面３２ｂが現れ、カーソル３１で所望のＡＲオブジェクトを選択する。さらに、メニュー下段の「配置位置設定」や「サイズ・姿勢設定」の項目をクリックして、選択したＡＲオブジェクトの詳細な表示パラメータを設定する。

【0081】

図１５Ｂは、一度設定したＡＲオブジェクト２３の表示パラメータの変更を行う場面である。ここではメニュー小画面３２ｃが表示されている。メニューリストとしては、表示／非表示の切り替え、表示サイズの変更、表示回転の変更、配置変更（オフセットの変更）があり、所望の項目について変更を行うことができる。

【0082】

図１６～図２１は、データフラッシュＲＯＭ８９に格納される各種データテーブルの例を示す図である。

【0083】

図１６は、ヘッダデータであり、ＡＲ表示装置１で取り扱うデータの一覧が「付随コンテンツ(Accompanying Content)」に記載されている。また、テーブルの先頭には、ＡＲ体験に関するデータであることを示す「コンテンツＩＤ」がある。この「コンテンツＩＤ」は、後述する撮影物体、背景物体、ＡＲオブジェクトなどのテーブルと共通のＩＤである。この他、「コンテンツ所有者」や「著作権」等の情報が含まれる。

【0084】

図１７は、基準点と移動履歴データ８９１を示す。共通の「コンテンツＩＤ」があり、「コンテンツ種類」で基準点と移動履歴データであることを示す。データとしては、「基準点（ＰＢａｓｅ）」と、「移動履歴（ＭＰ１，ＭＰ２）」について、時刻（Ｔ０，Ｔ１，Ｔ２）と位置と方向、が記述されている。時刻はＡＲ処理のカメラ撮影時刻であり、協定世界時（ＵＴＣ＝Universal Time, Coordinated）で記述される。位置と方向は、基準点（ＰＢａｓｅ）を起点として、それぞれの時刻でのＡＲ表示装置１の位置と撮影方向を差分データで示す。例えば、時刻Ｔ１での移動履歴（ＭＰ１）は、差分位置（ｒ１，θ１，φ１）＝（距離，水平角度，垂直角度）、差分方向（θθ１，φφ１）＝（水平角度，垂直角度）で表される。
また、本例では基準点の値として、位置＝（０，０，０）、方向＝（０，０）と与えているが、位置ではＧＰＳデータの値、方向では方位角の値を与えてもよい。

【0085】

図１８Ａ～図１８Ｃは、撮影物体データ８９２を示す。撮影物体データは、撮影位置ごとに区分して記述され、図１８Ａは基準位置（ＰＢａｓｅ）、図１８Ｂは移動位置（ＭＰ１）、図１８Ｃは移動位置（ＭＰ２）におけるデータである。なお、図１８Ａ～Ｃのデータは、それぞれ図３Ｂ～Ｄの場面に対応させている。

【0086】

各撮影位置において認識された撮影物体は、「撮影物体１」、「撮影物体２」、…のように番号が与えられ、また認識された物体名である「テーブル」、「椅子１」、…が記載されている。各撮影物体には、抽出された「特徴点１」、「特徴点２」、…と、「紐付けＡＲオブジェクト」のデータが記載される。さらに各撮影物体には、移動可能な物体かどうかを示す「移動フラグ」が付与されている。基準点においては移動フラグ＝「Ｘ」、移動不可な物体の場合は「０」、移動可能な物体の場合は「１」で表示する。

【0087】

各特徴点のデータは、ＡＲ表示装置１の撮影位置に対する相対位置（距離と方向）を含む。「紐付けＡＲオブジェクト」のデータは、後述するＡＲオブジェクトデータ８９４にリンクし、データＩＤで指定されたＡＲオブジェクト（タイトル）が紐付けされている。さらに「紐付け位置」は、ＡＲオブジェクトを配置する特徴点とオフセット距離を示し、「サイズ」と「回転」は、ＡＲオブジェクトを表示するときのパラメータである。

【0088】

本例では、撮影位置が基準位置（ＰＢａｓｅ）において（図１８Ａ）、撮影物体１～３が記載され、撮影物体１（テーブル）には紐付けＡＲオブジェクト１が、撮影物体２（椅子１）には紐付けＡＲオブジェクト２が紐付けされている。さらに撮影位置が移動位置（ＭＰ２）において（図１８Ｃ）、撮影物体４（衝立）が新たに認識され追加されている。

【0089】

撮影物体１、２の各特徴点に対する位置や方向の数値は、撮影位置が基準位置（ＰＢａｓｅ）と移動位置（ＭＰ１，ＭＰ２）とでは、やや異なっている。これは、撮影物体１、２が現実空間の中で移動しない場合でも、ＡＲ表示装置１の移動によって異なる値となるからである。このような場合には数値の差異は、ＡＲ表示装置１の移動に伴うものであるとして認識され、実際の物体が移動したかどうかは、ＡＲ表示装置１の移動を踏まえて判断する。

【0090】

一方、図１８Ｂの移動位置（ＭＰ１）において、撮影物体２（椅子１）は現実空間で移動しており、「移動フラグ」は移動可能な物体であることを示す「１」とする。また、図１８Ｃの移動位置（ＭＰ２）において、撮影物体４（衝立）は新たに現実空間に現れた物体であり、これに対する「移動フラグ」は「１」とする。

【0091】

また、後述する撮影物体グループに登録されている撮影物体には、グループ番号が付与されている。例えば図１８Ａでは、撮影物体２（椅子１）と撮影物体３（椅子２）がグループ化され、「グループ１」として扱われている。

【0092】

図１９は、背景物体データ８９３を示す。背景物体データは、撮影位置ごとに区分され、基準位置（ＰＢａｓｅ）、移動位置（ＭＰ１、…）に分けて記述される。

【0093】

背景物体データは、特徴点があれば、「特徴点１」、「特徴点２」、…が記載され、これらの特徴点は、ユーザが指示する擬似特徴点を含む場合がある。続いて、図１８Ａ～Ｃの撮影物体の場合と同様に「紐付けＡＲオブジェクト」のデータが記載される。さらに背景物体データには、その位置や形状を把握できるよう、カメラ撮影映像の座標に対応したビットマップデータを有する。

【0094】

図２０は、ＡＲオブジェクトデータ８９４を示す。ＡＲオブジェクトデータは、例えばネットワーク上のサーバからダウンロードしたデータであり、タイトル毎に通し番号が振られている。個々のＡＲオブジェクトデータには識別用のデータＩＤが付与され、これを介して前述した撮影物体データや背景物体データと紐付けられている。項目として、タイトルと著作権の記載があり、３Ｄ画像データが格納されている。この３Ｄ画像データを用いて表示映像が生成される。

【0095】

ＡＲオブジェクトデータの中には、固有の表示属性を含むことがある。例えば、「ＡＲオブジェクト７」は図６のドローンオブジェクト２７の場合であり、ドローンの動きを表す「動きプロファイル」が記載されている。この他、姿勢プロファイルにより紐付けの状態（撮影物体との距離、姿勢の回転角度）を規定して、ユーザの紐付けパラメータの設定を制限することもできる。

【0096】

図２１は、撮影物体グループデータ８９５を示す。撮影物体グループデータは、「グループ１」、「グループ２」のように通し番号が振られ、「構成物体」にはグループを構成する撮影物体が記載される。この例では撮影物体２と撮影物体３とがグループ化されてい
る。続いて、各グループに紐付けする「紐付けＡＲオブジェクト」が記載される。またグループを構成する複数の撮影物体には、ＡＲオブジェクトを紐付ける優先順位を示す「優先度」が与えられている。

【0097】

複数の撮影物体をグループ化することで、ＡＲオブジェクトを表示する際の撮影物体の選択が状況に即して行われる。例えば、図３Ｂで２つの椅子１８，１９をグループ化した効果を説明する。紐付け操作では、椅子１８にぬいぐるみオブジェクト２３が紐付けられている。その後、図３Ｃのように、２つの椅子１８，１９のうち、紐付けした椅子１８が部屋から除去される場合がある。椅子１８と椅子１９をグループ化して登録しておけば、第１順位の椅子１８が取り除かれても、撮影物体グループデータ８９５を参照し、第２順位の椅子１９の上にぬいぐるみオブジェクト２３を配置させることができる。これにより、ぬいぐるみを紐付けしたユーザの意図を反映し、現実空間の状況に柔軟に対応してＡＲオブジェクトの表示を行うことができる。

【0098】

以上説明したように、実施例１によれば、移動可能な物体を含めて物体の現在の位置に合わせてＡＲオブジェクトを適切に表示する拡張現実表示装置を提供できる。また、ＡＲオブジェクトと現実物体の距離関係（すなわちユーザから見た前後関係）を反映させた３Ｄ表示が行われるため、奥行き感のある表示が可能である。さらに、複数の撮影物体をグループ化することで、ユーザの意図を反映し、現実空間の状況に柔軟に対応してＡＲオブジェクトの表示を行うことができる。

【実施例2】

【0099】

実施例２では、３Ｄカメラを搭載して撮影と距離測定を行う拡張現実表示装置について説明する。

【0100】

図２２は、実施例２に係る拡張現実表示装置（ＡＲ表示装置）の外観を示す図である。
前記実施例１（図１Ａ）に示したＡＲ表示装置１と同等の機能を有する構成要素については、同一の符号を付しており、重複する説明は省く。この場合も前記実施例１の図１Ｂと同様に、ユーザはホルダ１０ａ，１０ｂにて、ＨＭＤであるＡＲ表示装置’を自身の頭部に装着する。

【0101】

ＡＲ表示装置１’は、３Ｄ（３次元）カメラ３３ａ，３３ｂと、平面ディスプレイ（表示部）３４を備えている。３Ｄカメラ３３ａ，３３ｂは、実施例１におけるカメラ２と測距センサ３の置き換えで、カメラ撮影映像を得るだけでなく、３３ａで得る左目視線の映像と３３ｂで得る右目視線の映像の差により、カメラ映像内の現実物体の距離の測定も可能である。

【0102】

平面ディスプレイ３４は、実施例１における３Ｄプロジェクタ５と透過型スクリーン６の置き換えで、３Ｄカメラ３３ａ，３３ｂの撮影映像とＡＲオブジェクトの映像とをコントローラ８で合成して表示する。この時、左目視線の映像と右目視線の映像を交互に表示し、シャッタ付きメガネ７と同期させて３Ｄ映像の表示を行う。なお、平面ディスプレイ３４には、スマートフォン等の汎用デバイスを用いてもよい。この時、スマートフォンに内蔵する制御装置でコントローラ８の機能を実行することができる。

【0103】

図２３は、ＡＲ表示装置１’の内部構成を示すブロック図である。実施例１（図２）に示したブロックと同等の機能を有するものについては、同一の番号を付しており、重複する説明は省く。実施例１と異なるブロックは、３Ｄカメラ３３ａ，３３ｂ、平面ディスプレイ３４、特徴抽出処理部８１’、距離算出処理部８２’、合成処理部９１である。

【0104】

特徴抽出処理部８１’は、３Ｄカメラ３３ａ，３３ｂの映像から特徴点を抽出し、その特徴点から、カメラ撮影映像に写っている現実物体を認識する。距離算出処理部８２’は、３Ｄカメラ３３ａ，３３ｂで得る左目／右目視線の映像の差により、カメラ映像内の現実物体の距離を測定する。合成処理部９０は、３Ｄカメラ３３ａ，３３ｂの撮影映像とＡＲオブジェクトの映像とを構成し、平面ディスプレイ３４は合成された映像を表示する。

【0105】

実施例２のＡＲ表示装置１’においても、撮影映像から認識した現実物体（撮影物体、背景物体）へのＡＲオブジェクトの紐付けと、紐付けしたＡＲオブジェクトの様々な表示制御方法は、実施例１の場合と同様に行うことができる。

【0106】

実施例２によれば、実施例１と同様の効果を有するとともに、平面ディスプレイを含めてスマートフォンのような汎用デバイスの活用が図れるという特徴がある。

【0107】

以上、本発明の実施形態を説明したが、本発明はこれらに限られるものではなく、ある実施例の構成の一部を他の実施例の構成に置き換えたり、他の実施例の構成を加えたりすることも可能である。

【0108】

また本発明は、拡張現実（ＡＲ）オブジェクトの表示だけでなく、これを発展させた複合現実（ＭＲ：Mixed Reality）オブジェクトを表示する装置及びその表示方法についても同様に適用できることは言うまでもない。

【符号の説明】

【0109】

１，１’：拡張現実表示装置（ＡＲ表示装置）、２：カメラ、３：測距センサ、４：位置・方位センサ、５：３Ｄプロジェクタ（表示部）、６：透過型スクリーン、７：シャッタ付メガネ、８：コントローラ、９ａ，９ｂ：スピーカ、１０ａ，１０ｂ：ホルダ、２０，２１，２２，２３，２４ａ，２４ｂ，２７：ＡＲオブジェクト、３３ａ，３３ｂ：３Ｄカメラ、３４：平面ディスプレイ（表示部）、８１，８１’：特徴検出処理部、８２，８２’：距離算出処理部、８３：移動検出処理部、８４：通信部、８５：ＣＰＵ、８６：ＲＡＭ、８７：画像ＲＡＭ、８８：プログラムフラッシュＲＯＭ、８９：データフラッシュＲＯＭ、９０：ユーザ操作入力部、９１：映像合成処理部、１００：ユーザ、８８０：全体制御処理、８８１：基準点と移動履歴処理、８８２：撮影物体処理、８８３：背景物体処理、８８４：ＡＲオブジェクト処理、８８５：撮影物体グループ処理、８８６：表示映像生成処理。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図13】

【図14】

【図15A】

【図15B】

【図16】

【図17】

【図18A】

【図18B】

【図18C】

【図19】

【図20】

【図21】

【図22】

【図23】