知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-15
(45)【発行日】2024-03-26
(54)【発明の名称】複合現実表示装置および複合現実表示方法
(51)【国際特許分類】
G06T 19/00 20110101AFI20240318BHJP
G06F 3/01 20060101ALI20240318BHJP
【ＦＩ】
G06T19/00 600
G06F3/01 510
【請求項の数】
9
(21)【出願番号】P 2023025811
(22)【出願日】2023-02-22
(62)【分割の表示】P 2020570256の分割
【原出願日】2019-02-06
(65)【公開番号】P2023065502
(43)【公開日】2023-05-12
【審査請求日】2023-02-22
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜弁理士法人
(72)【発明者】
【氏名】川前 治
(72)【発明者】
【氏名】奥 万寿男
【審査官】村松 貴士
(56)【参考文献】
【文献】特開２０１５－２２８２５６（ＪＰ，Ａ）
【文献】特開２００６－０４１８１１（ＪＰ，Ａ）
【文献】特開２０１０－１７６７０３（ＪＰ，Ａ）
【文献】特開２０１５－０５６７２７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／０１３２６２９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８ － ３／０４８９５
(57)【特許請求の範囲】
【請求項1】
体験者が視認する現実映像に重ねて仮想物体の映像を表示する複合現実表示装置を用いて行う複合現実表示方法において、当該複合現実表示装置は、他の複合現実表示装置と接続して現実映像と仮想物体の映像を互いに共有する構成であって、
現実映像を撮影するカメラと、
現実映像内の現実物体までの距離を測定する測距センサと、
前記カメラの位置と撮影方向を検知する位置・方位センサと、
前記カメラで撮影した現実映像から現実物体を認識し、体験者の操作に基づき、認識した現実物体に所定の仮想物体を紐付けするコントローラと、
紐付けされた仮想物体の映像を表示する表示部と、
現実物体と紐付けされた仮想物体のデータを保存するメモリと、
他の複合現実表示装置と接続しデータを送受信する通信部と、を備え、
それぞれの体験者が複合現実表示装置を装着する装着ステップと、
前記コントローラが、前記通信部を介して他の複合現実表示装置が生成した現実物体の認識結果及び紐付けした仮想物体のデータを取得する取得ステップと、
前記コントローラが、取得したデータと前記メモリに保存されたデータとを合成する合成ステップと、
前記コントローラが、合成した映像を前記表示部に表示する表示ステップと、
前記コントローラが、体験者の操作に基づき、前記表示部に表示された映像に対し、現実物体に紐付けする仮想物体の編集が可能である編集ステップと、を含み、
前記コントローラは、前記合成ステップにおいて、他の複合現実表示装置から取得したデータと前記メモリに保存されたデータとを合成するとき、それぞれのカメラの位置と撮影方向に応じて映像を視点変換して合成し、体験者が移動するごとに、前記カメラの新しい位置と撮影方向に基づき新しい映像に更新する、
ことを特徴とする複合現実表示方法。
【請求項2】
体験者が視認する現実映像に重ねて仮想物体の映像を表示する複合現実表示装置を用いて行う複合現実表示方法において、当該複合現実表示装置は、他の複合現実表示装置と接続して現実映像と仮想物体の映像を互いに共有する構成であって、
現実映像を撮影するカメラと、
現実映像内の現実物体までの距離を測定する測距センサと、
前記カメラの位置と撮影方向を検知する位置・方位センサと、
前記カメラで撮影した現実映像から現実物体を認識し、体験者の操作に基づき、認識した現実物体に所定の仮想物体を紐付けするコントローラと、
紐付けされた仮想物体の映像を表示する表示部と、
現実物体と紐付けされた仮想物体のデータを保存するメモリと、
他の複合現実表示装置と接続しデータを送受信する通信部と、を備え、
それぞれの体験者が複合現実表示装置を装着する装着ステップと、
前記コントローラが、前記通信部を介して他の複合現実表示装置が生成した現実物体の認識結果及び紐付けした仮想物体のデータを取得する取得ステップと、
前記コントローラが、取得したデータと前記メモリに保存されたデータとを合成する合成ステップと、
前記コントローラが、合成した映像を前記表示部に表示する表示ステップと、
前記コントローラが、体験者の操作に基づき、前記表示部に表示された映像に対し、現実物体に紐付けする仮想物体の編集が可能である編集ステップと、を含み、
前記コントローラは、前記編集ステップにおいて、前記測距センサで測定した距離に基づき現実物体を撮影物体と背景物体に分けて認識し、背景物体については領域を分割して仮想物体を紐付けすることが可能である、
ことを特徴とする複合現実表示方法。
【請求項3】
体験者が視認する現実映像に重ねて仮想物体の映像を表示する複合現実表示装置を用いて行う複合現実表示方法において、当該複合現実表示装置は、他の複合現実表示装置と接続して現実映像と仮想物体の映像を互いに共有する構成であって、
現実映像を撮影するカメラと、
現実映像内の現実物体までの距離を測定する測距センサと、
前記カメラの位置と撮影方向を検知する位置・方位センサと、
前記カメラで撮影した現実映像から現実物体を認識し、体験者の操作に基づき、認識した現実物体に所定の仮想物体を紐付けするコントローラと、
紐付けされた仮想物体の映像を表示する表示部と、
現実物体と紐付けされた仮想物体のデータを保存するメモリと、
他の複合現実表示装置と接続しデータを送受信する通信部と、を備え、
それぞれの体験者が複合現実表示装置を装着する装着ステップと、
前記コントローラが、前記通信部を介して他の複合現実表示装置が生成した現実物体の認識結果及び紐付けした仮想物体のデータを取得する取得ステップと、
前記コントローラが、取得したデータと前記メモリに保存されたデータとを合成する合成ステップと、
前記コントローラが、合成した映像を前記表示部に表示する表示ステップと、
前記コントローラが、体験者の操作に基づき、前記表示部に表示された映像に対し、現実物体に紐付けする仮想物体の編集が可能である編集ステップと、を含み、
前記コントローラは、前記表示ステップにおいて、前記測距センサにより現実物体と仮想物体の遠近を評価し、仮想物体の手前に現実物体が存在する場合には、仮想物体の一部もしくは全部を非表示とするとともに、現実物体が他の体験者である場合には、現実物体にマスク処理を行う、
ことを特徴とする複合現実表示方法。
【請求項4】
体験者が視認する現実映像に重ねて仮想物体の映像を表示する複合現実表示装置を用いて行う複合現実表示方法において、当該複合現実表示装置は、他の複合現実表示装置と接続して現実映像と仮想物体の映像を互いに共有する構成であって、
現実映像を撮影するカメラと、
現実映像内の現実物体までの距離を測定する測距センサと、
前記カメラの位置と撮影方向を検知する位置・方位センサと、
前記カメラで撮影した現実映像から現実物体を認識し、体験者の操作に基づき、認識した現実物体に所定の仮想物体を紐付けするコントローラと、
紐付けされた仮想物体の映像を表示する表示部と、
現実物体と紐付けされた仮想物体のデータを保存するメモリと、
他の複合現実表示装置と接続しデータを送受信する通信部と、を備え、
それぞれの体験者が複合現実表示装置を装着する装着ステップと、
前記コントローラが、前記通信部を介して他の複合現実表示装置が生成した現実物体の認識結果及び紐付けした仮想物体のデータを取得する取得ステップと、
前記コントローラが、取得したデータと前記メモリに保存されたデータとを合成する合成ステップと、
前記コントローラが、合成した映像を前記表示部に表示する表示ステップと、
前記コントローラが、体験者の操作に基づき、前記表示部に表示された映像に対し、現実物体に紐付けする仮想物体の編集が可能である編集ステップと、を含み、
現実物体に紐付けする仮想物体は複数の部品から構成され、前記コントローラは、前記編集ステップにおいて、各々の部品に仮想物体の編集権限を示す優先権フラグを付与して保存する、
ことを特徴とする複合現実表示方法。
【請求項5】
請求項１ないし請求項３のいずれか一項に記載の複合現実表示方法であって、前記コントローラは、前記編集ステップにおいて、現実物体に仮想物体を紐付けするとき、仮想物体の紐付け権限を示す優先権フラグを付与して前記メモリに保存する、
ことを特徴とする複合現実表示方法。
【請求項6】
請求項１または請求項３または請求項４に記載の複合現実表示方法であって、前記コントローラは、前記編集ステップにおいて、前記測距センサで測定した距離に基づき現実物体を撮影物体と背景物体に分けて認識し、背景物体については領域を分割して仮想物体を紐付けすることが可能である、
ことを特徴とする複合現実表示方法。
【請求項7】
請求項１または請求項４に記載の複合現実表示方法であって、前記コントローラは、前記表示ステップにおいて、前記測距センサにより現実物体と仮想物体の遠近を評価し、仮想物体の手前に現実物体が存在する場合には、仮想物体の一部もしくは全部を非表示とするとともに、現実物体が他の体験者である場合には、現実物体にマスク処理を行う、
ことを特徴とする複合現実表示方法。
【請求項8】
請求項１ないし請求項７のいずれか一項に記載の複合現実表示方法であって、前記表示部は、仮想物体の映像を透過型スクリーンに投射する３Ｄプロジェクタで構成され、
体験者は、前記透過型スクリーン越しに現実映像を視認すると同時に、前記透過型スクリーン上に仮想物体の映像を視認可能である、
ことを特徴とする複合現実表示方法。
【請求項9】
請求項１ないし請求項８のいずれか一項に記載の複合現実表示方法であって、前記複合現実表示装置は、前記カメラと前記測距センサとして、現実映像を撮影するとともに、現実映像内の現実物体までの距離を測定可能な３Ｄカメラを有し、
前記表示部は、前記３Ｄカメラで撮影した現実映像に、仮想物体の映像を合成して表示する平面ディスプレイである、
ことを特徴とする複合現実表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、現実空間と仮想物体とを合成した複合現実（ＭＲ：Mixed Reality）空間を体験する複合現実表示装置および複合現実表示方法に関する。特に、複数のＭＲ体験者がＭＲ体験を共有するのに好適な技術に係る。
【背景技術】
【0002】
現実空間やカメラで撮影する現実映像にＣＧ（Computer Graphics）等で作成した仮想物体である拡張現実（ＡＲ：Augmented Reality）オブジェクトを付与することが、ゲームや保守作業等のコンテンツに用いられている。ＡＲオブジェクトを付与するために、ＡＲトリガーあるいはマーカーと呼ばれる映像をカメラで背景と同時に撮影して、ＡＲトリガーにより紐付けするＡＲオブジェクトを現実映像に合成する。特にＭＲ体験では、カメラとディスプレイとが一体化されたヘッドマウントディスプレイ（ＨＭＤ）を用いて、ＨＭＤに搭載したカメラで撮影した現実空間の映像を元に、ＨＭＤの位置及び姿勢に応じて生成するＡＲオブジェクトを、仮想物体の映像として現実空間に重畳表示する。
【0003】
これに関し特許文献１では、複数の人がＭＲ体験を共有するために、ＨＭＤに加えて、タブレットなどの携帯情報端末を組み合わせたＭＲシステムが記載されている。このＭＲシステムでは、ＨＭＤに表示しているＭＲ映像をタブレットにも表示させ、タブレットのユーザは、共有しているＭＲ映像中の仮想物体を指定し、指定した結果をＭＲ映像に反映させことができる、と記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１６－２２４８１０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら特許文献１の方法では、携帯情報端末のユーザは仮想物体を指定できるのみであり、仮想物体を現実空間に配置したり、置換したりする操作はできない。また、ＨＭＤの現実空間は共有できるが、携帯情報端末のユーザ自身の現実空間は共有できない。
【0006】
このように特許文献１では、ＭＲ空間を複数の人が体験する場合において、ＨＭＤ装着者を除く他の体験者は、仮想物体を現実空間に配置あるいは置換するという操作はできなく、さらに他の体験者の現実空間を共有できないという課題がある。
【0007】
本発明は上記の点を鑑みてなされたものであり、その目的は、ＭＲ空間を複数の人が体験する場合において、複数の体験者が、仮想物体を現実空間に同時に配置あるいは置換する等の操作が可能で、かつ複数の体験者の現実空間が共有可能である複合現実表示装置および複合現実表示方法を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するために、本発明の複合現実表示装置は、他の体験者が装着する他の複合現実表示装置と接続して現実映像と仮想物体の映像を互いに共有する構成であって、現実映像を撮影するカメラと、カメラで撮影した現実映像から現実物体を認識し、体験者の操作に基づき、認識した現実物体に所定の仮想物体を紐付けするコントローラと、紐付けされた仮想物体の映像を表示する表示部と、現実物体と紐付けされた仮想物体のデータを保存するメモリと、他の複合現実表示装置と接続しデータを送受信する通信部と、を備える。前記コントローラは、前記通信部を介して他の複合現実表示装置が生成した現実物
体の認識結果及び紐付けした仮想物体のデータを取得し、取得したデータと前記メモリに保存されたデータとを合成して、合成した映像を前記表示部に表示するとともに、体験者の操作に基づき、前記表示部に表示された映像に対し、現実物体に紐付けする仮想物体の編集が可能であることを特徴とする。
体の認識結果及び紐付けした仮想物体のデータを取得し、取得したデータと前記メモリに保存されたデータとを合成して、合成した映像を前記表示部に表示するとともに、体験者の操作に基づき、前記表示部に表示された映像に対し、現実物体に紐付けする仮想物体の編集が可能であることを特徴とする。
【0009】
さらに本発明の複合現実表示方法は、複数の複合現実表示装置で現実映像を撮影するステップと、撮影された現実映像を連結して現実物体を認識するステップと、各体験者の操作に基づき選択された仮想物体を現実物体に紐付けして合成するステップと、各複合現実表示装置にて、連結された現実物体と紐付けされた仮想物体の合成データをもとに共通の映像を表示するステップと、表示された映像に対し、各複合現実表示装置の体験者が、現実物体に紐付けする仮想物体の編集を行うステップと、を備える。
【発明の効果】
【0010】
本発明によれば、ＭＲ空間を複数の人が体験する場合において、複数の体験者が、仮想物体を現実空間に配置あるいは置換等の操作が可能となり、かつ複数の体験者の現実空間を共有することが可能となる。
【図面の簡単な説明】
【0011】
【図1A】複数のＭＲ表示装置を適用する現実空間の例を示す図。
【図1B】背景映像を連結した状態を示す図。
【図2】実施例１に係るＭＲ表示装置の外観構成を示す図。
【図3】ＭＲ表示装置１の機能構成を示すブロック図。
【図4A】ＡＲオブジェクトを配置したＭＲ空間の例を示す図。
【図4B】クロスオブジェクトの生成法を説明する図。
【図5】全体制御処理８１のフローチャート。
【図6】基準点・移動履歴処理８２のフローチャート。
【図7】同期化・優先権処理８３のフローチャート。
【図8】撮影物体処理８４のフローチャート。
【図9】背景物体処理８５のフローチャート。
【図10A】ＡＲオブジェクト処理８６のフローチャート（ケース１）。
【図10B】ＡＲオブジェクト処理８６のフローチャート（ケース２）。
【図11】表示映像生成処理８７のフローチャート。
【図12A】撮影物体に優先権を設定する操作画面。
【図12B】紐付けられたＡＲオブジェクトを編集する操作画面。
【図13A】ヘッダデータのデータテーブル。
【図13B】基準点・移動履歴データ９１のデータテーブル。
【図13C】撮影物体データ９２のデータテーブル。
【図13D】背景物体データ９３のデータテーブル。
【図13E】ＡＲオブジェクトデータ９４のデータテーブル。
【図14】実施例２に係るＭＲ空間の例を示す図。
【図15】ＡＲオブジェクト処理８６のフローチャート（追加分）。
【図16A】撮影物体データのデータテーブル。
【図16B】ＡＲオブジェクトデータのデータテーブル。
【図17】実施例３に係るＭＲネットワークシステムの構成を示す図。
【図18A】ＭＲネットワークシステムのシーケンス図。
【図19】実施例４に係るＭＲ表示装置１’の外観構成を示す図。
【図20】ＭＲ表示装置１’の機能構成を示すブロック図。
【発明を実施するための形態】
【0012】
以下、図面を参照しながら、本発明の実施例について説明する。以下では、複合現実表示装置をＭＲ表示装置、またはＨＭＤとも呼ぶ。
【実施例1】
【0013】
実施例１では、複数のＭＲ表示装置を相互に接続し、装置間でデータのやり取りを行うシステムについて説明する。
【0014】
［ＭＲ表示システム］
図１Ａは、複数のＭＲ表示装置を適用する現実空間の例を示す図である。このシステムでは、３台のＭＲ表示装置（ＨＭＤ）１ａ，１ｂ，１ｃを有し、ＭＲ空間の複数の体験者２ａ，２ｂ，２ｃは、それぞれの頭部にＨＭＤ１ａ，１ｂ，１ｃを装着している。後述するように各ＨＭＤは、カメラ、測距センサ、ディスプレイ、通信部、位置・方位センサを内蔵し、カメラで現実空間を撮影するとともに、ディスプレイに表示されるＭＲ映像により、体験者はＭＲ映像を視認する。ＨＭＤ１ａ，１ｂ，１ｃが内蔵するカメラの撮影画角を符号３ａ，３ｂ，３ｃで示す。また、ＨＭＤ１ａ，１ｂ，１ｃの間で通信するために、無線ＬＡＮなどのアクセスポイント（ＡＰ）５を設けている。体験者（ＨＭＤ）の位置と視線方向が異なるので、それぞれが視認する現実空間は異なるが、ＨＭＤ間で通信することで、共通のＭＲ映像を体験することができる。
図１Ａは、複数のＭＲ表示装置を適用する現実空間の例を示す図である。このシステムでは、３台のＭＲ表示装置（ＨＭＤ）１ａ，１ｂ，１ｃを有し、ＭＲ空間の複数の体験者２ａ，２ｂ，２ｃは、それぞれの頭部にＨＭＤ１ａ，１ｂ，１ｃを装着している。後述するように各ＨＭＤは、カメラ、測距センサ、ディスプレイ、通信部、位置・方位センサを内蔵し、カメラで現実空間を撮影するとともに、ディスプレイに表示されるＭＲ映像により、体験者はＭＲ映像を視認する。ＨＭＤ１ａ，１ｂ，１ｃが内蔵するカメラの撮影画角を符号３ａ，３ｂ，３ｃで示す。また、ＨＭＤ１ａ，１ｂ，１ｃの間で通信するために、無線ＬＡＮなどのアクセスポイント（ＡＰ）５を設けている。体験者（ＨＭＤ）の位置と視線方向が異なるので、それぞれが視認する現実空間は異なるが、ＨＭＤ間で通信することで、共通のＭＲ映像を体験することができる。
【0015】
現実空間は、部屋の壁４ａ、４ｂ、４ｃと床４ｄとが背景となる。これに現実物体として、窓６、ソファ７、プロジェクタ８と、プロジェクタ８の投射画面８ａが置かれている。ＭＲ体験者２ａ，２ｂ，２ｃは、この現実空間内でＭＲ体験をする。具体的には、複数の作業者（ＭＲ体験者）により室内のインテリアのレイアウトを行う場面を一例として想定している。
【0016】
ＭＲ体験を共有化するため、体験者２ａ，２ｂ，２ｃは視線方向（カメラの撮影方向）と、位置及び高さの初期設定（座標合わせ）を行う。例えば、カメラで窓６を撮影し、窓６の隅６ｂ、６ｃがＨＭＤのディスプレイ画面の中央６ａに対して対称となるようにし、撮影方向の基準を定める。そのままの状態で、窓６から所定の距離の位置に移動し基準位置とする。これら撮影方向、位置に加え、体験者の身長に依るＨＭＤの高さを基準点として登録する。基準点の登録は、体験者２ａ，２ｂ，２ｃがそれぞれ行うが、体験者２の高さを基準として、体験者２ｂ、２ｃの高さの差を補正しても良い。基準点登録後の体験者２ａ，２ｂ，２ｃの移動は、位置・方位センサにて検知し、移動履歴データとして記録する。これにより各体験者の位置データを共通の座標系で表わすことができる。
【0017】
なお、初期化の方法は上記の方法に限定されるものではなく、ＧＰＳセンサ、方位センタを用いる方法であっても良く、ＭＲ空間の体験者間で基準点を共有できるものであれば良い。
【0018】
ＨＭＤのカメラで撮影できる画角３ａ，３ｂ，３ｃは、現実空間の一部でしかない。本システムでは、ＨＭＤ１ａ，１ｂ，１ｃにより取得した撮影画角３ａ，３ｂ，３ｃの撮影映像を合成し、連結した現実空間の映像（背景映像）を生成する。その際、撮影した時の各ＨＭＤの位置、方角、高さを、基準点から撮影したものとして視点変換して合成する。背景映像の連結は、体験者２ａ，２ｂ，２ｃの移動のたびに繰り返し、領域が重なる部分は、新しい背景映像で更新する。
【0019】
図１Ｂは、背景映像を連結した状態を示す図である。ＨＭＤ１ａで撮影する範囲（図１Ａの撮影画角）３ａ、ＨＭＤ１ｂで撮影する範囲３ｂ、ＨＭＤ１ｃで撮影する範囲３ｃは、異なる撮影位置での背景映像である。これらの映像を基準点から撮影した映像に視点変換し、基準点を中心とする３６０度の全周空間にマッピングして、連結した背景映像とす
る。
る。
【0020】
３６０度の全周空間は、撮影範囲３ａ，３ｂ，３ｃで全ての空間がカバーされる訳でもない。そこで各ＨＭＤ１ａ，１ｂ，１ｃ（各体験者２ａ，２ｂ，２ｃ）が移動し、次の時刻Ｔで新たな撮影範囲３ａＴ，３ｂＴ，３ｃＴで撮影する。そして、撮影範囲３ａＴ，３ｂＴ，３ｃＴでの映像を視点変換して、連結した背景映像に追加し、背景映像の空間を広げて行く。空間を拡大するときは、特に壁の境界や床と壁の接線、窓のフレームのような特徴点を重ねて広げると連結しやすい。重複する背景映像の部分は、時間的に新しい背景映像の部分に置き換え、背景映像を更新する。
【0021】
なお、背景映像の連結処理に関して言えば、ＨＭＤの撮影映像に代えて、後述する背景物体データを取得した後で、背景物体データを連結させるようにしても良い。さらに、各々のＨＭＤで撮影映像から撮影物体データおよび背景物体データを取得し、各々のＨＭＤで取得した撮影物体データを共有するとともに、背景物体データを連結させるようにしても良い。
【0022】
このように、複数のＨＭＤ（複数の体験者）が取得した背景映像の連結処理を行うことで、１台のＨＭＤ（１人の体験者）では認識できない背景を合成することができる。具体的には、図１Ａや図１Ｂにおいて、体験者２ｂのカメラの画角３ｂでは、ソファ７を捉えることができず、体験者２ｃのカメラの画角３ｃでは、プロジェクタ８を捉えることができない。しかし、各体験者のカメラ映像を連結し、連結された背景映像を各体験者で共有することで、ソファ７やプロジェクタ８の存在が認識され、認識した情報は後述する撮影物体として、複数の体験者２ａ，２ｂ，２ｃで共有することができる。
【0023】
［ＭＲ表示装置］
図２は、実施例１に係るＭＲ表示装置の外観構成を示す図である。ＭＲ表示装置（ＨＭＤ）１（１ａ～１ｃ）は、カメラ１０、測距センサ１１、位置・方位センサ１２、３Ｄプロジェクタ１３、透過型スクリーン１４、シャッタ付きメガネ１５、コントローラ１６、スピーカ１７ａ，１７ｂ、ホルダ１８ａ，１８ｂ、マイク１９を備える。ＭＲの体験者２は、ホルダ１８ａ，１８ｂで、ＨＭＤ１を自身の頭部に装着する。
図２は、実施例１に係るＭＲ表示装置の外観構成を示す図である。ＭＲ表示装置（ＨＭＤ）１（１ａ～１ｃ）は、カメラ１０、測距センサ１１、位置・方位センサ１２、３Ｄプロジェクタ１３、透過型スクリーン１４、シャッタ付きメガネ１５、コントローラ１６、スピーカ１７ａ，１７ｂ、ホルダ１８ａ，１８ｂ、マイク１９を備える。ＭＲの体験者２は、ホルダ１８ａ，１８ｂで、ＨＭＤ１を自身の頭部に装着する。
【0024】
カメラ１０は、頭部前方（体験者の視線方向）を撮影するように取り付けられており、測距センサ１１は、カメラ１０の撮影映像が捉える現実物体との距離を測定する。位置・方位センサ１２は、ジャイロ、位置、方位センサ等で構成され、体験者の位置と視線方向を検知する。
【0025】
測距センサ１１は、ＴＯＦ（Time of Flight）方式のように２次元的に光線を照射して距離を計測するものでも良いし、輪郭等の特徴点に対してステレオカメラのような方式で距離を算出するものでも良く、カメラ撮影映像に対応してカメラと現実物体との距離を測定できるものであれば良い。
【0026】
３Ｄプロジェクタ１３は、３Ｄの仮想物体（ＡＲオブジェクト）を、左目で確認する映像と右目で確認する映像とを交互に透過型スクリーン１４に投射して表示する。シャッタ付メガネ１５は、これに同期して左右交互に映像を透過させる。体験者２は、前方の風景や現実物体を透過型スクリーン１４を通して見ることができるとともに、これに重畳して３Ｄプロジェクタ１３で投射された３Ｄの仮想物体を透過型スクリーン１４上で視認することができる。
【0027】
コントローラ１６は、カメラ１０の撮影映像、測距センサ１１の距離データ、位置・方位センサ１２の位置・方位データを取り込み、内部のメモリやＣＰＵに供給する。また、
３Ｄプロジェクタ１３で投射する映像やスピーカ１７ａ，１７ｂに出力する音声を作成する。さらにシャッタ付メガネ１５の駆動信号を生成し、３Ｄプロジェクタ１３で投射するＡＲオブジェクトの映像に同期して、左右メガネの透過を切り替えて、体験者に３Ｄ映像を提供する。
３Ｄプロジェクタ１３で投射する映像やスピーカ１７ａ，１７ｂに出力する音声を作成する。さらにシャッタ付メガネ１５の駆動信号を生成し、３Ｄプロジェクタ１３で投射するＡＲオブジェクトの映像に同期して、左右メガネの透過を切り替えて、体験者に３Ｄ映像を提供する。
【0028】
またコントローラ１６は、ＭＲ体験者２とのユーザインターフェースを含む。コントローラ１６をスマートフォンのようなデバイスで実現する場合には、ユーザインターフェースはタッチセンサを内蔵したパネルを利用できる。
【0029】
図３は、ＭＲ表示装置１の機能構成を示すブロック図である。図２と同一のものには同一の符号を付している。ＨＭＤ１のコントローラ１６の内部（破線で示す）には、特徴抽出処理部６１、距離算出処理部６２、移動検知処理部６３、通信部６４、ＣＰＵ６５、ＲＡＭ６６、画像ＲＡＭ６７、プログラムフラッシュＲＯＭ（Ｐ－ＦＲＯＭ）６８、データフラッシュＲＯＭ（Ｄ－ＦＲＯＭ）６９と、さらにユーザ操作入力部６０を備える。
【0030】
特徴抽出処理部６１は、カメラ１０からの撮影映像に対し、現実物体の輪郭（エッジ）を抽出し、輪郭の変曲点や頂点を特徴点とする処理を行う。距離算出処理部６２は、測距センサ１１での計測データをもとに、特徴点までの距離を算出する。移動検知処理部６３は、位置・方位センサ１２からの計測データをもとに、ＨＭＤ１の位置と移動量、及びカメラ１０の撮影方向を求め、すなわちこれが、体験者２の位置と移動量、視線方向となる。
【0031】
通信部６４は、ＨＭＤ１をアクセスポイント５に接続し、他のＨＭＤ１との間でデータのやり取りを行う。あるいは、外部ネットワークに接続し、外部ネットワークに繋がるサーバ等によって、ＨＭＤ１の処理の一部を担わせることができる。
【0032】
プログラムフラッシュＲＯＭ６８には、各種の処理プログラムが格納されている。これには、全体制御処理８１、基準点・移動履歴処理８２、同期化・優先権処理８３、撮影物体処理８４、背景物体処理８５、ＡＲオブジェクト処理８６、表示映像生成処理８７が含まれる。これらの処理プログラムは、ＲＡＭ６６に展開してＣＰＵ６５で実行する。
【0033】
さらにデータフラッシュＲＯＭ６９には、これら処理プログラムを実行する過程及び結果で発生するデータが格納される。これには、基準点・移動履歴データ９１、撮影物体データ９２、背景物体データ９３、ＡＲオブジェクトデータ９４が含まれる。これより、体験者がＭＲ空間を再現して体験したい場合に、これらの格納しているデータを読み出すことによって実現可能となる。
【0034】
なお、プログラムフラッシュＲＯＭ６８とデータフラッシュＲＯＭ６９は、図示したように別々のメモリ媒体で構成しても良いし、１つのメモリ媒体で構成しても良い。さらには２つ以上のメモリ媒体であっても良く、フラッシュＲＯＭ以外の不揮発性のメモリ媒体であっても良い。またデータフラッシュＲＯＭ６９は、ネットワーク上にあるデータサーバに置いても良い。
【0035】
表示映像生成処理８７で生成した映像データは、画像ＲＡＭ６７に格納し、画像ＲＡＭ６７から読み出して３Ｄプロジェクタ１３で投射する。また、ユーザ操作入力部６０ではタッチセンサによりユーザ入力を受け付け、３Ｄプロジェクタ１３で透過型スクリーン１４に制御メニュー映像を投射し、ＨＭＤ１を制御する。
【0036】
［ＭＲ空間］
次に、ＭＲ表示装置１の各機能ブロックの動作、すなわち現実空間にＡＲオブジェクト
を配置してＭＲ空間を作成する処理を具体的に説明する。
次に、ＭＲ表示装置１の各機能ブロックの動作、すなわち現実空間にＡＲオブジェクト
を配置してＭＲ空間を作成する処理を具体的に説明する。
【0037】
まず、図１Ａに示した現実空間において、現実物体を撮影物体または背景物体として認識し、登録する。現実空間としての部屋は、正面壁４ａ、左側壁４ｂ、右側壁４ｃ、床４ｄで囲われており、窓６、ソファ７、プロジェクタ８が存在する。
【0038】
複数のＨＭＤ１のカメラ１０はこれらの現実物体を撮影し、特徴抽出処理部６１は現実物体の輪郭（エッジ）を抽出し、輪郭の変曲点や頂点を特徴点とする処理を行う。輪郭を構成する特徴点の集合は、ＣＰＵ６５に送られ、物体が何であるかを識別する。その際、通信部６４を介して外部のサーバの映像データベースと照合して、物体の識別を行ってもよい。
【0039】
一方、測距センサ１１と距離算出処理部６２は、部屋内の各物体までの距離を算出し、現実空間内の見取り図を作成する。そして、特徴抽出処理部６１で抽出した特徴点には、距離算出処理部６２で算出した距離データを組み合わせる。さらに基準点・移動履歴処理８２では、位置・方位センサ１２と移動検知処理部６３により、ＨＭＤ１がどの位置（座標）でどの方向を向いた状態で撮影したものかを記録しておく。
【0040】
識別された現実物体は、撮影物体処理８４および背景物体処理８５により、「撮影物体」または「背景物体」に区別して登録する。撮影物体は、特有の物体形状を有し距離データが相対的に近くに位置するもので、本例では、窓６、ソファ７、プロジェクタ８が登録される。一方、背景物体は、例えば平面以外の特有の物体形状を有していなかったり、距離データが最遠点を含んだりするもので、本例では、正面壁４ａ、左側壁４ｂ、右側壁４ｃ、床４ｄを背景物体として登録する。つまり、背景物体は、カメラ撮影映像の背景を構成する物体である。
【0041】
図４Ａは、現実空間にＡＲオブジェクトを配置したＭＲ空間の例を示す図である。図１Ａに示した現実空間と同一の物体には同一の符号を付しており、新たに仮想物体としてＡＲオブジェクト２１～２６を配置している。ＨＭＤ１ａ～１ｃを装着した各体験者２ａ～２ｃは、このようなＭＲ空間を体験することができる。
【0042】
各ＡＲオブジェクト２１～２６は、特定の現実物体（撮影物体または背景物体）の位置に合わせて（つまり紐付けされて）配置される。ＡＲオブジェクトの配置は、各体験者２の操作に基づくＡＲオブジェクト処理８６により決定される。この処理を「紐付け処理」ともいう。すなわち紐付け処理では、図１Ｂのカメラ映像から作成した現実空間の見取り図をベースとし、各ＡＲオブジェクトを配置する座標を決める。この時、ＡＲオブジェクトの配置情報（紐付け情報）では、どの物体に関連付けるかを指定するだけでなく、物体のどの部分に配置するか指定するため、物体の特定の特徴点にオフセット距離を与えて位置決めする。
【0043】
本例の場合、ＴＶオブジェクト２１は、撮影物体であるプロジェクタ８を置換するように配置される。テーブルオブジェクト２２と花瓶オブジェクト２３はソファ７に紐付けされ、ソファ７の前面に位置するような距離と方向のオフセットが与えられる。さらに花瓶オブジェクト２３には、花瓶が丁度テーブル上に置かれた状態になるよう高さ方向のオフセットが指定される。カーテンオブジェクト２４は窓６に紐付けされ、窓６の特定の特徴点にオフセット距離を与えて配置される。時計オブジェクト２５は、背景物体である壁４に紐付けられているが、正面壁４ａの任意の点を擬似特徴点として定め、その上に配置している。
【0044】
クロスオブジェクト２６は、背景物体を布で覆いかぶせた効果を得る３Ｄオブジェクト
である。本例では、背景物体である床４ｄ部分の領域に適用し、床４ｄに絨毯を敷き詰めたような加工をシミュレーションすることができる。この時、ＴＶオブジェクト２１で置換されるプロジェクタ８もクロスオブジェクト２６で覆われるが、プロジェクタ８の存在により、クロスオブジェクト２６は盛り上がり、皺２６ａができている。
である。本例では、背景物体である床４ｄ部分の領域に適用し、床４ｄに絨毯を敷き詰めたような加工をシミュレーションすることができる。この時、ＴＶオブジェクト２１で置換されるプロジェクタ８もクロスオブジェクト２６で覆われるが、プロジェクタ８の存在により、クロスオブジェクト２６は盛り上がり、皺２６ａができている。
【0045】
図４Ｂは、クロスオブジェクト２６の生成法を説明する図である。クロスオブジェクト２６で覆われるプロジェクタ８までの距離情報を用いて、プロジェクタ８に接する位置にポリゴン群２６ｂを配置し、プロジェクタ８を覆い隠す。床部分４ｄの平面領域及びポリゴン群２６ｂに、３Ｄコンピュータグラフィックスのレンダリング技法でテクスチャを貼り付け、クロスオブジェクト２６を生成する。
【0046】
［ＭＲ表示装置の処理フロー］
次に、ＭＲ表示装置（ＨＭＤ）１の行う各種の処理フローについて説明する。すなわちＣＰＵ６５は、プログラムフラッシュＲＯＭ６８に格納される以下のプログラムに従い、処理を実行する。
次に、ＭＲ表示装置（ＨＭＤ）１の行う各種の処理フローについて説明する。すなわちＣＰＵ６５は、プログラムフラッシュＲＯＭ６８に格納される以下のプログラムに従い、処理を実行する。
【0047】
図５は、全体制御処理８１のフローチャートである。すなわち、各ＨＭＤにおいてカメラ撮影からＡＲオブジェクトを表示するまでの全体の工程を示す。
【0048】
Ｓ１０１でＭＲ体験への参加のためにログインする。ログインサーバは、ＡＰ５に直接繋がっているパソコンであっても良いし、ＡＰ５からネットワークを介して繋がるネットワークサーバであっても良い。
Ｓ１０２でカメラ１０による現実空間の撮影を開始する。カメラ撮影は、ＭＲ表示全体を実行するタイミングで行っても良いし、例えば３０ｆｐｓ（frame per second）の動画撮影を継続していて、ＭＲ表示全体を実行するタイミングで撮影映像をキャプチャするようにしても良い。
Ｓ１０２でカメラ１０による現実空間の撮影を開始する。カメラ撮影は、ＭＲ表示全体を実行するタイミングで行っても良いし、例えば３０ｆｐｓ（frame per second）の動画撮影を継続していて、ＭＲ表示全体を実行するタイミングで撮影映像をキャプチャするようにしても良い。
【0049】
Ｓ１０３は基準点・移動履歴処理８２であり、ＨＭＤの位置、撮影方向及び高さを検知し、基準点・移動履歴データ９１に登録する。
Ｓ１０４は同期化・優先権処理８３である。該処理８３では、ＭＲ体験に参加している複数のＨＭＤ間で、撮影物体、背景物体、ＡＲオブジェクトの同期化と、各々の撮影物体、背景物体に設定される優先権の処理を行い、最新の状態に更新する。優先権とは、特定の物体に対する操作権限を、特定のＨＭＤ（体験者）に割り当てることであり、優先権が設定されている場合、他の体験者はその物体に対する編集等ができない。
Ｓ１０４は同期化・優先権処理８３である。該処理８３では、ＭＲ体験に参加している複数のＨＭＤ間で、撮影物体、背景物体、ＡＲオブジェクトの同期化と、各々の撮影物体、背景物体に設定される優先権の処理を行い、最新の状態に更新する。優先権とは、特定の物体に対する操作権限を、特定のＨＭＤ（体験者）に割り当てることであり、優先権が設定されている場合、他の体験者はその物体に対する編集等ができない。
【0050】
Ｓ１０５は、表示映像生成の処理８７である。ＨＭＤを装着したＭＲ体験者は、各々の撮影物体と背景物体、及び優先権を最新化した状態の表示映像を確認しながら、以下のＳ１０６の撮影物体処理８４、Ｓ１０７の背景映像処理８５、Ｓ１０８のＡＲオブジェクト処理８６を実行する。
【0051】
Ｓ１０６の撮影物体処理８４は、キャプチャしたカメラ撮影映像の特徴抽出を行い、特徴点を選び、特徴点の集合に対して、現実物体が何であるかを識別し、撮影物体として撮影物体データ９２に登録する。
Ｓ１０７の背景物体処理８５は、特徴点に付与される距離データで最遠点にある特徴点を含み、撮影物体を除く領域を背景物体として背景物体データ９３に登録する。
Ｓ１０７の背景物体処理８５は、特徴点に付与される距離データで最遠点にある特徴点を含み、撮影物体を除く領域を背景物体として背景物体データ９３に登録する。
【0052】
Ｓ１０８のＡＲオブジェクト処理８６は、撮影物体や背景物体に配置するＡＲオブジェクトを選択（追加）し、また配置するときのパラメータ（表示パラメータ）を編集する。この処理では、ＡＲオブジェクトのデータをネットワークからダウンロードし、体験者が選択する操作が含まれる。選択したＡＲオブジェクトのデータをＡＲオブジェクトデータ
９４に登録し、表示パラメータは紐付けデータとして、撮影物体データ９２と背景物体データ９３に登録する。
９４に登録し、表示パラメータは紐付けデータとして、撮影物体データ９２と背景物体データ９３に登録する。
【0053】
Ｓ１０９は表示映像生成処理８７であり、Ｓ１０８にて追加もしくは編集したＡＲオブジェクトの表示映像を生成し、各ＨＭＤにてＭＲ体験者が視認する。
Ｓ１１０で継続するかの判断を行い、継続する場合（Ｙｅｓ）ではＳ１０２に戻り、継続しない場合（Ｎｏ）には終了する。
Ｓ１１０で継続するかの判断を行い、継続する場合（Ｙｅｓ）ではＳ１０２に戻り、継続しない場合（Ｎｏ）には終了する。
【0054】
このように本実施例では、複数の体験者２が装着した複数のＨＭＤ１を相互に接続し、各ＨＭＤで取得した撮像物体や背景物体、及びこれに紐付けした仮想物体（ＡＲオブジェクト）のデータを同期化して共有することができる。その結果、同一の現実空間を複数の体験者で共有するとともに、それぞれの体験者が、個別に仮想物体を現実空間に配置あるいは置換する等の操作が可能となる。
【0055】
以下、各処理について詳細に説明する。
図６は、基準点・移動履歴処理８２のフローチャートである。この処理は、位置・方位センサ１２と移動検知処理部６３により実行される。
図６は、基準点・移動履歴処理８２のフローチャートである。この処理は、位置・方位センサ１２と移動検知処理部６３により実行される。
【0056】
Ｓ１１１では、ＭＲ体験者２はＨＭＤ１を装着し、カメラ撮影を開始する。
Ｓ１１２では、位置・方位センサ１２でＨＭＤ１の位置及びカメラ１０の撮影方向を検知し、体験者の位置、高さ及び視線方向を表すデータとして取得する。
Ｓ１１２では、位置・方位センサ１２でＨＭＤ１の位置及びカメラ１０の撮影方向を検知し、体験者の位置、高さ及び視線方向を表すデータとして取得する。
【0057】
Ｓ１１３では、データフラッシュＲＯＭ６９内の基準点・移動履歴データ９１に基準点データが既に登録されているか、即ちＭＲ体験の開始かどうかを確認する。
【0058】
登録されている時（Ｙｅｓ）には、Ｓ１１４で移動履歴データとして登録する。登録されていない時（Ｎｏ）には、Ｓ１１５で基準点テータとして登録する。移動履歴データは基準点データとの差分で表される。
以降、ユーザが現実空間を移動しながらカメラ撮影を行う毎に、現在の位置とカメラ撮影方向の対を移動履歴として、基準点・移動履歴データ９１に登録する。
以降、ユーザが現実空間を移動しながらカメラ撮影を行う毎に、現在の位置とカメラ撮影方向の対を移動履歴として、基準点・移動履歴データ９１に登録する。
【0059】
図７は、同期化・優先権処理８３のフローチャートである。
まず同期化処理とは、複数のＨＭＤ１の間で、各々が所持する撮影物体、背景物体、ＡＲオブジェクトのデータの共有と最新化を行う処理である。
まず同期化処理とは、複数のＨＭＤ１の間で、各々が所持する撮影物体、背景物体、ＡＲオブジェクトのデータの共有と最新化を行う処理である。
【0060】
Ｓ１２１では、各ＨＭＤは、通信部６４を介して他のＨＭＤとデータの送受信を行い、取得したデータをデータフラッシュＲＯＭ６９に保存する。
Ｓ１２２では、撮影物体データについて同期化を行う。
Ｓ１２３では、背景物体データについて同期化を行う。
Ｓ１２４では、ＡＲオブジェクトデータについて同期化を行う。
Ｓ１２２では、撮影物体データについて同期化を行う。
Ｓ１２３では、背景物体データについて同期化を行う。
Ｓ１２４では、ＡＲオブジェクトデータについて同期化を行う。
【0061】
次に優先権処理とは、撮影物体や背景物体に付与された優先権を読み込む処理である。優先権が設定された物体については、設定したＭＲ体験者以外は編集（ＡＲオブジェクトの紐付け）をすることができない。
Ｓ１２５では、撮影物体に対する優先権設定を読み込む。
Ｓ１２６では、背景物体に対する優先権設定を読み込む。
これらの優先権設定情報は、ＡＲオブジェクトの紐付け処理（Ｓ１０８）に際して参照される。
Ｓ１２５では、撮影物体に対する優先権設定を読み込む。
Ｓ１２６では、背景物体に対する優先権設定を読み込む。
これらの優先権設定情報は、ＡＲオブジェクトの紐付け処理（Ｓ１０８）に際して参照される。
【0062】
図８は、撮影物体処理８４のフローチャートである。この処理は特徴抽出処理部６１に
より実行される。
より実行される。
【0063】
Ｓ１３１では、カメラ１０から撮影映像を読み出す。
Ｓ１３２では、映像の特徴解析を行い、例えばエッジを抽出し、エッジの頂点や変曲点を特徴点として抽出する。
Ｓ１３２では、映像の特徴解析を行い、例えばエッジを抽出し、エッジの頂点や変曲点を特徴点として抽出する。
【0064】
Ｓ１３３では、測距センサ１１と距離算出処理部６２で取得した距離データを特徴点に付加する。
Ｓ１３４では、前回の特徴点との差分を評価する。
Ｓ１３４では、前回の特徴点との差分を評価する。
【0065】
Ｓ１３５では、差分が有意と評価された特徴点の集合から、物体の種別等を識別する。その際、通信部６４を介して外部サーバの映像データベースと照合することで、物体の識別を行うことができる。
Ｓ１３６では、識別した結果を撮影物体として撮影物体データ９２に登録する。
Ｓ１３６では、識別した結果を撮影物体として撮影物体データ９２に登録する。
【0066】
Ｓ１３７では、識別された撮影物体に人物が含まれている場合、表示映像生成処理８７に送信する。これは、カメラにより他のＭＲ体験者を撮影している可能性が高いからである。他のＭＲ体験者は、ＭＲ映像としては必要がないと判断するならば、この人物物体の識別情報を表示映像生成処理８７に送信し、表示映像から除外するように要求する。もしくは、Ｓ１３１でのカメラ撮影映像から、他のＭＲ体験者であると体験者自身が判断し、表示映像から除外しても良い。
【0067】
図９は、背景物体処理８５のフローチャートである。
Ｓ１４１では、特徴抽出処理部６１により抽出された特徴点のうち、最遠距離を有する特徴点を選択する。図１Ａの例では、正面壁４ａの隅などが相当する。そして、最遠距離を有する特徴点を含み撮影物体と認識されていない領域を選定し、領域Ａとする。
Ｓ１４１では、特徴抽出処理部６１により抽出された特徴点のうち、最遠距離を有する特徴点を選択する。図１Ａの例では、正面壁４ａの隅などが相当する。そして、最遠距離を有する特徴点を含み撮影物体と認識されていない領域を選定し、領域Ａとする。
【0068】
Ｓ１４２では、特徴抽出処理部６１により抽出された特徴点のうち、距離検出が不可能な（検出限界を超える）領域を選定し、領域Ｂとする。
Ｓ１４３では、上記で選定した領域Ａと領域Ｂを、現実空間の背景物体とする。
Ｓ１４３では、上記で選定した領域Ａと領域Ｂを、現実空間の背景物体とする。
【0069】
Ｓ１４４では、登録済みの背景物体データとの差分データを算出する。
Ｓ１４５では、他のＨＭＤから取得した背景物体データを同期化する。
Ｓ１４６では、上記の差分データと同期化された背景物体データを統合化する。
Ｓ１４５では、他のＨＭＤから取得した背景物体データを同期化する。
Ｓ１４６では、上記の差分データと同期化された背景物体データを統合化する。
【0070】
Ｓ１４７では、背景物体を必要に応じて幾つかの領域に分割する。
Ｓ１４８では、分割された領域にＡＲオブジェクトを配置する。例えば図４Ａ，図４Ｂのように、床４ｄに対してクロスオブジェクト２６を貼り付けることができる。
Ｓ１４９では、統合した背景データと分割した領域データを背景物体として背景物体データ９３に登録する。
Ｓ１４８では、分割された領域にＡＲオブジェクトを配置する。例えば図４Ａ，図４Ｂのように、床４ｄに対してクロスオブジェクト２６を貼り付けることができる。
Ｓ１４９では、統合した背景データと分割した領域データを背景物体として背景物体データ９３に登録する。
【0071】
図１０Ａと図１０Ｂは、ＡＲオブジェクト処理８６のフローチャートである。図１０Ａと図１０Ｂでは、処理手順の一部を入れ替えており、どちらのフローを用いても良い。この処理は、体験者が操作画面を見ながら対話形式で行う。
【0072】
図１０Ａの場合（ケース１）から説明する。
Ｓ１５１では、撮影物体もしくは背景物体（分割した領域でもよい）から、ＡＲオブジェクトを配置する物体を１つ選択する。
Ｓ１５１では、撮影物体もしくは背景物体（分割した領域でもよい）から、ＡＲオブジェクトを配置する物体を１つ選択する。
【0073】
Ｓ１５２では、選択した物体に他のＨＭＤから優先権が設定されているかを確認する。
そのために、前記同期化・優先権処理８３での優先権の読み込み（図７、Ｓ１２５，Ｓ１２６）の結果を参照する。優先権が設定されている場合（Ｙｅｓ）はＳ１５６に進み、設定されていない場合（Ｎｏ）には、Ｓ１５３に進む。
そのために、前記同期化・優先権処理８３での優先権の読み込み（図７、Ｓ１２５，Ｓ１２６）の結果を参照する。優先権が設定されている場合（Ｙｅｓ）はＳ１５６に進み、設定されていない場合（Ｎｏ）には、Ｓ１５３に進む。
【0074】
Ｓ１５３では、選択した物体に対し優先権の設定登録を行う。これにより、他のＨＭＤに優先して選択した物体に対する編集（ＡＲオブジェクトの紐付け）を行うことができる。背景物体の場合には、背景物体全体に紐付けされたＡＲオブジェクトに与えられる優先権と、背景物体を分割した領域ごとに与えられる優先権とがある。
【0075】
また、登録済みの優先権の解除を行うこともできる。優先権の解除は、他の体験者の解除要請（例えば、マイク１９での音声呼びかけ）を受けて、優先権を保有する体験者が設定変更を行う。もしくは、設定した体験者自身が解除しても良い。ＡＲオブジェクトの紐付けを解除（削除）した時に、自動的に優先権を失うようにしても良い。具体的な設定画面は図１２Ａに示す。
【0076】
Ｓ１５４では、選択した物体に紐付けするＡＲオブジェクトを選択する。ＡＲオブジェクトの選択候補は、ＨＭＤ１に予め準備しておいても良いし、通信部６４を介して外部のサーバに蓄えられているデータを参照しても良い。選択したＡＲオブジェクトをＡＲオブジェクトデータ９４に登録する。
【0077】
Ｓ１５５では、ＡＲオブジェクトを表示するときの表示パラメータを設定する。これにより、ＡＲオブジェクトの物体に対する表示位置、大きさ、方向を与える。すなわち、選択された物体のある特徴点の位置に対してオフセットを与えることにより、物体に対する位置決めができる。前記領域Ｂのように特徴点が明確でない背景物体では、領域の任意の点を選択して、選択した点を擬似特徴点として用いてもよい。設定した表示パラメータはＡＲオブジェクトの紐付けデータとして、撮影物体データ９２または背景物体データ９３に登録する。具体的なＡＲオブジェクトの編集画面は図１２Ｂに示す。
Ｓ１５６では、ＡＲオブジェクトを配置する撮影物体もしくは背景物体が残っているかどうかを判定し、残っている場合（Ｙｅｓ）はＳ１５１に戻り、残っていない場合（Ｎｏ）は終了する。
Ｓ１５６では、ＡＲオブジェクトを配置する撮影物体もしくは背景物体が残っているかどうかを判定し、残っている場合（Ｙｅｓ）はＳ１５１に戻り、残っていない場合（Ｎｏ）は終了する。
【0078】
次に、図１０Ｂの場合（ケース２）について説明する。この場合は、最初にＡＲオブジェクトを選定し、選定したＡＲオブジェクトに対して撮影物体もしくは背景物体を割り当てるという手順となる。
【0079】
Ｓ１６１では、使用するＡＲオブジェクトを全て選定する。そのため、ＨＭＤ１に内蔵するもの、または外部のサーバを参照する。選定したＡＲオブジェクトをＡＲオブジェクトデータ９４に登録する。
Ｓ１６２では、選定したＡＲオブジェクトの１つを選択する。
Ｓ１６３では、選択したＡＲオブジェクトを紐付けする撮影物体もしくは背景物体を選択する。
Ｓ１６２では、選定したＡＲオブジェクトの１つを選択する。
Ｓ１６３では、選択したＡＲオブジェクトを紐付けする撮影物体もしくは背景物体を選択する。
【0080】
Ｓ１６４では、選択した物体に他のＨＭＤから優先権が設定されているかを確認する。そのために、前記同期化・優先権処理８３での優先権の読み込み（図７、Ｓ１２５，Ｓ１２６）の結果を参照する。優先権が設定されている場合（Ｙｅｓ）はＳ１６７に進み、設定されていない場合（Ｎｏ）には、Ｓ１６５に進む。
【0081】
Ｓ１６５では、選択した物体に対し優先権の設定登録を行う。これにより、他のＨＭＤに優先して選択した物体に対する編集を行うことができる。
Ｓ１６６では、ＡＲオブジェクトを表示するときの表示パラメータ（表示上の位置、大
きさ、方向）を設定する。設定した表示パラメータはＡＲオブジェクトの紐付けデータとして、撮影物体データ９２または背景物体データ９３に登録する。
Ｓ１６６では、ＡＲオブジェクトを表示するときの表示パラメータ（表示上の位置、大
きさ、方向）を設定する。設定した表示パラメータはＡＲオブジェクトの紐付けデータとして、撮影物体データ９２または背景物体データ９３に登録する。
【0082】
Ｓ１６７では、Ｓ１６１で選定したＡＲオブジェクトが残っているかどうかを判定し、残っている場合（Ｙｅｓ）はＳ１６２に戻り、残っていない場合（Ｎｏ）は終了する。
【0083】
図１１は、表示映像生成処理８７のフローチャートである。ここでは、データフラッシュＲＯＭ６９に登録した各種データを読み出してＡＲオブジェクトの表示映像を生成し、３Ｄプロジェクタ１３にて投射、表示する。
【0084】
Ｓ１７１では、撮影物体データ９２と背景物体データ９３、及びＡＲオブジェクトデータ９４を参照して、表示しようとするＡＲオブジェクトを選択する。
Ｓ１７２では、ＨＭＤ１の方向（ユーザの視線）に合わせてＡＲオブジェクトを回転させる。また、紐付けする撮影物体（または背景物体）までの距離に応じて、ＡＲオブジェクトを拡大・縮小させる。
Ｓ１７２では、ＨＭＤ１の方向（ユーザの視線）に合わせてＡＲオブジェクトを回転させる。また、紐付けする撮影物体（または背景物体）までの距離に応じて、ＡＲオブジェクトを拡大・縮小させる。
【0085】
Ｓ１７３では、ＡＲオブジェクトと、これと視線方向に重なる現実物体（撮影物体）との距離関係（遠近）を評価する。現実物体までの距離は測距センサ１１により測定されている。
Ｓ１７４では、ＡＲオブジェクトが現実物体で隠れるかどうか、すなわち、ＡＲオブジェクトの手前に現実物体が存在するかどうかを判定する。隠れる場合（Ｙｅｓ）はＳ１７５へ進み、隠れない場合（Ｎｏ）はＳ１７６へ進む。
Ｓ１７５では、ＡＲオブジェクトの隠れる部分もしくは全部の映像を非表示とする（例えば映像データを０に書き換える）。
Ｓ１７４では、ＡＲオブジェクトが現実物体で隠れるかどうか、すなわち、ＡＲオブジェクトの手前に現実物体が存在するかどうかを判定する。隠れる場合（Ｙｅｓ）はＳ１７５へ進み、隠れない場合（Ｎｏ）はＳ１７６へ進む。
Ｓ１７５では、ＡＲオブジェクトの隠れる部分もしくは全部の映像を非表示とする（例えば映像データを０に書き換える）。
【0086】
Ｓ１７６では、３Ｄプロジェクタ１３にてＡＲオブジェクトの投射、表示を行う。
Ｓ１７７では、未処理のＡＲオブジェクトがある場合（Ｙｅｓ）には、Ｓ１７１に戻り次のＡＲオブジェクトについて処理する。未処理のＡＲオブジェクトがない場合（Ｎｏ）には、Ｓ１７８へ進む。
Ｓ１７７では、未処理のＡＲオブジェクトがある場合（Ｙｅｓ）には、Ｓ１７１に戻り次のＡＲオブジェクトについて処理する。未処理のＡＲオブジェクトがない場合（Ｎｏ）には、Ｓ１７８へ進む。
【0087】
Ｓ１７８では、撮影物体中の人物物体の情報を読み出す。人物物体の情報は、撮影物体処理８４（Ｓ１３７）において送信された情報であり、一時蓄えられている。
Ｓ１７９では、人物物体情報をもとに人物表示領域に一致する背景物体の領域から背景映像を切り出し、切り出した背景映像を人物の前面（ＨＭＤ寄りの位置）に表示することで人物を覆う（マスク処理）。これにより、他のＭＲ体験者が表示映像に現れることを防ぐ。
Ｓ１７９では、人物物体情報をもとに人物表示領域に一致する背景物体の領域から背景映像を切り出し、切り出した背景映像を人物の前面（ＨＭＤ寄りの位置）に表示することで人物を覆う（マスク処理）。これにより、他のＭＲ体験者が表示映像に現れることを防ぐ。
【0088】
【0089】
図１２Ａは、撮影物体に優先権を設定（Ｓ１５３、Ｓ１６５）する操作画面を示す。ここでは、現実物体のソファ７を撮影物体として認識し、該撮影物体に優先権を設定する。この設定操作では、まずカーソル３０をソファ７の上に置き、クリックする。この操作によりメニュー小画面３１がポップアップする。このメニュー小画面３１で提示されるリストの中から、「優先権の設定」をクリックする。クリックした項目は、黒地に白抜きの文字に変換される。この状態が図１２Ａであり、これに反応し優先権の設定画面３１ａが現れる。体験者は、カーソル３０で優先権の「設定」または「解除」を選択し、ソファ７に対して所望の設定を行う。
【0090】
図１２Ｂは、紐付けられたＡＲオブジェクトを編集（Ｓ１５５、Ｓ１６６）する操作画面を示す。ここでは、ソファ７に紐付けしたテーブルオブジェクト２２について、各種表示パラメータの設定変更を行う場合を示す。カーソル３０をテーブルオブジェクト２２の上に置き、クリックする。この操作によりメニュー小画面３２がポップアップされ、「ＡＲオブジェクト編集」をクリックすると編集画面３２ａが現れる。ここでは、「表示／非表示」の切り替え、「表示サイズ」の変更、「表示回転」の変更、「表示配置」の変更等の編集操作を行う。さらに、ＡＲオブジェクトの「削除」を選択すると、紐付けしたテーブルオブジェクト２２が除去される。この時、テーブルオブジェクト２２がソファ７に紐付けられている場合には、ソファ７に設定されている優先権も解除されるようにしても良い。
【0091】
【0092】
図１３Ａはヘッダデータを示す。テーブルの先頭にある「コンテンツＩＤ」は、後述する撮影物体、背景物体、ＡＲオブジェクトなどのテーブルと共通のＩＤである。「コンテンツ種類」はヘッダデータであることを示し、「コンテンツ名」はＭＲ体験に関するデータであることを示す。「付随コンテンツ(Accompanying Content)」にはＨＭＤ１で取り扱うデータの一覧が記載されている。この他、「コンテンツ所有者」や「著作権」等の情報が含まれる。
【0093】
図１３Ｂは、基準点・移動履歴データ９１を示す。共通の「コンテンツＩＤ」があり、「コンテンツ種類」で基準点・移動履歴データであることを示す。データとしては、「基準点（ＰＢａｓｅ）」と、「移動履歴（ＭＰ１，ＭＰ２）」について、時刻（Ｔ０，Ｔ１，Ｔ２）と位置・方向が記述されている。時刻はＭＲ処理のカメラ撮影時刻であり、協定世界時（ＵＴＣ＝Universal Time, Coordinated）で記述される。位置と方向は、基準点（ＰＢａｓｅ）を起点として、それぞれの時刻でのＭＲ表示装置１の位置（高さを含む）と撮影方向を差分データで示す。例えば、時刻Ｔ１での移動履歴（ＭＰ１）は、差分位置（ｒ１，θ１，φ１）＝（距離，水平角度，垂直角度）、差分方向（θθ１，φφ１）＝（水平角度，垂直角度）で表される。
また、本例では基準点の値として、位置＝（０，０，０）、方向＝（０，０）と与えているが、高さを除く位置ではＧＰＳデータの値、方向では方位角の値を与えてもよい。
また、本例では基準点の値として、位置＝（０，０，０）、方向＝（０，０）と与えているが、高さを除く位置ではＧＰＳデータの値、方向では方位角の値を与えてもよい。
【0094】
図１３Ｃは、撮影物体データ９２を示す。撮影物体データは撮影位置ごとに、基準位置（ＰＢａｓｅ）、移動位置（ＭＰ１，…）に区分して記述される。撮影物体データは同期化され、複数のＨＭＤのデータを集約した結果が記載されている。
【0095】
各撮影位置において認識された撮影物体は、「撮影物体１」、「撮影物体２」、…のように通し番号が与えられ、また識別された物体名である「窓」、「プロジェクタ」、「ソファ」等の名前が記載されている。各撮影物体には、抽出された「特徴点１」、「特徴点２」…と、「紐付けＡＲオブジェクト」のデータ、および優先権設定状態を示す優先権フラグが記載される。
【0096】
各特徴点のデータは、ＨＭＤ１の撮影位置に対する相対位置（距離と方向）を含む。「紐付けＡＲオブジェクト」のデータは、後述するＡＲオブジェクトデータ９４にリンクし、データＩＤで指定されたＡＲオブジェクト（タイトル）が紐付けされている。さらに「紐付け位置」は、ＡＲオブジェクトを配置する特徴点とオフセット距離を示し、「サイズ」と「回転」は、ＡＲオブジェクトを表示するときのパラメータである。
【0097】
本例では、撮影位置が基準位置（ＰＢａｓｅ）において、撮影物体１～３が記載され、撮影物体１（窓）には紐付けＡＲオブジェクト１が、撮影物体２（プロジェクタ）には紐付けＡＲオブジェクト２が、撮影物体３（ソファ）には紐付けＡＲオブジェクト３が紐付けされている。
【0098】
さらに撮影位置が移動位置（ＭＰ１，…）においても、同様に記載される。ただし、撮影物体１、２の各特徴点に対する位置や方向の数値は、撮影位置が基準位置（ＰＢａｓｅ）と移動位置（ＭＰ１）では、やや異なっている。これは、撮影物体１、２が現実空間の中で移動しない場合でも、ＨＭＤ１の移動によって異なる値となるからである。また、移動位置において新たな撮影物体が認識されると、テーブルに追記される。
【0099】
さらに各撮影物体には、優先権設定状態を示す優先権フラグが与えられている。優先権フラグは複数ディジットで構成され、先頭のディジットでは、当該物体の撮影者（データ提供者）により優先権が設定されている場合に「１」となる。残りのディジットは、優先権を保有しているＭＲ体験者を表し、ディジットの値とＭＲ体験者の関係は、ログイン時に与えられる。優先権の設定は、あるＭＲ体験者が撮影物体にＡＲオブジェクトを紐付けるとき、紐付けたＡＲオブジェクトを他のＭＲ体験者に変更してもらいたくない時に設定する。
【0100】
図１３Ｄは、背景物体データ９３を示す。背景物体データは、撮影位置ごとに区分され、基準位置（ＰＢａｓｅ）、移動位置（ＭＰ１、…）に分けて記述される。背景物体データも同期化され、複数のＨＭＤの背景物体データを集約した結果である。
【0101】
背景物体データは、特徴点があれば、「特徴点１」、「特徴点２」、…が記載され、これらの特徴点は、体験者が指示する擬似特徴点を含む場合がある。引き続き撮影物体の場合と同様に「紐付けＡＲオブジェクト」が記載され、これには、紐付けされるＡＲオブジェクトのデータＩＤと優先権フラグが含まれる。また背景物体データは、その位置、形状を把握できるように、基準点を中心とする仮想の３６０°カメラの映像の座標に対応したビットマップデータを有する。
【0102】
さらに背景物体を領域分割した場合には、分割領域データを有する。分割領域データには、特徴点などの領域分割情報と優先権情報、さらには分割領域を覆うクロスオブジェクトの３Ｄ画像データを有する。
【0103】
図１３Ｅは、ＡＲオブジェクトデータ９４を示す。ＡＲオブジェクトデータは、例えばネットワーク上のサーバからダウンロードしたデータであり、ＡＲオブジェクト毎に通し番号が振られている。個々のＡＲオブジェクトデータには識別用のデータＩＤが付与され、これを介して前述した撮影物体データや背景物体データに紐付けられている。項目としてタイトルと著作権の記述があり、３Ｄ画像データが格納されている。この３Ｄ画像データを用いて表示映像が生成される。
【0104】
以上説明したように、実施例１によれば、複数の体験者が装着した複数のＭＲ表示装置を相互に接続し、各装置で取得した撮像物体や背景物体、及びこれに紐付けした仮想物体（ＡＲオブジェクト）のデータを送受信して共有することができる。その結果、同一の現実空間を複数の体験者で共有するとともに、それぞれの体験者が、個別に仮想物体を現実空間に配置あるいは置換する等の操作が可能となる。
【0105】
また、撮像物体や背景物体への仮想物体の紐付け処理では、特定の物体に対する操作権限を特定のＨＭＤ（体験者）に割り当てる優先権を設定したので、例えば複数の作業者による同一空間での共同作業を、空間を分担して円滑に効率良く実行することができる。
【実施例2】
【0106】
実施例２では、ＡＲオブジェクトを複数の部品で構成するとともに、部品ごとに優先権を設定する場合について述べる。
【0107】
［ＭＲ空間］
図１４は、実施例２に係るＭＲ空間の例を示す図である。実施例１の図４Ａに示したＭＲ空間と同じ要素については、同一の符号を付し重複する説明は省略する。図４ＡのＭＲ空間と異なる点は、プロジェクタ８が取り除かれ、クロスオブジェクト２６はなく、ＡＲオブジェクトであるＴＶオブジェクト２１が３つの部品２１ａ、２１ｂ、２１ｃで構成されていることにある。ここに、２１ａは平面パネル、２１ｂは支柱、２１ｃは台座である。３つの部品は、個別にその色や形態を選ぶことができ、また、部品ごとに異なるＭＲ体験者が色や形態を設定することができる。
図１４は、実施例２に係るＭＲ空間の例を示す図である。実施例１の図４Ａに示したＭＲ空間と同じ要素については、同一の符号を付し重複する説明は省略する。図４ＡのＭＲ空間と異なる点は、プロジェクタ８が取り除かれ、クロスオブジェクト２６はなく、ＡＲオブジェクトであるＴＶオブジェクト２１が３つの部品２１ａ、２１ｂ、２１ｃで構成されていることにある。ここに、２１ａは平面パネル、２１ｂは支柱、２１ｃは台座である。３つの部品は、個別にその色や形態を選ぶことができ、また、部品ごとに異なるＭＲ体験者が色や形態を設定することができる。
【0108】
図１５は、実施例２におけるＡＲオブジェクト処理８６（追加分）のフローチャートを示す。ここでは、実施例１の図１０Ａまたは図１０Ｂのフローにより既にＡＲオブジェクトが紐付けされているものとする。そして、紐付けされたＡＲオブジェクトが複数の部品からなり、一部の部品の編集（変更）を行う場合の処理である。
【0109】
Ｓ２０１では、１つのＡＲオブジェクトを選択する。
Ｓ２０２では、選択したＡＲオブジェクトを紐付けしている撮影物体もしくは背景物体に、他のＨＭＤから優先権が設定されているかを確認する。優先権が設定されている場合（Ｙｅｓ）は、ＡＲオブジェクト全体に優先権が及ぶ場合であり、Ｓ２０６に進む。優先権が設定されていない場合（Ｎｏ）には、Ｓ２０３へ進む。
Ｓ２０２では、選択したＡＲオブジェクトを紐付けしている撮影物体もしくは背景物体に、他のＨＭＤから優先権が設定されているかを確認する。優先権が設定されている場合（Ｙｅｓ）は、ＡＲオブジェクト全体に優先権が及ぶ場合であり、Ｓ２０６に進む。優先権が設定されていない場合（Ｎｏ）には、Ｓ２０３へ進む。
【0110】
Ｓ２０３では、ＡＲオブジェクトにおいて変更する部品を選択する。
Ｓ２０４では、選択したＡＲオブジェクトの部品に他のＨＭＤから優先権が設定されているかを確認する。優先権が設定されている場合（Ｙｅｓ）は、Ｓ２０６に進む。優先権が設定されていない場合（Ｎｏ）は、Ｓ２０５に進む。
Ｓ２０４では、選択したＡＲオブジェクトの部品に他のＨＭＤから優先権が設定されているかを確認する。優先権が設定されている場合（Ｙｅｓ）は、Ｓ２０６に進む。優先権が設定されていない場合（Ｎｏ）は、Ｓ２０５に進む。
【0111】
Ｓ２０５では、ＡＲオブジェクトの部品の編集（変更）を行い、優先権の設定とデータテーブルへの登録を行う。
Ｓ２０６では、さらに部品を変更しようとするＡＲオブジェクトがあるかどうかを判定し、ある場合（Ｙｅｓ）はＳ２０１に戻り、ない場合（Ｎｏ）は終了する。
Ｓ２０６では、さらに部品を変更しようとするＡＲオブジェクトがあるかどうかを判定し、ある場合（Ｙｅｓ）はＳ２０１に戻り、ない場合（Ｎｏ）は終了する。
【0112】
【0113】
実施例１からの変更箇所について説明すれば、図１６Ａにおいて撮影物体２のプロジェクタに紐付けされているＡＲオブジェクト２は、複数の部品１～３で構成されている。それぞれの部品はデータＩＤの細分類が記述されるとともに、各部品には異なるＭＲ体験者による編集権限を示す優先権フラグが付与されている。
【0114】
図１６ＢのＡＲオブジェクトデータにおいては、対応するＡＲオブジェクト２の欄では、部品１～３に対応するパネル、支柱、台座の３つの部品の３Ｄ画像データが格納されている。
【0115】
以上説明したように、実施例２によれば、実施例１と同様の効果を持つとともに、ＡＲオブジェクトを複数の部品で構成し各部品には異なる優先権を設定することができる。そ
の結果、１つのＡＲオブジェクトを複数のＭＲ体験者により編集し、多様な組合せのＭＲ空間を表現することが可能になる。
の結果、１つのＡＲオブジェクトを複数のＭＲ体験者により編集し、多様な組合せのＭＲ空間を表現することが可能になる。
【実施例3】
【0116】
実施例３では、複数のＭＲ表示装置（ＨＭＤ）をネットワークに接続するとともに、各ＨＭＤで行うＭＲ処理をネットワークに接続されたサーバで行う構成（以下、ＭＲネットワークシステム）について説明する。
【0117】
［ＭＲネットワークシステム］
図１７は、実施例３に係るＭＲネットワークシステムの構成を示す図である。複数のＭＲ表示装置（ＨＭＤ）１ａ，１ｂ，１ｃはそれぞれＭＲ体験者２ａ，２ｂ，２ｃに装着され、各ＨＭＤ１ａ，１ｂ，１ｃは、無線ＬＡＮなどのアクセスポイント（ＡＰ）５およびゲートウェイ５０を介してネットワーク５１につながり、体験者間でのデータの受け渡しを行うことができる。
図１７は、実施例３に係るＭＲネットワークシステムの構成を示す図である。複数のＭＲ表示装置（ＨＭＤ）１ａ，１ｂ，１ｃはそれぞれＭＲ体験者２ａ，２ｂ，２ｃに装着され、各ＨＭＤ１ａ，１ｂ，１ｃは、無線ＬＡＮなどのアクセスポイント（ＡＰ）５およびゲートウェイ５０を介してネットワーク５１につながり、体験者間でのデータの受け渡しを行うことができる。
【0118】
また、ネットワーク５１には、アプリケーションサーバ５２とデータストレージサーバ５３が接続されている。アプリケーションサーバ５２は、複数の体験者の撮影映像を合成したり、ＡＲオブジェクトを配置したりするＭＲ処理のアプリケーションを備えている。データストレージサーバ５３は、ＡＲオブジェクトや撮影物体のデータ、合成した室内の映像データ、ＡＲオブジェクトを配置した時の位置情報等を保存し、各体験者がそれを読み出すことができる。
【0119】
そのため、各ＨＭＤ１ａ，１ｂ，１ｃの内部構成は、実施例１の図３に示した機能ブロックにおいて、プログラムフラッシュＲＯＭ６８に格納された処理プログラム８１～８７や、データフラッシュＲＯＭ６９に格納されたデータテーブル９１～９４を省略もしくは簡略化することができる。
【0120】
［ＭＲネットワークシステムのシーケンス］
図１８Ａと図１８Ｂは、ＭＲネットワークシステムのシーケンス図であり、各ＨＭＤ１ａ，１ｂ，１ｃ（各ＭＲ体験者２ａ，２ｂ，２ｃ）とアプリケーションサーバ５２との間のデータの送受信を示している。
図１８Ａと図１８Ｂは、ＭＲネットワークシステムのシーケンス図であり、各ＨＭＤ１ａ，１ｂ，１ｃ（各ＭＲ体験者２ａ，２ｂ，２ｃ）とアプリケーションサーバ５２との間のデータの送受信を示している。
【0121】
図１８Ａは全体のシーケンスを示す図である。実施例１の図５と同等の処理には同じ符号を付しており、Ｓ１０１のログイン処理からＳ１０９の表示映像生成処理までで構成される。なお、本シーケンスにおいても、リクエストとレスポンスの一対の基本的な通信シーケンスが用いられるが、記載の煩雑さを避けるためにここでは省略している。以下、処理順に概要を説明する。
【0122】
Ｓ１０１：ＭＲ体験者２ａ～２ｃは、アプリケーションサーバ５２にログインしてＭＲ体験に参加する。
Ｓ１０２：ＭＲ体験者２ａ～２ｃは現実空間の一部をカメラ撮影し、撮影映像データをアプリケーションサーバ５２に送信する。
Ｓ１０３：さらにＭＲ体験者２ａ～２ｃは基準点・移動履歴データとして、位置と方向のデータをアプリケーションサーバ５２に送信する。
Ｓ１０２：ＭＲ体験者２ａ～２ｃは現実空間の一部をカメラ撮影し、撮影映像データをアプリケーションサーバ５２に送信する。
Ｓ１０３：さらにＭＲ体験者２ａ～２ｃは基準点・移動履歴データとして、位置と方向のデータをアプリケーションサーバ５２に送信する。
【0123】
Ｓ１０４：アプリケーションサーバ５２は、ＭＲ体験者全てのデータを集約し、映像を合成して、同期化する。
Ｓ１０５：アプリケーションサーバ５２は、ＭＲ体験者のそれぞれの表示映像を生成し、送信する（Ｓ１０５）。
Ｓ１０５：アプリケーションサーバ５２は、ＭＲ体験者のそれぞれの表示映像を生成し、送信する（Ｓ１０５）。
【0124】
Ｓ１０６：アプリケーションサーバ５２は、撮影物体の処理を行う。
Ｓ１０７：アプリケーションサーバ５２は、背景物体の処理を行う。その際、ＭＲ体験者から領域分割とクロスオブジェクトの指示を受け付ける。
Ｓ１０７：アプリケーションサーバ５２は、背景物体の処理を行う。その際、ＭＲ体験者から領域分割とクロスオブジェクトの指示を受け付ける。
【0125】
Ｓ１０８：アプリケーションサーバ５２は、ＡＲオブジェクトの処理を行う。その際、ＭＲ体験者が選択する撮影物体や背景物体の指定、及び紐付けのために選択するＡＲオブジェクトのデータを受け付ける。
Ｓ１０９：アプリケーションサーバ５２は、これらの実行結果を反映して表示映像を生成し、ＭＲ体験者に送る。また、アプリケーションの実行に際し発生するデータをデータストレージサーバ５３に格納する。
Ｓ１０９：アプリケーションサーバ５２は、これらの実行結果を反映して表示映像を生成し、ＭＲ体験者に送る。また、アプリケーションの実行に際し発生するデータをデータストレージサーバ５３に格納する。
【0126】
以上のシーケンスにおいて、Ｓ１０１のログインを除く一連のシーケンスを基本シーケンスとして繰り返すことで、ＭＲ体験者２ａ～２ｃは、アプリケーションサーバ５２を介してＭＲ体験を実現する。
【0127】
図１８Ｂは、図１８Ａのシーケンスの詳細を示す図である。ここでは記載の煩雑さを避けるために、基本シーケンスの処理の中で、同期化・優先権処理（Ｓ１０４）とＡＲオブジェクト処理（Ｓ１０８）の繰り返しのみを示している。その他の表示映像生成処理（Ｓ１０５）、撮影物体処理（Ｓ１０６）、背景物体処理（Ｓ１０７）は省略しているが、適宜実行され、またデータストレージサーバ５３へのデータおよび表示映像等の保存も適宜実行される。以下、ＨＭＤ１ａ～１ｃ（ＭＲ体験者２ａ～２ｃ）とアプリケーションサーバ５２との通信内容を順に説明する。
【0128】
Ｔ１１：ＨＭＤ１ａ～１ｃから、それぞれの撮影映像及びＨＭＤの位置、撮影方向をアプリケーションサーバ５２に送信する。送信タイミングは、アプリケーションサーバ５２からの送信要求に従っても良いし、連続して送られてくる撮影映像から、アプリケーションサーバ５２が都合の良いタイミングでキャプチャするようにしても良い。
Ｔ１２：アプリケーションサーバ５２は同期化・優先権処理Ｓ１０４ａを行い、例えばＨＭＤの移動に対応して表示位置を更新したＡＲオブジェクト等の表示映像を、ＨＭＤ１ａ～１ｃそれぞれに送信する。
Ｔ１２：アプリケーションサーバ５２は同期化・優先権処理Ｓ１０４ａを行い、例えばＨＭＤの移動に対応して表示位置を更新したＡＲオブジェクト等の表示映像を、ＨＭＤ１ａ～１ｃそれぞれに送信する。
【0129】
Ｔ１３：この時、撮影物体Ａの優先権を持つＨＭＤ１ａ（ＭＲ体験者２ａ）が、撮影物体ＡにＡＲオブジェクトαを紐付けしたいとき、撮影物体Ａの選択情報と紐付けするＡＲオブジェクトαの選択情報をアプリケーションサーバ５２に送信する。
Ｔ１４：アプリケーションサーバ５２はＡＲオブジェクト処理Ｓ１０８ａを実行し、該ＡＲオブジェクトαの設定情報に基づくＡＲオブジェクトαの表示映像を、ＨＭＤ１ａ及び他のＨＭＤ１ｂ，１ｃに送信する。
Ｔ１４：アプリケーションサーバ５２はＡＲオブジェクト処理Ｓ１０８ａを実行し、該ＡＲオブジェクトαの設定情報に基づくＡＲオブジェクトαの表示映像を、ＨＭＤ１ａ及び他のＨＭＤ１ｂ，１ｃに送信する。
【0130】
Ｔ１５：ＨＭＤ１ａ～１ｃから、新たな撮影映像及びＨＭＤの位置、撮影方向をアプリケーションサーバ５２に送信する。
Ｔ１６：アプリケーションサーバ５２は同期化・優先権処理Ｓ１０４ｂを行い、ＡＲオブジェクトαの配置を含めた表示映像をＨＭＤ１ａ～１ｃそれぞれに送信する。
Ｔ１６：アプリケーションサーバ５２は同期化・優先権処理Ｓ１０４ｂを行い、ＡＲオブジェクトαの配置を含めた表示映像をＨＭＤ１ａ～１ｃそれぞれに送信する。
【0131】
Ｔ１７：その後、撮影物体Ａの優先権を持たないＨＭＤ１ｂ（ＭＲ体験者２ｂ）が、撮影物体Ａに異なるＡＲオブジェクトβを紐付けしたいとき、撮影物体Ａに付与されている優先権の解除要求を、ＨＭＤ１ａ、１ｃ及びアプリケーションサーバ５２に送信する。優先権を保有するＨＭＤ１ａ（ＭＲ体験者２ａ）が、ＨＭＤ１ｂからの優先権の解除要求を受け入れると、優先権は解除され、ＨＭＤ１ｂに優先権が付与される。
【0132】
Ｔ１８：ＨＭＤ１ｂは、撮影物体Ａに紐付けするＡＲオブジェクトβの選択情報をアプ
リケーションサーバ５２に送信する。
Ｔ１９：アプリケーションサーバ５２はＡＲオブジェクト処理Ｓ１０８ｂを実行し、ＡＲオブジェクトβの設定情報に基づくＡＲオブジェクトの表示映像を、ＨＭＤ１ａ～１ｃに送信する。
リケーションサーバ５２に送信する。
Ｔ１９：アプリケーションサーバ５２はＡＲオブジェクト処理Ｓ１０８ｂを実行し、ＡＲオブジェクトβの設定情報に基づくＡＲオブジェクトの表示映像を、ＨＭＤ１ａ～１ｃに送信する。
【0133】
Ｔ２０：ＨＭＤ１ａ～１ｃから、新たな撮影映像及びＨＭＤの位置、撮影方向をアプリケーションサーバ５２に送信する。
Ｔ２１：アプリケーションサーバ５２は同期化・優先権処理Ｓ１０４ｃを行い、ＡＲオブジェクトβの配置を含めた表示映像をＨＭＤ１ａ～１ｃそれぞれに送信する。
Ｔ２１：アプリケーションサーバ５２は同期化・優先権処理Ｓ１０４ｃを行い、ＡＲオブジェクトβの配置を含めた表示映像をＨＭＤ１ａ～１ｃそれぞれに送信する。
【0134】
Ｔ２２：この時ＨＭＤ１ｃ（ＭＲ体験者２ｃ）が、異なる撮影物体Ｃを選択して、ＡＲオブジェクトγを選択する要求を送信し、これが許可されたとする。ＨＭＤ１ｃは付与するＡＲオブジェクトγの選択情報を送信する。
Ｔ２３：アプリケーションサーバ５２はＡＲオブジェクト処理Ｓ１０８ｃを実行し、ＡＲオブジェクトγの設定情報に基づくＡＲオブジェクトの表示映像を、ＨＭＤ１ａ～１ｃに送信する。
Ｔ２３：アプリケーションサーバ５２はＡＲオブジェクト処理Ｓ１０８ｃを実行し、ＡＲオブジェクトγの設定情報に基づくＡＲオブジェクトの表示映像を、ＨＭＤ１ａ～１ｃに送信する。
【0135】
この結果、ＨＭＤ１ａ～１ｃ（ＭＲ体験者２ａ～２ｃ）が同じ現実空間に存在する撮影物体を共有し、現実空間に仮想物体であるＡＲオブジェクトを付与し、該付与されたＡＲオブジェクトの映像を、それぞれの位置に応じて生成された表示映像として視認可能となる。
【0136】
以上説明したように、実施例３のＭＲネットワークシステムによれば、実施例１と同様の効果を持つとともに、ネットワーク上にあるアプリケーションサーバ、データサーバなどのリソースを活用できるという特徴がある。これにより、ＭＲ表示装置の負荷を削減して、ＭＲ表示装置の小型化、低廉化に寄与するとともに、ＭＲ体験者の人数が多くなった場合にも対応が容易となるという効果がある。
【実施例4】
【0137】
実施例４では、３Ｄカメラを搭載して撮影と距離測定を行うＭＲ表示装置について説明する。
【0138】
［ＭＲ表示装置］
図１９は、実施例４に係るＭＲ表示装置１’の外観構成を示す図である。実施例１（図２）に示したＭＲ表示装置１と同等の機能を有する構成要素については、同一の符号を付しており、重複する説明は省く。
ＭＲ表示装置１’は、３Ｄ（３次元）カメラ４０ａ，４０ｂと、平面ディスプレイ４１を備えている。３Ｄカメラ４０ａ，４０ｂは、実施例１におけるカメラ１０と測距センサ１１の置き換えで、カメラ撮影映像を得るだけでなく、４０ａで得る左目視線の映像と４０ｂで得る右目視線の映像の差により、カメラ映像内の現実物体の距離の測定も可能である。
図１９は、実施例４に係るＭＲ表示装置１’の外観構成を示す図である。実施例１（図２）に示したＭＲ表示装置１と同等の機能を有する構成要素については、同一の符号を付しており、重複する説明は省く。
ＭＲ表示装置１’は、３Ｄ（３次元）カメラ４０ａ，４０ｂと、平面ディスプレイ４１を備えている。３Ｄカメラ４０ａ，４０ｂは、実施例１におけるカメラ１０と測距センサ１１の置き換えで、カメラ撮影映像を得るだけでなく、４０ａで得る左目視線の映像と４０ｂで得る右目視線の映像の差により、カメラ映像内の現実物体の距離の測定も可能である。
【0139】
平面ディスプレイ４１は、実施例１における３Ｄプロジェクタ１３と透過型スクリーン１４の置き換えで、３Ｄカメラ４０ａ，４０ｂの撮影映像とＡＲオブジェクトの映像とをコントローラ１６で合成して表示する。この時、左目視線の映像と右目視線の映像を交互に表示し、シャッタ付きメガネ１５と同期させて３Ｄ映像の表示を行う。なお、平面ディスプレイ４１には、スマートフォン等の汎用デバイスを用いてもよい。この時、スマートフォンに内蔵する制御装置でコントローラ１６の機能を実行することができる。
【0140】
図２０は、ＭＲ表示装置１’の機能構成を示すブロック図である。実施例１（図３）に
示したブロックと同等の機能を有するものについては、同一の番号を付しており、重複する説明は省く。実施例１と異なるブロックは、３Ｄカメラ４０ａ、４０ｂ、平面ディスプレイ４１、映像合成処理部４２、およびコントローラ１６内の特徴抽出処理部６１’、距離算出処理部６２’である。
示したブロックと同等の機能を有するものについては、同一の番号を付しており、重複する説明は省く。実施例１と異なるブロックは、３Ｄカメラ４０ａ、４０ｂ、平面ディスプレイ４１、映像合成処理部４２、およびコントローラ１６内の特徴抽出処理部６１’、距離算出処理部６２’である。
【0141】
特徴抽出処理部６１’は、３Ｄカメラ４０ａ，４０ｂの映像から特徴点を抽出し、その特徴点から、カメラ撮影映像に写っている現実物体を識別する。距離算出部６２’は、３Ｄカメラ４０ａ，４０ｂで得る左目／右目視線の映像の差により、カメラ映像内の現実物体の距離を測定する。合成処理部４２は、３Ｄカメラ４０ａ，４０ｂの撮影映像とＡＲオブジェクトの映像とを合成し、平面ディスプレイ４１は合成された映像を表示する。
【0142】
実施例４によれば、実施例１と同様の効果を有するとともに、平面ディスプレイを含めてスマートフォンのような汎用デバイスの活用が図れるという特徴がある。
【0143】
以上、本発明の各実施例を説明したが、本発明はこれらに限られるものではなく、ある実施例の構成の一部を他の実施例の構成に置き換えたり、他の実施例の構成を加えたりすることも可能である。
【符号の説明】
【0144】
１（１ａ～１ｃ），１’：複合現実表示装置（ＭＲ表示装置、ＨＭＤ）、２ａ～２ｃ：ＭＲ体験者、３ａ～３ｃ：カメラ撮影画角、４：現実物体（背景物体）、５：アクセスポイント（ＡＰ）、６～８：現実物体（撮影物体）、１０：カメラ、１１：測距センサ、１２：位置・方位センサ、１３：３Ｄプロジェクタ、１４：透過型スクリーン、１５：シャッタ付きメガネ、１６：コントローラ、１７ａ，１７ｂ：スピーカ、１８ａ，１８ｂ：ホルダ、１９：マイク、２１～２６：ＡＲオブジェクト（仮想物体）、４０ａ，４０ｂ：３Ｄカメラ、４１：平面ディスプレイ、５０：ゲートウェイ、５１：ネットワーク、５２：アプリケーションサーバ、５３：データストレージサーバ、６０：ユーザ操作入力部、６１，６１’：特徴検出処理部、６２，６２’：距離算出処理部、６３：移動検出処理部、６４：通信部、６５：ＣＰＵ、６６：ＲＡＭ、６７：画像ＲＡＭ、６８：プログラムフラッシュＲＯＭ、６９：データフラッシュＲＯＭ、８１：全体制御処理、８２：基準点・移動履歴処理、８３：同期化・優先権処理、８４：撮影物体処理、８５：背景物体処理、８６：ＡＲオブジェクト処理、８７：表示映像生成処理。
【図1A】
【図1B】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12A】
【図12B】
【図13A】
【図13B】
【図13C】
【図13D】
【図13E】
【図14】
【図15】
【図16A】
【図16B】
【図17】
【図18A】
【図18B】
【図19】
【図20】