特許 7561871 拡張現実処理システム、情報表示装置、及び拡張現実処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-26

(45)【発行日】2024-10-04

(54)【発明の名称】拡張現実処理システム、情報表示装置、及び拡張現実処理方法

(51)【国際特許分類】

   G06F 3/0484 20220101AFI20240927BHJP

   G06F 3/0481 20220101ALI20240927BHJP

   G06F 3/01 20060101ALI20240927BHJP

   G06T 19/00 20110101ALI20240927BHJP

【ＦＩ】

G06F3/0484

G06F3/0481

G06F3/01 510

G06T19/00 600

【請求項の数】 8

(21)【出願番号】P 2022564997

(86)(22)【出願日】2020-11-30

(86)【国際出願番号】 JP2020044503

(87)【国際公開番号】W WO2022113342

(87)【国際公開日】2022-06-02

【審査請求日】2023-04-28

(73)【特許権者】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】弁理士法人武和国際特許事務所

(72)【発明者】

【氏名】吉澤 和彦

(72)【発明者】

【氏名】橋本 康宣

【審査官】木内 康裕

(56)【参考文献】

【文献】特開２０１７－０３３５７５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００６８３２３（ＵＳ，Ａ１）

【文献】国際公開第２０１８／０２５５１１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

拡張現実オブジェクトを表示する情報表示装置と、前記拡張現実オブジェクトの編集操作を受け付ける情報処理装置と、を含む拡張現実処理システムであって、
前記情報表示装置は、第１ディスプレイ、前記情報処理装置と情報を送受信する第１通信器、及び第１プロセッサを備え、
前記情報処理装置は、第２ディスプレイ、前記情報表示装置と情報を送受信する第２通信器、及び第２プロセッサを備え、
前記第１プロセッサは、
実空間を基準とした世界座標系に基づく仮想空間内に配置されている拡張現実オブジェクトに関する情報を、前記第１通信器を介して前記情報処理装置に送信し、
前記第２プロセッサは、
前記拡張現実オブジェクトに関する情報に基づく仮拡張現実オブジェクトを、前記情報表示装置の前記実空間における位置情報と前記拡張現実オブジェクトの前記世界座標系に基づく仮想空間内における位置情報とから算出された第１算出位置情報に基づいて、前記情報処理装置を基準とした端末座標系に基づく作業空間内に配置し、
前記第２ディスプレイに、前記仮拡張現実オブジェクトを表示し、
前記表示された前記仮拡張現実オブジェクトに対する編集操作を受け付け、
前記仮拡張現実オブジェクトに対する編集操作に関する情報を、前記第２通信器を介して前記情報表示装置に送信し、
前記第１プロセッサは、
前記仮拡張現実オブジェクトに対する編集操作に関する情報に基づいて、前記世界座標系に基づく仮想空間内に配置されている前記拡張現実オブジェクトに前記編集操作の内容を反映する、
ことを特徴とする拡張現実処理システム。

【請求項2】

請求項１に記載の拡張現実処理システムにおいて、
前記第１プロセッサは、
前記拡張現実オブジェクトを識別可能な識別情報に基づいて、前記世界座標系に基づく仮想空間内に配置されている拡張現実オブジェクトに前記編集操作の内容を反映する、
ことを特徴とする拡張現実処理システム。

【請求項3】

拡張現実オブジェクトを表示する情報表示装置と、前記拡張現実オブジェクトの編集操作を受け付ける情報処理装置と、を含む拡張現実処理システムであって、
前記情報表示装置は、第１ディスプレイ、前記情報処理装置と情報を送受信する第１通信器、及び第１プロセッサを備え、
前記情報処理装置は、第２ディスプレイ、前記情報表示装置と情報を送受信する第２通信器、及び第２プロセッサを備え、
前記第１プロセッサは、
空間を基準とした世界座標系に基づく仮想空間内に配置されている拡張現実オブジェクトに関する情報を、前記第１通信器を介して前記情報処理装置に送信し、
前記第２プロセッサは、
前記第２通信器を介して受信した前記拡張現実オブジェクトに関する情報に基づく仮拡張現実オブジェクトを、前記情報表示装置の実空間における位置情報と前記拡張現実オブジェクトの前記世界座標系に基づく仮想空間内における位置情報とから算出された第１算出位置情報に基づいて、前記情報処理装置を基準とした端末座標系に基づく作業空間内に配置し、
前記第２ディスプレイに、前記仮拡張現実オブジェクトを表示し、
前記表示された前記仮拡張現実オブジェクトに仮追加拡張現実オブジェクトを追加する編集操作を受け付け、
前記作業空間内における前記仮拡張現実オブジェクトと前記仮追加拡張現実オブジェクトとの位置関係を示す情報、及び前記仮追加拡張現実オブジェクトに関する情報を、前記第２通信器を介して前記情報表示装置に送信し、
前記第１プロセッサは、
前記作業空間内における前記仮拡張現実オブジェクトと前記仮追加拡張現実オブジェクトとの位置関係を示す情報と、前記拡張現実オブジェクトの前記世界座標系に基づく仮想空間における位置情報と、に基づいて、前記仮追加拡張現実オブジェクトに関する情報に基づく追加拡張現実オブジェクトを前記世界座標系に基づく仮想空間内に配置し、
前記第１ディスプレイに前記追加拡張現実オブジェクトを表示する、
ことを特徴とする拡張現実処理システム。

【請求項4】

拡張現実オブジェクトを表示する情報表示装置と、前記拡張現実オブジェクトの編集操作を受け付ける情報処理装置と、を含む拡張現実処理システムであって、
前記情報表示装置は、第１ディスプレイ、前記情報処理装置と情報を送受信する第１通信器、前記情報表示装置から実空間に存在する現実オブジェクトまでの距離を測定する測距センサ、及び第１プロセッサを備え、
前記情報処理装置は、第２ディスプレイ、前記情報表示装置と情報を送受信する第２通信器、及び第２プロセッサを備え、
前記第１プロセッサは、
前記測距センサが測定した前記現実オブジェクトまでの距離及び前記情報表示装置の前記実空間における位置情報に基づいて、前記現実オブジェクトの前記実空間を基準とした世界座標系に基づく仮想空間内における位置情報を算出し、
前記現実オブジェクトの画像からなる現実オブジェクトに関する情報を、前記第１通信器を介して前記情報処理装置に送信し、
前記第２プロセッサは、
前記第２通信器を介して受信した前記現実オブジェクトに関する情報に基づく仮拡張現実オブジェクトを、前記情報表示装置の前記実空間における位置情報と前記現実オブジェクトの前記世界座標系に基づく仮想空間内における位置情報とから算出された第１算出位置情報に基づいて、前記情報処理装置を基準とした端末座標系に基づく作業空間内に配置し、
前記第２ディスプレイに、前記仮拡張現実オブジェクトを表示し、
前記表示された前記仮拡張現実オブジェクトに仮追加拡張現実オブジェクトを追加する編集操作を受け付け、
前記作業空間内における前記仮拡張現実オブジェクトと前記仮追加拡張現実オブジェクトとの位置関係を示す情報、及び前記仮追加拡張現実オブジェクトに関する情報を、前記第２通信器を介して前記情報表示装置に送信し、
前記第１プロセッサは、
前記作業空間内における前記仮拡張現実オブジェクトと前記仮追加拡張現実オブジェクトとの位置関係を示す情報と、前記現実オブジェクトの前記世界座標系に基づく仮想空間における位置情報と、に基づいて、前記仮追加拡張現実オブジェクトに関する情報に基づく追加拡張現実オブジェクトを前記世界座標系に基づく仮想空間内に配置し、
前記第１ディスプレイに前記追加拡張現実オブジェクトを表示する、
ことを特徴とする拡張現実処理システム。

【請求項5】

拡張現実オブジェクトの編集と表示を行う情報表示装置であって、
前記情報表示装置は、ディスプレイ及びプロセッサを備え、
前記プロセッサは、
実空間を基準とした世界座標系に基づく仮想空間内に配置されている拡張現実オブジェクトを、前記ディスプレイの表示領域の一部領域からなる仮想空間表示領域に表示し、
前記拡張現実オブジェクトに関する情報に基づく仮拡張現実オブジェクトを、前記情報表示装置の前記実空間における位置情報と前記拡張現実オブジェクトの前記世界座標系に基づく仮想空間内における位置情報とから算出された第１算出位置情報に基づいて、前記情報表示装置を基準とした端末座標系に基づく作業空間内に配置し、
前記ディスプレイの前記仮想空間表示領域とは異なるバーチャルパレット領域に、前記仮拡張現実オブジェクトを表示し、
前記バーチャルパレット領域に表示された前記仮拡張現実オブジェクトに仮追加拡張現実オブジェクトを追加する編集操作を受け付け、
前記作業空間内における前記仮拡張現実オブジェクトと前記仮追加拡張現実オブジェクトとの位置関係を示す情報と、前記拡張現実オブジェクトの前記世界座標系に基づく仮想空間における位置情報と、に基づいて、前記仮追加拡張現実オブジェクトに関する情報に基づく追加拡張現実オブジェクトを前記世界座標系に基づく仮想空間内に配置し、
前記仮想空間表示領域に前記追加拡張現実オブジェクトを表示する、
ことを特徴とする情報表示装置。

【請求項6】

情報表示装置で拡張現実オブジェクトを編集して表示する拡張現実処理方法であって、
実空間に存在する現実オブジェクトを前記情報表示装置のディスプレイの一部領域からなる仮想空間表示領域に表示するステップと、
前記情報表示装置から前記現実オブジェクトまでの距離を測定するステップと、
前記測定した前記情報表示装置から前記現実オブジェクトまでの距離及び前記情報表示装置の前記実空間における位置情報に基づいて、前記現実オブジェクトの前記実空間を基準とした世界座標系に基づく仮想空間内における位置情報を算出するステップと、
前記現実オブジェクトに関する情報に基づく仮拡張現実オブジェクトを、前記情報表示装置の前記実空間における位置情報と前記現実オブジェクトの前記世界座標系に基づく仮想空間内における位置情報と、から算出された第１算出位置情報に基づいて、前記情報表示装置を基準とした端末座標系に基づく作業空間内に配置するステップと、
前記ディスプレイの前記仮想空間表示領域とは異なるバーチャルパレット領域に、前記仮拡張現実オブジェクトを表示するステップと、
前記バーチャルパレット領域に表示された前記仮拡張現実オブジェクトに仮追加拡張現実オブジェクトを追加する編集操作を受け付けるステップと、
前記現実オブジェクトの前記世界座標系に基づく仮想空間内における位置と、前記作業空間内における前記仮拡張現実オブジェクトと前記仮追加拡張現実オブジェクトとの位置関係と、に基づいて、前記仮追加拡張現実オブジェクトの情報に基づく追加拡張現実オブジェクトを前記世界座標系に基づく仮想空間内に配置するステップと、
前記追加拡張現実オブジェクトを前記ディスプレイの前記仮想空間表示領域に表示するステップと、
を含むことを特徴とする拡張現実処理方法。

【請求項7】

情報表示装置で拡張現実オブジェクトを編集して表示する拡張現実処理方法であって、
実空間を基準とした世界座標系に基づく仮想空間内に配置されている拡張現実オブジェクトを、前記情報表示装置のディスプレイの一部領域からなる仮想空間表示領域に表示するステップと、
前記拡張現実オブジェクトに関する情報に基づく仮拡張現実オブジェクトを、前記情報表示装置の前記実空間における位置情報と前記拡張現実オブジェクトの前記世界座標系に基づく仮想空間内における位置情報とから算出された第１算出位置情報に基づいて、前記情報表示装置を基準とした端末座標系に基づく作業空間内に配置するステップと、
前記ディスプレイの前記仮想空間表示領域とは異なるバーチャルパレット領域に、前記仮拡張現実オブジェクトを表示するステップと、
前記バーチャルパレット領域に表示された前記仮拡張現実オブジェクトに仮追加拡張現実オブジェクトを追加する編集操作を受け付けるステップと、
前記作業空間内における前記仮拡張現実オブジェクトと前記仮追加拡張現実オブジェクトとの位置関係を示す情報と、前記拡張現実オブジェクトの前記世界座標系に基づく仮想空間における位置情報と、に基づいて、前記仮追加拡張現実オブジェクトに基づく追加拡張現実オブジェクトを前記世界座標系に基づく仮想空間内に配置するステップと、
前記追加拡張現実オブジェクトを前記ディスプレイの前記仮想空間表示領域に表示するステップと、
を含むことを特徴とする拡張現実処理方法。

【請求項8】

情報表示装置で拡張現実オブジェクトを編集して表示する拡張現実処理方法であって、
実空間を基準とした世界座標系に基づく仮想空間内に配置されている拡張現実オブジェクトを、前記情報表示装置のディスプレイの一部領域からなる仮想空間表示領域に表示するステップと、
前記拡張現実オブジェクトに関する情報に基づく仮拡張現実オブジェクトを、前記情報表示装置の前記実空間における位置情報と前記拡張現実オブジェクトの前記世界座標系に基づく仮想空間内における位置情報とから算出された第１算出位置情報に基づいて、前記情報表示装置を基準とした端末座標系に基づく作業空間内に配置するステップと、
前記ディスプレイの前記仮想空間表示領域とは異なるバーチャルパレット領域に、前記仮拡張現実オブジェクトを表示するステップと、
前記バーチャルパレット領域に表示された前記仮拡張現実オブジェクトに対する編集操作を受け付けるステップと、
前記仮拡張現実オブジェクトに対する編集操作に関する情報に基づいて、前記世界座標系に基づく仮想空間内に配置されている前記拡張現実オブジェクトに前記編集操作の内容を反映するステップと、
を含むことを特徴とする拡張現実処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実処理システム、情報表示装置、及び方法に係り、特に拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）オブジェクトの編集操作性の向上に関する。

【背景技術】

【0002】

特許文献１には、「実空間の撮像画像に基づく画像を表示させる表示制御部と、上記画像に対するアノテーションの入力を受け付ける操作部と、上記アノテーションを上記実空間の位置に関連付けるか、上記実空間内に存在する物体に関連付けるかを選択する選択制御部とを含む（要約抜粋）」情報処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１４／１６２８２３号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、ウェアラブル端末のカメラによって撮像された実空間の映像がタブレット端末にストリーミング配信される（同文献段落００３５参照）ため、タブレット端末の表示範囲はウェアラブル端末を装着したユーザの動きに伴って刻々と変化する（同文献段落００５９参照）。このため、ウェアラブル端末のユーザとタブレット端末のユーザが同一である場合、アノテーションを付加するためにタブレット端末を注視するとウェアラブル端末が対象物の方向からずれてしまい、対象物がタブレット端末に表示されなくなるため、アノテーションの付加作業が効率的ではない。

【0005】

本発明は上記実情に鑑みてなされたものであり、アノテーションを含むＡＲオブジェクトの編集作業の操作性を向上させることを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明は、請求の範囲に記載の構成を備える。その一例をあげるならば、本発明は、拡張現実オブジェクトを表示する情報表示装置と、前記拡張現実オブジェクトの編集操作を受け付ける情報処理装置と、を含む拡張現実処理システムであって、前記情報表示装置は、第１ディスプレイ、前記情報処理装置と情報を送受信する第１通信器、及び第１プロセッサを備え、前記情報処理装置は、第２ディスプレイ、前記情報表示装置と情報を送受信する第２通信器、及び第２プロセッサを備え、前記第１プロセッサは、実空間を基準とした世界座標系に基づく仮想空間内に配置されている拡張現実オブジェクトに関する情報を、前記第１通信器を介して前記情報処理装置に送信し、前記第２プロセッサは、前記拡張現実オブジェクトに関する情報に基づく仮拡張現実オブジェクトを、前記情報表示装置の前記実空間における位置情報と前記拡張現実オブジェクトの前記世界座標系に基づく仮想空間内における位置情報とから算出された第１算出位置情報に基づいて、前記情報処理装置を基準とした端末座標系に基づく作業空間内に配置し、前記第２ディスプレイに、前記仮拡張現実オブジェクトを表示し、前記表示された前記仮拡張現実オブジェクトに対する編集操作を受け付け、前記仮拡張現実オブジェクトに対する編集操作に関する情報を、前記第２通信器を介して前記情報表示装置に送信し、前記第１プロセッサは、前記仮拡張現実オブジェクトに対する編集操作に関する情報に基づいて、前記世界座標系に基づく仮想空間内に配置されている前記拡張現実オブジェクトに前記編集操作の内容を反映する、ことを特徴とする。

【0007】

本発明によれば、アノテーションを含むＡＲオブジェクトの編集作業の操作性を向上させることができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0008】

【図1】本実施形態に係る拡張現実処理システムのシステム構成図。

【図2】ＨＭＤのハードウェア構成図。

【図3A】ＨＭＤの上面図。

【図3B】ＨＭＤの正面図。

【図3C】ＨＭＤの左側面図。

【図4】ＨＭＤの機能ブロック図。

【図5】タブレット端末のハードウェア構成図。

【図6A】タブレット端末の前面図。

【図6B】タブレット端末の背面図。

【図7】タブレット端末の機能ブロック図。

【図8A】ユーザがＡＲオブジェクト表示機能はオフにして現実世界を視認している状態を示す俯瞰図。

【図8B】ＨＭＤのディスプレイを介したユーザの視界を示す図。

【図9A】ユーザがＡＲオブジェクト表示機能をオンにして現実世界を視認している状態を示す俯瞰図。

【図9B】ＨＭＤのディスプレイを介したユーザの視界を示す図。

【図10】ＨＭＤ、タブレット端末、ＡＲオブジェクトの世界座標系空間における位置（座標）情報及び方位情報を示す俯瞰図。

【図11】ＨＭＤにおけるＡＲオブジェクト表示処理の流れを示すフローチャート。

【図12】ＨＭＤにおけるＡＲオブジェクト固定処理の流れを示すフローチャート。

【図13A】ＡＲオブジェクト固定指示を行う際のユーザの視界を示す図。

【図13B】ＡＲオブジェクト固定処理によりタブレット端末のタッチスクリーンに表示される画像を示す図。

【図14】タブレット端末におけるＡＲオブジェクト固定処理の流れを示すフローチャート。

【図15】タブレット端末を位置基準とする端末座標系仮想空間（作業空間）内における位置（座標）情報及び方位情報を示す俯瞰図。

【図16A】仮ＡＲオブジェクトを編集中のタブレット端末の表示画像を示す図。

【図16B】仮ＡＲオブジェクトを編集後のタブレット端末の表示画像を示す図。

【図17】タブレット端末における仮ＡＲオブジェクト編集結果反映処理の流れを示すフローチャート。

【図18】ＨＭＤにおける、タブレット端末で実施された仮ＡＲオブジェクトへの編集処理の結果をＡＲオブジェクトに反映する処理の流れを示すフローチャート。

【図19A】仮追加ＡＲオブジェクトと仮ＡＲオブジェクトの端末座標系仮想空間内における位置（座標）情報及び方位情報を示す俯瞰図。

【図19B】追加ＡＲオブジェクトとＡＲオブジェクトの世界座標系仮想空間における位置（座標）情報及び方位情報を示す俯瞰図。

【図20】ＨＭＤのディスプレイを介したユーザの視界を示す図。

【図21A】ＨＭＤのディスプレイを介したユーザの視界を示す図。

【図21B】現実オブジェクト固定処理によりタブレット端末のディスプレイに表示される画像を示す図。

【図22】現実オブジェクト固定処理の流れを示すフローチャート。

【図23A】ＨＭＤのディスプレイを介したユーザの視界を示す図。

【図23B】ＨＭＤのディスプレイを介したユーザの視界を示す図。

【発明を実施するための形態】

【0009】

以下、図面を用いて本発明の実施形態について説明する。全図を通じて同一の構成には同一の符号を付して重複説明を省略する。以下の説明において、拡張現実をＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と記載することがある。

【0010】

［第１実施形態］
第１実施形態は、情報表示装置から情報処理装置にＡＲオブジェクト情報を転送し、情報処理装置でコメントからなる追加ＡＲオブジェクトをＡＲオブジェクトに関連付けて付加する処理を行った後、情報表示装置に追加ＡＲオブジェクト情報を返送して表示する実施形態である。第１実施形態では、実空間を基準とした世界座標系に基づく仮想空間内に配置されているＡＲオブジェクトを編集対象とする。

【0011】

＜システム構成図＞
図１は、本実施形態に係る拡張現実処理システム１のシステム構成図である。

【0012】

拡張現実処理システム１は、情報表示装置としてのＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）１００、情報処理装置としてのタブレット端末２００、ＡＲオブジェクトサーバ３１０のそれぞれを通信ネットワーク３００に接続して構成される。

【0013】

ＨＭＤ１００とタブレット端末２００とは、実空間を基準とする世界座標系を共有する。本実施形態では、世界座標系としてＧＰＳ座標系を用いる。よって、位置情報発信装置３２０から位置情報信号としてＧＰＳ信号をＨＭＤ１００とタブレット端末２００とが取得する。しかし世界座標系は、ＧＰＳ座標系に限らず、実空間を基準とするＨＭＤ１００とタブレット端末２００との共通座標系であればよく、位置情報発信装置３２０をＢｌｕｅＴｏｏｔｈ（登録商標）ビーコン信号を発信するビーコン発信装置とし、ビーコン信号を共有して共通座標系を実現してもよい。

【0014】

図２は、ＨＭＤ１００のハードウェア構成図である。

【0015】

ＨＭＤ１００は、ＣＰＵやＭＣＵ等を用いたプロセッサ１０１（第１プロセッサに相当する）、ＲＡＭ１０３、ストレージ１１０、操作入力装置（ユーザ操作インタフェース）１２０、画像処理部１３０、音声処理部１４０、センサ群１６０、通信Ｉ／Ｆ１７０（第１通信器に相当する）、及び拡張Ｉ／Ｆ１８０を備え、これらがバス１０２により互いに接続される。

【0016】

ストレージ１１０は、Ｆｌａｓｈ ＲＯＭ、ＥＥＰＲＯＭ、ＳＳＤ、ＨＤＤ等の不揮発記憶媒体を用いて構成される。

【0017】

操作入力装置１２０は、操作キー１２１、及びタッチセンサ１２２が含まれる。

【0018】

操作キー１２１は、例えばＳＷ類、電源キー、音量キー等がある。

【0019】

タッチセンサ１２２は、例えばタッチパッドにより構成され、ＨＭＤ１００等の操作に使用される。

【0020】

画像処理部１３０は、ディスプレイ１３１（第１ディスプレイに相当する）、画像信号処理部１３２、アウトカメラ１３３（前方撮影用）、及びインカメラ１３４（視線検出用）を含んで構成される。

【0021】

ディスプレイ１３１は、透過型ディスプレイでもよいし、非透過型のディスプレイでもよい。

【0022】

画像信号処理部１３２は、例えばイメージ（ビデオ）シグナルプロセッサを用いて構成される。

【0023】

音声処理部１４０は、スピーカ１４１、音声信号処理部１４２、及びマイク１４３を含んで構成される。

【0024】

音声信号処理部１４２は、例えばオーディオシグナルプロセッサを用いて構成される。

【0025】

センサ群１６０は、位置センサ１５１、測距センサ１５２、ジャイロセンサ１６１、地磁気センサ１６２、及び加速度センサ１６３を含む。

【0026】

位置センサ１５１は、例えばＧＰＳセンサである。

【0027】

測距センサ１５２は、距離センサや深度センサでもよい。また、アウトカメラ１３３を左アウトカメラ１３３Ｌ（図３Ａ参照）、右アウトカメラ１３３Ｒ（図３Ａ参照）を含むステレオカメラとして形成し、視差がある画像を撮像してこの画像を元に被写体までの距離を測定してもよい。この場合、ステレオカメラが測距センサ１５２に相当するので、アウトカメラ１３３と測距センサ１５２とを一つの画像入力デバイスにより構成できる。

【0028】

通信Ｉ／Ｆ１７０は、例えば、ＬＡＮ通信Ｉ／Ｆ、電話網（Ｍｏｂｉｌｅ）通信Ｉ／Ｆ、ＢｌｕｅＴｏｏｔｈ（登録商標）通信Ｉ／Ｆに相当する。

【0029】

拡張Ｉ／Ｆ１８０は、例えばＵＳＢ機器接続端子であり、データ送受信や充電等に使用される。

【0030】

バス１０２は、コマンドやデータの送受信経路を形成する。

【0031】

図３Ａは、ＨＭＤ１００の上面図、図３Ｂは、ＨＭＤ１００の正面図、図３Ｃは、ＨＭＤ１００の左側面図である。

【0032】

図３Ａ、図３Ｂ、図３Ｃは、ユーザＵ１がＨＭＤ１００を装着した状態を示す。ＨＭＤ１００は、前面にディスプレイ１３１、左アウトカメラ１３３Ｌ、右アウトカメラ１３３Ｒ、測距センサ１５２を備える。また左側面にタッチセンサ１２２、左ステレオスピーカ１４１Ｌ、を備える。アウトカメラ１３３は、ステレオカメラに限らず、一つのカメラでもよい。また図３では右側面は図示しないが、ＨＭＤ１００の右側面に、右ステレオスピーカと、モノラルマイクと、拡張Ｉ／Ｆ１８０の一つである充電端子を備える。

【0033】

左タッチセンサ１２２Ｌに代えて右タッチセンサをＨＭＤ１００の右側面に備えてもよい。タッチセンサの設置個所は左右いずれか一つでもよいし、両側面に備えてもよい。

【0034】

ディスプレイ１３１は、ディスプレイ１３１を介して外界を直接視認可能な透過型（光学透過型）でもよいし、アウトカメラ１３３が入力した映像を筐体裏面側に配置されたディスプレイ１３１に表示することにより外界を視認可能な非透過型（ビデオ透過型）でもよい。また、半透過型ディスプレイを用いてもよい。

【0035】

図４は、ＨＭＤ１００の機能ブロック図である。

【0036】

ＨＭＤ１００のストレージ１１０は、ＯＳ等の基本的なプログラムを含む基本動作プログラム１００１と、本実施形態に係る拡張現実処理システム１の機能を実現するためのアプリケーションプログラム１００２と、各種動作設定値や各種情報（動画／静止画／音声等）を記憶しておく領域となる各種データ記憶領域１００９とを含む。

【0037】

これらストレージ１１０に記憶されている基本動作プログラム１００１やアプリケーションプログラム１００２は、ＲＡＭ１０３に展開（ロード）され、プロセッサ１０１が展開された基本動作プログラム１００１やアプリケーションプログラム１００２を実行することにより、その機能が実現される。

【0038】

ＲＡＭ１０３は、ＨＭＤ１００の基本的な動作を制御する基本動作機能部１１０１と、位置センサ１５１からのセンサ出力に基づいてＨＭＤ１００の実世界上における位置（座標）を算出して位置情報を生成する位置情報算出部１１１１と、ＨＭＤ１００の実世界上における位置（座標）に関連するＡＲオブジェクト情報を取得するオブジェクト情報取得部１１１２と、ジャイロセンサ１６１や地磁気センサ１６２等、センサ群１６０からのセンサ出力に基づいてＨＭＤ１００が実世界上において指向する方向に関する方位を算出して方位情報を生成する方位情報算出部１１１３と、ＡＲオブジェクト情報に基づいて構成されるＡＲオブジェクトの表示制御、及び連携するタブレット端末２００へのＡＲオブジェクト情報の送信制御を行うオブジェクト情報表示制御部１１１４と、前述の各機能部により作成または取得された各種情報を一時的に記憶する一時記憶領域１１９９と、を含む。

【0039】

図５は、タブレット端末２００のハードウェア構成図である。ＨＭＤ１００と同一の名称の構成要素についての重複説明は省略する。

【0040】

タブレット端末２００は、プロセッサ２０１（第２プロセッサに相当する）、ＲＡＭ２０３、ストレージ２１０、操作入力装置２２０、画像処理部２３０、音声処理部２４０、センサ群２６０、通信Ｉ／Ｆ２７０（第２通信器に相当する）、及び拡張Ｉ／Ｆ２８０を含み、これらがバス２０２により互いに接続される。

【0041】

操作入力装置２２０は、操作キー２２１、タッチセンサ２２２に加えてタッチパネル２２３を含む。タッチセンサ２２２は、例えば指紋センサ等である。タッチパネル２２３は、ディスプレイ２３１（第２ディスプレイに相当する）に重ねて配置され、タブレット端末２００に対する入力操作を受け付ける。

【0042】

画像処理部２３０は、ディスプレイ２３１、画像信号処理部２３２、通常撮影用のアウトカメラ２３３、自撮りや視線検出に用いるインカメラ２３４を含む。

【0043】

音声処理部２４０は、スピーカ２４１、音声信号処理部２４２、マイク２４３を含む。

【0044】

センサ群２６０は、位置センサ２５１、ジャイロセンサ２６１、地磁気センサ２６２、加速度センサ２６３、を含む。その他、近接センサや照度センサや測距センサを含んでもよい。

【0045】

通信Ｉ／Ｆ２７０は、ＬＡＮ通信Ｉ／Ｆ２７１、電話網（Ｍｏｂｉｌｅ）通信Ｉ／Ｆ２７２、ＢｌｕｅＴｏｏｔｈ（登録商標）通信Ｉ／Ｆ２７３を含む。その他、赤外線通信Ｉ／Ｆがあっても良い。

【0046】

拡張Ｉ／Ｆ２８０は、例えばＵＳＢ機器接続端子であり、データ送受信、充電、ＵＳＢ機器接続、ＡＶ機器接続等に使用する。

【0047】

図６Ａは、タブレット端末２００の前面図、図６Ｂは、タブレット端末２００の背面図である。

【0048】

図６Ａに示すように、タブレット端末２００は、上面に電源ＳＷ２２１Ｐ（操作キーに相当する）を備える。また底面にモノラルマイク２４３Ｍ、ＵＳＢ端子２８０Ｕ（拡張Ｉ／Ｆ２８０に相当する）を備える。

【0049】

更にタブレット端末２００の前面には、タッチスクリーン２９０、ＬＥＤ２２４、インカメラ２３４、通話時に用いるモノラルスピーカ２４１Ｍ（スピーカ２４１に相当する）が備えられる。

【0050】

ＬＥＤ２２４は、動作状態報知用であり、点滅点灯で動作状態を報知する。

【0051】

タッチスクリーン２９０は、ディスプレイ２３１にタッチパネル２２３が積層されて構成される。

【0052】

また図６Ｂに示すように、背面に個人認証に用いる指紋センサからなるタッチセンサ２２２、アウトカメラ２３３、補助光を発光するストロボ２３５、ＡＶ再生時に使用するステレオスピーカ２４１Ｓを備える。

【0053】

図７は、タブレット端末２００の機能ブロック図である。

【0054】

ストレージ２１０は、基本動作プログラム２００１、アプリケーションプログラム２００２（本実施形態に係る拡張現実処理システム１の機能を実行するアプリやその他のアプリ）、各種データ記憶領域２００９を含む。各種データ記憶領域２００９は、各種動作設定値や各種情報、例えば動画、静止画、音声等を記憶しておく領域である。

【0055】

ストレージ２１０に記憶されている基本動作プログラム２００１、アプリケーションプログラム２００２は、ＲＡＭ２０３に展開（ロード）され、プロセッサ２０１が展開された基本動作プログラム２００１、アプリケーションプログラム２００２を実行することにより、その機能が実現される。

【0056】

ＲＡＭ２０３は、基本動作機能部２１０１、位置情報算出部２１１１、方位情報算出部２１１２、オブジェクト情報表示制御部２１１３、及び一時記憶領域２１９９を含む。

【0057】

基本動作機能部２１０１は、タブレット端末２００の基本的な動作を制御する。

【0058】

位置情報算出部２１１１は、タブレット端末２００の実世界上における位置（座標）を算出し、位置情報を出力する。

【0059】

方位情報算出部２１１２は、タブレット端末２００が実世界上において指向する方向に関する方位を算出し、方位情報を出力する。

【0060】

オブジェクト情報表示制御部２１１３は、ＡＲオブジェクト情報の、連携するＨＭＤ１００からの送受信、及びＡＲオブジェクト情報に基づいて構成した仮ＡＲオブジェクトの表示、等を制御する。

【0061】

一時記憶領域２１９９は、前述の各機能部により作成または取得された各種情報の一時的な記憶領域である。

【0062】

＜拡張現実処理システム１の処理概要＞
図８、９、１０を参照して拡張現実処理システム１の処理概要について説明する。

【0063】

図８Ａは、ユーザＵ１がＡＲオブジェクト表示機能はオフにして現実世界を視認している状態を示す俯瞰図である。図８Ｂは、その際のユーザＵ１の視界を示す図である。図８Ａ、図８Ｂでは、ＨＭＤ１００のＡＲオブジェクト表示機能はオフなので、実世界の実体物のみを視認している。

【0064】

ＨＭＤ１００のディスプレイ１３１を介したユーザＵ１の視野範囲Ｕ１Ｓには、実体物である噴水の画像（映像）からなる現実オブジェクト４００が入っている。従って、ユーザＵ１は、ＨＭＤ１００のディスプレイ１３１を介して前方にある実体物からなる噴水の現実オブジェクト４００を視認する、又はディスプレイ１３１に表示された噴水の現実オブジェクト４００を視認している。

【0065】

図９Ａは、ユーザＵ１がＡＲオブジェクト表示機能をオンにして現実世界を視認している状態を示す俯瞰図である。図９Ｂは、その際のＨＭＤのディスプレイを介したユーザＵ１の視界を示す図である。図９Ａ、図９Ｂでは、ＨＭＤ１００のＡＲオブジェクト表示機能はオンなので、実世界の実体物と世界座標系仮想空間に配置されたＡＲオブジェクトの双方を視認している。

【0066】

ＨＭＤ１００のディスプレイ１３１を介したユーザＵ１の視野範囲Ｕ１Ｓには、噴水の現実オブジェクト４００に加えて自動車のＡＲオブジェクト４１０が入っている。従って、ユーザＵ１は、ＨＭＤ１００のディスプレイ１３１を介して前方にある噴水の現実オブジェクト４００を視認し、更にディスプレイ１３１に表示された自動車のＡＲオブジェクト４１０も視認している。又はディスプレイ１３１に表示された噴水の現実オブジェクト４００と自動車のＡＲオブジェクト４１０を同時に視認している。

【0067】

ＡＲオブジェクト４１０は、世界座標系仮想空間に配置される。世界座標系仮想空間は実世界と位置情報を共有する仮想空間である。実世界と世界座標系仮想空間とをまとめて世界座標系空間と呼称してもよい。

【0068】

図１０は、ＨＭＤ１００、タブレット端末２００、ＡＲオブジェクト４１０の世界座標系空間における位置（座標）情報及び方位情報を示す俯瞰図である。

【0069】

以下の説明において、世界座標系空間における位置（座標）情報は、（Ｘ，Ｙ）で表記する。“Ｘ”は、実世界における経度を軸とし、“Ｙ”は実世界における緯度を軸とする。なお、Ｚ方向（高さ方向）に関しては、説明簡略化のため、以降では図示及び説明を省略する。

【0070】

また、世界座標系空間における方位情報をＤで表記する。方位情報は、世界座標系空間の位置情報で指定される座標位置を基準とし、いずれの方向を指向するかを表す。説明簡略化のため、世界座標系空間におけるＸＹ平面内の二次元的な指向方向のみを示すものとする。

【0071】

図１０において、ＨＭＤ１００の位置情報及び方位情報は、位置センサ１５１が検出した世界座標系空間におけるＨＭＤ１００の基準位置１００Ｐの位置（座標）情報を（Ｘ（ｈｍｄ），Ｙ（ｈｍｄ））で、センサ群１６０が取得したＨＭＤ１００が指向する方向の方位情報１００ＤをＤ（ｈｍｄ）で示す。「ＨＭＤ１００が指向する方向」とは、ＨＭＤ１００のディスプレイ１３１の中心位置に対する法線方向と同義である。

【0072】

タブレット端末２００の位置情報及び方位情報は、位置センサ２５１が検出した世界座標系空間におけるタブレット端末２００の基準位置２００Ｐの位置（座標）情報を（Ｘ（ｔａｂ），Ｙ（ｔａｂ））で、センサ群２６０が取得したタブレット端末２００が指向する方向の方位情報２００ＤをＤ（ｔａｂ）で示す。「タブレット端末２００が指向する方向」とは、タブレット端末２００の筐体背面部の中心位置に対する法線方向と同義である。

【0073】

ＡＲオブジェクト４１０には、予め基準位置４１０Ｐの位置（座標）情報として（Ｘ（ｏｂｊ），Ｙ（ｏｂｊ））が、方位情報４１０ＤとしてＤ（ｏｂｊ）が設定されている。基準位置４１０Ｐの位置（座標）情報（Ｘ（ｏｂｊ），Ｙ（ｏｂｊ））がＨＭＤ１００のディスプレイ１３１を介したユーザＵ１の視野範囲に入る場合は、ディスプレイ１３１上の、位置（座標）情報（Ｘ（ｏｂｊ），Ｙ（ｏｂｊ））に対応する位置に、方位情報Ｄ（ｏｂｊ）に対応する向きで、ＡＲオブジェクト４１０が表示される。

【0074】

図１１は、ＨＭＤ１００におけるＡＲオブジェクト表示処理の流れを示すフローチャートである。

【0075】

基本動作機能部１１０１が、操作入力装置１２０が受け付けたユーザＵ１からのＡＲオブジェクト表示機能有効化指示の入力操作に応じて、ＡＲオブジェクト表示機能を有効化する（Ｓ１０１）。基本動作機能部１１０１が、ＡＲオブジェクト表示機能有効化指示の入力操作を受け付けなかった場合には、以降の処理は行われない。

【0076】

位置情報算出部１１１１が、位置センサ１５１を介して位置情報発信装置３２０から取得した位置情報信号に基づいて、ＨＭＤ１００の実世界上における位置（座標）情報（Ｘ（ｈｍｄ），Ｙ（ｈｍｄ））を算出する（Ｓ１０２）。

【0077】

方位情報算出部１１１３が、センサ群１６０が取得した各種情報（地磁気情報等）に基づいて、ＨＭＤ１００が実世界上において指向する方向に関する方位情報（Ｄ（ｈｍｄ））を算出する（Ｓ１０３）。

【0078】

オブジェクト情報取得部１１１２が、通信Ｉ／Ｆ１７０を介してＡＲオブジェクトサーバ３１０（図１１では「ＡＲ－ＯＢＪサーバ」と記載する。）に、Ｓ１０２で算出したＨＭＤ１００の実世界上における位置（座標）情報を送信する（Ｓ１０４）。

【0079】

オブジェクト情報取得部１１１２が、通信Ｉ／Ｆ１７０を介してＡＲオブジェクトサーバ３１０から、Ｓ１０４の処理で送信した位置（座標）情報に対応して送信されたＡＲオブジェクト情報を取得する（Ｓ１０５）。なお、ＡＲオブジェクトサーバ３１０では、Ｓ１０４の処理で送信された位置（座標）情報との相対的距離が所定値（例えば、１０ｍ）以下となるＡＲオブジェクトに関するＡＲオブジェクト情報のみをＨＭＤ１００に送信する。

【0080】

オブジェクト情報表示制御部１１１４が、Ｓ１０５の処理で取得したＡＲオブジェクト情報に基づいて構成されるＡＲオブジェクトのうち、Ｓ１０２の処理で算出したＨＭＤ１００の位置（座標）情報（Ｘ（ｈｍｄ），Ｙ（ｈｍｄ））とＳ１０３の処理で算出したＨＭＤ１００の方位情報Ｄ（ｈｍｄ）に基づいて設定されるＨＭＤ１００を装着したユーザＵ１の視野範囲Ｕ１Ｓに表示可能なＡＲオブジェクトがあるか否かを判別する（Ｓ１０６）。

【0081】

オブジェクト情報表示制御部１１１４が、表示可能なＡＲオブジェクトがあると判断すると（Ｓ１０６：Ｙｅｓ）、オブジェクト情報表示制御部１１１４が、ディスプレイ１３１にＡＲオブジェクトを表示する（Ｓ１０７：図９Ｂの状態）。ディスプレイ１３１に表示されるＡＲオブジェクト４１０は、ＨＭＤ１００の基準位置１００ＰとＡＲオブジェクト４１０の基準位置４１０Ｐの相対的距離に応じて拡大、または、縮小されて良い。

【0082】

オブジェクト情報表示制御部１１１４が、表示可能なＡＲオブジェクトがないと判断すると（Ｓ１０６：Ｎｏ）、Ｓ１０８へと進む。

【0083】

基本動作機能部１１０１が、操作入力装置１２０がユーザＵ１の操作指示（ＡＲオブジェクト表示機能無効化指示）を取得したと判別すると（Ｓ１０８：Ｙｅｓ）、オブジェクト情報表示制御部１１１４が、ディスプレイ１３１に表示されているＡＲオブジェクトを消去し（Ｓ１０９）、基本動作機能部１１０１が、ＡＲオブジェクト表示機能を無効化する。ディスプレイ１３１を介してユーザＵ１が視認する風景は、図９Ｂから図８Ｂへと変わる。

【0084】

基本動作機能部１１０１が、操作入力装置１２０がユーザＵ１の操作指示（ＡＲオブジェクト表示機能無効化指示）を取得していないと判別すると（Ｓ１０８：Ｎｏ）、Ｓ１０２へ戻る。

【0085】

＜ＡＲオブジェクト固定処理（ＨＭＤ１００）＞
図１２、図１３Ａを参照して、ＨＭＤ１００におけるＡＲオブジェクト固定処理について説明する。図１２は、ＨＭＤ１００におけるＡＲオブジェクト固定処理の流れを示すフローチャートである。図１３Ａは、ＡＲオブジェクト固定指示を行う際のユーザＵ１の視界を示す図である。

【0086】

図１２に示すように、ＨＭＤ１００の基本動作機能部１１０１が、操作指示（ＡＲオブジェクト固定指示）を取得したと判断すると（Ｓ２０１：Ｙｅｓ）、Ｓ２０２へ進む。基本動作機能部１１０１が、操作指示（ＡＲオブジェクト固定指示）を取得してないと判断した場合は（Ｓ２０１：Ｎｏ）、ＡＲオブジェクト固定処理を行わずに終了する。

【0087】

ＡＲオブジェクト固定指示の入力操作として、例えば下記の操作でもよい。
１）ユーザＵ１のタッチ操作をタッチセンサ１２２が受け付ける。
２）ユーザＵ１が発した音声指示をマイク１４３が受け付ける。
３）連携するタブレット端末２００から送信されたコマンドを、通信Ｉ／Ｆ１７０を介して受け付ける。

【0088】

位置情報算出部１１１１が、位置センサ１５１を介して位置情報発信装置３２０から取得した位置情報信号に基づいて、ＡＲオブジェクト固定処理実行時のＨＭＤ１００の実世界上における位置（座標）情報（Ｘ（ｈｍｄ０），Ｙ（ｈｍｄ０））を算出する（Ｓ２０２）。

【0089】

方位情報算出部１１１３が、センサ群１６０が取得した各種情報（地磁気情報等）に基づいて、ＡＲオブジェクト固定処理実行時のＨＭＤ１００が実世界上において指向する方向に関する方位情報（Ｄ（ｈｍｄ０））を算出する（Ｓ２０３）。

【0090】

オブジェクト情報表示制御部１１１４が、インカメラ１３４が取得したユーザＵ１の眼部画像に基づいて、ＡＲオブジェクト固定処理実行時のユーザＵ１の視線がディスプレイ１３１上のどの位置に対応するかを算出する（Ｓ２０４）。視線位置マーク４２０（図１３Ａ参照）は、Ｓ２０４の処理で算出されたユーザＵ１の視線位置を示すものであり、ディスプレイ１３１上に表示される。なお、視線位置マーク４２０は、ディスプレイ１３１上に表示されなくてもよい。

【0091】

オブジェクト情報表示制御部１１１４は、ディスプレイ１３１に表示されているＡＲオブジェクトのうち、Ｓ２０４で算出したユーザＵ１の視線位置と重畳する、或いは視線位置に最も近いＡＲオブジェクト４１０を選択する（Ｓ２０５：図１３Ａの状態）。

【0092】

オブジェクト情報表示制御部１１１４が、Ｓ２０５の処理で選択されたＡＲオブジェクト４１０に関連するＡＲオブジェクト情報を、Ｓ２０２及びＳ２０３の処理で算出したＨＭＤ１００の位置（座標）情報及び方位情報と併せて、連携するタブレット端末２００に、通信Ｉ／Ｆ１７０を介して送信する（Ｓ２０６）。ＡＲオブジェクト情報の送信に代替して、ＡＲオブジェクト情報を取得するためのＵＲＬ等の情報を送信しても良い。この場合、連携するタブレット端末２００は、ＵＲＬ等の情報に基づいてＡＲオブジェクト情報をＡＲオブジェクトサーバ３１０から取得する。これで、ＨＭＤ１００でのＡＲオブジェクト固定処理を終了する。

【0093】

＜ＡＲオブジェクト固定処理（タブレット端末２００）＞
図１３Ｂ、図１４を参照して、タブレット端末２００におけるＡＲオブジェクト固定処理について説明する。図１３Ｂは、ＡＲオブジェクト固定処理によりタブレット端末２００のタッチスクリーン２９０に表示される画像を示す図、図１４は、タブレット端末２００におけるＡＲオブジェクト固定処理の流れを示すフローチャートである。

【0094】

図１４に示すように、タブレット端末２００の基本動作機能部２１０１が、操作入力装置２２０がユーザＵ１から操作指示（ＡＲオブジェクト固定指示）を取得したと判断すると（Ｓ３０１：Ｙｅｓ）、Ｓ３０２へ進む。

【0095】

オブジェクト情報表示制御部２１１３が、通信Ｉ／Ｆ２７０を介して、連携するＨＭＤ１００にコマンド（ＡＲオブジェクト情報送信要求）を送信する（Ｓ３０２）。

【0096】

オブジェクト情報表示制御部２１１３が、Ｓ３０２の処理で送信したコマンドに対応して、連携するＨＭＤ１００から送信されたＡＲオブジェクト情報等を、通信Ｉ／Ｆ２７０を介して受信する（Ｓ３０３）。その後Ｓ３０６へ進む。

【0097】

一方、タブレット端末２００の基本動作機能部２１０１が、操作入力装置２２０がユーザＵ１から操作指示（ＡＲオブジェクト固定指示）を取得していないと判断し（Ｓ３０１：Ｎｏ）、オブジェクト情報表示制御部２１１３が、通信Ｉ／Ｆ２７０を介して、連携するＨＭＤ１００からＡＲオブジェクト情報等を受信していると判断すると（Ｓ３０４：Ｙｅｓ）、Ｓ３０５へ進む。

【0098】

Ｓ３０５では、オブジェクト情報表示制御部２１１３が、ディスプレイ２３１に、連携するＨＭＤ１００からＡＲオブジェクト情報等を受信した旨を表示し、受信したＡＲオブジェクト情報に基づいて構成される仮ＡＲオブジェクトをディスプレイ２３１に表示するか否かを、ユーザＵ１に確認する（Ｓ３０５）。ユーザＵ１から、仮ＡＲオブジェクトの表示を許可する操作を受け付けた場合は（Ｓ３０５：Ｙｅｓ）、Ｓ３０６へ進む。

【0099】

Ｓ３０６では、オブジェクト情報表示制御部２１１３が、ディスプレイ２３１（タッチスクリーン２９０）に、連携するＨＭＤ１００から受信したＡＲオブジェクト情報に基づいて構成される仮ＡＲオブジェクトを表示する（Ｓ３０６）。図１３Ｂは、タブレット端末２００のディスプレイ２３１に仮ＡＲオブジェクト４３０が表示された状態を示す。仮ＡＲオブジェクト４３０は、図１３ＡのＡＲオブジェクト４１０が編集可能な状態で表示されたＡＲオブジェクトであり、編集前では仮ＡＲオブジェクト４３０とＡＲオブジェクト４１０とは同様のＡＲオブジェクトである。

【0100】

ＡＲオブジェクト情報を受信していない場合（Ｓ３０４：Ｎｏ）、仮ＡＲオブジェクトの表示が許可されない場合（Ｓ３０５：Ｎｏ）、及びＳ３０６の実行後は、タブレット端末２００におけるＡＲオブジェクト固定処理を終了する。

【0101】

タブレット端末２００のＡＲオブジェクト固定処理において、Ｓ３０１⇒Ｓ３０２⇒Ｓ３０３⇒Ｓ３０６と遷移する処理は、タブレット端末２００でＡＲオブジェクト固定指示を行った場合の処理である。

【0102】

一方、Ｓ３０１⇒Ｓ３０４⇒Ｓ３０５⇒Ｓ３０６と遷移する処理は、ＨＭＤ１００でＡＲオブジェクト固定指示が行われた場合の処理である。

【0103】

ＨＭＤ１００のディスプレイ１３１に表示されているＡＲオブジェクト４１０と、ＡＲオブジェクト固定処理の後にタブレット端末２００のディスプレイ２３１に表示される仮ＡＲオブジェクト４３０は、同一のＡＲオブジェクト情報に基づいて構成される、異なるＡＲオブジェクトである。ＡＲオブジェクト４１０は世界座標系仮想空間に継続して配置され、仮ＡＲオブジェクト４３０は、タブレット端末２００を位置基準とする端末座標系仮想空間（作業空間）に作業中のみ配置される。

【0104】

＜仮ＡＲオブジェクト表示処理（タブレット端末２００）＞
図１５を参照して、タブレット端末２００における仮ＡＲオブジェクト表示処理について説明する。図１５は、タブレット端末２００を位置基準とする端末座標系仮想空間（作業空間）内における位置（座標）情報及び方位情報を示す俯瞰図である。

【0105】

タブレット端末２００のディスプレイ２３１が表示可能な作業空間内の表示範囲２００ｓは、ｘｙ平面内において法線方向２００ｄを基準として角度－θからθの範囲である。なお、端末座標系空間における位置（座標）情報は、（ｘ，ｙ）で表記する。“ｘ”は、タブレット端末２００の筐体長手方向を軸とし、“ｙ”はタブレット端末２００の筐体背面の法線方向を軸とする。ｚ方向（タブレット端末２００の筐体短手方向）に関しては、説明簡略化のため、以降では図示及び説明を省略する。

【0106】

また、端末座標系仮想空間における方位情報をｄで表記する。端末座標系仮想空間の位置情報で指定される座標位置を基準とし、いずれの方向を指向するかを表す。説明簡略化のため、端末座標系仮想空間におけるｘｙ平面内の二次元的な指向方向のみを示すものとする。

【0107】

なお、端末座標系仮想空間においては、タブレット端末２００の基準位置２００ｐが端末座標系仮想空間の位置基準であり、タブレット端末２００の筐体背面部の中心位置の法線方向２００ｄが端末座標系仮想空間の方位基準である。

【0108】

仮ＡＲオブジェクト４３０は、ＡＲオブジェクト４１０を構成するＡＲオブジェクト情報に基づいて、タブレット端末２００の基準位置２００ｐを位置基準とする端末座標系仮想空間に対応するように、絶対座標系仮想空間での位置（座標）情報及び方位情報が変換されて配置される。

【0109】

＜仮ＡＲオブジェクト位置情報及び方位情報算出処理（タブレット端末２００）＞
図１４のＳ３０６の処理で仮ＡＲオブジェクト４３０をディスプレイ２３１に表示する際の位置（座標）情報及び方位情報算出処理について説明する。

【0110】

仮ＡＲオブジェクト４３０の端末座標系仮想空間における位置（座標）情報は下式（１）（２）で変換される。
ｘ（ｏｂｊ０）＝ｘ（ｔａｂ０）＋｛Ｘ（ｏｂｊ０）－Ｘ（ｈｍｄ０）｝・・・（１）
ｙ（ｏｂｊ０）＝ｙ（ｔａｂ０）＋｛Ｙ（ｏｂｊ０）－Ｙ（ｈｍｄ０）｝・・・（２）
但し、
（ｘ（ｏｂｊ０），ｙ（ｏｂｊ０））：端末座標系仮想空間における仮ＡＲオブジェクト４３０の基準位置４３０ｐの位置（座標）情報である。
（ｘ（ｔａｂ０），ｙ（ｔａｂ０））：端末座標系仮想空間におけるタブレット端末２００の基準位置２００ｐの位置（座標）情報であり、端末座標系仮想空間の原点（０，０）とする。
（Ｘ（ｏｂｊ０），Ｙ（ｏｂｊ０））：世界座標系空間における、ＡＲオブジェクト固定処理実行時のＡＲオブジェクト４１０の基準位置４１０Ｐの位置（座標）情報である。
（Ｘ（ｈｍｄ０），Ｙ（ｈｍｄ０））：世界座標系空間における、ＡＲオブジェクト固定処理実行時のＨＭＤ１００の基準位置１００Ｐの位置（座標）情報である。

【0111】

また、仮ＡＲオブジェクト４３０の方位情報４３０ｄは下式（３）で変換される。
ｄ（ｏｂｊ０）＝ｄ（ｔａｂ０）＋｛Ｄ（ｏｂｊ０）－Ｄ（ｈｍｄ０）｝・・・（３）
但し、
ｄ（ｏｂｊ０）：端末座標系仮想空間における仮ＡＲオブジェクト４３０の方位情報である。
ｄ（ｔａｂ０）：端末座標系仮想空間におけるタブレット端末２００の方位情報であり、端末座標系仮想空間における方位基準であって回転角度０度とする。
Ｄ（ｏｂｊ０）：世界座標系空間における、ＡＲオブジェクト固定処理実行時のＡＲオブジェクト４１０の方位情報である。
Ｄ（ｈｍｄ０）：世界座標系空間における、ＡＲオブジェクト固定処理実行時のＨＭＤ１００の方位情報である。

【0112】

ＡＲオブジェクト固定処理実行後は、世界座標系空間におけるＨＭＤ１００とＡＲオブジェクト４１０の位置関係が図１０の状態から変化しても、タブレット端末２００上における仮ＡＲオブジェクト４３０の表示状況に影響を及ぼさない。すなわち、ＡＲオブジェクト４１０がＨＭＤ１００のディスプレイ１３１を介した視野範囲Ｕ１Ｓから外れても、仮ＡＲオブジェクト４３０はタブレット端末２００のディスプレイ２３１に表示され続ける。

【0113】

そして、ＡＲオブジェクト固定処理実行後に、ユーザＵ１がタブレット端末２００の実世界上における位置を変更しても、タブレット端末２００のディスプレイ２３１上における仮ＡＲオブジェクト４３０の表示状況（ディスプレイ２３１内における表示位置や表示方向）は変化しない。すなわち、タブレット端末２００のディスプレイ２３１には、仮ＡＲオブジェクト４３０が、図１５の状態の相対的位置関係を保持して表示される。

【0114】

なお、本実施形態の方位情報は、説明を簡単にするため、Ｙ軸（ｙ軸）を方位基準とした角度（時計方向を正とする）で指定されるが、基準位置を始点とする単位ベクトルの終点を指定する、等の他の方法であっても良い。

【0115】

＜仮ＡＲオブジェクト編集処理（タブレット端末２００）＞
図１６Ａ、図１６Ｂ、図１７を参照して、ＡＲオブジェクト固定処理によりタブレット端末２００のディスプレイ２３１に固定した仮ＡＲオブジェクト４３０の編集処理について説明する。仮ＡＲオブジェクト４３０の編集処理では、仮ＡＲオブジェクト４３０の形状、表示色等の変更、仮ＡＲオブジェクト４３０に関連付けるコメント等の追加等が行える。

【0116】

図１６Ａは、仮ＡＲオブジェクト４３０を編集中のタブレット端末２００の表示画像を示す図である。

【0117】

ディスプレイ２３１には、コメント追加アイコン２９０ａ、横スクロールアイコン２９０ｂ、縦スクロールアイコン２９０ｃ、回転アイコン２９０ｄが表示される。

【0118】

コメント追加アイコン２９０ａをタップすることにより、仮ＡＲオブジェクト４３０に関連付けるコメントを追加できる。

【0119】

横スクロールアイコン２９０ｂ上をスワイプすることにより、ディスプレイ２３１の表示範囲をｘ軸方向にスクロールできる。また縦スクロールアイコン２９０ｃ上をスワイプすることにより、ディスプレイ２３１の表示範囲をｚ軸方向にスクロールできる。これにより、仮ＡＲオブジェクト４３０のディスプレイ２３１内における表示位置を変更できる。

【0120】

回転アイコン２９０ｄ上をスワイプすることにより、仮ＡＲオブジェクト４３０をスワイプ方向に回転できる。

【0121】

図１６Ｂは、仮ＡＲオブジェクト４３０を編集後のタブレット端末２００の表示画像を示す図である。

【0122】

図１６Ｂは、図１６Ａの編集中画面において、仮ＡＲオブジェクト編集処理により、仮ＡＲオブジェクト４３０の近傍の所望の位置にコメントからなる仮追加ＡＲオブジェクト４４０を追加した後の状態を示す。タブレット端末２００のディスプレイ２３１上で仮ＡＲオブジェクト４３０の表示形状の変更や仮ＡＲオブジェクトに関連付けるコメント等の追加等を行っても、この時点では元の（世界座標系仮想空間に配置された）ＡＲオブジェクト４１０の表示形状には影響を及ぼさない。

【0123】

仮ＡＲオブジェクト４３０の編集中、タブレット端末２００は通信Ｉ／Ｆ２７０を介してＨＭＤ１００にコマンド（ＡＲオブジェクト非表示要求）を送信し、ＨＭＤ１００のディスプレイ１３１へのＡＲオブジェクト４１０の表示を休止させるようにしても良い。

【0124】

タブレット端末２００のディスプレイ２３１上での仮ＡＲオブジェクト４３０の編集処理が容易になる。

【0125】

＜仮ＡＲオブジェクト編集結果反映処理（タブレット端末２００）＞
図１７は、タブレット端末２００における仮ＡＲオブジェクト４３０の編集結果を世界座標系仮想空間に配置されているＡＲオブジェクト４１０に反映する処理の流れを示すフローチャートである。

【0126】

タブレット端末２００の基本動作機能部２１０１が操作指示（仮ＡＲオブジェクト編集終了指示）を取得すると（Ｓ４０１：Ｙｅｓ）、オブジェクト情報表示制御部２１１３が、仮ＡＲオブジェクトの形状や表示色等の変更、仮追加ＡＲオブジェクトの追加があったか否かを確認する（Ｓ４０２）。基本動作機能部２１０１が操作指示（仮ＡＲオブジェクト編集終了指示）を取得しない場合は（Ｓ４０１：Ｎｏ）、Ｓ４０１を繰り返す。

【0127】

仮ＡＲオブジェクト４３０の形状や表示色等の変更、仮追加ＡＲオブジェクトの追加があった場合（Ｓ４０２：Ｙｅｓ）、オブジェクト情報表示制御部２１１３が、仮ＡＲオブジェクト４３０を基準とした、仮追加ＡＲオブジェクト４４０（コメント）の相対的位置情報及び相対的方位情報を算出する（Ｓ４０３）。

【0128】

オブジェクト情報表示制御部２１１３が、仮ＡＲオブジェクト４３０に実施された形状、表示色等の変更に関する情報、及び、仮ＡＲオブジェクト４３０に関連して追加された仮追加ＡＲオブジェクト４４０（コメント）に関する情報と、Ｓ４０３の処理で算出した仮追加ＡＲオブジェクト４４０の相対的位置情報及び相対的方位情報を、仮ＡＲオブジェクト編集情報として、連携するＨＭＤ１００に、通信Ｉ／Ｆ２７０を介して送信する（Ｓ４０４）。そして仮ＡＲオブジェクト編集結果反映処理を終了する。

【0129】

仮ＡＲオブジェクト４３０の形状や表示色等の変更、仮追加ＡＲオブジェクトの追加がなかった場合（Ｓ４０２：Ｎｏ）は、仮ＡＲオブジェクト編集結果反映処理を終了する。

【0130】

仮ＡＲオブジェクト編集情報は、仮ＡＲオブジェクトへの形状、表示色等の変更処理と仮追加ＡＲオブジェクトの追加処理のうち、実際に行われた処理に関する情報のみを有する。

【0131】

＜仮ＡＲオブジェクト編集結果反映処理（ＨＭＤ１００）＞
図１８は、ＨＭＤ１００における、タブレット端末２００で実施された仮ＡＲオブジェクト４３０への編集処理の結果をＡＲオブジェクト４１０に反映する処理の流れを示すフローチャートである。

【0132】

ＨＭＤ１００の基本動作機能部１１０１が、通信Ｉ／Ｆ１７０を介して、連携するタブレット端末２００から、仮ＡＲオブジェクト編集情報を受信する（Ｓ５０１）。

【0133】

オブジェクト情報表示制御部１１１４が、仮追加ＡＲオブジェクト４４０の相対的位置情報及び相対的方位情報に基づいて、追加ＡＲオブジェクトを世界座標系仮想空間に配置するための位置情報及び方位情報を算出する（Ｓ５０２）。

【0134】

位置情報算出部１１１１が、位置センサ１５１を介して位置情報発信装置３２０から取得した位置情報信号に基づいて、ＨＭＤ１００の実世界上における位置（座標）情報（Ｘ（ｈｍｄ１），Ｙ（ｈｍｄ１））を算出する（Ｓ５０３）。

【0135】

方位情報算出部１１１３は、センサ群１６０が取得した各種情報（地磁気情報等）に基づいて、ＨＭＤ１００が実世界上において指向する方向に関する方位情報（Ｄ（ｈｍｄ１））を算出する（Ｓ５０４）。

【0136】

オブジェクト情報表示制御部１１１４が、仮追加ＡＲオブジェクト４４０に関する情報に基づいて構成される追加ＡＲオブジェクトを、Ｓ５０２の処理で算出された位置（座標）情報及び方位情報に基づく位置及び指向方向で世界座標系仮想空間内に配置する（Ｓ５０５）。

【0137】

上述のＳ５０２の処理で算出された位置情報に基づく位置が、Ｓ５０３の処理で算出した位置（座標）情報とＳ５０４の処理で算出した方位情報に基づいて設定されるＨＭＤ１００を装着したユーザＵ１の視野範囲Ｕ１Ｓに含まれる場合、ディスプレイ１３１に追加ＡＲオブジェクトを表示する。但し、前述の仮ＡＲオブジェクト編集処理において仮ＡＲオブジェクト４３０への仮追加ＡＲオブジェクト４４０の追加がなかった場合は、Ｓ５０２及びＳ５０５の処理は不要である。

【0138】

オブジェクト情報表示制御部１１１４が、仮ＡＲオブジェクト４３０に実施された形状、表示色等の変更に関する情報に基づいて、世界座標系仮想空間に配置されているＡＲオブジェクト４１０の形状、表示色等を変更する（Ｓ５０６）。形状、表示色等の変更を反映させるＡＲオブジェクト４１０は、ＡＲオブジェクト識別情報により判別されて良い。

【0139】

また、ＡＲオブジェクト４１０の現在の位置情報に基づく位置が、Ｓ５０３の処理で算出した位置（座標）情報とＳ５０４の処理で算出した方位情報に基づいて設定されるＨＭＤ１００を装着したユーザＵ１の視野範囲Ｕ１Ｓに含まれる場合、ディスプレイ１３１にＡＲオブジェクト４１０を表示する。なお、前述の仮ＡＲオブジェクト編集処理において仮ＡＲオブジェクト４３０への形状、表示色の変更等がなかった場合は、Ｓ５０６の処理は不要である。

【0140】

＜追加ＡＲオブジェクト位置情報及び方位情報算出処理（ＨＭＤ１００）＞
図１９Ａは、仮追加ＡＲオブジェクト４４０と仮ＡＲオブジェクト４３０の端末座標系仮想空間内における位置（座標）情報及び方位情報を示す俯瞰図である。図１９Ｂは、追加ＡＲオブジェクト４５０とＡＲオブジェクト４１０の世界座標系仮想空間における位置（座標）情報及び方位情報を示す図である。

【0141】

タブレット端末２００の基準位置２００ｐの座標は（ｘ（ｔａｂ１）ｙ（ｔａｂ１））であり、端末座標系仮想空間における位置基準として座標（０，０）に設定する。また、タブレット端末２００の法線方向２００ｄは、端末座標系仮想空間における方位基準であり、方位ｄ（ｔａｂ１）を方位０に設定する。

【0142】

上述のＳ５０２の処理で、追加ＡＲオブジェクト４５０（図１９Ｂ参照）の基準位置４５０Ｐの世界座標系仮想空間における位置（座標）情報は下式（４）（５）により求める。
Ｘ（ｃｏｍ１）＝Ｘ（ｏｂｊ１）＋｛ｘ（ｃｏｍ１）－ｘ（ｏｂｊ１）｝・・・（４）
Ｙ（ｃｏｍ１）＝Ｙ（ｏｂｊ１）＋｛ｙ（ｃｏｍ１）－ｙ（ｏｂｊ１）｝・・・（５）
但し、
（Ｘ（ｃｏｍ１），Ｙ（ｃｏｍ１））：追加ＡＲオブジェクト４５０の基準位置４５０Ｐ（図１９Ｂ参照）の世界座標系仮想空間における位置（座標）情報である。
（Ｘ（ｏｂｊ１），Ｙ（ｏｂｊ１））：ＡＲオブジェクト４１０の基準位置４１０Ｐの世界座標系仮想空間における位置（座標）情報である。
（ｘ（ｃｏｍ１），ｙ（ｃｏｍ１））：仮追加ＡＲオブジェクト４４０の基準位置４４０ｐ（図１９Ａ参照）の端末座標系仮想空間における位置（座標）情報である。
（ｘ（ｏｂｊ１），ｙ（ｏｂｊ１））：仮ＡＲオブジェクト４３０の基準位置４３０ｐ（図１９Ａ参照）の端末座標系仮想空間における位置（座標）情報である。

【0143】

また、オブジェクト情報表示制御部１１１４は、仮追加ＡＲオブジェクト４４０の端末座標系仮想空間における方位情報４４０ｄを、下式（６）を用いて、追加ＡＲオブジェクト４５０の世界座標系仮想空間における方位情報に変換する。
Ｄ（ｃｏｍ１）＝Ｄ（ｏｂｊ１）＋｛ｄ（ｃｏｍ１）－ｄ（ｏｂｊ１）｝・・・（６）
但し、
Ｄ（ｃｏｍ１）：追加ＡＲオブジェクト４５０の世界座標系仮想空間における方位情報である。
Ｄ（ｏｂｊ１）：ＡＲオブジェクト４１０の世界座標系仮想空間における方位情報である。
ｄ（ｃｏｍ１）：仮追加ＡＲオブジェクト４４０の端末座標系仮想空間における方位情報である。
ｄ（ｏｂｊ１）：仮ＡＲオブジェクト４３０の端末座標系仮想空間における方位情報である。

【0144】

仮ＡＲオブジェクト編集結果反映処理実行時のＡＲオブジェクト４１０の世界座標系仮想空間内における位置が、ＡＲオブジェクト固定処理実行時の位置と異なる場合であっても、追加ＡＲオブジェクト４５０の位置情報及び方位情報は、仮ＡＲオブジェクト編集結果反映処理実行時のＡＲオブジェクト４１０の位置情報及び方位情報に基づいて決定される。

【0145】

仮ＡＲオブジェクト４３０への形状、表示色等の変更を反映したＡＲオブジェクト４１０は、編集を行ったタブレット端末２００の所有者であるユーザＵ１にのみ視認可能であっても良いし、ユーザＵ１が指定した特定のユーザ（友人等）のみに視認可能であっても良いし、全てのユーザに視認可能であっても良い。即ち、仮ＡＲオブジェクト４３０への形状、表示色等の変更を反映したＡＲオブジェクト４１０は、編集を行ったタブレット端末２００と連携するＨＭＤ１００にのみ表示されるものであっても良いし、全てのＨＭＤに表示されるものであっても良い。

【0146】

＜編集結果表示処理（ＨＭＤ１００）＞
図２０は、上述の仮ＡＲオブジェクト編集結果反映処理を行った後の、ユーザＵ１の視界を示す図である。

【0147】

図２０では、ＨＭＤ１００のＡＲオブジェクト表示機能がオンであり、ユーザＵ１は実世界上の実体物及び世界座標系仮想空間に配置されたＡＲオブジェクトを視認する。ユーザＵ１はディスプレイ１３１を透過して噴水の現実オブジェクト４００を視認し、更にディスプレイ１３１に表示された自動車のＡＲオブジェクト４１０とコメントからなる追加ＡＲオブジェクト４５０とを視認する。自動車のＡＲオブジェクト４１０は、ＨＭＤ１００の位置情報に応じてディスプレイ１３１に表示される。コメントからなる追加ＡＲオブジェクト４５０は、ＨＭＤ１００の位置情報に応じてディスプレイ１３１に表示される。

【0148】

第１実施形態によれば、世界座標系仮想空間に配置されるＡＲオブジェクトに対して、ＨＭＤ１００において固定処理（選択操作）を行ってタブレット端末２００を位置基準とする端末座標系仮想空間に仮ＡＲオブジェクトとして送信し、タブレット端末２００で仮ＡＲオブジェクトを編集する操作を行う。ＡＲオブジェクトは、タブレット端末２００に送信されて表示されると、端末座標系で定義された作業空間内に仮ＡＲオブジェクトとして配置される。作業空間内に配置された仮ＡＲオブジェクトは、世界座標系空間におけるＨＭＤ１００やタブレット端末２００やＡＲオブジェクトの変動の影響をうけずにタブレット端末２００に表示し続けられるので、仮ＡＲオブジェクトの形状や表示色の変更、仮ＡＲオブジェクトに関連する仮追加ＡＲオブジェクトの追加等の編集操作を行う際に、ＨＭＤ１００やタブレット端末２００の世界座標系空間内における位置や向きを考慮しなくてよいので、編集操作が容易になる。

【0149】

また、編集作業が終わると、タブレット端末２００上で仮ＡＲオブジェクトに実施された編集処理の結果をＨＭＤ１００に送り、端末座標系仮想空間上で実施された編集処理に関する位置（座標）情報及び方位情報を世界座標系仮想空間における位置（座標）情報及び方位情報に変換して、世界座標系仮想空間内のＡＲオブジェクトに、タブレット端末２００上で行われた編集処理の結果を反映する。そのため、ＨＭＤ１００からＡＲオブジェクトが配置された位置及び方向を視認すると、タブレット端末２００上で端末座標系仮想空間に仮配置された仮ＡＲオブジェクトに対して実施された編集処理が、世界座標系空間に配置されたＡＲオブジェクトに反映され、安定してＨＭＤ１００で視認することができる。

【0150】

［第２実施形態］
第２実施形態は、実空間に存在する実体物の画像からなる現実オブジェクトにコメントからなる追加ＡＲオブジェクトを付加する実施形態である。

【0151】

＜現実オブジェクト固定処理（ＨＭＤ１００）＞
図２１Ａは、ＨＭＤ１００のディスプレイ１３１を介したユーザＵ１の視界を示す図である。

【0152】

ユーザＵ１が現実オブジェクト４００を視認すると、オブジェクト情報表示制御部１１１４が、インカメラ１３４が取得したユーザＵ１の眼部画像に基づいて、ユーザＵ１の視線位置４６０がディスプレイ１３１上のどの位置に対応するかを算出する。視線位置４６０はディスプレイ１３１上に表示されてもよいし、表示されなくてもよい。視線位置４６０が現実オブジェクト４００に重畳している状態、或いは視線位置４６０が現実オブジェクト４００の近隣にある状態で操作指示（現実オブジェクト固定指示）が行われると、現実オブジェクト固定処理が行われる。

【0153】

図２１Ｂは、現実オブジェクト固定処理によりタブレット端末２００のディスプレイ２３１に表示される仮オブジェクト４７０の画像を示す図である。

【0154】

タブレット端末２００のディスプレイ２３１には、現実オブジェクト固定処理により、現実オブジェクト４００の仮想モデルである仮オブジェクト４７０が表示される。仮オブジェクト４７０は、噴水の３Ｄモデルであり、噴水の現実オブジェクト４００の画像情報に基づいて生成した３Ｄモデルである。仮オブジェクト４７０は、ユーザＵ１の操作指示（現実オブジェクト固定指示）に応じて生成され、端末座標系仮想空間に配置されて、ディスプレイ２３１に表示される。

【0155】

図２２は、現実オブジェクト固定処理の流れを示すフローチャートである。

【0156】

ＨＭＤ１００のディスプレイ１３１を介してユーザＵ１が現実オブジェクト４００を視認した状態で、ユーザＵ１が現実オブジェクト固定指示（操作指示）を行うと、基本動作機能部１１０１が操作指示（現実オブジェクト固定指示）を取得し（Ｓ６０１：Ｙｅｓ）、Ｓ６０２へと進む。ユーザＵ１が現実オブジェクト固定指示（操作指示）を行わず、基本動作機能部１１０１が操作指示（現実オブジェクト固定指示）を取得しない場合は（Ｓ６０１：Ｎｏ）、現実オブジェクト固定処理を行わずに終了する。

【0157】

現実オブジェクト固定指示の入力操作として、例えば下記の操作でもよい。
１）ユーザＵ１のタッチ操作をタッチセンサ１２２が受け付ける。
２）ユーザＵ１が発した音声指示をマイク１４３が受け付ける。
３）連携するタブレット端末２００から送信されたコマンドを、通信Ｉ／Ｆ１７０を介して受け付ける。

【0158】

位置情報算出部１１１１が、位置センサ１５１を介して位置情報発信装置３２０から取得した位置情報信号に基づいて、現実オブジェクト固定処理実行時のＨＭＤ１００の実世界上における位置（座標）情報（Ｘ（ｈｍｄ２），Ｙ（ｈｍｄ２））を算出する（Ｓ６０２）。

【0159】

方位情報算出部１１１３が、センサ群１６０が取得した各種情報（地磁気情報等）に基づいて、現実オブジェクト固定処理実行時のＨＭＤ１００が実世界上において指向する方向に関する方位情報（Ｄ（ｈｍｄ２））を算出する（Ｓ６０３）。

【0160】

オブジェクト情報表示制御部１１１４が、インカメラ１３４が取得したユーザＵ１の眼部画像に基づいて、現実オブジェクト固定処理実行時のユーザＵ１の視線位置４６０（図２１Ａ参照）がディスプレイ１３１上のどの位置に対応するかを算出する（Ｓ６０４）。

【0161】

オブジェクト情報表示制御部１１１４は、ディスプレイ１３１上に表示されている現実オブジェクトのうち、Ｓ６０４の処理で算出したユーザＵ１の視線位置４６０に対応する位置に表示されている現実オブジェクト４００を選択する（Ｓ６０５：図２１Ａ（Ａ）の状態）。

【0162】

測距センサ１５２が、現実オブジェクト固定処理実行時の、Ｓ６０５の処理で選択された現実オブジェクト４００とＨＭＤ１００との距離を測定し、距離情報を取得する（Ｓ６０６）。

【0163】

オブジェクト情報表示制御部１１１４が、Ｓ６０２及びＳ６０３の処理で算出したＨＭＤ１００の位置情報及び方位情報、Ｓ６０６の処理で取得した現実オブジェクトに関する距離情報と、から現実オブジェクト固定処理実行時の、Ｓ６０５の処理で選択された現実オブジェクト４００に関する位置（座標）情報（Ｘ（ｏｂｊ２），Ｙ（ｏｂｊ２））を算出する（Ｓ６０７）。また、Ｓ６０５の処理で選択された現実オブジェクト４００に関する方位情報Ｄ（ｏｂｊ２）を設定する。現実オブジェクト４００の方位情報は、位置情報（Ｘ（ｏｂｊ２），Ｙ（ｏｂｊ２））を基準位置としてＨＭＤ１００を指向する方向を設定する。

【0164】

オブジェクト情報表示制御部１１１４が、Ｓ６０６の処理で取得した現実オブジェクト４００に関する距離情報と、アウトカメラ１３３が取得した現実オブジェクト画像と、に基づいて、Ｓ６０５の処理で選択された現実オブジェクト４００に関する３Ｄモデル（現実オブジェクト情報）を作成する（Ｓ６０８）。なお、この処理で作成する３Ｄモデルは、タブレット端末２００上で行う仮オブジェクト編集処理でコメント等の仮追加ＡＲオブジェクトの追加を行う際の位置基準として認識できればよく、現実オブジェクト４００の形状を正確に再現する必要はない。また、現実オブジェクト情報は、Ｓ６０７の処理で算出した現実オブジェクトに関する位置情報及び方位情報を含む。

【0165】

オブジェクト情報表示制御部１１１４が、Ｓ６０８の処理で作成された現実オブジェクト情報を、Ｓ６０２及びＳ６０３の処理で算出したＨＭＤ１００の位置情報及び方位情報と併せて、連携するタブレット端末２００に通信Ｉ／Ｆ１７０を介して送信する（Ｓ６０９）。これで、ＨＭＤ１００における現実オブジェクト固定処理を終了する。

【0166】

＜その他の処理＞
現実空間に存在する実体物の画像からなる現実オブジェクトにコメント等の追加ＡＲオブジェクトを付加するためのその他の処理である、タブレット端末２００で行う現実オブジェクト固定処理、仮オブジェクト編集処理、タブレット端末２００及びＨＭＤ１００で行う編集結果反映処理に関しては、第１実施形態において説明したＡＲオブジェクト固定処理、仮ＡＲオブジェクト編集処理、編集結果反映処理と概略は同様であるので重複説明を省略する。

【0167】

第２実施形態によれば、実空間（世界座標系空間）に配置されている実体物に対して、ＨＭＤ１００において固定処理（選択操作）を行うことにより、実体物の３Ｄモデルを作成して、タブレット端末２００を位置基準とする端末座標系仮想空間に仮オブジェクトとして送信し、タブレット端末２００で仮オブジェクトを位置基準として仮オブジェクトに関連する仮追加ＡＲオブジェクトの追加操作を行うことができる。この結果、第１実施形態と同様の操作で、実空間の実体物に対しても追加ＡＲオブジェクトの追加操作、及びＨＭＤ１００での表示が行える。

【0168】

［第３実施形態］
第３実施形態は、タブレット端末２００ではなく、ＨＭＤ１００のディスプレイ１３１の一部領域に設定したバーチャルパレット領域に作業空間を表示し、そこで仮ＡＲオブジェクトの編集操作を行う。前述のバーチャルパレット領域はＨＭＤ１００を位置基準とする端末座標系仮想空間を表示する領域に、前述のバーチャルパレット領域を除くディスプレイ１３１の残りの領域は世界座標系空間（即ち、実空間及びＡＲオブジェクトが配置される世界座標系仮想空間内）を視認する領域に設定する。

【0169】

＜ＡＲオブジェクト固定処理＞
図２３を参照して、ＡＲオブジェクト４１０を、連携する情報処理装置ではなく、情報表示装置のバーチャルパレット領域１３１Ｖに固定する処理について説明する。図２３Ａは、ＨＭＤ１００のディスプレイ１３１を介したユーザの視界を示す図である。

【0170】

ユーザは、ディスプレイ１３１を介して実世界に存在する噴水の現実オブジェクト４００を視認している。また、世界座標系仮想空間に配置されてディスプレイ１３１に表示された自動車のＡＲオブジェクト４１０も併せて視認している。視線位置マーク４２０は、オブジェクト情報表示制御部１１１４が、インカメラ１３４が取得したユーザＵ１の眼部画像に基づいて算出した、ユーザＵ１のディスプレイ１３１上の視線位置である。ユーザＵ１の視線位置がＡＲオブジェクト４１０に重畳している状態で、或いは、ユーザＵ１の視線位置がＡＲオブジェクト４１０の近隣にある状態でＡＲオブジェクト固定指示を行うと、ＡＲオブジェクト固定処理が実行される。

【0171】

図２３Ｂは、ＡＲオブジェクト固定処理によりバーチャルパレット領域１３１Ｖに仮ＡＲオブジェクト４８０を固定した状態のＨＭＤ１００のディスプレイ１３１を介したユーザの視界を示す図である。本実施形態のＡＲオブジェクト固定処理においては、ＡＲオブジェクト情報を連携する情報処理装置に送信する処理に代替して、前記ＡＲオブジェクト情報に基づいて構成される仮ＡＲオブジェクトをＨＭＤ１００を位置基準とする端末座標系仮想空間内に配置し、バーチャルパレット領域１３１Ｖに表示する。

【0172】

本実施形態によれば、バーチャルパレット領域１３１Ｖは、ディスプレイ１３１の表示領域に確保される。バーチャルパレット領域１３１Ｖは、ＨＭＤ１００を位置基準とした端末座標系仮想空間（作業空間）として扱われる。したがって、ユーザＵ１が指向方向を変更してＡＲオブジェクト４１０が視野範囲Ｕ１Ｓの範囲外（即ち、ディスプレイ１３１に表示されない状態）となっても、仮ＡＲオブジェクト４８０はバーチャルパレット領域１３１Ｖに継続して表示される。バーチャルパレット領域１３１Ｖにて編集作業を行うことにより、タブレット端末２００が不要となる。

【0173】

バーチャルパレット領域１３１Ｖをディスプレイ１３１の他の表示領域（仮想空間が表示される「仮想空間表示領域」に相当する。）と区別するために、バーチャルパレット領域１３１Ｖ内の背景色は濃色としてもよい。ディスプレイ１３１が透過型ディスプレイの場合は、バーチャルパレット領域１３１Ｖでの実世界を表示させる透過度を下げると作業し易くなる。

【0174】

本発明は、上記各実施形態に限定されるものではなく、ある実施形態の構成の一部を他の実施形態に置き換えることが可能である。また、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものであり、さらに文中や図中に現れる数値やメッセージ等もあくまで一例であり、異なるものを用いても本発明の効果を損なうものでない。

【0175】

また、発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実装しても良い。また、マイクロプロセッサユニット、プロセッサ等が動作プログラムを解釈して実行することによりソフトウェアで実装しても良い。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用しても良い。

【0176】

例えば、タブレット端末２００で仮ＡＲオブジェクトや仮追加ＡＲオブジェクトを編集する間は、タブレット端末２００がＨＭＤ１００に対してＡＲオブジェクトの表示機能をＯＦＦにする信号、又は編集対象となっているＡＲオブジェクトのみの表示をＯＦＦにする信号を送信してもよい。そして、仮追加ＡＲオブジェクトをＨＭＤ１００に返信する際に、ＯＦＦ信号を解除する信号（ＯＮ信号）を送信してもよい。

【0177】

また、追加ＡＲオブジェクトはコメントに限らず、ＡＲオブジェクトに関連付けられる任意の図形、テキスト情報、それらの組み合わせでもよい。

【0178】

また、３次元的なコメントは人により見る方向が変わるので、ＡＲオブジェクトを視認する角度に応じて、ＡＲオブジェクトに対するコメント配置やコメントの配置角度を変えてもよい。この場合、ＡＲオブジェクトに対するコメント（追加ＡＲオブジェクト）は、編集処理において位置（座標）情報のみを設定し、方位情報は設定せずにＨＭＤ１００に対して正対するような方位情報を自動設定するようにすればよい。また、その際、ＡＲオブジェクトをよけるように（見えるように）コメントを配置してもよい。

【符号の説明】

【0179】

１ ：拡張現実処理システム
１００ ：ＨＭＤ
１００Ｄ ：ＨＭＤの世界座標系空間における方位情報
１００Ｐ ：ＨＭＤの世界座標系空間における基準位置
１０１ ：プロセッサ
１０２ ：バス
１０３ ：ＲＡＭ
１１０ ：ストレージ
１２０ ：操作入力装置
１２１ ：操作キー
１２２ ：タッチセンサ
１２２Ｌ ：左タッチセンサ
１３０ ：画像処理部
１３１ ：ディスプレイ
１３１Ｖ ：バーチャルパレット領域
１３２ ：画像信号処理部
１３３ ：アウトカメラ
１３３Ｌ ：左アウトカメラ
１３３Ｒ ：右アウトカメラ
１３４ ：インカメラ
１４０ ：音声処理部
１４１ ：スピーカ
１４１Ｌ ：左ステレオスピーカ
１４２ ：音声信号処理部
１４３ ：マイク
１５１ ：位置センサ
１５２ ：測距センサ
１６０ ：センサ群
１６１ ：ジャイロセンサ
１６２ ：地磁気センサ
１６３ ：加速度センサ
１７０ ：通信Ｉ／Ｆ
１８０ ：拡張Ｉ／Ｆ
２００ ：タブレット端末
２００Ｄ ：タブレット端末の世界座標系空間における方位情報
２００Ｐ ：タブレット端末の世界座標系空間における基準位置
２００ｄ ：タブレット端末の端末座標系仮想空間における方位情報
２００ｐ ：タブレット端末の端末座標系仮想空間における基準位置
２００ｓ ：タブレット端末の端末座標系仮想空間における表示範囲
２０１ ：プロセッサ
２０２ ：バス
２０３ ：ＲＡＭ
２１０ ：ストレージ
２２０ ：操作入力装置
２２１ ：操作キー
２２１Ｐ ：電源ＳＷ
２２２ ：タッチセンサ
２２３ ：タッチパネル
２２４ ：ＬＥＤ
２３０ ：画像処理部
２３１ ：ディスプレイ
２３２ ：画像信号処理部
２３３ ：アウトカメラ
２３４ ：インカメラ
２３５ ：ストロボ
２４０ ：音声処理部
２４１ ：スピーカ
２４１Ｍ ：モノラルスピーカ
２４１Ｓ ：ステレオスピーカ
２４２ ：音声信号処理部
２４３ ：マイク
２４３Ｍ ：モノラルマイク
２５１ ：位置センサ
２６０ ：センサ群
２６１ ：ジャイロセンサ
２６２ ：地磁気センサ
２６３ ：加速度センサ
２７０ ：通信Ｉ／Ｆ
２７１ ：ＬＡＮ通信Ｉ／Ｆ
２７２ ：電話網通信Ｉ／Ｆ
２７３ ：ＢＴ通信Ｉ／Ｆ
２８０ ：拡張Ｉ／Ｆ
２８０Ｕ ：ＵＳＢ端子
２９０ ：タッチスクリーン
２９０ａ ：コメント追加アイコン
２９０ｂ ：横スクロールアイコン
２９０ｃ ：縦スクロールアイコン
２９０ｄ ：回転アイコン
３００ ：通信ネットワーク
３１０ ：ＡＲオブジェクトサーバ
３２０ ：位置情報発信装置
４００ ：現実オブジェクト
４１０ ：ＡＲオブジェクト
４１０Ｄ ：ＡＲオブジェクトの世界座標系仮想空間における方位情報
４１０Ｐ ：ＡＲオブジェクトの世界座標系仮想空間における基準位置
４２０ ：視線位置マーク
４３０ ：仮ＡＲオブジェクト
４３０ｄ ：仮ＡＲオブジェクトの端末座標系仮想空間における方位情報
４３０ｐ ：仮ＡＲオブジェクトの端末座標系仮想空間における基準位置
４４０ ：仮追加ＡＲオブジェクト
４４０ｄ ：仮追加ＡＲオブジェクトの端末座標系仮想空間における方位情報
４４０ｐ ：仮追加ＡＲオブジェクトの端末座標系仮想空間における基準位置
４５０ ：追加ＡＲオブジェクト
４５０Ｄ ：追加ＡＲオブジェクトの世界座標系仮想空間における方位情報
４５０Ｐ ：追加ＡＲオブジェクトの世界座標系仮想空間における基準位置
４６０ ：視線位置マーク
４７０ ：仮オブジェクト
４８０ ：仮ＡＲオブジェクト
１００１ ：基本動作プログラム
１００２ ：アプリケーションプログラム
１００９ ：データ記憶領域
１１０１ ：基本動作機能部
１１１１ ：位置情報算出部
１１１２ ：オブジェクト情報取得部
１１１３ ：方位情報算出部
１１１４ ：オブジェクト情報表示制御部
１１９９ ：一時記憶領域
２００１ ：基本動作プログラム
２００２ ：アプリケーションプログラム
２００９ ：データ記憶領域
２１０１ ：基本動作機能部
２１１１ ：位置情報算出部
２１１２ ：方位情報算出部
２１１３ ：オブジェクト情報表示制御部
２１９９ ：一時記憶領域
Ｕ１ ：ユーザ
Ｕ１Ｓ ：視野範囲

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図14】

【図15】

【図16A】

【図16B】

【図17】

【図18】

【図19A】

【図19B】

【図20】

【図21A】

【図21B】

【図22】

【図23A】

【図23B】