特許 7599578 携帯情報端末及びオブジェクト表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-05

(45)【発行日】2024-12-13

(54)【発明の名称】携帯情報端末及びオブジェクト表示方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241206BHJP

   H04N 5/66 20060101ALI20241206BHJP

   G06F 3/0482 20130101ALI20241206BHJP

   G06F 3/01 20060101ALI20241206BHJP

   G09G 5/00 20060101ALI20241206BHJP

   G09G 5/373 20060101ALI20241206BHJP

   G09G 5/38 20060101ALI20241206BHJP

【ＦＩ】

G06T19/00 600

H04N5/66 D

G06F3/0482

G06F3/01 510

G09G5/00 550C

G09G5/373 100

G09G5/38 100

【請求項の数】 18

(21)【出願番号】P 2023546714

(86)(22)【出願日】2021-09-13

(86)【国際出願番号】 JP2021033548

(87)【国際公開番号】W WO2023037547

(87)【国際公開日】2023-03-16

【審査請求日】2024-02-06

(73)【特許権者】

【識別番号】000005810

【氏名又は名称】マクセル株式会社

(74)【代理人】

【識別番号】110000442

【氏名又は名称】弁理士法人武和国際特許事務所

(72)【発明者】

【氏名】橋本 康宣

(72)【発明者】

【氏名】吉澤 和彦

(72)【発明者】

【氏名】川前 治

(72)【発明者】

【氏名】中出 眞弓

(72)【発明者】

【氏名】益岡 信夫

(72)【発明者】

【氏名】秋山 仁

(72)【発明者】

【氏名】永田 英之

【審査官】益戸 宏

(56)【参考文献】

【文献】国際公開第２０２１／０２００６８（ＷＯ，Ａ１）

【文献】国際公開第２０２０／２５５３８４（ＷＯ，Ａ１）

【文献】国際公開第２０１６／２０３７９２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ５／６６

Ｇ０６Ｆ ３／０１

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

表示オブジェクトを表示する携帯情報端末であって、
ディスプレイ、及び当該ディスプレイの表示制御を行うプロセッサを備え、
前記プロセッサは、
前記表示オブジェクトを表示する座標系として、前記携帯情報端末に固定された局所座標系と、前記携帯情報端末に固定されない非局所座標系と、を用いて前記表示オブジェクトを表示する座標を計算し、
前記局所座標系に表示されている前記表示オブジェクトに関連するオブジェクトであって、前記ディスプレイの表示領域からはみ出した拡大領域表示を要する拡大領域表示オブジェクトを表示する際、前記拡大領域表示オブジェクトを前記非局所座標系に配置する、
ことを特徴とする携帯情報端末。

【請求項2】

請求項１に記載の携帯情報端末であって、
前記プロセッサは、
前記ディスプレイの表示領域に前記表示オブジェクトに関連するオブジェクトの全てが表示できる場合は前記局所座標系に配置したまま前記表示領域に表示し、
前記表示オブジェクトに関連するオブジェクトが前記表示領域からはみ出す場合にのみ、前記表示オブジェクトに関連するオブジェクトを前記拡大領域表示オブジェクトとして前記非局所座標系に配置する、
ことを特徴とする携帯情報端末。

【請求項3】

請求項１に記載の携帯情報端末であって、
前記表示オブジェクトに関連するオブジェクトは、前記表示オブジェクトを単純拡大した拡大オブジェクトである、
ことを特徴とする携帯情報端末。

【請求項4】

請求項１に記載の携帯情報端末であって、
前記表示オブジェクトに関連するオブジェクトは、前記ディスプレイの表示領域の部分領域を単純拡大した拡大オブジェクトである、
ことを特徴とする携帯情報端末。

【請求項5】

請求項１に記載の携帯情報端末であって、
前記表示オブジェクトは、メニューを表示したメニューオブジェクトであり、
前記表示オブジェクトに関連するオブジェクトは、前記メニューオブジェクトの一項目についての詳細を表したサブメニューである、
ことを特徴とする携帯情報端末。

【請求項6】

請求項５に記載の携帯情報端末であって、
前記プロセッサは、
前記サブメニューを表示する際に、当該サブメニューの内容を示すタイトルオブジェクトを前記局所座標系に配置して、前記ディスプレイの表示領域に表示する、
ことを特徴とする携帯情報端末。

【請求項7】

請求項５に記載の携帯情報端末であって、
前記プロセッサは、
前記ディスプレイの表示領域における前記サブメニューの表示範囲が、前記サブメニューの一部を切り出して生成される残留領域の大きさ以下であれば、前記残留領域を前記局所座標系に配置して前記ディスプレイの表示領域に表示し、
前記ディスプレイの表示領域に含まれる前記サブメニューの表示範囲が、前記残留領域より大きければ、前記残留領域を生成せずに前記サブメニューを前記非局所座標系に配置する、
ことを特徴とする携帯情報端末。

【請求項8】

請求項１に記載の携帯情報端末であって、
前記携帯情報端末のユーザの視認領域を撮像するカメラを更に備え、
前記ディスプレイは、透過型ディスプレイであり、
前記プロセッサは、
前記カメラの画像に基づいて、前記カメラの画像に撮像された外界の実体物に前記表示オブジェクトが重なると判断すると、前記ディスプレイの表示領域のうち前記外界の実体物が透過して視認できる領域から前記表示オブジェクトを退避させ、前記表示オブジェクトを前記拡大領域表示オブジェクトとして前記非局所座標系に配置し、
前記カメラの画像に前記外界の実体物が撮像されなくなると、前記拡大領域表示オブジェクトを前記表示オブジェクトとして前記局所座標系に再配置する、
ことを特徴とする携帯情報端末。

【請求項9】

請求項１に記載の携帯情報端末であって、
前記携帯情報端末のユーザの視認領域を撮像するカメラを更に備え、
前記ディスプレイは、透過型ディスプレイであり、
前記プロセッサは、
前記ディスプレイの表示領域のうち、前記表示オブジェクトを表示させない制限領域を設け、前記表示オブジェクトを前記制限領域から退避させると前記表示領域からはみ出す場合に、前記表示オブジェクトを前記拡大領域表示オブジェクトとして前記非局所座標系に配置する、
ことを特徴とする携帯情報端末。

【請求項10】

請求項１に記載の携帯情報端末であって、
前記携帯情報端末のユーザの視認領域を撮像するカメラを更に備え、
前記ディスプレイは、透過型ディスプレイであり、
前記プロセッサは、
前記ディスプレイの表示領域のうち、前記表示オブジェクトを表示させない制限領域を設け、前記拡大領域表示オブジェクトのうち前記制限領域に重なる部分は、当該部分の透過率をあげて前記非局所座標系に配置する、
ことを特徴とする携帯情報端末。

【請求項11】

請求項１に記載の携帯情報端末であって、
前記非局所座標系は、前記携帯情報端末のユーザの胸部に固定された座標系からなる胸部座標系である、
ことを特徴とする携帯情報端末。

【請求項12】

請求項１に記載の携帯情報端末であって、
前記非局所座標系は、前記携帯情報端末のユーザの頭部の平均的な位置及び向きに固定して設定する慣性座標系である、
ことを特徴とする携帯情報端末。

【請求項13】

請求項１に記載の携帯情報端末であって、
前記非局所座標系は、世界座標系とは異なる前記非局所座標系であって、当該非局所座標系の鉛直方向を、実世界の鉛直方向に一致させた方向固定非局所座標系である、
ことを特徴とする携帯情報端末。

【請求項14】

請求項１に記載の携帯情報端末であって、
前記携帯情報端末は、スマートフォン又はタブレット端末であって、
前記非局所座標系は、前記スマートフォン又は前記タブレット端末に搭載された平面型ディスプレイの画面を延長した２次元座標系からなる面固定非局所座標系である、
ことを特徴とする携帯情報端末。

【請求項15】

請求項１に記載の携帯情報端末であって、
カメラを更に備え、
前記プロセッサは、
前記カメラの画像に基づいて、ユーザの手を用いたジェスチャー動作を認識して入力操作を受け付け、
前記ユーザの手の指の本数及び前記ユーザの手の動きを用いて、前記非局所座標系の種類の指定操作及び前記表示オブジェクトを前記拡大領域表示オブジェクトに変換、又は前記拡大領域表示オブジェクトから前記表示オブジェクトに再変換する前記入力操作を受け付ける、
ことを特徴とする携帯情報端末。

【請求項16】

請求項１に記載の携帯情報端末であって、
前記プロセッサは、
前記ディスプレイの表示領域に表示された前記表示オブジェクトの指定及び当該表示オブジェクトを配置する前記非局所座標系の種類の指定を、前記表示オブジェクトに固定ピンオブジェクトを指す操作により受け付け、
前記固定ピンオブジェクトが指された前記表示オブジェクトを前記拡大領域表示オブジェクトに変換し、前記指定された種類の前記非局所座標系に配置する、
ことを特徴とする携帯情報端末。

【請求項17】

請求項１に記載の携帯情報端末であって、
前記プロセッサは、
前記表示オブジェクトに関連するオブジェクトを強制的に非局所座標系に配置するユーザ指示を受付ける、
ことを特徴とする携帯情報端末。

【請求項18】

携帯情報端末に搭載されたディスプレイに表示オブジェクトを表示するオブジェクト表示方法であって、
前記携帯情報端末に搭載されたプロセッサが、
前記表示オブジェクトを表示する座標系として、前記携帯情報端末に固定された局所座標系と、前記携帯情報端末に固定されない非局所座標系と、を用いて前記表示オブジェクトを表示する座標を計算するステップと、
前記局所座標系に表示されている前記表示オブジェクトに関連するオブジェクトであって、前記ディスプレイの表示領域からはみ出した拡大領域表示を要する拡大領域表示オブジェクトを表示する際、前記拡大領域表示オブジェクトを前記非局所座標系に配置するステップと、を実行する、
ことを特徴とするオブジェクト表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

携帯情報端末及びオブジェクト表示方法であって、特に仮想オブジェクトの表示に適した使い勝手のよい携帯情報端末及び仮想オブジェクト表示方法を提供する。

【背景技術】

【0002】

従来、ヘッドマウントディスプレイ（ＨＭＤ）に仮想オブジェクトを表示する技術がある。このような仮想オブジェクトの表示技術において用いられる座標系として、世界座標系と局所座標系とが知られている。

【0003】

世界座標系とは現実世界の座標系であり、世界座標系に配置した仮想オブジェクトは、ユーザがその場所から離れると、見えなくなる。反面、現実世界と同じ広さがあるので、大量の仮想オブジェクトを配置することができる。

【0004】

一方、局所座標系は、ＨＭＤに固定された座標系であり、ＨＭＤに搭載されたディスプレイとも位置関係が固定される。そしてユーザの視点から見て、ディスプレイの表示面が存在する方向に配置された仮想オブジェクトが、ディスプレイに表示される。ディスプレイの表示面が存在する方向範囲内の局所座標系に仮想オブジェクトを配置すれば、ＨＭＤを装着したままユーザが移動してもディスプレイも局所座標系に固定されているので常に仮想オブジェクトを表示させ、操作することができる。反面、上記方向範囲に配置した仮想オブジェクトしか表示できないので仮想オブジェクトの配置数に制限がある。

【0005】

このように、世界座標系及び局所座標系の２つしか仮想オブジェクト配置用の座標系を持たない従来技術では、頻繁に参照したい仮想オブジェクトを大量に配置できない、という課題があった。また、無理にディスプレイの表示面が存在する方向内に仮想オブジェクトを配置すると外界の視認性が低下する、という課題も生じていた。

【0006】

この課題を解決するための技術として、特許文献１では「仮想オブジェクト表示装置は、ディスプレイ、及び当該ディスプレイの表示制御を行う表示制御装置を備え、表示制御装置は、仮想オブジェクト表示装置の現実世界内での移動と回転を検出し、仮想オブジェクト装置の移動に対して座標原点が追従し、仮想オブジェクト表示装置の回転によってディスプレイの有効視野範囲が座標系内で回転する慣性座標系を用いて、慣性座標系仮想オブジェクトの配置位置を定義する座標系計算部と、ディスプレイの有効視野範囲に慣性座標系仮想オブジェクトが含まれると、当該有効視野範囲に慣性座標系仮想オブジェクトを表示する表示制御部と、を含む。（要約抜粋）」ことが提案されている。

【先行技術文献】

【特許文献】

【0007】

【文献】国際公開第２０２０／１５７９５５号

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１では、仮想オブジェクトを配置する座標系として、局所座標系と世界座標系の他に、慣性座標系を設けて、オブジェクトの表示方法の選択肢を増やし、ユーザの利便性を向上させることができる。

【0009】

しかし局所座標系に配置した仮想オブジェクトに関し、大きな表示面積を必要とする関連した仮想オブジェクトを表示する際に配置座標系に対する考慮がない、より詳しくは、局所座標系に配置した仮想オブジェクトの大きさを変更した場合、例えばディスプレイをスクロールするといった更なるアクションを行ってディスプレイの表示領域を変更しない限りはディスプレイからはみ出した仮想オブジェクトを視認することはできないという課題があった。

【0010】

本発明は、上記実情に鑑みてなされたものであり、局所座標系及び局所座標系とは異なる他の座標系を併用して表示オブジェクトを表示する際のユーザ利便性を更に向上させることを目的とする。

【課題を解決するための手段】

【0011】

上記課題を解決するために、本発明は、請求の範囲に記載の構成を備える。その一例を挙げるならば、表示オブジェクトを表示する携帯情報端末であって、ディスプレイ、及び当該ディスプレイの表示制御を行うプロセッサを備え、前記プロセッサは、前記表示オブジェクトを表示する座標系として、前記携帯情報端末に固定された局所座標系と、前記携帯情報端末に固定されない非局所座標系と、を用いて前記表示オブジェクトを表示する座標を計算し、前記局所座標系に表示されている前記表示オブジェクトに関連するオブジェクトであって、前記ディスプレイの表示領域からはみ出した拡大領域表示を要する拡大領域表示オブジェクトを表示する際、前記拡大領域表示オブジェクトを前記非局所座標系に配置する、ことを特徴とする。

【発明の効果】

【0012】

本発明によれば、局所座標系及び局所座標系とは異なる他の座標系を併用して表示オブジェクトを表示する際のユーザ利便性を更に向上させることができる。上述した以外の目的、構成、効果については以下の実施形態において明らかにされる。

【図面の簡単な説明】

【0013】

【図1】ＨＭＤの外観構成例を示す図。

【図2】ＨＭＤの機能ブロック構成例を示す図。

【図3】単純拡大表示の処理の流れを示すフローチャート。

【図4】単純拡大表示における表示態様の遷移を示す説明図。

【図5】強制拡大領域表示の処理の流れを示すフローチャート。

【図6】単純拡大表示の変形例を示す図。

【図7】大型関連表示例を示す図。

【図8】大型関連表示例を示す図。

【図9】大型関連表示例を示す図。

【図10A】図９の処理の流れを示すフローチャート。

【図10B】図９の処理の流れを示すフローチャート。

【図11】退避表示例を示す図。

【図12】図１１の処理の流れを示すフローチャート。

【図13】退避表示の別例を示す図。

【図14】図１３の処理の流れを示すフローチャート。

【図15】透過表示の例を示す図。

【図16】胸部座標系（Ｘ_Ｂ、Ｙ_Ｂ、Ｚ_Ｂ）の説明図。

【図17】慣性座標系（Ｘ_Ｉ、Ｙ_Ｉ、Ｚ_Ｉ）の説明図。

【図18】方向固定非局所座標系（Ｘ_Ｖ、Ｙ_Ｖ、Ｚ_Ｖ）の説明図。

【図19】面固定非局所座標系（Ｘ_Ｐ、Ｙ_Ｐ）の説明図。

【図20】面固定非局所座標系（Ｘ_Ｐ、Ｙ_Ｐ）の説明図。

【図21】第２実施形態に係るユーザインタフェースの説明図。

【図22】第３実施形態に係るユーザインタフェースの説明図。

【発明を実施するための形態】

【0014】

以下、本発明の実施形態について図面を用いて説明する。全図を通じて同一の構成、処理には同一の符号を付し、重複説明を省略する。

【0015】

＜ハードウェア構成＞
以下の実施形態では、携帯情報端末としてＨＭＤ（ヘッドマウントディスプレイ）を用いて説明する。

【0016】

図１は、ＨＭＤ１の外観構成例を示す図である。

【0017】

図１において、ＨＭＤ１は、眼鏡状の筐体１０に、表示領域１１１を含むディスプレイ１０３を備える。このディスプレイ１０３は、例えば透過型のディスプレイ１０３であり、表示領域１１１には外界の実像が透過され、その実像上に画像が重畳表示される。筐体１０には、コントローラ１００、アウトカメラ１０９、測距センサ１１５、また測距センサ１１５を除く他のセンサ（図１ではセンサ群１１０と記載する）等が実装されている。なお、図１では測距センサ１１５をセンサ群１１０とは別に図示するが、測距センサ１１５もセンサの一種であるので、後述する図２においてはセンサ群１１０に測距センサ１１５を含んで図示する。

【0018】

アウトカメラ１０９は、例えば筐体１０の左右両側に配置された２つのカメラを有し、ＨＭＤ１の前方を含む範囲を撮影して画像を取得する。ＨＭＤ１の前方を含む範囲には、ＨＭＤ１を装着したユーザの視認領域が含まれる。

【0019】

測距センサ１１５は、ＨＭＤ１と外界の物体との距離を測定するセンサである。測距センサ１１５は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式のセンサを用いてもよいし、ステレオカメラや他の方式を用いてもよい。

【0020】

センサ群１１０は、ＨＭＤ１の位置及び向きの状態を検出するためのセンサを複数含む。筐体１０の左右には、マイクを含む音声入力装置１０６、スピーカやイヤホン端子を含む音声出力装置１０５等を備える。

【0021】

ＨＭＤ１には、リモートコントローラ等の操作器２０が付属していてもよい。その場合、ＨＭＤ１は、その操作器２０との間で例えば近距離無線通信を行う。ユーザは、手で操作器２０を操作することで、ＨＭＤ１の機能に関する指示入力や表示領域１１１でのカーソル移動等ができる。

【0022】

ＨＭＤ１は、外部機器（例えばスマートフォンやＰＣ等）と通信して連携を行ってもよい。例えば、ＨＭＤ１は、外部機器のアプリケーションからＡＲ（拡張現実：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）オブジェクトの画像データを受信してもよい。

【0023】

ＨＭＤ１は、表示オブジェクトを表示領域１１１に表示させてもよい。例えば、ＨＭＤ１は、ユーザを誘導するための表示オブジェクトを生成し、表示領域１１１に表示する。ユーザから見ると、表示領域１１１に表示された表示オブジェクトは、表示領域１１１を透過して視認される現実世界に対して付加された拡張現実空間に配置されるＡＲオブジェクトとなる。

【0024】

図２は、図１のＨＭＤ１の機能ブロック構成例を示す図である。本実施形態では、携帯情報端末の例としてＨＭＤ１を例に挙げて説明するが、スマートフォン５（図１９、図２０参照）やタブレット端末など他の携帯情報端末も同様の構成である。

【0025】

ＨＭＤ１は、プロセッサ１０１、メモリ１０２、ディスプレイ１０３、無線通信器１０４、スピーカ等を含む音声出力装置１０５、マイクを含む音声入力装置１０６、操作入力部１０７、バッテリ１０８、アウトカメラ１０９、及びセンサ群１１０等を備える。これらの要素はバス等を通じて相互に接続されている。

【0026】

プロセッサ１０１は、ＣＰＵ、ＧＰＵ等で構成され、ＨＭＤ１のコントローラ１００を構成する。プロセッサ１０１は、メモリ１０２に格納された制御プログラム３１やアプリケーションプログラム３２に従った処理を実行することにより、ＯＳ、ミドルウェア、アプリケーション等の機能や他の機能を実現する。

【0027】

メモリ１０２は、ＲＯＭ、ＲＡＭ等で構成され、プロセッサ１０１等が扱う各種のデータや情報を記憶する。メモリ１０２には、一時的な情報として、アウトカメラ１０９、によって取得された画像や検出情報等も格納される。

【0028】

アウトカメラ１０９は、レンズから入射した光を撮像素子で電気信号に変換して画像を取得する。

【0029】

測距センサ１１５は、例えばＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサを用いる場合、外界に出射した光が物体に当たって戻ってくるまでの時間から、その物体までの距離を計算する。

【0030】

センサ群１１０は、例えば、加速度センサ１４１、ジャイロセンサ（角速度センサ）１４２、地磁気センサ１４３、ＧＰＳ受信器１１４、測距センサ１１５を含む。センサ群１１０は、これらのセンサの検出情報を用いて、ＨＭＤ１の位置、向き、動き等の状態を検出する。ＨＭＤ１は、これに限らず、照度センサ、近接センサ、気圧センサ等を備えてもよい。

【0031】

ディスプレイ１０３は、表示駆動回路や表示領域１１１を含み、表示情報３４の画像データに基づいて、表示領域１１１に表示オブジェクトを表示する。なお、ディスプレイ１０３は、透過型ディスプレイに限らず、非透過型ディスプレイ等としてもよい。

【0032】

無線通信器１０４は、所定の各種の通信インタフェースに対応する通信処理回路やアンテナ等を含む。通信インタフェースの例は、モバイル網、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線等が挙げられる。無線通信器１０４は、他のＨＭＤ１やアクセスポイントとの間での無線通信処理等を行う。無線通信器１０４は、操作器２０との近距離通信処理も行う。

【0033】

音声入力装置１０６は、マイクからの入力音声を音声データに変換する。音声入力装置１０６は、音声認識機能を備えてもよい。

【0034】

音声出力装置１０５は、音声データに基づいてスピーカ等から音声を出力する。音声出力装置１０５は、音声合成機能を備えてもよい。

【0035】

操作入力部１０７は、ＨＭＤ１に対する操作入力、例えば電源オンまたはオフや音量調整等を受け付ける部分であり、ハードウェアボタンやタッチセンサ等で構成される。

【0036】

バッテリ１０８は、各部に電力を供給する。

【0037】

プロセッサ１０１は、処理によって実現される機能ブロックの構成例として、通信制御部１０１Ａ、表示制御部１０１Ｂ、データ処理部１０１Ｃ、及びデータ取得部１０１Ｄを有する。

【0038】

メモリ１０２には、制御プログラム３１、アプリケーションプログラム３２、設定情報３３、表示情報３４、端末位置姿勢情報３５等が格納されている。

【0039】

制御プログラム３１は、表示制御を含めＨＭＤ１全体の制御を実現するためのプログラムである。

【0040】

アプリケーションプログラム３２は、ユーザが利用する各種プログラムである。

【0041】

設定情報３３は、各機能に係わるシステム設定情報やユーザ設定情報を含む。

【0042】

表示情報３４は、表示オブジェクトを表示領域１１１に表示するための画像データや位置座標情報を含む。

【0043】

端末位置姿勢情報３５は、非局所座標系における携帯情報端末の位置及び姿勢を計算するための、ＨＭＤ１の移動、姿勢変化に係る情報である。

【0044】

通信制御部１０１Ａは、他のＨＭＤ１との通信の際等に、無線通信器１０４を用いた通信処理を制御する。

【0045】

表示制御部１０１Ｂは、表示情報３４を用いて、ディスプレイ１０３の表示領域１１１への表示オブジェクト等の表示を制御する。

【0046】

データ処理部１０１Ｃは、端末位置姿勢情報３５を読み書きし、非局所座標系における携帯情報端末の位置及び姿勢の計算等を行う。

【0047】

データ取得部１０１Ｄは、アウトカメラ１０９及びセンサ群１１０等の各種のセンサから各検出データを取得し、端末位置姿勢情報３５を生成する。

【0048】

＜第１実施形態＞
第１実施形態は、携帯情報端末１が、局所座標系に配置した表示オブジェクトに対するユーザの表示変更指示を受け、新たに表示する表示オブジェクトが局所座標系の表示領域よりも大きな領域を必要とした場合に、その新たに表示する表示オブジェクトを非局所座標系に配置して表示する実施形態である。

【0049】

第１実施形態の説明に先立ち、本実施形態の説明で用いる用語について説明する。

【0050】

「局所座標系」とは、ＨＭＤ１のディスプレイ１０３の表示領域１１１に固定された座標系である。ＨＭＤ１を装着したユーザは、どこに顔をむけても表示領域１１１が眼前に配置されている限り、目の前に見える座標系である。

【0051】

「非局所座標系」とは、ディスプレイ１０３の表示領域１１１に固定されていない座標系である。例えば実空間に固定されている世界座標系（Ｘ_Ｗ、Ｙ_Ｗ、Ｚ_Ｗ）である。ＨＭＤ１の向きや位置を変更することにより、非局所座標系の表示領域を変更することができる。すなわち、ＨＭＤ１のユーザが首を回すと見えるところが変わる座標系である。非局所座標系として、世界座標系の他、ユーザの首から下の体の正面に固定された座標系や、首が平均的に向いている方向を正面とする慣性座標系がある。これらについては後述する。

【0052】

「拡大領域表示」とは、ディスプレイ１０３の表示領域１１１よりも大きな領域を必要とする表示のことである。すなわち、「拡大領域表示」とは、「拡大領域」を必要とする表示であり、必ず表示オブジェクトが「拡大」しているわけではない。表示オブジェクトが「拡大」することなく、同サイズでディスプレイの１０３の表示領域１１１外へ配置することを以下の説明では「退避」ともいう。

【0053】

図３、図４を参照して第１実施形態について説明する。図３は、単純拡大表示の処理の流れを示すフローチャートである。図４は、単純拡大表示における表示態様の遷移を示す説明図である。以下、図３のステップ順に沿って表示変更指示が「単純拡大表示指示」である場合を例に挙げて説明する。

【0054】

（単純拡大表示）
単純拡大表示とは、局所座標系に表示されている表示オブジェクトを拡大し、同内容の拡大表示オブジェクトとして局所座標系または非局所座標系に配置して表示する表示態様である。

【0055】

ＨＭＤ１のプロセッサ１０１は、初期状態では図４上段に示すように、表示領域１１１ａに表示オブジェクト３００を表示させる（Ｓ１０１）。ＨＭＤ１の表示領域１１１ａ内における表示位置を示す座標系は、ＨＭＤ１に固定された局所座標系である。局所座標系は、３軸直交座標系であり、表示領域１１１ａの左右方向をＹ_Ｌ軸、表示領域１１１ａの高さ方向をＺ_Ｌ軸、表示領域１１１ａに垂直な奥行方向をＸ_Ｌ軸とする。表示領域１１１ａの表示位置は、ある平面に制限する場合は、２次元座標（Ｙ_Ｌ,Ｚ_Ｌ）で表せる。局所座標系に対して表示オブジェクトを３次元的に配置することも可能である。この場合、表示位置は３次元座標（Ｘ_Ｌ,Ｙ_Ｌ,Ｚ_Ｌ）で表され、ユーザが視認できる表示領域は、ユーザ視点を頂点とする角錐状の領域となる。

【0056】

プロセッサ１０１は、局所座標系（Ｘ_Ｌ、Ｙ_Ｌ、Ｚ_Ｌ）に表示オブジェクト３００を配置して表示領域１１１ａに表示している状態で、ユーザ指示を待受ける（Ｓ１０２）。ユーザの表示変更指示がなければ（Ｓ１０３：ＮＯ）、待機する（Ｓ１０２）。

【0057】

ユーザが、表示変更指示として、表示オブジェクト３００に関連した拡大表示オブジェクトを表示する指示「単純拡大表示指示」を行い、プロセッサ１０１が単純拡大表示指示の入力を受け付けると（Ｓ１０３：Ｙｅｓ）、表示オブジェクト３００を拡大した拡大オブジェクト３０１の大きさを算出し、表示領域１１１ａ外への表示が必要かを判断する（Ｓ１０４）。

【0058】

プロセッサ１０１は、拡大オブジェクト３０１が表示領域１１１ａ内に表示しきれず、表示領域１１１ａ外への表示が必要と判断すると（Ｓ１０４：Ｙｅｓ）、拡大オブジェクト３０１を拡大領域表示オブジェクトとして非局所座標系（例えば世界座標系）に配置して表示する（Ｓ１０５）。図４の例では、表示オブジェクト３００を単純拡大表示した拡大オブジェクト３０１は、表示領域１１１ａからはみ出さなければ表示ができない。そこで、プロセッサ１０１は、拡大オブジェクト３０１を拡大領域表示オブジェクトとして非局所座標系に配置する。「非局所座標系に配置」するとは、具体的にはプロセッサ１０１は、拡大オブジェクト３０１の非局所座標系における座標を計算し、表示情報３４に記憶する。端末位置姿勢情報３５と表示情報３４とを用いることで、ＨＭＤ１の表示領域１１１の角錐状の方向位置に拡大領域表示オブジェクトが含まれると、ＨＭＤ１のディスプレイ１０３に表示する。

【0059】

図４下段に示すように、非局所座標系に配置された拡大オブジェクト３０１のうち、表示領域１１１ａからはみだした部分はそのままでは視認できない。そこで、ＨＭＤ１の方向を図４における紙面右上方向にずらすと、表示領域１１１ａから表示領域１１１ｂへと非局所座標系内の位置が変化する。表示領域１１１ｂでは、拡大オブジェクト３０１のより大きな部分が表示される。

【0060】

プロセッサ１０１は、非局所座標系（Ｘ_Ｗ、Ｙ_Ｗ、Ｚ_Ｗ）に拡大オブジェクト３０１（拡大領域表示オブジェクト）を配置した状態で、ユーザ指示を待受ける（Ｓ１０６）。

【0061】

プロセッサ１０１は、拡大領域表示終了指示の入力を受け付けると（Ｓ１０７：ＹＥＳ）、拡大領域表示を終了する（Ｓ１０８）。「拡大領域表示を終了する」とは、拡大オブジェクト３０１を縮小して表示オブジェクト３００のサイズに戻して局所座標系に配置し直すことを意味する。ユーザの指示がなければ（Ｓ１０７：ＮＯ）、待機する（Ｓ１０６）。

【0062】

一方、プロセッサ１０１は、拡大オブジェクトが表示領域１１１ａ内に表示できると判断すると（Ｓ１０４：ＮＯ）、拡大オブジェクトを局所座標系に配置したまま表示する（Ｓ１０９）。

【0063】

プロセッサ１０１は、局所座標系（Ｘ_Ｌ、Ｙ_Ｌ、Ｚ_Ｌ）に拡大オブジェクトを配置した状態で、ユーザ指示を待受ける（Ｓ１１０）。

【0064】

表示オブジェクト３００の表示終了指示の入力を受け付けると（Ｓ１１１：ＹＥＳ）、表示を終了する（Ｓ１１２）。表示終了指示がなければ（Ｓ１１１：ＮＯ）、ユーザの指示を待受ける（Ｓ１１０）。

【0065】

（強制拡大領域表示）
単純拡大表示の変形例である強制拡大領域表示について説明する。図５は、強制拡大領域表示の処理の流れを示すフローチャートである。拡大後の表示オブジェクトの大きさに関わらず、強制的に拡大領域表示とし、非局所座標系に拡大表示オブジェクトを配置する。表示オブジェクトを大きくすると同時に、視線の正面方向、すなわち顔の正面方向で、表示オブジェクトをじっくり見たい場合に好適である。

【0066】

図５の強制拡大領域表示の場合のフローチャートは、拡大領域表示にしない分岐がない以外は、図３のフローチャートと基本的に同じである。但し、ユーザ指示の確認が、強制拡大領域指示であるかどうかの確認に変わる（Ｓ１０３ａ）。

【0067】

（単純拡大表示の別例）
図６は、単純拡大表示の変形例を示す図である。

【0068】

単純拡大の変形例として、図６上段に示すように表示領域１１１ａの指定した部分領域１１２を拡大表示の対象としてもよい。

【0069】

図６では、指定した部分領域１１２が単純拡大される結果、部分領域１１２内にある複数の表示オブジェクト３０２、３０３も単純拡大される。アウトカメラ１０９が撮像した画像内の領域を切り出して、その切り出した部分画像部分を拡大してもよい。拡大対象となった表示オブジェクト３０２、３０３を拡大した拡大オブジェクト３０４、３０５は、両方とも拡大領域表示オブジェクトとして非局所座標系に配置される。

【0070】

図６の例では、プロセッサ１０１が部分領域１１２の指定とその「拡大領域表示指示」を「表示変更指示」としてユーザから受け付けると（Ｓ１０３）、プロセッサ１０１が部分領域１１２全体を単純拡大した拡大オブジェクト１１３を生成する。その中に表示オブジェクト３０２，３０３の其々を単純拡大した拡大オブジェクト３０４、３０５が含まれる。プロセッサ１０１は、拡大オブジェクト１１３を拡大領域表示オブジェクトとして非局所座標系（例えば世界座標系）に配置して表示する（Ｓ１０５）。

【0071】

拡大領域表示になるものとして、図５、図６に示す単純拡大表示の他、以下のものがある。

【0072】

（大型関連表示）
「大型関連表示」とは、表示オブジェクトに関連した別の表示オブジェクトに切替える、あるいは関連する新たな表示オブジェクトを表示する表示形態である。その際、関連表示オブジェクトが、表示領域を越える大きな表示領域を必要とする場合、拡大領域表示となる。図７から図９を参照して関連表示について説明する。図７、図８、図９の各図は、メニュー表示を例として関連表示例を示す図である。

【0073】

図７の例では、局所座標系に配置されたメニューオブジェクト３１０の一項目をユーザが選択指示を行うと、「選択指示」を「表示変更指示」として受付ける（Ｓ１０３：ＹＥＳ）。プロセッサ１０１は、メニューオブジェクト３１０に関連付けられたサブメニュー３１１を表示情報３４から読み出す。サブメニュー３１１が表示領域１１１ａ内に表示しきれず、表示領域１１１ａ外への表示が必要と判断すると（Ｓ１０４：Ｙｅｓ）、「表示変更指示」を「拡大領域表示指示」と解釈し、サブメニュー３１１を非局所座標系（例えば世界座標系）に配置して表示する（Ｓ１０５）。この場合も、サブメニュー３１１の大きさに関わらず強制的に非局所座標系に配置する「強制拡大領域表示指示」を受付けてもよい。

【0074】

図８の例では、更に、サブメニュー３１１を非局所座標系（例えば世界座標系）に配置して表示する（Ｓ１０５）と共に、サブメニュー３１１を非局所座標系に配置していることを示すタイトルオブジェクト３１２を局所座標系に配置する。すなわち、ステップＳ１０５においてタイトルオブジェクト３１２を局所座標系に配置する処理をプロセッサ１０１が追加して実行する。

【0075】

これにより、サブメニュー３１１を非局所座標系に配置すると、ＨＭＤ１の向きによってはサブメニュー３１１が表示領域１１１ａからはみ出して見えなくなる。そこでタイトルオブジェクト３１２を局所座標系に配置して、サブメニュー３１１が非局所座標系に配置されていうことを通知する。

【0076】

図９は、図８と同様にサブメニュー３１１を非局所座標系に配置すると、ＨＭＤ１の向きによってはサブメニュー３１１が表示領域１１１ａからはみ出して見えなくなる使い勝手の悪さを解消する例である。図９上段に示す表示領域１１１ａでは、サブメニュー３１１のおおよそ左半分が表示領域１１１ａに表示されている。ＨＭＤ１を左に向けると、図９中段に示す表示領域１１１ｂのように、サブメニュー３１１の左半分よりも更に左端側のみが表示される。図９上段及び図９中段に図示したように表示領域１１１ａ、１１１ｂに残っているサブメニュー３１１の部分領域が残留領域３１３の大きさ以上の場合は、サブメニュー位置は動かない。更に、ＨＭＤ１を左に向けると、サブメニュー３１１が全く表示されなくなる。そこで、図９下段に示す表示領域１１１ｃでは、サブメニュー３１１の一部を切り出した残留領域３１３を局所座標系に配置する。これにより、サブメニュー３１１が非局所座標系に配置していること通知する。

【0077】

図１０Ａ及び図１０Ｂは、図９の処理の流れを示すフローチャートである。なお、図９では、図３と重複するステップについては記載を省略または同一のステップ番号を付している。

【0078】

プロセッサ１０１は、サブメニュー３１１を非局所座標系（例えば世界座標系）に配置して表示し（Ｓ１０５）、ユーザの指示を待受ける（Ｓ１０６）。プロセッサ１０１は、拡大領域表示終了指示の入力を受け付けると（Ｓ１０７：ＹＥＳ）、拡大領域表示を終了する（Ｓ１０８）。ユーザの指示がなければ（Ｓ１０７：ＮＯ）、アウトカメラ１０９から画像を、及びセンサ群１１０からセンサ出力を取得し（Ｓ１２０）、表示領域１１１ａの非局所座標系の位置と向きとを演算する。そして、表示領域１１１ａにおいてサブメニュー３１１が表示されている表示範囲と残留領域３１３の大きさとを比較する。表示領域１１１ａに表示を残す残留領域３１３の大きさは予め決めておく。

【0079】

サブメニュー３１１の表示領域１１１ａ内の表示範囲が残留領域３１３より大きければ（Ｓ１２１：ＮＯ）、ステップＳ１０６へ戻り、ユーザの指示を待つ。

【0080】

サブメニュー３１１の表示領域１１１ａ内の表示範囲が残留領域３１３以下であれば（Ｓ１２１：ＹＥＳ）、サブメニュー３１１から残留領域３１３を切り出して局所座標系に配置、表示する。また、そのときのサブメニュー３１１の非局所座標系の位置を記憶しておく（Ｓ１２２）。図９の表示領域１１１ｂは残留領域３１３が切り出す時点を示す。表示領域１１１ｃは、表示領域１１１ｂよりも更にＨＭＤ１の向きが変わり、残留領域３１３だけが表示された状態を示す。

【0081】

プロセッサ１０１は、ユーザ指示を待ち受け（Ｓ１０６）、拡大領域表示終了指示を受領するまでは（Ｓ１０７：ＮＯ）、アウトカメラ１０９の画像及びセンサ群１１０のセンサ出力を取得し（Ｓ１２３）、残留領域３１３の表示開始位置までＨＭＤ１の位置又は向きが復帰したかを監視する（Ｓ１２４）。

【0082】

プロセッサ１０１は、復帰したと判断すると（Ｓ１２４：ＹＥＳ）、残留領域３１３のみの表示から、サブメニュー３１１表示に復帰させる（Ｓ１２５）。図９では、表示領域１１１ａの表示に戻る。その後、ステップＳ１０５へ戻る。

【0083】

プロセッサ１０１は、残留領域３１３の表示開始位置までＨＭＤ１の位置又は向きが復帰していないと判断すると（Ｓ１２４：ＮＯ）、表示領域１１１ｃの表示状態を維持したまま、ステップＳ１０６へ戻る。

【0084】

拡大領域表示終了指示があれば（Ｓ１０７：ＹＥＳ）、拡大領域表示終了、即ちサブメニュー３１１の表示を終了する（Ｓ１０８）。

【0085】

残留領域３１３を用いた拡大領域表示を行うことで、メニュー等、表示領域から完全に消えては困るオブジェクトの場合、ＨＭＤ１の位置や向きを変更しても、最低限の部分は表示領域の周辺部に残るよう、表示位置を調節することができる。

【0086】

以上、メニュー表示を例に、大型関連表示の例を説明したが、大型関連表示はメニュー表示に限らない。例えば、アプリ内における階層遷移に伴う新しいオブジェクトの表示であってもよい。あるいはまた、局所座標系内に配置されているアプリの起動に伴う新しいオブジェクトの表示であってもよい。

【0087】

さらに、新たに表示されるオブジェクト毎に、表示する座標系を管理テーブル等で指定しておいても構わない。この指定は、表示オブジェクトの大きさに従う、という指定の他、大きさに関わらず、具体的に、非局所座標系を指定してもよいし、大きさが小さいオブジェクトの場合、局所座標系を指定してもよい。またさらに、表示オブジェクトの初期の表示位置を指定してもよい。このような表示座標系の指定がある場合、その指定をユーザによる表示変更指示、あるいは拡大領域表示指示と解釈して処理を行う。なお、管理テーブルの内容は、ユーザが変更できるようにしてもよい。

【0088】

また、ユーザの表示変更指示により新しい表示オブジェクトを表示する場合の他、アプリ等で自動的に表示を行う表示オブジェクトに対しても同じ処理を行ってもよい。すなわち、アプリ等で自動的に表示を行う表示オブジェクトが局所座標系の表示領域内で表示できる場合は局所座標系に配置し、表示できない場合は非局所座標系に配置してもよい。

【0089】

（表示位置制限１：退避表示）
拡大領域表示に切替える際、外界の実体物を含めて他のオブジェクト視認妨害となる際は、妨害とならない位置に表示位置をずらす「退避表示」を行ってもよい。透過型ＨＭＤでは外界の事物を視認するために、表示オブジェクトが妨害になる場合に視認妨害にならない位置に表示オブジェクトを移動させる表示形態である。図１１は、退避表示例を示す図である。

【0090】

図１１の例では、外界の事物として知り合いの人物３２２を視認中に表示オブジェクト３２０を局所座標系に配置すると、図１１上段のように知り合いの人物３２２に表示オブジェクト３２０が重なる。そこでプロセッサ１０１は、表示オブジェクト３２０を知り合いの人物３２２に被らないように移動して表示する。移動により、表示オブジェクト３２０の表示に要する領域が表示領域１１１ａの外に出てしまうので、表示オブジェクト３２０を拡大領域表示オブジェクト３２１として非局所座標系に配置する。

【0091】

図１２は、図１１の処理の流れを示すフローチャートである。

【0092】

プロセッサ１０１が、表示オブジェクト３２０を局所座標系に配置して表示すると（Ｓ１０１）、知り合いの人物３２２に被った状態となる（図１１上段）。プロセッサ１０１は、この状態でユーザ指示を待受ける（Ｓ１０２）。ユーザが表示変更指示として「退避指示」を入力すると、「退避指示」が「拡大領域表示指示」となる（Ｓ１０３：ＹＥＳ）。

【0093】

プロセッサ１０１は、アウトカメラ１０９からの画像を基に表示領域１１１ａにおいて知り合いの人物３２２（退避対象）が見える非局所座標系における位置を算出する（Ｓ１３０）。

【0094】

プロセッサ１０１が、表示領域外への表示が必要と判断すると（Ｓ１３１：ＹＥＳ）、退避対象から退避させて非局所座標系に配置し、拡大領域表示オブジェクト３２１を表示する（Ｓ１３２）。

【0095】

プロセッサ１０１が、ユーザ指示待ち受けをしている状態で（Ｓ１０６）、ユーザが「退避解除指示」を入力すると、「退避解除指示」が「拡大領域表示終了指示」となる（Ｓ１０７：ＹＥＳ）。プロセッサ１０１は、表示オブジェクト３２０を非局所座標系から局所座標系に配置を変えて拡大領域表示を終了する（Ｓ１０８）。その結果、図１１の下段に示すように表示が復元する。

【0096】

表示オブジェクトを退避させる対象は、外界の事物だけでなく、表示領域１１１ａ内の表示オブジェクト同士で視認妨害になる場合も同様に退避表示を行ってもよい。

【0097】

上記「退避指示」及び「退避解除指示」は、ユーザによる入力操作としてジェスチャー動作を用い、プロセッサ１０１がジェスチャー動作を認識する例に挙げて説明したが、ＨＭＤ１のプロセッサ１０１がアウトカメラ１０９から画像を取得し、表示領域１１１ａ内に透過して見える外界の事物の位置を算出したり、他の表示オブジェクトの位置を算出し、外界の事物や他の表示オブジェクトに表示オブジェクトが重なるかを判断し、その判断結果に応じて「退避指示」「退避解除指示」を行ってもよい。

【0098】

一方、プロセッサ１０１が、表示領域外への表示が不要と判断すると（Ｓ１３１：ＮＯ）、表示オブジェクトを局所座標系に配置したまま表示する（Ｓ１０９）。

【0099】

プロセッサ１０１は、局所座標系（Ｘ_Ｌ、Ｙ_Ｌ、Ｚ_Ｌ）に表示オブジェクトを配置した状態で、ユーザ指示を待受ける（Ｓ１１０）。

【0100】

表示オブジェクト３００の表示終了指示の入力を受け付けると（Ｓ１１１：ＹＥＳ）、表示を終了する（Ｓ１１２）。表示終了指示がなければ（Ｓ１１１：ＮＯ）、ユーザの指示を待受ける（Ｓ１１０）。

【0101】

図１３は、退避表示の別例を示す図である。図１３の例では、予防的にユーザの身体の正面方向の領域等、妨害が発生しやすい領域（制限領域４００）を避けて拡大領域表示オブジェクト３２３を表示する。この制限領域４００は非局所座標系で定義される領域である。

【0102】

図１４は、図１３の処理の流れを示すフローチャートである。

【0103】

ユーザが表示変更指示として「退避指示」を入力すると、「退避指示」が「拡大領域表示指示」となる（Ｓ１０３：ＹＥＳ）。

【0104】

プロセッサ１０１は、制限領域４００と拡大領域表示オブジェクト３２３とが重なると判断すると（Ｓ１４０：ＹＥＳ）、制限領域４００から退避させて拡大領域表示オブジェクト３２３を表示する（Ｓ１４１）。その後ユーザ指示の待受けを行う（Ｓ１０６）。

【0105】

プロセッサ１０１は、制限領域４００と拡大領域表示オブジェクト３２３とが重ならないと判断すると（Ｓ１４０：ＮＯ）、拡大領域表示オブジェクト３２３を非局所座標系に配置して表示する（Ｓ１４２）。その後ユーザ指示の待受けを行う（Ｓ１０６）。

【0106】

単純拡大の場合、正面方向に広がらないように、拡大中心の位置を調整してもよい。例えば表示領域１１１ａの周辺から予め定めた内側領域を基準とし、それよりも制限領域４００から離れる方向に拡大するように設定してもよい。なお、事前に退避表示を行う前に、表示に使用されるエリアを妨害が少ない方法で示し、退避表示を行うかどうかをユーザに選択させてもよい。

【0107】

（透過表示）
拡大領域表示に切替える際、外界の実体物を含めて他のオブジェクト視認妨害となる際は、妨害となる部分の表示オブジェクトの透過率を上げる「透過表示」を行ってもよい。

【0108】

図１５は、透過表示の例を示す図である。図１５の例では、予防的にユーザの身体の正面方向の領域等、妨害が発生しやすい領域（制限領域４００）を設けておき、拡大領域表示オブジェクト３２３において制限領域４００と重なる領域は、表示オブジェクトの透過率を上げる。

【0109】

図１５の例では、プロセッサ１０１が図１４のステップＳ１４１で制限領域４００から退避させて非局所座標系に拡大領域表示オブジェクトを表示する処理に代えて、制限領域４００に重なる部分の透過率をあげて非局所座標系の位置はそのままに拡大領域表示オブジェクト３２３を表示する。

【0110】

(元の表示オブジェクトの処理)
拡大領域表示をする前の表示オブジェクトに対する拡大領域表示後の処理についてもいくつかの方法がある。大きくは非表示とするか、表示したままとするか、に分けられる。表示したままにする場合も、そのまま表示する、表示位置をずらす、アイコン化して縮小表示にする、色の薄い表示とする、等適当な方法を選択可能である。

【0111】

第１実施形態によれば、局所座標系の表示オブジェクトを拡大すると局所座標系、即ちディスプレイ１０３の表示領域１１１に表示しきれない場合に、拡大領域表示オブジェクトとして非局所座標系に配置しかえることで、ＨＭＤ１の向きや位置を変えだけで拡大領域表示オブジェクトが視認でき、使い勝手が向上する。

【0112】

更に拡大オブジェクトの表示に必要な表示領域の大きさ、妨害回避等で制限を受ける表示位置の制約等から、局所座標系への配置では拡大オブジェクトの全体が見えなくなる場合は、非局所座標系に配置して拡大領域表示とし、拡大オブジェクトが局所座標系に納まる場合はそのまま局所座標系で表示することで、できるだけ局所座標系に表示し、ユーザの利便性を向上させることができる。

【0113】

＜非局所座標系＞
非局所座標系は、ＨＭＤ１の表示領域１１１ではなく実空間に固定されていれば世界座標系以外とは異なる非局所座標系を用いてもよい。どの非局所座標系を用いるかは、適宜ユーザ指示により切替えてもよい。以下、非局所座標系の変形例について説明する。

【0114】

（胸部座標系）
図１６は、胸部座標系（Ｘ_Ｂ、Ｙ_Ｂ、Ｚ_Ｂ）の説明図である。

【0115】

胸部座標系とは、ＨＭＤ１を装着したユーザの胸部に固定した座標系である。胸部の正面方向を中心として表示オブジェクトを配置できるので、体の向きが変わっても、首を無理に回さなくてもすむ範囲で、表示オブジェクトの配置領域を好適に広げることができる。

【0116】

固定方法として、ＨＭＤ１のリモートコントローラを首から下げて、そのリモートコントローラに胸部座標系を固定してもよい。また、ＨＭＤ１でユーザの体幹を撮像し、胸部を画像から認識し、胸部までの距離を求めて胸部に固定してもよい。

【0117】

（慣性座標系）
図１７は、慣性座標系（Ｘ_Ｉ、Ｙ_Ｉ、Ｚ_Ｉ）の説明図である。

【0118】

慣性座標系とは、頭部の平均的な位置及び向きに固定して設定する座標系である。胸部座標系に似ているが、胸部座標系は、胸部に固定されると動かないのに対し、慣性座標系は、例えば作業の都合で、ユーザの顔の向きが体幹正面からずれた方向を向く時に、顔の向き、すなわち頭部の平均的な向きに追随して座標系の方向が設定される点で異なる。慣性座標系に表示オブジェクトを配置すると、自動的に表示オブジェクトの配置領域が顔の正面方向近傍に位置するので、ユーザにとっての使い勝手が向上する。

【0119】

（方向固定非局所座標系）
図１８は、方向固定非局所座標系（Ｘ_Ｖ、Ｙ_Ｖ、Ｚ_Ｖ）の説明図である。

【0120】

方向固定非局所座標系とは、世界座標系とは異なる非局所座標系において、鉛直方向は、実世界の鉛直方向に合わせたものである。例えば、Ｚ軸方向を常に鉛直方向に合わせるように座標系を回転させる（図１８）。なお、回転中心とする座標原点は、ユーザ近傍に設定する。これにより、例えばＨＭＤ１の場合、表示されたオブジェクトの鉛直方向が保たれていた方が自然に感じる効果がある。

【0121】

（面固定非局所座標系）
図１９、図２０は、面固定非局所座標系（Ｘ_Ｐ、Ｙ_Ｐ）の説明図である。

【0122】

面固定非局所座標系（Ｘ_Ｐ、Ｙ_Ｐ）とは、携帯情報端末としてスマートフォン５やタブレットなど、ユーザの身体に装着しない携帯情報端末を用いた場合に、携帯情報端末とユーザの視点位置（眼球位置）との距離が変わる携帯情報端末用の座標系である。上記の非局所座標系に表示オブジェクトを配置した場合、スマートフォン５とユーザの視点位置から距離が変わる場合、画面上で表示オブジェクトの大きさが変わってしまうので、スマートフォン５やタブレットに搭載された平面型ディスプレイの画面を延長した２次元座標系からなる非局所座標系を用いる。

【0123】

具体的には、スマートフォン５において、適宜設定された３次元の非局所座標系内での移動量の、スマートフォン５の画面と平行になる成分の積算量だけスマートフォン５の非局所座標系における位置を変更する。このとき、面固定非局所座標系の軸方向は、スマートフォン５の局所座標系の軸方向と平行に保つ（図１９）。これにより、ユーザにとって自然な形で、ユーザ正面の広い領域に、スマートフォン５の画面の延長領域となる座標系を構成することができる。

【0124】

なお、実空間で、スマートフォン５の縦横がスマートフォン５の筐体に対して入れ替わっても、面固定非局所座標系のＸ軸、Ｙ軸は、それぞれスマートフォン５の局所座標系のＸ軸、Ｙ軸に平行にする（図２０参照）。

【0125】

ＨＭＤ１やスマートフォン５、タブレットなどの携帯情報端末において、局所座標系の他、複数の非局所座標系のいずれかを選択して用いてもよい。

【0126】

また、携帯情報端末の表示画面に、表示に使用している座標系をマーク等でユーザに分かるようにしてもよい。

【0127】

＜第２実施形態＞
第２実施形態は、拡大領域表示指示と表示に用いる座標系の指定とを同時に行う実施形態である。

【0128】

図２１は、第２実施形態に係るユーザインタフェースの説明図である。

【0129】

指を広げるジェスチャー動作で拡大縮小指示を行うが、使う指の本数は表示オブジェクト３３０に関連する拡大領域表示オブジェクト３３１を配置する非局所座標系の種類の指定操作を兼ねる。例えば、３本指は世界座標系、５本指は胸部座標系、等である。また、２本指を使ってピンチイン操作をすると局所座標系に変換するように構成してもよい。これにより、簡単な指示動作で、配置座標系の制御が可能となる。

【0130】

＜第３実施形態＞
図２２は、第３実施形態に係るユーザインタフェースの説明図である。

【0131】

固定ピンオブジェクト５００をイメージした表示オブジェクトを用意し、非局所座標系と対応付ける。その固定ピンオブジェクト５００を表示オブジェクトに指す操作は、拡大領域表示オブジェクトに変換する表示オブジェクトの指定操作と、配置先となる非局所座標系の種類の指定操作とを兼ねる。固定ピンオブジェクト５００を指さない（ピン止めしない）表示オブジェクトは、局所座標系に配置し続ける。ピンを抜いたら局所座標系に切替える。また、非局所座標系のピンを指す動作が、座標系の切替だけで、拡大領域表示指示となっていなくてもよい。これにより、直観的な指示動作で座標系の切替えを行うことができる。

【0132】

更に、単純拡大指示の場合、ピンを刺した位置を固定してオブジェクトの拡大を行うこととしてもよい。

【0133】

本実施形態によれば、ＨＭＤ１、スマートフォン５、タブレットなどの携帯情報端末の画面に表示した表示オブジェクトを拡大したり、関連するより表示領域が大きくなる表示オブジェクトを表示する際に、必要に応じて局所座標系から非局所座標系に配置することで、小型のディスプレイでも使い勝手を向上させることができるので資源の効率化につながる。また、ディスプレイの小型化により消費電力を節約できることから、本実施形態は、ＳＤＧｓ７の目標達成への貢献が期待できる。

【0134】

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0135】

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

【符号の説明】

【0136】

１ ：ＨＭＤ
５ ：スマートフォン
１０ ：筐体
２０ ：操作器
３１ ：制御プログラム
３２ ：アプリケーションプログラム
３３ ：設定情報
３４ ：表示情報
３５ ：端末位置姿勢情報
１００ ：コントローラ
１０１ ：プロセッサ
１０１Ａ ：通信制御部
１０１Ｂ ：表示制御部
１０１Ｃ ：データ処理部
１０１Ｄ ：データ取得部
１０２ ：メモリ
１０３ ：ディスプレイ
１０４ ：無線通信器
１０５ ：音声出力装置
１０６ ：音声入力装置
１０７ ：操作入力部
１０８ ：バッテリ
１０９ ：アウトカメラ
１１０ ：センサ群
１１１、１１１ａ、１１１ｂ、１１１ｃ ：表示領域
１１２ ：部分領域
１１３ ：拡大オブジェクト
１１４ ：ＧＰＳ受信器
１１５ ：測距センサ
１４１ ：加速度センサ
１４２ ：ジャイロセンサ
１４３ ：地磁気センサ
３００、３０２、３０３、３２０、３３０ ：表示オブジェクト
３０１、３０４、３０５ ：拡大オブジェクト
３１０ ：メニューオブジェクト
３１１ ：サブメニュー
３１２ ：タイトルオブジェクト
３１３ ：残留領域
３２１、３２３、３３１ ：拡大領域表示オブジェクト
３２２ ：人物
４００ ：制限領域
５００ ：固定ピンオブジェクト

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】