特開 2024-166505 ユーザインターフェース提供装置、ユーザインターフェース提供方法及びユーザインターフェース提供プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024166505

(43)【公開日】2024-11-29

(54)【発明の名称】ユーザインターフェース提供装置、ユーザインターフェース提供方法及びユーザインターフェース提供プログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241122BHJP

   G06F 3/0482 20130101ALI20241122BHJP

   G06F 3/0346 20130101ALI20241122BHJP

   H04N 5/64 20060101ALI20241122BHJP

   G09G 5/00 20060101ALI20241122BHJP

   G09G 5/38 20060101ALI20241122BHJP

【ＦＩ】

G06F3/01 510

G06F3/0482

G06F3/0346 425

H04N5/64 511A

G09G5/00 550C

G09G5/38 100

G09G5/00 550B

G09G5/00 530M

G09G5/38 110

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023082644

(22)【出願日】2023-05-19

(71)【出願人】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100147304

【弁理士】

【氏名又は名称】井上 知哉

(74)【代理人】

【識別番号】100148493

【弁理士】

【氏名又は名称】加藤 浩二

(72)【発明者】

【氏名】大屋 修司

【テーマコード（参考）】

5B087

5C182

5E555

【Ｆターム（参考）】

5B087AA09

5B087BC05

5B087DE03

5B087DE06

5C182AA31

5C182AB34

5C182AB35

5C182AC03

5C182AC42

5C182BA01

5C182BA03

5C182BA06

5C182BA14

5C182BA29

5C182BA39

5C182BA56

5C182BA65

5C182BA66

5C182CB42

5C182CB52

5C182CC15

5C182DA44

5C182DA65

5E555AA64

5E555BA02

5E555BA04

5E555BA38

5E555BB02

5E555BB04

5E555BB38

5E555BE17

5E555CA10

5E555CA44

5E555CA45

5E555CB12

5E555CB14

5E555CB15

5E555CB16

5E555CB19

5E555CB21

5E555CB42

5E555CB76

5E555CC03

5E555DA08

5E555DA09

5E555DB11

5E555DB17

5E555DB18

5E555DB20

5E555DC02

5E555DC09

5E555DC19

5E555DC31

5E555DC58

5E555DC85

5E555FA00

(57)【要約】

【課題】手を用いずに、周囲にいる公衆に不自然な印象を与えることなく、頭部装着デバイスに関する操作を行うことを可能にする。
【解決手段】ユーザインターフェース提供装置は、頭部装着デバイスに備えられるディスプレイにアイコンを表示させ、前記頭部装着デバイスに備えられるセンサにより検知される頭部の動きに応じて前記アイコンを移動させるアイコン表示部と、前記アイコンが設定領域内に表示されている状態が設定時間に渡って継続した場合に前記アイコンに応じた処理を実行する処理実行部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

頭部装着デバイスに備えられるディスプレイにアイコンを表示させ、前記頭部装着デバイスに備えられるセンサにより検知される頭部の動きに応じて前記アイコンを移動させるアイコン表示部と、
前記アイコンが設定領域内に表示されている状態が設定時間に渡って継続した場合に前記アイコンに応じた処理を実行する処理実行部と、
を備えるユーザインターフェース提供装置。

【請求項2】

前記処理は、前記アイコンが選択されたことを示すエフェクトを前記ディスプレイに表示させる表示処理である
請求項１に記載のユーザインターフェース提供装置。

【請求項3】

前記エフェクトは、前記アイコンの外周に沿って線を走らせるアニメーションである
請求項２に記載のユーザインターフェース提供装置。

【請求項4】

前記設定時間は、第１の設定時間であり、
前記処理実行部は、前記アイコンが前記設定領域内に表示されている状態が前記第１の設定時間より長い第２の設定時間に渡って継続した場合に前記アイコンに対応づけられたアプリケーションを起動する起動処理を実行する
請求項２に記載のユーザインターフェース提供装置。

【請求項5】

前記処理は、前記アイコンに対応づけられたアプリケーションを起動する起動処理である
請求項１に記載のユーザインターフェース提供装置。

【請求項6】

前記ディスプレイは、映像を表示する表示領域を有し、
前記設定領域は、前記表示領域の中央に設定される
請求項１に記載のユーザインターフェース提供装置。

【請求項7】

前記アイコン表示部は、前記アイコンを含む複数のアイコンを前記ディスプレイに表示させ、前記動きに応じて前記複数のアイコンを同じ方向に同じ距離移動させる
請求項１に記載のユーザインターフェース提供装置。

【請求項8】

前記複数のアイコンは、左右方向に一列に配列され、
前記動きは、視点を左右方向に動かす動きである
請求項７に記載のユーザインターフェース提供装置。

【請求項9】

前記複数のアイコンは、上下左右方向に行列状に配列され、
前記動きは、前記上下左右方向の動きである
請求項７に記載のユーザインターフェース提供装置。

【請求項10】

前記複数のアイコンは、直前に実行されたアプリケーションが対応づけられた直前実行アイコンを含み、
前記アイコン表示部は、前記直前実行アイコンが前記設定領域内に表示された状態で前記複数のアイコンを表示させることを開始する
請求項７に記載のユーザインターフェース提供装置。

【請求項11】

前記アイコン表示部は、前記動きにより視点が動く方向と逆の方向に前記アイコンを移動させる
請求項１に記載のユーザインターフェース提供装置。

【請求項12】

請求項１から１１までのいずれかに記載のユーザインターフェース提供装置と、
前記頭部装着デバイスと、
を備えるユーザインターフェース提供システム。

【請求項13】

頭部装着デバイスに備えられるディスプレイにアイコンを表示させることと、
前記頭部装着デバイスに備えられるセンサにより検知される頭部の動きに応じて前記アイコンを移動させることと、
前記アイコンが設定領域内に表示されている状態が設定時間に渡って継続した場合に前記アイコンに応じた処理を実行することと、
を備えるユーザインターフェース提供方法。

【請求項14】

頭部装着デバイスに備えられるディスプレイにアイコンを表示させることと、
前記頭部装着デバイスに備えられるセンサにより検知される頭部の動きに応じて前記アイコンを移動させることと、
前記アイコンが設定領域内に表示されている状態が設定時間に渡って継続した場合に前記アイコンに応じた処理を実行することと、
をコンピュータに実行させるユーザインターフェース提供プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ユーザインターフェース提供装置、ユーザインターフェース提供方法及びユーザインターフェース提供プログラムに関する。

【背景技術】

【0002】

特許文献１は、通信システムを開示する。当該通信システムにおいては、拡張現実（ＡＲ）グラスが、ユーザの頭部に装着される。モーションコントローラは、ユーザの手に持たれる。スマートデバイスは、モーションコントローラから送信された加速度センサの検出結果を基に、ユーザの手の動きを取得する（段落００１７－００１９）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－１８５２３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示されたＡＲグラスに代表されるクロスリアリティ（ＸＲ）デバイスの操作方法には、一般的には、ハンドコントローラを用いる操作方法、スマートフォンコントローラを用いる操作方法、ハンドトラッキングによる操作方法及び本体の操作部材を用いる操作方法の４種類の操作方法がある。

【0005】

ハンドコントローラを用いる操作方法においては、ユーザが手に持つハンドコントローラから出る仮想のビームがアイコンに当てられてアイコンが選択され、ハンドコントローラに備えられるボタンが押された場合にアイコンの選択が確定される。

【0006】

スマートフォンコントローラを用いる操作方法においては、ユーザが手に持つスマートフォンから出る仮想のビームがアイコンに当てられてアイコンが選択され、スマートフォンに備えられるボタンが押された場合にアイコンの選択が確定される。

【0007】

ハンドトラッキングによる操作方法においては、ＸＲデバイスに備えられるカメラによりユーザの手の形状が認識され、認識された手の形状に応じた形状を有する手が表示され、表示された手でアイコンが触れられた場合にアイコンの選択が確定される。

【0008】

本体の操作部材を用いる操作方法においては、ＸＲデバイスに備えられるボタン、タッチパッド等の操作部材に対して行われた操作に応じてカーソルが動かされてアイコンの選択が確定される。

【0009】

ハンドコントローラ又はスマートフォンコントローラを用いる操作方法が採用された場合は、ユーザの手が塞がれる。このため、ハンドコントローラ又はスマートフォンコントローラを用いる操作方法が採用された場合は、ＸＲデバイスが野外で使用されるときに、ＸＲデバイスの用途が制限される。

【0010】

ハンドトラッキングによる操作方法が採用された場合は、ユーザは、操作を行うために、目の前に手をかざし、かざした手を動かさなければならない。このため、ユーザが周囲にいる公衆に不自然な印象を与える。

【0011】

本体ボタンを用いる操作方法が採用された場合は、操作を行うために、本体の操作部材に対して操作を行わなければならない。このため、ＸＲデバイスに触れなければならない。このため、ＸＲデバイスにより表示される映像が振動で揺れる。

【0012】

本開示の一態様は、これらの問題に鑑みてなされた。本開示の一態様は、手を用いずに、周囲にいる公衆に不自然な印象を与えることなく、頭部装着デバイスに関する操作を行うことを可能にするユーザインターフェース提供装置、ユーザインターフェース提供方法及びユーザインターフェース提供プログラムを提供することを目的とする。

【課題を解決するための手段】

【0013】

本開示の一態様のユーザインターフェース提供装置は、頭部装着デバイスに備えられるディスプレイにアイコンを表示させ、前記頭部装着デバイスに備えられるセンサにより検知される頭部の動きに応じて前記アイコンを移動させるアイコン表示部と、前記アイコンが設定領域内に表示されている状態が設定時間に渡って継続した場合に前記アイコンに応じた処理を実行する処理実行部と、を備える。

【図面の簡単な説明】

【0014】

【図1】第１実施形態のユーザインターフェース提供システム、及び当該ユーザインターフェース提供システムに備えられる拡張現実（ＡＲ）グラスを装着したユーザを模式的に図示する正面図である。

【図2】第１実施形態のユーザインターフェース提供システムのブロック図である。

【図3】第１実施形態のユーザインターフェース提供システムに備えられるＡＲグラスのディスプレイを模式的に図示する平面図である。

【図4】第１実施形態のユーザインターフェース提供システムに備えられるＡＲグラスのディスプレイの表示領域、及び当該ＡＲグラスを装着した頭部の変化を模式的に図示する図である。

【図5】第１実施形態のユーザインターフェース提供システムに備えられるＡＲグラスのディスプレイの表示領域の変化を模式的に図示する図である。

【図6】第１実施形態のユーザインターフェース提供システムに備えられるスマートフォンのアイコン表示部により行われる処理の流れを示すフローチャートである。

【図7】第１実施形態のユーザインターフェース提供システムに備えられるスマートフォンの処理実行部により行われる処理の流れを示すフローチャートである。

【図8】第１実施形態のユーザインターフェース提供システムにより得られる視覚効果を模式的に図示する斜視図である。

【図9】第１実施形態のユーザインターフェース提供装置に備えられるスマートフォンの、スマートフォンコントローラユーザインターフェース（ＵＩ）を提供するための構成のブロック図である。

【図10】第１実施形態のユーザインターフェース提供装置に備えられるスマートフォンのタッチパネルディスプレイに表示されるコントローラ画面を模式的に図示する平面図である。

【図11】第１実施形態のユーザインターフェース提供システムに備えられるＡＲグラスのディスプレイの表示領域の変化を模式的に図示する図である。

【図12】第１実施形態のユーザインターフェース提供システムに備えられるスマートフォンのタッチパネルディスプレイに表示されるアプリケーション一覧表示画面を模式的に図示する平面図である。

【図13】第１実施形態のユーザインターフェース提供システムに備えられるスマートフォンのタッチパネルディスプレイに表示されるジェスチャー操作一覧表示画面を模式的に図示する平面図である。

【図14】第１実施形態のユーザインターフェース提供システムに備えられるスマートフォンのハードウェアのブロック図である。

【図15】第２実施形態のユーザインターフェース提供システムに備えられるＡＲグラスのディスプレイの表示領域、及び当該ＡＲグラスを装着した頭部の変化を模式的に図示する図である。

【発明を実施するための形態】

【0015】

以下、本開示の実施形態について、図面を参照しつつ説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。

【0016】

１ 第１実施形態
１．１ ユーザインターフェース提供システム
図１は、第１実施形態のユーザインターフェース提供システム、及び当該ユーザインターフェース提供システムに備えられる拡張現実（ＡＲ）グラスを装着したユーザを模式的に図示する正面図である。

【0017】

図１に図示される第１実施形態のユーザインターフェース提供システム１は、ユーザインターフェース提供システム１に備えられるＡＲグラス１１を装着したユーザ２１にユーザインターフェースを提供する。提供されるユーザインターフェースは、アプリケーションを選択し、選択したアプリケーションを起動させるためのユーザインターフェースを含む。

【0018】

図１に図示されるように、ユーザインターフェース提供システム１は、ＡＲグラス１１及びスマートフォン１２を備える。

【0019】

ＡＲグラス１１は、ユーザ２１の頭部３１に装着される。ＡＲグラス１１は、現実世界に重ねて映像を表示する。

【0020】

ＡＲグラス１１が、ＡＲグラス１１以外のクロスリアリティ（ＸＲ）グラスに置き換えられてもよい。例えば、ＡＲグラス１１が、仮想現実（ＶＲ）グラス、複合現実（ＭＲ）グラス、代替現実（ＳＲ）グラス等に置き換えられてもよい。ＡＲグラス１１が、ＸＲグラス以外のメガネ型の頭部装着デバイスに置き換えられてもよい。ＡＲグラス１１が、メガネ型の頭部装着デバイスグラス以外の頭部装着デバイスに置き換えられてもよい。例えば、ＡＲグラス１１が、ゴーグル型、帽子型、ヘッドセット型等の頭部装着デバイスに置き換えられてもよい。

【0021】

スマートフォン１２は、ＡＲグラス１１と通信を行って、ＡＲグラス１１から情報を受信し、ＡＲグラス１１に情報を送信する。

【0022】

スマートフォン１２が、スマートフォン１２以外の移動体通信端末に置き換えられてもよい。例えば、スマートフォン１２が、フィーチャーフォン、タブレット等に置き換えられてもよい。スマートフォン１２が、移動体通信端末以外の端末に置き換えられてもよい。例えば、スマートフォン１２が、パーソナルコンピュータ等に置き換えられてもよい。スマートフォン１２の機能が、ＡＲグラス１１に内蔵されてもよい。

【0023】

図２は、第１実施形態のユーザインターフェース提供システムのブロック図である。

【0024】

図２に図示されるように、ＡＲグラス１１は、センサ４１及びディスプレイ４２を備える。

【0025】

センサ４１は、頭部３１の動きを検知する。センサ４１は、３自由度（３ＤＯＦ）又は６自由度（６ＤＯＦ）の動きを検知することができる。このため、検知される頭部３１の動きは、視点を左右方向に動かす動きを含む。センサ４１は、角速度センサ、加速度センサ、地磁気センサ等を備える。

【0026】

ディスプレイ４２は、頭部３１の目の前に配置され、光透過性を有する。このため、ディスプレイ４２は、ディスプレイ４２を通して見える現実世界に重ねて映像を表示する。

【0027】

スマートフォン１２は、ユーザ２１にユーザインターフェースを提供するユーザインターフェース提供装置として機能する。

【0028】

図２に図示されるように、スマートフォン１２は、アイコン表示部５１及び処理実行部５２を備える。ＡＲグラス１１が、ユーザインターフェース提供装置として機能してもよい。この場合は、ＡＲグラス１１が、アイコン表示部５１及び処理実行部５２を備える。ＡＲグラス１１及びスマートフォン１２が連携してユーザインターフェース提供装置として機能してもよい。この場合は、ＡＲグラス１１が、アイコン表示部５１及び処理実行部５２の一部を備え、スマートフォン１２が、アイコン表示部５１及び処理実行部５２の残部を備える。

【0029】

アイコン表示部５１は、ディスプレイ４２に複数のアイコンを表示させる。表示される複数のアイコンには、複数のアプリケーションがそれぞれ対応づけられる。複数のアイコンに、複数の機能がそれぞれ対応づけられてもよい。アイコン表示部５１は、センサ４１により検知される頭部３１の動きに応じて、表示させた複数のアイコンを移動させる。

【0030】

処理実行部５２は、表示させた複数のアイコンに含まれるひとつのアイコンが設定領域内に表示されている状態が設定時間に渡って継続した場合に当該ひとつのアイコンに応じた処理を実行する。

【0031】

これにより、ユーザ２１は、頭部３１を動かして実行させたい処理に対応するアイコンを設定領域内に移動させた後に頭部３１を動かすことをやめて当該アイコンを凝視することにより、実行させたい処理をユーザインターフェース提供システム１に実行させることができる。これにより、ユーザ２１は、手を用いずに、周囲にいる公衆に不自然な印象を与えることなく、ＡＲグラス１１に関する操作を行うことができる。これにより、ＡＲグラス１１が野外で使用される場合であっても、ＡＲグラス１１の用途が制限されることを抑制することができる。

【0032】

１．２ クイックメニュー画面
図３は、第１実施形態のユーザインターフェース提供システムに備えられるＡＲグラスのディスプレイを模式的に図示する平面図である。

【0033】

図３に図示されるように、ディスプレイ４２は、映像を表示する表示領域６１を有する。表示領域６１は、ＡＲグラス１１に備えられる、光透過性を有するレンズ部６０の一部である。このため、表示領域６１の外側には、光透過性を有する領域が存在する。

【0034】

表示領域６１には、設定領域７１が設定される。設定領域７１は、望ましくは、表示領域６１の中央に設定される。なお、図３に描かれた表示領域６１及び設定領域７１を示す破線は、ディスプレイ４２には実際には表示されない。

【0035】

ユーザ２１は、表示領域６１を通して、表示領域６１の向こう側にある現実世界を表示領域６１を介して見ることができる。ＡＲグラス１１がカメラを備える場合は、カメラが現実世界を撮像し、ディスプレイ４２が撮像された現実世界を表示領域６１に表示させることにより、ユーザ２１が現実世界を見ることができるようにされてもよい。

【0036】

アイコン表示部５１は、表示領域６１にクイックメニュー画面８１を表示させる。

【0037】

表示されるクイックメニュー画面８１は、複数のアイコン９１を含む。複数のアイコン９１は、５個のアイコンである。複数のアイコン９１が、４個以下又は６個以上のアイコンであってもよい。複数のアイコン９１は、望ましくは、３個以上５個以下のアイコンである。

【0038】

複数のアイコン９１は、左右方向に一列に配列される。

【0039】

複数のアイコン９１には、複数のアプリケーションがそれぞれ対応づけられる。

【0040】

１．３ アイコンの移動
図４は、第１実施形態のユーザインターフェース提供システムに備えられるＡＲグラスのディスプレイの表示領域、及び当該ＡＲグラスを装着した頭部の変化を模式的に図示する図である。

【0041】

アイコン表示部５１は、視点を左右方向に動かす頭部３１の動きに応じて複数のアイコン９１を左右方向に移動させる。アイコン表示部５１は、頭部３１の動きにより視点が動く方向と逆の方向に複数のアイコン９１を移動させる。このため、図４に図示されるように、ユーザ２１が右方向を向いて視点が右方向へ移動した場合は、複数のアイコン９１は、右方向と反対の左方向へ移動する。複数のアイコン９１の移動距離は、視点の移動距離が大きくなるほど大きくなる。これにより、ユーザ２１は、実行させたい処理に対応するアイコンに向けて視点を移動することにより、当該アイコンを設定領域７１内に移動させることができる。

【0042】

アイコン表示部５１は、複数のアイコン９１を同じ方向に同じ距離移動させる。これにより、複数のアイコン９１の相対的な位置が変化することを抑制することができる。

【0043】

複数のアイコン９１の配列間隔、及び複数のアイコン９１の移動距離は、望ましくは、視野（ＦＯＶ）が４５°である場合に、設定領域７１の中央に表示されたアイコンの隣に表示されたアイコンを設定領域７１の中央まで移動させるのに必要な頭部３１の振り角が１０°～１５°程度となるように決定される。これにより、複数のアイコン９１が５個のアイコンであり、真ん中に配置されたアイコン１０１が設定領域７１の中央に表示されている状態において、最も右側に配置されたアイコン１０２を設定領域７１の中央まで移動させるのに必要な頭部３１の振り角を２５°程度にすることができる。これにより、ユーザ２１に苦痛を感じさせないわずかな頭部３１の動きにより、複数のアイコン９１から任意のアイコンを選択することができる。

【0044】

アイコン表示部５１は、複数のアイコン９１の集まりの左右方向の幅が表示領域６１の幅より大きいために当該集まりの全体を表示領域６１に表示させることができない場合は、スクロールを行う。

【0045】

１．４ 実行される処理
図５は、第１実施形態のユーザインターフェース提供システムに備えられるＡＲグラスのディスプレイの表示領域の変化を模式的に図示する図である。

【0046】

図５に図示されるように、処理実行部５２は、複数のアイコン９１にふくまれるひとつのアイコン１１１が設定領域７１内に表示されている状態が第１の設定時間に渡って継続した場合に、当該ひとつのアイコン１１１を選択し、当該ひとつのアイコン１１１が選択されたことを示すエフェクト１２１を表示領域６１に表示させる表示処理を実行する。第１の設定時間は、例えば、０．５秒である。表示されるエフェクト１２１は、例えば、当該ひとつのアイコン１１１の外周に沿って線１３１を走らせるアニメーションである。

【0047】

処理実行部５２は、当該ひとつのアイコン１１１の全体が設定領域７１内に表示されている場合に、当該ひとつのアイコン１１１が設定領域７１内に表示されていると判定する。処理実行部５２が、当該ひとつのアイコン１１１の大部分が設定領域７１内に表示されている場合に、当該ひとつのアイコン１１１が設定領域７１内に表示されていると判定してもよい。例えば、処理実行部５２が、当該ひとつのアイコン１１１の９０％以上が設定領域７１内に表示されている場合に、当該ひとつのアイコン１１１が設定領域７１内に表示されていると判定してもよい。

【0048】

処理実行部５２は、当該ひとつのアイコン１１１が表示領域６１外へずらされ、当該ひとつのアイコン１１１が表示領域６１に表示されている状態が第１の設定時間に渡って継続しなかった場合は、当該ひとつのアイコン１１１を選択せず、表示処理を実行しない。

【0049】

処理実行部５２は、当該ひとつのアイコン１１１が設定領域７１に表示されている状態が第１の設定時間より長い第２の設定時間に渡って継続した場合に、表示処理を実行することを終了し、当該ひとつのアイコン１１１に対応づけられたアプリケーションを起動する起動処理を実行する。これにより、表示領域６１には、起動されたアプリケーションのアプリケーション画面１４１が表示される。第２の設定時間は、例えば、１秒である。

【0050】

処理実行部５２は、当該ひとつのアイコン１１１が表示領域６１内に表示されている状態が第１の設定時間に渡って継続した後に当該ひとつのアイコン１１１が表示領域６１外へずらされ、当該ひとつのアイコン１１１が表示領域６１に表示されている状態が第２の設定時間に渡って継続しなかった場合は、当該ひとつのアイコン１１１の選択を解除し、起動処理を実行しない。

【0051】

処理実行部５２は、当該ひとつのアイコン１１１が表示領域６１外へずらされた後に当該ひとつのアイコン１１１又は他のアイコンが設定領域７１内に表示されている状態が第１の設定時間に渡って継続した場合に、当該ひとつのアイコン１１１又は他のアイコンが選択されたことを示すエフェクト１２１を表示領域６１に表示させる表示処理を実行する。また、処理実行部５２は、当該ひとつのアイコン１１１又は他のアイコンが設定領域７１内に表示されている状態が第２の設定時間に渡って継続した場合に、当該ひとつのアイコン１１１又は他のアイコンに対応づけられたアプリケーションを起動する起動処理を実行する。

【0052】

１．５ アイコン
図３、図４及び図５に図示されるように、複数のアイコン９１は、直前に実行されたアプリケーションが対応づけられた直前実行アイコン１５１、及び移動体通信事業者により提供されるキャリアアプリケーションが対応づけられたキャリアアイコン１５２を含む。直前に実行されたアプリケーションがキャリアアプリケーションでない場合は、キャリアアイコン１５２は、直前実行アイコン１５１と異なるアイコンであり、直前実行アイコン１５１の隣に配置される。例えば、直前に実行されたアプリケーションがキャリアアプリケーションでない場合は、キャリアアイコン１５２は、直前実行アイコン１５１の左隣に配置される。直前に実行されたアプリケーションがキャリアアプリケーションである場合は、キャリアアイコン１５２は、直前実行アイコン１５１と同じアイコンである。複数のアイコン９１が、ホームアプリケーションが対応づけられたアイコン、ＭＲアプリケーション等の専用アプリケーションが対応づけられたアイコン等を含んでもよい。

【0053】

アイコン表示部５１は、表示領域６１にクイックメニュー画面８１を表示させる際に、直前実行アイコン１５１が設定領域７１内に表示された状態で複数のアイコン９１を表示領域６１に表示させることを開始する。

【0054】

このため、ユーザ２１は、直前に実行されたアプリケーションを再び実行させる場合は、頭部３１を動かして複数のアイコン９１を移動させなくてもよく、最初に設定領域７１内に表示されたアイコンを凝視すればよい。

【0055】

このようにされるのは、直前に実行されたアプリケーションを再び実行させる機会は多いと考えられるためである。例えば、直前に実行されたアプリケーションが翻訳のためのアプリケーションである場合は、翻訳のためのアプリケーションを再び実行させる機会が多いと考えられ、直前に実行されたアプリケーションが街中ＸＲアプリケーションである場合は、街中ＸＲアプリケーションを再び実行させる機会が多いと考えられるためである。

【0056】

１．６ アイコン表示部により行われる処理の流れ
図６は、第１実施形態のユーザインターフェース提供システムに備えられるスマートフォンのアイコン表示部により行われる処理の流れを示すフローチャートである。

【0057】

アイコン表示部５１は、図６に示されるステップＳ１０１からＳ１０４までを実行する。

【0058】

ステップＳ１０１においては、アイコン表示部５１は、ディスプレイ４２に複数のアイコン９１を表示させることを開始する。

【0059】

続くステップＳ１０２においては、アイコン表示部５１は、センサ４１から検知結果を取得する。

【0060】

続くステップＳ１０３においては、アイコン表示部５１は、取得した検知結果に基づいて頭部３１の動きがあるか否かを判定する。頭部３１の動きがあると判定された場合は、ステップＳ１０４が実行される。頭部３１の動きがないと判定された場合は、再びステップＳ１０２が実行される。

【0061】

ステップＳ１０４においては、アイコン表示部５１は、頭部３１の動きに応じて複数のアイコン９１を移動させる。

【0062】

ステップＳ１０２からＳ１０４までにより、アイコン表示部５１は、頭部３１の動きがなかった場合は、複数のアイコン９１を移動させず、頭部３１の動きがあった場合は、頭部３１の動きに応じて複数のアイコン９１を移動させる。

【0063】

１．７ 処理実行部により行われる処理の流れ
図７は、第１実施形態のユーザインターフェース提供システムに備えられるスマートフォンの処理実行部により行われる処理の流れを示すフローチャートである。

【0064】

処理実行部５２は、図７に示されるステップＳ１１１からＳ１１８までを実行する。

【0065】

ステップＳ１１１においては、処理実行部５２は、複数のアイコン９１に含まれるいずれかのアイコンが設定領域７１内に表示されている状態になったか否かを判定する。当該アイコンが設定領域７１内に表示されている状態になったと判定された場合は、ステップＳ１１２が実行される。当該アイコンが設定領域７１内に表示されている状態になっていないと判定された場合は、再びステップＳ１１１が実行される。

【0066】

ステップＳ１１２においては、処理実行部５２は、経過した時間の計測を開始する。

【0067】

ステップＳ１１１及びＳ１１２により、処理実行部５２は、複数のアイコン９１に含まれるいずれかのアイコンが設定領域７１内に表示されている状態になっていない場合は、複数のアイコン９１に含まれるいずれかのアイコンが設定領域７１内に表示されている状態になるまで待機する。また、処理実行部５２は、複数のアイコン９１に含まれるいずれかのアイコンが設定領域７１内に表示されている状態になるのに同期して、当該アイコンが設定領域７１内に表示されている状態になってから経過した時間の計測を開始する。

【0068】

ステップＳ１１３においては、処理実行部５２は、当該アイコンが設定領域７１外に表示されている状態になったか否かを判定する。当該アイコンが設定領域７１外に表示されている状態になったと判定された場合は、再びステップＳ１１１が実行される。当該アイコンが設定領域７１外に表示されている状態になっていないと判定された場合は、ステップＳ１１４が実行される。

【0069】

ステップＳ１１４においては、処理実行部５２は、計測している時間が第１の設定時間に達したか否かを判定する。計測している時間が第１の設定時間に達したと判定された場合は、ステップＳ１１５が実行される。計測している時間が第１の設定時間に達していないと判定された場合は、再びステップＳ１１３が実行される。

【0070】

ステップＳ１１５においては、処理実行部５２は、エフェクト１２１を表示させることを開始する。

【0071】

ステップＳ１１３からＳ１１５までにより、処理実行部５２は、当該アイコンが設定領域７１内に表示されている状態になってから経過した時間が第１の設定時間に達する前に当該アイコンが設定領域７１外に表示されている状態になった場合は、エフェクト１２１を表示させることを開始することなく、再び複数のアイコン９１に含まれるいずれかのアイコンが設定領域７１内に表示されている状態になるまで待機する。また、処理実行部５２は、当該アイコンが設定領域７１内に表示されている状態になってから経過した時間が第１の設定時間に達するのに同期して、エフェクト１２１を表示させることを開始する。

【0072】

ステップＳ１１６においては、処理実行部５２は、当該アイコンが設定領域７１外に表示されている状態になったか否かを判定する。当該アイコンが設定領域７１外に表示されている状態になったと判定された場合は、再びステップＳ１１１が実行される。当該アイコンが設定領域７１外に表示されている状態になっていないと判定された場合は、ステップＳ１１７が実行される。

【0073】

ステップＳ１１７においては、処理実行部５２は、計測している時間が第２の設定時間に達したか否かを判定する。計測している時間が第２の設定時間に達したと判定された場合は、ステップＳ１１８が実行される。計測している時間が第２の設定時間に達していないと判定された場合は、再びステップＳ１１６が実行される。

【0074】

ステップＳ１１８においては、処理実行部５２は、当該アイコンに対応づけられたアプリケーションを起動する。

【0075】

ステップＳ１１６からＳ１１８までによれば、処理実行部５２は、当該アイコンが設定領域７１内に表示されている状態になってから経過した時間が第２の設定時間に達する前に当該アイコンが設定領域７１外に表示されている状態になった場合は、当該アイコンに対応づけられたアプリケーションを起動することなく、再び複数のアイコン９１に含まれるいずれかのアイコンが設定領域７１内に表示されている状態になるまで待機する。また、処理実行部５２は、当該アイコンが設定領域７１内に表示されている状態になってから経過した時間が第２の設定時間に達するのに同期して、当該アイコンに対応づけられたアプリケーションを起動する。

【0076】

１．８ 視覚効果
図８は、第１実施形態のユーザインターフェース提供システムにより得られる視覚効果を模式的に図示する斜視図である。

【0077】

図８に図示されるように、ユーザインターフェース提供システム１は、ユーザ２１の目の前に複数のアイコン９１が配列されているように見える視覚効果をユーザ２１に与える。また、ユーザインターフェース提供システム１は、複数のアイコン９１が緩やかな円弧面上に配列されているように見える視覚効果をユーザ２１に与える。

【0078】

ユーザ２１は、複数のアイコン９１に含まれるひとつのアイコン上に視点が置かれるように視点を左右方向に動かすことにより、ユーザインターフェース提供システム１に当該ひとつのアイコンを選択させることができる。これにより、ユーザインターフェース提供システム１は、複数のアイコン９１が空間に固定されており、３ＤＯＦ又は６ＤＯＦで頭部３１を動かすことにより視点をシームレスに動かすことができるように感じる視覚効果をもたらす。

【0079】

１．９ スマートフォンコントローラユーザインターフェース
ユーザインターフェース提供システム１は、上述したように、頭部３１を動かして実行させたい処理に対応するアイコンを設定領域７１内に移動させた後に頭部３１を動かすことをやめることにより、実行させたい処理をユーザインターフェース提供システム１に実行させること等ができるユーザインターフェース（以下では、「センターフォーカスＵＩ」と呼ぶ）を提供する。

【0080】

ユーザインターフェース提供システム１が、センターフォーカスＵＩを用いて行うことが困難な操作を行うことができるようにするために、スマートフォン１２をコントローラとして用いるユーザインターフェース（以下では、「スマートフォンコントローラＵＩ」と呼ぶ）を提供してもよい。スマートフォンコントローラＵＩは、センターフォーカスＵＩを用いて行われる操作に対応しない既存のアプリケーション等に対する操作に用いられる。

【0081】

ユーザインターフェース提供システム１が、センターフォーカスＵＩ及びスマートフォンコントローラＵＩを提供する場合は、ＡＲアプリケーションの操作手段は、センターフォーカスＵＩがメインの操作手段となり、スマートフォンコントローラＵＩがサブの操作手段となる。センターフォーカスＵＩがメインの操作手段となるのは、ＡＲグラス１１が野外で使用されることを考慮した場合は、ＡＲアプリケーションはハンズフリーで操作することができることが望まれるためである。

【0082】

図９は、第１実施形態のユーザインターフェース提供装置に備えられるスマートフォンの、スマートフォンコントローラＵＩを提供するための構成のブロック図である。図１０は、第１実施形態のユーザインターフェース提供装置に備えられるスマートフォンのタッチパネルディスプレイに表示されるコントローラ画面を模式的に図示する平面図である。図１１は、第１実施形態のユーザインターフェース提供システムに備えられるＡＲグラスのディスプレイの表示領域の変化を模式的に図示する図である。図１２は、第１実施形態のユーザインターフェース提供システムに備えられるスマートフォンのタッチパネルディスプレイに表示されるアプリケーション一覧表示画面を模式的に図示する平面図である。図１３は、第１実施形態のユーザインターフェース提供システムに備えられるスマートフォンのタッチパネルディスプレイに表示されるジェスチャー操作一覧表示画面を模式的に図示する平面図である。

【0083】

図９に図示されるように、スマートフォン１２は、コントローラ部１６１及びタッチパネルディスプレイ１６２を備える。

【0084】

コントローラ部１６１は、図１０に図示されるコントローラ画面１７１をタッチパネルディスプレイ１６２に表示させる。

【0085】

図１０に図示されるように、コントローラ画面１７１は、タッチパッド操作領域１８１、終了ボタン１８２、ＭＥＮＵボタン１８３、ＢＡＣＫボタン１８４、アプリケーション一覧ボタン１８５及びジェスチャー操作一覧ボタン１８６を備える。

【0086】

コントローラ部１６１は、タッチパッド操作領域１８１に対してスライド操作が行われた場合に、行われたスライド操作のスライド方向に応じた方向へ当該スライド操作のスライド量に応じた距離だけ複数のアイコン９１を移動させる。このため、当該スライド操作は、頭部３１を動かして視点を移動させる操作の代替操作となる。

【0087】

コントローラ部１６１は、タッチパッド操作領域１８１に対してダブルタップ操作が行われた場合に、設定領域７１に表示されているアイコンに対応づけられたアプリケーションを起動する起動処理を実行する。このため、当該ダブルタップ操作は、頭部３１を動かすことをやめてアイコンを凝視する操作の代替操作となる。

【0088】

コントローラ部１６１は、アプリケーションが動作している間に終了ボタン１８２に対してタップ操作が行われた場合に、動作しているアプリケーションを終了してディスプレイ４２を図１１に図示される非表示状態１９１にする。

【0089】

コントローラ部１６１は、クイックメニュー画面８１が表示されていない間にＭＥＮＵボタン１８３に対してタップ操作が行われた場合に、クイックメニュー画面８１をディスプレイ４２に表示させる。また、コントローラ部１６１は、クイックメニュー画面８１が表示されている間にＭＥＮＵボタン１８３に対してタップ操作が行われた場合に、クイックメニュー画面８１をディスプレイ４２に表示させることを終了してディスプレイ４２を図１１に図示される非表示状態１９１にする。コントローラ部１６１が、スマートフォン１２がＡＲグラス１１に接続された場合、スマートフォン１２に備えられる電源ボタンに対して短押し操作が行われた場合、スマートフォン１２がケースから取り出されたことが検知された場合等にクイックメニュー画面８１をディスプレイ４２に表示させてもよい。

【0090】

コントローラ部１６１は、アプリケーションが動作している間にＢＡＣＫボタン１８４に対してタップ操作が行われた場合に、動作しているアプリケーションにＢＡＣＫイベントを通知する。

【0091】

コントローラ部１６１は、アプリケーション一覧ボタン１８５に対してタップ操作が行われた場合に、図１２に図示される、アプリケーション一覧を示すアプリケーション一覧表示画面２０１をタッチパネルディスプレイ１６２に表示させる。

【0092】

コントローラ部１６１は、ジェスチャー操作一覧ボタン１８６に対してタップ操作が行われた場合に、図１３に図示される、ジェスチャー操作一覧を示すジェスチャー操作一覧表示画面２０２をタッチパネルディスプレイ１６２に表示させる。ジェスチャー操作一覧は、ユーザインターフェース提供システム１が対応するジェスチャー操作を示す。

【0093】

スマートフォン１２に備えられるハードウェアキーが、原則として、アプリケーションに依存しない操作に用いられる。

【0094】

１．１０ スマートフォンのハードウェア
図１４は、第１実施形態のユーザインターフェース提供システムに備えられるスマートフォンのハードウェアのブロック図である。

【0095】

図１４に図示されるように、スマートフォン１２は、プロセッサ２１１、メモリ２１２及びストレージ２１３を備える。

【0096】

プロセッサ２１１は、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）等を含む。

【0097】

メモリ２１２は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）等を含む。

【0098】

ストレージ２１３は、フラッシュストレージ等を含む。

【0099】

ストレージ２１３には、ユーザインターフェース提供プログラム２２１がインストールされる。

【0100】

プロセッサ２１１は、メモリにロードされたユーザインターフェース提供プログラム２２１を実行して、プロセッサ２１１、メモリ２１２及びストレージ２１３を備えるコンピュータを上述したアイコン表示部５１、処理実行部５２及びコントローラ部１６１として動作させる。

【0101】

したがって、本開示は、メモリ２１２、ストレージ２１３等の非一時的記録媒体に記録されたユーザインターフェース提供プログラム２２１にも向けられる。ユーザインターフェース提供プログラム２２１は、プロセッサ２１１、メモリ２１２及びストレージ２１３を備えるコンピュータに、アイコン表示部５１、処理実行部５２及びコントローラ部１６１により行われる処理を実行させる。

【0102】

２ 第２実施形態
以下では、第２実施形態が第１実施形態と相違する点が説明される。説明されない点については、第１実施形態において採用される構成と同様の構成が第２実施形態においても採用される。

【0103】

図１５は、第２実施形態のユーザインターフェース提供システムに備えられるＡＲグラスのディスプレイの表示領域、及び当該ＡＲグラスを装着した頭部の変化を模式的に図示する図である。

【0104】

第２実施形態においては、図１５に図示されるように、複数のアイコン９１が、６個のアイコンであり、上下左右方向に行列状に配列される。

【0105】

また、アイコン表示部５１は、視点を上下左右方向に動かす動きに応じて複数のアイコン９１を上下左右方向に移動させる。このため、図１５に図示されるように、ユーザ２１が左上方向を向いて視点が左上方向に移動した場合は、複数のアイコン９１は、左上方向と反対の右下方向に移動する。

【0106】

これにより、複数のアイコン９１の集まりの左右方向の幅を小さくすることができる。これにより、スクロールを行うことが必要になることを抑制することができ、複数のアイコン９１の一覧性を高くすることができる。

【0107】

本開示は、上記実施の形態に限定されるものではなく、上記実施の形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。

【符号の説明】

【0108】

１ ユーザインターフェース提供システム、１１ ＡＲグラス、１２ スマートフォン、２１ ユーザ、３１ 頭部、４１ センサ、４２ ディスプレイ、５１ アイコン表示部、５２ 処理実行部、６１ 表示領域、７１ 設定領域、８１ クイックメニュー画面、９１ 複数のアイコン、１０１ 真ん中に配置されたアイコン、１０２ 最も右側に配置されたアイコン、１１１ ひとつのアイコン、１２１ エフェクト、１３１ 線、１４１ アプリケーション画面、１５１ 直前実行アイコン、１５２ キャリアアイコン、１６１ コントローラ部、１６２ タッチパネルディスプレイ、１７１ コントローラ画面、１８１ タッチパッド操作領域、１８２ 終了ボタン、１８３ ＭＥＮＵボタン、１８４ ＢＡＣＫボタン、１８５ アプリケーション一覧ボタン、１８６ ジェスチャー操作一覧ボタン、１９１ 非表示状態、２０１ アプリケーション一覧表示画面、２０２ ジェスチャー操作一覧表示画面、２１１ プロセッサ、２１２ メモリ、２１３ ストレージ、２２１ ユーザインターフェース提供プログラム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】