特開 2024-152322 ユーザインターフェース制御装置およびユーザインターフェース制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024152322

(43)【公開日】2024-10-25

(54)【発明の名称】ユーザインターフェース制御装置およびユーザインターフェース制御方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241018BHJP

【ＦＩ】

G06F3/01 560

G06F3/01 510

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023066446

(22)【出願日】2023-04-14

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】坂野 真聖

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA06

5E555AA08

5E555AA76

5E555BA02

5E555BA20

5E555BB02

5E555BC04

5E555BE08

5E555CB23

5E555DA23

5E555DA24

5E555DB06

5E555FA00

(57)【要約】

【課題】ユーザインターフェースを用いた適切な操作の習得を行うこと。
【解決手段】制御装置２０は、表示画面に、ターゲットと、ユーザが操作する操作インターフェースの動作に対応するカーソルとを表示させる表示制御部２１と、表示画面上におけるターゲットの位置およびカーソルの位置を取得し、ターゲットに対するカーソルの相対的な位置関係を取得する位置情報取得部２４と、位置情報取得部２４が取得した相対的な位置関係が、ターゲットの位置から所定範囲内にカーソルが位置している場合、カーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激をユーザに対して発生させる刺激発生制御部２６と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

表示画面に、ターゲットと、ユーザが操作する操作インターフェースの動作に対応するカーソルとを表示させる表示制御部と、
前記表示画面上における前記ターゲットの位置および前記カーソルの位置を取得し、前記ターゲットに対する前記カーソルの相対的な位置関係を取得する位置情報取得部と、
前記位置情報取得部が取得した相対的な位置関係が、前記ターゲットの位置から所定範囲内に前記カーソルが位置している場合、前記カーソルの位置に対する前記ターゲットの位置を示す方向に対応する感覚刺激を前記ユーザに対して発生させる刺激発生制御部と、
を備える、ユーザインターフェース制御装置。

【請求項2】

前記位置情報取得部は、前記カーソルの移動方向をさらに取得し、
前記刺激発生制御部は、前記位置情報取得部が取得した相対的な位置関係が、前記ターゲットの位置から所定範囲内に前記カーソルが位置しており、前記カーソルが前記ターゲットの方向に移動している場合、前記カーソルの位置に対する前記ターゲットの位置を示す方向に対応する感覚刺激を前記ユーザに対して発生させる、
請求項１に記載のユーザインターフェース制御装置。

【請求項3】

前記位置情報取得部は、前記カーソルの移動方向および前記ターゲットの移動方向をさらに取得し、
前記刺激発生制御部は、前記位置情報取得部が取得した相対的な位置関係が、前記ターゲットの位置から所定範囲内に前記カーソルが位置しており、前記カーソルの移動が前記ターゲットの移動に追従している場合、前記カーソルの位置に対する前記ターゲットの位置を示す方向に対応する感覚刺激を前記ユーザに対して発生させる、
請求項１に記載のユーザインターフェース制御装置。

【請求項4】

前記刺激発生制御部は、前記ターゲットの位置と前記カーソルの位置の距離に応じて、前記カーソルの位置に対する前記ターゲットの位置を示す方向に対応する感覚刺激を変化させて前記ユーザに対して発生させる、
請求項１から３のいずれか１項に記載のユーザインターフェース制御装置。

【請求項5】

前記位置情報取得部は、前記カーソルが前記所定範囲内に位置している時間を計測し、
前記刺激発生制御部は、前記カーソルが前記所定範囲内に位置している時間に応じて前記カーソルの位置に対する前記ターゲットの位置を示す方向に対応する感覚刺激を変化させて前記ユーザに対して発生させる、
請求項１から３のいずれか１項に記載のユーザインターフェース制御装置。

【請求項6】

前記位置情報取得部は、前記カーソルが前記ターゲットに近づくために要する時間を計測し、
前記刺激発生制御部は、前記カーソルが前記ターゲットに近づくために要する時間に応じて前記カーソルの位置に対する前記ターゲットの位置を示す方向に対応する感覚刺激を変化させて前記ユーザに対して発生させる、
請求項２または３に記載のユーザインターフェース制御装置。

【請求項7】

表示画面に、ターゲットと、ユーザが操作する操作インターフェースの動作に対応するカーソルとを表示させる表示制御ステップと、
前記表示画面上における前記ターゲットの位置および前記カーソルの位置を取得し、前記ターゲットに対する前記カーソルの相対的な位置関係を取得する位置情報取得ステップと、
前記位置情報取得ステップで取得した相対的な位置関係が、前記ターゲットの位置から所定範囲内に前記カーソルが位置している場合、前記カーソルの位置に対する前記ターゲットの位置を示す方向に対応する感覚刺激を前記ユーザに対して発生させる刺激発生制御ステップと、
をユーザインターフェース装置が実行するユーザインターフェース制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザインターフェース制御装置およびユーザインターフェース制御方法に関する。

【背景技術】

【0002】

例えば、シューティングゲームなどのゲームにおいては、ゲーム空間内に配置された複数のオブジェクトの中からオブジェクトを選定してゲームを進行させることが知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１３６３５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ｅ（ｅｌｅｃｔｒｏｎｉｃ）スポーツおよび対戦型ゲームの普及により、表示画面や仮想空間におけるターゲットなどに対し、ユーザインターフェースを用いた正確かつ素早い操作が求められる。このため、ユーザインターフェースを用いた正確かつ素早い操作の習得を行う装置やアプリケーションなどもある。このような装置またはアプリケーションでは、ユーザの操作に対する評価またはアドバイスなどが、画面に表示されたり、音声で出力されたりする。ユーザは表示または音声により評価またはアドバイスを確認して、操作に反映する。正確かつ素早い操作の習得をより効果的に行うためには、ユーザに対して直感的に操作を補助することが望まれる。このように、ユーザインターフェースを用いた適切な操作の習得については、改善の余地がある。

【0005】

本開示は、上記に鑑みてなされたものであって、ユーザインターフェースを用いた適切な操作の習得を行うことを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本開示に係るユーザインターフェース制御装置は、表示画面に、ターゲットと、ユーザが操作する操作インターフェースの動作に対応するカーソルとを表示させる表示制御部と、前記表示画面上における前記ターゲットの位置および前記カーソルの位置を取得し、前記ターゲットに対する前記カーソルの相対的な位置関係を取得する位置情報取得部と、前記位置情報取得部が取得した相対的な位置関係が、前記ターゲットの位置から所定範囲内に前記カーソルが位置している場合、前記カーソルの位置に対する前記ターゲットの位置を示す方向に対応する感覚刺激を前記ユーザに対して発生させる刺激発生制御部と、を備える。

【0007】

本開示に係るユーザインターフェース制御方法は、表示画面に、ターゲットと、ユーザが操作する操作インターフェースの動作に対応するカーソルとを表示させる表示制御ステップと、前記表示画面上における前記ターゲットの位置および前記カーソルの位置を取得し、前記ターゲットに対する前記カーソルの相対的な位置関係を取得する位置情報取得ステップと、前記位置情報取得ステップで取得した相対的な位置関係が、前記ターゲットの位置から所定範囲内に前記カーソルが位置している場合、前記カーソルの位置に対する前記ターゲットの位置を示す方向に対応する感覚刺激を前記ユーザに対して発生させる刺激発生制御ステップと、をユーザインターフェース装置が実行する。

【発明の効果】

【0008】

本開示によれば、ユーザインターフェースを用いた適切な操作の習得を行うことができるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】図１は、ユーザインターフェース装置の一例を示す概略図である。

【図2】図２は、ユーザインターフェース装置の他の例を示す概略図である。

【図3】図３は、第一実施形態に係るユーザインターフェース制御装置を有するユーザインターフェース装置の構成例を示すブロック図である。

【図4】図４は、第一実施形態に係るターゲットとカーソルとの位置関係の一例を示す図である。

【図5】図５は、第一実施形態に係るユーザインターフェース制御装置における処理の流れの一例を示すフローチャートである。

【図6】図６は、第二実施形態に係るターゲットの移動とカーソルの移動との関係の一例を示す図である。

【図7】図７は、第二実施形態に係るユーザインターフェース制御装置における処理の流れの一例を示すフローチャートである。

【図8】図８は、第三実施形態に係るターゲットとカーソルとの距離に応じた感覚刺激の強さの一例を示す図である。

【図9】図９は、第四実施形態に係るユーザインターフェース制御装置における処理の流れの一例を示すフローチャートである。

【図10】図１０は、第四実施形態に係るユーザインターフェース制御装置における処理の流れの一例を示すフローチャートである。

【図11】図１１は、第五実施形態に係るターゲットに近づく時間の一例を示す図である。

【図12】図１２は、第五実施形態に係るカーソルの移動方向の履歴の一例を示す図である。

【図13】図１３は、第五実施形態に係るカーソルの移動方向の履歴の他の例を示す図である。

【発明を実施するための形態】

【0010】

以下に添付図面を参照して、本開示に係るユーザインターフェース制御装置（以下、「制御装置」という。）およびユーザインターフェース制御方法の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

【0011】

［第一実施形態］
ユーザインターフェース装置（以下、「ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）装置」という。）１は、例えば、ｅスポーツおよび対戦型ゲームのような、表示画面や仮想空間におけるターゲットなどに対する、ユーザによるユーザインターフェース（以下、「ユーザＩＦ」という。）を用いた正確かつ素早い操作の習得を支援するための練習用アプリケーションを実行する。

【0012】

図１は、ＵＩ装置の一例を示す概略図である。図１に示すＵＩ装置１は、表示部１１と、操作インターフェース（以下、「操作ＩＦ（Ｉｎｔｅｒｆａｃｅ）」という。）１３と、制御装置２０とを備える。図１に示すＵＩ装置１において、ユーザＩＦは、操作ＩＦ１３である。ＵＩ装置１は、操作ＩＦ１３に対してカーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激を発生させる。

【0013】

図２は、ＵＩ装置の他の例を示す概略図である。図２に示すＵＩ装置１は、表示部１１と、音声出力部１２と、操作ＩＦ１３と、制御装置２０とを備える。図２に示すＵＩ装置１において、ユーザＩＦは、音声出力部１２および操作ＩＦ１３である。ＵＩ装置１は、音声出力部１２および操作ＩＦ１３の少なくともどちらかに対してカーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激を発生させる。

【0014】

＜練習用アプリケーション＞
練習用アプリケーションは、例えば、シューティングゲーム、高齢者などに対する操作練習、または、認知症予防を目的とした練習用アプリケーションである。本実施形態では、練習用アプリケーションは、表示部１１の表示画面に表示したターゲットに対して、ユーザがカーソルを合わせる練習を行うためのアプリケーションとして説明する。さらに、本実施形態では、練習用アプリケーションは、表示部１１の表示画面に表示したターゲットに対して、ユーザがカーソルを合わせた状態で、例えば、シューティング操作のような所定のターゲットクリア操作の練習を行う。

【0015】

練習用アプリケーションの実行時、表示画面に同時に表示されるターゲットは、単数であっても、複数でもよい。

【0016】

練習用アプリケーションの実行時、表示画面に表示されるターゲットは、任意の方向に向きを変更しながら移動してもよい。練習用アプリケーションの実行時、表示画面に表示されるターゲットは、ランダムな位置に発生する移動しないターゲット、または、移動するターゲットのどちらを含んでもよい。

【0017】

このような練習用アプリケーションは、ＵＩ装置１の図示しない記憶部に記憶されている。

【0018】

＜ユーザインターフェース装置＞
図３は、第一実施形態に係るユーザインターフェース制御装置を有するユーザインターフェース装置の構成例を示すブロック図である。ＵＩ装置１は、練習用アプリケーションを実行して、ターゲットと、ユーザが操作する操作ＩＦ１３の動作に対応するカーソルとを表示部１１の表示画面に表示させる。ＵＩ装置１は、ユーザＩＦに対してカーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激を発生させる。

【0019】

ＵＩ装置１が図１に示す構成である場合、ＵＩ装置１は、表示部１１と、操作ＩＦ１３と、制御装置２０とを備える。ＵＩ装置１が図２に示す構成である場合、ＵＩ装置１は、表示部１１と、音声出力部１２と、操作ＩＦ１３と、制御装置２０とを備える。

【0020】

表示部１１は、例えば、液晶ディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。表示部１１は、ＵＩ装置１に固有の表示装置であってもよいし、ユーザが携帯する携帯型デバイスのディスプレイ、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）ゴーグルなどであってもよい。表示部１１は、制御装置２０の表示制御部２１から出力された映像信号に基づいて、映像を表示する。

【0021】

表示部１１は、後述するアプリケーション制御部２３による練習用アプリケーションの実行時、ターゲットと、ユーザが操作する操作ＩＦ１３の動作に対応するカーソルとが表示される。表示部１１が、液晶ディスプレイのような２次元的な画像を表示する表示装置である場合、ターゲットとカーソルは、２次元上の位置関係を有した状態で表示される。表示部１１が、ＶＲゴーグルのような立体的な空間を再現する画像を表示する表示装置である場合、ターゲットとカーソルは、２次元上の位置関係を有した状態での表示に加え、３次元的な位置関係を有した状態で表示されてもよい。

【0022】

音声出力部１２は、ＵＩ装置１における音声を出力する、例えば、ヘッドフォンまたはスピーカのような音声出力装置である。本実施形態では、音声による感覚刺激によって、カーソルに対するターゲットの位置を判断可能な、少なくとも左右２チャンネルの音声を出力可能な音声出力装置である。音声出力部１２は、例えば、ヘッドフォンである。

【0023】

本実施形態では、音声出力部１２は、カーソルの位置に対するターゲットの位置を示す方向を示す感覚刺激として、任意の方向へ音源定位を変化させた音声を出力する。音声出力部１２は、左右方向へ音源定位を変化させた音声を出力されてもよい。音声出力部１２は、左右方向に加えて、前後方向へ音源定位を変化させた音声を出力されてもよい。音声出力部１２は、さらに細かい方向へ音源定位を変化させた音声を出力されてもよい。音声出力部１２は、刺激発生制御部２６からの音響刺激の発生指示を示す制御信号によって音源定位を変化させた音声を出力する。音声出力部１２は、刺激発生制御部２６からの停止指示を示す制御信号によって音声の出力を停止する。

【0024】

操作ＩＦ１３は、ＵＩ装置１に対するユーザの操作を受け付ける入力装置である。本実施形態では、操作ＩＦ１３は、光学式のマウスやコントロールパッドなどの様々なコントローラが適用可能である。操作ＩＦ１３は、例えば、光学式のマウスである場合、光学的に、接地面上における位置を常時検出する。

【0025】

操作ＩＦ１３は、練習用アプリケーションの実行中、カーソルを移動させる操作を受け付ける。操作ＩＦ１３は、例えば、操作ＩＦ１３自体の移動や、方向キーの操作、ジャイロセンサによる操作ＩＦ１３の動きなどを検出して、カーソルを移動させる操作として受け付ける。

【0026】

操作ＩＦ１３は、練習用アプリケーションの実行中、シューティング操作のようなターゲットクリア操作を受け付ける。より詳しくは、操作ＩＦは、例えば、クリックやボタン操作などをターゲットクリアを行うための操作として受け付ける。

【0027】

操作ＩＦ１３は、カーソルの位置に対するターゲットの位置を示す方向を示す感覚刺激として、所定方向の感覚刺激を発生させる、図示しないアクチュエータ（刺激発生部）を備える。本実施形態では、操作ＩＦ１３は、左右方向の感覚刺激である振動が発生される。操作ＩＦ１３は、左右方向に加えて、前後方向の感覚刺激である振動が発生されてもよい。この場合、操作ＩＦ１３の前後方向は、表示画面における上下方向に対応する。操作ＩＦ１３は、さらに細かい方向の感覚刺激である振動が発生されてもよい。操作ＩＦ１３は、刺激発生制御部２６からの振動の発生指示を示す制御信号によってアクチュエータが駆動して振動する。操作ＩＦ１３は、刺激発生制御部２６からの停止指示を示す制御信号によってアクチュエータが停止して、振動が停止する。

【0028】

＜制御装置＞
制御装置２０は、ＵＩ装置１の各部を制御する。制御装置２０は、練習用アプリケーションを実行して、ターゲットと、ユーザが操作する操作ＩＦ１３の動作に対応するカーソルとを表示部１１の表示画面に表示させるよう制御する。制御装置２０は、ユーザＩＦに対してカーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激を発生させるよう制御する。

【0029】

制御装置２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成された演算処理装置（制御装置）であり、ＲＡＭ又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記憶装置を有する。制御装置２０は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御装置２０には上述したＲＡＭなどの内部メモリが含まれ、内部メモリは制御装置２０におけるデータの一時記憶などに用いられる。制御装置２０は、プログラムの実行によって実現される機能ブロックなどの構成要素として、表示制御部２１と、音声出力制御部２２と、アプリケーション制御部２３と、位置情報取得部２４と、ユーザインターフェース入力制御部（以下、「ＵＩ入力制御部」という。）２５と、刺激発生制御部２６とを有する。

【0030】

表示制御部２１は、表示部１１における映像の表示を制御する。表示制御部２１は、表示部１１に対して映像の映像信号を出力する。

【0031】

表示制御部２１は、アプリケーション制御部２３による練習用アプリケーションの実行時に、映像の表示部１１への表示を制御する。本実施形態では、表示制御部２１は、表示部１１の表示画面に、ターゲットと、ユーザが操作する操作ＩＦ１３の動作に対応するカーソルとを表示させる。

【0032】

音声出力制御部２２は、アプリケーション制御部２３によるアプリケーションの実行時に、音声の音声出力部１２からの出力を制御する。

【0033】

音声出力制御部２２は、刺激発生制御部２６からの音響刺激の発生指示に基づいて、音響刺激として任意の方向へ音源定位を変化させた音声の音声出力部１２からの出力を制御する。音声出力制御部２２は、刺激発生制御部２６からの音響刺激の停止指示に基づいて、音源定位を変化させた音声の出力を停止する。

【0034】

アプリケーション制御部２３は、操作ＩＦ１３を用いた正確かつ素早い操作を習得するための練習用アプリケーションを実行する。

【0035】

アプリケーション制御部２３は、練習用アプリケーションの実行中に、ターゲットがクリアされたか否かを判定する。より詳しくは、アプリケーション制御部２３は、位置情報取得部２４が取得したカーソルとターゲットとの相対的な位置関係に基づいて、カーソルがターゲットに重なったときに、例えば、シューティング操作のような所定のターゲットクリア操作が検出された場合、ターゲットがクリアされたと判定する。

【0036】

例えば、ターゲットの形状を示す座標範囲に、カーソルの中心を示す座標が含まれる場合、カーソルがターゲットに重なったと判定する。ターゲットの形状を示す座標範囲に対する、カーソルの中心を示す座標のズレ量がズレ量閾値以下である場合、カーソルがターゲットに重なったと判定し、ズレ量が閾値より大きい場合、カーソルがターゲットに重なったと判定しないものとしてもよい。

【0037】

アプリケーション制御部２３は、ターゲットクリア操作のタイミングの遅れがあること、または、ターゲットの動きにカーソルの動きが追従できていないことにより、ターゲットクリア操作を受け付けた時点であるターゲットクリア操作時点のカーソルの位置がターゲット位置に重なっていない場合、ターゲットクリアは不成功であると判定する。

【0038】

位置情報取得部２４は、表示部１１の表示画面上におけるターゲットの位置およびカーソルの位置を取得し、ターゲットに対するカーソルの相対的な位置関係を取得する。より詳しくは、位置情報取得部２４は、カーソルはターゲットの第一距離未満にあるか否かを判定可能な位置関係を取得する。位置情報取得部２４は、カーソルはターゲットに一致するか、または、第一距離より短い第二距離未満にあるか否かを判定可能な位置関係を取得する。位置情報取得部２４は、ターゲットの形状を示す座標範囲に、カーソルの中心を示す座標が含まれるか否かを判定可能な位置関係を取得する。

【0039】

ここで示す第一距離とは、ターゲットに対してカーソルが十分に近づいていることが、表示部１１の表示画面上で判別できるような距離である。例えば、練習用アプリケーションの画面が、３８４０画素×２１６０画素の表示画面に全面表示されている場合、第一距離は、ターゲットを中心とした半径１００画素以上２００画素以下程度の範囲などが設定される。また、第二距離は、ターゲットに対してカーソルが重なっている、または重なっているとみなすことができるような距離である。例えば、練習用アプリケーションの画面が、３８４０×２１６０画素の表示画面に全面表示され、ターゲットの形態がターゲットの中心から半径２０画素以上３０画素以下程度の範囲で構成される場合、第二距離は、ターゲットを中心とした半径３０画素以上６０画素以下程度の範囲などが設定される。

【0040】

本実施形態では、位置情報取得部２４は、カーソルの移動方向をさらに取得してもよい。より詳しくは、位置情報取得部２４は、カーソルはターゲットに向かって移動しているか否かを判定可能な位置関係を取得する。

【0041】

本実施形態では、位置情報取得部２４は、カーソルの位置に対応するターゲット方向を特定する。言い換えると、位置情報取得部２４は、カーソルの位置からみた、ターゲットの方向を特定する。

【0042】

ＵＩ入力制御部２５は、操作ＩＦ１３に対するユーザの操作を受け付ける。より詳しくは、ＵＩ入力制御部２５は、練習用アプリケーションの実行中、カーソルを移動させる操作を受け付ける。ＵＩ入力制御部２５は、例えば、操作ＩＦ１３自体の移動を検出して、カーソルを移動させる操作として受け付ける。ＵＩ入力制御部２５は、練習用アプリケーションの実行中、操作ＩＦ１３に対するシューティング操作のようなターゲットクリア操作を受け付ける。ＵＩ入力制御部２５は、例えば、練習用アプリケーションの実行中、操作ＩＦ１３に対するクリック操作をターゲットクリア操作として受け付ける。

【0043】

刺激発生制御部２６は、カーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激の発生と停止とを制御する。刺激発生制御部２６は、位置情報取得部２４が取得したターゲットに対するカーソルの相対的な位置関係が、ターゲットの位置から所定範囲内にカーソルが位置していることを示す場合、カーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激をユーザに対して発生させる。

【0044】

所定範囲内とは、感覚刺激の発生範囲である。所定範囲内とは、例えば、ターゲットの中心から第一距離以内の範囲である。この場合、刺激発生制御部２６は、位置情報取得部２４によって取得された位置関係に基づいて、カーソルがターゲットの第一距離未満にあると判定される場合、感覚刺激をユーザに対して発生させる。

【0045】

所定範囲内とは、例えば、ターゲットの中心から第一距離より径方向の内側であって、第二距離より径方向の外側の範囲であってもよい。この場合、刺激発生制御部２６は、位置情報取得部２４によって取得された位置関係に基づいて、カーソルはターゲットの第一距離未満であって、かつ、第二距離以上にあると判定される場合、感覚刺激をユーザに対して発生させる。

【0046】

本実施形態では、刺激発生制御部２６は、位置情報取得部２４が取得したターゲットに対するカーソルの相対的な位置関係が、ターゲットの位置から所定範囲内にカーソルが位置しており、カーソルがターゲットの方向に移動していることを示す場合、カーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激をユーザに対して発生させてもよい。より詳しくは、刺激発生制御部２６は、ターゲットの位置から所定範囲内にカーソルが位置しており、カーソルの移動方向がその時点のターゲット方向に移動している場合、感覚刺激を発生させる。

【0047】

感覚刺激の発生後、刺激発生制御部２６は、位置情報取得部２４が取得した相対的な位置関係が終了条件を満たす場合、感覚刺激を停止させる。刺激発生制御部２６は、位置情報取得部２４が取得した相対的な位置関係が終了条件を満たす場合、方向性を示さない感覚刺激を継続して発生してもよい。

【0048】

終了条件とは、カーソルがターゲットに一致、または、ターゲットから第二距離未満であることをいう。

【0049】

第二距離は、ターゲットに対してカーソルが移動するため、ターゲット位置にカーソルの位置が一致するまで、方向性のある感覚刺激が継続すると、カーソルがその方向に行き過ぎることを抑制するために設定される。このため、ターゲットの形状を示す範囲より第二距離で定義される範囲を広く設定してもよい。

【0050】

第二距離で規定される範囲は、ターゲットの形状を示す範囲と一致してもよい。第二距離で規定される範囲は、例えば、ターゲットの円形の形状を示す範囲より半径１．５倍から２倍程度の広さとしてもよい。

【0051】

図４を用いて、感覚刺激の発生範囲について説明する。図４は、ターゲットとカーソルとの位置関係の一例を示す図である。カーソル１１０が感覚刺激の発生範囲Ａ１に位置する場合、感覚刺激をユーザに対して発生させる。感覚刺激の発生範囲Ａ１は、ターゲット１００からの距離が第一距離ｒ１で定義される範囲１０５より径方向の内側である。感覚刺激の発生範囲Ａ１は、ターゲット１００からの距離が第一距離ｒ１で定義される範囲１０５より径方向の内側で、第二距離ｒ２で定義される範囲１０６より径方向の外側としてもよい。カーソル１１０が、第二距離ｒ２で定義される範囲１０６より径方向の内側で、ターゲット１００と一致しない場合、感覚刺激を停止してもよいし、方向性を示さない感覚刺激を継続してもよい。

【0052】

図４において、カーソル１１０は、移動方向１１１の方向に移動しており、ターゲット１００は、移動方向１０１の方向に移動していることを示す。図４においては、ターゲット１００の位置から所定範囲内にカーソル１１０が位置しており、カーソル１１０の移動方向１１１は、ターゲット１００の方向に移動している。

【0053】

本実施形態では、刺激発生制御部２６は、例えば、音源定位を変化させることにより、所定の方向への移動を知覚させて、操作を補助する。

【0054】

音源定位を変化させることにより、所定の方向への移動を知覚させる場合について説明する。刺激発生制御部２６は、音響刺激として任意の方向へ音源定位を変化させた音声を出力することにより、任意の方向への移動を知覚させる。刺激発生制御部２６は、例えば、左から右へ音源定位を変化させた音声を出力することにより、左から右への移動を知覚させ、カーソルを左から右へ移動させる操作を補助する。刺激発生制御部２６は、ユーザの頭部伝達関数を再現した環境を用いて、左右方向に加えて水平面における前後の情報を加え、前後左右方向または３６０度の任意の方向に対応してもよい。この場合の前後方向は、表示画面における上下方向に対応する。刺激発生制御部２６は、音声出力制御部２２に対して音響刺激の発生指示の制御信号を出力する。刺激発生制御部２６は、停止条件を満たす場合、音声出力制御部２２に対して音響刺激の停止指示の制御信号を出力する。

【0055】

本実施形態では、刺激発生制御部２６は、聴覚、または、触覚によりユーザに仮現運動を知覚させて、操作を補助する。

【0056】

触覚によりユーザに仮現運動を知覚させる場合について説明する。例えば、先に左部を振動させた後、時間差で、右部を振動させると、振動が左から右へ移動したように感じる錯覚を触仮現運動という。刺激発生制御部２６は、任意の方向へ振動を移動させることにより、任意の方向へ移動する触仮現運動を知覚させる。刺激発生制御部２６は、例えば、左から右へ振動を移動させることにより、任意の方向へ移動する触仮現運動を知覚させ、カーソルを左から右へ移動させる操作を補助する。刺激発生制御部２６は、操作ＩＦ１３のアクチュエータに対して振動の発生指示の制御信号を出力する。刺激発生制御部２６は、停止条件を満たす場合、操作ＩＦ１３のアクチュエータに対して停止指示の制御信号を出力する。

【0057】

＜制御装置における情報処理＞
次に、図５を用いて、制御装置２０における処理の流れについて説明する。図５は、第一実施形態に係る制御装置における処理の流れの一例を示すフローチャートである。図５に示す処理は、練習用アプリケーションを起動することで開始される。図５に示す処理の起動中、アプリケーション制御部２３によって、練習用アプリケーションが実行される。図１に示すＵＩ装置１である場合、ユーザに対して、感覚刺激が操作ＩＦ１３を介して与えらえる。図２に示すＵＩ装置１である場合、ユーザに対して、感覚刺激が操作ＩＦ１３を介して与えらえる。

【0058】

制御装置２０は、カーソル表示を開始する（ステップＳ１０１）。より詳しくは、制御装置２０は、アプリケーション制御部２３によって、表示制御部２１を介して、表示部１１の表示画面に、ユーザが操作する操作ＩＦ１３の動作に対応するカーソルを表示させる。制御装置２０は、ステップＳ１０２へ進む。

【0059】

制御装置２０は、ターゲットの表示を開始する（ステップＳ１０２）。より詳しくは、制御装置２０は、アプリケーション制御部２３によって、表示制御部２１を介して、表示部１１の表示画面に、ターゲットを表示させる。制御装置２０は、ステップＳ１０３へ進む。

【0060】

制御装置２０は、カーソルはターゲットの第一距離未満にあるか否かを判定する（ステップＳ１０３）。より詳しくは、制御装置２０は、位置情報取得部２４によって、表示部１１の表示画面上におけるターゲットの位置およびカーソルの位置を取得し、ターゲットに対するカーソルの相対的な位置関係を取得する。制御装置２０は、位置情報取得部２４によって、常時、最新のターゲットに対するカーソルの相対的な位置関係を取得する。制御装置２０は、刺激発生制御部２６によって、カーソルがターゲットの第一距離未満にあると判定する場合（ステップＳ１０３でＹｅｓ）、ステップＳ１０４へ進む。制御装置２０は、刺激発生制御部２６によって、カーソルがターゲットの第一距離未満にあると判定しない場合（ステップＳ１０３でＮｏ）、ステップＳ１１４へ進む。

【0061】

カーソルがターゲットの第一距離未満にあると判定する場合（ステップＳ１０３でＹｅｓ）、制御装置２０は、カーソルはそのターゲットに向かって移動しているか否かを判定する（ステップＳ１０４）。より詳しくは、制御装置２０は、刺激発生制御部２６によって位置情報取得部２４が取得した位置情報取得部２４によって取得された位置関係に基づいて、カーソルは、ステップＳ１０３において第一距離未満にあると判定された、そのターゲットに向かって移動しているか否かを判定する。制御装置２０は、刺激発生制御部２６によって、カーソルはそのターゲットに向かって移動していると判定する場合（ステップＳ１０４でＹｅｓ）、ステップＳ１０５へ進む。制御装置２０は、刺激発生制御部２６によって、カーソルはそのターゲットに向かって移動していると判定しない場合（ステップＳ１０４でＮｏ）、ステップＳ１１４へ進む。

【0062】

カーソルはそのターゲットに向かって移動していると判定する場合（ステップＳ１０４でＹｅｓ）、制御装置２０は、カーソルの位置に対応するターゲット方向の特定を開始する（ステップＳ１０５）。より詳しくは、制御装置２０は、位置情報取得部２４によって、カーソルの位置からみた、ターゲット方向を特定する。制御装置２０は、ステップＳ１０６へ進む。

【0063】

制御装置２０は、ターゲット方向に対応する感覚刺激の発生を開始する（ステップＳ１０６）。より詳しくは、音源定位を変化させて、所定の方向への移動を知覚させる場合、制御装置２０は、刺激発生制御部２６によって、音響刺激として任意の方向へ音源定位を変化させた音声を出力することにより、任意の方向への移動を知覚させる。制御装置２０は、刺激発生制御部２６によって、音声出力制御部２２に対して音響刺激の発生指示の制御信号を出力する。触覚によりユーザに仮現運動を知覚させる場合、制御装置２０は、刺激発生制御部２６によって、任意の方向へ振動を移動させることにより、任意の方向へ移動する触仮現運動を知覚させる。制御装置２０は、刺激発生制御部２６によって、操作ＩＦ１３のアクチュエータに対して振動の発生指示の制御信号を出力する。制御装置２０は、ステップＳ１０７へ進む。

【0064】

ステップＳ１０５とステップＳ１０６とは、ターゲットの移動にともないカーソルの位置も移動する。このため、カーソルの位置に対するターゲット方向も変化する。したがって、ステップＳ１０６の実行後、Ｓ１０７でＹｅｓ、または、Ｓ１１２でＹｅｓと判定されるまでの期間、ターゲット方向の変動に対応した感覚刺激が継続される。言い換えると、ターゲット方向の変動によって感覚刺激の方向も変化する。

【0065】

制御装置２０は、カーソルは、そのターゲットに一致、または、第二距離未満であるか否かを判定する（ステップＳ１０７）。より詳しくは、制御装置２０は、刺激発生制御部２６によって、ターゲットに一致、または、第二距離未満にあると判定する場合（ステップＳ１０７でＹｅｓ）、ステップＳ１０８へ進む。制御装置２０は、刺激発生制御部２６によって、ターゲットに一致、または、第二距離未満にあると判定しない場合（ステップＳ１０７でＮｏ）、ステップＳ１１２へ進む。

【0066】

ターゲットに一致、または、第二距離未満にあると判定する場合（ステップＳ１０７でＹｅｓ）、制御装置２０は、感覚刺激を停止する（ステップＳ１０８）。より詳しくは、音源定位を変化させることにより、所定の方向への移動を知覚させる場合、制御装置２０は、刺激発生制御部２６によって、音声出力制御部２２に対して音響刺激の停止指示の制御信号を出力する。触覚によりユーザに仮現運動を知覚させる場合、制御装置２０は、刺激発生制御部２６によって、操作ＩＦ１３のアクチュエータに対して振動停止の制御信号を出力する。制御装置２０は、ステップＳ１０９へ進む。

【0067】

制御装置２０は、ターゲットクリア操作があるか否かを判定する（ステップＳ１０９）。より詳しくは、制御装置２０は、ＵＩ入力制御部２５によって、操作ＩＦ１３に対するクリック操作などのターゲットクリア操作を受け付けたか否かを判定する。制御装置２０は、ＵＩ入力制御部２５によって、ターゲットクリア操作があると判定する場合（ステップＳ１０９でＹｅｓ）、ステップＳ１１０へ進む。制御装置２０は、ＵＩ入力制御部２５によって、ターゲットクリア操作があると判定しない場合（ステップＳ１０９でＮｏ）、ステップＳ１１４へ進む。

【0068】

ターゲットクリア操作があると判定する場合（ステップＳ１０９でＹｅｓ）、制御装置２０は、ターゲットクリアが成功したか否かを判定する（ステップＳ１１０）。より詳しくは、制御装置２０は、ターゲットとカーソルとの位置関係に基づいて、カーソルがターゲットに重なっている状態でターゲットクリア操作が行われたと判定される場合、ターゲットクリアが成功したと判定する。制御装置２０は、ターゲットクリア操作時点に、カーソルがターゲットに重なっていると判定されない場合、ターゲットクリアが成功したと判定しない。制御装置２０は、ターゲットクリアが成功したと判定する場合（ステップＳ１１０でＹｅｓ）、ステップＳ１１１へ進む。制御装置２０は、ターゲットクリアが成功したと判定しない場合（ステップＳ１１０でＮｏ）、ステップＳ１１４へ進む。

【0069】

ターゲットクリアが成功したと判定する場合（ステップＳ１１０でＹｅｓ）、制御装置２０は、ターゲットクリア処理を行う（ステップＳ１１１）。より詳しくは、制御装置２０は、アプリケーション制御部２３によって、表示中のターゲットの表示を停止する。制御装置２０は、ステップＳ１１４へ進む。

【0070】

ターゲットに一致、または、第二距離未満にあると判定しない場合（ステップＳ１０７でＮｏ）、制御装置２０は、カーソルはそのターゲットから第一距離以上であるか否かを判定する（ステップＳ１１２）。より詳しくは、制御装置２０は、刺激発生制御部２６によって、カーソルがターゲットの第一距離以上にあると判定する場合（ステップＳ１１２でＹｅｓ）、ステップＳ１１３へ進む。制御装置２０は、刺激発生制御部２６によって、カーソルがターゲットの第一距離以上にあると判定しない場合（ステップＳ１１２でＮｏ）、ステップＳ１０７の処理を再度実行する。

【0071】

カーソルがターゲットの第一距離以上にあると判定する場合（ステップＳ１１２でＹｅｓ）、制御装置２０は、感覚刺激を停止する（ステップＳ１１３）。より詳しくは、音源定位を変化させることにより、所定の方向への移動を知覚させる場合、制御装置２０は、刺激発生制御部２６によって、音声出力制御部２２に対して音響刺激の停止指示の制御信号を出力する。触覚によりユーザに仮現運動を知覚させる場合、制御装置２０は、刺激発生制御部２６によって、操作ＩＦ１３のアクチュエータに対して振動停止の制御信号を出力する。制御装置２０は、ステップＳ１１４へ進む。

【0072】

制御装置２０は、処理を終了するか否かを判定する（ステップＳ１１４）。例えば、練習用アプリケーションのシナリオが終了したこと、言い換えると、練習用アプリケーションのすべてのターゲットをクリアしたことなどで、処理を終了することが判定される。または、例えば、ＵＩ装置１の電源がＯＦＦにされたこと、図示しない操作部による終了操作が行われたこと、または、図５に示すフローチャートを開始するトリガとなったアプリケーションなどを終了させる操作が行われたことなどで、処理を終了することが判定される。制御装置２０は、処理を終了すると判定された場合（ステップＳ１１４でＹｅｓ）、本処理を終了する。制御装置２０は、処理を終了すると判定されない場合（ステップＳ１１４でＮｏ）、ステップＳ１１５へ進む。

【0073】

処理を終了すると判定されない場合（ステップＳ１１４でＮｏ）、制御装置２０は、次のターゲットの表示を開始する（ステップＳ１１５）。より詳しくは、制御装置２０は、アプリケーション制御部２３によって、表示制御部２１を介して、表示部１１の表示画面に、練習用アプリケーションのシナリオに沿って次のターゲットを表示させる。制御装置２０は、ステップＳ１０３へ進む。ステップＳ１１５の処理は、ステップＳ１１１からステップＳ１１４に推移し、ステップＳ１１４がＮｏの場合に実行されてもよい。つまり、ステップＳ１０３でＮｏの場合、ステップＳ１０４でＮｏの場合、ステップＳ１０９でＮの場合、ステップＳ１１０でＮｏの場合からステップＳ１１４に推移し、ステップＳ１１４でＮｏの場合は、ステップＳ１１５の処理を経ずにステップＳ１０３に進む。

【0074】

このように、図５に示すフローチャートの処理を実行することにより、練習用アプリケーションを用いて、操作の習得のための練習が行われる。図５に示すフローチャートの処理が開始されると、練習用アプリケーションは、表示部１１の表示画面にターゲットを表示する。ユーザは、操作ＩＦ１３を操作してカーソルの位置を動かし、ターゲットを追跡する。このとき、制御装置２０は、ターゲットの位置から所定範囲内にカーソルが位置しており、カーソルがターゲットの方向に移動していることを示す場合、カーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激をユーザに対して発生させる。ユーザは、感覚刺激によって誘導され、操作ＩＦ１３をさらに操作してカーソルの位置をターゲットの位置に合わせる。そして、ユーザは、例えば、シューティング操作のような所定のターゲットクリア操作を行う。練習用アプリケーションは、ターゲットがクリアされたか否かを判定する。練習用アプリケーションは、ターゲットがクリアされたと判定する場合、次のターゲットを表示画面に表示する。練習用アプリケーションは、このような処理をシナリオに沿って実行する。

【0075】

＜効果＞
上述したように、本実施形態では、ターゲットの位置から所定範囲内にカーソルが位置している場合、カーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激をユーザに対して発生させる。本実施形態によれば、ユーザは感覚刺激によって、直感的に操作方向へ誘導される。本実施形態は、ユーザの操作を補助することができる。このようにして、本実施形態によれば、ユーザインターフェースを用いた適切な操作の習得を行うことができる。

【0076】

本実施形態では、ターゲットの位置から所定範囲内にカーソルが位置しており、カーソルがターゲットの方向に移動している場合、カーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激をユーザに対して発生させる。本実施形態によれば、カーソルがターゲットに近づいているときに限って、感覚刺激を発生することができる。本実施形態によれば、より適切にユーザの操作を補助することができる。

【0077】

［第二実施形態］
図６、図７を参照しながら、本実施形態に係るＵＩ装置１について説明する。図６は、ターゲットの移動とカーソルの移動との関係の一例を示す図である。図７は、第二実施形態に係るユーザインターフェース制御装置における処理の流れの一例を示すフローチャートである。ＵＩ装置１は、基本的な構成は第一実施形態のＵＩ装置１と同様である。以下の説明においては、ＵＩ装置１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。以降の実施形態においても同様とする。本実施形態では、位置情報取得部２４および刺激発生制御部２６における処理が第一実施形態と異なる。

【0078】

位置情報取得部２４は、カーソルの移動方向およびターゲットの移動方向をさらに取得する。

【0079】

刺激発生制御部２６は、位置情報取得部２４が取得したターゲットに対するカーソルの相対的な位置関係が、ターゲットの位置から所定範囲内にカーソルが位置しており、カーソルの移動がターゲットの移動に追従していることを示す場合、カーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激をユーザに対して発生させる。

【0080】

カーソルの移動がターゲットの移動に追従しているとは、カーソルの移動方向が、現時点から例えば１秒程度の所定期間前までの間のターゲットの位置の軌跡を向いていることをいう。

【0081】

図６に示す例では、カーソル１１０は、移動方向１１１の方向に移動しており、ターゲット１００は、所定期間前から現時点まで、移動方向１０１における紙面上方に移動しているとともに、移動方向１０１における紙面左方向に移動方向が変更となることを示している。実線は、現時点のターゲット１００の位置を示す。破線は、所定期間前のターゲット１００の位置を示す。所定期間前から現時点までのターゲット１００の移動方向１０１は、途中で方向が変化している。現時点のカーソル１１０の移動方向１１１は、所定期間前のターゲット１００の位置を向いている。カーソル１１０の移動方向１１１が、ターゲット１００の位置が移動方向１０１を示す矢印上の位置を向いているので、カーソルはターゲットの移動に追従していると判定される。

【0082】

次に、図７を用いて、制御装置２０における処理の流れについて説明する。図７に示すステップＳ１２１からステップＳ１２３、ステップＳ１２５からステップＳ１３５の処理は、図５に示すフローチャートのステップＳ１０１からステップＳ１０３、ステップＳ１０５からステップＳ１１５と同様の処理を行う。

【0083】

カーソルがターゲットの第一距離未満にあると判定する場合（ステップＳ１２３でＹｅｓ）、制御装置２０は、カーソルはそのターゲットの動きに追従しているか否かを判定する（ステップＳ１２４）。より詳しくは、制御装置２０は、刺激発生制御部２６によって位置情報取得部２４が取得した位置情報取得部２４によって取得された位置関係に基づいて、カーソルは、ステップＳ１２３において第一距離未満にあると判定された、そのターゲットの動きに追従しているか否かを判定する。制御装置２０は、刺激発生制御部２６によって、カーソルはそのターゲットの動きに追従していると判定する場合（ステップＳ１２４でＹｅｓ）、ステップＳ１２５へ進む。制御装置２０は、刺激発生制御部２６によって、カーソルはそのターゲットの動きに追従していると判定しない場合（ステップＳ１２４でＮｏ）、ステップＳ１３４へ進む。

【0084】

＜効果＞
上述したように、本実施形態では、ターゲットの位置から所定範囲内にカーソルが位置しており、カーソルの移動がターゲットの移動に追従している場合、カーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激をユーザに対して発生させる。本実施形態によれば、ターゲットが移動している場合に、意図せず感覚刺激が停止されることを抑えることができる。本実施形態は、より適切に感覚刺激を発生することができる。本実施形態によれば、より適切にユーザの操作を補助することができる。

【0085】

［第三実施形態］
図８を参照しながら、本実施形態に係るＵＩ装置１について説明する。図８は、ターゲットとカーソルとの距離に応じた感覚刺激の強さの一例を示す図である。ＵＩ装置１は、基本的な構成は第一実施形態のＵＩ装置１と同様である。本実施形態では、刺激発生制御部２６における処理が第一実施形態と異なる。

【0086】

刺激発生制御部２６は、ターゲットの位置とカーソルの位置の距離に応じて、カーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激を変化させてユーザに対して発生させる。本実施形態では、刺激発生制御部２６は、ターゲットの位置とカーソルの位置の距離に応じて、カーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激の強弱を変化させて発生させる。より詳しくは、刺激発生制御部２６は、カーソルの位置がターゲットの位置から離れるほど、強い感覚刺激を発生させる。刺激発生制御部２６は、カーソルの位置がターゲットの位置に近づくほど、弱い感覚刺激を発生させる。

【0087】

弱い感覚刺激は、感覚刺激を停止することを含んでもよい。

【0088】

感覚刺激の強弱の変化は、連続的に変化させてもよいし、段階的に変化させてもよい。

【0089】

触覚によりユーザに仮現運動を知覚させる場合、刺激発生制御部２６は、操作ＩＦ１３のアクチュエータに対して振動の強弱を変化させた制御信号を出力する。

【0090】

＜効果＞
上述したように、本実施形態では、ターゲットの位置とカーソルの位置の距離に応じて、カーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激を変化させてユーザに対して発生させることができる。本実施形態は、カーソルの位置がターゲットの位置から離れるほど、強い感覚刺激を発生させることができるので、ユーザに方向を知覚させて誘導しやすくできる。本実施形態によれば、より適切にユーザの操作を補助することができる。

【0091】

［第四実施形態］
図９、図１０を参照しながら、本実施形態に係るＵＩ装置１について説明する。図９は、第四実施形態に係るユーザインターフェース制御装置における処理の流れの一例を示すフローチャートである。図１０は、第四実施形態に係るユーザインターフェース制御装置における処理の流れの一例を示すフローチャートである。ＵＩ装置１は、基本的な構成は第一実施形態のＵＩ装置１と同様である。本実施形態では、位置情報取得部２４および刺激発生制御部２６における処理が第一実施形態と異なる。

【0092】

位置情報取得部２４は、カーソルがターゲットの位置から所定範囲内に位置している時間情報を取得する。言い換えると、位置情報取得部は、カーソルがターゲットの位置から所定範囲内に位置している時間を計測する。

【0093】

刺激発生制御部２６は、カーソルがターゲットの位置から所定範囲内に位置している時間に応じて、カーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激を変化させてユーザに対して発生させる。本実施形態では、刺激発生制御部２６は、カーソルがターゲットの位置から所定範囲内に位置している時間に応じて、カーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激の強弱を変化させて発生させる。より詳しくは、刺激発生制御部２６は、カーソルがターゲットの位置から所定範囲内に位置している時間が長いほど、強い感覚刺激を発生させる。刺激発生制御部２６は、カーソルがターゲットの位置から所定範囲内に位置している時間が短いほど、弱い感覚刺激を発生させる。

【0094】

カーソルがターゲットの位置から所定範囲内に位置している時間が短い場合は、ターゲットクリアを適切に行っている場合、または、短い時間で、ターゲットクリア対象を他のターゲットに変更している場合が想定される。カーソルがターゲットの位置から所定範囲内に位置している時間が長い場合は、ターゲットを適切に追跡できていない場合が想定される。カーソルがターゲットの位置から所定範囲内に位置している時間が長い場合に、感覚刺激を強くすることで、より適切に、操作方向へ誘導して操作を補助する。

【0095】

次に、図９、図１０を用いて、制御装置２０における処理の流れについて説明する。図９に示すステップＳ１４１からステップＳ１４５、ステップＳ１４７からステップＳ１５５の処理は、図５に示すフローチャートのステップＳ１０１からステップＳ１０５、ステップＳ１０７からステップＳ１１５と同様の処理を行う。図９に示すステップＳ１４４は、図７に示すフローチャートのステップＳ１２４と同様の処理を行う。

【0096】

制御装置２０は、ターゲット方向に対応する感覚刺激の発生を初期値で開始する（ステップＳ１４６）。より詳しくは、音源定位を変化させることにより、所定の方向への移動を知覚させる場合、制御装置２０は、刺激発生制御部２６によって、音声出力制御部２２に対して初期値の音響刺激の発生指示の制御信号を出力する。触覚によりユーザに仮現運動を知覚させる場合、制御装置２０は、刺激発生制御部２６によって、操作ＩＦ１３のアクチュエータに対して初期値で振動の発生指示の制御信号を出力する。制御装置２０は、ステップＳ１４７へ進むとともに、図１０に示すフローチャートの処理を並行して開始する。

【0097】

図１０に示すフローチャートは、図９に示すステップＳ１４６が実行されると、図９に示すフローチャートの処理を並行して処理が実行される。

【0098】

制御装置２０は、所定時間ｔが経過したか否かを判定する（ステップＳ１４６１）。より詳しくは、制御装置２０は、刺激発生制御部２６によって、位置情報取得部２４によって計測された、カーソルがターゲットの位置から所定範囲内に位置している時間が所定時間ｔを経過したか否かを判定する。制御装置２０は、刺激発生制御部２６によって、所定時間ｔが経過したと判定する場合（ステップＳ１４６１でＹｅｓ）、ステップＳ１４６２へ進む。制御装置２０は、刺激発生制御部２６によって、所定時間ｔが経過したと判定しない場合（ステップＳ１４６１でＮｏ）、ステップＳ１４６３へ進む。

【0099】

所定時間ｔは、練習用アプリケーションごとに設定される。例えば、シューティングゲームなどの練習用アプリケーションである場合、ｔを１．０秒程度に設定する。例えば、高齢者などに対する操作練習、または、認知症予防を目的とした練習用アプリケーションであれば、ｔを３．０秒程度に設定する。

【0100】

所定時間ｔが経過したと判定する場合（ステップＳ１４６１でＹｅｓ）、制御装置２０は、感覚刺激を変更する（ステップＳ１４６２）。より詳しくは、音源定位を変化させることにより、所定の方向への移動を知覚させる場合、制御装置２０は、刺激発生制御部２６によって、音声出力制御部２２に対して音響刺激を強くするよう制御信号を出力する。触覚によりユーザに仮現運動を知覚させる場合、制御装置２０は、刺激発生制御部２６によって、操作ＩＦ１３のアクチュエータに対して振動を強くするよう制御信号を出力する。制御装置２０は、ステップＳ１４６３へ進む。

【0101】

制御装置２０は、処理を終了するか否かを判定する（ステップＳ１４６３）。図９に示すステップＳ１４７でＹｅｓの判定が行われたとき、図１０に示す処理を終了することが判定される。制御装置２０は、処理を終了すると判定された場合（ステップＳ１４６３でＹｅｓ）、本処理を終了する。制御装置２０は、処理を終了すると判定されない場合（ステップＳ１４６３でＮｏ）、ステップＳ１４６１の処理を再度実行する。

【0102】

＜効果＞
上述したように、本実施形態では、カーソルがターゲットの位置から所定範囲内に位置している時間に応じてカーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激を変化させてユーザに対して発生させることができる。本実施形態は、カーソルがターゲットの位置から所定範囲内に位置している時間が長いほど、強い感覚刺激を発生させることができるので、ユーザに方向を知覚させて誘導しやすくできる。本実施形態によれば、より適切にユーザの操作を補助することができる。

【0103】

［第五実施形態］
図１１ないし図１３を参照しながら、本実施形態に係るＵＩ装置１について説明する。図１１は、ターゲットに近づく時間の一例を示す図である。図１２は、カーソルの移動方向の履歴の一例を示す図である。図１３は、カーソルの移動方向の履歴の他の例を示す図である。ＵＩ装置１は、基本的な構成は第一実施形態のＵＩ装置１と同様である。本実施形態では、位置情報取得部２４および刺激発生制御部２６における処理が第一実施形態と異なる。

【0104】

位置情報取得部２４は、カーソルがターゲットに近づくために要する時間の情報、つまり、カーソルがターゲットに近づく速度情報を取得する。言い換えると、位置情報取得部２４は、カーソルがターゲットに近づくために要する時間、つまり、カーソルがターゲットに近づく速度を計測する。ここで言う速度とは、ターゲットに対するカーソルの相対的な速度である。

【0105】

刺激発生制御部２６は、カーソルがターゲットに近づくために要する時間に応じて、言い換えると、カーソルがターゲットに近づく速度に応じて、カーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激を変化させてユーザに対して発生させる。本実施形態では、刺激発生制御部２６は、カーソルがターゲットに近づくために要する時間に応じて、カーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激の強弱を変化させて発生させる。より詳しくは、刺激発生制御部２６は、カーソルがターゲットに近づくために要する時間が長いほど、つまり、カーソルがターゲットに近づく速度が遅いほど、強い感覚刺激を発生させる。刺激発生制御部２６は、カーソルがターゲットに近づくために要する時間が短いほど、つまり、カーソルがターゲットに近づく速度が速いほど、弱い感覚刺激を発生させる。

【0106】

カーソルがターゲットに近づくために要する時間が短い場合は、ターゲットクリアを適切に行っている場合想定される。カーソルがターゲットに近づくために要する時間が長い場合は、ターゲットを適切に追跡できていない場合が想定される。カーソルがターゲットに近づくために要する時間が長い場合に、感覚刺激を強くすることで、より適切に、操作方向へ誘導して操作を補助する。

【0107】

図１１には、カーソル１１０の移動方向および移動速度を示す、速度ベクトル１１１Ａと、速度ベクトル１１１Ｂとを図示している。速度ベクトル１１１Ａと速度ベクトル１１１Ｂとは、どちらもターゲット１００を向いており、ターゲット１００に対するカーソルの相対的な速度を示している。速度ベクトル１１１Ｂは、速度ベクトル１１１Ａより、カーソル１１０が速い速度で、カーソル１１０がターゲット１００の方向に移動していることを示す。このため、カーソル１１０が速度ベクトル１１１Ｂで移動する場合、速度ベクトル１１１Ａで移動する場合に比べて、カーソルがターゲットに近づくために要する時間が短い。カーソル１１０が速度ベクトル１１１Ｂで移動する場合、速度ベクトル１１１Ａで移動する場合に比べて、弱い感覚刺激を発生させる。

【0108】

図１２には、一定期間におけるカーソル１１０の移動履歴として、（ａ１）、（ａ２）、（ａ３）、および、（ａ４）が示されている。図１３には、図１２と同じ長さの期間のカーソル１１０の移動履歴として、（ｂ１）、（ｂ２）、（ｂ３）、および、（ｂ４）が示されている。図１２および図１３に示すカーソル１１０の位置は、ターゲット１００に対する相対的な位置関係を示す。図１２は、ターゲット１００に対してカーソル１１０は、短い時間で近づいていることを示している。これに対し、図１３は、ターゲット１００に対してカーソル１１０は、図１２より長い時間で近づいていることを示している。

【0109】

したがって、図１２に示すカーソル１１０の移動履歴は、図１３に示すカーソル１１０の移動履歴より、短い時間でカーソル１１０がターゲット１００に近づいていることを示している。このため、移動履歴が図１２に示すようなケースである場合、図１３に示すようなケースである場合に比べて、弱い感覚刺激を発生させる。

【0110】

＜効果＞
上述したように、本実施形態では、カーソルがターゲットに近づくために要する時間に応じてカーソルの位置に対するターゲットの位置を示す方向に対応する感覚刺激を変化させてユーザに対して発生させることができる。本実施形態は、カーソルがターゲットに近づくために要する時間が長いほど、強い感覚刺激を発生させることができるので、ユーザに方向を知覚させて誘導しやすくできる。本実施形態によれば、より適切にユーザの操作を補助することができる。

【0111】

本開示に係るＵＩ装置は、上述した実施形態以外にも種々の異なる形態にて実施されてもよい。

【0112】

図示したＵＩ装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

【0113】

ＵＩ装置の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

【0114】

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

【符号の説明】

【0115】

１ ＵＩ装置（ユーザインターフェース装置）
１１ 表示部
１２ 音声出力部
１３ 操作ＩＦ（操作インターフェース）
２０ 制御装置（ユーザインターフェース制御装置）
２１ 表示制御部
２２ 音声出力制御部
２３ アプリケーション制御部
２４ 位置情報取得部
２５ ＵＩ入力制御部（ユーザインターフェース入力制御部）
２６ 刺激発生制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】