特開 2017-21763 端末及び端末の動作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2017-21763(P2017-21763A)

(43)【公開日】2017年1月26日

(54)【発明の名称】端末及び端末の動作方法

(51)【国際特許分類】

   G06F 3/0484 20130101AFI20170105BHJP

   G06F 3/0488 20130101ALI20170105BHJP

【ＦＩ】

   G06F3/0484

   G06F3/0488

【審査請求】有

【請求項の数】18

【出願形態】ＯＬ

【全頁数】21

(21)【出願番号】特願2015-221514(P2015-221514)

(22)【出願日】2015年11月11日

(31)【優先権主張番号】10-2015-0096849

(32)【優先日】2015年7月7日

(33)【優先権主張国】KR

(31)【優先権主張番号】10-2015-0145032

(32)【優先日】2015年10月18日

(33)【優先権主張国】KR

(31)【優先権主張番号】10-2015-0152361

(32)【優先日】2015年10月30日

(33)【優先権主張国】KR

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ブルートゥース

(71)【出願人】

【識別番号】515314247

【氏名又は名称】ワイドバンテージ インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100151459

【弁理士】

【氏名又は名称】中村 健一

(72)【発明者】

【氏名】コ チェ ヨン

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA26

5E555AA62

5E555AA77

5E555BA06

5E555BB06

5E555BC01

5E555CA12

5E555CA42

5E555CB02

5E555CB22

5E555CB45

5E555CB52

5E555CB55

5E555DA02

5E555DC17

5E555DC36

5E555DC75

5E555FA00

(57)【要約】

【課題】端末を提供する。
【解決手段】オブジェクトの位置及びオブジェクトが示す方向に基づいて端末のコンテンツの表示及びパワーセービングのうち少なくとも１つを制御する。
【選択図】図１

【特許請求の範囲】

【請求項1】

オブジェクトの位置及び前記オブジェクトが示す方向に基づいて端末のコンテンツの表示及びパワーセービングのうち少なくとも１つを制御するプロセッサを含む、端末。

【請求項2】

前記オブジェクトに対応する磁界発生装置から生成された磁界に基づいて、前記磁界発生装置の位置と方向に対応する磁界値を測定する第１センサをさらに含み、
前記プロセッサは、
前記磁界値に基づいてコンテンツの表示及びパワーセービングのうち少なくとも１つを制御する、請求項１に記載の端末。

【請求項3】

前記オブジェクトは、
身体の一部を含み、
前記身体の一部の位置及び前記身体の一部が示す方向を検出する第２センサをさらに含み、
前記プロセッサは、
前記身体の一部の位置及び前記身体の一部が示す方向に基づいて前記身体の一部が前記端末に移動したり前記端末を見ているかを確認して、前記確認に基づいてコンテンツの表示及びパワーセービングのうち少なくとも１つを制御する、請求項１に記載の端末。

【請求項4】

前記オブジェクトから前記位置及び方向を受信する通信部をさらに含み、
前記プロセッサは、
前記受信された位置及び方向に基づいて前記端末のコンテンツの表示及びパワーセービングのうち少なくとも１つを制御する、請求項１に記載の端末。

【請求項5】

前記プロセッサは、
前記位置及び前記方向のうち少なくとも１つに基づいて、前記端末のディスプレイに表示されたコンテンツのターゲット領域を決定する、請求項１に記載の端末。

【請求項6】

前記プロセッサは、
前記ターゲット領域の決定に基づいて、前記ターゲット領域の表示されたレイヤの次のレイヤを露出する、請求項５に記載の端末。

【請求項7】

前記ターゲット領域の形は、
前記オブジェクトに対応するボリュームに基づいて決定される、請求項５に記載の端末。

【請求項8】

前記プロセッサは、
前記位置及び方向のうち少なくとも１つに基づいて前記コンテンツのターゲット領域が決定され、
前記オブジェクトが前記端末に向かって移動するが、前記オブジェクトと前記端末との間の距離が予め定められた範囲以内にある場合、前記ターゲット領域の表示されたレイヤの下に位置する次のレイヤを露出する、請求項１に記載の端末。

【請求項9】

前記プロセッサは、
前記位置及び方向のうち少なくとも１つと前記オブジェクトに対応するように予め設定されたボリュームに基づいて決定されたターゲット領域の露出を制御する、請求項１に記載の端末。

【請求項10】

前記プロセッサは、
前記位置及び方向のうち少なくとも１つに基づいて前記コンテンツのターゲット領域を決定し、前記ターゲット領域に対する選択入力に基づいて、前記オブジェクトの移動方向に対応するように前記コンテンツの視覚的フィードバックを制御する、請求項１に記載の端末。

【請求項11】

前記プロセッサは、
前記ターゲット領域が選択された後に前記オブジェクトが前記端末に近づく場合、前記コンテンツに対するプッシュに対応する視覚的フィードバックを露出して、前記ターゲット領域が選択された後に前記オブジェクトが前記端末から離れる場合、前記コンテンツに対するプルに対応する視覚的フィードバックを露出する、請求項１０に記載の端末。

【請求項12】

前記プロセッサは、
前記オブジェクトと前記端末との接触を基にタッチイベントが発生する場合、前記タッチイベントの発生位置及び前記オブジェクトが前記端末に対して傾いた角度を基に前記コンテンツのライティングターゲット領域及びライティング方向を決定する、請求項１に記載の端末。

【請求項13】

前記プロセッサは、
前記オブジェクトと前記端末との接触を基にタッチイベントが発生する場合、前記タッチイベントの強度に関する情報を用いて、ディスプレイに表示されたコンテンツのレイヤの露出を制御する、請求項１に記載の端末。

【請求項14】

前記プロセッサは、
前記端末に対する前記オブジェクトの相対的な位置を確認して、前記相対的な位置が予め定められた範囲以外にある場合、パワーセービングモードに移行する、請求項１に記載の端末。

【請求項15】

前記プロセッサは、
前記オブジェクトが前記端末に対して傾いた方向を確認して、前記角度に基づいてパワーセービングモードに移行する、請求項１に記載の端末。

【請求項16】

前記プロセッサは、
前記磁界値の変化パターンに基づいてパワーセービングモードに移行する、請求項１に記載の端末。

【請求項17】

前記プロセッサは、
前記位置に対応する自由度が予め設定された場合、前記磁界値を用いて前記オブジェクトが空間上で傾いた程度に対応する方向を決定する、請求項２に記載の端末。

【請求項18】

オブジェクトの位置及び前記オブジェクトが示す方向に基づいて端末のコンテンツの表示及びパワーセービングのうち少なくとも１つを制御するステップを含む、端末の動作方法。

【発明の詳細な説明】

【技術分野】

【0001】

下記実施形態は、端末及び端末の動作方法に関する。

【背景技術】

【0002】

低電力回路とアルゴリズムの開発によってスマートフォンなどの端末のサイズが小型化され、重量も軽量である。また、様々なコンテンツが開発され、端末でコンテンツを実行することも可能である。

【0003】

端末のサイズが小さくなるにつれてバッテリのサイズも小型化され、コンテンツの使用が増加する中で端末の電力節約が必要とされている。従来技術では、端末のカメラでユーザが端末を見ているか否かを確認し、ユーザが端末を見ていない場合には、端末は節電モードに移行するものもあった。しかし、カメラの使用とユーザが端末を見ているか否かを確認する動作過程において多くの電力が消耗される。

【0004】

関連先行技術としては、ペン型の入力装置を開示する韓国登録特許公報第１０−１１４７０２０号（発明の名称「位置検出装置」、出願人「ワコム」）がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、スタイラスペン、指、顔、又は、目が見る方向、又は端末に対するスタイラスペン、指、顔、又は、目の位置をセンサによって測定することができ、測定結果に基づいてユーザが端末を使用する意思がないと判断される場合、端末をパワーセービングモードに移行して、端末の不要な電力使用を減らすことができる。また、実施形態は、端末とユーザ入力装置との間のインタラクションによってコンテンツの視覚的効果を制御することができる。

【課題を解決するための手段】

【0006】

本発明の一実施形態に係る端末は、オブジェクトの位置及び前記オブジェクトが示す方向に基づいて端末のコンテンツの表示及びパワーセービングのうち少なくとも１つを制御するプロセッサを含む。

【0007】

前記オブジェクトに対応する磁界発生装置から生成された磁界に基づいて、前記磁界発生装置の位置と方向に対応する磁界値を測定する第１センサをさらに含んでもよく、前記プロセッサは、前記磁界値に基づいてコンテンツの表示及びパワーセービングのうち少なくとも１つを制御してもよい。

【0008】

前記オブジェクトは、身体の一部を含み、前記身体の一部の位置及び前記身体の一部が示す方向を検出する第２センサをさらに含んでもよく、前記プロセッサは、前記身体の一部の位置及び前記身体の一部が示す方向に基づいて前記身体の一部が前記端末に移動したり前記端末を見ているかを確認して、前記確認に基づいてコンテンツの表示及びパワーセービングのうち少なくとも１つを制御してもよい。

【0009】

前記オブジェクトから前記位置及び方向を受信する通信部をさらに含んでもよく、前記プロセッサは、前記受信された位置及び方向に基づいて前記端末のコンテンツの表示及びパワーセービングのうち少なくとも１つを制御してもよい。

【0010】

前記プロセッサは、前記位置及び前記方向のうち少なくとも１つに基づいて、前記端末のディスプレイに表示されたコンテンツのターゲット領域を決定してもよい。

【0011】

前記プロセッサは、前記ターゲット領域の決定に基づいて、前記ターゲット領域の表示されたレイヤの次のレイヤを露出してもよい。

【0012】

前記ターゲット領域の形は、前記オブジェクトに対応するボリューム（ｖｏｌｕｍｅ）に基づいて決定されてもよい。

【0013】

前記プロセッサは、前記位置及び方向のうち少なくとも１つに基づいて前記コンテンツのターゲット領域が決定され、前記オブジェクトが前記端末に向かって移動するが、前記オブジェクトと前記端末との間の距離が予め定められた範囲以内にある場合、前記ターゲット領域の表示されたレイヤの下に位置する次のレイヤを露出してもよい。

【0014】

前記プロセッサは、前記位置及び方向のうち少なくとも１つと前記オブジェクトに対応するように予め設定されたボリュームに基づいて決定されたターゲット領域の露出を制御してもよい。

【0015】

前記プロセッサは、前記位置及び方向のうち少なくとも１つに基づいて前記コンテンツのターゲット領域を決定し、前記ターゲット領域に対する選択入力に基づいて、前記オブジェクトの移動方向に対応するように前記コンテンツの視覚的フィードバックを制御してもよい。

【0016】

前記プロセッサは、前記ターゲット領域が選択された後に前記オブジェクトが前記端末に近づく場合、前記コンテンツに対するプッシュ（ｐｕｓｈ）に対応する視覚的フィードバックを露出して、前記ターゲット領域が選択された後に前記オブジェクトが前記端末から離れる場合、前記コンテンツに対するプル（ｐｕｌｌ）に対応する視覚的フィードバックを露出してもよい。

【0017】

前記プロセッサは、前記オブジェクトと前記端末との接触を基にタッチイベントが発生する場合、前記タッチイベントの発生位置及び前記オブジェクトが前記端末に対して傾いた角度を基に前記コンテンツのライティング（ｌｉｇｈｔｉｎｇ）ターゲット領域及びライティング方向を決定してもよい。

【0018】

前記プロセッサは、前記オブジェクトと前記端末との接触を基にタッチイベントが発生する場合、前記タッチイベントの強度（ｐｒｅｓｓｕｒｅ）に関する情報を用いて、ディスプレイに表示されたコンテンツのレイヤの露出を制御してもよい。

【0019】

前記プロセッサは、前記位置を用いて前記オブジェクトと前記端末との間の相対的な位置を確認して、前記相対的な位置が予め定められた範囲以外にある場合、パワーセービングモードに移行してもよい。

【0020】

前記プロセッサは、前記オブジェクトが前記端末に対して傾いた方向を確認して、前記角度に基づいてパワーセービングモードに移行してもよい。

【0021】

前記プロセッサは、前記磁界値の変化パターンに基づいてパワーセービングモードに移行してもよい。

【0022】

前記プロセッサは、前記位置に対応する自由度に予め設定された制限がある場合、前記磁界値を用いて前記オブジェクトが空間上で傾いた程度に対応する方向を決定してもよい。

【0023】

オブジェクトの位置及び前記オブジェクトが示す方向に基づいて端末のコンテンツの表示及びパワーセービングのうち少なくとも１つを制御するステップを含む。

【0024】

前記オブジェクトに対応する磁界発生装置から生成された磁界に基づいて、前記磁界発生装置の位置と方向に対応する磁界値を測定するステップをさらに含み、前記制御するステップは、前記磁界値に基づいてコンテンツの表示及びパワーセービングのうち少なくとも１つを制御するステップを含んでもよい。

【0025】

前記オブジェクトは、身体の一部を含み、前記制御するステップは、前記身体の一部の位置及び前記身体の一部が示す方向に基づいて前記身体の一部が前記端末に移動したり前記端末を見ているかを確認して、前記確認に基づいてコンテンツの表示及びパワーセービングのうち少なくとも１つを制御するステップを含んでもよい。

【0026】

前記制御するステップは、前記位置及び前記方向のうち少なくとも１つに基づいて、前記端末のディスプレイに表示されたコンテンツのターゲット領域を決定するステップと、前記ターゲット領域の決定に基づいて、前記ターゲット領域の表示されたレイヤの次のレイヤを露出するステップとを含んでもよい。

【0027】

前記制御するステップは、前記位置及び方向のうち少なくとも１つと前記オブジェクトに対応するように予め設定されたボリュームに基づいて決定されたターゲット領域の露出を制御するステップを含んでもよい。

【0028】

前記制御するステップは、前記位置及び方向のうち少なくとも１つに基づいて前記コンテンツのターゲット領域を決定するステップと、前記ターゲット領域に対する選択入力に基づいて、前記オブジェクトの移動方向に対応するように前記コンテンツの視覚的フィードバックを制御するステップとを含んでもよい。

【0029】

前記コンテンツの視覚的フィードバックを制御するステップは、前記ターゲット領域が選択された後に前記オブジェクトが前記端末に近づく場合、前記コンテンツに対するプッシュ（ｐｕｓｈ）に対応する視覚的フィードバックを露出して、前記ターゲット領域が選択された後に前記オブジェクトが前記端末から離れる場合、前記コンテンツに対するプル（ｐｕｌｌ）に対応する視覚的フィードバックを露出するステップを含んでもよい。

【0030】

前記制御するステップは、前記オブジェクトと前記端末との接触を基にタッチイベントが発生する場合、前記タッチイベントの発生位置及び前記オブジェクトが前記端末に対して傾いた角度を基に前記コンテンツのライティング（ｌｉｇｈｔｉｎｇ）ターゲット領域及びライティング方向を決定するステップを含んでもよい。

【0031】

前記制御するステップは、前記オブジェクトと前記端末との接触を基にタッチイベントが発生する場合、前記タッチイベントの強度（ｐｒｅｓｓｕｒｅ）に関する情報を用いて、ディスプレイに表示されたコンテンツのレイヤの露出を制御するステップを含んでもよい。

【0032】

前記制御するステップは、前記位置を用いて前記オブジェクトと前記端末との間の距離を確認して、前記距離が予め定められた範囲以外にある場合、パワーセービングモードに移行するステップを含んでもよい。

【0033】

前記磁界値に基づいてコンテンツの表示及びパワーセービングのうち少なくとも１つを制御するステップは、前記位置に対応する自由度が予め設定された場合、前記磁界値を用いて前記オブジェクトが空間上で傾いた程度に対応する方向を決定するステップを含んでもよい。

【発明の効果】

【0034】

実施形態は、端末に対するスタイラスペン又は指の位置や方向をセンサによって測定することができ、測定結果に基づいてユーザが端末を使用する意思がないと判断される場合、端末をパワーセービングモードに移行して端末の不要な電力使用を減らすことができる。また、実施形態は、端末とユーザ入力装置との間のインタラクションによってコンテンツの視覚的効果を制御することができる。

【図面の簡単な説明】

【0035】

【図1】一実施形態に係る端末及びユーザ入力装置を説明するための図である。

【図2】一実施形態に係るコンテンツの表示制御の一例を説明するための図である。

【図3】一実施形態に係るコンテンツの表示制御の一例を説明するための図である。

【図4】一実施形態に係るコンテンツの表示制御の一例を説明するための図である。

【図5】一実施形態に係るコンテンツの表示制御の一例を説明するための図である。

【図6】一実施形態に係るコンテンツの表示制御の一例を説明するための図である。

【図7】一実施形態に係るコンテンツの表示制御の別の一例を説明するための図である。

【図8】一実施形態に係るコンテンツの表示制御の別の一例を説明するための図である。

【図9】一実施形態に係るコンテンツの表示制御の別の一例を説明するための図である。

【図10】一実施形態に係る端末を説明するためのブロック図である。

【図11】一実施形態に係る端末の動作方法を説明するためのフローチャートである。

【図12】一実施形態に係る端末の動作方法の一例を説明するための図である。

【図13】一実施形態に係る端末の動作方法の別の一例を説明するための図である。

【発明を実施するための形態】

【0036】

以下、添付する図面を参照しながら実施形態を詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。

【0037】

以下で説明する実施形態は様々な変更が加えられてもよい。以下で説明する実施形態は実施形態に対して限定しようとするものではなく、これに対する全ての変更、均等物ないし代替物を含むものとして理解しなければならない。

【0038】

実施形態で用いる用語は、単に特定の実施形態を説明するために用いられたものとして、実施形態を限定しようとする意図は有しない。単数の表現は文脈上、明白に相違に意味しない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれを組み合わせたものが存在することを指定しようとするものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

【0039】

相違に定義されない限り、技術的でるか科学的な用語を含み、ここで用いられる全ての用語は、実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるのと同じ意味を有する。一般的に用いられる予め定義されているような用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈するべきであって、本出願で明白に定義しない限り、理想的であるか過度に形式的な意味と解釈されることはない。

【0040】

また、添付図面を参照して説明することにおいて、図面符号に関係なく同一の構成要素は同一の参照符号を付与し、それに対する重複説明は省略することにする。実施形態の説明において関連の公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明は省略する。

【0041】

図１は、一実施形態に係る端末及びユーザ入力装置を説明するための図である。

【0042】

図１を参照すると、端末１２０は、ディスプレイ１２１及びセンサ１２２を含む。センサ１２２は、例えば、３軸磁気センサを含んでもよい。

【0043】

ディスプレイ１２１にユーザ入力装置１１０が接触してもよい。ユーザ入力装置１１０は、ディスプレイ１２１と接触する接触部及び磁界発生装置１１１を含む。磁界発生装置１１１は、磁石を含んでもよい。ユーザ入力装置１１０は、図１に示すようにペン形態であってもよい。ユーザ入力装置１１０の形態は、一実施形態に係る例示的な事項に過ぎず、ユーザ入力装置の形態は、図１に示したものに限定されない。磁界発生装置１１１は、ユーザ入力装置１１０に含めて説明されたが、一実施形態に係る例示的な事項に過ぎず、磁界発生装置１１１は、ユーザが着用可能な指輪形態であってもよい。

【0044】

センサ１２２は、磁界発生装置１１１によって生成される磁界を検出してもよい。端末１２０が複数のセンサを含む場合、端末１２０は、５つの自由度に対応する磁界発生装置１１１の位置及び方向を決定してもよい。ここで、自由度は（ｘ，ｙ，ｚ，ｔｈｅｔａ，ｐｈｉ）であってもよい。ｔｈｅｔａは、ユーザ入力装置１１０の中心又は磁界発生装置１１１の中心がディスプレイ１２１の法線とのなす角を示し、ｐｈｉは、ユーザ入力装置１１０がディスプレイ１２０上に射影されて（ｐｒｏｊｅｃｔｅｄ）表れる線がディスプレイ１２１のｘ軸とのなす角を示す。

【0045】

例えば、端末１２０は、磁界発生装置１１１の５つの自由度と同一であるか、５つの自由度より多くのセンサを含む場合、それぞれのセンサ値を用いて磁界発生装置１１１の位置と方向を決定してもよい。センサ値は、互いに従属的でなく独立的であってもよい。

【0046】

センサ１２２を用いて５つの自由度を有するユーザ入力装置１１０又は磁界発生装置１１１の空間上の位置及び方向を決定することは難しい場合がある。この場合、ｔｈｅｔａ及びｐｈｉを予め設定することもできる。ｔｈｅｔａ及びｐｈｉが予め設定された場合、端末１２０は、センサ１２２を用いて３つの自由度（ｘ，ｙ，ｚ）を有するユーザ入力装置１１０の位置を決定してもよい。

【0047】

ｔｈｅｔａ及びｐｈｉは、ユーザがユーザ入力装置１１０を握る手によって決定されてもよい。例えば、ユーザが右利きの場合、ｐｈｉは、ｘ軸から反時計方向に２７０度〜３６０度のうちのある値であってもよい。例えば、ｐｈｉは、３１５度に近い値であってもよい。また、ｔｈｅｔａは、４５度内外の値であってもよい。ｔｈｅｔａ及びｐｈｉが予め設定された場合、端末１２０は、ユーザ入力装置１１０又は磁界発生装置１１１の自由度に対応する位置を決定してもよい。

【0048】

また、磁界発生装置１１１の空間上の位置が特定値として予め設定することもできる。この場合、端末１２０は、センサ１２２から出力されたセンサ値を用いて磁界発生装置１１１の方向又は磁界発生装置１１１が空間上で傾いた角度（ｔｈｅｔａ，ｐｈｉ）を決定してもよい。例えば、磁界発生装置１１１の端末の平面上における位置（ｘ，ｙ）が特定値として予め設定されてもよく、端末１２０は、センサ１２２の出力値を用いて残りの自由度（ｚ，ｔｈｅｔａ，ｐｈｉ）を決定してもよい。

【0049】

図１に示したものとは異なり、ユーザ入力装置１１０は、端末１２０又はディスプレイ１２１の裏面に位置することもできる。磁界発生装置１１１の自由度（ｔｈｅｔａ，ｐｈｉ）が特定値として予め設定された場合、端末１２０は、センサ１２２の出力値を用いて磁界発生装置１１１の空間上の位置、すなわち、自由度（ｘ，ｙ，ｚ）を決定してもよい。磁界発生装置１１１の位置に対応する自由度のうちの一部が特定値として予め設定された場合、端末１２０は、センサ１２２の出力値を用いて磁界発生装置１１１の自由度（ｔｈｅｔａ，ｐｈｉ）を決定してもよい。端末がバーチャルリアリティ端末（例えば、ＶＲゴーグル）に装着されて、ユーザが端末を操作できない場合（例えば、ユーザがディスプレイ１２１に触れられない場合）、ユーザ入力装置１１０の位置情報及び／又は傾き情報が端末に入力されてもよい。ここで傾き情報は、ユーザ入力装置１１０の方向情報又はユーザ入力装置１１０が空間上で傾いた角度を示してもよい。スマートフォンなどの端末がバーチャルリアリティ（ＶＲ；Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）端末（例えば、ＶＲゴーグル）に装着されて、ユーザが端末を操作できない場合（例えば、ユーザがタッチスクリーンに触れられない場合）、ユーザ入力装置１１０の位置情報及び／又は傾き情報によってバーチャルリアリティの制御を可能にしてもよい。特に、端末に対するユーザの特別な入力がなくともユーザ入力装置１１０を介してバーチャルリアリティ及び／又はバーチャルリアリティに対応するソフトウェアの制御を可能にすることができる。

【0050】

図２〜図６は、一実施形態に係るコンテンツの表示制御の一例を説明するための図である。

【0051】

図２を参照すると、人間型のコンテンツ２１０がディスプレイに表示される。

【0052】

コンテンツ２１０は、複数のレイヤを含むこともできる。ディスプレイには、コンテンツ２１０の最上位レイヤが表示される。図２に示した例において、コンテンツ２１０の最上位レイヤである第１レイヤは、皮膚レイヤであってもよい。

【0053】

図３を参照すると、コンテンツのターゲット領域が決定されてもよい。

【0054】

ユーザ入力装置３１０が端末に近づきユーザ入力装置３１０と端末との間の距離が第１範囲内にある場合、ユーザ入力装置３１０の位置及び方向に基づいてターゲット領域３２０又はポインティング対象が決定されてもよい。例えば、ユーザ入力装置３１０又はユーザ入力装置３１０に備えられた磁界発生装置の自由度（ｘ，ｙ，ｚ，ｔｈｅｔａ，ｐｈｉ）が決定されてもよく、決定された自由度に基づいてターゲット領域３２０が決定されてもよい。一実施形態によれば、ユーザ入力装置３１０に対応するボリュームが予め設定されてもよく、ユーザ入力装置３１０の位置、方向、及びボリュームに基づいてターゲット領域３２０が決定されてもよい。ターゲット領域３２０の形は、ボリュームの断面に対応してもよい。ユーザ入力装置３１０に対応するボリュームが円錐である場合、円錐の断面は円であってもよい。それにより、ターゲット領域３２０の形は、図２に示した例のように円であってもよい。

【0055】

ターゲット領域３２０が決定された場合、コンテンツの第２レイヤが表示される。ターゲット領域３２０が決定される前にコンテンツの第１レイヤがディスプレイに表示されて、ターゲット領域が決定された場合、第１レイヤの下の第２レイヤが表示されてもよい。

【0056】

例えば、ターゲット領域３２０の第２レイヤが表示され、ターゲット領域３２０を除く残りの領域には、第１レイヤが表示される。ターゲット領域３２０が決定された場合、端末は、ターゲット領域３２０に対応する第２レイヤを表示してもよく、ターゲット領域３２０を除く残りの領域には、第１レイヤを表示してもよい。図２に示すように、ターゲット領域３２０の皮膚レイヤの下の臓器レイヤが表示されてもよく、ターゲット領域３２０を除く残りの領域には、皮膚レイヤが表示されてもよい。

【0057】

別の一例として、ターゲット領域３２０が決定された場合、第２レイヤが第１レイヤの上にオーバーレイされてもよい。ここで、端末はターゲット領域３２０に対応する第２レイヤを表示し、残り領域には第２レイヤではない第１レイヤが表示されるようにしてもよい。

【0058】

また別の一例として、ターゲット領域３２０が決定され、ユーザ入力装置３１０が端末により近づいた場合、ターゲット領域３２０に対応する第２レイヤを表示してもよい。

【0059】

図４を参照すると、コンテンツの第３レイヤがディスプレイに表示される。

【0060】

ユーザ入力装置４１０と端末との間の距離が第２範囲内にある場合、コンテンツの第３レイヤが表示されてもよい。図４に示すように、ターゲット領域４２０の血管レイヤが表示されてもよく、ターゲット領域４２０を除く残りの領域には、皮膚レイヤが表示されてもよい。上述したように、ターゲット領域４２０の第２レイヤの下の第３レイヤが表示されてもよい。また、コンテンツの第２レイヤの上に第３レイヤがオーバーレイされてもよく、端末はターゲット領域に対応する第３レイヤが表示され、ターゲット領域４２０を除く領域には、第１レイヤが表示されるように制御してもよい。

【0061】

図５を参照すると、コンテンツの第４レイヤがディスプレイに表示される。

【0062】

ユーザ入力装置５１０と端末との間の距離が第３範囲内にある場合、コンテンツの第４レイヤが表示されてもよい。図５に示すように、ターゲット領域５２０の骨格レイヤが表示されてもよく、ターゲット領域５２０を除く残りの領域には、皮膚レイヤが表示されてもよい。上述したように、ターゲット領域５２０の第３レイヤの下の第４レイヤが表示されてもよい。また、コンテンツの第３レイヤの上に第４レイヤがオーバーレイされてもよく、端末は、ターゲット領域５２０に対応する第４レイヤが表示され、ターゲット領域５２０を除く領域には、第１レイヤが表示されるように制御してもよい。

【0063】

ユーザ入力装置５１０が移動する場合、ターゲット領域が変更されてもよい。

【0064】

図６を参照すると、ユーザ入力装置６１０が移動する場合、ターゲット領域６２０が変更されてもよい。図６に示すように、ターゲット領域６２０は、コンテンツの顔になってもよい。上述したように、ターゲット領域６２０は、ユーザ入力装置６１０の位置及び方向に基づいて決定されてもよい。

【0065】

図６には図示していないが、ユーザ入力装置６１０が端末から遠ざかることもできる。ユーザ入力装置６１０と端末との間の距離は、第３範囲を外れてもよく、第２範囲内にあってもよい。この場合、端末は第４レイヤより上位レイヤである第３レイヤを表示してもよい。

【0066】

ユーザ入力装置６１０と端末との間の距離が近くなるほどコンテンツの下位レイヤが表示されてもよい。また、ユーザ入力装置６１０と端末との間の距離が遠ざかるほどコンテンツの上位レイヤが表示されてもよい。

【0067】

図１を参照して記述された事項は、図２〜図６に記述した事項に適用することができるため、詳細な説明は省略する。

【0068】

図７〜図９は、一実施形態に係るコンテンツの表示制御の別の一例を説明するための図である。

【0069】

図７を参照すると、ディスプレイには暗く処理されたコンテンツが表示されてもよい。ユーザ入力装置７１０がディスプレイと接触した場合、コンテンツが明るく表示されてもよい。より具体的には、ユーザ入力装置７１０とディスプレイとが接触した場合、ユーザ入力装置７１０の位置及び方向に基づいてライティング（ｌｉｇｈｔｉｎｇ）ターゲット領域７２０及びライティング方向が決定されてもよい。ここで、方向はユーザ入力装置７１０がディスプレイの１つ以上の軸（例えば、ｘ軸及びｚ軸）に対して傾いた角度と対応してもよい。傾いた角度は、上述したｐｈｉ及びｔｈｅｔａであってもよい。例えば、ユーザ入力装置７１０とディスプレイとの間の接触地点に対する磁界発生装置の空間上の位置及び磁界発生装置の方向に基づいてライティングターゲット領域７２０及びライティング方向が決定されてもよい。ライティングターゲット領域７２０が決定された場合、ライティングターゲット領域７２０に対応するコンテンツが明るく表示されてもよい。図７に示した例のように、ライティングターゲット領域７２０に対応するコンテンツが明るく表示され、ライティングターゲット領域７２０を除く残りの領域には、コンテンツが暗く表示される。

【0070】

図８を参照すると、ライティングターゲット領域８２０及びライティング方向が異なるように決定される。より具体的には、図８に示した例の場合、ユーザ入力装置８１０の空間上の位置及び方向が変化してライティングターゲット領域８２０及びライティング方向が図７に示した例と異なるように決定される。すなわち、上述したｐｈｉ及びｔｈｅｔａが変化してライティングターゲット領域８２０及びライティング方向が図７に示した例と異なるように決定される。

【0071】

図９を参照すると、ライティングターゲット領域９２０及びライティング方向は、図７及び図８に示した例と異なるように決定される。上述したように、ユーザ入力装置９１０のｐｈｉ及びｔｈｅｔａが変化してライティングターゲット領域９２０及びライティング方向が図７及び図８に示した例と異なるように決定される。

【0072】

図１を参照して記述された事項は、図７〜図９に記述した事項に適用することができるため、詳細な説明は省略する。

【0073】

図１０は、一実施形態に係る端末を説明するためのブロック図である。

【0074】

図１０を参照すると、一実施形態に係る端末１０００は、センサ１０１０及びプロセッサ１０２０を含む。

【0075】

センサ１０１０は、オブジェクトの位置及びオブジェクトの方向を検出してもよい。ここで、方向はオブジェクトが示す方向を含んでもよい。オブジェクトは、例えば、人の指又は頭であってもよい。また、オブジェクトは、上述したユーザ入力装置であってもよい。また、オブジェクトは、バッテリによって独立的に動作する物理的な装置又はバッテリによって動作しない物理的な装置であってもよい。前述したオブジェクトは例示的な事項に過ぎず、オブジェクトは前述した例に限定されない。

【0076】

一実施形態によれば、センサ１０１０は、端末と物理的に区別される磁界発生装置から生成された磁界に基づいて、磁界生成装置の自由度（ａ ｄｅｇｒｅｅ ｏｆ ｆｒｅｅｄｏｍ）に対応する磁界値を測定してもよい。磁界発生装置は、オブジェクトに備えられたり、オブジェクトに着用されてもよい。例えば、磁界発生装置は、上述したペン形態のユーザ入力装置に備えられてもよい。また、磁界発生装置は、指輪形態であってもよく、ユーザの指に着用されてもよい。

【0077】

センサ１０１０は、磁界発生装置の自由度に対応する磁界値を測定してもよい。例えば、センサ１０１０は、磁界発生装置の自由度（ｘ，ｙ，ｚ，ｔｈｅｔａ，ｐｈｉ）に対応する磁界値を測定してもよい。ｔｈｅｔａ及びｐｈｉが予め設定された場合、センサ１０１０は、自由度（ｘ，ｙ，ｚ）に対応する磁界値を測定してもよい。

【0078】

図１０には図示していないが、一実施形態における他の端末１０００は、通信部をさらに含んでもよい。通信部は、オブジェクトからオブジェクトの位置及び方向を受信してもよく、受信された位置及び方向をプロセッサ１０２０に送信してもよい。例えば、オブジェクトは、カメラを含んでもよく、カメラを用いて端末１０００に対するオブジェクトの相対的な位置と方向を測定してもよい。ここで、オブジェクトは、端末１０００との距離を測定してもよく、測定された距離を端末１０００に送信してもよい。別の一例として、オブジェクトは、磁界センサを含んでもよい。オブジェクトは、端末１０００によって生成された磁界に基づいて、磁界値を測定してもよく、磁界値に基づいてオブジェクトの位置及び方向を決定してもよい。オブジェクトは、端末１０００にオブジェクトの位置及び方向に関する情報を送信してもよい。

【0079】

プロセッサ１０２０は、オブジェクトの位置情報及び方向情報に基づいて端末のコンテンツの表示及びパワーセービングのうち少なくとも１つを制御してもよい。ここで、オブジェクトの位置情報及び方向情報は、端末１０００に内蔵されたセンサから出力された情報であったり、オブジェクトから受信した情報であってもよい。例えば、プロセッサ１０２０は、磁界値に基づいてコンテンツの表示及びパワーセービングのうち少なくとも１つを制御してもよい。別の一例として、プロセッサ１０２０は、身体の一部の位置及び身体の一部が示す方向に基づいて身体の一部が端末１０００に移動したり端末１０００を見ているかを確認してもよく、前記確認に基づいてコンテンツの表示及びパワーセービングのうち少なくとも１つを制御してもよい。

【0080】

以下、コンテンツの表示制御及びパワーセービング制御について説明する。

【0081】

［コンテンツの表示制御］
プロセッサ１０２０は、オブジェクトの位置情報及び方向情報のうち少なくとも１つに基づいて、端末１０００のディスプレイに表示されたコンテンツのターゲット領域を決定してもよい。ここで、オブジェクトに対応するボリュームが予め設定された場合、プロセッサ１０２０は、オブジェクトの位置情報、方向情報、及びボリュームに基づいてターゲット領域を決定してもよい。ターゲット領域の形は、ボリュームに基づいて決定されてもよい。

【0082】

一実施形態において、ターゲット領域が決定された場合、プロセッサ１０２０は、ターゲット領域の表示されたレイヤの次のレイヤを露出してもよい。例えば、コンテンツの最上位レイヤである第１レイヤがディスプレイに表示され、コンテンツのターゲット領域が決定されてもよい。この場合、ターゲット領域の第１レイヤの下位レイヤである第２レイヤが露出してもよい。ターゲット領域を除く残りの領域には、第１レイヤが表示される。又は、ターゲット領域が決定された場合、プロセッサ１０２０は、第２レイヤを露出するが、ターゲット領域に対応する第２レイヤを視覚的に露出して、ターゲット領域を除く残りの領域には、第２レイヤが視覚的に露出しないようにしてもよい。

【0083】

例えば、ディスプレイに人間型のコンテンツが表示されるとする。磁界発生装置の位置情報及び方向情報に基づいて人の皮膚レイヤ、臓器レイヤ、血管レイヤ、及び骨格レイヤが表示されてもよい。皮膚レイヤがディスプレイに表示された状態でオブジェクトと端末との間の距離が第１距離の場合、コンテンツのターゲット領域が決定されてもよい。ターゲット領域が決定された場合、プロセッサ１０２０は、ターゲット領域の皮膚レイヤの下に位置する臓器レイヤを露出してもよく、ターゲット領域以外の領域には皮膚レイヤを露出してもよい。オブジェクトが端末に近づいてオブジェクトと端末との間の距離が第２距離の場合、プロセッサ１０２０は、ターゲット領域の血管レイヤを露出してもよい。オブジェクトと端末との間の距離が第３距離の場合、プロセッサ１０２０は、ターゲット領域の骨格レイヤを露出してもよい。オブジェクトが端末に近づくにつれて、コンテンツの皮膚レイヤ、臓器レイヤ、血管レイヤ、及び骨格レイヤが順次表示されてもよい。すなわち、オブジェクトの特定自由度の変化に基づいてターゲット領域のレイヤが順次露出されてもよい。

【0084】

プロセッサ１０２０は、オブジェクトの位置情報及び方向情報のうち少なくとも１つとオブジェクトに対応するように予め設定されたボリュームに基づいて決定されたターゲット領域の露出を制御してもよい。一実施形態において、コンテンツは、３次元情報を含んでもよい。例えば、コンテンツは、ボリュームデータを含んでもよい。ボリュームデータは、ｘ軸情報、ｙ軸情報、及びｚ軸情報を含んでもよい。

【0085】

オブジェクトの空間上の位置に対応するコンテンツの３次元情報が露出してもよい。例えば、コンテンツが脳のボクセル（ｖｏｘｅｌ）データを含む場合、オブジェクトの空間上の位置に対応する脳の位置のボクセルデータが表示されてもよい。オブジェクトが端末に近づくにつれてコンテンツの内部の姿がディスプレイに露出されてもよい。

【0086】

オブジェクトに対応するボリュームが決定されてもよく、３次元情報を含むコンテンツがボリュームによって開けられた様子がディスプレイには視覚的に表示され得る。例えば、ディスプレイにスイカ型のコンテンツが表示され、オブジェクトに対応するボリュームが円錐であるとする。オブジェクトと端末との間の距離が第１距離の場合、ターゲット領域が決定されてもよく、ターゲット領域が決定された場合、プロセッサ１０２０は、第１距離に対応する深さ及び円錐に対応する形に基づいてターゲット領域の露出を制御してもよい。すなわち、ターゲット領域の視覚性が制御され、ターゲット領域が消えたように表示されてもよい。言い換えると、第１距離に対応する深さと円錐に対応する形を有する孔がコンテンツに生じてもよい。それにより、コンテンツの内部の様子がディスプレイに視覚的に表示されてもよい。オブジェクトが端末により近づいて、オブジェクトと端末との間の距離が第２距離の場合、前記第２距離に対応する深さ及び前記円錐に対応する形に基づいてターゲット領域の露出が制御されてもよい。上述した例において、オブジェクトが端末に近づく場合、スイカの奥の深い部分までディスプレイに表示されてもよい。

【0087】

一実施形態において、プロセッサ１０２０は、ターゲット領域が決定された場合、ターゲット領域に対する選択入力に基づいて、オブジェクトの移動方向に対応するようにコンテンツの視覚的フィードバックを制御してもよい。ターゲット領域が選択された後にオブジェクトが端末に近づく場合、プロセッサ１０２０は、コンテンツに対するプッシュ（ｐｕｓｈ）に対応する視覚的フィードバックを露出してもよい。ターゲット領域が選択された後にオブジェクトが端末から遠ざかる場合、プロセッサ１０２０は、コンテンツに対するプル（ｐｕｌｌ）に対応する視覚的フィードバックを露出してもよい。

【0088】

例えば、ディスプレイに門型のコンテンツが表示されて、門がディスプレイの前面に向かって開いているとする。門型のコンテンツの扉の取っ手がターゲット領域に決定されてもよい。一例として、オブジェクトが端末に近づいてオブジェクトと端末との間の距離が第１距離の場合、門型のコンテンツの扉の取っ手がターゲット領域に決定されてもよい。ここで、扉の取っ手に対する選択入力が発生してもよい。オブジェクトに対応するオブジェクトが扉の取っ手をポインティングして前記ポインティングが一定時間の間保持された場合、扉の取っ手に対する選択入力が発生してもよい。プロセッサ１０２０は、ターゲット領域が決定され、オブジェクトの自由度の変化（すなわち、位置情報及び／又は方向情報の変化）が実質的にない場合、ターゲット領域を選択してもよい。また、オブジェクトに対応するオブジェクトに備わったボタンを押す入力に基づいて扉の取っ手に対する選択入力が発生してもよい。また、ディスプレイに対するタッチ入力に基づいて扉の取っ手に対する選択入力が発生してもよい。

【0089】

扉の取っ手に対する選択入力がある状態でオブジェクトが端末に近づく場合、オブジェクトの移動方向に対応するように門を閉める視覚的効果がディスプレイに表示されてもよい。オブジェクトが端末から遠ざかる場合、オブジェクトの移動方向に対応するようにドアが開く視覚的効果がディスプレイに表示されてもよい。すなわち、オブジェクトの移動方向と対応する「押す（ｐｕｓｈ）入力」を可能にすることができる。また、オブジェクトの移動方向と対応する「消す（ｐｕｌｌ）入力」を可能にすることができる。

【0090】

別の一例として、ディスプレイに複数の人型コンテンツが表示されてもよい。複数の人型コンテンツのうちいずれか１つに対する選択入力がある場合、プロセッサ１０２０は、オブジェクトの移動方向に基づいて、選択された人型コンテンツの視覚的フィードバックを制御してもよい。オブジェクトが端末に近づく場合、プロセッサ１０２０は、オブジェクトの移動方向に対応する視覚的フィードバック（例えば、選択された人型コンテンツを後に倒す視覚的フィードバック）を露出してもよい。オブジェクトが端末から遠ざかる場合、プロセッサ１０２０は、オブジェクトの移動方向に対応する視覚的フィードバック（例えば、後に倒れた人型コンテンツを起こす視覚的フィードバック）を露出してもよい。

【0091】

一実施形態において、プロセッサ１０２０は、オブジェクトと端末の接触に基づいてタッチイベントが発生する場合、タッチイベントの発生位置及びオブジェクトが端末に対して傾いた角度を基にコンテンツのライティング（ｌｉｇｈｔｉｎｇ）ターゲット領域及びライティング方向を決定してもよい。

【0092】

暗く処理されたコンテンツがディスプレイに表示され、オブジェクトとディスプレイとが接触してタッチイベントが発生する場合、プロセッサ１０２０は、タッチイベントの発生位置及びオブジェクトの自由度（ｔｈｅｔａ，ｐｈｉ）に基づいてライティングターゲット領域及びライティング方向を決定してもよい。

【0093】

例えば、コンテンツのキャラクターが洞窟に進入してコンテンツが暗く処理される場合、オブジェクトとディスプレイの接触地点及びオブジェクトの自由度（ｔｈｅｔａ，ｐｈｉ）に基づいてライティングターゲット領域及びライティング方向が決定されてもよい。それにより、ライティングターゲット領域が明るく表示されてもよい。

【0094】

一実施形態において、プロセッサ１０２０は、オブジェクトの位置情報及び方向情報のうち少なくとも１つに基づいてコンテンツの視覚性（ｖｉｓｉｂｉｌｉｔｙ）を制御してもよい。オブジェクトが端末に近づく場合、コンテンツが透明になったりコンテンツが明確に表示されてもよい。

【0095】

オブジェクトの位置情報及び／又は方向情報を中心にコンテンツの表示制御を説明したが、これらは、一実施形態に係る例示的な事項に過ぎない。オブジェクトの位置情報及び／又は方向情報を基に、上述したコンテンツの表示制御が可能である。例えば、オブジェクトは、カメラを含んでもよく、カメラを介して端末に対する相対的な位置を確認してもよい。また、オブジェクトは、マイクを含んでもよく端末から出力された音波（例えば、超音波）を用いて端末に対する相対的な位置を確認してもよい。オブジェクトは、端末に対する相対的な位置を端末に送信してもよく、端末は、オブジェクトから受信した位置を用いて上述したコンテンツの表示を制御してもよい。別の一例として、端末は、カメラを含んでもよく、カメラを介してオブジェクトの空間上の位置を確認してもよい。また、端末は、マイクを含んでもよく、オブジェクトから出力された音波（例えば、超音波）をマイクを介して受信してもよい。端末は、音波を用いてオブジェクトの空間上の位置を確認してもよい。端末は、確認された位置によってコンテンツの表示を制御してもよい。

【0096】

［パワーセービング制御］
プロセッサ１０２０は、端末１０００に対するオブジェクトの相対的な位置を確認してもよい。例えば、プロセッサ１０２０は、オブジェクトと端末１０００との間の距離を確認してもよい。ここで、オブジェクトの相対的な位置又はオブジェクトと端末１０００との間の距離が予め定められた範囲以外にある場合、プロセッサ１０２０は、パワーセービングモードに移行してもよい。例えば、オブジェクトがディスプレイ上で一定の距離以上に位置する場合、プロセッサ１０２０は、ディスプレイが節電モードに移行するように制御してもよい。一実施形態において、ディスプレイ上の３次元空間が動作空間領域として定義されてもよく、ユーザ入力装置又はユーザ入力装置に含まれたオブジェクトが動作空間領域の外に位置する場合、プロセッサ１０２０は、パワーセービングモードに移行してもよい。

【0097】

プロセッサ１０２０は、ユーザ入力装置が端末に対して傾いた角度を確認し、角度に基づいてパワーセービングモードに移行してもよい。例えば、ユーザがユーザ入力装置を使用しない場合、ユーザ入力装置をディスプレイ上に置くこともできる。この場合、ユーザ入力装置はディスプレイと平行になり、ｔｈｅｔａは０になる。プロセッサ１０２０は、オブジェクトの特定自由度（例えば、ｔｈｅｔａ）が０である場合、パワーセービングモードに移行してもよい。

【0098】

プロセッサ１０２０は、磁界値の変化パターンに基づいてパワーセービングモードに移行してもよい。オブジェクトが使用されない場合、磁界値の変化は十分に小さい。この場合、磁界値の変化パターンが小さいか実質的にないため、プロセッサ１０２０はパワーセービングモードに移行することができる。

【0099】

一実施形態によれば、高価のセンサ、プロセッサ、ブルートゥースなどの通信装置、及び／又は電源を備えずに単純な永久磁石を備えたユーザ入力装置と端末に備えられた１つ以上の磁界センサを介してユーザ入力装置の位置情報が決定されてもよく、決定された位置情報によって端末の画面出力を消したり端末が節電モードに移行してもよい。それにより、端末の電力を節約することができる。

【0100】

また、一実施形態によれば、センサ（磁界センサ、カメラなど）は、端末に対するスタイラスペン又は指の位置及び／又は方向を測定してもよく、端末は、測定結果に基づいてユーザがデータを入力する意思がないと判断することもできる。ユーザがデータを入力する意思がない場合、端末は、パワーセービングモードに移行してもよく、それにより端末の電力が節約される。

【0101】

また、一実施形態によれば、カメラとコンピュータビジョン技術を用いてユーザが端末を見ているか否かを測定する従来の節電方法の代わりに、磁界センサでユーザが入力をする手やペンの位置を測定することによって、より正確にパワーセービングモードに移行するか否かを決定することができる。また、従来の節電方法の場合、カメラの使用及びユーザが端末を見ているかを判断する過程によって電力を消耗するが、一実施形態では、ペンの位置を用いるため、端末の電力をあまり消耗しない。また、ペンの位置及び／又は方向によって画面の内容を暗くしたり薄くすることで、他人が画面の内容を見ることができなくすることもできる。それにより、画面の内容のセキュリティ及びプライバシーを保つことができる。

【0102】

一実施形態によれば、オブジェクトは、カメラを含んでもよく、カメラを介して端末に対する相対的な位置を確認してもよい。例えば、オブジェクトは、端末とオブジェクトとの間の距離を確認してもよい。また、オブジェクトは、マイクを含んでもよく、端末から出力された音波（例えば、超音波）を用いて端末に対する相対的な位置を確認することもできる。オブジェクトは、端末に対する相対的な位置を端末に送信してもよく、端末は、オブジェクトから受信した位置を用いて上述したパワーセービングを制御することもできる。別の一例として、端末は、カメラを含んでもよく、カメラを介してオブジェクトの空間上の位置を確認してもよい。また、端末は、マイクを含んでもよく、オブジェクトから出力された音波（例えば、超音波）をマイクを介して受信してもよい。端末は、音波を用いてオブジェクトの空間上の位置を確認することもできる。端末は、確認された位置によってパワーセービングを制御してもよい。

【0103】

一実施形態によれば、オブジェクトと端末１０００との間の接触に基づいてタッチイベントが発生する場合、プロセッサ１０２０は、タッチイベントの強度（ｐｒｅｓｓｕｒｅ）に関する情報を用いて、ディスプレイに表示されたコンテンツのレイヤの露出を制御してもよい。例えば、タッチスクリーンにコンテンツの第１レイヤが表示されるとする。ここで、端末１０２０のタッチスクリーンに対する第１タッチ入力がある場合、プロセッサ１０２０は、第１タッチ入力の強度に関する情報に基づいて第２レイヤを露出してもよい。第２レイヤが露出した状態で第２タッチ入力がある場合、プロセッサ１０２０は、第２タッチ入力の強度がレイヤ変化に充分であるかを判断してもよい。第２タッチ入力の強度がレイヤ変化に十分である場合、プロセッサ１０２０は、第３レイヤを露出してもよい。タッチ入力の強度によってレイヤの視覚性が制御されてもよい。

【0104】

一実施形態によれば、端末１０００は、タッチイベントの強度を測定するセンサをさらに含んでもよく、センサは、タッチイベントの強度に関する情報をプロセッサ１０２０に出力してもよい。プロセッサ１０２０は、センサから出力された情報に基づいてコンテンツのレイヤの露出を制御してもよい。また、オブジェクトは、タッチイベントの強度を測定するセンサを含んでもよく、タッチイベントが発生する場合、オブジェクトは、タッチイベントの強度に関する情報を端末１０００に送信してもよい。プロセッサ１０２０は、オブジェクトから受信された情報を用いてコンテンツのレイヤの露出を制御してもよい。

【0105】

図１〜図９を参照して記述された事項は、図１０を参照して記述された事項に適用することができるため、詳細な説明は省略する。

【0106】

図１１は、一実施形態に係る端末の動作方法を説明するためのフローチャートである。

【0107】

図１１を参照すると、端末は、オブジェクトの位置及びオブジェクトが示す方向を検出してもよい（Ｓ１１１０）。図１１には図示していないが、オブジェクトは、オブジェクト自身の位置及び方向を検出してもよく、検出結果を端末に送信してもよい。

【0108】

端末は、オブジェクトの位置及び方向に基づいて端末のコンテンツの表示及びパワーセービングのうち少なくとも１つを制御する（Ｓ１１２０）。

【0109】

図１〜図１０を参照して記述された事項は、図１１を参照して記述された事項に適用することができるため、詳細な説明は省略する。

【0110】

図１２は、一実施形態に係る端末の動作方法の一例を説明するための図である。

【0111】

一実施形態によれば、上述したオブジェクトは、人の顔であってもよい。

【0112】

図１２を参照すると、端末１２２０のユーザ１２１０は、端末１２２０を見る。端末１２２０は、ユーザ１２１０の顔又は目が端末１２２０の画面を見ているか否かと、見ている場合には、画面中のどこをどれ位の距離から見ているかを確認してもよい。例えば、端末１２２０は、カメラ及び／又は深度センサ（ｄｅｐｔｈ ｓｅｎｓｏｒ）を含んでもよく、ヘッドトラッキング（ｈｅａｄ ｔｒａｃｋｉｎｇ）及び／又はアイトラッキング（ｅｙｅ ｔｒａｃｋｉｎｇ）によってユーザ１２１０の顔又は目が端末１２２０の画面を見ているか否かを確認してもよい。ユーザの顔又はユーザの目が端末１２２０の画面を見ている場合、端末１２２０は、パワーセービングモードに移行しないようにしてもよく、ユーザの目が見ている端末画面上の位置と、ユーザの目と端末との距離を参照して端末に表示されるコンテンツを制御してもよい。

【0113】

図１〜図１１を参照して記述された事項は、図１２においてユーザの顔又は目を「オブジェクト」と見なしてそのまま適用することができるため、詳細な説明は省略する。

【0114】

図１３は、一実施形態に係る端末の動作方法の別の一例を説明するための図である。

【0115】

図１３を参照すると、ユーザ１３１０は端末１３２０を見ている。

【0116】

一実施形態に係る端末１３２０は、ユーザ１３１０の目又は顔が画面と近づくか又は遠ざかるかを確認してもよく、その確認に基づいてコンテンツの表示を制御してもよい。例えば、端末１３２０は動かずに、ユーザ１３１０の顔が画面と近づいたり遠ざかってもよい。この場合、端末１３２０は、カメラ及び／又は深度センサを用いてユーザ１３１０の顔が画面に近づくのか遠ざかるのかを確認してもよい。また、ユーザ１３１０の顔は動かずに、端末１３２０がユーザの顔と近づいたり遠ざかってもよい。この場合、端末１３２０は、端末１３２０に内蔵された加速度計（ａｃｃｅｌｅｒｏｍｅｔｅｒ）、ジャイロスコープ（ｇｙｒｏｓｃｏｐｅ）及び／又は地球磁界センサを用いてユーザ１３１０の顔が画面と近づくのか又は遠ざかるのかを確認してもよい。

【0117】

ユーザ１３１０の顔と端末１３２０とが互いに近づいてユーザの顔又は目が画面の一部を見ているのであれば、端末１３２０は、画面に表示されるコンテンツのレイヤ露出を制御してもよい。例えば、端末１３２０の画面にコンテンツの第１レイヤが表示された状態でユーザ１３１０の顔と端末１３２０とが互いに近づく場合、端末１３２０は第２レイヤを露出してもよい。レイヤ露出の制御については上述したため、詳細な説明は省略する。

【0118】

また、ユーザ１３１０の顔と端末１３２０とが互いに近づく場合、ライティング対象領域及びライティング方向が決定されてもよく、暗く処理されたコンテンツのライティング対象領域が明るく表示されてもよい。

【0119】

また、ユーザ１３１０の顔と端末１３２０とが近づく場合、端末１３２０は、コンテンツに対するプッシュに対応する視覚的フィードバックを露出してもよく、ユーザ１３１０の顔と端末１３２０とが遠ざかる場合、端末１３２０は、コンテンツに対するプル（ｐｕｌｌ）に対応する視覚的フィードバックを露出してもよい。

【0120】

身体の一部と端末１３２０の画面との間の距離、身体の一部が示す方向、及び／又は身体の一部の移動方向に基づいて端末１３２０は、コンテンツの視覚性、ライティング、及び／又はプッシュ／プルの視覚的効果を制御してもよい。また、身体の一部と端末の画面との間の距離によって画面に表示されるコンテンツを拡大／縮小（ｚｏｏｍ ｉｎ／ｏｕｔ）することもできる。

【0121】

図１〜図１１を参照して記述された事項は、図１２を参照して記述された事項に適用することができるため、詳細な説明は省略する。

【0122】

以上で説明された装置は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素及びソフトウェア構成要素の組合で実現してもよい。例えば、実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は、命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答できる異なるいかなる装置と共に、１つ以上の汎用コンピュータ又は特殊目的のコンピュータを用いて実現されてもよい。処理装置は、オペレーティングシステム（ＯＳ）及び前記オペレーションシステム上で行われる１つ以上のソフトウェアアプリケーションを行ってもよい。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成してもよい。理解の便宜のために、処理装置は１つ使用されるものと説明される場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含んでもよい。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

【0123】

ソフトウェアは、コンピュータプログラム、コード、命令、又はこのうちの１つ以上の組合を含んでもよく、希望の通りに動作するように処理装置を構成したり独立的に又は結合的に処理装置を命令してもよい。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、どのような類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、送信される信号波に永久的又は一時的に具体化できる。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散した方法で格納されたり実行されてもよい。ソフトウェア及びデータは、１つ以上のコンピュータ読み出し可能な記録媒体に格納されてもよい。

【0124】

実施形態に係る方法は、様々なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータで読取可能な記録媒体に記録されててもよい。前記記録媒体は、プログラム命令、データファイル、データ構造などのうち１つ又はその組合せを含んでもよい。前記記録媒体及びプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

【0125】

上述したように、本発明を限定された実施形態と図面によって説明したが、当該技術分野で通常の知識を有する者であれば、上記の記載から多様な修正及び変形が可能である。例えば、説明した技術を説明した方法と異なる順序で行ったり、及び／又は説明したシステム、構造、装置、回路などの構成要素を説明した方法と異なる形態で結合又は組合せたり、他の構成要素又は均等物によって代替、置換したとしても適切な結果を達成することができる。

【0126】

従って、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】