特許 7142619 適応的グラフィック使用者インターフェース拡大方法及びそれを遂行するモバイルデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-15

(45)【発行日】2022-09-27

(54)【発明の名称】適応的グラフィック使用者インターフェース拡大方法及びそれを遂行するモバイルデバイス

(51)【国際特許分類】

   G06F 3/04845 20220101AFI20220916BHJP

【ＦＩ】

G06F3/04845

【請求項の数】 18

(21)【出願番号】P 2019196331

(22)【出願日】2019-10-29

(65)【公開番号】P2020071885

(43)【公開日】2020-05-07

【審査請求日】2019-10-29

【審判番号】

【審判請求日】2021-07-28

(31)【優先権主張番号】10-2018-0131735

(32)【優先日】2018-10-31

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】313011434

【氏名又は名称】エヌエイチエヌ コーポレーション

【住所又は居所原語表記】（Ｓａｍｐｙｅｏｎｇ－ｄｏｎｇ），１６，Ｄａｅｗａｎｇｐａｎｇｙｏ－ｒｏ ６４５ ｂｅｏｎ－ｇｉｌ，Ｂｕｎｄａｎｇ－ｇｕ，Ｓｅｏｎｇｎａｍ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000408

【氏名又は名称】弁理士法人高橋・林アンドパートナーズ

(72)【発明者】

【氏名】リ ドンジン

【合議体】

【審判長】▲吉▼田 耕一

【審判官】稲葉 和生

【審判官】林 毅

(56)【参考文献】

【文献】特開２０１７－４９６６４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／０２８５４１８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06F3/048-3/0489

(57)【特許請求の範囲】

【請求項1】

ディスプレイパネルと、
使用者の位置を感知するセンサと、
前記センサから受信された使用者の位置から前記使用者に対する前記ディスプレイパネルの相対傾きを算出する相対傾き算出部と、
前記相対傾きに基づいて、前記ディスプレイパネルに表示される、操作の対象であり拡大の対象である第１種グラフィックユーザインターフェースと、操作の対象であり拡大の対象ではない第２種グラフィックユーザインターフェースと、を含む複数のユーザインターフェースのうち前記第１種グラフィックユーザインターフェースの大きさを拡大するインターフェース拡大処理部と、を含み、
前記第１種グラフィックユーザインターフェース及び前記第２種グラフィックユーザインターフェースは、予め指定されており、
前記センサは前記ディスプレイパネルに対する使用者の目の位置を感知する視線感知センサを含み、
使用者の視線方向に対して前記ディスプレイパネルが縦に置かれた場合、前記第１種グラフィックユーザインターフェースは縦方向に拡大され、
使用者の視線方向に対して前記ディスプレイパネルが横に置かれた場合、前記第１種グラフィックユーザインターフェースは横方向に拡大されることを特徴とするモバイルデバイス。

【請求項2】

前記第１種グラフィックユーザインターフェース及び前記第２種グラフィックユーザインターフェースは前記複数のユーザインターフェースのうち予め指定されてメモリに保存され、
前記インターフェース拡大処理部は、前記相対傾きによって予め指定された前記第１種グラフィックユーザインターフェースの大きさに拡大し、前記相対傾きが変わっても前記第２種グラフィックユーザインターフェースを拡大しないことを特徴とする請求項１に記載のモバイルデバイス。

【請求項3】

視線感知センサは使用者の目の位置を感知し、
前記相対傾き算出部は前記使用者の目の位置を用いて前記相対傾きを算出することを特徴とする請求項１に記載のモバイルデバイス。

【請求項4】

前記相対傾き算出部は、前記使用者の目の位置から前記ディスプレイパネルの特定位置までを繋ぐ線分と前記ディスプレイパネルの主表示面の法線とがなす角度を前記相対傾きで算出することを特徴とする請求項３に記載のモバイルデバイス。

【請求項5】

前記インターフェース拡大処理部は、算出された前記相対傾きに基づいて、前記第１種グラフィックユーザインターフェースが表示される拡大表示領域を決定し、
前記インターフェース拡大処理部は、算出された前記相対傾きによって拡大されたユーザインターフェースを前記拡大表示領域に表示することを特徴とする請求項４に記載のモバイルデバイス。

【請求項6】

前記インターフェース拡大処理部は前記相対傾きを臨界値と比較し、
前記相対傾きが臨界値以上である場合のみ、前記第１種グラフィックユーザインターフェースの大きさを拡大することを特徴とする請求項５に記載のモバイルデバイス。

【請求項7】

前記傾きが臨界値以上で判定される場合、
前記インターフェース拡大処理部は前記拡大表示領域に前記第２種グラフィックユーザインターフェースが予め配置されているかを判定し、
前記拡大表示領域に前記第２種グラフィックユーザインターフェースが表示されている場合には、前記第２種グラフィックユーザインターフェースを前記拡大表示領域で排除し、前記第１種グラフィックユーザインターフェースに代替することを特徴とする請求項６に記載のモバイルデバイス。

【請求項8】

前記傾きが臨界値以上に判定された場合、
前記インターフェース拡大処理部は前記拡大表示領域に前記第２種グラフィックユーザインターフェースが予め配置されているかを判定し、
前記拡大表示領域に前記第２種グラフィックユーザインターフェースが表示されている場合には、前記第２種グラフィックユーザインターフェースを非活性化させ、前記第１種グラフィックユーザインターフェースを拡大して前記拡大表示領域上に重畳して表示することを特徴とする請求項６に記載のモバイルデバイス。

【請求項9】

前記相対傾きが臨界値以下になると、前記インターフェース拡大処理部は前記第２種グラフィックユーザインターフェースを前記拡大表示領域に復元させることを特徴とする請求項６または７に記載のモバイルデバイス。

【請求項10】

前記インターフェース拡大処理部は前記ディスプレイパネルのうち前記使用者の目の位置に最も近い領域を前記拡大表示領域に決定することを特徴とする請求項５に記載のモバイルデバイス。

【請求項11】

操作の対象であり拡大の対象である第１種グラフィックユーザインターフェースと、操作の対象であり拡大の対象ではない第２種グラフィックユーザインターフェースと、を表示するディスプレイパネル、センサ、相対傾き算出部及びインターフェース拡大処理部を含むモバイルデバイスによって遂行され、
前記センサによって使用者位置を感知する段階と、
前記相対傾き算出部によって、前記センサから前記使用者位置を受信し、受信された前記使用者位置を用いて使用者の視線に対する前記ディスプレイパネルの相対傾きを算出する段階と、
前記インターフェース拡大処理部によって、前記相対傾き算出部から前記相対傾きを受信し、前記相対傾きに基づいて前記第１種グラフィックユーザインターフェースを拡大する段階と、を含み、
前記第１種グラフィックユーザインターフェース及び前記第２種グラフィックユーザインターフェースは、予め指定されており、
前記第１種グラフィックユーザインターフェースを拡大する段階において、
使用者の視線方向に対して前記ディスプレイパネルが縦に置かれた場合、前記第１種グラフィックユーザインターフェースを縦方向に拡大し、
使用者の視線方向に対して前記ディスプレイパネルが横に置かれた場合、前記第１種グラフィックユーザインターフェースを横方向に拡大することを特徴とするグラフィックユーザインターフェースの適応的拡大方法。

【請求項12】

前記第１種グラフィックユーザインターフェースは複数のユーザインターフェースのうち予め指定されてメモリに保存されることを特徴とする請求項１１に記載のグラフィックユーザインターフェースの適応的拡大方法。

【請求項13】

前記相対傾き算出部は前記使用者の目の位置から前記ディスプレイパネルの特定位置までを繋ぐ線分と前記ディスプレイパネルの主表示面の法線とがなす角度を前記相対傾きで算出することを特徴とする請求項１１に記載のグラフィックユーザインターフェースの適応的拡大方法。

【請求項14】

前記インターフェース拡大処理部は算出された前記相対傾きに基づいて、前記第１種グラフィックユーザインターフェースが表示される拡大表示領域を決定する段階をさらに含み、
前記インターフェース拡大処理部は算出された前記相対傾きによって拡大されたユーザインターフェースを前記拡大表示領域に表示することを特徴とする請求項１１に記載のグラフィックユーザインターフェースの適応的拡大方法。

【請求項15】

前記インターフェース拡大処理部は前記相対傾きを臨界値と比較し、
前記相対傾きが臨界値以上である場合のみ、前記第１種グラフィックユーザインターフェースの大きさを拡大する請求項１４に記載のグラフィックユーザインターフェースの適応的拡大方法。

【請求項16】

前記第１種グラフィックユーザインターフェースの拡大表示段階は、
前記傾きが臨界値以上で判定される場合、前記インターフェース拡大処理部は前記拡大表示領域に前記第２種グラフィックユーザインターフェースが予め配置されているか判定する段階と、
前記拡大表示領域に前記第２種グラフィックユーザインターフェースが表示されている場合には、前記第２種グラフィックユーザインターフェースを非活性化させ、前記第１種グラフィックユーザインターフェースを拡大して前記拡大表示領域上に重畳して表示する段階と、を含むことを特徴とする請求項１５に記載のグラフィックユーザインターフェースの適応的拡大方法。

【請求項17】

前記第１種グラフィックユーザインターフェースの拡大表示段階は、
前記インターフェース拡大処理部は前記拡大表示領域に前記第２種グラフィックユーザインターフェースが予め配置されているかを判定する段階と、
前記拡大表示領域に前記第２種グラフィックユーザインターフェースが表示されている場合には、前記第２種グラフィックユーザインターフェースを前記拡大表示領域で排除し、前記第１種グラフィックユーザインターフェースに代替する段階と、
をさらに含むことを特徴とする請求項１５に記載のグラフィックユーザインターフェースの適応的拡大方法。

【請求項18】

前記インターフェース拡大処理部は前記ディスプレイパネルのうち前記使用者の目の位置に最も近い領域を拡大表示領域に決定することを特徴とする請求項１１に記載のグラフィックユーザインターフェースの適応的拡大方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はグラフィック使用者インターフェースを適応的に拡大する方法、及びそれを遂行することのできるデバイスに関する。より具体的に、本発明は使用者の位置を感知し、使用者視線に対するモバイルデバイスの相対傾きによってグラフィック使用者インターフェースの大きさを拡大する方法、それを遂行できるモバイルデバイスに関する。

【背景技術】

【0002】

スマートフォン、ダブレットなどモバイルデバイスには多様なアプリケーションが設けられ、設けられたアプリケーションを実行するとＷｉ‐Ｆｉ、移動通信データネットワークなど無線通信網を通じて多様なサービスが提供される。このようなモバイルデバイスはアプリケーションの実行、実行結果の提供などの目的のために多様な形態のグラフィック使用者インターフェースをディスプレイパネルを通じて表示する。使用者はグラフィック使用者インターフェースを通じてアプリケーション実行のための命令、各種使用者入力をプロセッサに入力し、プロセッサによって提供された実行結果などの提供を受ける。このようなグラフィック使用者インターフェースにはアプリケーションアイコン、各種通知ウィンドウなどが含まれる。

【0003】

ところで、モバイルデバイスが使用者の視線から相当傾きた状態で置かれると、ディスプレイパネルに表示されたアイコン、通知ウィンドウなどのグラフィック使用者インターフェースは使用者視線方向に縮小されて観察される。このような従来技術を図１乃至図３を参照して説明すると次のようである。

【0004】

図１の使用者の位置に対するモバイルデバイスのディスプレイパネルの相対傾きが変わることを示す図面であり、図２は使用者が図１のＰ１の位置で見たモバイルデバイスを示す図面であり、図３は使用者が図１のＰ２の位置で見た従来のモバイルデバイスを示す図面である。

【0005】

図１において、θは従来のモバイルデバイスでは使用者の視線がパネルに対してディスプレイパネルの法線がなす角（以下、‘相対傾き’とする）であり、Ｐ１はディスプレイ正面、即ち、θが０である観察位置であり、Ｐ２はモバイルデバイスの縦方向に傾いた観察位置である。

【0006】

図１乃至図３を参照すると、ディスプレイパネルの正面であるＰ１から見た時のアイコンの縦方向の長さはｌであるが、相対傾きθが増加するほど縦方向に縮小されてＰ２の位置ではｌより相当小さいｌθとなることがわかる。従って、アプリケーションの実行や通知ウィンドウの内容確認のためにはセンサは姿勢を変えてディスプレイパネルを正面で凝視するか、モバイルデバイスを持ち上げなければならない不便さがある。

【0007】

特に、使用者が会議中であるか他の作業中であって姿勢を変えるかモバイルを持ち上げることができない場合には通知内容を確認するか事項の必要なアプリケーションを実行し難しいという不便さがある。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は従来技術の前記問題点を解決するためのもので、使用者の位置を感知し、使用者視線に対するモバイルデバイスの相対傾きによってグラフィック使用者インターフェースの大きさを拡大する方法及びそれを遂行するモバイルデバイスを提供することをその目的とする。

【課題を解決するための手段】

【0009】

本発明の一実施形態によって提供されるモバイルデバイスは、ディスプレイパネルと、使用者の位置を感知するセンサと、前記センサから受信された使用者の位置から前記使用者に対する前記ディスプレイパネルの相対傾きを算出する相対傾き算出部と、前記相対傾きに基づいて、前記ディスプレイパネルに表示される複数の使用者インターフェースのうち拡大対象となる第１種のグラフィックス使用者インターフェースの大きさを拡大するインターフェース拡大処理部と、を含む。

【0010】

前記センサは前記ディスプレイに対する前記使用者の目の位置を感知する視線感知センサを含んでいてもよい。

【0011】

前記第１種のグラフィックス使用者インターフェースは前記複数の使用者インターフェースのうち予め指定されてメモリに保存されてもよい。

【0012】

視線感知センサは使用者の目の位置を感知し、前記相対傾き算出部は前記使用者の目の位置から前記相対傾きを算出されるように構成されてもよい。この際前記相対傾き算出部は前記使用者の目の位置から前記ディスプレイパネルの特定位置までを繋ぐ線分と前記ディスプレイパネルの主表示面の法線とがなす角度を前記相対傾きで算出することができる。

【0013】

前記インターフェース拡大処理部は、算出された前記相対傾きに基づいて、前記第１種のグラフィック使用者インターフェースが表示される拡大表示領域を決定し、算出された前記相対傾きによって拡大された使用者インターフェースを前記拡大表示領域に表示するように構成されてもよい。

【0014】

また、前記インターフェース拡大処理部は前記相対傾きを臨界値と比較し、前記相対傾きが臨界値以上である場合のみ、前記第１種のグラフィック使用者インターフェースの大きさを拡大するように構成されてもよい。

【0015】

この際、前記傾きが臨界値以上で判定される場合、前記インターフェース拡大処理部は前記拡大表示領域に第１種のグラフィックス使用者インターフェースではない第２種のグラフィックス使用者インターフェースが予め配置されているかを判定し、前記拡大表示領域に前記第２種のグラフィックス使用者インターフェースが表示されている場合には、前記第２種のグラフィックス使用者インターフェースを前記拡大表示領域で排除し、第１種のグラフィックス使用者インターフェースに代替するように構成されるか、前記拡大表示領域に前記第２種のグラフィックス使用者インターフェースが表示されている場合には、前記第２種のグラフィックス使用者インターフェースを非活性化させ、前記第１種グラフィック使用者インターフェースを拡大して前記拡大領域上に重畳して表示するように構成されてもよい。

【0016】

また、前記相対傾きが臨界値以下になると、前記インターフェース拡大処理部は前記第２種のグラフィックス使用者インターフェースを前記拡大表示領域に復元するように構成されてもよい。

【0017】

前記インターフェース拡大処理部は前記ディスプレイパネルのうち前記使用者の目の位置に最も近い領域を前記拡大表示領域に決定するように構成されてもよい。

【発明の効果】

【0018】

本発明によるモバイルデバイスによると、モバイルデバイスが使用者に対して傾いておかれた状態でも特定アプリケーションのアイコンが拡大されて表示されるので、使用者がスマートフォンを持ち上げて操作する必要なしにその状態で正確に該当アイコンを操作することができる。一方、本発明によると、モバイルデバイスが使用者に対して傾いておかれた状態でも各種通知ウィンドウも拡大されて表示されるので、センサは姿勢を変えるかスマートフォンを持ち上げなくても通知の内容を確認することができる。即ち、本発明はモバイルデバイスが使用者視線に傾いて置かれた状態で使用者の操作正確性を向上させる利点及び別途の操作や姿勢変更なしに通知が確認できるという利点がある。

【図面の簡単な説明】

【0019】

【図1】使用者の位置に対するモバイルデバイスのディスプレイパネルの相対傾きが変化することを示す図面である。

【図2】使用者が図１のＰ１の位置で見たモバイルデバイスを示す図面である。

【図3】使用者が図１のＰ２の位置で見た従来のモバイルデバイスを示す図面である。

【図4】本発明の一実施形態によるモバイルデバイルの構成を概念的に示したブロック図である。

【図5】本発明による第１種グラフィック使用者インターフェースの拡大処理前のモバイルデバイスの表示状態を示した図面である。

【図6】使用者が本発明の一実施形態によって第１種のアイコンを拡大した時のディスプレイの表示状態を示した図面である。

【図7】図１のＰ２に位置した使用者が見た図６のモバイルデバイスを示す図面である。

【図8】本発明のさらに他の実施形態によって拡大された第１種アイコンを図１のＰ２で観察した時を示す図面である。

【図9】本発明による拡大処理前のメッセージ通知ウィンドウが表示されたモバイルデバイスを示す図面である。

【図10】拡大処理されたメッセージ通知ウィンドウが表示されたモバイルデバイスを示す図面である。

【図11】図１のＰ２の位置の使用者に見えるモバイルデバイスを示す図面である。

【図12】モバイルデバイスのグラフィック使用者インターフェースをセンサ位置によって適応的に制御する方法を示す順序図である。

【発明を実施するための形態】

【0020】

本発明は多様な変更を加えることができ、多様な形態を有することできる。ここでは、特定の実施形態を図面に例示し本文に詳細に説明する。

【0021】

しかし、これは本発明を特定の開示形態に限定するものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むこととして理解されるべきである。第１、第２などの用語は多用な構成要素を説明するのに使用されることがあるが、前記構成要素は前記用語によって限定解釈されない。前記用語は一つの構成要素を他の構成要素から区別する目的としてのみ使用される。例えば、本発明の権利範囲を外れることなく第１構成要素を第２構成要素ということができ、同様に第２構成要素も第１構成要素ということができる。

【0022】

本出願において使用した用語は単なる特定の実施形態を説明するために使用されたもので、本発明を限定しようとする意図ではない。単数の表現は文脈上明白に示さない限り、複数の表現を含む。本出願において、「含む」または「有する」などの用語は明細書に記載された特徴、数字、ステップ、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを意味し、一つまたはそれ以上の他の特徴や数字、ステップ、段階、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加の可能性を予め排除しないと理解されるべきである。

【0023】

以下、図面を参照して本発明の好適な一実施形態をより詳細に説明する。

【0024】

図４は、本発明の一実施形態によるモバイルデバイスの構成を概念的に示すブロック図である。

【0025】

本発明の一実施形態によると、モバイルデバイス１０は、ディスプレイ１１、センサ１２、相対傾き算出部１３、及びインターフェース拡大処理部１４を含むように構成されてもよい。

【0026】

モバイルデバイス１０はプロセッサを搭載し、移動通信ネットワーク、Ｗｉ－Ｆｉなど無線データ通信網に接続した多様な機能を実行する装置であって、スマートフォン、タブレット、個人用情報端末機（ＰＤＡ：Personal Digital Assistance）などを含む。

【0027】

モバイルデバイス１０には多様なアプリケーションが設けられるが、アプリケーションの実行、使用者入力、アプリケーショ実行結果の表示のための多様な形態のグラフィック使用者インターフェース（ＧＵＩ；Graphic User Interface）が提供される。

【0028】

このようなグラフィック使用者インターフェースにはアプリケーション実行のためのアイコン、使用者入力のためのグラフィッククワーティキーボードインターフェース（graphic qwerty keyboard interface）、使用者のタッチの入力を受けるグラフィックボタン、及びメッセージ受信通知ウィンドウを含む各種通知ウィンドウなどがある。

【0029】

ディスプレイ１１は上述したグラフィック使用者インターフェース及びモバイルデバイスに設けられたアプリケーションの実行結果を表示する。ディスプレイ１１は使用者の指またはスタイラスペンなどの接触を感知するタッチパネルを含んでいてもよい。

【0030】

センサ１２はディスプレイパネルの傾きを感知する。センサ１２は重力センサまたは視線感知センサを含んでいてもよい。重力センサは重力加速度の方向を感知してモバイルデバイスの表示面と地表面に垂直した方向をなす角、即ち、重力方向に対するモバイルデバイスの傾きを検出する。視線感知センサは撮像素子を用いて使用者の目を認知し使用者の目の位置を検出する。

【0031】

相対傾き算出部１３はセンサ１２から検出された値を受信して、ディスプレイと使用者の視線とがなす角度に相当する相対傾きを算出する。この際、前記傾きはディスプレイパネルの中央部を基準として算出してもよい。例えば、相対傾き算出部１３は、視線センサを使用して検出された使用者の目の位置からディスプレイパネルの中央部までを繋ぐ線分と、ディスプレイパネルの法線方向とがなす角度を相対傾きとして算出するように構成されてもよい。

【0032】

インターフェース拡大処理部１４は相対傾き算出部１２によって算出された相対傾きに基づいて、グラフィック使用者インターフェースの大きさを拡大する。この際、ディスプレイパネルに表示されるグラフィック使用者インターフェースが全部拡大されるのでなく、傾いた状態でも使用者の操作が可能であるように拡大される必要のあるグラフィック使用者インターフェースのみ拡大されることが望ましい。例えば、会議の際、スマートフォンを置いておいた状態でゲームや動画像を実行する可能性は殆どないが、受信されたメッセージを確認するか連絡先を確認することはできる。従って、ディスプレイパネルが使用者の視線に対して傾いたと感知された場合、特定のグラフィック使用者インターフェースのみ拡大するように構成することが望ましい。以下では、拡大の対象となるグラフィック使用者インターフェースを第１種グラフィック使用者インターフェースと、拡大の対象とならないグラフィック使用者インターフェースを第２種グラフィック使用者インターフェースと称して説明する。

【0033】

第１種グラフィック使用者インターフェースは使用者によって指定されてもよい。即ち、使用者はモバイルデバイスを傾いて観察する状態で操作する必要のあるアイコンまたは通知ウィンドウなどを第１種グラフィック使用者インターフェースと指定してもよい。指定された第１種グラフィック使用者インターフェースはメモリに保存される。例えば、センサはｅメールアプリケーションのアイコン、通話アイコン、メッセージアイコン、録音機アイコンなどを第１種グラフィック使用者インターフェースと指定することができる。スマートフォンが傾いた状態で観察される場合に指定されたアイコンは拡大されて表示されるので、使用者がスマートフォンを持ち上げて操作する必要なしにその状態で容易に該当アイコンをタッチ（選択）することができる。同様に、使用者はメッセージ受信通知ウィンドウを第１種グラフィック使用者インターフェースに指定してもよい。この場合、スマートフォンが使用者に対して傾いて置かれた状態でもメッセージ受信ウィンドウが拡大されるので、使用者は姿勢を変えるかスマートフォンを持ち上げなくてもメッセージの内容を確認することができる。

【0034】

第１種グラフィック使用者インターフェースの拡大方法はモバイルデバイスが置かれた状態によって異なる。例えば、使用者の視線方向に対してモバイルデバイスが縦で置かれた場合、第１種グラフィック使用者インターフェースは縦方向に、即ち、第１種グラフィック使用者インターフェースの縦長さが拡大される。反対に、使用者の視線方向に対してモバイルデバイスが横に置かれた場合、第１種グラフィック使用者インターフェースは横方向に、即ち、第１種グラフィック使用者インターフェースの横長さが拡大される。万一、使用者の視線方向に対してモバイルデバイスが横でもなく縦でもない傾いて置かれた場合には、横と縦のうちより近い方に拡大される。例えば、使用者視線がディスプレイパネル面に投影された線分とデバイスの縦がなす角が１０度である場合、縦方向に縮小の影響が強いのでグラフィック使用者インターフェースは縦方向に拡大される。反面、例えば、使用者視線がディスプレイパネル面に投影された線分とデバイスの縦とがなす角が７０度である場合、横方向への縮小が優勢になるのでグラフィック使用者インターフェースは横方向に拡大される。

【0035】

一方、インターフェース拡大処理部１４は算出された相対傾きによって第１種グラフィック使用者インターフェースの拡大の程度を決定してもよい。相対傾き、即ち、ディスプレイパネルの法線と使用者視線とがなす角度が大きいほどグラフィック使用者インターフェースの大きさが小さくなるので、インターフェース拡大処理部１４は相対傾きが増加するほど第１種グラフィック使用者インターフェースの拡大率を増加させる必要がある。この際、感知された使用者の位置で観察した第１種グラフィック使用者インターフェースの大きさが、相対傾きが０である位置（正面）で観察した時の大きさと同一であるように拡大率が決定されることが望ましい。即ち、相対傾きが変わっても使用者が認知するアイコンまたは通知ウィンドウの大きさは変わらないように拡大率を決定することが最も望ましい。第１種グラフィック使用者インターフェースの拡大率は実験的に決定されてもよい。即ち、多様な相対傾きでアイコンまたは通知ウィンドウの大きさを撮影し、それを正面で観察した大きさとなる時まで拡大させながらそれぞれの相対傾きでの拡大率を決定することができる。このように、実験的に拡大率を決定する場合、いくつかの相対傾きに対してのみ実験によって拡大率を決定し、実験されない区間の拡大率は補間法（interpolation）によって決定されてもよい。実験的に求められた拡大率及び保管のための各種パラメータなどはルックアップテーブル（ＬＵＴ：ｌｏｏｋ－ｕｐ ｔａｂｌｅ）の形態でメモリに保存されて読み出されて使用されてもよい。

【0036】

インターフェース拡大処理部１４は決定された拡大率を適用して第１種グラフィック使用者インターフェースを拡大する。拡大された第１種グラフィック使用者インターフェースの拡大方向への長さｌ’は次の数式１による。

【0037】

（数１）
l'=Ml₀

【0038】

ここで、l₀は拡大前第１種グラフィック使用者インターフェースの拡大方向への長さであり、Ｍは決定された拡大率である。

【0039】

さらに他の例として、拡大率は近似式によって計算されてもよい。アイコン、通知ウィンドウなどの大きさ（横または縦の長さ）は使用者の目までの距離に比べて相当小さいので、相対傾きがθである場合、使用者の視線に垂直である面に投影される第１種グラフィック使用者インターフェースの長さ、即ち、使用者が見る第１種グラフィックインターフェースの長さは次の数式２の近似式で表現可能である。

【0040】

（数２）
l_θ=l₀ cos θ

【0041】

l₀は正面で観察した第１種グラフィック使用者インターフェースの長さであり、l_θは相対傾きがθである位置で観察した第１種グラフィック使用者インターフェースの長さである（図３参照）。

【0042】

コサイン関数はθが０～９０度である区間では減少関数であるので相対傾きが大きいほどアイコンなど第１種グラフィック使用者インターフェースの大きさが小さくなることが分かる。従って、小さく視認される第１種グラフィック使用者インターフェースの大きさを本来の大きさｌに拡大するための拡大率Ｍは次の数式３のように決定されてもよい。

【0043】

（数３）
M=1/cos θ

【0044】

前記数式２の倍率は、使用者視線のディスプレイ面への投影線分が縦方向または横方向と並んで、相対傾きがディスプレイ領域全体にそのまま適用される最も単純な近似的モデルを使用して導出された例に過ぎない。拡大率はより正孔な数式モデルによって算出されてもよい。例えば、使用者から近い領域で表示されるアイコンは、使用者から遠い領域に表示されるアイコンに比べて少なく縮小される。従って、相対傾きをディスプレイパネルの領域別に算出し、領域毎に異なる倍率を算出するように構成されてよい。

【0045】

インターフェース拡大処理部１４は、前記相対傾きを既設定された臨界値と比較し、相対傾きが臨界値以上である場合のみに第１種グラフィック使用者インターフェースを拡大するように構成されてもよい。第１種グラフィック使用者インターフェースが縮小されても使用者の操作が容易である程度なら、拡大が不必要であるからである。臨界値はグラフィック使用者インターフェースの縮小による操作正確性の減少を考慮して決定される。臨界値グラフィック使用者インターフェースの本来の大きさ、タッチパネルの感度、センサの熟練性などを考慮して多様に設定されてもよい。一般的にグラフィック使用者インターフェースの横または縦の長さが半分以下に減少されると操作の正確性が劣れる。従って、臨界値はグラフィック使用者インターフェースの大きさ（横また縦の長さ）が半分に縮小される相対傾きに定められてもよい。このように臨界値は実験によって、または数学的モデルによって決定されてもよい。例えば、上述した数式１のモデルによる場合、グラフィック使用者インターフェースの大きさ（横または縦長さ）が半分に縮小される臨界値は６０度となる。

【0046】

ディスプレイパネルの大きさは限定されているので拡大率の上限はディスプレイ大きさによって定められる。従って拡大率は拡大方向へのディスプレイの長さを拡大方向への第１種グラフィック使用者インターフェースの長さで割った値を上限とする。例えば、拡大方向がディスプレイの縦方向である場合、アイコン拡大率の上限はディスプレイ縦長さとアイコン縦長さの比となる。

【0047】

インターフェース拡大処理部１４は、決定された拡大率によって第１種グラフィック使用者インターフェースを拡大してディスプレイパネルに表示する。この際、拡大された第１種グラフィック使用者インターフェースは、本来の位置で、大きさのみ拡大されて表示されてもよい。また、拡大された第１種グラフィック使用者インターフェースは本来位置と異なる、予め設定された領域に表示されてもよい。前述したように、使用者の目に近い領域では相対的に縮小が少ないので拡大率を減少させても同一の大きさで表示できるという利点がある。従って、インターフェース拡大処理部１４は拡大された第１種グラフィック使用者インターフェースを使用者に近い領域に表示するように構成されることが望ましい。例えば、使用者の目がスマートフォン下端に近いと感知された場合、インターフェース拡大処理部１４は拡大された第１種グラフィック使用者インターフェースをディスプレイパネル下端の方に表示する。反面、使用者の目がスマートフォン上端に近いと感知された場合、インターフェース拡大処理部１４は拡大された第１種グラフィック使用者インターフェースをディスプレイパネル上端の方に表示する。この際、ディスプレイパネルは上下に反転された状態であるので使用者の便宜のためにインターフェース拡大処理部１４は拡大された第１種グラフィック使用者インターフェースを上下反転させて表示するように処理することができる。

【0048】

一方、拡大された第１種グラフィック使用者インターフェースをディスプレイパネルの使用者に近い領域（以下、“拡大表示領域”とする）に表示するように構成された場合、拡大表示領域内に拡大対象にならない第２種グラフィック使用者インターフェースによって第１種グラフィック使用者インターフェースの表示が困難である場合がある。従って、インターフェース拡大処理部１４は拡大表示領域に第２種グラフィック使用者インターフェースが配置されているかを判定するように構成されてもよい。拡大表示領域に第２種グラフィック使用者インターフェースが配置されたと判定されると、インターフェース拡大処理部１４は、拡大表示領域に配置された第２種グラフィック使用者インターフェースを非活性化し、拡大された第１種グラフィック使用者インターフェースを重畳した拡大表示領域内に表示してもよい。また、それとは異なり、拡大表示領域に第２種グラフィック使用者インターフェースが配置されたと判定されると、インターフェース拡大処理部１４は、拡大表示領域で第２グラフィック使用者インターフェースの表示を中断し、拡大された第１種グラフィック使用者インターフェースを第２種グラフィック使用者インターフェースが表示されていた位置に表示することができる。相対傾きが臨界値以下になって拡大モードが解除されると、インターフェース拡大処理部１４は、非活性化された、又は表示が中断された第２種グラフィック使用者インターフェースを拡大表示領域内の本来位置に再度表示する。

【0049】

一方、相対傾き算出部１３及びインターフェース拡大処理部１４のそれぞれは、前述した処理を実行するように構成されたハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組合であってもよい。例えば、相対傾き算出部１３は前述したセンサからの信号受信機能、受信された信号を用いて相対傾きを算出する機能などの処理に必要な命令語を含むソフトウェアとその命令語による処理を実行するモバイル端末１０内のプロセッサによって構成されてもよい。同様にインターフェース拡大処理部１４は前述した相対傾き算出部１３から相対傾き値を受信する機能、受信された相対傾き値を用いて倍率を決定し第１種グラフィック使用者インターフェースを拡大する機能、拡大表示領域を決定する機能、第２種グラフィック使用者インターフェースを非活性化する、又は表示しない機能などの実行に必要な命令語を含むソフトウェアとその命令語による処理を実行するモバイル端末１０内のプロセッサによって構成されてもよい。この際、相対傾き算出部１３及びインターフェース拡大処理部１４を構成するソフトウェアはアプリケーション形態でモバイル端末１０に設けられてもよい。また、相対傾き算出部１３及びインターフェース拡大処理部１４はそれぞれ独立的なソフトウェア及びハードウェアによって構成されてもよく、一つのソフトウェア及びハードウェアで統合されて構成されてもよく、幾つかのソフトウェア及びハードウェアによって分散的にそれぞれの機能が実行されるように構成されてもよい。

【0050】

以下で上述した本発明のモバイルデバイスでグラフィック使用者インターフェースを拡大するいくつかの例を図５乃至図１１を参照して具体的に説明する。

【0051】

図５は本発明による第１種グラフィック使用者インターフェースの拡大処理前、モバイルデバイスのディスプレイパネルの表示状態を示す図面である。

【0052】

モバイルデバイス１０のディスプレイパネル１１には複数のアプリケーションアイコンが表示されている。アイコンは拡大対象となる第１種のアイコン１００と拡大の対象でない第２種のアイコン２００を含む。上述したように、第１種のアイコン１００と第２種アイコン２００は使用者によって指定されるか初期設定値によって指定されてもよい。図５の例で、第１種のアイコン１００として音声通話アイコン１０１、文字メッセージアイコン１０２、ｅメールアイコン１０３、及び録音機アイコン１０４が指定されている。一方、第２種のアイコン２００としてインターネットアイコン２０１、メッセンジャーアイコン２０２及びその他の複数のアプリケーションアイコン２０３が指定されている。

【0053】

本発明の一実施形態によると、上述したように、使用者の視線とディスプレイパネルの法線とがなす角度、即ち、相対傾きが臨界値以下である場合、アイコンを拡大しないように構成されてもよい。従って、使用者の位置Ｐ２での相対傾きが臨界値以下であると判定されると、インターフェース拡大処理部１４はアイコンを拡大しなく、図５に示されたのと同一の表示処理を保持する。

【0054】

図６は使用者が本発明の一実施形態によって第１種のアイコンを拡大した時、ディスプレイの表示状態を示した図面であり、図７は図１のＰ２に位置した使用者が見た図６のモバイルデバイスを示した図面である。

【0055】

上述したように、相対傾き算出部１２から算出された相対傾きが臨界値以上である場合、インターフェース拡大処理部１４は第１種アイコン１００を拡大する。一方、上述したように、望ましい実施形態によると、インターフェース拡大処理部１４は拡大された第１種グラフィック使用者インターフェースをディスプレイパネルのうち、使用者に近い領域に表示するように構成されてもよい。図５の例で、使用者の位置Ｐ２はモバイルデバイス下端部の外に位置するので、インターフェース拡大処理部１４は拡大表示領域をセンサ位置Ｐ２に近いディスプレイ下端部に設定する。次に、インターフェース拡大処理部１４は算出された相対傾きによって拡大率Ｍを算定する。拡大率Ｍの算定方式は前述した通りである。上述したように、拡大率は使用者視線ベクトルのディスプレイ面と並行である成分の方向に適用される。図５の例でこの成分の方向はディスプレイパネルの縦方向と一致するので第１種アイコンは縦方向に拡大される。インターフェース拡大処理部１４は、算定された拡大率Ｍを適用して拡大されたアイコンの長さｌ’を算出し、それに対応する拡大表示領域ＭＡを決定する。即ち、インターフェース拡大処理部１４は本体アイコンの長さｌ₀に拡大率Ｍを乗じてｌ’を算出し、この長さに該当する領域を、拡大された第１種のアイコン１００が表示される領域、即ち、拡大表示領域に決定する。この際インターフェース拡大処理部１４は、決定された拡大表示領域内に存在しない第１種アイコンの位置を拡大表示領域内に配置してもよい。図５の例でｅメールアイコン１０３と録音アイコン１０４は本来拡大表示領域の外に配置されているのでインターフェース拡大処理部１４はそれら第１種アイコン１０３、１０４が拡大表示領域内に表示されるように表示位置を変更してもよい。一方、上述したように、インターフェース拡大処理部１４は拡大表示領域内に第２種のアイコン２００があるかを判定し、拡大表示領域内に配置された第２種アイコン２００を非活性化させてもよい。図５の例で第２種アイコンであるインターネットアイコン２０１、メッセンジャーアイコン２０２及び３つのその他のアプリケーションアイコン２０３１，２０３２、２０３３は拡大表示領域ＭＡ内に含まれるかそれと重畳している。従って、インターフェース拡大処理部１４はそれら２種アイコン２０１、２０２、２０３をタッチなど使用者入力に反応しないように非活性化状態に処理する。

【0056】

続いて、インターフェース拡大処理部１４は、図６に示されたように、第１種アイコン１０１乃至１０４を拡大して拡大表示領域ＭＡ内に表示する。この際、上述したように、拡大された第１種アイコン１０１乃至１０４は、非活性化された拡大表示領域ＭＡ内の第２種アイコン２０１、２０２、２０３上に重畳（オーバーレイ）されて表示されてもよい。

【0057】

図６のように処理されたモバイルデバイスをＰ２に位置した使用者が観察すると、図７に示されたように見える。即ち、第１種アイコンはセンサと最も近いディスプレイパネル下端部で拡大されて表示されるのでセンサはモバイルデバイルを相当に傾いた角度で観察しても第１種アイコン１００を容易に認知し操作できる。

【0058】

図６及び図７は、拡大表示領域ＭＡ内に配置された第２種アイコンを非活性化し、第１種アイコンをオーバーレイして表示する実施形態に関するが、上述したように、拡大表示領域ＭＡ内に配置された第２種アイコンを表示しないで、第１種アイコンに代替することも可能である。図８は本発明のさらに他の実施形態によって拡大された第１種アイコンを図１のＰ２で観察した時を示す図面である。即ち、図８に示されたように、インターフェース拡大処理部１４は図５で拡大表示領域内に配置されるかそれと重畳する第２種アイコン２０１、２０２、２０３をディスプレイパネルに表示しなくてもよい。

【0059】

本発明で第１種グラフィック使用者インターフェースは通知ウィンドウを含んでいてもよい。

【0060】

以下では図９乃至図１１を参照して本発明の一実施形態によって通知ウィンドウを拡大する例を説明する。

【0061】

図９は本発明による拡大処理前のメッセージ通知ウィンドウが表示されたモバイルデバイスを示す図面であり、図１０は拡大処理されたメッセージ通知ウィンドウが表示されたモバイルデバイスを示す図面であり、図１１は図１のＰ２の位置の使用者に見えるモバイルデバイスを示す図面である。

【0062】

本発明の一実施形態によると、上述したように、使用者の視線とディスプレイパネルの法線とがなす角度、即ち、相対傾きが臨界値以下である場合、メッセージ通知ウィンドウ３００を拡大しないように構成されてもよい。従って、使用者の位置Ｐ２での相対傾きが臨界値以下であると判定されると、インターフェース拡大処理部１４はアイコンを拡大しなく、図９に示されたものと同一の表示処理を保持する。

【0063】

相対傾き算出部１２から算出された相対傾きが臨界値以上である場合、インターフェース拡大処理部１４はメッセージ通知ウィンドウ３００を拡大する。一方、上述したように、望ましい実施形態によると、インターフェース拡大処理部１４は拡大されたメッセージ通知ウィンドウ３００をディスプレイパネルのうち、使用者に近い領域に表示するように構成されてもよい。図９の例で、使用者の位置Ｐ２はモバイルデバイス下端部の外に位置するので、インターフェース拡大処理部１４は拡大表示領域をセンサ位置Ｐ２に近いディスプレイ下端部に設定する。次に、インターフェース拡大処理部１４は算出された相対傾きによって拡大率Ｍを算定する。拡大率Ｍの算定方式は前述した通りである。上述したように、拡大率は使用者視線ベクトルの面と平行である成分の方向に適用される。図９の例でこの成分の方向はディスプレイパネルの縦方向と一致するので、メッセージ通知ウィンドウ３００は縦方向に拡大される。インターフェース拡大処理部１４は、算定された拡大率Ｍを適用して拡大されたメッセージ通知ウィンドウ３００の長さを算出しｌθを算出し、それに対応する拡大表示領域ＭＡを決定する。即ち、インターフェース拡大処理部１４は本来アイコンの長さｌ₀に拡大率Ｍを乗じてｌ’を算出し、この長さに該当する領域を拡大されたメッセージ通知ウィンドウ３００が表示される領域、即ち拡大表示領域ＭＡに決定する。

【0064】

続いて、図１０に示されたように、インターフェース拡大処理部１４は拡大されたメッセージ通知ウィンドウ３００を拡大表示領域ＭＡに表示する。この際、拡大表示領域ＭＡ内の第２種アイコンの処理は上述した第１種アイコンの拡大表示で説明したのと同一の方式で実行されてもよい。即ち、インターフェース拡大処理部１４はメッセージ通知ウィンドウ３００の拡大処理の際にも、拡大表示領域ＭＡ内に配置された第２種アイコンを非活性化し、メッセージ通知ウィンドウ３００を重畳して表示するか、第２種アイコンの表示処理をしなくてもよい。

【0065】

図５乃至図１１の例は使用者の視線がモバイルデバイスの縦方向と一致する場合に関するが、上述したように、本発明は使用者の視線がモバイルデバイスの横方向と一致する場合にも適用されてもよい。この場合、拡大表示領域はモバイルデバイスの横方向に使用者の方に近いところとなり、第１種グラフィック使用者インターフェースは横方向に拡大される。また、使用者の視認が容易であるように使用者視線方向に合わせて第１種グラフィック使用者インターフェースを回転させてもよい。

【0066】

以下では前記モバイルデバイスによって提供される、グラフィック使用者インターフェースの適応的拡大方法を図４乃至図１２を参照して説明する。

【0067】

図１２は本発明の一実施形態によるモバイルデバイスのグラフィック使用者インターフェースをセンサ位置によって適応的に制御する方法を示す順序図である。

【0068】

まず、モバイルデバイスのセンサ１２は使用者の位置を感知する（Ｓ１０）。センサ及び使用者位置の感知に対しては前述した通りであるのでここでは説明を省略する。センサ１２は感知された使用者位置を相対傾き算出部１３に伝送する。

【0069】

続いて、モバイルデバイス１０の相対傾き算出部１３は、センサ１２から受信したセンサ位置に基づいて使用者の視線に対するモバイルデバイスの相対傾きを算出する（Ｓ２０）。相対傾きの定義及び相対傾きの算出方式に対しては前述したのでここでは詳細な説明を省略する。相対傾き算出部１３は算出された相対傾きをインターフェース拡大処理部１４に伝送する。

【0070】

続けて、インターフェース拡大処理部１４は相対傾き算出部１３から受信された相対傾きに基づいて、第１種インターフェースの拡大方向を決定する（Ｓ３０）。即ち、使用者の視線方向によって第１種インターフェースを縦方向または横方向のうちいずれかの方に拡大するかを決定する。このように拡大方向の決定に対しては前述した通りであるので、ここでは詳細な説明を省略する。一方、前記では拡大方向の決定（Ｓ３０）は、インターフェース拡大処理部１４によって実行すると説明したが、相対傾き算出部１３によっても実行されてよい。この場合、相対傾き算出部１３は算出された相対傾き及び拡大方向をインターフェース拡大処理部１４に伝送する。

【0071】

インターフェース拡大処理部１４は相対傾きに基づいて第１種グラフィック使用者インターフェース１００の拡大率Ｍを決定する（Ｓ４０）。拡大率Ｍは、感知された使用者位置で観察された愛１種グラフィック使用者インターフェースの大きさｌθが本来大きさｌ₀と類似するように決定されることが望ましいのは上述した通りである。また、拡大率Ｍは実験によって決定された値を保存したＬＵＴを用いるか、予め決定された算出式を用いて決定されてもよい。拡大率の決定に対しては上述した通りであるので、ここでは詳細な説明を省略する。

【0072】

インターフェース拡大処理部１４は相対傾き及び拡大方向に基づいて拡大された第１種グラフィック使用者インターフェースが表示される領域、即ち、拡大表示領域ＭＡを決定する（Ｓ５０）。拡大表示領域ＭＡは使用者に近い方に設定されることが望ましい。拡大表示領域ＭＡの決定に対しては上述した通りであるので、ここでは詳細な説明を省略する。

【0073】

最後に、インターフェース拡大処理部１４は、決定された倍率を適用して第１種グラフィック使用者インターフェース１００の拡大方向への長さを拡大ｌ’し、拡大された第１種グラフィック使用者インターフェース１００を決定された拡大表示領域ＭＡに表示する。この際、インターフェース拡大処理部１４は拡大表示領域ＭＡ内に拡大の対象でない第２種グラフィック使用者インターフェースが存在するか判定し、判定結果によって拡大表示領域ＭＡ内の第２種グラフィック使用者インターフェースに対して非活性化または非表示処理が実行できるのは前述の通りである。その他、拡大表示領域ＭＡ内に拡大された第１種グラフィック使用者インターフェースを表示する過程は前述した通りであるので、ここでは詳細な説明を省略する。

【0074】

以上、本発明の実施形態によって詳細に説明したが、本発明はこれに限定されず、本発明が属する技術分野において通常の知識を有する者であれば、本発明の思想と精神を離れることなく、本発明を修正または変更できる。

【符号の説明】

【0075】

１０：モバイルデバイス
１１：ディスプレイパネル
１２：センサ
１３；相対傾き算出部
１４：インターフェース拡大処理部
１０１、１０２、１０３、１０４：第１種グラフィック使用者インターフェース
２０１、２０２、２０３：第２種グラフィック使用者インターフェース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】