特許 6265642 ユーザ端末装置及びその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6265642

(24)【登録日】2018年1月5日

(45)【発行日】2018年1月24日

(54)【発明の名称】ユーザ端末装置及びその制御方法

(51)【国際特許分類】

   G06F 3/0488 20130101AFI20180115BHJP

   G06F 3/0481 20130101ALI20180115BHJP

   G06F 3/0482 20130101ALI20180115BHJP

【ＦＩ】

   G06F3/0488

   G06F3/0481 170

   G06F3/0482

【請求項の数】12

【全頁数】27

(21)【出願番号】特願2013-154484(P2013-154484)

(22)【出願日】2013年7月25日

(65)【公開番号】特開2014-26654(P2014-26654A)

(43)【公開日】2014年2月6日

【審査請求日】2016年7月15日

(31)【優先権主張番号】10-2012-0080998

(32)【優先日】2012年7月25日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(72)【発明者】

【氏名】崔 善

【審査官】 岩橋 龍太郎

(56)【参考文献】

【文献】 特開２００９−２７６８３３（ＪＰ，Ａ）

【文献】 特開２００４−１７７９９１（ＪＰ，Ａ）

【文献】 特開２０１１−０２８５６０（ＪＰ，Ａ）

【文献】 特開平１１−１２６１３２（ＪＰ，Ａ）

【文献】 特開２００７−３３４８８５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８−３／０４８９

Ｇ０６Ｆ ３／１４− ３／１５３

Ｇ０６Ｆ ９／０６

(57)【特許請求の範囲】

【請求項1】

ユーザ端末装置の制御方法において、
前記ユーザ端末装置のタッチディスプレイスクリーンに表示された複数のグラフィックオブジェクトのうち一つが選択されると、選択されたグラフィックオブジェクトを拡大し、前記拡大されたグラフィックオブジェクトの周辺に前記グラフィックオブジェクトに関連するテキストメニューを表示するステップと、
前記拡大されたグラフィックオブジェクトを回転させるユーザ操作が入力されると、前記拡大されたグラフィックオブジェクトが回転されるように表示し、前記テキストメニューのうち一つに表示されるハイライトを前記グラフィックオブジェクトの回転方向に移動させるステップと、
を含むことを特徴とする制御方法。

【請求項2】

前記選択されたグラフィックオブジェクトに関連するテキストメニューは、
前記選択されたグラフィックオブジェクトで提供する特定機能に関する機能メニュー、前記選択されたグラフィックオブジェクトのオプションを設定するための設定メニューのうち少なくとも一つを含むことを特徴とする請求項１に記載の制御方法。

【請求項3】

前記複数のグラフィックオブジェクトのうち一つが選択されると、前記選択されたグラフィックオブジェクトの近所に回転可能な方向を示すＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示するステップを更に含むことを特徴とする請求項１に記載の制御方法。

【請求項4】

前記拡大されたグラフィックオブジェクトを回転可能な状態に設定するステップを更に含むことを特徴とする請求項１に記載の制御方法。

【請求項5】

前記ハイライトの表示されたテキストメニューは、前記拡大されたグラフィックオブジェクトを回転させるユーザ操作によって回転される前記拡大されたグラフィックオブジェクトの上段又は下段頂点が指す方向によって選択されることを特徴とする請求項１に記載の制御方法。

【請求項6】

前記ハイライトの表示されたテキストメニューをタッチするタッチ入力を受信するステップを更に含み、
前記ハイライトの表示されたテキストメニューは、前記タッチ入力によって選択されることを特徴とする請求項１に記載の制御方法。

【請求項7】

前記拡大されたグラフィックオブジェクトの回転方向に対応されるＧＵＩに対するタッチ入力を受信するステップを更に含み、
前記ハイライトの表示されたテキストメニューは、前記タッチ入力によって選択されることを特徴とする請求項３に記載の制御方法。

【請求項8】

複数のグラフィックオブジェクトのうち少なくとも一つのグラフィックオブジェクトが選択される前の状態に戻るためのユーザ入力を受信するステップを更に含むことを特徴とする請求項１に記載の制御方法。

【請求項9】

前記拡大されたグラフィックオブジェクトの回転によって前記ハイライトの表示されるテキストメニューが変更されたことを認識させるフィードバックを提供するステップを更に含むことを特徴とする請求項１に記載の制御方法。

【請求項10】

選択されたグラフィックオブジェクトに対応するアプリケーションを前記ユーザ端末装置と連動する外部機器に適用するためのメニューを選択されるステップと、
前記外部機器に前記選択されたグラフィックオブジェクトに対応するアプリケーションが予め設置されている場合、予め設置されたアプリケーションを実行し、設置されていない場合、アプリケーションを自動で設置するように前記外部機器を制御するステップと、
を更に含むことを特徴とする請求項１に記載の制御方法。

【請求項11】

ユーザ端末装置において、
複数のグラフィックオブジェクトを表示し、前記複数のグラフィックオブジェクトのうち一つを選択するためのユーザ入力を受信するタッチディスプレイスクリーンと、
前記表示された複数のグラフィックオブジェクトのうち一つが選択されると、選択されたグラフィックオブジェクトを拡大し、前記拡大されたグラフィックオブジェクトの周辺に前記グラフィックオブジェクトに関連するテキストメニューを表示し、前記拡大されたグラフィックオブジェクトを回転させるユーザ操作が入力されると、前記拡大されたグラフィックオブジェクトが回転されるように表示し、前記テキストメニューのうち一つに表示されるハイライトを前記グラフィックオブジェクトの回転方向に移動させる制御部と、
を含むユーザ端末装置。

【請求項12】

前記選択されたグラフィックオブジェクトに関連するテキストメニューは、
前記選択されたグラフィックオブジェクトで提供する特定機能に関する機能メニュー、前記選択されたグラフィックオブジェクトのオプションを設定するための設定メニューのうち少なくとも一つを含むことを特徴とする請求項１１に記載のユーザ端末装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザ端末装置及びその制御方法に関し、より詳細には、ユーザ端末装置で回転ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を用いて多様な機能を行うユーザ端末装置及びその制御方法に関する。

【背景技術】

【0002】

電子技術の発達に伴い多様な種類の電子機器が開発及び普及されている。特に、優秀なＩＴ技術をベースとした最先端スマートフォンのようなユーザ端末装置も普及されている。

【0003】

最近は、最先端ユーザ端末装置に価格値下げ及び性能向上などにより、最先端ユーザ端末装置に対する需要が増加している。これにより、最先端ユーザ端末装置に符合する多様かつ便利な使用方法の開発に対する努力も加速化されている。

【0004】

これにより、最近はユーザ端末装置の使用便宜性を向上させる多様なＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）に対する必要性が台頭されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】韓国登録特許第０５８３２３８号

【特許文献2】韓国特開第２００９−００３７０６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザ端末装置で回転ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を用いて多様な機能を行うことにより、ユーザ便宜性を図るユーザ端末装置及びその制御方法を提供することにある。

【0007】

なお、本発明の別の目的は、ユーザ端末装置に設けられたアプリケーションがユーザ端末装置と連動する外部機器に設置されているか否かに応じて、外部機器の動作を制御することにより、ユーザ便宜性を図るユーザ端末装置及びその制御方法を提供することにある。

【課題を解決するための手段】

【0008】

上述の目的を達成するための本発明の一実施形態にかかるユーザ端末装置の制御方法は、複数のグラフィックオブジェクトのうち少なくとも一つのグラフィックオブジェクトを選択するための第１ユーザ入力を受信するステップと、前記第１ユーザ入力によって選択されたグラフィックオブジェクトの少なくとも一つのグラフィック要素を変更して表示するステップと、前記表示されたグラフィックオブジェクト近所に前記グラフィックオブジェクトに関連するメニューを表示するステップと、前記表示されたメニューを選択するための第２ユーザ入力を受信するステップと、を含む。

【0009】

そして、前記選択されたグラフィックオブジェクトに関連するメニューは、前記選択されたグラフィックオブジェクトで提供する特定機能に関する機能メニュー、前記選択されたグラフィックオブジェクトのオプションを設定するための設定メニューのうち少なくとも一つを含むことができる。

【0010】

なお、第１ユーザ入力によって選択されたグラフィックオブジェクトの少なくとも一つのグラフィック要素を変更して表示するステップは、前記グラフィックオブジェクトの大きさ、位置、色のうち少なくとも一つを変更して表示することであってもよい。

【0011】

そして、前記第１ユーザ入力によってグラフィックオブジェクトが選択されると、前記選択されたグラフィックオブジェクトの近所に回転可能な方向を示すＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示するステップを更に含むことができる。

【0012】

なお、前記変更して表示されたグラフィックオブジェクトを回転可能な状態に設定するステップを更に含むことができる。

【0013】

そして、前記第２ユーザ入力は、前記表示されたグラフィックオブジェクトを第１方向又は第２方向に回転させる回転入力であり、前記表示されたメニューは、前記回転入力によって選択されることができる。

【0014】

なお、前記表示されたメニューは、前記回転入力によって回転される前記表示されたグラフィックオブジェクトの上段又は下段頂点が指す方向によって選択されることができる。

【0015】

そして、前記第２ユーザ入力は、前記表示されたメニューをタッチするタッチ入力であり、前記表示されたメニューは、前記タッチ入力によって選択されることができる。

【0016】

なお、前記第２ユーザ入力は、前記表示されたグラフィックオブジェクトの回転方向に対応されるＧＵＩに対するタッチ入力であり、前記表示されたメニューは、前記タッチ入力によって選択されることができる。

【0017】

そして、複数のグラフィックオブジェクトのうち少なくとも一つのグラフィックオブジェクトが選択される前の状態に戻るための第３ユーザ入力を受信するステップを更に含むことができる。

【0018】

なお、前記表示されたグラフィックオブジェクトの回転によって前記選択されるメニューが変更されたことを認識させるフィードバックを提供するステップを更に含むことができる。

【0019】

そして、表示されたグラフィックオブジェクトに対応するアプリケーションを前記ユーザ端末装置と連動する外部機器に適用するためのメニューを前記第２ユーザ入力によって選択されるステップと、前記外部機器に前記表示されたグラフィックオブジェクトに対応するアプリケーションが予め設置されている場合、予め設置されたアプリケーションを実行し、設置されていない場合、アプリケーションを自動で設置するように前記外部機器を制御するステップと、を更に含むことができる。

【0020】

一方、上述した目的を達成するための本発明の一実施形態にかかるユーザ端末装置は、複数のグラフィックオブジェクトを表示するディスプレイ部と、ユーザ入力を受信する入力部と、前記表示された複数のグラフィックオブジェクトのうち少なくとも一つのグラフィックオブジェクトを選択するための第１ユーザ入力が前記入力部を通して受信されると、前記第１ユーザ入力によって選択されたグラフィックオブジェクトの少なくとも一つのグラフィック要素を変更して表示し、前記表示されたグラフィックオブジェクトの近所に前記グラフィックオブジェクトに関連するメニューを表示するように前記ディスプレイ部を制御し、第２ユーザ入力が前記入力部を通して受信されると、前記表示されたメニューを選択する制御部と、を含む。

【0021】

そして、前記選択されたグラフィックオブジェクトに関連するメニューは、前記選択されたグラフィックオブジェクトで提供する特定機能に関する機能メニュー、前記選択されたグラフィックオブジェクトのオプションを設定するための設定メニューのうち少なくとも一つを含むことができる。

【0022】

なお、前記制御部は、前記グラフィック要素に対応する前記グラフィックオブジェクトの大きさ、位置、色のうち少なくとも一つを変更して表示することができる。

【0023】

そして、前記制御部は、前記第１ユーザ入力によってグラフィックオブジェクトが選択されると、前記選択されたグラフィックオブジェクトの近所に回転可能な方向を示すＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示するように前記ディスプレイ部を制御することができる。

【0024】

なお、前記制御部は、前記変更して表示されたグラフィックオブジェクトを回転可能な状態に設定することができる。

【0025】

そして、前記第２ユーザ入力は、前記表示されたグラフィックオブジェクトを第１方向又は第２方向に回転させる回転入力であり、前記表示されたメニューは、前記回転入力によって選択されることができる。

【0026】

なお、前記表示されたメニューは、前記回転入力によって回転される前記表示されるグラフィックオブジェクトの上段又は下段頂点が指す方向によって選択されることができる。

【0027】

そして、前記第２ユーザ入力は、前記表示されたメニューをタッチするタッチ入力であり、前記表示されたメニューは、前記タッチ入力によって選択されることができる。

【0028】

なお、前記第２ユーザ入力が、前記表示されたグラフィックオブジェクトの回転方向に対応する矢印ＧＵＩのタッチ入力である場合、前記表示されたメニューは、前記タッチ入力によって選択されることができる。

【0029】

そして、前記制御部は、前記第３ユーザ入力が前記入力部を通して受信されると、前記複数のグラフィックオブジェクトのうち少なくとも一つのグラフィックオブジェクトが選択される前の状態に戻るように前記ディスプレイ部を制御することができる。

【0030】

なお、前記制御部は、前記選択されたグラフィックオブジェクトの回転によって前記選択されるメニューが変更されたことを認識させるフィードバックを提要することができる。

【0031】

そして、前記ユーザ端末装置を外部機器と連結する通信インターフェース部を更に含み、表示されたグラフィックオブジェクトに対応するアプリケーションを前記ユーザ端末装置と連動する外部機器に適用するためのメニューが前記第２ユーザ入力に基づいて選択されると、前記制御部は、前記外部機器に前記表示されたグラフィックオブジェクトに対応するアプリケーションが予め設置されている場合、予め設置されたアプリケーションを実行し、設置されていない場合、アプリケーションを自動で設置するようにするための制御信号を前記通信インターフェース部を通して前記外部機器に伝送して前記外部機器を制御することができる。

【0032】

一方、上述した目的を達成するための本発明の一実施形態にかかるユーザ端末装置の制御方法を実行するためのプログラムコードが記録された記録媒体において、前記制御方法は、複数のグラフィックオブジェクトのうち少なくとも一つのグラフィックオブジェクトを選択するための第１ユーザ入力を受信するステップと、

【0033】

前記第１ユーザ入力によって選択ｓあれたグラフィックオブジェクトの少なくとも一つのグラフィック要素を変更して表示するステップと、前記表示されたグラフィックオブジェクト近所に前記グラフィックオブジェクトに関連するメニューを表示するステップと、前記表示されたメニューを選択するための第２ユーザ入力を受信するステップと、を含む。

【発明の効果】

【0034】

以上説明したように本発明によれば、ユーザの便宜性が向上される。

【図面の簡単な説明】

【0035】

【図1】本発明の一実施形態にかかるユーザ端末装置を示すブロック図である。

【図2】選択されたグラフィックオブジェクトの少なくとも一つのグラフィック要素を変更して表示することを示す図である。

【図3】選択されたグラフィックオブジェクトを回転可能な状態に設定することを示す図である。

【図4】選択されたグラフィックオブジェクトに関連するメニューを表示する方法を示す図である。

【図5】表示されたメニューを選択する方法を示す図である。

【図6】表示されたメニューを選択する方法を示す図である。

【図7】表示されたメニューを選択する方法を示す図である。

【図8】表示されたメニューを選択する方法を示す図である。

【図9】ユーザ端末装置に設置されたアプリケーションがユーザ端末装置と連動する外部機器に設置されているか否かに応じて、外部機器の動作を制御する方法を示す図である。

【図10】本発明の一実施形態にかかるユーザ端末装置の制御方法を示すフローチャートである。

【図11】本発明の他の実施形態にかかるユーザ端末装置の制御方法を示す図である。

【図12】本発明の他の実施形態にかかるユーザ端末装置の制御方法を示す図である。

【図13】本発明の他の実施形態にかかるユーザ端末装置の制御方法を示す図である。

【発明を実施するための形態】

【0036】

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。

【0037】

図１は、本発明の一実施形態にかかるユーザ端末装置を示すブロック図である。図１を参照すると、ユーザ端末装置１００は、ディスプレイ部１１０、入力部１２０、通信インターフェース部１３０、制御部１４０の全部又は一部を含む。

【0038】

ここで、ユーザ端末装置１００は、携帯、スマートフォン、タブレットコンピュータ、ノートパソコン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、ナビゲーション、デジタルＴＶなど多様な装置で実現することができる。

【0039】

ディスプレイ部１１０は、画面を表示する機能をする。特に、ディスプレイ部１１０は、複数のグラフィックオブジェクトを含む画面を表示することができる。グラフィックオブジェクトは、アプリケーションアイコン、少なくとも一つのアプリケーションアイコンを含むフォルダ、音源ファイルのサムネールイメージ、動画ファイルのサムネールイメージなどのようなイメージ、テキスト又はＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などのようなユーザが選択できるすべてのグラフィックオブジェクトであってよい。

【0040】

ここで、ディスプレイ部１１０は、液晶ディスプレイ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、薄膜トランジスタ液晶ディスプレイ（Ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ−ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、有機発光ダイオード（Ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、フレキシブルディスプレイ（Ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）、３次元ディスプレイ（３Ｄ ｄｉｓｐｌａｙ）、透明ディスプレイの中で少なくとも一つで実現されてよい。

【0041】

入力部１２０は、ユーザ端末装置１００に対するユーザ入力を受信する。

【0042】

ここで、入力部１２０はタッチセンサで実現されてよい。タッチセンサは静電式又は減圧式で実現されてよい。静電式はディスプレイ部１１０の表面にコーティングされた誘電体を用いて、ユーザの身体一部がディスプレイ部１１０の表面にタッチされた時にユーザの人体に励起される微細電気を検知してタッチ座標を算出する方式である。減圧式は、二つの電極板を含み、ユーザが画面をタッチした場合、タッチされた地点の上下板が接触された電流が流れることを検知してタッチ座標を算出する方式である。以上のように、タッチセンサは多様な形態で実現されることができる。これにより、入力部１２０はユーザのタッチ入力が受信されると、タッチされた地点に対応する電気信号を制御部１４０に伝達し、制御部１４０は電気信号が伝達ｓあれた座標を用いて、タッチ地点を認識することができる。一方、図１を説明するにおいて、ディスプレイ部１１０、入力部１２０は別個の構成で説明したが、入力部１２０がタッチセンサで実現される場合、ディスプレイ部１１０、入力部１２０を結合してタッチディスプレイスクリーンに実現されてもよい。

【0043】

なお、入力部１２０は近接センサで実現されてもよい。近接センサは、ディスプレイ部１１０の表面に直接接触されず接近するモーションを検知するためのセンサである。近接センサは、高周波磁界を形成し、物体接近時に変化される磁界特性によって誘導される電流を検知する高周波発振型、磁石を利用する磁気型、対象体の接近によって変化される静電容量を検知する静電容量型のような多様な形態のセンサで実現されてよい。これによい、入力部１２０は接近するモーションによるユーザの入力が受信されると、ユーザ入力に対応する電気信号を制御部１４０に伝達し、制御部１４０は伝達された電気信号を用いて近接モージョンによるユーザ入力を認識することができる。

【0044】

なお、入力部１２０は、マイクロフォンで実現されてもよい。マイクロフォンはユーザが発話（ｕｔｔｅｒａｎｃｅ）した音声が入力される。音声入力認識部１１２は、入力された音声信号を電気信号に変換して制御部１４０に伝達する。この場合、制御部１４０は伝達された電気信号を用いて音声入力によるユーザ入力を認識することができる。

【0045】

具体的に、制御部１４０は入力された音声信号内でユーザが発話した音声の初めと終りを検出して音声区間を判断することができる。制御部１４０は入力された音声信号のエネルギーを計算し、計算されたエネルギーに応じて音声信号のエネルギーレベルを分類し、動的プログラミングを通して音声区間を検出することができる。制御部１４０は検出された音声区間内の音声信号から音響モデル（Ａｃｏｕｓｔｉｃ Ｍｏｄｅｌ）に基づいて音声の最初単位である音素を検出して音素データを生成することができる。制御部１４０は生成された音素データにＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）確率モデルを適用してテキスト情報を生成することができる。これにより、制御部１４０は伝達された電気信号を用いて音声入力によるユーザ入力を認識することができる。

【0046】

なお、入力部１２０はモーションセンサで実現されてもよい。ここで、モーションセンサは、加速度センサ、地磁気センサ及びジャイロセンサのうち少なくとも一つを含んで実現されてもよい。これにより、入力部１２０はユーザ端末装置１００を３軸方向に回転させる又は傾けるユーザ入力などが受信されると、ユーザ操作に対応する電気信号を制御部１４０に伝達し、制御部１４０は伝達された電気信号を用いて近接モーションによるユーザ入力を認識することができる。

【0047】

なお、入力部１２０は圧力センサで実現されてもよい。ここで、圧力センサは、圧力の大きさに対応する電気信号を出力する圧電フィルム（ｐｉｅｚｏ ｆｉｌｍ）を含むことができる。これにより、入力部１２０はユーザのタッチ入力が受信されると、タッチされた地点に加える圧力の大きさを検知して圧力の大きさに対応する電気信号を制御部１４０に伝達し、制御部１４０は電気信号を用いて圧力の大きさを認識することができる。

【0048】

もし、タッチセンサが減圧式タッチセンサで実現された場合、その減圧式タッチセンサが圧力センサの役割も共に行うことができる。

【0049】

なお、入力部１２０は、マウス、キーボード、リモコンなどのような入力装置をディスプレイ部１１０のような表示装置と結合して実現されてもよい。この場合、制御部１４０は入力装置を通して受信されたユーザ入力を用いてこれに対応する機能を行うことができる。

【0050】

なお、入力部１２０は、ユーザの瞳孔の動きによるユーザ入力、ユーザの脳波によるユーザ入力などの入力を受信することができる。

【0051】

ここで、入力部１２０はユーザ入力を受信する上述した構成のうち少なくとも一つを含んで構成されることができる。

【0052】

通信インターフェース部１３０は、ユーザ端末装置１００を外部機器と連結する機能を行う。特に、通信インターフェース部１３０は表示されたグラフィックオブジェクトに対応するアプリケーションをユーザ端末装置１００と連動する外部機器に適用するためのメニューが入力部１１０を通して選択されると、外部機器を制御するための制御信号を外部機器に伝送することができる。

【0053】

ここで、外部機器は、ユーザ端末装置１００と連動するデジタルＴＶ、ノートパソコン、タブレットコンピュータ、デスクトップパソコン、携帯、スマートフォンなどのような多様な装置で実現されてよい。

【0054】

通信インターフェース部１３０は、ユーザ端末装置１００を外部機器と連結するために形成され、近距離通信網（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）及びインターネット網を通して無線又は有線方式で接続される形態、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートを通して接続される形態、３Ｇ、４Ｇのような移動通信網を通して接続される形態、Ｂｌｕｅ Ｔｏｏｔｈ、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ， ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、Ｚｉｇｂｅｅなどのような近距離無線通信方式を通して接続される形態が可能である。

【0055】

制御部１４０は、ユーザ端末装置１００の全般的な動作を制御する。具体的に、制御部１４０は、ディスプレイ部１１０、入力部１２０、通信インターフェース部１３０の全部又は一部を制御することができる。

【0056】

特に、制御部１４０は、表示された複数のグラフィックオブジェクトのうち少なくとも一つのグラフィックオブジェクトを選択するための第１ユーザ入力が入力部１２０を通して受信されると、第１ユーザ入力によって選択されたグラフィックオブジェクトの少なくとも一つのグラフィック要素を変更して表示するようにディスプレイ部１１０を制御することができる。

【0057】

ここで、第１ユーザ入力は選択するグラフィックオブジェクトをタッチして維持するユーザのタッチアンドホールド（ｔｏｕｃｈ ａｎｄ ｈｏｌｄ）入力であってもよい。

【0058】

なお、第１ユーザ入力は選択するグラフィックオブジェクトに対応する名称を発話するユーザの音声入力であってもよい。例えば、選択するグラフィックオブジェクトに対応するアプリケーションの名称が「電話」である場合、音声入力はユーザが発話した「電話早い実行」音声入力であってよい。

【0059】

なお、第１ユーザ入力は選択するグラフィックオブジェクトを二本指でマルチタッチした後、二本指を両側に広げる入力であってもよい。

【0060】

なお、第１ユーザ入力は選択するグラフィックオブジェクトをタッチしながらユーザ端末装置１００を特定方向に傾けたり、特定方向に回転さえるなどのモーション入力であってもよい。

【0061】

なお、第１ユーザ入力は選択するグラフィックオブジェクトを予め設定された圧力以上にタッチする入力であってもよい。

【0062】

但し、これに限定されるものではなく、ユーザ端末装置１００に含まれた入力部１２０の実現方法に応じてユーザの近接モージョンによる入力、瞳孔の動きによる入力、入力装置を通した入力など多様な方式で行われてもよい。

【0063】

上述した第1ユーザ入力が入力部１２０を通して受信されると、制御部１４０は第１ユーザ入力によって選択されたグラフィックオブジェクトの少なくとも一つのグラフィック要素を変更して表示するようにディスプレイ部１１０を制御することができる。

【0064】

ここで選択されたグラフィックオブジェクトの少なくとも一つのグラフィック要素を変更して表示することは、グラフィックオブジェクトの大きさ、位置、色のうち少なくとも一つを変更して表示することであってもよい。

【0065】

選択されたグラフィックオブジェクトの大きさの変更は選択されたグラフィックオブジェクトの大きさが大きくなるか小さくなる動作であってもよい。

【0066】

選択されたグラフィックオブジェクトの位置変更は、選択されたグラフィックオブジェクトの元の位置とは関係なく表示された画面の予め設定された位置に移動する動作であってもよい。

【0067】

選択されたグラフィックオブジェクトの色変更は、選択されたグラフィックオブジェクトの元の色と異なる色に変更する動作であってもよい。

【0068】

一方、選択されたグラフィックオブジェクトの大きさ、位置、色のうち少なくとも一つを変更することで、選択されたグラフィックオブジェクトが現在表示された位置を基準に震えるように表示するか、又は、選択されたグラフィックオブジェクトがディスプレイ部１１０の正面方向に突出したり、ディスプレイ部１１０の背面方向に入る効果を与えて立体感を変更して表示することができる。

【0069】

なお、制御部１４０は変更して表示されたグラフィックオブジェクトの近所にグラフィックオブジェクトに関連されたメニューを表示するようにディスプレイ部１１０を制御することができる。

【0070】

選択されたグラフィックオブジェクトに関連するメニューは、テキスト形態、又はアイコンの形態に提供されてもよい。

【0071】

ここで選択されたグラフィックオブジェクトに関連されたメニューは、選択されたグラフィックオブジェクトで提供する特定機能に関する機能メニュー、選択されたグラフィックオブジェクトのオプションを設定するための設定メニューのうち少なくとも一つを含むことができる。

【0072】

もし、選択されたグラフィックオブジェクトが地図アプリケーションに対応するグラフィックオブジェクトである場合、機能メニューは地図検索メニュー、道探しメニュー、周辺検索メニュー、外部機器と連動するメニューなどを含むことができる。この場合、外部機器と連動するメニューは位置共有メニュー、ルーティング情報共有メニューなどを含むことができる。

【0073】

もし、選択されたグラフィックオブジェクトが音楽アプリケーションに対応するグラフィックオブジェクトである場合、機能メニューはＦａｖｏｒｉｔｅ Ｌｉｓｔメニュー、Ａｒｔｉｓｔメニュー、Ａｌｂｕｍメニュー、外部機器と連動するメニューなどを含むことができる。この場合、外部機器と連動するメニューはメール又はＳＮＳなどを利用した音楽共有メニュー、ＡｌｌＳｈａｒｅメニューなどを含むことができる。

【0074】

もし、選択されたグラフィックオブジェクトがゲームアプリケーションに対応するグラフィックオブジェクトである場合、機能メニューはＳｅｔｅｐメニュー、１人用/２人用設定メニュー、Ｎｅｗ ｇａｍｅメニュー、外部機器と連動するメニューなどを含むことができる。この場合、外部機器と連動するメニューはゲームする対象を設定するメニューなどを含むことができる。

【0075】

なお、ここで、設定メニューは削除メニュー、グラフィックオブジェクト移動メニュー、設置メニュー、アップデートメニュー、通信手段選択メニュー、連動サービス選択メニューなどを含むことができる。通信手段選択メニューは下位メニューとしてＷｉ−Ｆｉ、ＢＴ、３Ｇ、４Ｇなどを含むことができる。連動サービス選択メニューは下位メニューとしてＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）、メール、クラウドなどを含むことができる。

【0076】

上述したように、本発明の一実施形態にかかるユーザ端末装置１００は第１ユーザ入力が受信されると、選択されたグラフィックオブジェクトに関連するメニューを表示することで、容易にメニューを選択することができる。特に選択されたグラフィックオブジェクトに関連する機能メニューを表示することで、選択されたグラフィックオブジェクトに対応するアプリケーションで提供する特定機能を即時実行することができる。

【0077】

一方、機能メニュー及び設定メニューの表示はユーザ端末装置１００の回転状態又は傾き状態によって異なることができる。即ち、ユーザ端末装置１００が横モードで回転又は傾いた場合、機能メニュー及び設定メニューは横モードでユーザが見やすいように表示されることができる。なお、ユーザ端末装置１００が縦モードで回転又は傾いた場合、機能メニュー及び設定メニューは縦モードでユーザが見やすいように表示されることができる。

【0078】

なお、機能メニュー及び設定メニューはディスプレイ部１１０の特定領域に相互重ならないように配置されることができる。例えば、機能メニューは選択されたグラフィックオブジェクトの上部、下部、左側又は右側に配置されることができ、設定メニューは選択されたグラフィックオブジェクトの下部、上部、右側、左側に配置されることができる。但し、これに限定されるものではなく、メニューの配置位置はユーザん端末装置１００の設定状態によって変更されてもよい。

【0079】

なお、機能メニュー及び設定メニューは選択されたグラフィックオブジェクトの特性に応じてディスプレイ部１１０に表示される位置が変更されてもよい。例えば、グラフィックオブジェクトがアプリケーションであるか又はイメージであるかに応じて機能メニュー及び設定メニューの表示位置が変更されてもよい。

【0080】

一方、制御部１４０は第１ユーザ入力によってグラフィックオブジェクトが選択されると、選択されたグラフィックオブジェクトの近所に回転可能な方向を示すＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示するようにディスプレイ部１１０を制御することができる。

【0081】

ここで、選択されたグラフィックオブジェクトの回転可能な方向を示すＧＵＩは第１方向し指示する矢印ＧＵＩ、第２方向を示す矢印ＧＵＩを含むことができる。なお、矢印ＧＵＩは選択されたグラフィックオブジェクトの周囲の一定量位に表示されることができる。ここで、第１及び第２方向は、左側、右側、上部、下部のような選択されたグラフィックオブジェクトの回転可能な方向であってもよい。

【0082】

上述したように、本発明の一実施形態にかかるユーザ端末装置１００は第１ユーザ入力に基づいて選択されたグラフィックオブジェクトのグラフィック要素のうち少なくとも一つを変更して表示することで、グラフィックオブジェクトが選択されたことを容易に知ることができる。

【0083】

一方、ここで選択されたグラフィックオブジェクトのグラフィック要素のうち少なくとも一つを変更して表示することは選択的な事項であって、ユーザ端末装置１００の設定状態によっては表示が変更されないこともある。なお、選択されたグラフィックオブジェクトのグラフィック要素のうち少なくとも一つを変更して表示することは、グラフィックオブジェクトに関連するメニュー表示と同時に、グラフィックオブジェクトに関連するメニュー表示の以前に、グラフィックオブジェクトに関連するメニュー表示の以後に表示されてもよい。

【0084】

一方、制御部１４０は第１ユーザ入力によって選択されたグラフィックオブジェクトを回転可能な状態に設定することができる。

【0085】

具体的に、制御部１４０は第１ユーザ入力がグラフィックオブジェクト内の第１領域で受信されると、第１ユーザ入力によって選択されたグラフィックオブジェクトの少なくとも一つのグラフィック要素を変更して表示した後、又は表示の変更なしに即時回転可能な状態に設定することができる。ここで、第１領域は好ましくはグラフィックオブジェクトの頂点領域であってよい。これにより、ユーザは第１ユーザ入力の位置を変更せずに、選択されたグラフィックオブジェクトの上段又は下段頂点を回転方向に回転させることで、選択されたグラフィックオブジェクトを回転させるための第２ユーザ入力を即時行うことができる。この場合、選択されたグラフィックオブジェクトの少なくとも一つのグラフィック要素の変更は、サイズ変更及び色変更のうち少なくとも一つのみを含むことができる。もし、選択されたグラフィックオブジェクトのサイズ変更である場合、前記サイズ変更は第１ユーザ入力位置で選択されたグラフィックオブジェクトの頂点は固定された状態でのサイズ変更であってよい。

【0086】

又は、制御部１４０は第１ユーザ入力がグラフィックオブジェクト内の第２領域で受信されると、第１ユーザ入力によって選択されたグラフィックオブジェクトの少なくとも一つのグラフィック要素を変更して表示した後、選択されたグラフィックオブジェクトを回転可能な状態に設定することができる。ここで、第２領域は好ましくは選択されたグラフィックオブジェクトの頂点でない領域であってもよい。この場合、選択されたグラフィックオブジェクトの少なくとも一つのグラフィック要素の変更は、位置変更及びサイズ変更、色変更のうち少なくとも一つを含むことができる。

【0087】

即ち、第１ユーザ入力がグラフィックオブジェクト内の第２領域で受信されると、選択されたグラフィックオブジェクトの頂点が第２領域に移動した後、選択されたグラフィックオブジェクトを回転可能な状態に設定することができる。例えば、ユーザが特定グラフィックオブジェクトの中央部分をタッチすると、制御部１４０はグラフィックオブジェクトの頂点がユーザのタッチ領域に移動するように制御することができ、この場合、グラフィックオブジェクトの頂点がユーザのタッチ領域に位置すると選択されたグラフィックオブジェクトを回転可能な状態に設定することができる。

【0088】

又は、第１ユーザ入力がグラフィックオブジェクト内の第２領域で受信されると、選択されたグラフィックオブジェクトを画面の予め設定された位置に移動及び拡大した後に、選択されたグラフィックオブジェクトを回転可能な状態に設定することができる。

【0089】

一方、ここで選択されたグラフィックオブジェクトを回転可能な状態に設定することは選択的な事項であってユーザ端末装置１００の設定状態によっては、選択されたグラフィックオブジェクトが回転可能な状態に設定されなくてもよい。なお、回転可能な状態への設定は選択されたグラフィックオブジェクトの少なくとも一つのグラフィック要素が変更して表示された後、又は表示の変更なしに回転可能な状態に設定されたもよい。

【0090】

なお、制御部１４０は表示されたメニューを選択するための第２ユーザ入力が入力部１２０を通して受信されると、表示されたメニューを選択することができる。

【0091】

ここで第２ユーザ入力は、表示されたメニューを選択するための選択されたグラフィックオブジェクトを第１方向又は第２方向に回転させる回転入力であってもよい。この場合、選択されたグラフィックオブジェクトの回転入力は選択されたグラフィックオブジェクトの上段又は下段の頂点を回転方向にドラック（ｄｒａｇ）する入力又はリリース（Ｒｅｌｅａｓｅ）後ドラックする入力であってもよい。ここで、ドラックする入力は第１ユーザ入力がタッチ入力である場合、タッチ入力によって選択されたグラフィックオブジェクトの上段又は下段の頂点を回転方向にドラックする入力であってよい。なお、リリース後ドラックする入力は第１ユーザ入力がタッチ入力である場合、タッチ入力を除去した後に、選択されたグラフィックオブジェクトの上段又は下段の頂点を回転方向にドラックする入力であってよい。

【0092】

これにより、回転入力が入力部１２０を通して受信されると、制御部１４０は回転入力に応じて表示されたメニューを選択することができる。

【0093】

以下では、説明の便宜のために、第１方向は左側方向であり、第２方向は右側方向であり、第１メニューは選択されたグラフィックオブジェクトの左側方向に配置されたメニュー、第２メニューは選択されたグラフィックオブジェクトの右側方向に配置されたメニューであることを例にとって説明することにする。ここで、第１メニューは機能名ニュー又は設定メニューであることができ、第２メニューは設定メニュー又は機能メニューであることができる。なお、第１及び第２メニューは複数個のメニューを含むことができる。

【0094】

具体的に、第１及び第２メニューが表示された状態で、ユーザが選択されたグラフィックオブジェクトの上段頂点を左側方向に回転させると、第１メニューで最上段のメニューが選択される。その後、ユーザが選択されたグラフィックオブジェクトの上段頂点を左側方向に回転させると、第１メニューで最上段の下のメニューが選択される。その後、ユーザが選択されたグラフィックオブジェクトの上段頂点を右側方向に回転させると、第１メニューで最上段のメニューが選択される。

【0095】

もし、第１及び第２メニューが表示された状態で、ユーザが選択されたグラフィックオブジェクトの上段頂点を右側方向に回転させると、第２メニューで最上段のメニューが選択される。その後、ユーザが選択されたグラフィックオブジェクトの上段頂点を右側方向に回転させると、第２メニューで最上段の下のメニューが選択される。その後、ユーザが選択されたグラフィックオブジェクトをの上段頂点を左側方向に回転させると、第２メニューで最上段のメニューが選択される。

【0096】

もし、第１及び第２メニューが表示された状態で、ユーザが選択されたグラフィックオブジェクトの下段頂点を右側方向に回転させると、第１メニューで最上段のメニューが選択される。その後、ユーザが選択されたグラフィックオブジェクトの下段頂点を右側方向に回転させると、第１メニューで最上段の下のメニューが選択される。その後、ユーザが選択されたグラフィックオブジェクトの下段頂点を左側方向に回転させると、第１メニューで最上段のメニューが選択される。

【0097】

もし、第１及び第２メニューが表示された状態で、ユーザが選択されたグラフィックオブジェクトの下段頂点を左側方向に回転させると、第２メニューで最上段のメニューが選択される。その後、ユーザが選択されたグラフィックオブジェクトの下段頂点を左側方向に回転させると、第２メニューで最上段の下のメニューが選択される。その後、ユーザが選択されたグラフィックオブジェクトの下段頂点を右側方向に回転させると、第２メニューで最上段のメニューが選択される。

【0098】

ここで、上段頂点は左側又は右側上段頂点であってもよく、下段頂点は左側又は右側下段頂点であってもよい。なお、回転されたグラフィックオブジェクトは特定メニューが選択されると回転前の状態に復旧される。

【0099】

即ち、上述したように、選択されるメニューは上段又は下段頂点の回転方向を基準に選択される。但し、これに限定されるものではなく、ユーザ端末装置１００の設定によっては、下段頂点の回転はその回転方向に応じて第１又は第２メニューの最下段のメニューから選択されるように設定することができる。

【0100】

なお、表示されたメニューは上述のように、不連続的に選択されてもよく、ユーザ端末装置１００の設定によっては、表示されたメニューは連続的に選択されてもよい。例えば、ユーザが選択されたグラフィックオブジェクトの左側上段を予め設定された回転程度以上に回転する状態を維持する場合、第１メニューの最上段のメニューから最下段のメニューまでハイライトが移動しながら、連続的に選択されることができる。なお、ユーザが選択されたグラフィックオブジェクトの右側上段を予め設定された回転程度以上に回転する状態を維持する場合、第２メニューの最上段のメニューから最下段のメニューまでハイライトが移動しながら、連続的に選択されることができる

【0101】

なお、上述によると、上段又は下段頂点を回転させることで、メニューを選択することについて説明したが、これに限定されるものではなく、メニューは選択されたグラフィックオブジェクトの周囲に配置された矢印ＧＵＩのタッチ入力によって選択されたグラフィックオブジェクトを回転させることで選択されることができる。具体的に、矢印ＧＵＩは左側方向への回転を示す矢印ＧＵＩ及び右側方向への回転を示す矢印ＧＵＩを含むことができ、この場合、選択されたグラフィックオブジェクトの回転方向に対応する矢印ＧＵＩを選択することで、メニューを選択することができる。

【0102】

なお、第１及び第２メニューは選択されたグラフィックオブジェクトで回転された上段又は下段頂点が指す方向によって選択されることができる。

【0103】

具体的に、第１及び第２メニューが表示された状態で、ユーザが選択されたグラフィックオブジェクトの左側上段頂点を左側方向に回転させると、第１メニューで左側上段頂点が指す方向に表示されたメニューが選択されることができる。

【0104】

もし、ユーザが選択されたグラフィックオブジェクトの右側上段頂点を右側方向に回転させると、第２メニューで右側上段頂点が指す方向に表示されたメニューが選択されることができる。

【0105】

ここで、メニュー選択の基準となる頂点はユーザが最初に選択した頂点になることができる。例えば、ユーザがグラフィックオブジェクトを回転させるために最初に左側上段頂点を回転させる場合、左側上段頂点がメニュー選択の基準となる指す方向の頂点になることができる。但し、これに限定されるものではなく、設定状態によって基準となる頂点は変更されてもよい。

【0106】

なお、上述によると、上段又は下段頂点を回転させることで、メニューを選択することについて説明したが、これに限定されるものではなく、メニューは選択されたグラフィックオブジェクトの周囲に配置された矢印ＧＵＩのタッチ入力によって選択されたグラフィックオブジェクトを回転させることで選択されることができる。具体的に、矢印ＧＵＩは左側方向への回転を示す矢印ＧＵＩ及び右側方向への回転を示す矢印ＧＵＩを含むことができ、選択されたグラフィックオブジェクト上段又は下段頂点は左側又は右方向に回転を維持することができる。この場合、メニューは選択されたグラフィックオブジェクトで回転された上段又は下段頂点が指す方向によって選択されることができる。

【0107】

なお、選択されたメニューにはハイライトが表示されてもよい。なお、上述した回転入力によってメニューが選択された状態で回転入力を解放すると（ｒｅｌｅａｓｅ）（即ち、指のタッチ状態をなくすと）選択されたメニューは実行されることができる。

【0108】

上述したように、本発明の一実施形態にかかるユーザ端末装置１００は回転入力を通してメニューを容易に選択することができる。

【0109】

又は、第２ユーザ入力は、表示されたメニューを選択するための表示されたメニューをタッチするタッチ入力であってもよい。この場合、タッチ入力によって選択ｓあれたメニューはタッチと同時に実行されることができる。

【0110】

又は、第２ユーザ入力は、表示されたメニューを選択するためのユーザ端末装置１００と連動する入力装置を通した入力であってもよい。ここで、入力装置は、マウス、キーボード、リモコンなどであってもよい。この場合、入力装置を通して選択されたメニューは予め設定された実行ボタンが選択される場合に実行されることができる。

【0111】

説明の便宜のために、ユーザ端末装置１００がデジタルＴＶであり、入力装置がリモコンである場合を例にして説明することにする。

【0112】

ここで、リモコンはＢｌｕｅ Ｔｏｏｔｈ、ＩＲ方式など多様な方式でデジタルＴＶと連動している。これにより、ユーザはリモコンに配置された方向キーを用いてデジタルＴＶに表示されているグラフィックオブジェクトの中で特定グラフィックオブジェクトを選択することができる。又は、ユーザはリモコンをマウスのように動かすことができる。この場合、デジタルＴＶはリモコンの位置に対応するポインタを画面上に表示することができる。これにより、ユーザはデジタルＴＶに表示されているポインタを選択しようとするグラフィックオブジェクトに位置させた後、リモコンに配置された選択キーを入力することで、グラフィックオブジェクトを選択することができる。上述したように、グラフィックオブジェクトが選択される場合、選択されたグラフィックオブジェクトの周囲にはメニューが表示されることができる。

【0113】

ユーザは表示されたメニューを選択するためにリモコンに配置された上、下、左、右の方向キーを用いて表示されたメニューのうち特定メニューを選択することができる。

【0114】

なお、ユーザは表示されたメニューを選択するために、表示されたメニューのうち選択するためのメニューにポインタを位置させた後、リモコンに配置された選択キーを入力することで、メニューを選択することができる。

【0115】

但し、これに限定されるものではなく、ユーザ端末装置１００に含まれた入力部１２０の実現方法によって、第２ユーザ入力は近接モーションによるユーザ入力、音声入力によるユーザ入力など多様な方式を使用して行うことができる。

【0116】

一方、ユーザ端末装置１００の設定状態によって、表示されたメニューの選択のための第２ユーザ入力は、上述した選択されたグラフィックオブジェクトの少なくとも一つのグラフィック要素が変更して表示された後、及び、上述した選択されたグラフィックオブジェクトが回転可能な状態に選定された後のうち少なくとも一つの段階が行われた以後に行われることができる。

【0117】

なお、制御部１４０は第３ユーザ入力が入力部１２０を通して受信されると、複数のグラフィックオブジェクトのうち少なくとも一つのグラフィックオブジェクトが選択される前の状態に戻るようにディスプレイ部１１０を制御することができる。

【0118】

ここで、第３ユーザ入力は、選択されたグラフィックオブジェクトが表示された画面領域以外の領域をタッチするユーザ入力であってもよい。

【0119】

なお、第３ユーザ入力は、選択されたグラフィックオブジェクトに対応する名称を発話するユーザの音声入力であってもよい。例えば、終了するグラフィックオブジェクトに対応するアプリケーションの名称が「電話」である場合、音声入力はユーザが発話した「電話終了」音声入力になることができる。

【0120】

なお、第３ユーザ入力は選択されたグラフィックオブジェクトを２本指でマルチタッチした後、２本指を縮める入力であってもよい。

【0121】

なお、第３ユーザ入力は、選択されたグラフィックオブジェクトをタッチしながらユーザ端末装置１００を特定方向に傾けたり、特定方向に回転させるなどのモーション入力であってもよい。

【0122】

なお、第３ユーザ入力は、選択ｓあれたグラフィックオブジェクトを予め設定された圧力以上にタッチする入力であってもよい。

【0123】

但し、これに限定されるものではなく、ユーザ端末装置１００に含まれた入力部１２０の実現方法によって、ユーザの近接モーションによる入力、瞳孔の動きによる入力など多様な方式で行われることができる。

【0124】

この場合、制御部１４０は複数のグラフィックオブジェクトのうち少なくとも一つのグラフィックオブジェクトが選択される前の状態に戻るようにディスプレイ部１１０を制御することができる。例えば、選択される前の状態であるホーム画面に戻るようにディスプレイ部１１０を制御することができる。

【0125】

但し、これに限定されるものではなく、ユーザ端末装置１００の設定状態によっては、第３ユーザ入力が入力されると、グラフィックオブジェクトが選択された状態、又は選択されたグラフィックオブジェクトの少なくとも一つのグラフィック要素が変更して表示された状態、又は選択されたグラフィックオブジェクトが回転可能な状態に設定された状態に戻ることができる。

【0126】

なお、制御部１４０は選択されたグラフィックオブジェクトの回転によって選択されるメニューが変更されたことを認識さえるフィードバックを提供することができる。

【0127】

ここで、フィードバックはサウンドで提供されることができる。この場合、制御部１４０は選択されたグラフィックオブジェクトを回転させるとき、ジョグボタンを動かすようなサウンドを提供することができ、なお、選択されたグラフィックオブジェクトの回転によって選択されるメニューが変更されると、特定サウンドを提供することができる。

【0128】

なお、フィードバックは振動で提供されることができる。この場合、制御部１４０は選択されたグラフィックオブジェクトの回転によって選択されるメニューが変更されると、振動を提供することができる。

【0129】

なお、フィードバックはＧＵＩで提供されることができる。この場合、制御部１４０は選択されたグラフィックオブジェクトにハイライトを表示するか、区別される色などを表示することができる。なお、制御部１４０は選択されたグラフィックオブジェクトの回転によって選択されるメニューが変更されると、ハイライト、区別される色を変更されたメニューに表示することができる。

【0130】

これにより、ユーザは回転によって選択されるメニューが変更されたことを容易に分かることができる。

【0131】

なお、制御部１４０は入力部１２０を通して選択されたグラフィックオブジェクトに対応するアプリケーションをユーザ端末装置１００と連動する外部機器に適用するためのメニューが選択されると、外部機器を制御することができる。具体的に、制御部１４０はユーザ端末装置１００で選択されたグラフィックオブジェクトに対応するアプリケーションが外部機器に予め設置されている場合、外部機器が予め設定されたアプリケーションを実行するようにするための制御信号を生成することができる。なお、制御部１４０はユーザ端末装置で選択されたグラフィックオブジェクトに対応するアプリケーションが外部機器に設置されていない場合、アプリケーションを自動で設置するようにするための制御信号を生成することができる。ここで生成された制御信号を通信インターフェース部１３０を通して外部機器に伝送することができる。この場合、外部機器は伝達された制御信号に応じて予め設置されたアプリケーションを実行するか、或いはアプリケーションを自動で設置することができる。

【0132】

上述した本発明の一実施形態にかかる外部機器制御方法によると、ユーザ端末装置に設置されたアプリケーションがユーザ端末装置と連動された外部機器に設置されているか否かに応じて、外部機器の動作を制御することで、ユーザの便宜性を図ることができる。

【0133】

図２は、選択されたグラフィックオブジェクトの少なくとも一つのグラフィック要素を変更して表示することを示す図である。図２（ａ）のように、複数個のグラフィックオブジェクトを表示した状態で少なくとも一つのグラフィックオブジェクトが第１ユーザ入力に基づいて選択されると、図２（ｂ）のように、選択されたグラフィックオブジェクトの回転可能な方向を示すＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）が表示されることができる。又は、図２（ｃ）のように、選択されたグラフィックオブジェクトの触れが表示されることができる。又は、図２（ｄ）のように、選択されたグラフィックオブジェクトのサイズが大きくなって表示されることができる。又は、図２（ｅ）のように、選択されたグラフィックオブジェクトの立体化ｋンが変化された表示されることができる。

【0134】

図３は、選択されたグラフィックオブジェクトを回転可能な状態に設定することを示す図である。図３（ａ）のように、グラフィックオブジェクトが選択された状態で選択されたグラフィックオブジェクトの中央領域がタッチされると、図３（ｂ）のように、選択されたグラフィックオブジェクトの頂点がタッチされた領域に移動することができる。即ち、ユーザが特定グラフィックオブジェクトの中央部分をタッチすると、制御部１４０はグラフィックオブジェクトの頂点がユーザのタッチ領域に移動するように制御することができ、この場合、グラフィックオブジェクトの頂点がユーザのタッチ領域に位置すると選択されたグラフィックオブジェクトを回転可能な状態に設定することができる。又は、図３（ｃ）のように、選択されたグラフィックオブジェクトが画面の予め設定された位置に移動及び拡大されることができる。

【0135】

この場合、選択されたグラフィックオブジェクトを回転可能な状態に設定することができる。これにより、ユーザが選択されたグラフィックオブジェクトを回転させる動作を行う場合、選択されたグラフィックオブジェクトは回転動作に対応する方向に回転することができる。

【0136】

図４は、選択されたグラフィックオブジェクトに関連するメニューを表示する方法を示す図である。図４（ａ）のように、複数個のグラフィックオブジェクトを表示した状態で少なくとも一つのグラフィックオブジェクトが第１ユーザ入力に基づいて選択されると、図４（ｂ）のように、選択されたグラフィックオブジェクトが中央領域に移動及び拡大され、第１及び第２メニュ４０１、４０２が表示されることができる。

【0137】

又は、図４（ｃ）のように、選択されたグラフィックオブジェクトが中央領域に移動及び拡大され、回転可能な方向を示す回転ＧＵＩを周囲に表示しながら、第１及び第２メニュー４０１、４０２が表示されることができる。

【0138】

又は、図４（ｄ）のように、別途お過程なしに選択されたグラフィックオブジェクトの上段又は下段に第１及び第２メニュー４０１、４０２が表示されることができる。

【0139】

又は、図４（ｅ）のように、選択されたグラフィックオブジェクトの周囲に回転可能な方向を示す回転ＧＵＩを表示しながら、選択されたグラフィックオブジェクトの上段又は下段に第１及び第２メニュー４０１、４０２が表示されることができる。

【0140】

ここで表示されるメニュー４０１、４０２の位置は設定によって上述した図面と相違に位置することができる。例えば、ＵＩ窓はディスプレイ部１１０の表示可能な領域のどこでも位置することができる。なお、表示されたメニュー４０１、４０２は少なくとも一つのメニューを含むことができる。なお、表示されたメニュー４０１、４０２は上述したように、二つが表示されることができるが、その個数に限定されるものではない。

【0141】

図５乃至８はメニューを選択する方法を示す図である。

【0142】

図５（ａ）のように、左側及び右側メニュー５０１、５０２が表示された状態で、ユーザが移動及び拡大されたグラフィックオブジェクトの上段頂点を左側方向に回転させると、図５（ｂ）のように、左側メニュ５０１でメニュー１が選択される。この状態で、ユーザが図５（ｂ）のように、移動及び拡大されたグラフィックオブジェクトの上段頂点を左側方向に回転させると、図５（ｃ）のように、左側メニュー５０１でメニュー２が選択される。この状態で、ユーザが図５（ｃ）のように、移動及び拡大されたグラフィックオブジェクトの上段頂点を右側方向に回転させると、図５（ｄ）のように、左側メニュー５０１でメニュー１が選択される。

【0143】

なお、場合によっては、図６のように回転可能な方向を示す回転ＧＵＩを選択することで、メニューを選択することができる。

【0144】

即ち、図６（ａ）のように、回転可能な方向を示す回転ＧＵＩ、左側及び右側メニュー６０１、６０２が表示された状態で、右側方向に回転を示す回転ＧＵＩを選択すると、移動及び拡大されたグラフィックオブジェクトが右側方向に回転されながら、図６（ｂ）のように、右側メニュー６０２でメニュー４が選択される。この状態でユーザが図６（ｂ）のように、右側方向い回転を示す回転ＧＵＩを選択すると、移動及び拡大されたグラフィックオブジェクトが右側方向に回転されながら、図６（ｃ）のように、左側方向に回転を示す回転ＧＵＩを選択すると、移動及び拡大されたグラフィックオブジェクトが左側方向に回転されながら、図６（ｄ）のように、右側メニュー６０２でメニュー４が選択される。

【0145】

なお、場合によっては、図７のように、移動及び拡大されたグラフィックオブジェクトにおいて回転された上段頂点が指す方向に表示されたメニューが選択されることができる。

【0146】

即ち、図７（ａ）のように、左側及び右側メニュー７０１、７０２が表示された状態で、ユーザが移動及び拡大されたグラフィックオブジェクトの上段頂点を右側方向に回転させると、図７（ｂ）のように、右側メニュー７０２で右側上段頂点が指す方向に表示されたメニュー４が選択される。この状態で、ユーザが図７（ｂ）のように、移動及び拡大されたグラフィックオブジェクトの上段頂点を図７（ａ）より更に右側方向に回転させると、図７（ｃ）のように、右側メニュー７０２で右側上段頂点が指す方向に表示されたメニュー５が選択される。。この状態で、ユーザが図７（ｃ）のように、移動及び拡大されたグラフィックオブジェクトの上段頂点を図７（ｂ）より更に右側方向に回転させると、図７（ｄ）のように、右側メニュー７０２で右側上段頂点が指す方向に表示されたメニュー６が選択される。

【0147】

なお、場合によっては、図８のように、回転可能な方向を示す回転ＧＵＩを利用することで、移動及び拡大されたグラフィックオブジェクトにおいて回転された上段頂点が指す方向に表示されたメニューが選択されることができる。

【0148】

即ち、図８（ａ）のように、回転可能な方向を示す回転ＧＵＩ、左側及び右側メニュー８０１、８０２が表示された状態で、ユーザが左側方向に回転を示す回転ＧＵＩを選択すると、移動及び拡大されたグラフィックオブジェクトが左側方向に回転されながら、図８（ｂ）のように、左側メニュー８０１で移動及び拡大されたグラフィックオブジェクトの左側上段頂点が指す方向に表示されたメニュー１が選択される。この状態で図８（ｂ）のように、ユーザが左側方向に回転を示す回転ＧＵＩが選択された状態を維持すると、移動及び拡大されたグラフィックオブジェクトが図８（ｂ）より更に左側方向に回転されながら、図８（ｃ）のように、左側メニュー８０１で移動及び拡大されたグラフィックオブジェクトの左側上段頂点が指す方向に表示されたメニュー２が選択される。この状態で図８（ｃ）のように、ユーザが左側方向に回転を示す回転ＧＵＩが選択された状態を維持すると、移動及び拡大されたグラフィックオブジェクトが図８（ｃ）より更に左側方向に回転されながら、図８（ｄ）のように、左側メニュー８０１で移動及び拡大されたグラフィックオブジェクトの左側上段頂点が指す方向に表示されたメニュー３が選択される。

【0149】

ここでメニュー選択の基準とある頂点はユーザが最初選択した頂点になることができる。

【0150】

図９は、ユーザ端末装置に設置されたアプリケーションがユーザ端末装置と連動された外部機器に設置されているか否かに応じて、外部機器の動作を制御する方法を示す図である。

【0151】

図９（ａ）のように、メニューで選択されたグラフィックオブジェクトに対応するアプリケーションをユーザ端末装置と連動する外部機器に適用するための命令（Ａｐｐｌｙ Ｔｏ ＴＶ）９０１の入力を受信することができる。

【0152】

この場合、制御部１４０は入力された命令に応じて、外部機器を制御することができる。具体的に、制御部１４０はユーザ端末装置で選択された少なくとも一つのグラフィックオブジェクトに対応するアプリケーションが外部機器に予め設置されている場合、外部機器が予め設置されたアプリケーションを実行するようにするための制御信号を生成することができる。また、制御部１４０は、ユーザ端末装置で選択された少なくとも一つのグラフィックオブジェクトに対応するアプリケーションが外部機器に設置されていない場合、アプリケーションを自動で設置するようにするための制御信号を生成することができる。ここで生成された制御信号を通信インターフェース部１３０を通して外部機器に伝送されることができる。この場合、外部機器は図９（ｂ）のように、伝達された制御信号に応じて予め設置されたアプリケーションを実行するか、又は、アプリケーション９０２を自動で設置することができる。

【0153】

ここで、アプリケーションを自動で設置するために、ユーザ端末装置１００は設置するためのアプリケーションに対するＡＰＫ（Ａｌｌｉｃａｔｉｏｎ ＰａｃＫａｇｅ）ファイルを含む制御信号を生成することができる。そして、生成された制御信号を通信インターフェース部１３０を通して伝送することができる。

【0154】

この場合、外部機器は制御信号に含まれたＡＰＫ（Ａｐｐｌｉｃａｔｉｏｎ ＰａｃＫａｇｅ）ファイルを用いてアプリケーションを自動で設置することができる。只、外部機器は受信されたＡＰＫファイルの解像度などの問題で外部機器に適用できないファイルである場合、アプリケーションサーバから受信されたＡＰＫファイルに対応するアプリケーションのうち外部機器に適用できるアプリケーションを自動でダウンロードして設置することができる。

【0155】

又は、アプリケーションを自動で設置するために、ユーザ端末装置１００は設置するためにアプリケーションに対する情報を含む制御信号を生成することができる。そして、生成された制御信号を通信インターフェース部１３０を通して伝送することができる。ここで、アプリケーションに対する情報は外部機器に提供されるアプリケーションがどのようなアプリケーションであるかに対する情報であってもよい。

【0156】

この場合、外部機器はアプリケーションサーバから受信されたアプリケーションに対する情報に対応するアプリケーションを自動でダウンロードして設置することができる。

【0157】

なお、制御部１４０は、上述した動作によって外部機器でアプリケーションが実行される場合、ユーザ端末装置１００の動作を制御することができる。例えば、外部機器で動画アプリケーションが実行され動画が再生される場合、制御部１４０は動画再生を操作するためのリモコンＵＩを表示するようにディスプレイ部１３０を制御することができる。なお、外部機器でゲームアプリケーションが実行されゲームが実行される場合、制御部１４０はゲームをコントロールするためのＵＩを表示するようにディスプレイ部１３０を制御することができる。

【0158】

図１０は、本発明の一実施形態にかかるユーザ端末装置の制御方法を示すフローチャートである。図１０を参照すると、まず複数のグラフィックオブジェクトのうち少なくとも一つのグラフィックオブジェクトを選択するための第１ユーザ入力を受信するＳ１００１。

【0159】

そして、第１ユーザ入力によって選択されたグラフィックオブジェクトの少なくとも一つのグラフィック要素を変更して表示するＳ１００２。ここでグラフィック要素の変更はグラフィックオブジェクトの大きさ、位置、色のうち少なくとも一つを変更することであってもよい。

【0160】

そして、表示されたグラフィックオブジェクトの近所にグラフィックオブジェクトに関連するメニューを表示するＳ１００３。ここで選択ｓあれたグラフィックオブジェクトに関連するメニューは、選択されたグラフィックオブジェクトで提供する特定機能に関する機能メニュー、選択されたグラフィックオブジェクトのオプションを設定するために設定メニューのうち少なくとも一つを含むことができる。

【0161】

そして、表示されたメニューを選択するための第２ユーザ入力を受信するＳ１００４。

【0162】

ここで、第２ユーザ入力は選択されたグラフィックオブジェクトを第１方向又は第２方向に回転させる回転入力であり、この場合、表示されたメニューは、前記回転入力によって選択されることができる。なお、表示されたメニューは前記回転入力によって、回転される選択されたグラフィックオブジェクトの上段又は下段頂点が指す方向によって選択されることができる。

【0163】

なお、第２ユーザ入力は表示されたメニューをタッチするタッチ入力でもよい。この場合、表示されたメニューは、前記タッチ入力によって選択されることができる。

【0164】

一方、上述したユーザ端末装置の制御方法は、第１ユーザ入力によってグラフィックオブジェクトが選択されると、選択されたグラフィックオブジェクトの近所に回転可能な方向示すＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示するステップを更に含むことができる。

【0165】

もし、第２ユーザ入力が、表示されたグラフィックオブジェクトの回転方向に対応するＧＵＩに対するタッチ入力である場合、表示されたメニューは、タッチ入力によって選択されることができる。

【0166】

なお、上述したユーザ端末装置の制御方法は、変更して表示されたグラフィックオブジェクトを回転可能な状態に設定するステップを更に含むことができる。

【0167】

なお、上述したユーザ端末装置の制御補法は、複数のグラフィックオブジェクトのうち少なくとも一つのグラフィックオブジェクトを選択する前の状態に戻るための第３ユーザ入力を受信するステップを更に含むことができる。

【0168】

なお、上述してユーザ端末装置の制御補法は、選択されたグラフィックオブジェクトの回転によって選択されるメニューが変更されたことを認識させるフィードバックを提供するステップを更に含むことができる。

【0169】

なお、上述してユーザ端末装置の制御方法は、選択されたグラフィックオブジェクトに対応するアプリケーションをユーザ端末装置と連動する外部機器に適用するためのメニューを第２ユーザ入力によって選択されるステップ、及び、外部機器に選択されたグラフィックオブジェクトに対応するアプリケーションが予め設置されている場合、予め設置されたアプリケーションを実行し、設置されていない場合、アプリケーションを自動で設置するように外部機器を制御するステップを更に含むことができる。

【0170】

図１１乃至１３は、本発明の別の実施形態にかかるユーザ端末装置の制御方法を示す図である。

【0171】

図１１（ａ）のように、複数個のグラフィックオブジェクトを表示した状態で少なくとも一つのグラフィックオブジェクトが第１ユーザ入力に基づいて選択されると、図１１（ｂ）のように、選択されたグラフィックオブジェクトが中央に移動及び拡大され回転可能な状態になることができる。この場合、ユーザが左方向に選択されたグラフィックオブジェクトを回転させると、図１１（ｃ）のように、選択されたグラフィックオブジェクトの左側方向に第１メニュー１１０１が表示される。なお、この状態で、図１１（ｃ）のように、ユーザが右側方向に選択されたグラフィックオブジェクトを回転させると、図１１（ｄ）のように、選択されたグラフィックオブジェクトの右側方向に第２メニュー１１０２が表示されることができる。

【0172】

なお、場合によっては、図１２のように、回転可能な方向を示す回転ＧＵＩを選択することで、選択されたアプリケーショングラフィックオブジェクトを回転させることができる。即ち、図１２（ａ）のように、複数個のグラフィックオブジェクトを表示した状態で少なくとも一つのグラフィックオブジェクトが選択されると、図１２（ｂ）のように、選択されたグラフィックオブジェクトが中央に移動及び拡大され回転可能な状態になることができる。この場合、回転可能な状態になったグラフィックオブジェクトの周囲には回転可能な方向を示す回転ＧＵＩが表示されることができる。これによってユーザが図１２（ｂ）のように、左側方向に回転を示す回転ＧＵＩを選択すると、図１２（ｃ）のように、選択されたグラフィックオブジェクトの左側方向に第１メニュー１２０１が表示される。なお、この状態で、図１２（ｃ）のように、ユーザが右側方向に回転を示す回転ＧＵＩを選択すると、図１２（ｄ）のように、選択されたグラフィックオブジェクトの右側方向に第２メニュー１２０２が表示されることができる。

【0173】

なお、場合によっては、図１３のように、選択されたアプリケーショングラフィックオブジェクトの移動及び拡大なしに選択されたグラフィックオブジェクトを回転させることでメニューを表示することができる。即ち、図１３（ａ）のように、複数個のグラフィックオブジェクトを表示した状態で少なくとも一つのグラフィックオブジェクトが選択され左側方向に回転されると、図１３（ｂ）のように、選択されたグラフィックオブジェクトの上段に第１メニュー１３０１が表示されると。なお、この状態で、図１３（ｂ）のように、ユーザが選択されたグラフィックオブジェクトを右側方向に回転させると、図１３（ｃ）のように、選択ｓあれたグラフィックオブジェクトの下段に第２メニューが１３０２が選択される。

【0174】

なお、場合によっては、複数個のグラフィックオブジェクトを表示した状態で少なくとも一つのグラフィックオブジェクトが選択されると、図１３（ｄ）のように、回転可能な方向を示す回転ＧＵＩを選択された少なくとも一つのグラフィックオブジェクトの周囲に表示することができる。この場合、左側方向に回転を示す回転ＧＵＩが選択されると、図１３（ｅ）のように、選択されたグラフィックオブジェクトの上段に第１メニュー１３０１が表示される。なお、この状態で、図１３（ｅ）のように右側方向に回転を示す回転ＧＵＩが選択されると、図１３（ｆ）のように、選択されたグラフィックオブジェクトの下段に第２メニュー１３０２が表示される。

【0175】

一方、図１１乃至１３によってメニューが表示されると、表示されたメニューは受信ｓあれた第２ユーザ入力によって選択されることができる。これについては上述したため、具体的な説明を省略することにする。

【0176】

一方、上述した本発明の多様な実施形態によるユーザ端末装置の制御方法はプリグラムコードで実現され多様な非一時的読み取り可能な媒体（Ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）に保存された状態で各サーバ又は機器に提供されることができる

【0177】

非一時的読み取り可能な媒体とは、レジスタ、キャッシュ、メモリなどのように短い瞬間データを保存する媒体ではなく半永久的にデータを保存し、機器によって読み取り可能な媒体のことを意味する。具体的には、上述したアプリケーション又はプログラムは、ＣＤ、ＤＶＤ，ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭなどのような非一時的読み取り可能な媒体に保存されて提供されることができる。

【0178】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0179】

１１０ ディスプレイ部
１２０ 入力部
１３０ 通信インターフェース部
１４０ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】