(58)【調査した分野】(Int.Cl.,DB名)
前記第1マルチタッチ後、ピックアップジェスチャーによる2個のポイント間の間隔調節を通じてオブジェクトの量を決定して選択する過程を含むことを特徴とする請求項5に記載のタッチスクリーンを利用したオブジェクト管理方法。
【発明を実施するための形態】
【0017】
以下、添付の図面を参照して本発明の好ましい実施形態を詳しく説明する。なお、図面において同一の構成要素は、できるだけ同一の符号で示している。また、本発明の要旨を不明瞭にすることができる公知機能及び構成に対する詳細な説明は省略する。
【0018】
本発明は、タッチスクリーンでマルチタッチ入力方法と、前記マルチタッチ入力によりスクリーン上のオブジェクトに対する移動、除去、コピー及び編集などの処理を直観的で且つ便利に提供することができる方法及びデバイスに関する。すなわち、本発明のマルチフィンガー(Multi−Finger)基盤のマルチタッチを利用してオブジェクトを直観的で且つ便利に管理することができるようにする方法及び装置に関する。
【0019】
本発明の実施形態においては、基本的に2ポイント(point)以上のタッチ入力をセンシングして動作することを基盤とする。本発明の実施形態においては、マルチフィンガーを入力によりピックアップ(Pickup)及びリリース(Release)するジェスチャー(gesture)を基盤にして様々な応用アルゴリズムが展開できる。特に、本発明の実施形態によれば、前記ピックアップジェスチャー(第1マルチタッチ入力)によってユーザがスクリーン上のオブジェクトを実際フィンガーでピックアップする効果を提供し、前記リリースジェスチャー(第2マルチタッチ入力)によってユーザが前記ピックアップジェスチャーによりピックアップしたオブジェクトを実際フィンガーでリリースする効果を提供する。
【0020】
したがって、本発明のデバイスは、前記ユーザのピックアップジェスチャー(第1マルチタッチ入力)を認識し、スクリーン上にあるオブジェクトを仮想にピックアップする動作をする。また、前記デバイスは、前記ユーザのリリースジェスチャー(第2マルチタッチ入力)を認識し、前記ピックアップしたオブジェクトをスクリーン上に仮想にリリースする動作をする。このように、前記ピックアップジェスチャー及びリリースジェスチャーによって、ユーザは、デバイスのオブジェクトに対する移動、除去、コピーまたは編集などをより直観的で且つ便利に利用することができる。
【0021】
本発明の実施形態において“シングルタッチ”は、タッチスクリーン上にシングルフィンガー基盤の1つのポイントがタッチされることを示すことができる。また、本発明の実施形態において“マルチタッチ”は、タッチスクリーン上にマルチフィンガー基盤の少なくとも2個のポイントがタッチされることを示すことができる。前記マルチタッチは、同時に発生するか、または1つのポイントに対するタッチが発生した後、他のポイントに対するタッチが発生するまで所要される時間があらかじめ設定された時間内に存在すれば、これをマルチタッチとして判断することができる。
【0022】
このような本発明の動作は、大きく、スクリーン上の任意のオブジェクトを、第1マルチタッチ入力を通じてピックアップした後、第2マルチタッチ入力を通じてピックアップされたオブジェクトを対象に設定された方式の第2動作を行う。ここで、前記第2動作は、前記第2マルチタッチ入力により行われるピックアップされたオブジェクトの移動、削除、コピー及び編集などのような結果を示す。
【0023】
以下、図面を参照して本発明の実施形態によるマルチタッチ入力方法及び前記マルチタッチを利用したオブジェクト管理方法について記述する。
【0024】
図1は、本発明の実施形態によるタッチスクリーン上のマルチタッチ入力によるオブジェクト制御動作を示す図である。
【0025】
図1を参照すれば、まず、デバイスは、待機画面表示中に(101段階)、ユーザの第1マルチタッチ入力を感知すれば(103段階)、前記第1マルチタッチ入力が感知される位置のオブジェクトをピックアップする(105段階)。ここで、前記待機画面は、特定オブジェクトを表示中の画面であることができ、またはいずれのオブジェクトをも含まない一般的な背景画面を表示する画面であることができる。前記オブジェクトは、デバイスの特定機能を行うためのアプリケーションのアイコン、メニューリスト、メニューリストの特定項目、メニューアイコン、イメージ、テキスト、背景画面など、タッチスクリーン上に表示されるすべての形態のデータ要素を含むことができる。
【0026】
また、前記第1マルチタッチは、本発明の実施形態においてオブジェクトのピックアップ処理のためにあらかじめ設定された方式によって入力されるマルチフィンガー基盤の入力イベントを示す。前記第1マルチタッチ及びそれによる入力方法については後述する。この時、前記デバイスは、前記第1マルチタッチが前記待機画面上の特定オブジェクトに発生する時、前記特定オブジェクトに対するピックアップ処理を行うことができる。もし、前記待機画面上にいずれのオブジェクトをも存在しない時、前記デバイスは、前記第1マルチタッチに対応して前記待機画面の背景画面に対するピックアップ処理を行うことができる。すなわち、背景画面を1つのオブジェクトとして認識して前記ピックアップ処理を行うことができる。このような動作例については後述する。
【0027】
次に、前記デバイスは、前記第1マルチタッチ入力に対応して特定オブジェクトをピックアップする時、前記オブジェクトを前記待機画面上で除去する(107段階)。この時、前記オブジェクトを待機画面上で除去する時、後述するように、前記オブジェクト(または前記オブジェクトを呼び出すことができるマクロ情報)は、保存部の特定領域に保存される。
【0028】
前記保存は、スタック形態に保存され、前記保存するオブジェクトを呼び出すイベント発生時まで保存することができる。前記呼び出すイベントは、本発明の実施形態において前記保存されたオブジェクトの呼び出しのための第2マルチタッチ入力、または設定方式によって前記第1マルチタッチ入力による動作を取り消すなどの入力イベントを含むことができる。
【0029】
次に、前記デバイスは、上記のように、オブジェクトが除去された待機画面表示中に第2マルチタッチ入力を感知することができる(109段階)。前記第2マルチタッチは、本発明の実施形態において第1マルチタッチによってピックアップされたオブジェクトのリリース(release)処理のためにあらかじめ設定された方式によって入力されるマルチフィンガー基盤の入力イベントを示す。すなわち、前記第2マルチタッチは、前記第1マルチタッチによってピックアップされた後、保存部に保存されたオブジェクトを呼び出し、前記第2マルチタッチが発生する位置にリリース処理のために入力される入力イベントを示す。前記第2マルチタッチによって呼び出すオブジェクトは、設定方式によって、最後にピックアップされた1つのオブジェクトまたは以前にピックアップされて保存されたすべてのオブジェクトを呼び出すことができる。前記第2マルチタッチ及びそれによる入力方法については後述する。
【0030】
次に、前記デバイスは、前記第2マルチタッチ入力を感知すれば(109段階)、前記第2マルチタッチ入力が感知される位置に前記第1マルチタッチ入力によりピックアップされたオブジェクトをリリースする(111段階)。次に、前記デバイスは、前記待機画面上に前記オブジェクトを含んで表示する(113段階)。この時、前記第2マルチタッチがごみ箱機能を提供するアイコンに発生する時、前記オブジェクトは、待機画面上の表示ではない、前記デバイスで削除することができる。このような詳細動作については後述する。
【0031】
前述した
図1では、本発明のマルチタッチ入力によるオブジェクタのピックアップ/リリースを処理する概略的な動作を説明した。次に、以下では、前述したような本発明のマルチタッチ入力によるオブジェクトをピックアップまたはリリースする詳細動作の実施形態について記述する。
【0032】
図2〜
図5は、本発明の実施形態による第1マルチタッチ入力によりオブジェクトをピックアップする過程の画面例を示す図であり、
図6は、
図2〜
図5のオブジェクトピックアップ手続を通じてピックアップされるオブジェクトの保存過程の例を示す図である。
【0033】
図2〜
図5を参照すれば、まず、
図2に示したように、デバイスは、ユーザ要請による待機画面100を表示することができる。この時、前記待機画面100は、複数のオブジェクト200が配置されて表示されることができる。前記オブジェクト200は、デバイスで提供する機能実行のためのアイコン、特定ミニアプリケーションのようなウィジェットまたはウィジェットアイコン、特定イメージ、写真ファイルリストのサムネイルイメージなどを含むことができる。
【0034】
次に、
図3及び
図4に示したように、ユーザは、前記待機画面100でユーザが希望する特定オブジェクト250に対してマルチタッチ入力を発生することができる。例えば、本発明の実施形態においてマニラファイルフォルダ(manila file folder)のように見えるアイコンをピックアップすることができる。前記マルチタッチ入力は、前述したように、ユーザのピックアップジェスチャーに対応する前記第1マルチタッチ入力であることができる。すなわち、ユーザは、前記第1マルチタッチ入力を通じて前記複数のオブジェクト200のうちユーザ自分が希望する特定オブジェクト250に対する第1マルチタッチ入力を発生することができる。すると、デバイスは、前記第1マルチタッチ入力に対応して前記特定オブジェクト250にピックアップ効果を適用する。
【0035】
前記ピックアップ効果は、
図4に示したように、前記第1マルチタッチ入力によりユーザが待機画面100上の前記特定オブジェクト250を実際フィンガーでピックアップするようなビジュアル効果を示す。例えば、前記ピックアップ効果は、前記第1マルチタッチ入力によるピックアップジェスチャーに対応して前記特定オブジェクト250の形状が順次に消えるビジュアル効果でありうる。
【0036】
これを詳しく説明すれば、まず、第1マルチタッチ入力が発生すれば、デバイスは、本発明の機能活性化信号として認知することができる。次に、
図3に示したように、前記第1マルチタッチによる初期2個のポイントから前記オブジェクト250の中心にドラッグ入力が発生すれば、前記デバイスは、前記オブジェクト250を選択する。すなわち、前記オブジェクトをピック(pick)状態で処理する。
【0037】
前記ドラッグ入力は、前記オブジェクト250選択のために設定されたジェスチャーであって、設定された臨界距離以上の2つのポイントにマルチタッチ後、前記2つのポイントの内側方向にドラッグが発生すれば、前記デバイスは、前記ドラッグをオブジェクト250選択のための信号として認知することができる。この時、前記オブジェクト250が選択されれば、前記デバイスは、前記オブジェクト250が選択されることを別に表示することができる。例えば、選択されるオブジェクト250に設定されたエフェクトを適用してハイライト表示するか、または別途の他の形態に変更して提供することができる。
【0038】
次に、前記オブジェクト250が選択された状態で、
図4に示したように、ユーザが待機画面100上のマルチフィンガータッチ状態を終了すれば、すなわち、マルチフィンガーをタッチスクリーン上で取り外すアップ(Up)ジェスチャーをすれば、デバイスは、前記オブジェクト250をアップ(Up)状態で処理する。言い換えれば、前記Upジェスチャーは、前記オブジェクト250の選択が完了し、前記待機画面100上で除去のための設定されたジェスチャーであることができる。
【0039】
したがって、前記デバイスは、タッチされたマルチフィンガーのUpジェスチャーによる命令を認知し、それに応答して前記オブジェクト250をUp状態によるエフェクトを処理する。例えば、前記オブジェクト250がユーザのUpジェスチャーに対応してピックアップされる形態のビジュアル効果を提供することができる。この時、前記待機画面100上の前記オブジェクト250は、漸次に消える形態のビジュアル効果などを提供することができる。
【0040】
一方、上記のように、本発明の第1マルチタッチ入力は、オブジェクトをピックする動作と前記ピックされるオブジェクトをアップ(Up)する動作とに区分されることができる。
【0041】
次に、
図2〜
図4で説明したように、前記第1マルチタッチ入力に対応して前記オブジェクト250に対するピックアップ過程を完了する時、デバイスは、
図5に示したように、前記オブジェクト250を前記待機画面100上で除去して表示する。また、前記デバイスは、前記オブジェクト250または前記オブジェクト250を呼び出すことができる前記オブジェクト250に対するマクロ情報を保存部に保存することができる。この時、前記オブジェクト250が保存される形態を記述すれば、
図6のように示すことができる。
【0042】
図6を参照すれば、前述したように、前記第1マルチタッチ入力により前記待機画面100で消える前記オブジェクト250は、保存部の特定領域に保存される。この時、前記オブジェクト250は、前記保存部にスタック方式で保存される。例えば、ユーザが複数のオブジェクトを連続してピックアップする場合、前記保存部は、オブジェクトのピックアップされる手順に対応して順次に保存することができる。しかし、本発明が前記保存方式に限定されるものではない。
【0043】
図6は、3個のオブジェクトがピックアップされた場合の例を示す図であり、オブジェクト2、オブジェクト4及びオブジェクト1の順に保存された場合を示している。すなわち、ユーザがオブジェクト2、オブジェクト4及びオブジェクト1に対して続いてピックアップジェスチャーを行った場合の保存部のオブジェクト保存状態例を示すものである。このような場合、本発明の実施形態によってリリースを命令する第2マルチタッチが発生する時、前記保存部のオブジェクト2、オブジェクト4及びオブジェクト1が一度に出力されることもでき、またはスタック方式に対応して最後にピックアップされ、最後に保存されたオブジェクト1から第2マルチタッチに対応して出力されることができる。また、連続される第2マルチタッチ入力に対応してオブジェクト1、オブジェクト4及びオブジェクト2が順次に出力されることもできる。
【0044】
図7〜
図9は、本発明の実施形態によるマルチタッチ入力時に提供される付加機能の画面例を示す図である。
【0045】
図7〜
図9に示したように、
図7は、前述の第1マルチタッチ入力により特定オブジェクト250がピックアップされる時、ユーザのピックアップジェスチャーによるオブジェクトがピックアップされることを通知するアイテム300を提供する場合の画面例を示すものである。
図8は、前述の第1マルチタッチ入力によりピックアップされる特定オブジェクト250をデバイスで除去することができるごみ箱機能のアイテム400を提供する場合の画面例を示すものである。
図9は、ピックアップ状態を通知する前記アイテム300とごみ箱機能の前記アイテム400を同時に提供する場合の画面例を示すものである。
【0046】
前記各アイテム300、400は、前述の特定オブジェクトの1つになることができる。すなわち、前記アイテム300は、第1マルチタッチ入力によりピックアップされて保存部に保存されたオブジェクトの状態を表示するデータベースDB形態のオブジェクトであることができ、前記アイテム400は、第1マルチタッチ入力によりピックアップされて保存されたオブジェクトをデバイスで除去するためのごみ箱形態のオブジェクトであることができる。本発明の実施形態においては、前記各アイテム300、400をマルチタッチ入力に対応して自動で提供するか、またはユーザの呼び出しによって前記各アイテム300、400を提供することができる。
【0047】
図7を参照すれば、前述したように、第1マルチタッチ入力に対応して保存部に少なくとも1つのオブジェクトが積層される時、デバイスは、それによる結果を前記アイテム300を通じて待機画面100に表示することができる。前記アイテム300は、ユーザの第1マルチタッチによってピックアップされたオブジェクトがあることを通知するためのもので、データベース形態で各スタックが順次に積もる形態のビジュアル効果で提供することができる。すなわち、デバイスは、ユーザの第1マルチタッチ入力に対応して当該オブジェクトに対するピックアップ処理時、待機画面100の特定領域に保存部にスタックされる状態の少なくとも1つのオブジェクトを、前記アイテム300を通じてビジュアルに表示することができる。
【0048】
このようなアイテム300は、ユーザの選択によって提供するか、または設定方式によって第1マルチタッチ入力発生時に自動で提供されることができる。また、ユーザの選択によって提供される時、前記アイテム300は、ユーザの特定メニュー選択を通じて呼び出されるか、または設定されたキーまたはタッチ入力により提供されることができる。
【0049】
図8を参照すれば、本発明が前述したようにごみ箱機能を提供する時、第1マルチタッチによってピックアップするオブジェクトをごみ箱機能が付与された前記アイテム400を通じて削除することができる。前記アイテム400は、ユーザの第1マルチタッチによってピックアップされたオブジェクトをデバイスで削除することができる機能を提供するためのもので、ごみ箱形態をビジュアルに提供することができる。したがって、デバイスは、ユーザの第1マルチタッチ入力に対応して当該オブジェクトが保存された後、ごみ箱機能の前記アイテム400を呼び出して前記オブジェクトを前記アイテム400を通じて削除することができる。前記アイテム400を利用した動作に関する詳細説明は、後述する。
【0050】
このようなアイテム400は、ユーザの選択によって提供されるか、設定方式によって第1マルチタッチ入力発生時に自動で提供されることができる。また、ユーザの選択によって提供される時、前記アイテム400は、ユーザの特定メニュー選択を通じて呼び出されるか、設定されたキーまたはタッチ入力により提供されることができる。
【0051】
図9を参照すれば、
図7及び
図8のように提供される各アイテム300、400は、一緒に表示されることもできる。これは、前述したように、ユーザ選択または設定方式によって自動で提供されることができる。
【0052】
一方、以上では、
図2〜
図5、
図6、
図7〜
図9を参照してユーザの第1マルチタッチ入力により特定オブジェクト250をピックアップし、ピックアップされたオブジェクトが保存部にスタックされた動作について説明した。次に、以下では、第1マルチタッチによってスタックされる特定オブジェクト250を第2マルチタッチ入力により呼び出してリリースする動作について
図10〜
図12及び
図13〜
図16を参照して記述する。
【0053】
図10〜
図12は、本発明の実施形態による第2マルチタッチ入力によりオブジェクトをリリースする過程の画面例を示す図である。
【0054】
図10〜
図12は、
図2〜
図5に対応する動作でピックアップされて保存された特定オブジェクト250を待機画面100の特定領域にリリースする動作の画面例を示すものである。
【0055】
まず、
図10は、
図2〜
図5のような手続によって特定オブジェクト250がピックアップされた状態の画面例を示すものである。この時、前述の
図7のように、特定オブジェクトに対するピックアップ状態を通知する当該アイテム300を待機画面100の特定領域に示すこともできることは勿論である。
【0056】
次に、ユーザは、以前にピックアップされたオブジェクト250を待機画面200の特定領域に移動して示すことができる。すなわち、ユーザは、
図11に示したように、待機画面200の特定領域にマルチタッチ入力を発生することができる。前記マルチタッチ入力は、前述の
図1で第2マルチタッチ入力に対応し、デバイスは、前記第2マルチタッチ入力に対応して特定オブジェクト250を呼び出してリリース効果を適用する。前記リリース効果は、
図11及び
図12に示したように、ユーザのマルチフィンガーによるタッチ入力によるリリースジェスチャーに対応して特定オブジェクト250の形状が順次に現われる効果であることができる。
【0057】
これを詳しく説明すれば、まず、
図11に示したように、マルチタッチ入力、すなわちタッチスクリーン上の特定領域にマルチフィンガー基盤の第2マルチタッチ入力が発生すれば、デバイスは、本発明の機能活性化信号として認知することができる。次に、前記第2マルチタッチによる初期2個のポイントから外側にドラッグ入力が発生すれば、前記デバイスは、以前にピックアップされたオブジェクト250を保存部から抽出し、当該オブジェクト250を第2マルチタッチが発生する位置にリリースする効果をビジュアルに提供することができる。
【0058】
前記ドラッグ入力は、前記オブジェクト250のリリースのための設定されたジェスチャーであって、設定された臨界距離未満の2つのポイントにマルチタッチ後、前記2つのポインタの外側方向にドラッグが発生すれば、前記デバイスは、前記ドラッグをオブジェクト250リリースのための信号として認知することができる。この時、前記オブジェクト250が抽出されれば、前記デバイスは、前記オブジェクト250が抽出されることを別に表示することができる。例えば、抽出するオブジェクト250の形状が待機画面100に徐々に出力されるビジュアル効果を提供することができる。
【0059】
すなわち、前記待機画面100の特定領域に前記オブジェクト250が割り当てられるビジュアル効果を提供することができる。前記デバイスは、前記特定領域に第2マルチタッチが発生することによって、
図2〜
図5で以前にピックアップされたオブジェクト250を保存部から抽出し、抽出されたオブジェクト250が徐々に現われるエフェクトを適用してビジュアルに提供する。
【0060】
次に、上記のような手続が完了する時、前記待機画面100に前記第2マルチタッチ入力に対応してリリースされたオブジェクト250が追加された待機画面を提供することができる。この時、前述したように、ピックアップされたオブジェクトのスタック状態を示すアイテム300が存在する時、前記手続によって保存部に保存されたオブジェクトが除去されることによって、前記アイテム300は、スタックされるオブジェクトが消えた形態をビジュアルに提供することができる。
【0061】
図13〜
図16は、本発明の実施形態による第2マルチタッチ入力によりオブジェクトをリリースする過程の画面例を示す図である。
【0062】
図13〜
図16は、
図2a〜
図2dに対応する動作でピックアップされて保存された特定オブジェクト250をごみ箱機能によってデバイスで提供する動作の画面例を示すものである。すなわち、本発明のごみ箱機能によって、
図2〜
図5を通じてピックアップするオブジェクト250をごみ箱機能が付与された当該アイテム400にリリースする動作例を示すものである。
【0063】
まず、
図13は、特定オブジェクト250がピックアップされた状態の画面例を示すものである。この時、前述の
図8のように、特定オブジェクトを除去することができる当該アイテム400を待機画面100の特定領域に示すこともできることは勿論である。
図13〜
図16では、ユーザ選択によって前記アイテム400を呼び出す動作として説明する。
【0064】
次に、ユーザは、以前にピックアップされたオブジェクト250をデバイスで除去するためにごみ箱機能のアイテム400に廃棄動作を行うことができる。このために、ユーザは、
図14に示したように、待機画面100の特定領域にタッチ入力を発生することができる。ここで、前記タッチ入力は、シングルフィンガー基盤のタッチであることができ、特に本発明の実施形態において前記特定領域にロングプレス(long press)によるタッチ入力を代表的な例として説明する。したがって、デバイスは、前記特定領域に前記タッチ入力を感知すれば、ごみ箱機能の前記アイテム400を呼び出して表示することができる。この時、前記アイテム400の呼び出しは、前記タッチ入力を通じて呼び出すものと説明するが、設定されたメニュー操作を通じて呼び出すか、または設定された特定キー入力を通じて呼び出すこともできることは勿論である。
【0065】
次に、ユーザは、
図15に示したように、待機画面100の前記アイテム400にマルチタッチ入力を発生することができる。前記マルチタッチ入力は、前述の
図1で第2マルチタッチ入力に対応し、デバイスは、前記第2マルチタッチ入力に対応して特定オブジェクト250を呼び出してリリース効果を適用する。前記リリース効果は、ユーザのマルチフィンガー基盤のタッチ入力によるリリースジェスチャーに対応して以前にピックアップされた特定オブジェクト250が前記アイテム400に徐々に消える効果であることができる。
【0066】
これを詳しく説明すれば、まず、マルチタッチ入力、すなわち前記ごみ箱機能のアイテム400にマルチフィンガー基盤の第2マルチタッチ入力が発生すれば、デバイスは、本発明の機能活性化信号として認知することができる。次に、
図15及び
図16に示したように、前記第2マルチタッチによる初期2個のポイントから外側にドラッグ入力が発生すれば、前記デバイスは、以前にピックアップされたオブジェクト250を保存部から抽出し、当該オブジェクト250を第2マルチタッチが発生する位置、すなわち前記アイテム400にリリースする効果をビジュアルに提供することができる。
【0067】
この時、前記ごみ箱機能によって前記オブジェクト250をデバイスで除去する場合を仮定することによって、前記オブジェクト250が前記アイテム400に割り当てられるビジュアル効果を提供することができる。例えば、前記アイテム400が蓋体付きごみ箱形態を有する場合、ごみ箱の蓋体が開かれながら前記オブジェクト250が捨てられるビジュアル効果を提供することができる。
【0068】
すなわち、デバイスは、前記ごみ箱機能のアイテム400に第2マルチタッチが発生することによって、
図2〜
図5でピックアップされたオブジェクト250を保存部から抽出する。また、抽出するオブジェクト250が存在する時、
図15及び
図16に示したように、抽出するオブジェクト250を示すと共に、前記アイテム400に対応するエフェクトが適用されたビジュアル効果を一緒に提供する。すなわち、前記抽出するオブジェクト250が前記アイテム400に捨てられるアニメーション形態のビジュアル効果を提供することができる。これにより、ユーザは、自分が選択したオブジェクトがごみ箱に捨てられるビジュアル効果を通じて直観的に認知することができる。
【0069】
次に、上記のような手続が完了する時、前記第2マルチタッチ入力が発生する前の待機画面100を提供することができる。この時、前述したように、もしピックアップされたオブジェクトのスタック状態を示すアイテム300が待機画面100上に存在する時、前記手続によって保存部に保存されたオブジェクトの除去によって、前記アイテム300は、スタックされるオブジェクトが消えた形態のビジュアル効果を提供することができる。
【0070】
図17〜
図21は、本発明の実施形態による第1マルチタッチ入力によりオブジェクトをピックアップする過程の他の画面例を示す図である。
【0071】
図17〜
図21を参照すれば、まず、
図17に示したように、デバイスは、ユーザ要請によるメニューリストを表示する待機画面100を提供することができる。前記特定メニューリストは、前記特定メニューリストを構成する少なくとも1つの項目よりなることができる。前記特定メニューリスト及び前記特定メニューリストを構成する各項目は、本発明の実施形態においてオブジェクトに対応する。しかし、
図17〜
図21では、前記各項目をオブジェクトと命名して説明する。
【0072】
次に、ユーザは、
図18〜
図20に示したように、前記待機画面100の特定メニューリストでユーザが希望する特定オブジェクト350に対してマルチタッチ入力を発生することができる。前記マルチタッチ入力は、前述したように、ユーザのピックアップジェスチャーに対応する前記第1マルチタッチ入力であることができる。すなわち、ユーザは、前記第1マルチタッチ入力を通じて前記メニューリストを構成する複数のオブジェクトのうちユーザ自分が希望する特定オブジェクト350に対する第1マルチタッチ入力を発生することができる。すると、デバイスは、前記第1マルチタッチ入力に対応して前記特定オブジェクト350にピックアップ効果を適用する。
【0073】
前記ピックアップ効果は、前記第1マルチタッチ入力によりユーザが待機画面100上のメニューリストのうち前記特定オブジェクト350を実際フィンガーでピックアップするようなビジュアル効果を示す。例えば、前記ピックアップ効果は、前記第1マルチタッチ入力によるピックアップジェスチャーに対応して前記特定オブジェクト350の幅が徐々に小さくなりながら消えるビジュアル的な効果であることができる。
【0074】
これを詳しく説明すれば、まず、
図18〜
図20に示したように、第1マルチタッチ入力が発生すれば、デバイスは、本発明の機能活性化信号として認知することができる。次に、前記第1マルチタッチによる初期2個のポイントから前記オブジェクト350の中心にドラッグ入力が発生すれば、前記デバイスは、前記オブジェクト350を選択する。すなわち、前記オブジェクトをピック状態で処理する。
【0075】
前記ドラッグ入力は、前記オブジェクト350選択のための設定されたジェスチャーであって、前述の説明のように、デバイスは、前記ドラッグ入力が発生する時、前記オブジェクト350選択のための信号として認知することができる。この時、前記オブジェクト350が選択されれば、前記デバイスは、前記オブジェクト350が選択されることを別に表示することができる。例えば、選択されるオブジェクト350に設定されたエフェクトを適用してハイライト表示するか、または別途の他の形態に変更して提供することができる。
【0076】
次に、前記オブジェクト350が選択された状態で、ユーザが待機画面100上のマルチフィンガータッチ状態を終了すれば、すなわちマルチフィンガーをタッチスクリーン上で取り外すUpジェスチャーをすれば、デバイスは、前記オブジェクト350をUp状態で処理する。言い換えれば、前記Upジェスチャーは、前記オブジェクト350の選択が完了し、前記待機画面100上で除去のための設定されたジェスチャーであることができる。
【0077】
したがって、前記デバイスは、タッチされたマルチフィンガーのUpジェスチャーによる命令を認知し、それに応答して前記オブジェクト350をUp状態によるエフェクトを処理する。例えば、前記オブジェクト350がユーザのUpジェスチャーに対応してピックアップされる形態のビジュアル効果を提供することができる。この時、前記待機画面100上の前記オブジェクト350は、漸次に消える形態のビジュアル効果などを提供することができる。また、前記オブジェクト350の消えるビジュアル効果に対応して、前記特定オブジェクト350が占めた位置に、前記特定オブジェクト350の上位及び/または下位のオブジェクトが移動しながら満たされるビジュアル効果を提供することができる。
【0078】
次に、
図18〜
図20で説明したように、前記第1マルチタッチ入力に対応して前記オブジェクト350に対するピックアップ過程を完了する時、デバイスは、
図21に示したように前記オブジェクト350を前記メニューリスト上で除去する。また、前記オブジェクト350が消えることによって発生する空の空間を残りの他のオブジェクトによって満たし、メニューリストを整列して表示する。
【0079】
例えば、
図17〜
図21を参照すれば、前記第1マルチタッチ入力による動作実行によって
図17のメニューリストで”DDD”オブジェクトが
図21のように除去されて表示される。この時、前記“DDD”オブジェクトの除去に対応して、前記“DDD”オブジェクトの上側オブジェクトCCC及び/または下側オブジェクトEEEが前記”DDD”オブジェクトの空の空間を満たす、すなわち空の空間にシフトされ、“HHH”オプゼックトが前記メニューリスト上に現われる整列過程をさらに行うことができる。
【0080】
また、前記デバイスは、前記オブジェクト350または前記オブジェクト350を呼び出すことができる前記オブジェクト350に対するマクロ情報を保存部に保存することができる。この時、前記オブジェクト350が保存される形態は、
図6を参照した説明部分で説明したものに対応する。
【0081】
一方、
図17〜
図21を参照した説明部分では省略したが、上記のように、メニューリストで第1マルチタッチ入力による動作を行う場合にも、
図7〜
図9を参照した説明部分で説明したもののような付加機能を提供することもできることは勿論である。
【0082】
以上では、
図17〜
図21を参照してユーザの第1マルチタッチ入力によりメニューリストの特定オブジェクト350をピックアップし、ピックアップされたオブジェクトが保存部にスタックされる動作について説明した。次に、以下では、
図17〜
図21のように、第1マルチタッチによってスタックされる特定オブジェクト350を第2マルチタッチ入力により呼び出してリリースする動作について
図22〜
図25を参照して記述する。
【0083】
図22〜
図25は、本発明の実施形態による第2マルチタッチ入力によりオブジェクトをリリースする過程の他の画面例を示す図である。
【0084】
図22〜
図25は、
図17〜
図20に対応する動作でピックアップされて保存された特定オブジェクト350を待機画面100に表示中のメニューリストの特定位置にリリースする動作の画面例を示すものである。
【0085】
まず、
図22は、
図17〜
図20と同様の手続によって特定オブジェクト350がピックアップされた状態の画面例を示すものである。この時、前述の
図7のように、特定オブジェクトに対するピックアップ状態を通知する当該アイテム300を待機画面100の特定領域に示すこともできることは勿論である。
【0086】
次に、ユーザは、以前にピックアップされたオブジェクト350を呼び出してメニューリストの特定位置に移動して示すことができる。すなわち、ユーザは、
図23に示したように、メニューリストの特定位置にマルチタッチ入力を発生することができる。前記マルチタッチ入力は、前述の
図1で第2マルチタッチ入力に対応し、デバイスは、前記第2マルチタッチ入力に対応して特定オブジェクト350を呼び出してリリース効果を適用する。前記リリース効果は、ユーザのマルチフィンガーによるタッチ入力によるリリースジェスチャーに対応してピックアップされた特定オブジェクト350の形状が順次に現われる効果であることができる。
【0087】
これを詳しく説明すれば、まず、
図23に示したように、マルチタッチ入力、すなわちタッチスクリーン上の特定領域にマルチフィンガー基盤の第2マルチタッチ入力が発生すれば、デバイスは、本発明の機能活性化信号として認知することができる。次に、
図23〜
図25に示したように、前記第2マルチタッチによる初期2個のポイントから外側にドラッグ入力が発生すれば、前記デバイスは、以前にピックアップされたオブジェクト350を保存部から抽出し、当該オブジェクト350を第2マルチタッチが発生する位置にリリースする効果をビジュアルに提供することができる。
【0088】
前記ドラッグ入力は、前記オブジェクト350のリリースのための設定されたジェスチャーであって、前述の説明のように、デバイスは、前記ドラッグ入力が発生する時、前記オブジェクト350のリリースのための信号として認知することができる。この時、前記オブジェクト350が抽出されれば、前記デバイスは、前記オブジェクト350が抽出されることを別に表示することができる。例えば、抽出するオブジェクト350の形状がメニューリストの特定位置に徐々に出力されるビジュアル効果を提供することができる。
【0089】
この時、
図24及び
図25では、前記オブジェクト350がメニューリスト内の特定位置の特定オブジェクトの間に前記オブジェクト350が割り当てられるビジュアル効果を提供することができる。例えば、特定位置の上位のオブジェクトFFFと下位のオブジェクトGGGの間隔が徐々に広くなりながらそれらの間に前記オブジェクト350が漸次に空間を占めることによって現われるビジュアル効果を提供することができる。
【0090】
すなわち前記デバイスは、前記特定位置に第2マルチタッチが発生することによって、以前にピックアップされたオブジェクト350を保存部から抽出する。また、抽出するオブジェクトが存在する時、
図24及び
図25に示したように、抽出されたオブジェクト350が徐々に現われるエフェクトを適用してビジュアル効果を提供する。
【0091】
次に、上記のような手続が完了する時、前記メニューリストで前記第2マルチタッチ入力に対応してリリースされたオブジェクト350が追加された待機画面100を提供することができる。この時、前述したように、ピックアップされたオブジェクトのスタック状態を示すアイテム300(
図7)が存在する時、前記手続によって保存部に保存されたオブジェクトが除去されることによって、前記アイテム300は、スタックされたオブジェクトが消えた形態のビジュアル効果を提供することができる。
【0092】
一方、
図22〜
図25を参照した説明部分では省略したが、上記のように、メニューリストで第2マルチタッチ入力による動作を行う場合にも、
図13〜
図16を参照した説明部分で説明したような付加機能を利用したリリース動作を提供することもできることは勿論である。
【0093】
図26〜
図34は、本発明の実施形態による第1マルチタッチ入力によりオブジェクトをピックアップする過程の他の画面例を示す図である。特に、
図26〜
図34は、本発明の実施形態による第1マルチタッチの繰り返し入力により複数のオブジェクト各々を連続してピックアップする過程の例を示す図である。
【0094】
図26〜
図34を参照すれば、まず、
図26に示したように、デバイスは、ユーザ要請によるイメージを表示する待機画面100を提供することができる。この時、前記イメージは、前記イメージを構成する少なくとも1つのサブイメージを備えてなることができる。前記イメージ及びイメージを構成するサブイメージは、本発明の実施形態においてオブジェクトに対応する。しかし、
図26〜
図34では、前記サブイメージをオブジェクトと命名して説明する。
【0095】
次に、
図26のような状態で、ユーザは、
図27〜
図29に示したように、前記待機画面100のイメージでユーザが希望する第1オブジェクト450に対してマルチタッチ入力を発生することができる。前記マルチタッチ入力は、前述したように、ユーザのピックアップジェスチャーに対応する前記第1マルチタッチ入力であることができる。すなわち、ユーザは、前記第1マルチタッチ入力を通じて前記イメージを構成する複数のオブジェクト450、550、650のうちユーザ自分が希望する前記第1オブジェクト450に対する第1マルチタッチ入力を発生することができる。すると、デバイスは、前記第1マルチタッチ入力に対応して前記第1オブジェクト450にピックアップ効果を適用する。
【0096】
前記ピックアップ効果は、
図27〜
図29に示したように、前記第1マルチタッチ入力によりユーザが前記第1オブジェクト450を実際フィンガーでピックアップするようなビジュアル効果を示す。例えば、前記ピックアップ効果は、前記第1マルチタッチ入力によるピックアップジェスチャーに対応して前記第1オブジェクト450の大きさが徐々に小さくなりながら消えるビジュアル的な効果であることができる。
【0097】
すなわち、前記デバイスは、前記第1マルチタッチ入力が発生すれば、本発明の機能活性化信号として認知することができる。次に、前記第1マルチタッチによる初期2個のポイント(
図27)から前記第1オブジェクト450の中心にドラッグ入力(
図28)が発生すれば、前記デバイスは、前記第1オブジェクト450を選択する(
図29)。すなわち、ピック状態で処理する。次に、前記第1オブジェクト450が選択された状態で、ユーザが前記待機画面100上のマルチフィンガータッチ状態を終了すれば、すなわち、マルチフィンガーをタッチスクリーン上で取り外すUpジェスチャーをすれば、デバイスは、前記第1オブジェクト450をUp状態で処理する。すなわち、前記Upジェスチャーは、前記第1オブジェクト450の選択が完了し、前記待機画面100上で除去のための設定されたジェスチャーであることができる。
【0098】
したがって、前記デバイスは、タッチされたマルチフィンガーのUpジェスチャーによる命令を認知し、それに応答して前記第1オブジェクト450をUp状態によるエフェクトを処理する。例えば、前記第1オブジェクト450がユーザのUpジェスチャーに対応してピックアップされる形態のビジュアル効果を提供することができる。この時、前記待機画面100上の前記第1オブジェクト450は、漸次に消える形態のビジュアル効果などを提供することができる。
【0099】
次に、
図27〜
図29で説明したように、前記第1マルチタッチ入力に対応して前記第1オブジェクト450に対するピックアップ過程を完了する時、デバイスは、
図30に示したように、前記第1オブジェクト450を前記待機画面100のイメージ上で除去して表示する。また、前記デバイスは、前記第1オブジェクト450または前記第1オブジェクト450を呼び出すことができる前記第1オブジェクト450に対するマクロ情報を保存部に保存することができる。
【0100】
次に、
図30のような状態で、ユーザは、
図31〜
図34に示したように、前述の過程に対応するピックアップ動作を通じて第2オブジェクト550及び第3オブジェクト650に対しても前記イメージ上で除去することができる。この時、前記デバイスは、前記第2オブジェクト550及び第3オブジェクト650を呼び出すことができる各々のマクロ情報を保存部にピックアップされる手順によって保存することができる。この時、前記第1〜第3オブジェクト450、550、650が保存される形態は、
図6を参照した説明部分で説明したものに対応する。
【0101】
以上のように、本発明の実施形態によれば、複数のオブジェクトよりなるイメージを、第1マルチタッチの繰り返し入力に対応して連続してピックアップされるオブジェクトをピックアップ手順によって保存部に保存することができる。すなわち、デバイスは、第1マルチタッチ入力に対応して選択される第1オブジェクト450をピックアップして保存し、前記第1マルチタッチ入力の連続動作によって第2オブジェクト550及び第3オブジェクト650をもピックアップして保存することができる。
【0102】
一方、前記第1〜第3オブジェクト450、550、650をピックアップして保存することだけで説明したが、もし前記イメージを構成するオブジェクトをピックアップした後、前記イメージ自体に対して第1マルチタッチによるピックアップジェスチャーが発生する時、それに応答して前記イメージ自体をピックアップして保存部に保存することもできる。すなわち、本発明の実施形態によれば、背景画面(イメージ)やブランク画面をオブジェクトとして認識してピックアップすることもできる。
【0103】
このような例を記述すれば、背景画面(イメージ)が表示された状態で前記背景画面自体が第1マルチタッチによってピックアップされる時、前記背景画面が巻かれるか折れ上がりながら前記ブランク画面に転換されるビジュアル効果を提供することができる。反対に、前記ブランク画面が表示された状態で前記ブランク画面自体が第1マルチタッチによってピックアップされる時、前記ブランク画面が巻かれるか折れ上がりながら設定された背景画面イメージに転換されるビジュアル効果を提供することができる。
【0104】
また、
図26〜
図34を参照した説明部分では省略したが、上記のように、メニューリストで第1マルチタッチ入力による動作を行う場合にも、
図7〜
図9を参照した説明部分で説明したような付加機能を提供することもできることは勿論である。
【0105】
以上では、
図26〜
図34を参照してユーザの第1マルチタッチ入力によりイメージを構成する複数のオブジェクト450、550、650を連続してピックアップし、ピックアップされたオブジェクトが所定の手順によって保存部にスタックされる動作について説明した。次に、以下では、
図26〜
図34のように、第1マルチタッチによってスタックされる複数のオブジェクト450、550、650を第2マルチタッチ入力により呼び出してリリースする動作について
図35〜
図41を参照して記述する。
【0106】
図35〜
図41は、本発明の実施形態による第2マルチタッチ入力によりオブジェクトをリリースする過程の他の例を示す図である。
【0107】
特に、
図35〜
図41は、本発明の実施形態による第2マルチタッチの繰り返し入力により複数のオブジェクト各々を保存された手順の逆順によって連続してリリースする過程の例を示す図である。
【0108】
図35〜
図41は、
図26〜
図34に対応する動作にピックアップされて保存された複数のオブジェクト450、550、650を待機画面100に表示中のイメージの特定領域にリリースする動作の画面例を示すものである。
【0109】
まず、
図35は、前記複数のオブジェクト450、550、650がピックアップされた状態の画面例を示すものである。この時、前述の
図7のように、特定オブジェクトに対するピックアップ状態を通知する当該アイテム300を待機画面100の特定領域に示すこともできることは勿論である。
【0110】
次に、ユーザは、以前にピックアップされたオブジェクト450、550、650を保存された手順の逆順に呼び出し、前記イメージのユーザが希望する特定領域に移動して示すことができる。
【0111】
すなわち、ユーザは、
図36及び
図37に示したように、イメージの特定領域にマルチタッチ入力を発生することができる。前記マルチタッチ入力は、前述したように、ユーザのリリースジェスチャーに対応する前記第2マルチタッチ入力であることができる。デバイスは、前記第2マルチタッチ入力に対応して前記イメージを構成する複数のオブジェクト450、550、650のうち保存手順の逆順によって第3オブジェクト650を呼び出してリリース効果を適用する。前記リリース効果は、ユーザのマルチフィンガーによるタッチ入力によるリリースジェスチャーに対応して
図32〜
図34で最後にピックアップされて保存された第3オブジェクト650の形状が順次に現われる効果であることができる。
【0112】
これを詳しく説明すれば、もし、タッチスクリーン上の特定領域にマルチフィンガー基盤の第2マルチタッチ入力が発生すれば、デバイスは、本発明の機能活性化信号として認知することができる。次に、前記第2マルチタッチによる初期2個のポイントから外側にドラッグ入力が発生すれば、前記デバイスは、以前に保存された手順の逆順による第3オブジェクト650を保存部から抽出し、抽出された前記第3オブジェクト650を第2マルチタッチが発生する位置にリリースする効果をビジュアルに提供することができる。
【0113】
前記ドラッグ入力は、前記第3オブジェクト650のリリースのための設定されたジェスチャーであって、前述の説明のように、デバイスは、前記ドラッグ入力が発生する時、前記第3オブジェクト650のリリースのための信号として認知することができる。この時、前記第3オブジェクト650が抽出されれば、前記デバイスは、前記第3オブジェクト650が抽出されることを別に表示することができる。例えば、抽出する第3オブジェクト650の形状がイメージの当該位置に徐々に出力されるビジュアル効果を提供することができる。
【0114】
次に、上記のような手続が完了する時、前記イメージで前記第2マルチタッチ入力に対応してリリースされた第3オブジェクト650が追加された待機画面100を提供することができる。この時、前述したように、ピックアップされたオブジェクトのスタック状態を示すアイテム300が存在する時、前記手続によって保存部に保存された第3オブジェクト650が除去されることによって、前記アイテム300は、スタックされたオブジェクト450、550、650のうち前記第3オブジェクト650が消えた形態のビジュアル効果を提供することができる.
【0115】
次に、
図37のような状態で、ユーザは、
図38〜
図41に示したように、前述の過程に対応するリリース動作を通じて第2オブジェクト550及び第1オブジェクト450に対しても前記イメージ上に示すことができる。この時、前記第2オブジェクト550及び第1オブジェクト450が保存部に保存された手順の逆順によって呼び出して示すことができる。
【0116】
以上のように、本発明の実施形態によれば、第2マルチタッチの繰り返し入力に対応して以前に連続してピックアップされて保存された複数のオブジェクトを保存された手順の逆順によって呼び出して示すことができる。すなわち、デバイスは、第2マルチタッチ入力に対応して第3オブジェクト650をリリースして表示し、前記第2マルチタッチ入力の連続動作によって第2オブジェクト550及び第1オブジェクト450をもリリースして示すことができる。
【0117】
一方、
図35〜
図41を参照した説明部分では省略したが、上記のように、イメージで第2マルチタッチ入力による動作を行う場合にも、
図13〜
図16を参照した説明部分で説明したような付加機能を利用したリリース動作を提供することもできることは勿論である。例えば、前記第2オブジェクト550を除去しようとする時、デバイスは、ユーザ要請に応答して前記第3オブジェクト650に対するリリースを行う。その後、前記デバイスは、ユーザ要請に応答して前述の
図14〜
図16のように、ごみ箱機能をアイテム400を呼び出し、前記アイテム400に発生する第2マルチタッチによって前記第2オブジェクト550を除去する。次に、前記デバイスは、ユーザ要請に応答して前記第1オブジェクト450に対するリリースを行う。このような場合、最終表示されるイメージは、第1オブジェクト450及び第3オブジェクト650のみを含んで示す。
【0118】
以上で説明したように、本発明の実施形態によれば、各々のオブジェクトよりなるイメージをマルチタッチによるピックアップ及びリリースジェスチャーを通じてさらに簡便に編集を行うことができる。
【0119】
図42〜
図45は、本発明の実施形態によるマルチタッチ入力を利用してイメージを編集する過程の画面例を示す図である。特に、
図11a〜
図11dでは、本発明の第1マルチタッチを利用してイメージ編集のためのオブジェクトをピックアップし、第2マルチタッチによるオブジェクトのピックアップ及びリリースを通じてイメージを編集する過程の画面例を示す図である。
【0120】
図42〜
図45を参照すれば、まず、
図42に示したように、デバイスは、ユーザ要請によるイメージを表示する待機画面100を提供することができる。次に、
図43に示したように、ユーザは、イメージ編集のための編集ツール500を呼び出すことができる。前記編集ツール500の呼び出しは、設定されたタッチ入力を通じて呼び出すか、または設定されたメニュー操作を通じて呼び出すか、または設定された特定キー入力を通じて呼び出すことができる。
【0121】
次に、ユーザは、
図43に示した前記編集ツール500で前記イメージに追加しようとする特定オブジェクト750を選択することができる。すなわち、ユーザは、前記編集ツール500の前記特定オブジェクト750に第1マルチタッチ入力を通じて前記特定オブジェクト750をピックアップすることができる。すると、デバイスは、前記第1マルチタッチ入力に対応して前記特定オブジェクト500にピックアップ効果を適用する。
【0122】
このようなピックアップ効果は、前述のものに対応することができる。但し、前記編集ツール500に対する第1マルチタッチ入力時、当該オブジェクトを編集ツール500で除去することなく、当該オブジェクトのピックアップに対応して保存部に保存のみを行うことができる。すなわち、イメージ編集のための編集ツール500で当該オブジェクトの繰り返し使用のために第1マルチタッチ入力によるエフェクトを付与しても、実際編集ツール500では除去しない。
【0123】
次に、前記第1マルチタッチ入力に対応して前記特定オブジェクト750に対するピックアップ過程を完了する時、デバイスは、前記第1オブジェクト750または前記特定オブジェクト750を呼び出すことができる前記特定オブジェクト750に対するマクロ情報を保存部に保存することができる。
【0124】
次に、ユーザは、ピックアップされて保存された前記特定オブジェクト750のリリースのための第2マルチタッチ入力を発生することができる。すると、前記デバイスは、前記第2マルチタッチ入力に応答して前記特定オブジェクト750を呼び出し、前記第2マルチタッチが発生する当該位置にリリース効果を適用する。前記リリース効果は、前述のものに対応することができる。
【0125】
次に、前記のような手続が完了する時、前記イメージで前記第1マルチタッチ及び第2マルチタッチによってピックアップされてリリースされた前記特定オブジェクト750が追加されたイメージの待機画面100を提供することができる。
【0126】
一方、
図44で、前記第2マルチタッチのための動作時に、前記編集ツール500を維持した状態で前記第2マルチタッチを発生することもできる。すなわち、前記編集ツール500は、前記第1及び第2マルチタッチする時、ユーザ要請に対応して続いて維持するか、またはオープン/クローズを繰り返して示すこともできる。
【0127】
図46及び
図47は、本発明の実施形態によるマルチタッチを利用したオブジェクト制御動作を示す図である。
【0128】
図46及び
図47を参照すれば、まず、デバイスは、待機画面表示中に(1201段階)、ユーザのタッチ入力を感知すれば(1203段階)、前記タッチの種類を判別する(1205段階)。この時、
図46で、前記タッチの種類判別結果、第1マルチタッチでなければ、前記1201段階に進行し、待機画面を表示するものと示したが、前記第1マルチタッチではない時、前記デバイスは、前記タッチの種類が第2マルチタッチに対応するものであるかを判別することもできる。また、前記第2マルチタッチとして判断する時、以前にピックアップされて保存されたオブジェクトがないから、エラーを出力する動作をさらに行うこともできる。このようなタッチ種類を判別する詳細動作については、図面を参照して後述する。
【0129】
一方、前記タッチの種類が第1マルチタッチなら、前記デバイスは、前記第1マルチタッチが感知される位置の当該オブジェクトをピックアップして保存する(1207段階)。また、前記デバイスは、前記第1マルチタッチによって前記オブジェクトをピックアップして保存する時、前記オブジェクトのピックアップによる当該動作を処理することができる(1209段階)。すなわち、前述の第1マルチタッチと関連して説明された当該動作を処理することができる。また、前記デバイスは、前記第1マルチタッチによって前記オブジェクトを保存する時、前記オブジェクトを前記待機画面上で除去することができる(1211段階)。
【0130】
一方、前記1207段階〜前記1211段階は、説明の便宜のために順次に示すものであるが、本発明が必ず前記手続に基づいて動作するものではない。したがって、前記1207段階〜前記1211段階のうちいずれかの段階を先に実行してもよく、また、前記デバイスは、前記1207段階〜前記1211段階を一度に処理してもよいは勿論である。
【0131】
次に、上記のように、第1マルチタッチ入力に対応して前記オブジェクトをピックアップして保存した状態で、前記デバイスは、新しいタッチ入力を感知することができる(1213段階)。次に、前記デバイスは、前記タッチ入力を感知する時、前記タッチの種類を判別する(1215段階)。
【0132】
図47を参照すれば、前記1215段階の判別結果、タッチの種類が第2マルチタッチなら、前記デバイスは、前記1207段階で保存された前記オブジェクトを抽出する(1217段階)。次に、前記デバイスは、前記第2マルチタッチによる設定されたリリース方式が順次リリース方式であるか、全体リリース方式であるかを判別する(1219段階)。
【0133】
もし、1219段階で順次リリース方式の場合、前記デバイスは、保存部の上位に保存された1つのオブジェクトを呼び出し、リリースによる当該動作を処理することができる(1221段階)。すなわち、前述の第2マルチタッチと関連して説明された当該動作を処理することができる。この時、前記1つのオブジェクト呼び出しは、前記保存部にオブジェクトが保存された手順の逆順によって呼び出すことができる。また、前記デバイスは、前記第2マルチタッチによって前記オブジェクトをリリースする時、保存部で前記オブジェクトを除去することができる(1223段階)。
【0134】
一方、全体リリース方式の場合、前記デバイスは、保存部に保存されたすべてのオブジェクトを呼び出し、リリースによる当該動作を処理することができる(1225段階)。すなわち、前述の説明部分で、第2マルチタッチと関連して説明された当該動作を処理することができる。この時、前記呼び出しは、前記保存部に保存されるオブジェクト手順に関係なく、保存されたすべてのオブジェクトを一度に呼び出すことができる。また、前記デバイスは、前記第2マルチタッチによってすべてのオブジェクトをリリースする時、保存部で前記すべてのオブジェクトを除去することができる(1227段階)。
【0135】
一方、前記1215段階の判別結果、タッチの種類が第2マルチタッチではなければ、前記デバイスは、前記タッチの種類が新しい第1マルチタッチであるかを判別することができる(1229段階)。この時、前記新しい第1マルチタッチなら、前記デバイスは、前述の1207段階に進行し、前述の動作を行うことができる。この時、前記保存部に保存されるオブジェクトは、前記1207段階で保存されたオブジェクトに積層されて保存される。
【0136】
一方、前記タッチの種類が前記新しい第1マルチタッチではなければ、前記デバイスは、前記1205段階で判別する前記第1マルチタッチの入力取消であるかを判別することができる(1231段階)。前記入力取消は、ユーザ要請による取消であることができる。
【0137】
前記タッチの種類が前記第1マルチタッチの入力取消である時、前記デバイスは、前記保存部に保存されたオブジェクトを除去することができる(1235段階)。ここで、前記除去は、前記保存部に保存されたオブジェクトが複数個である時、設定方式によって上位にある1つのオブジェクトを除去し、また、連続される取消入力により保存された手順の逆順によって除去することができる。または前記除去は、設定方式によって前記保存部に保存されたすべてのオブジェクトを一度に除去することもできる。
【0138】
次に、前記デバイスは、前記除去する当該オブジェクトを復元することができる(1237段階)。ここで、前記オブジェクト復元は、前記オブジェクトがピックアップされて保存される以前の元々の状態に戻ることを意味することができる。
【0139】
前記タッチの種類が前記第1マルチタッチの入力取消ではない時、前記デバイスは、ユーザ要請に対応する当該動作を行うことができる(1233段階)。例えば、第1マルチタッチまたは第2マルチタッチ入力を待機するか、または前述の動作を終了するなどの動作を行うことができる。この時、前述の動作を終了する時、以前にピックアップされて保存されているオブジェクトは復元されることができる。
【0140】
次に、以下では、本発明のマルチタッチ入力によるピックアップ命令またはリリース命令を認知する方法について記述する。
【0141】
図48は、本発明の実施形態によるマルチタッチを判別する方法を示す図であり、
図49及び
図50は、本発明の実施形態によって前記マルチタッチを判別する動作例を示す図である。
【0142】
図48、
図49及び
図50を参照すれば、まず、デバイスは、マルチタッチ入力を感知する時(1301段階)、前記マルチタッチ入力による各ポイントを認識する(1303段階)。すなわち、
図49及び
図50に示したように、前記マルチタッチによる2個のポイントの各座標を認識する。次に、前記デバイスは、前記2個のポイント間の距離値Lを算出する(1305段階)。前記距離値Lの算出は、前記各ポイントの座標間の距離を計算することによって算出することができる。
【0143】
次に、前記デバイスは、前記算出する距離値Lとあらかじめ設定された臨界値Thとを比較する(1307段階)。すなわち、前記デバイスは、前記距離値Lと前記臨界値Thの比較に基づいて前記マルチタッチの種類を判別することができる。
【0144】
前記デバイスは、
図49に示したように前記距離値Lが前記臨界値Thより大きいか、または同一であれば(1307段階)、前記マルチタッチを第1マルチタッチとして認知し、前記第1マルチタッチによる機能を活性化することができる(1309段階)。この時、前記第1マルチタッチによる機能活性化に対応して、前記デバイスは、前記第1マルチタッチによる領域設定及び設定する領域内のオブジェクトを認知することができる(1311段階)。前記1311段階の領域設定及び領域内のオブジェクトを認知する方法については、図面を参照して後述する。また、前記1311段階は、本発明の実施形態において必ず実行すべき過程ではなく、機能具現上、省略することもできることは勿論である。
【0145】
次に、前記デバイスは、マルチドラッグの入力可否をチェックすることができる(1313段階)。すなわち、前記デバイスは、
図49に示したように、初期2個のポイントからオブジェクトの中心にドラッグ入力があるか否かをチェックすることができる。もし、マルチドラッグ入力があれば、前記デバイスは、当該オブジェクトに対するピックアップ処理を行うことができる(1315段階)。ここで、前記第1マルチタッチ認知後、前記マルチドラッグが初期2個のポイントからオブジェクトの外側に移動するドラッグ入力である時、エラーとして判断することができる。
【0146】
もし、1313段階で、前記マルチドラッグ入力がなければ、前記デバイスは、入力を待機し(1317段階)、その後、ユーザ要請による当該動作を行うことができる(1319段階)。例えば、前記第1マルチタッチ入力を取り消すなどの動作を行うことができる。
【0147】
以上のように、本発明の実施形態による第1マルチタッチは、初期の2個のポイントからオブジェクトの中心に前記2個のポイント間の距離を狭めた後にリフトするジェスチャーによってオブジェクトに対するピックアップ処理を行うことができる。
【0148】
一方、前記1307段階の比較結果、前記距離値Lが前記臨界値Thより小さければ、前記デバイスは、前記マルチタッチを第2マルチタッチとして認知し、前記第2マルチタッチによる機能を活性化することができる(1321段階)。この時、前記第2マルチタッチによる機能活性化に対応して、前記デバイスは、以前に第1マルチタッチによってピックアップされて保存されたオブジェクトを抽出することができる(1323段階)。
【0149】
次に、前記デバイスは、マルチドラッグの入力可否をチェックすることができる(1325段階)。すなわち、前記デバイスは、
図50に示したように、初期2個のポイントからオブジェクトの外側にドラッグ入力があるか否かをチェックすることができる。
【0150】
もし、マルチドラッグ入力があれば、前記デバイスは、前記抽出するオブジェクトに対するリリース処理を行うことができる(1327段階)。ここで、前記第2マルチタッチの認知後、前記マルチドラッグが初期2個のポイントからオブジェクトの中心に移動するドラッグ入力である時、エラーとして判断することができる。
【0151】
もし、1325段階で、前記マルチドラッグ入力がなければ、前記デバイスは、入力を待機し(1317段階)、その後、ユーザ要請による当該動作を行うことができる(1319段階)。例えば、前記第2マルチタッチ入力を取り消すか、または前記第2マルチタッチ取消した後、新しい第1マルチタッチ入力により新しいオブジェクトをピックアップするなどの動作を行うことができる。
【0152】
以上のように、本発明の実施形態による第2マルチタッチは、初期の2個のポイントからオブジェクトの外側に前記2個のポイント間の距離を広げた後にリリースするジェスチャーによってオブジェクトに対するリリース処理を行うことができる。
【0153】
図51及び
図52は、本発明に実施形態による第1マルチタッチ及び第2マルチタッチを入力する動作の例を示す図である。
【0154】
図51は、本発明の第1マルチタッチを入力する動作の例を示すものである。本発明の前記第1マルチタッチは、2個のポイントが垂直ポジション(position)、水平ポジション及び左右対角ポジションのうちいずれか1つのポジションに入力されることができる。また、前記のようなポジションからオブジェクト中心にドラッグが発生する時、本発明の実施形態によるピックアップ処理を行うようになる。この時、ピックアップされるオブジェクトのビジュアル効果は、第1マルチタッチによる前記のような初期ポジションで動く方向に表現されることができる。
【0155】
図52は、本発明の第2マルチタッチを入力する動作の例を示すものである。本発明の前記第2マルチタッチは、2個のポイントが垂直ポジション、水平ポジション及び左右対角ポジションのうちいずれか1つのポジションに入力されることができる。また、前記のようなポジションからオブジェクト外側にドラッグが発生する時、本発明の実施形態によるリリース処理を行うようになる。この時、リリースされるオブジェクトのビジュアル効果は、第2マルチタッチによる前記のような初期ポジションで動く方向に表現されることができる。
【0156】
図53及び
図54は、本発明の実施形態による第1マルチタッチを利用したオブジェクト選択方法の例を示す図である。
図55〜
図57は、本発明の実施形態による第1マルチタッチを利用してオブジェクトを選択する他の方法の例を示す図である。
【0157】
本発明の実施形態において前記第1マルチタッチによるピックアップジェスチャーは、設定方式によって1つのオブジェクトを選択するか、または複数のオブジェクトを選択することができる。すなわち、本発明の実施形態によれば、第1マルチタッチ後、ピックアップジェスチャーによる2個のポイント間の間隔調節を通じてオブジェクトの量を決定して選択することができる。例えば、電子本(e−book)のようなオブジェクトの場合、ユーザがめくりたいページ量を決定し、第1マルチタッチを利用したページめくりが可能である。
【0158】
図53に示したように、デバイスは、第1マルチタッチによる初期2個のポイントからオブジェクト中心にドラッグが発生した時、前記ドラッグ後の距離値L1とあらかじめ設定された第2臨界値Th2とを比較することができる。この時、前記ドラッグ後の距離値L1が前記第2臨界値より小さければ、デバイスは、前記ドラッグ後の最終2個のポイント内に存在する1つのオブジェクトを選択することができる。
【0159】
図54に示したように、デバイスは、第1マルチタッチによる初期2個のポイントからオブジェクト中心にドラッグが発生した時、前記ドラッグ後の距離値L2とあらかじめ設定された第2臨界値Th2とを比較することができる。この時、前記ドラッグ後の距離値L2が前記第2臨界値より大きければ、デバイスは、前記ドラッグ後の最終2個のポイント内に存在する複数のオブジェクトを選択することができる。すなわち、前記2個のポイント間の距離値L2内に存在するすべてのオブジェクトを選択することができる。
【0160】
図55〜
図57は、複数のアイテム(オブジェクト)のメニューリストでピックアップジェスチャーを利用して複数のオブジェクトを選択する動作を示している。
【0161】
図55は、2個のポイントのドラッグ後の距離値L1が設定された前記第2臨界値Th2より小さい時、最終2個のポイント内に属する1つのオブジェクトEEEを選択することができる。
【0162】
これとは異なって、設定方式によって初期2個のポイントを認知し、そのポイント内に属するすべてのオブジェクトCCC、EEE、FFFを選択することもでき、このような例が
図56に示している。
【0163】
図56に示したように、2個ポイントの距離値に関係なく、第1マルチタッチによる初期2個のポイントを認知し、前記2個のポイントから内側にドラッグが発生した時、前記認知する2個のポイント内に存在する複数のオブジェクトCCC、EEE、FFFを一度に選択することができる。
【0164】
図57は、2個のポイントのドラッグ後の距離値L2が設定された前記第2臨界値Th2より大きい時、最終2個のポイントが位置する箇所のオブジェクトCCC、FFFと前記最終2個ポイント内に存在するすべてのオブジェクトEEEを選択することができる。
【0165】
図58〜
図60は、本発明の実施形態による第1マルチタッチ時オブジェクトを認識する方法を示す図である。この時、2個のフィンガータッチポイントによってマルチタッチが行われる場合を仮定して説明する。
【0166】
図58〜
図60を参照すれば、マルチフィンガーによるマルチタッチが行われる場合、デバイスは、初期2個のポイント(初期ポイント)からピックアップジェスチャーによるドラッグ後に発生する2個のポイント(ドラッグポイント)600を認知し、前記ドラッグポイント600を投影(shadow)し、仮想の2個ポイント(仮想ポイント)700を生成することができる。
【0167】
次に、前記デバイスは、前記ドラッグポイント600と前記仮想ポイント700による4個のポイント600、700を連結し、四角領域800を生成する。その後、前記デバイスは、前記四角領域800内に含まれる少なくとも1つのオブジェクトを第1マルチタッチによって選択するオブジェクトとして認知することができる。
【0168】
この時、
図60は、オブジェクトが4個のポイント600、700を連結して生成する前記四角領域800を脱する場合の例を示すものである。すなわち、本発明の実施形態においては、前記四角領域800の内部に存在するオブジェクトと前記四角領域800にかけられるオブジェクトの両方を認知することができる。
【0169】
図61及び
図62は、本発明の実施形態による第1マルチタッチ入力後にこれを解除する動作例を示す図である。
【0170】
図61及び
図62に示したように、デバイスは、初期2個のポイント(初期ポイント)からピックアップジェスチャーによるドラッグ後に発生する2個のポイント(ドラッグポイント)600を認知する。その後、デバイスは、第1マルチタッチの入力が終了すれば、前述したように、当該オブジェクトをピックアップ処理することができる。
【0171】
一方、前記ドラッグポイント600からさらに前記初期ポイント方向のように外側方向に移動するリリースジェスチャーに対応するドラッグが発生する時、前記デバイスは、前記第1マルチタッチの入力取消として判断することができる。すなわち、第1マルチタッチ入力によるピックアップジェスチャーによる動作を認知した後、引き続いてリリースジェスチャーによる動作を認知する時、前記デバイスは、前記入力する第1マルチタッチの取消として判断することができる。
【0172】
この時、前記デバイスは、前記第1マルチタッチ取消時、すなわち前記ピックアップジェスチャーに引き続くリリースジェスチャーを認知する時、当該オブジェクトが選択されてから取消されることを通知するエフェクトを適用することができる。例えば、前記リリースジェスチャーを認知する時、振動フィードバックを付与することができる。また、前記振動フィードバックと共に、前述のようなピックアップ効果を適用する逆順によって当該オブジェクトを原位置に復元するビジュアル効果を提供することもできる。
【0173】
以上では、本発明の実施形態による第1マルチタッチ及び第2マルチタッチによる動作実施形態と、それを利用したオブジェクト管理方法について記述した。次に、以下では、上記のような第1マルチタッチ及び第2マルチタッチを利用する実施形態について記述する。
【0174】
図63〜
図65は、本発明の実施形態による第1マルチタッチをゲームに応用する場合の例を示す図である。
【0175】
図63〜
図65を参照すれば、まず、
図63に示したように、デバイスは、ユーザ要請によるゲーム待機画面100を表示することができる。この時、前記待機画面100は、
図63〜
図65に示したように、複数のオブジェクトが当該ゲームの設定された方式によって多様な方向に各々動く形状の例を示すものである。また、
図63〜
図65では省略したが、前記待機画面100は、前記ゲームに対応する設定されたユーザインターフェースをさらに提供することができる。例えば、前記ゲーム進行による時間情報、前記ゲーム進行による点数情報、前記ゲーム進行後の結果を示すランキング情報などのユーザインターフェースをさらに提供することもできる。
【0176】
次に、ユーザは、前記待機画面100の動的オブジェクトのうちユーザがゲーム進行によって選択しようとする特定オブジェクト850に対して第1マルチタッチ入力を発生することができる。すなわち、
図64に示したように、ユーザは、前記第1マルチタッチ入力を通じて前記動的オブジェクトのうちユーザが希望する特定オブジェクト850をピックアップすることができる。すると、デバイスは、前記第1マルチタッチ入力に対応して前記特定オブジェクト850に前述のようなピックアップ効果を適用する。
【0177】
次に、前記デバイスは、前記特定オブジェクト850に対するピックアップ効果処理後、
図65に示したように、前記特定オブジェクト850を前記待機画面100上で除去して表示する。
【0178】
もし、前記ゲームが制限された時間内に前記待機画面100の動的オブジェクトを除去するものである場合、前記デバイスは、制限された時間をカウントするユーザインターフェースを表示することができる。また、前述の
図7に示したように、前記第1マルチタッチによってオブジェクトがピックアップされることを通知するアイテム300を前記待機画面100の特定領域に表示することができる。この時、前記アイテム300は、ユーザの上記のような動作によるゲーム進行に対応して、ピックアップされるオブジェクトを順次に積層して表示することができる。このような表示は、第1マルチタッチ入力に対応してピックアップされるオブジェクト発生時、それに対応してリアルタイムで適用して表示することができる。また、前記デバイスは、前記アイテム300にオブジェクトを累積する時、設定された計算方式によってピックアップされた個数に対応する点数を算出し、待機画面100の特定領域に提供することもできる。
【0179】
その後、制限された時間が満了する時、前記デバイスは、前記ゲーム進行による待機画面100を終了し、点数情報、ランキング情報などのような設定されたユーザインターフェースの待機画面100を提供することができる。前述したように、ユーザは、前述の第1マルチタッチ入力を利用して前記待機画面100上の動的オブジェクトを除去するゲームを行うことができる。
【0180】
次に、以下では、第1マルチタッチ及び第2マルチタッチを利用する他の実施形態について記述する。特に、
図66と
図67〜
図71を参照して、第1デバイスで第1マルチタッチによってピックアップするオブジェクトを第2デバイスで第2マルチタッチによってリリースする実施形態について記述する。この時、前記第1デバイスの特定オブジェクトを前記第2デバイスに移動する動作の例を説明するが、本発明がこれに限定されるものではない。したがって、設定方式または設定されたキー入力の組合によって前記第1デバイスの特定オブジェクトを前記第2デバイスにコピーすることも可能であることは勿論である。
【0181】
図66は、本発明の実施形態によるマルチタッチを利用してデバイス間にオブジェクトを移動する動作例を示す図である。また、
図67〜
図71は、
図66の実施形態によってデバイス間にオブジェクトを移動する画面例を示す図である。
【0182】
図66と
図67〜
図71を参照すれば、まず、第1デバイス2000と第2デバイス3000は、支援する通信方式による手続によって相互間の連結を設定することができる(2101段階)。この時、前記連結設定時、各デバイス2000、3000は、本発明の実施形態による機能を活性化することができる(2101段階)。すなわち、前記各デバイス2000、3000は、
図67に示したように、ユーザ要請による待機画面100、105を各々表示することができる。この時、参照符号900は、前記第1デバイス2000の待機画面100の例を示すものであり、参照符号1000は、前記第2デバイス3000の待機画面105の例を示すものである。この時、前記各デバイス2000、3000の待機画面100、105各々は、複数のオブジェクトが配置されて表示されることができる。
【0183】
一方、本発明の実施形態において、前記デバイス2000、3000間の連結は、ブルートゥース通信のような近距離無線通信による連結及びデータケーブルなどを利用した有線通信による連結が可能である。したがって、前記通信方式は、前記連結によって無線通信方式または有線通信方式のうちいずれか1つの通信方式であることができる。この時、
図66と
図67〜
図71では、無線通信を利用する場合を例にして説明する。
【0184】
また、本発明の実施形態において適用される前記無線通信は、 ブルートゥース通信、赤外線通信、ジグビー(Zigbee)通信及びその他の近距離で通信チャネルを形成し、信号を送受信することができる多様な無線通信の適用が可能であることは勿論である。
【0185】
次に、ユーザは、前記第1デバイス2000の待機画面100でユーザが希望する特定オブジェクト950に対して第1マルチタッチ入力を発生することができる。すると、前記第1デバイス2000は、前記第1マルチタッチ入力に対応して前記特定オブジェクト950をピックアップ処理する(2103段階)。
【0186】
次に、前記第1デバイス2000は、前記第1マルチタッチによってピックアップする前記特定オブジェクト950を前記待機画面100上で除去して表示する。また、前記第1デバイス2000は、前記特定オブジェクト950または前記特定オブジェクト950を呼び出すことができる前記特定オブジェクト950に対するマクロ情報を保存する(2107段階)。前記2103段階と2105段階による画面の例を
図68及び
図69に示す。
【0187】
この時、前記第1デバイス2000の動作は、前述したものに対応するので、それに対する説明を省略する。但し、
図69に示したように、前記特定オブジェクト950に対するピックアップ状態を通知する
図7に示したようなアイテム300を待機画面100の特定領域に示すことができる。
【0188】
前記第1デバイス2000は、前記第1マルチタッチによる前記特定オブジェクト950を保存した後(2105段階)、前記特定オブジェクト950に対する情報メッセージを生成し(2107段階)、前記第2デバイス3000に伝送する(2109段階)。ここで、前記情報メッセージは、前記特定オブジェクト950がピックアップされて伝送されるので、前記特定オブジェクト950を受信することができる受信モードを活性化すべきことを前記第2デバイス3000に要請するメッセージであることができる。すなわち、前記情報メッセージは、前記第2デバイス3000の受信モード活性化のための制御命令であることができる。
【0189】
この時、
図66では省略したが、前記第1デバイス2000は、前記情報メッセージを生成する前に、前記第2デバイス3000との連結状態をチェックする過程をさらに行うこともできる。
【0190】
次に、前記第2デバイス3000は、前記第1デバイス2000から前記情報メッセージを受信すれば(2111段階)、それに応答して前記情報メッセージをパーシングし、前記情報メッセージによってオブジェクト受信のための受信モードを活性化する(2113段階)。ここで、前記受信モードは、第2マルチタッチ入力が発生する時、前記第1デバイス2000から伝達されるオブジェクトを受信して表示することができるモードを示すことができる。この時、前記デバイスは、前記情報メッセージ受信及び受信モード活性化のうち少なくともいずれか1つの動作時、ユーザにアラームを発生することができる。
【0191】
次に、ユーザは、前記第2デバイス3000が受信モード活性化に対応して、前記第2デバイス3000の待機画面105でユーザが希望する特定領域に第2マルチタッチ入力を発生することができる。すなわち、前記特定オブジェクト950をリリースするための第2マルチタッチによるリリースジェスチャーを行うことができる。すると、前記第2デバイス3000は、前記第2マルチタッチ入力に対応して前記特定オブジェクト950をリリースするためのプロセッシングを行う(2115段階)。
【0192】
すなわち、前記第2デバイス3000は、前記第2マルチタッチ入力を感知する時、要請メッセージを生成し(2117段階)、前記第1デバイス2000に伝送する(2119段階)。ここで、前記要請メッセージは、前記受信モードで第2マルチタッチ入力に対応して前記第1デバイス2000でピックアップされて保存された前記特定オブジェクト950の送信を要請するメッセージであることができる。すなわち、前記要請メッセージは、前記第1デバイス2000にオブジェクト伝送を要請する制御命令であることができる。
【0193】
次に、前記第1デバイス2000は、前記第2デバイス3000から前記要請メッセージを受信すれば(2121段階)、それに応答して前記要請メッセージをパーシングし、前記要請メッセージによって以前にピックアップされて保存された前記特定オブジェクト950を呼び出す(2123段階)。次に、前記第1デバイス2000は、前記呼び出す特定オブジェクト950を前記第2デバイス3000に伝送する(2125段階)。
【0194】
次に、前記第2デバイス3000は、前記第1デバイス2000から前記特定オブジェクト950を受信すれば(2127段階)、前記特定オブジェクト950を前記待機画面105上で前記第2マルチタッチが発生する当該位置に表示する(2129段階)。この時、前記第2デバイスは、前記特定オブジェクト950を表示する時、前記第2マルチタッチが発生する位置に前述のようなリリース効果をビジュアルに提供しながら表示することができる。
図66の2115段階〜2129段階による画面例を
図70及び
図71に示す。この時、
図70及び
図71による動作説明は、前述したものに対応するので、それに対する説明を省略する。
【0195】
次に、前記第2デバイス3000は、前記第2マルチタッチによる前記特定オブジェクト950に対するリリース処理後、それによる結果メッセージを生成し(2131段階)、前記第1デバイス2000に伝送することができる(2133段階)。ここで、前記結果メッセージは、前記特定オブジェクト950のリリース処理による結果すなわち、成功/失敗可否に対する情報を含むメッセージであることができる。
【0196】
次に、前記第1デバイス2000は、前記第2デバイス3000から前記結果メッセージを受信すれば(2135段階)、それに応答して前記結果メッセージをパーシングし、前記結果メッセージによって以前にピックアップされて保存部に保存された前記特定オブジェクト950を前記第1デバイス2000から削除する(2137段階)。この時、
図66では、設定された“移動方式”で前記手続によって前記特定オブジェクト950を前記第1デバイス2000で削除する場合の例を説明した。しかし、もし設定された方式が“コピー方式”の場合、前記第1デバイス2000は、前記結果メッセージを受信する時、前記保存部に保存された前記特定オブジェクト950を元々の位置に復元して示すこともできる。
【0197】
以上、
図66と
図67〜
図71を参照して記述したように、本発明の実施形態による第1デバイス2000で第1マルチタッチを利用して特定オブジェクトをピックアップして、第2デバイス3000で第2マルチタッチを利用して前記特定オブジェクトをリリースすることができる。これにより、デバイス2000、3000間にオブジェクトの移動またはコピーによる管理をさらに簡便に行うことができる。
【0198】
以上では、本発明の実施形態によるマルチタッチを利用したオブジェクト管理による全般的な動作及びそれを利用した多様な実施形態について記述した。以下では、前述のような本発明の動作を行う前記制御手段及びこのような制御手段を含むデバイスの構成について記述する。しかし、本発明が下記に記述する内容に限定されるものではないので、下記の実施形態に基づいて多様な実施形態に適用することができる。
【0199】
一方、以上で記述したような本発明の前記デバイスの例として、PDA(PersonalDigital Assistant)、PMP(Portable Multimedia Player)、MP3プレーヤー、デジタル放送プレーヤー、ノートパソコン、パソコン及び移動通信端末(mobile communication terminal)などのような情報通信機器とマルチメディア機器及びそれに対応する多様な応用機器を含むことができる。
【0200】
しかし、本発明のデバイスは前記デバイスに限定されるものではなく、本発明の実施形態よってマルチフィンガー基盤のマルチタッチ入力が可能なディスプレイデバイスを含むすべての形態の中大型ディスプレイデバイスを含むことができる。例えば、前記デバイスは、ユーザの入力に対応する出力を提供するディスプレイユニットを含むすべての形態のデバイスを含むことができる。すなわち、本発明は、テレビ(Television)、LFD(Large Format Display)、DS(Digital Signage)、メディアポール(media pole)などの中大型デバイスに適用されることもできる。また、本発明では、タッチスクリーンを利用するものを例示した。しかし、本発明がこれに限定されるものではなく、ユーザ入力に応答して出力を支援するすべてのタイプのディスプレイユニットを含むことができる。
【0201】
以下では、本発明の前記デバイスに対する概略的な構造を、
図72を参照しながら説明する。
【0202】
図72は、本発明の実施形態によるデバイスのブロック構成を概略的に示す図である。
【0203】
図72を参照すれば、本発明の実施形態によるデバイスは、近距離通信モジュール2310と、入力部2320と、表示部2330と、保存部2340及び制御部2350などを含む。
【0204】
前記近距離通信モジュール2310は、前記デバイスの近距離無線通信を行う。前記近距離通信モジュール2310は、任意の他のデバイスと設定された方式の通信チャネルを形成し、データ信号の送受信を行う。前記近距離通信モジュール2310は、ブルートゥース通信、インフラレッド通信、ジグビー通信など前記デバイスで支援する少なくとも1つの無線通信を利用することができ、また、その他、近距離で通信チャネルを形成して信号を送受信することができる多様な無線通信モジュールの適用も可能であることは勿論である。本発明の実施形態においては、前記近距離通信モジュール2310がブルートゥースモジュールであることを代表的な例として説明する。
【0205】
したがって、前記近距離通信モジュール2310は、アンテナ(例えば、ブルートゥースアンテナなど)を通じて他のブルートゥース装置(例えば、第2デバイス3000)とブルートゥースプロトコルによってブルートゥース通信を行うことができる。これにより、前記デバイスは、本発明の機能実行による前記ブルートゥース通信のような近距離無線通信を利用して他の外部デバイスと連結設定することができる。その後、前記デバイスは、本発明の実施形態によってピックアップする特定オブジェクトを無線通信で他の外部デバイスに伝送することができる。
【0206】
前記入力部2320は、多様な文字情報を入力され、各種機能の設定及び前記デバイスの機能制御と関連して入力される信号を前記制御部2350に伝達する。特に、前記入力部2320は、前記デバイスの提供形態によってタッチパッドを別に含むか、または前記タッチパッドで形成されることができる。また、前記入力部2320は、前記デバイスの提供形態によって前記タッチパッド、タッチスクリーン、一般的なキー配列のキーパッド、クォティ方式のキーパッド及び特定機能を行うように設定された機能キーなどのような入力手段のうちいずれか1つまたはこれらの組合で形成することができる。本発明のデバイスがタッチスクリーンだけによって動作するデバイスの場合、前記入力部2320の構成は省略することができる。
【0207】
前記表示部2330は、前記デバイスの機能実行中に発生する画面データを表示し、ユーザの入力イベント、操作及びキー操作などの状態情報を表示し、また前記デバイスの機能設定情報などを表示する。前記表示部2330は、前記制御部2350から出力される様々な信号と色情報を視覚的なエフェクトを適用して表示する。前記表示部2330は、液晶ディスプレイ(LCD、Liquid Crystal Display)を使用することができ、このような場合、前記表示部2330は、LCD制御部、映像を保存することができるメモリ及びLCD表示素子などを備えることができる。しかし、本発明がLCDに限定されるものではなく、前記表示部2330は、発光ダイオード(LED、Light Emitting Diode)、有機発光ダイオード(OLED、Organic LED)、能動型OLED(AMOLED、Active Matrix OLED)などのような他の表示装置が使用されることもできる。
【0208】
前記表示部2330は、本発明の実施形態によってタッチスクリーンで形成することができる。前記タッチスクリーンは、ユーザが指やペンなどの物体で入力イベント(タッチ、マルチタッチ、ドラッグ、タップ、フリックなどのイベント)を発生すれば、当該位置を入力されるようにする特殊な入力装置を装着したスクリーンを示す。すなわち、デバイスでキーパッドを使用せずにスクリーンに現われたオブジェクトやユーザインターフェースの特定位置などにユーザの入力イベントが発生すれば、当該位置を把握し、保存されたソフトウェアによって特定処理を行うことができるようにする。前記タッチスクリーンは、スクリーンで直接入力情報を入力されることができるようにする表示装置を示す。
【0209】
前記タッチスクリーンは、前記デバイスの表示部2330にタッチパネルという装置を付加して機能を発揮するもので、前記タッチパネルは、上下左右に目に見えない赤外線が流れるようにして、画面に複数の四角形格子が生ずるようにして、ユーザの手先やその他の物体で前記格子に前記入力イベントを発生すれば、当該位置を把握することができるようにする機能を有している。したがって、前記タッチパネルを装着したスクリーンにあらかじめ現われたデータ(ウィジェット、ウィジェットアイコン、ウィジェットセットアイコン、映像、ユーザインターフェースなどのオブジェクト)に入力イベントが発生すれば、前記制御部2350は、前記入力イベントが発生するスクリーンの位置によってユーザが選択した事項が何であるかを把握し、これに対応する命令を処理するようにする。これにより、ユーザが非常に容易に自分が希望する情報を得ることができる。
【0210】
例えば、ユーザがマルチフィンガーを利用してスクリーン上の特定領域に前記入力イベントを発生すれば、これによる位置情報を前記制御部2350が認識する。また、前記制御部2350は、前記入力イベントに対応してスクリーン上に表示されるオブジェクトを、前記入力イベントによるエフェクトを適用してスクリーン上で除去する機能を処理することができる。また、前記制御部2350は、前記入力イベントに対応して呼び出される特定オブジェクトを、前記入力イベントによるエフェクトを適用してスクリーン上に示す機能を処理することができる。
【0211】
すなわち、前記表示部2330は、前記タッチスクリーンを通じて本発明の機能実行による制御信号を入力されて前記制御部2350に伝達する。このようなタッチスクリーンを利用した前記表示部2330の構成及び動作は、前述の
図1〜
図71に対応する。
【0212】
前記保存部2340は、ROM(Read Only Memory)とRAM(Random Access Memory)などで構成されることができる。前記保存部2340は、前記デバイスで生成及び活用される多様なデータなどを保存することができる。前記多様なデータは、デバイスのアプリケーション実行によって発生するデータ及び前記デバイスを利用して生成するか、外部から受信して保存可能なすべての形態のユーザデータなどを含む。特に、前記多様なデータは、本発明で定義するウィジェット、ウィジェットアイコン、アイコン、メニュー、メニューリスト、イメージ、背景画面などのオブジェクトを含むことができる。また、前記多様なデータは、前記デバイスで提供されるユーザインターフェース及び前記デバイス利用による様々な設定情報などを含むことができる。
【0213】
特に、前記保存部2340は、本発明の実施形態によるマルチフィンガー基盤のマルチタッチ入力と関連した設定情報を保存することができる。このような設定情報は、マルチタッチ入力によるジェスチャー情報、マルチタッチ入力に対応して適用されるエフェクト情報、マルチタッチ入力に対応して提供する付加機能情報などであることができ、このような設定情報は、設定情報保存領域2341に保存することができる。また、前記保存部2340は、マルチタッチ入力によりピックアップされるオブジェクトを保存するオブジェクト保存領域2343を含むことができる。すなわち、オブジェクト保存領域2343は、
図6を参照した説明部分で説明したように、本発明の第1マルチタッチ入力によりピックアップされる少なくとも1つのオブジェクトを保存することができる。
【0214】
前記保存部2340は、前記デバイスの一般的な動作を制御するためのアプリケーション及び本発明のマルチタッチ入力による動作を制御するためのアプリケーションを保存することができる。このようなアプリケーションは、前述の
図1〜
図71で説明したような本発明の動作に対応するアプリケーションであることができる。このようなアプリケーションは、前記保存部2340のアプリケーション保存領域(図示せず)に保存することができる。
【0215】
また、前記保存部2340は、前述のアプリケーション実行中に発生するデータを一時保存する1つ以上のバッファーを含むことができる。また前記保存部2340は、前記デバイスの内部に構成されることができ、またスマートカードなどのように外部に構成されることができ、内部/外部のすべての保存媒体を含むことができることは勿論である。
【0216】
前記制御部2350は、前記デバイスに対する全般的な制御機能を実行し、前記デバイス内の前記ブロック間の信号流れを制御する。前記制御部2350は、前記近距離通信モジュール2310と、前記入力部2320と、前記表示部2330及び前記保存部2340などのような各構成間の信号流れを制御する。
【0217】
前記制御部2350は、前記デバイスが移動通信端末の場合、移動通信サービスのためのコーデック(CODEC)及び少なくとも1つのモデム(MODEM)よりなるデータ処理部を含むこともできる。この時、上記のように、前記デバイスが移動通信サービスを支援する時、前記デバイスは、無線周波数(RF、Radio Frequency)信号処理のためのRF通信モジュールをさらに含むことができる。
【0218】
特に、前記制御部2350は、本発明の実施形態によるマルチフィンガー基盤のマルチタッチ入力を感知し、前記マルチタッチの種類によって待機画面上の特定オブジェクトに対するピックアップ及びリリースのうちいずれか1つの動作を制御する。また、前記制御部2350は、前記特定オブジェクトのピックアップまたはリリース制御時、入力されるマルチタッチに対応するエフェクトを適用してオブジェクトの出力または除去を制御する。また、前記制御部2350は、外部デバイスとの有線または無線連結設定時、入力されるマルチタッチに対応してオブジェクトの前記外部デバイスへの移動またはコピーを制御する。
【0219】
このような制御部2350は、前述の
図1〜
図71を参照した説明部分で説明したような本発明の動作を制御することができる。前記制御部2350の前述の機能制御は、ソフトウェアで具現され、本発明の動作を処理することもできる。以下、前記制御部2350の制御動作を区分して記述する。
【0220】
すなわち、前記制御部2350は、タッチ信号感知部2351と、マルチタッチ判断部2353と、オブジェクト管理部2355及び同期処理部2357などを含むことができる。
【0221】
前記タッチ信号感知部2351は、前記表示部2330のタッチスクリーンを通じて入力されるユーザのタッチ信号を感知する。この時、前記タッチ信号感知部2351は、シングルフィンガー基盤のシングルタッチとマルチフィンガー基盤のマルチタッチを感知することができる。前記タッチ信号感知部2351は、マルチタッチを感知する時、それによる情報を前記マルチタッチ判断部2353に伝達することができる。
【0222】
前記マルチタッチ判断部2353は、前記タッチ信号感知部2351から前記マルチタッチによる情報を受信する時、前記マルチタッチの種類を判別することができる。すなわち、前記マルチタッチ判断部2353は、前記マルチタッチが本発明の実施形態による第1マルチタッチであるかまたは第2マルチタッチであるかを区分する。すなわち、前記マルチタッチ判断部2353は、前記マルチタッチによる2個のポイント間の距離値Lとあらかじめ設定された臨界値Thの比較に基づいて前記マルチタッチの種類を判別することができる。また、前記マルチタッチ判断部2353は、前記マルチタッチ後に発生するドラッグ信号を識別する。すなわち、前記マルチタッチ判断部2353は、マルチタッチ後に入力されるドラッグ信号の識別によってピックアップジェスチャーまたはリリースジェスチャーを判断する。このようなマルチタッチの種類判別及びドラッグ信号識別は、前述の
図48、
図49及び
図50を参照した説明部分で説明したものに対応する。
【0223】
前記オブジェクト管理部2355は、前記マルチタッチ判断部2353で判断する結果に対応して特定オブジェクトに対するピックアップまたはリリース動作を処理する。前記オブジェクト管理部2355は、第1マルチタッチ及びピックアップジェスチャーによるマルチドラッグ信号によって待機画面の特定オブジェクトに設定されたエフェクトを付与し、前記エフェクトによるピックアップ及び待機画面上での除去を処理する。前記オブジェクト管理部2355は、ピックアップされるオブジェクトの保存を管理する。また、前記オブジェクト管理部2355は、第2マルチタッチ及びリリースジェスチャーによるマルチドラッグ信号によって保存されたオブジェクトを呼び出し、呼び出すオブジェクトに設定されたエフェクトを付与し、前記エフェクトによるリリース及び待機画面上に表示を処理する。前記オブジェクト管理部2355は、第2マルチタッチ及びリリースジェスチャーによるマルチドラッグ信号によってピックアップされて保存されたオブジェクトの削除を処理する。また、前記オブジェクト管理部2355は、第2マルチタッチ及びリリースジェスチャーによるマルチドラッグ信号によって外部の他のデバイスから有線通信または無線通信で伝達されるオブジェクトのリリース動作を処理する。このようなオブジェクト管理部2355の動作は、前述の
図1〜
図71を参照した説明部分で前記記述された関連動作を説明した部分に対応することができる。
【0224】
前記同期処理部2357は、前記デバイスと外部の他のデバイスとの有線または無線方式による連結設定を処理する。特に、前記同期処理部2357は、有線及び無線方式のうちいずれか1つの方式によって連結が設定される時、入力されるマルチタッチに対応するメッセージ送受信を処理する。
【0225】
すなわち、前記同期処理部2357は、外部デバイスと連結が設定され、前記デバイスが送信側動作を行う時、第1マルチタッチによって生成する情報メッセージの送信を処理する。前記同期処理部2357は、前記情報メッセージ送信に応答してピックアップされるオブジェクトを要請する要請メッセージを受信する時、ピックアップされて保存されたオブジェクトを前記外部デバイスに伝送する。また、前記同期処理部2357は、前記オブジェクト伝送に対応して伝送される結果メッセージが受信される時、前記結果メッセージを前記オブジェクト管理部2355に伝達することができる。すると、前記オブジェクト管理部2355は、前記結果メッセージに対応してピックアップされて保存されたオブジェクトに対する除去または復元などの動作を処理する。
【0226】
前記同期処理部2357は、前記デバイスが受信側動作を実行することによって外部デバイスから情報メッセージが受信される時、第2マルチタッチによって生成する要請メッセージの送信を処理する。前記同期処理部2357は、前記要請メッセージ送信に応答して伝送されるオブジェクトを受信する。また、前記同期処理部2357は、受信するオブジェクトの処理結果による結果メッセージを前記外部デバイスに伝送する。
【0227】
このような前記同期処理部2357の動作は、前述の
図66と
図67〜
図71を参照した説明部分で説明したものに対応する。
【0228】
一方、
図23では、説明の便宜のために前記デバイスの概略的な構成例を図示した。しかし、本発明の前記デバイスが必ず前記構成に限定されない。
【0229】
したがって、本発明の前記デバイスは、その提供形態によってデジタル放送受信モジュール、インターネット通信モジュール、カメラモジュール、オーディオ処理モジュール及び有線通信モジュール(有線連結のためのインターフェース)などのように上記で言及しない構成を追加的にさらに含むことができる。また、本発明の前記デバイスが移動通信サービスを支援する時、前記デバイスの前記移動通信サービスを支援するためのRF通信モジュール及びデータ処理モジュールを含むことができる。前記データ処理部は、コーデック(CODEC)及びモデム(MODEM)を含むことができる。また、本発明の前記デバイスは、その提供形態によって前記構成で特定のブロックが除外されるか、他のブロックに代替されることもできることは勿論である。これは、本技術分野における通常の知識を有する者なら容易に理解することができる。
【0230】
例えば、本発明のデバイスがインターネット網を利用した通信を支援する時、このためのインターネットモジュールを含むことができ、前記インターネットモジュールは、前記制御部2350の制御によってインターネット網を通じて他のデバイス及びネットワークと無線通信を行うことができる。また、本発明のデバイスがデジタル放送と関連した機能を提供する時、このための放送受信モジュールを含むことができる。
【0231】
本明細書と図面に開示された本発明の実施例は、本発明の技術内容を容易に説明し、本発明の理解を助けるために特定例を提示したものに過ぎず、本発明の範囲を限定しようとするものではない。ここに開示された実施例以外にも、本発明の技術的思想に基づく他の変形例が実施可能であることは、本発明の属する技術分野における通常の知識を有する者に自明である。