特許第5923184号(P5923184)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ノキア テクノロジーズ オーユーの特許一覧

特許5923184リモート・ユーザ・インタラクションを提供する装置及び方法
<>
  • 特許5923184-リモート・ユーザ・インタラクションを提供する装置及び方法 図000002
  • 特許5923184-リモート・ユーザ・インタラクションを提供する装置及び方法 図000003
  • 特許5923184-リモート・ユーザ・インタラクションを提供する装置及び方法 図000004
  • 特許5923184-リモート・ユーザ・インタラクションを提供する装置及び方法 図000005
  • 特許5923184-リモート・ユーザ・インタラクションを提供する装置及び方法 図000006
  • 特許5923184-リモート・ユーザ・インタラクションを提供する装置及び方法 図000007
  • 特許5923184-リモート・ユーザ・インタラクションを提供する装置及び方法 図000008
  • 特許5923184-リモート・ユーザ・インタラクションを提供する装置及び方法 図000009
  • 特許5923184-リモート・ユーザ・インタラクションを提供する装置及び方法 図000010
  • 特許5923184-リモート・ユーザ・インタラクションを提供する装置及び方法 図000011
  • 特許5923184-リモート・ユーザ・インタラクションを提供する装置及び方法 図000012
  • 特許5923184-リモート・ユーザ・インタラクションを提供する装置及び方法 図000013
  • 特許5923184-リモート・ユーザ・インタラクションを提供する装置及び方法 図000014
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5923184
(24)【登録日】2016年4月22日
(45)【発行日】2016年5月24日
(54)【発明の名称】リモート・ユーザ・インタラクションを提供する装置及び方法
(51)【国際特許分類】
   G06F 3/0488 20130101AFI20160510BHJP
   G06F 3/14 20060101ALI20160510BHJP
【FI】
   G06F3/0488
   G06F3/14 350A
【請求項の数】17
【全頁数】25
(21)【出願番号】特願2014-556115(P2014-556115)
(86)(22)【出願日】2013年1月28日
(65)【公表番号】特表2015-508203(P2015-508203A)
(43)【公表日】2015年3月16日
(86)【国際出願番号】FI2013050087
(87)【国際公開番号】WO2013117804
(87)【国際公開日】20130815
【審査請求日】2014年8月18日
(31)【優先権主張番号】13/370,992
(32)【優先日】2012年2月10日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】315002955
【氏名又は名称】ノキア テクノロジーズ オーユー
(74)【代理人】
【識別番号】100127188
【弁理士】
【氏名又は名称】川守田 光紀
(72)【発明者】
【氏名】ブレイクンシーク イェルク
(72)【発明者】
【氏名】ボース ラージャ
【審査官】 上嶋 裕樹
(56)【参考文献】
【文献】 特開2009−75763(JP,A)
【文献】 特開2006−146556(JP,A)
【文献】 欧州特許出願公開第2184671(EP,A1)
【文献】 特開2010−256965(JP,A)
【文献】 特表2005−518613(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01C 21/00 −21/36
23/00 −25/00
G06F 3/01
3/048− 3/0489
3/14 − 3/153
G09G 3/00 − 3/08
3/12
3/16
3/19 − 3/26
3/30
3/34
3/38 − 5/36
5/377− 5/42
H04M 1/00
1/24 − 1/82
99/00
(57)【特許請求の範囲】
【請求項1】
少なくとも一つのプロセッサと、コンピュータプログラムコードを含む少なくとも一つのメモリとを備える装置であって、前記コンピュータプログラムコードは、前記プロセッサに実行されると、前記装置に少なくとも:
アクティブ表示域及び境界を有するユーザインタフェースを備えるリモートデバイスとの通信リンクを確立することと;
前記リモートデバイスが、前記ユーザインタフェースの前記境界を跨ぐストローク入力を含む特定のジェスチャがなされたことを検出するように構成されているかどうかを判断することと;
前記リモートデバイスが、前記ユーザインタフェースの前記境界を跨ぐストローク入力を含む特定のジェスチャを検出するように構成されているとの決定に応じて、複製アクティブ表示域および複製境界が提供されるようにすることと;
前記複製されたユーザインタフェースの前記複製境界を跨ぐストローク入力を含む前記特定のジェスチャを、前記装置で検出することと、
前記特定のジェスチャに対して、所定の機能実行することにより応答することと
を行わせるように構成される、装置。
【請求項2】
前記コンピュータプログラムコードは、前記プロセッサに実行されると、前記装置に、既存のアクティブ表示域の一部を前記複製アクティブ表示域として用いるように構成すると共に、前記既存のアクティブ表示域の別の一部を前記複製境界として用いるように構成することにより、前記複製アクティブ表示域を提供させるように構成される、請求項1に記載の装置。
【請求項3】
前記コンピュータプログラムコードは、前記プロセッサに実行されると、前記装置に、既存のアクティブ表示域を前記複製アクティブ表示域として用いるように構成することにより、前記複製アクティブ表示域を提供させると共に、前記複製アクティブ表示域を少なくとも一部は囲むように前記複製境界を提供させるように構成される、請求項1に記載の装置。
【請求項4】
前記複製アクティブ表示域はコンテンツを表示するように構成され、
前記複製境界はコンテンツを表示するようには構成されていない領域である、請求項1に記載の装置。
【請求項5】
前記所定の機能は、前記リモートデバイスの前記ユーザインタフェースにおいて前記特定のジェスチャがなされたときに実行される機能と同じ機能である、請求項1に記載の装置。
【請求項6】
前記所定の機能は、第1のインタラクティブ・コンテンツを有する第1の画面から、第2のインタラクティブ・コンテンツを有する第2の画面への移行を含む、請求項5に記載の装置。
【請求項7】
前記所定の機能は、前記複製アクティブ表示域に表示されているプログラムを閉じることを含む、請求項5に記載の装置。
【請求項8】
アクティブ表示域及び境界を有するユーザインタフェースを備えるリモートデバイスと、装置との間に通信リンクを確立することと;
前記リモートデバイスが、前記ユーザインタフェースの前記境界を跨ぐストローク入力を含む特定のジェスチャがなされたことを検出するように構成されているかどうかを判断することと;
前記リモートデバイスが、前記ユーザインタフェースの前記境界を跨ぐストローク入力を含む特定のジェスチャを検出するように構成されているとの決定に応じて、前記装置に、複製アクティブ表示域および複製境界が提供されるようにすることと;
前記複製されたユーザインタフェースの前記複製境界を跨ぐストローク入力を含む前記特定のジェスチャを、前記装置で検出することと;
前記特定のジェスチャに対して、所定の機能実行することにより応答することと;
を含む、方法。
【請求項9】
前記複製アクティブ表示域を提供することは、既存のアクティブ表示域の一部を前記複製アクティブ表示域として用いるように構成することと、前記既存のアクティブ表示域の別の一部を前記複製境界として用いるように構成することとを含む、請求項8に記載の方法。
【請求項10】
前記複製アクティブ表示域を提供することは、既存のアクティブ表示域を前記複製アクティブ表示域として用いるように構成することと、前記複製アクティブ表示域を少なくとも一部は囲むように前記複製境界を提供することとを含む、請求項8に記載の方法。
【請求項11】
前記複製アクティブ表示域はコンテンツを表示するように構成され、
前記複製境界はコンテンツを表示するようには構成されていない領域である
請求項8に記載の方法。
【請求項12】
前記所定の機能は、前記リモートデバイスの前記ユーザインタフェースにおいて前記特定のジェスチャがなされたときに実行される機能と同じ機能である、請求項8に記載の方法。
【請求項13】
前記所定の機能は、第1のインタラクティブ・コンテンツを有する第1の画面から、第2のインタラクティブ・コンテンツを有する第2の画面への移行を含む、請求項12に記載の方法。
【請求項14】
前記所定の機能は、前記複製アクティブ表示域に表示されているプログラムを閉じることを含む、請求項12に記載の方法。
【請求項15】
装置の処理手段により実行されると、前記装置に請求項8から14のいずれかに記載の方法を実行させるように構成されるプログラム命令を備える、コンピュータプログラム。
【請求項16】
ユーザインタフェースを備えるリモートデバイスとの通信リンクを確立する手段と;
前記リモートデバイスが、前記ユーザインタフェースの前記境界を跨ぐストローク入力を含む特定のジェスチャがなされたことを検出するように構成されているかどうかを判断する手段と;
前記リモートデバイスが、前記ユーザインタフェースの前記境界を跨ぐストローク入力を含む特定のジェスチャを検出するように構成されているとの決定に応じて、複製アクティブ表示域および複製境界を提供する手段と;
前記複製されたユーザインタフェースの前記複製境界を跨ぐストローク入力を含む前記特定のジェスチャを、前記装置で検出する手段と;
前記特定のジェスチャに対して、所定の機能実行することにより応答する手段と;
を備える、装置。
【請求項17】
少なくとも一つのプロセッサと、コンピュータプログラムコードを含む少なくとも一つのメモリとを備える装置であって、前記コンピュータプログラムコードは、前記プロセッサに実行されると、前記装置に少なくとも:
アクティブ表示域及び境界を有するユーザインタフェースを備えるリモートデバイスとの通信リンクを確立することと;
前記リモートデバイスが、前記ユーザインタフェースの前記境界を跨ぐストローク入力を含む特定のジェスチャがなされたことを検出するように構成されているかどうかを判断することと;
前記リモートデバイスが、前記ユーザインタフェースの前記境界を跨ぐストローク入力を含む特定のジェスチャを検出するように構成されているとの決定に応じて、複製アクティブ表示域および複製境界が提供されるようにすることと;
を行わせるように構成される、装置であって、更に前記コンピュータプログラムコードが、前記プロセッサに実行されると、前記装置に、既存のアクティブ表示域の一部を前記複製アクティブ表示域として用いるように構成すると共に、前記既存のアクティブ表示域の別の一部を前記複製境界として用いるように構成することにより、前記複製アクティブ表示域を提供させるように構成される、装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、リモートのユーザインタフェースとのやりとりを可能にするユーザインタフェースに関する。それは、ユーザ入力を受け取るための、複製されたアクティブ表示域と、複製された境界域とを与えることにより行われる。
【背景】
【0002】
携帯電話やPDAのような携帯デバイスは極めて一般的なものになってきており、ユーザの日常生活にとって欠かせないものとなってきている。多くの場合、携帯デバイスは、他の電子機器と無線通信を行う機能を有し、情報を交換することができる。
【0003】
ユーザは通常、自身の携帯デバイスについては非常に良く知っており、もし可能であるなら、(移動型・固定型に関わらず)他のデバイスのよく知らないユーザインタフェースを操作するよりは、自身のデバイスにより提供されるユーザインタフェースを操作するだろう。例えば、映画館においてチケット・キオスク(チケット販売端末)により提供されるユーザインタフェースを操作するよりは、多くのユーザは、同じタスクを遂行するために、自身の携帯デバイスを操作することを好むであろう。別の場合では、ユーザは、よく知っているユーザインタフェースを操作したいと考えるものの、それが大きなディスプレイ(例えばリモートデバイスのディスプレイ)に表示された状態で操作することを欲するかもしれない。
【0004】
このため、リモートデバイスのユーザインタフェースと実質的に同じ外観と機能を有するユーザインタフェースを、別のデバイスに提供するための改善されたメカニズムを提供することが望まれるだろう。
【例示的実施形態の摘要】
【0005】
そこで、複製されたユーザインタフェースを提供する装置や方法、コンピュータプログラムの実施形態が開示される。特に、複製されたユーザインタフェースを提供する装置は、少なくとも一つのプロセッサと、コンピュータプログラムコードを格納する少なくとも一つのメモリとを備えていてもよい。この少なくとも一つのメモリ及びコンピュータプログラムコードは、プロセッサと共に、装置に、
リモート・ユーザインタフェースとの通信リンクを確立することと;
前記リモート・ユーザインタフェースが、そのアクティブ表示域の外側の境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているかどうかを判断することと;
前記リモート・ユーザインタフェースが前記境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているとの決定に応じて、複製アクティブ表示域および複製境界域を提供することと;
を行わせるように構成されてもよい。ここで、少なくともその一部が前記複製境界域で検出されると共に、少なくともその一部が前記複製アクティブ表示域で検出されるユーザ入力は、所定の機能の実行を生じさせてもよい。
【0006】
場合によっては、少なくとも一つのメモリ及びコンピュータプログラムコードは、プロセッサと共に、装置に、
既存のアクティブ表示域の一部を前記複製アクティブ表示域として用いるように構成すると共に、前記既存のアクティブ表示域の別の一部を前記複製境界域として用いるように構成することにより、前記複製アクティブ表示域を提供させるように構成されてもよい。または、前記少なくとも一つのメモリ及びコンピュータプログラムコードは、プロセッサと共に、装置に、
既存のアクティブ表示域を前記複製アクティブ表示域として用いるように構成すること、および、前記複製アクティブ表示域を少なくとも一部は囲むように前記複製境界域を提供することにより、前記複製アクティブ表示域を提供させるように構成されてもよい。
前記複製アクティブ表示域はコンテンツを表示するように構成されてもよく、前記複製境界域はコンテンツを表示するようには構成されていなくてもよい。
【0007】
場合によっては、前記複製境界域で少なくとも部分的に開始したタッチ成分と、前記複製アクティブ表示域で少なくとも部分的に開始した動き成分とを備えるユーザ入力が、前記所定の機能の実行を生じさせてもよい。前記所定の機能は、第1のインタラクティブ・コンテンツを有する第1の画面から、第2のインタラクティブ・コンテンツを有する第2の画面への移行を含んでもよい。別の例では、前記所定の機能は、前記複製表示域で表示されているプログラムを閉じることを含んでもよい。
【0008】
別の実施形態では、複製されたユーザインタフェースを提供する方法及びコンピュータプログラムが開示される。複製されたユーザインタフェースを提供することは、リモート・ユーザインタフェースとの通信リンクを確立することと;
前記リモート・ユーザインタフェースが、そのアクティブ表示域の外側の境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているかどうかを判断することと;
前記リモート・ユーザインタフェースが前記境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているとの決定に応じて、複製アクティブ表示域および複製境界域を提供することと;を含む。
ここで、少なくともその一部が前記複製境界域で検出されると共に、少なくともその一部が前記複製アクティブ表示域で検出されるユーザ入力は、所定の機能の実行を生じさせる。
【0009】
場合によっては、前記複製アクティブ表示域を提供することは、既存のアクティブ表示域の一部を前記複製アクティブ表示域として用いるように構成することと、前記既存のアクティブ表示域の別の一部を前記複製境界域として用いるように構成することとを含んでもよい。場合によっては、前記複製アクティブ表示域を提供することは、既存のアクティブ表示域を前記複製アクティブ表示域として用いるように構成すること、および、前記複製アクティブ表示域を少なくとも一部は囲むように前記複製境界域を提供することを含んでもよい。さらに、前記複製アクティブ表示域はコンテンツを表示するように構成されてもよく、前記複製境界域はコンテンツを表示するようには構成されていなくてもよい。
【0010】
場合によっては、前記複製境界域で少なくとも部分的に開始したタッチ成分と、前記複製アクティブ表示域で少なくとも部分的に開始した動き成分とを備えるユーザ入力が、前記所定の機能の実行を生じさせてもよい。前記所定の機能は、第1のインタラクティブ・コンテンツを有する第1の画面から、第2のインタラクティブ・コンテンツを有する第2の画面へ移行することと、前記複製アクティブ表示域に表示されているプログラムを閉じることとのいずれかを含んでもよい。
【0011】
さらに別の実施形態では、複製されたユーザインタフェースを提供する装置が開示される。この装置は、リモート・ユーザインタフェースとの通信リンクを確立する手段と;
前記リモート・ユーザインタフェースが、そのアクティブ表示域の外側の境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているかどうかを判断する手段と;
前記リモート・ユーザインタフェースが前記境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているとの決定に応じて、複製アクティブ表示域および複製境界域を提供する手段と;を備える。
ここで、少なくともその一部が前記複製境界域で検出されると共に、少なくともその一部が前記複製アクティブ表示域で検出されるユーザ入力は、所定の機能の実行を生じさせる。
【図面の簡単な説明】
【0012】
本発明を一般的に説明してきたが、ここで添付の図面を参照する。なお図面のスケールは正確であるとは限らない。
【0013】
図1】本発明のある例示的実施形態に従う通信システムの一例を描いたものである。
【0014】
図2】本発明のある例示的実施形態に従う装置であって、複製されたユーザインタフェースを提供する装置の略ブロック図を描いたものである。
【0015】
図3】本発明の例示的実施形態に従うデバイスであって、アクティブ表示域と境界域とを提供するように構成されるデバイスを描いたものである。
【0016】
図4】本発明のある例示的実施形態に従う、動き成分を含むストローク・ジェスチャを描いたものである。
【0017】
図5】本発明のある例示的実施形態に従う装置であって、複製されたユーザインタフェースを提供するリモート・ユーザインタフェースとやりとりを行う装置を描いたものである。
【0018】
図6】本発明のある例示的実施形態に従うスワイプ・ジェスチャであって、リモート・ユーザインタフェースに適用される様々なスワイプ・ジェスチャを描いたものである。
【0019】
図7A】本発明の例示的実施形態に従う画面であって、やりとりが可能な様々なタイプのコンテンツを表す画面を描いたものである。
図7B】本発明の例示的実施形態に従う画面であって、やりとりが可能な様々なタイプのコンテンツを表す画面を描いたものである。
図7C】本発明の例示的実施形態に従う画面であって、やりとりが可能な様々なタイプのコンテンツを表す画面を描いたものである。
図7D】本発明の例示的実施形態に従う画面であって、やりとりが可能な様々なタイプのコンテンツを表す画面を描いたものである。
【0020】
図8A】本発明のある例示的実施形態に従う装置であって、既存のアクティブ表示域の一部が、複製アクティブ表示域として機能するように構成され、また既存のアクティブ表示行きの別の一部が複製境界域として機能するように構成される装置を描いたものである。
【0021】
図8B】本発明のある例示的実施形態に従う装置であって、既存のアクティブ表示域が複製アクティブ表示域として機能するように構成され、複製境界域は、複製アクティブ表示域を少なくとも一部囲むように設けられる装置を描いたものである。
【0022】
図9】本発明のある例示的実施形態に従う方法であって、複製されたユーザインタフェースを提供する方法のフローチャートを描いたものである。
【詳細説明】
【0023】
以下、添付図面を参照して本発明のある例示的実施形態をより詳細に説明する。なお本発明の全ての実施形態が紹介されるわけではない。実際、本発明は様々な形態で実施されることができるので、本発明の実施形態がここで紹介される実施形態に限定されると考えてはならない。むしろここで紹介される実施形態は、本明細書が法的な要件を充足するために紹介されるものである。本明細書および図面を通じて同様の符号は同様の要素を表す。本明細書で使用されるとき、"データ"や"コンテンツ"、"情報"又は同様の用語は、本発明の実施形態において送信されたり受信されたり、保存されたりしうるデータを言い表すために互いに代替しうるように使用される。このため、このような用語が本発明の実施形態の範囲や技術思想を制限するものと考えてはならない。
【0024】
また、本明細書において「回路(circuitry)」との用語は、(a)ハードウェアのみにより実装される回路(例えばアナログ回路および/またはデジタル回路による実装)や、(b)一つ以上のコンピュータ読み取り可能なメモリに記録されるソフトウェアおよび/またはファームウェアと回路との組合せであって、本明細書に記載の一つ以上の機能を協働して装置に実行させる組合せ、(c)例えば一つ以上のマイクロプロセッサや、一つ以上のマイクロプロセッサの部分であるような、一つ以上の回路であって、動作するために、(たとえ物理的には存在しないものであっても)ソフトウェアまたはファームウェアを必要とするような回路、を言い表す。「回路(circuitry)」のこの定義は、本明細書及び特許請求の範囲の全体にわたって適用されるべきものである。さらなる例として、本明細書で使用されるとき、「回路(circuitry)」との用語は、一つ以上のプロセッサおよび/またはこれらの一つ以上の部分と、これらに付随するソフトウェアおよび/またはファームウェアを含む実装を含む。更なる例として、本明細書で使用されるとき、「回路(circuitry)」との用語は、例えば、携帯電話のためのベースバンド統合回路やアプリケーションプロセッサ統合回路を意味することができ、また、サーバやセルラネットワークデバイス、その他のネットワークデバイス、その他のコンピュータデバイスの中の、同様の集積回路を意味することができる。
【0025】
本明細書において"コンピュータ読み取り可能な記憶媒体"との用語は、物理的な記憶媒体を言い表し、例えば揮発性又は非揮発性の記憶デバイスであり、電磁信号を言い表す"コンピュータ読み取り可能な送信媒体"からは区別されうるものである。
【0026】
前述のように、多くのユーザは、慣れているユーザインタフェースとやりとりを行うことを好むものである。例えば自分の移動端末(例えばPDAや携帯電話のようなユーザデバイス)のユーザインタフェースとやりとりを行うことを好むものである。機能の実行を生じさせるべくユーザ入力を行うべき場所を知る等のために、ユーザインタフェースの外観に慣れることに加えて、ユーザはまた、そのユーザインタフェースの様々な機能を知ることを楽しむものである。
【0027】
例えばタッチスクリーンディスプレイに関して、図3に描かれるように、ユーザデバイス100は、アクティブ表示域110と、アクティブ表示位置の外側の境界域120とを提供してもよい。アクティブ表示域110は、場合によっては、ユーザに画像を表示するように構成されるタッチスクリーンディスプレイの一部であってもよい。これに対して境界域120は、アクティブ表示行きを囲む、暗くされた領域又は死領域(dead area)であってもよく、画像が表示されない領域であってもよいが、タッチ入力を受け取る能力は有する領域であってもよい。しかし別の例では、アクティブ表示域と境界域の両方に画像が表示されるものであってもよい。
【0028】
ユーザデバイスは、特定のユーザ入力を、特定の機能を立ち上げるものであるとして認識するように構成されてもよい。そのような認識は、タッチスクリーンディスプレイ上のどこでどのように入力がなされたかに基づいて行われてもよい。例えば、ユーザが入力をタッチスクリーンディスプレイの端部(例えば境界域120)で開始し、指を画面中央へ向けて動かすとき(例えばアクティブ表示域110へ入るように動かすとき)、"スワイプ−IN"タッチ・ジェスチャが認識されてもよい。そして"スワイプ−IN"ジェスチャは、例えば、インタラクティブ・コンテンツの画面の切り替えを生じさせてもよい。例えば、特定のアプリケーションを表示している状態から、デバイスのホームスクリーンを表示する状態への切り替えを生じさせてもよい。従って、"スワイプ−IN"ジェスチャを認識するには、アクティブ表示域110と境界域120との両方に、タッチセンサーが設けられていなければならない。
【0029】
他のデバイスが上記ユーザデバイスと通信し、当該他のデバイスの画面上に、上記ユーザデバイスのユーザインタフェースと同じユーザインタフェースを表示するとき、一つの問題が生じうる。それは、当該他のデバイスが、境界域及びアクティブ表示域の両方における検出に依存してジェスチャを認識するためのハードウェアをサポートしていない可能性があるというものである。すなわち、当該他のデバイスのタッチスクリーンディスプレイは、"スワイプ−IN"ジェスチャが開始される境界域を提示するようには構成されておらず、"スワイプ−IN"ジェスチャを検出することができないかもしれない。そして、ユーザが"スワイプ−IN"ジェスチャを入力しようと試みても、その行為は、異なるジェスチャであると解釈されるかもしれず、意図しない別の機能(例えばパニング機能)を起動してしまうかもしれない。
【0030】
そこで、複製されたユーザインタフェースを提供する、本発明の実施形態は、複製されたアクティブ表示域(複製アクティブ表示域)及び複製された境界域(複製境界域)を含む。デバイスのユーザインタフェースは、リモートのユーザインタフェース(リモート・ユーザインタフェース)で認識されるものと同じタイプのユーザ入力を認識できてもよく、また、その入力に基づいて、リモート・ユーザインタフェースで実行されるものと同じ機能が実行されてもよい。ここで、リモート・ユーザインタフェースとの用語は、そのユーザインタフェースがシミュレートされる(すなわち模倣される)デバイスを表してもよい。従って、ユーザの携帯デバイスが他のデバイス、例えばキヨスク端末やその他の固定端末、と通信中であり、当該固定端末のユーザインタフェースを複製したユーザインタフェースがユーザの携帯デバイスに提供される時、当該固定端末は、リモート・ユーザインタフェースでありうる。別の例では、固定端末がユーザの携帯デバイスと通信中であり、当該固定端末の表示画面に携帯デバイスのユーザインタフェースの画面が提供される時、当該携帯デバイスは、リモート・ユーザインタフェースでありうる。
【0031】
従って、後に更に詳しく説明されるように、本発明の実施形態は、リモート・ユーザインタフェースとの間に通信リンクを確立し、当該リモート・ユーザインタフェースが、当該リモート・ユーザインタフェースのアクティブ表示域の外側の境界域でその少なくとも一部が受け取られるユーザ入力を検出するように構成されるかどうかを判断する。そしてその判断に応じて、複製アクティブ表示域及び複製境界域が提供されうる。その少なくとも一部が複製境界域で受け取られると共にその少なくとも一部が複製アクティブ表示域で受け取られるユーザ入力は、所定の機能を立ち上げる。このようにして、リモート・ユーザインタフェースにおけるユーザ入力認識能力及びユーザ入力対応能力と事実上同じ能力を有する、シミュレートされた(模倣された)ユーザインタフェースが提供されうる。そのようなシミュレートされたユーザインタフェースは、そのような機能性を直接的にサポートするハードウェアが欠けていても、提供されうる。
【0032】
図1は、例示的実施形態の一つを示し、本発明の実施形態から利益を享受する携帯端末10のブロック図を示す。なお、示された携帯端末10は、本発明の実施形態から利益を享受しうるような装置の単なる例であり、本発明の実施形態の範囲を制限するものと受け取られてはならない。それ故、携帯情報端末(PDA)や携帯電話,ポケットベル,携帯テレビ,ゲーム機器,ラップトップコンピュータ,カメラ,タブレットコンピュータ,タッチパネル,ウェアラブルデバイス,ビデオレコーダー,オーディオ/ビデオプレーヤー,ラジオ,電子書籍,全地球測位システム(GPS)デバイス等の測位デバイス,またはこれらの組合せ,およびその他の音声・テキスト通信システムといった多種多様な携帯端末が本発明の実施形態を採用できるが、固定式(非携帯式)電子デバイスを含む他のデバイスであっても、一部の例示的実施形態を採用することができる。
【0033】
携帯端末10は、送信機14および受信機16と協働する(一つまたは複数の)アンテナ12を備えていてもよい。携帯端末10はさらに、送信機14への信号の送信や受信機16からの信号の受信を制御する、プロセッサ20や処理デバイス(図2のプロセッサ70等)のような装置を備えていてもよい。後述のように、当該信号は、近接度成分(proximity component)及び/又は方向成分(orientation component)を備えていてもよい。この信号は更に、利用可能なセルラシステムの無線インタフェース規格に従うシグナリング情報を含んでいてもよく、ユーザの音声や受信データ、ユーザが生成したデータ等を含んでいてもよい。これに関して携帯端末10は、一つ以上の無線インタフェース規格や通信プロトコル,変調タイプ,アクセスタイプによって動作可能であってもよい。例として、携帯端末10は、第1世代、第2世代、第3世代、第4世代、及び同様の通信プロトコルのうちいずれか一つ以上で動作可能であってもよい。例えば携帯端末10は、第2世代(2G)の無線通信プロトコルであるIS−136(時分割多重アクセス,TDMA)やGSM(登録商標),IS−95(符号分割多重アクセス,CDMA)に従って動作可能であってもよく、第3世代(3G)の通信プロトコルであるUTRAN(universal terrestrial radio access network)やCDMA2000,WCDMA(登録商標),時分割同期CDMA(TD−SCDMA)に従って動作可能であってもよく、3.9Gの無線通信プロトコルであるE−UTRAN(evolved- universal terrestrial radio access network)や第4世代(4G)の無線通信プロトコルであるLTE(Long Term Evolution)やLTE−A(LTE-Advanced)等の規格に従って動作可能であってもよい。あるいは(または加えて)、携帯端末10はセルラ方式ではない通信メカニズムに従って動作可能であってもよい。例えば、携帯端末10は無線ローカルエリアネットワーク(WLAN)や他の通信ネットワークで通信可能であってもよい。
【0034】
実施形態によっては、プロセッサ20は携帯端末10の音声・論理機能を実装する回路を備えていてもよい。プロセッサ20は、例えば、DSPやマイクロプロセッサ、種々のA/DコンバータやD/Aコンバータ、サポート回路を備えていてもよい。携帯端末10の信号及び情報処理機能は、それぞれの能力に従って、これらのデバイスの中に割り当てられている。プロセッサ20は、変調及び送信を行う前に、畳み込み的な符号化や、メッセージおよびデータのインタリーブを行う機能を有していてもよい。プロセッサ20は更に、音声符号器やデータモデムを内蔵していてもよい。さらに、プロセッサ20は、メモリに記録されうる一つ以上のソフトウェアプログラムを実行する能力を有してもよい。例えばプロセッサ20は、標準的に用いられているWebブラウザのような通信プログラムを実行する能力を有していてもよい。そのような通信プログラムは、携帯端末10がWebコンテンツを送受信できるようにする。そうしたWebコンテンツには、WAP(Wireless Application Protocol)やHTTP(Hypertext Transfer Protocol)位置ベースのコンテンツなどに従う位置ベースのコンテンツやその他のWebページコンテンツ等がある。
【0035】
携帯端末10はまた、出力デバイスであるイヤホンやスピーカー24やリンガ22,マイクロフォン26,ディスプレイ28,およびユーザ入力インタフェースを含むユーザインタフェースを備えていてもよく、これら全てがプロセッサ20に接続される。ユーザ入力インタフェースは、携帯端末10のデータ受信を可能にし、また携帯端末10のデータ受信を可能にするデバイスをいくつ備えていてもよい。こうしたデバイスには、例えばキーパッド30やタッチスクリーンディスプレイ(タッチスクリーンディスプレイを提供するディスプレイ28)等の入力デバイスが存在する。キーパッド30を含む実施形態において、当該キーパッド30は、0−9の数字キーや関連するキー(#,*)、携帯端末10を操作するその他のハードキーやソフトキーを備えてもよい。あるいは、または加えて、キーパッド30は、一般的なQWERTY配列のキーパッドを備えていてもよい。キーパッド30はまた、それぞれ機能に関連付けられた多くのソフトキーを備えていてもよい。あるいは、または加えて、携帯端末10は、ジョイスティックまたはユーザ入力インタフェースのようなインタフェースデバイスを備えてもよい。タッチスクリーンディスプレイを含む実施形態においては、後述のように、キーパッド30だけでなくスピーカー24や,リンガ22,マイクロフォン26の何れかを省略していてもよい。さらに装置10は、装置10を動作させるための様々な回路に電源を供給し、また検知可能な出力としての機械的な振動を提供する、振動バッテリパックのようなバッテリー34を備えてもよい。
【0036】
携帯端末10はユーザ識別モジュール(UIM)38を備えていてもよい。UIM38は、典型的には内蔵のプロセッサを有するメモリデバイスである。UIM38には、例えば、加入者識別モジュール(SIM)や、UICCカード、USIM、R−UIMなどが含まれる。UIM38は、典型的に、携帯加入者に関する情報要素を格納する。UIM38に加えて携帯端末10はメモリを備えていてもよい。例えば携帯端末10は、データの一時的な保管のためのキャッシュ領域を備えるランダムアクセスメモリ(RAM)のような揮発性メモリ40を備えてもよい。携帯端末10は、内蔵および/または着脱可能な不揮発性メモリ42を備えていてもよい。これらのメモリは、携帯端末10の機能を実装するために携帯端末10に使用される情報・データを任意の数だけ格納してもよい。
【0037】
実施形態によっては、携帯端末10は、携帯端末10のユーザの近辺の物や人、場所の写真やビデオを撮影するための、カメラその他のメディアキャプチャ要素32を備えていてもよい。携帯端末10は(場合によってはある種の固定端末も)、様々なタイプのコンテンツの中でも特に、写真やビデオコンテンツに関連して例示的実施形態を実施してもよい。そのような写真やビデオは様々な所で作成され又は生成されうるが、移動端末10(又は固定端末)で使用可能な写真やビデオである。
【0038】
本発明のある例示的実施形態が図2を参照してこれから説明される。図2には、複製されたユーザインタフェースを提供する装置50のある要素が描かれている。図2の装置50は、例えば、図1の携帯端末10と共に採用されてもよい。しかし、図2の装置50は、携帯式または固定式に関わらず、その他の様々なデバイスによって採用されうることに留意されたい。したがって、本発明の実施形態は、図1の携帯端末10のようなデバイスへの適用に限定されないことに留意されたい。例えば、装置50はパーソナルコンピュータやタブレット、携帯電話その他のユーザ端末に採用されてもよい。また、場合によっては、装置50はサーバや他のサービスプラットフォーム等の固定デバイスにあってもよく、その中身が(例えば、サーバ/クライアントの関係を通じて)固定デバイスで生じる処理に基づくユーザ端末として、リモートデバイスに存在していてもよい。
【0039】
図2は、複製されたユーザインタフェースを提供する装置の構成例の一つを示しているが、本発明の実施形態を実装するためにその他多数の構成が用いられてもよいことにも留意されたい。それ故、本出願のデバイスや要素は相互通信するように示されているが、実施形態によっては、こうしたデバイスや要素が同一のデバイスまたは要素に実装可能であると見做すべきである。したがって、相互通信するように示されるデバイスや要素は、同一のデバイスまたは要素の一部として代替されうるものと理解すべきである。
【0040】
以下、図2を参照すると、複製されたユーザインタフェースを提供する装置50が示されている。装置50は、プロセッサ70やユーザインタフェース・トランシーバ72,通信インタフェース74,メモリデバイス76を備えてもよく、あるいはそれらが相互に通信していてもよい。実施形態によっては、プロセッサ70(および/またはコプロセッサや、プロセッサ70をアシストする、あるいは関連する他の処理回路)は、装置50のコンポーネント間で情報をやり取りするバスを介してメモリデバイス76と通信してもよい。メモリデバイス76は、例えば、一つ以上の揮発性および/または非揮発性のメモリを含んでもよい。換言すれば、メモリデバイス76は、コンピュータ読み取り可能なストレージメディアのような、ゲートを備える電子的なストレージデバイスであってもよく、例えばプロセッサ70のような計算デバイス等の機械によって呼び出されうるデータ(たとえばビット)を格納するように構成されてもよい。本発明の例示的実施形態に従う様々な機能を装置が実行することを可能にするべく、メモリデバイス76は、情報やデータ、コンテンツ、ファイル、アプリケーション、命令および同様のものを格納するように構成されてもよい。例えばメモリデバイス76は、プロセッサ70より処理される入力データをバッファするように構成されてもよい。あるいは、または加えて、メモリデバイス76は、プロセッサ70により実行される命令を格納するように構成されてもよい。
【0041】
実施形態によっては、装置50は、本発明の例示的実施形態を採用するように構成される、移動端末10のような移動端末や、固定式通信デバイスまたは計算デバイスであってもよい。しかし実施形態によっては、装置50は、チップまたはチップセットとして具現化されてもよい。換言すれば、装置50は、基板等の構造組立部品に素材や部品,配線等を備える、一つ以上の物理的パッケージ(チップ等)を備えてもよい。構造組立部品は物理的な強度やサイズの保全を提供してもよく、また、要素回路の電気的な相互作用を抑える役割を果たしてもよい。したがって、装置50は場合によっては、単一のチップや単一のシステム・オン・チップ(SoC)上に、本発明の実施形態を実装するように構成されてもよい。このように場合によっては、チップまたはチップセットは本明細書に記載される機能を提供する一つ以上の処理を実行する手段を構成してもよい。
【0042】
プロセッサ70は非常に多くの方法で実施されることができる。例えばプロセッサ70は、一つ以上の様々な処理手段として具現化されてもよい。そのような処理手段には例えば、コプロセッサやマイクロプロセッサ,コントローラー,デジタルシグナルプロセッサ(DSP),DPS搭載型または非搭載型の処理要素,その他様々な処理回路が含まれる。また、そのような処理回路には、例えば、ASIC(特定用途向け集積回路)やFPGA(フィールドプログラマブルゲートアレイ),マイクロコントローラーユニット(MCU),ハードウェアアクセラレータ,特定用途向けコンピュータチップ等が存在する。それ故、実施形態によっては、プロセッサ70は独立して動作するように構成される一つ以上の処理コアを備えてもよい。マルチコアプロセッサによって単一の物理的パッケージで複数の処理が実行可能になる。あるいは、または加えて、プロセッサ70はバスを介して直列に配される一つ以上のプロセッサを備え、独立に命令を実行できてもよく、パイプラインおよび/またはマルチスレッドプロセスを実行できてもよい。
【0043】
ある例示的実施形態では、プロセッサ70は、メモリデバイス76に格納された命令を実行するように構成されてもよい。またはプロセッサ70は、自身がアクセス可能な命令を実行するように構成されてもよい。あるいは、または加えて、プロセッサ70はハードコードされた機能を実行するように構成されてもよい。このように、ハードウェアにより構成されるかソフトウェアによる手法により構成されるか、またはこれらの組合せにより構成されるかに関わらず、プロセッサ70は、本発明の実施形態に従う処理を実行する能力を有する(例えば、物理的に回路の中に具現化された)要素を表す。例えば、プロセッサ70がASICやFPGAのようなものにより具現化されるとき、プロセッサ70は、本明細書により説明される処理を遂行するために特別に構成されたハードウェアと考えられうる。または、別の実施形態では、プロセッサ70はソフトウェア命令を実行する実行機器として具現化される。そのような命令は、実行されることにより、プロセッサ70を、本明細書に記載されるアルゴリズムまたは処理を遂行するように構成しうる。しかし、ある場合では、プロセッサ70は、たとえば移動端末やネットワークデバイス等の特定の装置のプロセッサである場合もある。その場合、そのような装置は、本明細書に記載されるアルゴリズム又は処理を実行するための命令によりプロセッサ70を構成することにより、本発明の実施形態を取り入れるように構成される。プロセッサ70はとりわけ、その動作をサポートするクロックや算術演算ユニット(ALU)、ロジックゲートを備える。
【0044】
通信インタフェース74は、ネットワークや、装置50と通信可能なデバイスやモジュールとの間でデータを受信および/または送信するように構成されたデバイスや回路のような、如何なる手段であってもよい。こうした手段は、ハードウェアやハードウェアとソフトウェアの組合せなどとして具現化される。この点において、通信インタフェース74は例えば、(一つ以上の)アンテナと、無線通信ネットワークとの通信を可能にするサポートハードウェアおよび/またはソフトウェアを備えていてもよい。あるいは、または加えて、通信インタフェース74は、(一つ以上の)アンテナとやり取りして、(一つ以上の)アンテナを介して信号を送信したり、(一つ以上の)アンテナを介して受信される信号を処理したりする回路を備えていてもよい。設置環境によっては、通信インタフェース74は有線通信をサポートしてもよい。それ故、通信インタフェース74は例えば、ケーブルTVやデジタル加入者線(DSL),USB(ユニバーサル・シリアル・バス),その他の機構をサポートする通信モデムおよび/またはその他のハードウェア/ソフトウェアを備えていてもよい。
【0045】
ユーザインタフェース・トランシーバ72は、ユーザ入力を示す情報を受け取ったり、聴覚的,視覚的,機械的またはその他の出力をユーザに提供するために、プロセッサ70と通信してもよい。それ故、ユーザインタフェース・トランシーバ72は例えば、キーボードやマウス,ジョイスティック,ディスプレイ,タッチスクリーン,タッチ領域,ソフトキー,マイクロフォン,スピーカー,その他の入出力機構の何れかを備えていてもよい。あるいは、または加えて、プロセッサ70は、スピーカーやリンガ,マイクロフォン,ディスプレイ等の一つ以上のユーザインタフェースの要素の少なくとも何れかを制御するように構成されるユーザインタフェース回路を備えていてもよい。プロセッサ70および/またはプロセッサ70を含むユーザインタフェース回路は、コンピュータプログラム命令を通じて、ユーザインタフェースの一つ以上の要素の一つ以上の機能を制御するように構成されてもよい。そうしたコンピュータプログラム命令は、例えばメモリデバイス76のような、プロセッサ70がアクセス可能なメモリに格納される、ソフトウェアおよび/またはファームウェア等であってもよい。
【0046】
ある例示的実施形態において、装置50は、タッチスクリーンディスプレイ68(例えばディスプレイ28を備えるか、またはタッチスクリーンディスプレイ168と通信してもよい。別の例では、タッチスクリーンディスプレイ68は、二次元(2D)ディスプレイまたは三次元(3D)ディスプレイであってもよい。タッチスクリーンディスプレイ68は、既知の如何なるタッチスクリーンディスプレイとして実装されてもよい。従って例えば、タッチスクリーンディスプレイ68は、適切な如何なる技術によりタッチ認識を可能にしてもよい。例えば抵抗を利用したもの、コンデンサーを利用したもの、赤外線を利用したもの、歪みゲージを利用したもの、表面波を利用したものなどがあり、また、光学式、分散信号技術を利用したもの、音響パルスを利用したもの、その他の技術を利用したものもあるが、これらいずれを用いてもよい。ユーザインタフェース・トランシーバ72は、タッチスクリーンディスプレイ68と通信するようにされてもよい。それによってユーザインタフェース・トランシーバ72は、タッチスクリーンディスプレイ68におけるタッチ入力を受け取ったり、それを解析したり、そのような指示(すなわちタッチ入力)に対する応答を修正したりしてもよい。タッチ入力に対する応答は、タッチ入力から推定された(又は決定された)ユーザアクションに基づいて行われてもよい。
【0047】
図2を更に参照する。ある例示的実施形態において、装置50はタッチスクリーン・インタフェース80を備えてもよい。ある例において、タッチスクリーン・インタフェース80は、ユーザインタフェース・トランシーバ72の一部であってもよい。しかし、別のある実施形態においては、タッチスクリーン・インタフェース80は、プロセッサ70により実装されてもよく、又はプロセッサ70により制御される別の要素であってもよい。このように、実施形態によっては、プロセッサ70は、タッチスクリーン・インタフェース80が関与する様々な機能の起動や実行を、生じさせたり、指示したり、命令したりするものであると考えられうる。タッチスクリーン・インタフェース80は、ソフトウェアに従って動作するデバイスや回路、ハードウェア、ソフトウェアとハードウェアの組み合わせのような、如何なる手段であってもよい。例えばソフトウェア制御で動作するプロセッサ70や、本明細書で説明される処理を実行するように特別に構成されたASICやFPGAとして具現化されるプロセッサ70や、これらの組み合わせであってもよい。そのような手段は、デバイスや回路を、以下に説明されるタッチスクリーン・インタフェース80の機能を実行するように構成する。従って、ソフトウェアが用いられるある例では、ソフトウェアを実行するデバイスや回路(その一例はプロセッサ70である)は、そのような手段に関連する構成を形成する。
【0048】
タッチスクリーン・インタフェース80は、タッチスクリーンディスプレイ68におけるタッチ・イベントの形の入力を受け取るように構成されてもよい。そこでタッチスクリーン・インタフェース80は、タッチスクリーンディスプレイ68と通信するようにされてもよい。それによってタッチスクリーン・インタフェース80は、タッチスクリーンディスプレイ68におけるユーザ入力を受け取ったり、ユーザ入力に対する応答を修正したりしてもよい。ユーザ入力に対する応答は、ユーザ入力から推定された(又は決定された)ユーザアクションに基づいて行われてもよい。タッチ・イベントの認識に続いて、場合によってはタッチスクリーン・インタフェース80は、タッチ・イベントの分類を決定し、タッチ・イベントに基づいて対応する機能を提供するように構成されてもよい。
【0049】
ある実施形態において、タッチスクリーン・インタフェース80は、検出器82,ディスプレイマネージャ84,ジェスチャ分類部86を備えてもよい。検出器82,ディスプレイマネージャ84,ジェスチャ分類部86の各々は、如何なるデバイスや手段であってもよく、ハードウェアで実装されたものであったり、ハードウェア及びソフトウェアの組み合わせで実装されたものであったりしてもよい。いずれにせよこれらは、それぞれ検出器82,ディスプレイマネージャ84,ジェスチャ分類部86が持つ機能を遂行するように構成される。ある例示的実施形態において、検出器82,ディスプレイマネージャ84,ジェスチャ分類部86の各々はプロセッサ70により制御されてもよく、または、プロセッサ70により具現化されてもよい。
【0050】
検出器82は、ユーザ入力を受け取るべくタッチスクリーンディスプレイ68と通信するようにされてもよく、受け取った入力に基づいてタッチ・イベントを認識したり判断したりしてもよい。タッチ・イベントは、オブジェクトの検出として定義されてもよい。ここで上記オブジェクトとしては、例えばスタイラスや指、ペン、鉛筆、携帯電話、デジタルカメラ、その他の携帯デバイス(例えば図1に示される移動端末10)であってもよく、「タッチ」であると記録されるに十分なくらい、タッチスクリーンディスプレイの部分に接触しようとするオブジェクトであることができる。これに関して、例えば、タッチ・イベントは、タッチスクリーンディスプレイ68のスクリーン上で、所定の範囲にわたって所定の閾値を超える圧力が検出されることであってもよい。各タッチ・イベントに続いて、検出器82は、タッチ・イベントに対応するデータを、ジェスチャの分類のために、ジェスチャ分類部86に届けるように構成されてもよい。ここで上記のデータとしては、例えばタッチが検出された位置、タッチの長さ、タッチしたオブジェクトの数、タッチの圧力、タッチの面積、動きの速さ、動きの宝庫、遅延の長さ、タッチの周波数等であることができる。このようにして、検出器82は、例えばタッチ・イベントの結果として印加されるタッチ圧(所定の範囲に亘る力)の大きさを測定するように構成される一つ又は複数の力センサーを備えるか、またはそのような力センサーと通信状態にあってもよい。
【0051】
ジェスチャ分類分86は、タッチ・イベントの対応する分類を認識し決定するように構成されてもよい。つまり、ジェスチャ分類部86は、タッチ・イベントをいくつかの可能性のあるジェスチャのいずれかに分類すべく、ジェスチャ分類を行うように構成されてもよい。認識可能なジェスチャの例には、タッチやマルチタッチ、ストローク、文字、記号、形、ピンチ・イベント(つまみイベント、例えばピンチインやピンチアウト)等がある。
【0052】
タッチは、タッチスクリーンディスプレイ68の表面上で動きが全くないか、ほんの少しの動きしかないような形で特定の領域に衝撃を与え、続いてその衝撃が取り除かれるというタッチ・イベントであると定義されてもよい。マルチタッチは、複数のタッチ・イベントが連続して(又はだいたい連続して)検知されることと定義されてもよい。ストロークは、タッチ・イベントに続いて、タッチスクリーンディスプレイ68との接触を保ったまま、タッチ・イベントを生成したオブジェクトの移動が直ちに生じるようなイベントであると定義されてもよい。つまり、ストロークは、タッチ・イベントに続く動きであって、瞬間的なタッチ位置の一連の移動を定義する、連続的な移動するタッチ・イベントを形成する動きであると定義されてもよい。(例えばドラッグ操作やフリック操作のようである。)従って、ストローク130(図4参照)は、接触成分A(例えばタッチスクリーンディスプレイ68との最初の接触)と、動き成分B(例えばタッチスクリーンディスプレイに接触を維持しつつ移動するオブジェクトの動きであり、矢印130で示される)とを含んでもよい。この例において、動き成分の方向は、タッチスクリーンディスプレイを横切るオブジェクトの動きの方向であってもよい。場合によっては、この方向は図4において破線135で示されるように、動き成分の方向とは完全に同じではない、ノミナルな方向であってもよい。すなわち、タッチスクリーンディスプレイ68を横切るオブジェクトの動きの実際の方向またはその瞬間的な方向ではない方向であってもよい。ストロークの例には、後により詳細に説明されるように、"スワイプ−IN"や"スワイプ−OUT"、"スカイプ−UP"、"スワイプ−DOWN"のようなジェスチャを含んでもよい。マルチストローク及び/又はマルチタッチは、文字や記号を定義する、特定の形や特定の形のシーケンスを定義するために用いられてもよい。
【0053】
ピンチ・イベントは、ピンチアウトかピンチインかに分類されてもよい。ピンチインは、以下では単にピンチと称する場合がある。ピンチはマルチタッチであって、マルチタッチを形成している複数のタッチ・イベントが互いに離れているようなイベントであると定義されてもよい。ピンチ動作(すなわち「つまむ」という動作)を模倣するために、少なくとも2つのオブジェクトが関与するマルチタッチ・イベントの発生に続いて、一つ又は複数のオブジェクトが、互いに近づく方向に動いてもよい。一方ピンチアウトは、やはりマルチタッチであって、マルチタッチを形成している複数のタッチ・イベントが初めは互いに近寄っており、続いて、マルチタッチを生じた複数のオブジェクトが互いに離れるように動くようなイベントであると定義されてもよい。場合によっては、ピンチアウトに関する複数のオブジェクトは、初めは互いに非常に接近していて、マルチタッチというよりはシングルタッチであると解釈される場合もある。しかしその解釈は、2つのオブジェクトが互いに離れるように動くことで修正される。
【0054】
ジェスチャ分類部86は、タッチ・イベントの認識,検出,分類の少なくとも一つに関する検出情報を、ディスプレイマネージャ84に伝えるように構成されてもよい。ディスプレイマネージャ84は、タッチスクリーンディスプレイ68に表示されているものについての修正に関する制御を提供するように構成されてもよい。そのような制御は、検出器82から受け取った検出情報に基づくものであってもよく、また、ジェスチャ分類部86により決定される、各ジェスチャ分類及び実装特性の各々に規定される応答に従って、ジェスチャ分類分86から提供されるジェスチャの分類に基づくものであってもよい。すなわち、ディスプレイマネージャ84は、ディスプレイ上で検出されうるタッチ・イベントについて決定されたジェスチャ分類及び実装特性分類に従って、ディスプレイを構成してもよい。ここで例えば、表示されるコンテンツに関連して、及び/又は表示されているコンテンツに対して提示されているユーザインタフェース効果に関連して、ディスプレイを構成してもよい。
【0055】
図5を参照すると、装置50が一般的に描かれている。この装置は図1の移動端末10(例えば携帯電話)として具現化されたものであってもよい。この装置はタッチスクリーンディスプレイ68を備えるか、又はタッチスクリーンディスプレイ68に関連付けられる。上述のように、装置50は、少なくとも一つのプロセッサ(例えば図2のプロセッサ70)と、コンピュータプログラムコードを格納する少なくとも一つのメモリ(例えば図2のメモリデバイス76)とを有する。この少なくとも一つのメモリ及びコンピュータプログラムコードは、プロセッサと共に、装置50に少なくとも、リモート・ユーザインタフェース150との通信リンクを(例えば図2の通信インタフェース74を介して)確立させるように構成されてもよい。例えば、上述のように、装置50はユーザの携帯デバイスとして具現化されることができ、例えばユーザの携帯電話として具現化されることができる。一方、リモート・ユーザインタフェース150は映画館のチケット販売キオスクのような固定端末のユーザインタフェースであってもよい。しかし上述のように、「リモート・ユーザインタフェース」との語句は、相対的な用語である。他のデバイスによって複製されるユーザインタフェースは、本明細書における説明の目的のためには、いずれもリモート・ユーザインタフェースであると称されることができる。
【0056】
場合によっては、リモート・ユーザインタフェース150は、アクティブ表示域110と、アクティブ表示域の外側の境界域120とを有してもよい。アクティブ表示域110は、例えば、ディスプレイの中央部分であってもよく、ユーザにコンテンツを表示する部分であってもよい。境界域120は、アクティブ表示域110に隣接し取り囲むようにされてもよい。場合によっては、境界域120は、アクティブ表示域110から視覚的に明確に区別されるようにされてもよい。例えば、境界域120は、コンテンツが表示されないように構成されてもよく、従って暗く見えたり、不感領域であると思われたりしてもよい。しかし別の場合には、境界域120に表示されるコンテンツが、アクティブ表示域110に表示されるコンテンツとは異なる見え方になるようにされてもよい。例えば、境界域120に表示されるコンテンツは、色があせた感じに見えてもよく、部分的に隠されているように見えてもよい。場合によっては、境界域120は、簡単な情報を表示してもよい。例えば色の帯等の指示子を用いて通信接続の存在を表示してもよい。
【0057】
いずれにせよ、装置50は、リモート・ユーザインタフェース150が、そのアクティブ表示域110の外側の境界域120において少なくとも部分的に受け取ったユーザ入力を検出するように構成されているかどうかを決定するようにされる。なお、図面に示され明細書中で例示されている実施形態は、タッチ入力を受け取るように構成されるタッチスクリーンディスプレイ68を参照しているが、タッチディスプレイではないディスプレイや、タッチ式ではないユーザ入力デバイス(例えばキーバットやマウス)に対して入力が行われる場合もある。これに関して、非タッチ入力を受け取った位置は、入力が行われた位置(例えばマウスポインタのような指示子の位置)に対応する、非タッチ式ディスプレイ上の位置を表してもよい。 また、入力の動き成分は、非タッチ式ディスプレイ上の指示子の動きであってもよい。それは例えば、水平面上のマウスの動きに対応するものであってもよく、動き成分の方向は、非タッチ式ディスプレイを横切る指示子の動きの方向であってもよい。
【0058】
リモート・ユーザインタフェース150が境界域120において少なくとも部分的に受け取ったユーザ入力を検出するように構成されているとの決定に応じて、装置50は、複製したアクティブ表示域(複製アクティブ表示域)111及び複製した境界域(複製境界域)121を提供するようにされてもよい。このようにして、少なくともその一部が複製境界域121で検出されると共に、少なくともその一部が複製アクティブ表示域111で検出されるユーザ入力(例えば図4のストローク133)は、所定の機能の実行を生じさせてもよい。
【0059】
例えば図6を参照すると、ある例において、リモート・ユーザインタフェース150は、ストローク130のようなユーザ入力に応じて特定の処理を受け取り実行するように構成されてもよい。ここでストローク130は、少なくとも部分的に境界域120で開始されるタッチ成分Aと、少なくとも部分的にはアクティブ表示域110で受け取られる動き成分Bとを備える。ストローク130は、例えば、スワイプ−INジェスチャ132、スワイプ−UPジェスチャ136、スワイプ−DOWNジェスチャ138等であってもよい。これらのどれであるかは、境界域120のエッジ140のどれが初期タッチ成分Aを受け取ったかと、動き成分Bの方向とに依存する。別の例では、リモート・ユーザインタフェース150は、少なくとも部分的にアクティブ表示域110で開始されるタッチ成分Aと、少なくとも部分的には境界域で受け取られる動き成分Bとを備えるユーザ入力(例えばスワイプ−OUTジェスチャ134)に応じて、特定の処理を受け取り実行するように構成されてもよい。
【0060】
これに関して、スワイプ−INジェスチャ132は、所定の機能の実行を生じさせてもよい。例えば、第1のインタラクティブ・コンテンツを有する第1の画面から、第2のインタラクティブ・コンテンツを有する第2の画面への移行を生じさせてもよい。第1の画面は、例えば図7Aに描かれているようなロックスクリーンであってもよい。スワイプ−INジェスチャ132を受け取ると、図7Aのロックスクリーンから、図7Bのホームスクリーンへの移行が生じてもよい。ホームスクリーンから、ユーザは、様々なプログラムはアイコンを選択することに応じて、様々なプログラムを起動することができてもよい。同様に、スワイプ−OUTジェスチャ134は、別の既定機能の実行を生じさせてもよい。例えば、ユーザがあるプログラム(例えば図7Cに描かれるような、ユーザの連絡先を表示するプログラム)を開いていて、それをアクティブ表示域に表示しているときに、スワイプ−OUTジェスチャ134が受け取られると、当該スワイプ−OUTジェスチャ134は、上記プログラムを閉じ、上記プログラムの画面から図7Bのホームスクリーンの画面に移動させる役目を果たしてもよい。更なる例として、スワイプ−UPジェスチャ136は、図7Bのホームスクリーンのような、インタラクティブ・コンテンツの第1の画面から、図7Cの連絡先画面のような特定のプログラムの画面への移行を生じさせてもよい。スワイプ−DOWNジェスチャ138は、既に表示されているコンテンツの少なくとも一部に重ねて特定のコンテンツを表示することを生じさせてもよい。例えば、ユーザのリマインダーや約束のリストが画面上の少なくとも一部に表示されてもよい。その際、既に表示されているコンテンツの表示が部分的に邪魔されることになる。
【0061】
従って、上述のように、また紹介した例で説明したように、境界域120及び/又はアクティブ表示域110の特定の領域においてユーザ入力を受け取ることは、第1のインタラクティブ・コンテンツを表すスクリーンから、第2のインタラクティブ・コンテンツを表すスクリーンへの移行を生じさせてもよい。ここで、「インタラクティブ・コンテンツ」との用語は、図2のディスプレイ68や図1のディスプレイ28を介してユーザに提示される情報であって、アイコンや写真、イラスト等のグラフィック情報や、テキスト情報であってもよく、ユーザが特定の目的のために特定の方法でやりとりできる情報をいう。例えば、図7Aに描かれる例において、第1のインタラクティブ・コンテンツは、アイドルスクリーン又はロックスクリーンの一部としてユーザに提示される情報を含み、例えば現在時間や曜日、日付、背景を含む。第1のインタラクティブ・コンテンツは、非常に限定されたやり方でしかコンテンツとのやりとりができないように構成されてもよい。例えば、アイドル状態からアクティブ状態へ装置の状態を変更するために(例えばホームスクリーンにアクセスするために)、スワイプ−INジェスチャを用いて、コンテンツを一方の端へと移動するようなやり方でしか、やりとりができなくともよい従って、第1のインタラクティブ・コンテンツの目的は、ある情報をユーザに提供すること(例えば時間や日付の情報をユーザに提供すること)
と、(例えば意図しないでディスプレイと接触することによる)偶発的なユーザ入力を防止することとであってもよい。
【0062】
本例において、第2のインタラクティブ・コンテンツは、連絡先のリストや、ユーザが起動しうるプログラムのリスト(例えば図7Bに描かれるホームスクリーンを参照)のようなデータを含んでもよい。第2のインタラクティブ・コンテンツは、ユーザとコンテンツとのやりとりの関係がより深いものでありうるように構成されてもよい。例えば、アイコンを選択することによりプログラムを起動したり、表示されているアイテムを拡大することにより詳細情報や別の情報にアクセスしたり、デバイスの設定を変更したり等である。従って、本例において、第2のインタラクティブ・コンテンツの目的は、ユーザからの入力を受け取ると共に、受け取った入力に基づいて所定の機能を実行することであってもよい。
【0063】
従って、実施例によっては、第1のインタラクティブ・コンテンツは、第2のインタラクティブ・コンテンツとは異なる情報を含んでいてもよい。第2のインタラクティブ・コンテンツは、例えば、第1のインタラクティブ・コンテンツに比べて多い情報を含んでいてもよい。例えば、音楽を再生するためのプログラムを起動するアイコンや、バッテリー残量の標示、現在の天気の標示等を含んでいてもよい。
【0064】
代替的に又は追加的に、第1のインタラクティブ・コンテンツは、ユーザに、第1のルールセットに従って、第1のインタラクティブ・コンテンツとやりとりを行うことを可能にするように構成されてもよい。また、第2のインタラクティブ・コンテンツは、ユーザに、第2のルールセットに従って、第2のインタラクティブ・コンテンツとやりとりを行うことを可能にするように構成されてもよい。図7Aのロックスクリーンに関して、例えば、第1のスクリーンは、"スワイプ−IN"ジェスチャのみが入力として登録されていてもよい。そして当該入力は、第2のスクリーンがアクセスされ表示されることを生じさせるものである。この基準を満たさない入力、例えば特に、単なるタッチやマルチタッチ、ピンチ、タップ、押下、長押し等は、入力としては認識されず、装置によって無視されるであろう。同様に、第2のスクリーン(例えば図7Bのスクリーン)は、タッチスクリーンディスプレイ上の特定の場所(例えばプログラムアイコンの位置に対応する場所)において受け取られたタッチ・イベントのみが、入力として登録されているように構成されていてもよい。さらに、入力の受け取りに応じて実行される機能は、タッチ・イベントが受け取られた場所に依存してもよい(例えば、開かれるプログラムに依存してもよい)。従って例えば、スクリーン中でアイコンが表示されていないブランク領域におけるタッチ・イベントは、どんな機能の実行も引き起こさない。
【0065】
上述のように、また図面に描かれるように、本明細書で登場するインタラクティブ・コンテンツの配置や表示は、装置のディスプレイ68がユーザに表示するスクリーンを通じて提供される。つまり、各スクリーンは、コンテンツ要素の集合をユーザに提示するが、その集合は、それぞれインタラクティブ・コンテンツを構成する。例えば図7Aにおいて、表示されている時間(10:49)は、表示されているスクリーンのコンテンツ要素であり、また提示されているインタラクティブ・コンテンツの一部でもある。
【0066】
上述の例においては、第1のインタラクティブ・コンテンツの第1のスクリーンから、第2のインタラクティブ・コンテンツの第2のスクリーンへの移行を引き合いに出して説明されたが、場合によっては、ユーザ入力に応じて、第1のスクリーンと比べて異なるインタラクティブ・コンテンツを含んでいない第2のスクリーンがアクセスされる場合もある。例えばアクティブ表示域110の全体で受け取られたユーザ入力は、(図7Cに描かれるような)ユーザの連絡先のリストを表示するスクリーンと、(図7Dに描かれるような)特定の連絡先の詳細を表示するスクリーンとの切り替えを生じさせてもよい。この例では、第1のインタラクティブ・コンテンツを表示する第1のスクリーンと、第1のインタラクティブ・コンテンツに関するコンテンツを表示する第2のスクリーンとの間で移行が行われるが、ここで、これら二つのスクリーンのコンテンツは、いずれも例えば同じプログラム(例えば連絡先アプリケーション)により生成されたものであってもよい。
【0067】
図5及び6に戻り、前述のように、装置50が、リモート・ユーザインタフェース150が、その境界域120において少なくともその一部を受け取るユーザ入力を検出するように構成されていると判断した場合、装置50は、複製アクティブ表示域111及び複製境界域121を提供するように構成されてもよい。そして、その少なくとも一部が複製境界域で受け取られると共に、その少なくとも一部が複製アクティブ表示域で受け取られるユーザ入力は、所定の処理の起動を引き起こす。それによって、装置50は、リモート・ユーザインタフェースで実行されるものと同じか又は似たような機能を実行することができる。従って、複製境界域121において少なくとも部分的に開始されるタッチ成分Aと、複製アクティブ表示域111において少なくとも部分的に受け取られる動き成分とを有するユーザ入力は、所定の機能の実行を引き起こしてもよい。この所定の機能は、例えば、リモート・ユーザインタフェース150において同じユーザ入力によって(アプリケーションを介して)起動されうるものであってもよい。従って、場合によっては、上記所定の機能は、第1のインタラクティブ・コンテンツを含む第1のスクリーンから、第2のインタラクティブ・コンテンツを含む第2のスクリーンへの移行を含んでもよい。別の場合においては、上記所定の機能は、複製アクティブ表示域111に表示されているプログラムを閉じることや、リモート・ユーザインタフェース150に関して前に述べたような、他の機能であってもよい。
【0068】
上述のように、実施形態によっては、リモート・ユーザインタフェース150は、アクティブ表示域110がコンテンツを表示し、境界域120はコンテンツを表示せず、例えば暗く見える。装置50は同様に、複製アクティブ表示域111がコンテンツを表示するように構成され、複製境界域121はコンテンツを表示しないように構成されてもよい。従って、リモート・ユーザインタフェース150のアクティブ表示域110と境界域120とが模倣される。しかし、場合によっては、リモート・ユーザインタフェース150の対応する領域の構成に関わらず、複製アクティブ表示域111及び複製境界域121の両方が、少なくてもある程度まではコンテンツを表示するように構成されてもよい。
【0069】
装置のディスプレイ68(図2参照)の構成及び機能に依存して、装置は、リモート・ユーザインタフェース150を複数の方法で複製するように構成されてもよい。例えば、少なくとも一つのメモリ及びコンピュータプログラムコードは、プロセッサと共に、装置に、(当該装置の)既存のアクティブ表示域の一部を複製アクティブ表示域として用いるように構成することにより、複製アクティブ表示域111を提供すると共に、既存のアクティブ表示域の別の一部を複製境界域121として用いるように構成することを行わせてもよい。つまり、装置50の既存のアクティブ表示域115の一部は、既存のアクティブ表示域の全体よりは大きさが小さいが、複製表示域111として動作するように構成されてもよく、また、既存のアクティブ表示域の残りの部分(少なくとも当該残りの部分の少なくとも一部)は、複製境界域121として動作するように構成されてもよい(図8A参照)。
【0070】
別の例において、少なくとも一つのメモリ及びコンピュータプログラムコードは、プロセッサと共に、装置に、既存のアクティブ表示域115を複製アクティブ表示域として動作するように構成することによりアクティブ表示域111を提供することと;複製アクティブ表示域を(少なくとも一部は)囲む複製境界域121を提供すること(図8B参照)と;を行わせるように構成されてもよい。従って、図8Bの例では、装置のディスプレイ68のうち、複製アクティブ表示域11として使用されていない領域が、複製境界域121として動作するように構成されてもよい。
【0071】
図9は、本発明の例示的実施形態に従うシステム、方法、コンピュータプログラムに基づく製品のフローチャートである。フローチャートの個々のブロック及びフローチャートのブロックの組合せは様々な手段によって実施されることに留意されたい。そのような手段には、例えばハードウェアやファームウェア、プロセッサ、回路、および/またはソフトウェアの実行に関連付けられるデバイスが含まれる。また当該ソフトウェアは一つ以上のコンピュータプログラム命令を含む。例えば、上述の一つ又は複数の処理は、コンピュータプログラム命令によって具現化されてもよい。これに関して、本明細書で説明された処理を具現化するコンピュータプログラム命令は、装置のメモリデバイスに格納され、装置のプロセッサ40により実行されてもよい。そのような装置は本発明を採用するものである。当然のことながら、こうしたコンピュータプログラム命令は、コンピュータや他のプログラム可能な装置(例えばハードウェア)にロードされて機械を構成する。すなわち、命令がロードされたコンピュータまたはプログラム可能な装置は、フローチャートの(一つ以上の)ブロックにより特定される機能を実装するための手段を具現化する。これらのコンピュータプログラム命令はコンピュータ読み取り可能なメモリに格納されてもよく、固有の方法でコンピュータ又はその他のプログラム可能な装置を機能させるべく命令してもよい。すなわち、コンピュータ読み取り可能なメモリに格納される命令は、実行されることにより、一つ又は複数のフローチャートのブロックにより特定される機能を実装する製品を形成する。コンピュータプログラム命令はコンピュータ又はその他のプログラム可能な装置にロードされ、一連の動作を前記コンピュータ又はその他のプログラム可能な装置で実行させることにより、コンピュータ実装プロセスを生成する。すなわち、コンピュータ又はその他のプログラム可能な装置で命令が実行されることにより、フローチャートブロックの一つ又は複数で特定される機能を実装するための動作を提供する。
【0072】
したがって、フローチャートのブロックは、特定の機能を実行する手段の組み合わせや、特定の機能を実行する処理の組み合わせ、特定の機能を実行するプログラム命令手段の組み合わせ、をサポートする。また、フローチャートの一つ以上のブロック、および、フローチャートの複数のブロックの組合せは、特定の機能を実行する特定目的のハードウェアベースのコンピュータシステムや、特定目的のハードウェアとコンピュータ命令との組合せによって実装されてもよいことも理解されたい。
【0073】
これについて、複製されたユーザインタフェースを提供する方法の一例が、図9に示されている。この方法は、リモート・ユーザインタフェースとの通信リンクを確立すること(ブロック200);前記リモート・ユーザインタフェースが、そのアクティブ表示域の外側の境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているかどうかを判断すること(ブロック210);前記リモート・ユーザインタフェースが前記境界域において少なくとも部分的に受け取られるユーザ入力を検出するように構成されているとの決定に応じて、複製アクティブ表示域および複製境界域を提供すること(ブロック220);
を含む。上述のように、少なくともその一部が前記複製境界域で検出されると共に、少なくともその一部が前記複製アクティブ表示域で検出されるユーザ入力は、所定の機能の実行を生じさせてもよい。
【0074】
場合によっては、前記複製アクティブ表示域を提供することは、既存のアクティブ表示域の一部を前記複製アクティブ表示域として用いるように構成することと、前記既存のアクティブ表示域の別の一部を前記複製境界域として用いるように構成することとを含んでもよい(ブロック230)。場合によっては、前記複製アクティブ表示域を提供することは、既存のアクティブ表示域を前記複製アクティブ表示域として用いるように構成すること、および、前記複製アクティブ表示域を少なくとも一部は囲むように前記複製境界域を提供することを含んでもよい(ブロック240)
【0075】
上述のように、前記複製アクティブ表示域はコンテンツを表示するように構成されてもよく、前記複製境界域はコンテンツを表示するようには構成されていなくてもよい。さらに、前記複製境界域で少なくとも部分的に開始したタッチ成分と、前記複製アクティブ表示域で少なくとも部分的に開始した動き成分とを備えるユーザ入力が、前記所定の機能の実行を生じさせてもよい。前記所定の機能は、第1のインタラクティブ・コンテンツを有する第1の画面から、第2のインタラクティブ・コンテンツを有する第2の画面へ移行することと、前記複製アクティブ表示域に表示されているプログラムを閉じることとのいずれかを含んでもよい。むろん、前記所定の機能は他の様々なものである場合もある。
【0076】
実施形態によっては、上述の処理のいずれかは変形される場合があり、また後述のように強化される場合がある。さらに、実施形態によっては、オプションの処理が追加で含められる場合がある。そのような追加処理の例が、図9において破線で示されている。上述の処理に対する修正や追加、強化は、どのような順番または組み合わせによって行われてもよい。
【0077】
ある例示的実施形態において、上述の図9の方法を実行する装置は、上述の処理(200−240)のいずれかまたは複数を実行するように構成される処理手段を備えていてもよい。この処理手段は、例えば図2のプロセッサ70であってもよい。処理手段はまた、例えば、ハードウェアにより実装された論理機能を実行することにより、又は格納した命令を実行することにより、又は各処理を実行するためのアルゴリズムを実行することにより、処理(200−240)を実行するように構成されていてもよい。代替的に、上記装置は、上述の処理の各々を実行するための手段を備えていてもよい。これに関して、ある例示的実施形態においては、処理200の少なくとも一部を実行する手段の例は、例えば、通信インタフェース74やプロセッサ70、メモリデバイス76を備えてもよく、また、上述の情報処理を行うアルゴリズムを実行する命令を実行するデバイスや回路を備えてもよい。処理210を実行する手段の例は、例えば、プロセッサ70やメモリデバイス76を備えてもよく、また、上述の情報処理を行うアルゴリズムを実行する命令を実行するデバイスや回路を備えてもよい。処理220,230,240を実行する手段の例は、例えば、ユーザインタフェース・トランシーバ72やプロセッサ70、メモリデバイス76を備えてもよく、また、上述の情報処理を行うアルゴリズムを実行する命令を実行するデバイスや回路を備えてもよい。
【0078】
前述の説明や関連する図面に示される教示から利益を受けうる当業者には、ここで説明された発明についての多くの変形やその他の実施形態が想起されるであろう。従って本発明は、ここで退治された特定の実施形態に制限されるものと理解されてはならず、上述の変形その他の実施形態も、添付の請求項の範囲に含まれるべきものである。さらに、上述の説明や関連する図面が要素や機能の或る例示的な組み合わせという文脈で例示的な実施形態を説明してきたが、別の実施形態では、添付の請求項の範囲を逸脱せずに、要素や機能の異なる組み合わせも可能であることに留意されたい。ここで例えば、上で明示的に説明されている要素や機能の組み合わせ以外の組み合わせも、添付の請求項のいずれかの範囲に属するものと考えるべきである。本明細書では特定の語句が使用されているが、それは一般的かつ説明の意味で使われており、限定する目的で使われてはいない。
図1
図2
図3
図4
図5
図6
図7A
図7B
図7C
図7D
図8A
図8B
図9