特許 6379103 ジェスチャを介したマルチデバイスのペアリングおよび共有

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6379103

(24)【登録日】2018年8月3日

(45)【発行日】2018年8月22日

(54)【発明の名称】ジェスチャを介したマルチデバイスのペアリングおよび共有

(51)【国際特許分類】

   G06F 3/01 20060101AFI20180813BHJP

   G06F 13/00 20060101ALI20180813BHJP

【ＦＩ】

   G06F3/01 570

   G06F13/00 520A

【請求項の数】14

【全頁数】28

(21)【出願番号】特願2015-544181(P2015-544181)

(86)(22)【出願日】2013年11月26日

(65)【公表番号】特表2016-506556(P2016-506556A)

(43)【公表日】2016年3月3日

(86)【国際出願番号】US2013071812

(87)【国際公開番号】WO2014085369

(87)【国際公開日】20140605

【審査請求日】2016年11月11日

(31)【優先権主張番号】61/730,438

(32)【優先日】2012年11月27日

(33)【優先権主張国】US

(31)【優先権主張番号】61/745,272

(32)【優先日】2012年12月21日

(33)【優先権主張国】US

(31)【優先権主張番号】13/843,700

(32)【優先日】2013年3月15日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507364838

【氏名又は名称】クアルコム，インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(72)【発明者】

【氏名】ショーン・ダブリュー・ヴァン・ダイケン

(72)【発明者】

【氏名】フォン・エル・トン

(72)【発明者】

【氏名】スザーナ・アレラーノ

(72)【発明者】

【氏名】エヴァン・アール・ヒルドレス

(72)【発明者】

【氏名】ジョエル・ベルナート

(72)【発明者】

【氏名】ガイ・ペリー

(72)【発明者】

【氏名】カーク・エス・テイラー

【審査官】 間野 裕一

(56)【参考文献】

【文献】 特表２０１５−５１９６５３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／０３１６７９０（ＵＳ，Ａ１）

【文献】 特開２００３−２３３４５２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／００３０６３２（ＵＳ，Ａ１）

【文献】 特開２０１１−１５４６０６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／０１３３５７９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８

Ｇ０６Ｆ １３／００

(57)【特許請求の範囲】

【請求項1】

データを転送するための方法であって、
親デバイスにより、前記親デバイスに向かってユーザによって実行された始動する非接触ジェスチャを検出するステップと、
前記親デバイスにより、前記検出に基づいて、1つまたは複数の2次デバイス上のジェスチャ認識をトリガするステップと、
前記親デバイスで、前記1つまたは複数の2次デバイスのうちの少なくとも1つのデバイスの前記ジェスチャ認識が、完了する非接触ジェスチャを検出したことの指示を受信するステップと、
前記1つまたは複数の2次デバイスのうちの前記少なくとも1つのデバイスによる前記完了する非接触ジェスチャの前記検出と同時に、すべての他の2次デバイス上のジェスチャ認識モードを非アクティブ化するメッセージを送るステップと、
前記受信された指示に応答して、前記親デバイスから前記少なくとも1つのデバイスにデータを転送するステップと
を含む、方法。

【請求項2】

前記始動する非接触ジェスチャが、つかむジェスチャを含む、請求項1に記載の方法。

【請求項3】

前記親デバイスにより、前記始動する非接触ジェスチャが検出されたことのフィードバックを提供するステップをさらに含む、請求項1に記載の方法。

【請求項4】

前記フィードバックが、音、前記親デバイスのインターフェース上のフラッシュ、アニメーション、振動、およびテキストノートのうちの少なくとも1つをさらに含む、請求項3に記載の方法。

【請求項5】

前記1つまたは複数の2次デバイス上のジェスチャ認識モードをトリガする前記ステップが、前記ジェスチャ認識をオンにする要求を前記1つまたは複数の2次デバイスに送信するステップをさらに含む、請求項1に記載の方法。

【請求項6】

前記送信するステップが、前記始動する非接触ジェスチャを示す情報を送信するステップを含む、請求項5に記載の方法。

【請求項7】

前記始動する非接触ジェスチャを検出する前記ステップの前に、顔認識技術を使用して前記親デバイスの前記ユーザを認識するステップをさらに含む、請求項1に記載の方法。

【請求項8】

前記転送するステップが、タイムラインベースのコンテンツを移動させるステップを含み、前記方法が、
前記始動する非接触ジェスチャの完了を検出すると、前記親デバイスで前記タイムラインベースのコンテンツを休止するステップと、
前記タイムラインベースのコンテンツの進行を示すインジケータデータを送るステップと
をさらに含む、請求項1に記載の方法。

【請求項9】

前記インジケータデータを送るステップが、前記親デバイスが前記タイムラインベースのコンテンツを休止した位置を示すタイムスタンプを送るステップをさらに含む、請求項8に記載の方法。

【請求項10】

前記コンテンツを複数のデータストリームに多重化解除するステップをさらに含み、前記タイムラインベースのコンテンツが複数のデータストリームを含む、請求項8に記載の方法。

【請求項11】

親デバイスにより、前記親デバイスに向かってユーザによって実行された始動する非接触ジェスチャを検出するための手段と、
前記親デバイスにより、前記検出に基づいて、1つまたは複数の2次デバイス上のジェスチャ認識をトリガするための手段と、
前記親デバイスで、前記1つまたは複数の2次デバイスのうちの少なくとも1つのデバイスの前記ジェスチャ認識が、完了する非接触ジェスチャを検出したことの指示を受信するための手段と、
前記1つまたは複数の2次デバイスのうちの前記少なくとも1つのデバイスによる前記完了する非接触ジェスチャの前記検出と同時に、すべての他の2次デバイス上のジェスチャ認識モードを非アクティブ化するメッセージを送るための手段と、
前記受信された指示に応答して、前記親デバイスから前記少なくとも1つのデバイスにデータを転送するための手段と
を備える、装置。

【請求項12】

2次デバイスにより、転送を始動することに関連して親デバイスからトリガデータを受信するステップと、
前記2次デバイスにより、前記親デバイスからの前記受信されたトリガデータに基づいて、ジェスチャ認識をオンにするステップと、
前記ジェスチャ認識を用いて完了の非接触ジェスチャを検出すると、他の2次デバイス上のジェスチャ認識を非アクティブ化するメッセージを前記他の2次デバイスに送信し、前記親デバイスにメッセージを送信し、それに応じてデータを受信するステップであって、前記完了の非接触ジェスチャは、前記親デバイスに向かってユーザにより実行される始動の非接触ジェスチャと事前に関連付けられる、ステップと
を含む、データを受信するための方法。

【請求項13】

2次デバイスにより、転送を始動することに関連して親デバイスからトリガデータを受信するための手段と、
前記2次デバイスにより、前記親デバイスからの前記受信されたトリガデータに基づいて、ジェスチャ認識をオンにするための手段と、
前記ジェスチャ認識を用いて完了の非接触ジェスチャを検出すると、他の2次デバイス上のジェスチャ認識を非アクティブ化するメッセージを前記他の2次デバイスに送信し、前記親デバイスにメッセージを送信し、それに応じてデータを受信するための手段であって、前記完了の非接触ジェスチャは、前記親デバイスに向かってユーザにより実行される始動の非接触ジェスチャと事前に関連付けられる、手段と
を備える、装置。

【請求項14】

プロセッサによって実行されたときに、請求項１から１０のいずれか一項、または請求項１２に記載の方法を前記プロセッサに行わせるコンピュータ可読命令が記録された、コンピュータ可読記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、デバイスのペアリングおよび共有に関し、より詳細には、非接触のジェスチャまたは対話を介したマルチデバイスのペアリングおよび共有に関する。

【背景技術】

【0002】

住居または事業所などの拠点内のペアリングデバイスの数は、急速に増大している。デバイスのペアリングの場合、現在の技術には、たとえば、バンプアプリケーション、Bluetooth（登録商標）、NFC、WiFi、ダイレクトなどが含まれる。また、現在の技術では、ペアリングデバイスの専用ペア、たとえば、Apple(登録商標)TVを伴うiPad(登録商標)は、メニューのセットアップを介して作成することができる。

【0003】

しかしながら、ペアリングデバイスの数が増大しているので、ペアリング用のデバイスを選択することは一般に困難である。また、共有用のコンテンツを選択することは一般に困難である。コンテンツは、デバイス間で共有することも一般に困難である。たとえば、共有されたゲームをプレイすることは、しばしばログインまたはセットアップを必要とする場合がある。

【0004】

したがって、改善されたデバイスのペアリングおよび共有に対する必要性が当技術分野に存在する。

【発明の概要】

【課題を解決するための手段】

【0005】

本開示の1つまたは複数の実施形態によれば、マルチデバイスの非接触ジェスチャまたは非接触対話は、デバイスのペアリングおよび共有に使用される場合がある。

【0006】

一実施形態では、(たとえば、コンテンツを移動または共有するための)アクションは、1つのデバイスから1つまたは多くの他のデバイスに実施することができる。アクションは、非接触ジェスチャまたは非接触対話を介して、第1のデバイスまたは親デバイスに対して始動することができる。アクションは、非接触ジェスチャまたは非接触対話を介して、第2のデバイスまたは任意の利用可能なデバイスに対して完了することができる。「ジェスチャ」という用語は、これ以降、たとえば、非接触の手のポーズまたはジェスチャを含む場合がある、非接触ジェスチャまたは非接触対話を指す場合がある。したがって、本明細書の実施形態では、非接触のマルチデバイスのペアリング/共有は、手のポーズなどのユーザの対話型入力を検出または認識することを含む場合がある。

【0007】

たとえば、ソースデバイスまたは親デバイスによって始動されたアクションは、ジェスチャ検出モードをオンにすること、ジェスチャ検出モードもしくはジェスチャ検出アルゴリズムを変更すること、および/または情報を分析して対応するジェスチャを検出することを、1つまたは複数の2次デバイスに警告することができる。ソースデバイスまたは親デバイスは、次いでコンテンツが移動またはコピーされる2次デバイスからの、たとえば対応するジェスチャが検出されたことを示す通知に耳を傾けることができる。別の例では、「秘密のハンドシェイク」などのキーコードまたは秘密のジェスチャポーズを用いて、マルチデバイスの共有を同時に行うことができる。さらに別の例では、親デバイスが1つまたは複数の2次デバイス上のジェスチャ認識モードをトリガし、2次デバイスのうちの1つで肯定的なジェスチャ認識が存在する場合、すべての他の2次デバイス上のジェスチャ認識は、直ちに、または指定された時間「t」の後のいずれかで非アクティブ化することができる。

【0008】

本開示の1つまたは複数の実施形態によれば、情報を処理する方法が提供される場合がある。その点において、方法は、ソースデバイスが転送始動の非接触ジェスチャを検出したことを示すメッセージを受信することを含む場合がある。方法はまた、転送完了の非接触ジェスチャが検出されたと判断することを含む場合があり、方法はまた、転送完了の非接触ジェスチャが検出されたとの判断に少なくとも部分的に基づいて、受信された情報を処理することを含む場合がある。

【0009】

一実施形態では、方法は、ソースデバイスから第1の情報を受信することと、第1の情報をキャッシュすることとをさらに含む場合があり、受信された情報は少なくとも第1の情報を含む。

【0010】

別の実施形態では、方法は、転送完了の非接触ジェスチャが検出されたことを示すメッセージをソースデバイスに送信することと、メッセージの送信に応答して、ソースデバイスから第1の情報を受信することとをさらに含む場合があり、受信された情報は少なくとも第1の情報を含む。一実施形態では、メッセージは、メッセージを送信するデバイスの1つまたは複数の能力を示すことができる。別の実施形態では、第1の情報は、1つまたは複数の能力に少なくとも部分的に基づく。

【0011】

さらに別の実施形態では、第1の情報は、ソースデバイスで転送始動の非接触ジェスチャが検出されたとき、ソースデバイス上に連続的に提示されているプロセス内にいた複数の要素を備え、方法は、ソースデバイスで転送始動の非接触ジェスチャが検出されたとき提示されていた要素を示すインジケータを受信することをさらに含み、処理は、示された要素の後に残っている複数の要素のうちの要素を連続的に提示することを含む。

【0012】

別の実施形態では、方法は、1つまたは複数の他のデバイスにメッセージを送信して、転送の受信者ではないことを他のデバイスに警告することをさらに含む場合がある。

【0013】

別の実施形態では、方法は、転送完了の非接触ジェスチャが、転送始動のジェスチャとほぼ同時に、またはしきい値の時間量以内に検出されたと判断することをさらに含む場合がある。

【0014】

別の実施形態では、方法は、受信に応答して、ジェスチャ認識手順またはジェスチャ認識モードをアクティブ化することをさらに含む場合がある。

【0015】

別の実施形態では、方法は、受信に基づいて、ジェスチャ認識モードまたはジェスチャ認識アルゴリズムを変更することをさらに含む場合がある。

【0016】

別の実施形態では、転送完了の非接触ジェスチャは、転送始動の非接触ジェスチャと実質的に同じである。

【0017】

別の実施形態では、転送始動の非接触ジェスチャは、一連のジェスチャ内の1つまたは複数のジェスチャを含む場合があり、転送完了の非接触ジェスチャは、一連のジェスチャ内の次のジェスチャを含む。

【0018】

別の実施形態では、転送始動の非接触ジェスチャは、一対のジェスチャの第1のジェスチャであり、転送完了の非接触ジェスチャは、一対のジェスチャの第2のジェスチャを含む。一実施形態では、第1のジェスチャはつかむジェスチャを含み、第2のジェスチャは落とすジェスチャを含む。別の実施形態では、転送始動の非接触ジェスチャまたは転送完了の非接触ジェスチャは、手のポーズを含む。

【0019】

別の実施形態では、方法は、転送完了の非接触ジェスチャを実行するユーザが方法を実施するデバイスを注視していると判断することをさらに含み、処理は、ユーザがデバイスを注視しているとの判断に応答して実行される。

【0020】

別の実施形態では、処理は、情報を表示することを含む。

【0021】

別の実施形態では、判断は、方法を実施するデバイスに関連付けられたカメラからの情報に基づいて、転送完了の非接触ジェスチャを実行する手を検出することを含む。

【0022】

別の実施形態では、判断は、超音波周波数に反応し、方法を実施するデバイスに関連付けられたマイクロフォンからの情報に基づいて、転送完了の非接触ジェスチャを実行する手を検出することを含む。

【0023】

本開示の1つまたは複数の実施形態によれば、情報を送信する方法が提供される場合がある。その点において、方法は、転送始動の非接触ジェスチャを検出することを含む場合がある。方法はまた、検出に応答して、転送始動の非接触ジェスチャが検出されたことを示すメッセージを1つまたは複数の2次デバイスに送信することを含む場合がある。方法はまた、1つまたは複数の2次デバイスのうちの少なくとも1つのデバイスに情報を送信することが含む場合がある。

【0024】

別の実施形態では、方法は、少なくとも1つのデバイスで転送完了の非接触ジェスチャが検出されたことを示すメッセージを受信することをさらに含む場合があり、情報の送信は受信に応答して実行される。

【0025】

さらに別の実施形態では、方法は、送信用のコンテンツを1つまたは複数のデータストリームに多重化解除することをさらに含む場合があり、送信された情報は、1つまたは複数のデータストリームのうちの少なくとも1つのデータストリームを含む。一実施形態では、多重化解除は、1つまたは複数の2次デバイスの能力に基づく場合がある。

【0026】

別の実施形態では、方法は、少なくとも1つのデバイスではない1つまたは複数の2次デバイスにメッセージを送信して、転送の受信者ではないことをそれらに警告することをさらに含む場合がある。

【0027】

別の実施形態では、メッセージは、メッセージの送信に応答して受信される。

【0028】

別の実施形態では、方法は、転送完了の非接触ジェスチャが、転送始動の非接触ジェスチャとほぼ同時に、またはしきい値の時間量以内に検出されたと判断することをさらに含む場合があり、情報の送信は判断に応答して実行される。

【0029】

別の実施形態では、情報はメッセージを用いて送信される。

【0030】

別の実施形態では、方法は、情報を受信する少なくとも1つのデバイスの確認応答を受信することをさらに含む場合がある。一実施形態では、方法は、確認応答がしきい値の時間量以内に受信されなかったと判断することと、確認応答が受信されるまで少なくとも1つのデバイスに情報を再送信することとをさらに含む場合がある。

【0031】

別の実施形態では、メッセージを送信することは、メッセージをブロードキャストすることを含む。

【0032】

別の実施形態では、メッセージを送信することは、1つまたは複数の所定のグループにメッセージを送ることを含み、1つまたは複数の所定のグループは、1つまたは複数の2次デバイスを含む。一実施形態では、1つまたは複数の所定のグループは、ユーザのソーシャルネットワークに基づいて定義される。別の実施形態では、1つまたは複数の所定のグループは、転送始動の非接触ジェスチャに基づいて選択される。

【0033】

別の実施形態では、方法は、方法を実施するデバイス上にコンテンツが表示されるようにすることをさらに含み、コンテンツは、転送始動の非接触ジェスチャが検出されたときに表示され、送信は、表示されたコンテンツの少なくとも一部分を少なくとも1つのデバイスに送信することを含む。

【図面の簡単な説明】

【0034】

【図1】本開示の一実施形態による使用事例を示す図である。

【図1A】本開示の別の実施形態による使用事例を示す図である。

【図1B】本開示の一実施形態による、図1Aの実施形態に示された使用事例についての流れを示す図である。

【図1C】本開示の一実施形態による、図1Aの実施形態に示された使用事例についての流れを示す図である。

【図1D】本開示の一実施形態による、図1Aの実施形態に示された使用事例についての流れを示す図である。

【図1E】本開示の一実施形態による、図1Aの実施形態に示された使用事例についての流れを示す図である。

【図1F】本開示のさらに別の実施形態による、使用事例についての流れを示す図である。

【図1G】本開示のさらに別の実施形態による、使用事例についての流れを示す図である。

【図1H】本開示のさらに別の実施形態による、使用事例についての流れを示す図である。

【図1I】本開示のさらに別の実施形態による、使用事例についての流れを示す図である。

【図2A】本開示の一実施形態による、ジェスチャ認識を実施することについての流れを示す図である。

【図2B】本開示の一実施形態による、ジェスチャ認識を実施することについての流れを示す図である。

【図2C】本開示の一実施形態による、ジェスチャ認識を実施することについての流れを示す図である。

【図2D】本開示の一実施形態による、ジェスチャ認識を実施することについての流れを示す図である。

【図3】本開示の一実施形態による、デバイスを実装するためのシステムのブロック図である。

【図4】本開示の一実施形態によるメッセージフロー図である。

【図5】本開示の一実施形態による、マルチデバイスのペアリングおよび共有のための方法を示すフロー図である。

【図6】本開示の別の実施形態による、マルチデバイスのペアリングおよび共有のための方法を示すフロー図である。

【図7】データを転送するための方法を示すフロー図である。

【図8】データを受信するための方法を示すフロー図である。

【発明を実施するための形態】

【0035】

マルチデバイスのジェスチャを使用するデバイスのペアリングおよび共有のためのシステムおよび方法が、本開示の1つまたは複数の実施形態に従って提供される。

【0036】

本明細書の実施形態では、デバイスには、モバイルデバイス、タブレット、ラップトップ、PC、テレビジョン、スピーカ、プリンタ、ゲームボックスなどが含まれ得る。一般に、ペアリングデバイスは、たとえば、カメラ(たとえば、可視光カメラ、飛行時間カメラなどのレンジ撮像カメラ、構造化光カメラ、ステレオカメラなど)、IR、超音波入力などの、画像またはビデオの取込み構成要素を介したジェスチャ認識を含む任意のデバイスの一部を含む場合があるか、または一部であり得る。したがって、いくつかの実施形態では、デバイスは、視覚ベースのジェスチャ能力を有する場合があり、視覚ベースのジェスチャは、カメラまたは他の画像トラッキング技術を使用して、デバイスに触らずにユーザのジェスチャ(すなわち、カメラの前の手のポーズなどの非接触ジェスチャ)を取り込むことができる。実施形態のうちのいくつかはまた、画面などのユーザインターフェースを従来から欠いている1つまたは複数のデバイス、たとえばスピーカ、プリンタなどを用いたコンテンツの転送または情報の共有などのアクションを実施するために使用される場合がある。デバイスは、AllJoyn、WiFiダイレクト、WiFiディスプレイ、Miracastなどのプロトコル、または他の適切な共有/ペアリングのプロトコルもしくは技術を介して通信することができる場合がある。その上、デバイスは、ワイヤレスネットワーク、たとえばWiFiネットワーク、Bluetooth（登録商標）、NFC、RFIDなどのネットワーク上で通信することができる。

【0037】

一実施形態では、(たとえば、コンテンツ、ペアリングデバイスなどを移動または共有するための)アクションは、1つのソースデバイスまたは親デバイスから1つまたは複数の受信デバイスまたは2次デバイスに実施することができる。その点において、アクション、たとえばマルチデバイスの共有は、既定のジェスチャを用いて遂行することができる。様々な実施形態では、アクション(たとえば、コンテンツの移動または共有)は、会話のタッチフリー方法が実施され得るように、画像またはビデオ画像の取込み構成要素(たとえば、カメラ)の前で非接触ジェスチャを取り込むように構成された、画像またはビデオ画像の取込み構成要素を含む、ジェスチャ認識を有する2次デバイス内で始動することができる。

【0038】

アクションは、ソースデバイスまたは親デバイスに対するユーザによる係合または「つかむ」ジェスチャまたはポーズを介して始動することができる。ジェスチャには、たとえば、開いた手もしくは閉じた手などの手のサイン、手のピースサイン、またはジェスチャのキーコード、たとえば、グー-パーなどの「秘密のハンドシェイク」などが含まれ得る。親デバイスは、ジェスチャ認識を有効にすること、ジェスチャ検出モードもしくはジェスチャ検出アルゴリズムを変更すること、および/または情報を分析して対応するジェスチャを検出すること、たとえば、適用可能な通信プロトコルを介して「落とす」ジェスチャの検出を予期することを、ペアリングに利用可能なすべてのデバイスに警告することができる。ジェスチャ認識は、ペアリングに利用可能な近くの受信デバイスで始動または実施することができる。アクションは、任意のまたはすべての他の利用可能な受信デバイスに係合または「落とす」ジェスチャを介して完了(たとえば、移動または転送されたコンテンツ)することができる。

【0039】

様々な実施形態では、既定のジェスチャには、ジェスチャのキーコード、たとえば受信デバイスの受信者ユーザにのみ知られているユニークな識別子である秘密のジェスチャポーズ(たとえば、ハングルーズシンボル、手のピースサインシンボルなど)が含まれ得る。受信デバイスまたは2次デバイスのユーザは、自分のそれぞれのデバイス上で、たとえば対応するキーコードを用いて既定のジェスチャを実行することができる。そのような既定のジェスチャには、たとえば、つかむ、覆う、同じ「秘密のハンドシェイク」の使用、秘密のジェスチャポーズ、または「秘密のハンドシェイク」の相手(たとえば、チョキ)が含まれ得る。既定のジェスチャを実行すると、ユーザは、自分のそれぞれのデバイス上でコンテンツを受信することができる。1つまたは複数の実施形態によれば、動的であるユニークな識別子を確立することができ、たとえば、ジェスチャに対応する秘密は変更することができる。この点において、ハンドシェイクは変更することができる動的なシーケンスを伴う場合がある。

【0040】

別の実施形態では、親デバイスは、1つまたは複数の2次デバイス上のジェスチャ認識モードをトリガすることができる。「落とす」ジェスチャを最初に検出する2次デバイスは、親デバイスに警告することによってターゲットデバイスになることができる。次いで、親デバイスは、ターゲットデバイスを除くペアリングに利用可能なすべての他のデバイスに、ジェスチャ認識をオフにするように警告することができる。すなわち、2次デバイス上の肯定的なジェスチャ認識は、直ちに、または指定された時間「t」、たとえば約2秒後のいずれかで、他の2次デバイス上のジェスチャ認識を非アクティブ化することができる。1つまたは複数の実施形態では、ある時間量「t」(タイムアウト)の間いかなる2次デバイス上でもジェスチャ認識が行われなかった場合、または親デバイスがキャンセルジェスチャを検出した場合、親デバイスは、すべての2次デバイスにジェスチャ認識をオフにするように警告することができる。親デバイスは、ターゲットデバイスに対するアクション(たとえば、コンテンツの転送)を完了する。

【0041】

タイムラインベースのコンテンツまたはストリーミングコンテンツをペアリングまたは共有すること、たとえばビデオ、音楽などを共有することについての実施形態では、親デバイスのユーザは、親デバイス上で「つかむ」ジェスチャを実行することができ、その結果、「つかむ」ジェスチャが検出されたとき、ストリーミングコンテンツは親デバイス上で休止される。たとえば、「つかむ」ジェスチャは、開いた手を閉じてこぶしを作ることを含む場合がある。いくつかの実施形態では、「つかむ」ジェスチャは、ユーザに向かう手の動きを含む場合もある。ユーザがターゲットデバイスになる2次デバイスに対して「落とす」ジェスチャを実行したとき、ストリーミングコンテンツはターゲットデバイス上で表示することができ、親デバイス上で最後に休止された位置からストリームまたは再生を続けることができる。たとえば、「落とす」ジェスチャは、閉じたこぶしを開いて手を差し出すことを含む場合がある。いくつかの実施形態では、「落とす」ジェスチャは、ターゲットデバイスに向かう手の動きを含む場合もある。したがって、親デバイスは、コンテンツに関する情報およびその現在の状態を含む追加の情報を送ることができる。いくつかの実施形態では、この情報はメタデータに含まれる。たとえば、送信データ内のタイムラインベースのメディアまたはストリーミングコンテンツでは、親デバイスは、コンテンツが親デバイス上で休止された(たとえば、コンテンツが再生中の15分で休止された)タイムスタンプまたは他の進行インジケータをメタデータに含めることができ、2次デバイスは、そのポイントからストリームを休止するか、または続けることができる。

【0042】

ジェスチャ認識は、タスクまたはアクションの持続時間の間、たとえば共有用の短い持続時間の間、またはゲームの長い持続時間の間などに存続することができる。有利なことに、コンテンツの共有は楽しく簡単になる。ペアリングに利用可能なデバイス間の簡単で自然な選択が容易になり、非1次デバイスまたは2次デバイス上のジェスチャ検出の持続時間が非常に短くなり得る。

【0043】

本開示の実施形態は、たとえば、写真共有などの1つのユーザデバイスから多くのデバイスへのコンテンツ共有、ビデオ共有などのストリーミングコンテンツ共有、カードゲーム、およびデバイス上に実装された創造性によって特定され得るような多くの他の使用を含む、多くのユーザ体験または使用事例に適用することができる。

【0044】

使用事例:1つから多数への写真共有

【0045】

一実施形態では、写真共有は、1つのデバイスから多くのデバイスに実施することができる。ユーザ1は、デバイス1を用いて写真を撮ることができる。ユーザ1は、たとえば、デバイス1上でジェスチャを実行することによって、デバイス1上で写真共有を始動する。ジェスチャは、たとえば、フリック、またはグー-パーなどの「秘密のハンドシェイク」を含む場合がある。ユーザ2〜Xは、自分のそれぞれのデバイス上で既定のジェスチャを実行することができる。そのような既定のジェスチャには、たとえば、つかむ、覆う、同じ「秘密のハンドシェイク」もしくはジェスチャの使用、または「秘密のハンドシェイク」の相手(たとえば、チョキ)が含まれ得る。既定のジェスチャを実行すると、ユーザ2〜Xは、自分のデバイス上で写真を受信することができる。

【0046】

使用事例:カードゲーム

【0047】

別の実施形態では、たとえば図1に示されたように、実施事例は、1つのデバイス、たとえば親デバイス102からいくつかの2次デバイス、たとえば2次デバイス104a〜104cにカードを配ることに関与する場合がある。ユーザ1はカードゲームのためのディーラである。ユーザ1は、各プレーヤでカードを「フリック」することによってカードを配ることができる。各プレーヤは自分のカードを「キャッチ」する。代替として、ユーザ1はプレーヤごとに特定のジェスチャを使用する。たとえば、ユーザ1は、それぞれのプレーヤごとに1つの指を用いてフリックするか、または2つの指を用いてフリックすることなどができる。各プレーヤは、自分のジェスチャまたはジェスチャの相手を用いて自分のカードをつかむ、たとえば1つの指を用いてつかむか、または2つの指を用いてつかむことなどができる。

【0048】

使用事例:ラップトップから電話への地図の移動

【0049】

別の実施形態では、たとえば図1Aに示されたように、使用事例は、1つのデバイスから別のデバイスにコンテンツを移動させることに関与する場合がある。たとえば、地図が、親デバイス111(たとえば、PCまたはラップトップ)からターゲットデバイス112(たとえば、モバイル電話)に移動することができる。

【0050】

その点において、コンテンツが地図、写真、3Dモデルなどの画像に基づく実施形態では、画像が親デバイス(たとえば、親デバイス111)からターゲットデバイス(たとえば、ターゲットデバイス112)に移動されたとき、親デバイスは、たとえば、親デバイス上で表示されている通りの画像の位置およびビュー(たとえば、パン、ズームレベルなど)を示すインジケータを含む送信データを送ることができ、その結果、ターゲットデバイスは、位置およびビューを含む受信されたデータに基づいて、画像を表示することができる。

【0051】

たとえば図1Aの実施形態に示されたように、1つのデバイスから別のデバイスへの地図(または任意のコンテンツ)の移動を遂行するために、以下の表1は、この使用事例について発生する可能性があるユーザアクションおよびシステム応答機能を略述する。図1B〜図1Eは、表1の対応するブロックを図示する。

【0052】

【表1A】

【表1B】

【0053】

使用事例:タブレットからTVへのビデオの移動

【0054】

さらに別の実施形態では、使用事例は、タブレットからTVにビデオを移動させることに関与する場合がある。

【0055】

タブレットからTVへのビデオの移動を遂行するために、以下の表2は、この使用事例について発生する可能性があるユーザアクションおよびシステム応答機能を略述する。図1F〜図1Iは、表2の対応するブロックを図示する。

【0056】

【表2】

【0057】

一般に、上述されたように、デバイスは、画像またはビデオの取込み技術、たとえばカメラなどの様々な技術を使用して、デバイスに触れずにユーザのジェスチャを取り込むことができる。様々な実施形態では、カメラには、可視光カメラ、飛行時間カメラなどのレンジ撮像カメラ、構造化光カメラ、ステレオカメラなどが含まれ得る。上述されたように、デバイスは、IR、超音波、UV、EM放射などの他の技術を使用して、ジェスチャを検出することができる。いくつかの実施形態では、ジェスチャは、デバイスに触れずに実行されたジェスチャである。その点において、デバイスは、カメラなどの画像またはビデオの取込み構成要素を使用して非接触ジェスチャを取り込むことができ、その結果、コンテンツの転送などのアクションを始動することができる。たとえば、いくつかの実施形態では、デバイスは、デバイスカメラの前で既定のポーズで保持された手(たとえば、開いた手、閉じた手)などのオブジェクトを用いて実行されたユーザの非接触ジェスチャを検出するか、または取り込んで、インターフェースを経由するデータを転送することができる。非接触ジェスチャは、アプリケーションまたはバックアップサーバ内でコンテンツを共有するために、いくつかの実施形態ではカメラまたは他のジェスチャ取込み技術の前または視線内などの任意のインターフェース上で取り込むか、または検出することができるので、特別なアプリケーションまたはユーザインターフェースは必要とされない場合がある。いくつかの実施形態では、非接触ジェスチャは、ジェスチャ検出デバイスを保持している間に実行されるジェスチャを含む。たとえば、加速度計、ジャイロスコープ、および/または磁力計のうちの1つまたは複数は、デバイスの動きを特定するために使用することができる。

【0058】

視覚ベースのジェスチャ認識用の基本プロセスは、a)デバイスが画像を取り込むこと、b)コンピュータ視覚ソフトウェアが画像内の手/腕/体または他の制御オブジェクトを識別すること、c)たとえば、ソフトウェアおよび/またはハードウェアに実装されたジェスチャ認識モジュールが手/腕/体または他の制御オブジェクトの姿勢またはポーズまたは動きを分析すること、d)次いで、モジュールがジェスチャを、たとえば、データベースに登録されるか、またはモデル内で符号化されたジェスチャと比較すること、ならびに、e)デバイスが適切なアクションを取ることを含む場合がある。

【0059】

有利なことに、視覚ベースのジェスチャ認識は、たとえば、利用者に負担をかけず、検知が受動的で静かであり、接触が現実的でないときに有用であり、没入型のユーザ体験およびいくつかのタスク向けの使い勝手が増大し、高齢のユーザもしくは障害をもつユーザに有用であり、その関連ハードウェアが低コストで市販されている場合があり、ジェスチャが他の入力技法よりも自然であり得るし、かつ/または対話領域の大きさが増大され得るので、多くのシナリオで有益であり得る。

【0060】

共有またはペアリングの接続は、WiFiダイレクト、AllJoyn、WiFiディスプレイ、もしくは他の技法などの技法、または共有/ペアリングの接続もしくはプロトコルを用いて行うことができる。他の実施形態では、接続は、WiFiネットワーク、Bluetooth（登録商標）、NFC、RFIDなどのワイヤレスネットワークを含む技法を使用して行うことができる。

【0061】

ペアリングデバイスは、たとえば、カメラ(たとえば、可視光カメラ、飛行時間カメラなどのレンジ撮像カメラ、構造化光カメラ、ステレオカメラなど)、IR、超音波入力などを介したジェスチャ認識を含む任意のデバイスであり得る。宛先デバイスの場合、画面は必要とされない場合がある。様々な実施形態では、宛先デバイスまたは受信デバイスは、出力デバイス、たとえばスピーカ、触覚フィードバック、プリンタなどの形態だけを必要とする場合がある。一例では、ユーザは、自分のスマートフォンから歌をつかみ取り、それをスピーカに落とすことができる。いくつかの実施形態では、ユーザは、電話呼または他のオーディオコンテンツをつかみ、それをスピーカフォン、電話ヘッドセット、および/またはワイヤレスのヘッドセットもしくはヘッドフォンに落とすことができる。そのようなデバイスは、たとえば、カメラ、IR、超音波、近接センサ、ALS、および/または他の要素もしくは構成要素を使用して、落とすジェスチャを検出することができる。

【0062】

共有することができるコンテンツには、たとえば、リンク(たとえば、URL、ファイルロケーションなど)、ファイル(たとえば、写真、地図データ、任意のアプリケーションデータなど)、ストリーミングされるコンテンツ(たとえば、再生されているビデオ、歌など)、または任意の他の適切なコンテンツが含まれ得る。いくつかの実施形態では、リンクまたはファイルロケーションなどが共有された後、ターゲットデバイスは、リンクまたは位置からさらなるコンテンツをダウンロードまたは取得することができる。したがって、いくつかの実施形態では、さらなるコンテンツは、親デバイスを通るのではなく、ターゲットデバイスによって直接アクセスすることができる。いくつかの実施形態では、コンテンツは、親デバイスを介してコンテンツおよび/または情報をストリーミングすること(たとえば、再生されているビデオ、歌など)によって共有することができる。いくつかの実施形態では、親デバイスは、コンテンツのデータストリームを多重化解除(たとえば、オーディオデータストリームとビデオデータストリームを分離)し、ターゲットデバイスの能力に基づいてデータストリーム(たとえば、オーディオもしくはビデオ)を選択し、かつ/または選択されたデータストリームだけをターゲットデバイスにストリーミングすることができる。いくつかのそのような実施形態では、ターゲットデバイスは、転送完了のジェスチャが検出されたことを確認する、親デバイスへのメッセージ内の1つまたは複数の能力を含む場合がある。いくつかの実施形態では、能力は親デバイスによって先験的に知られる。親デバイスは、コンテンツをダウンサンプリング、ダウンミックス、および/または別のコードに変換する(たとえば、コンテンツを復号/解凍し、ターゲットデバイスの1つまたは複数の能力に基づくフォーマットまたは解像度でデータを再符号化/再圧縮する)ことができる。たとえば、親デバイスは、ビデオからのオーディオデータストリームを多重化解除し、オーディオデータを解凍し、5チャネル(サラウンドサウンド)から2チャネル(ステレオ)にオーディオをダウンミックスし、ダウンミックスされたオーディオデータを再圧縮し、再圧縮されたダウンミックスされたオーディオデータをステレオスピーカにストリーミングする。したがって、いくつかの実施形態では、ユーザ(または複数のユーザ)は、たとえば、親デバイスに対して転送始動のジェスチャを、ターゲットデバイスに対して転送完了のジェスチャを実行することによって、共有または送信されるべきコンテンツを示すことができ、その後、コンテンツは、ユーザからのさらなる対話または命令なしに適切に共有することができる。したがって、リンクまたはストリーミングコンテンツが共有されているかどうか、かつ/またはどのデータストリームを送信することができるかの判定は、たとえば、ターゲットデバイスの1つまたは複数の能力、ネットワーク輻輳、ユーザのデータプランなどに基づいて自動化することができる。いくつかの実施形態では、ユーザは、どのデータストリームを共有するか選択することができるか、または情報を共有するための1つまたは複数の構成パラメータを選択することができる。たとえば、ユーザは、親デバイスのタッチスクリーン上で1つまたは複数の共有オプションを選択することができるか、またはユーザは、1つまたは複数のジェスチャを使用してあるコンテンツをどのように共有するかを示すことができる。一実施形態では、1つの手を用いて実行される転送始動のジェスチャは、共有するいくつかのデータストリームを示し、2つの手を用いて実行される転送始動のジェスチャは、共有する異なる数のデータストリーム(たとえば、ビデオとオーディオに対して、ビデオだけ、またはオーディオだけ)を示す。

【0063】

図2A〜図2Dを参照すると、図は、本開示の一実施形態によるジェスチャ認識の実施を示す。

【0064】

図2Aでは、ユーザ206は、自分のユーザデバイス(「デバイス1」とも呼ばれる親デバイス202)上の所望のコンテンツを有する場合がある。ユーザ206は、ジェスチャ、たとえばつかむジェスチャを始動する手を開く動きによって示されたようなつかむジェスチャを始動することができる。

【0065】

図2Bでは、ユーザ206は、たとえば閉じた手によって示されたように、つかむジェスチャを完了する。ジェスチャの完了は、所望のコンテンツを移動またはコピーするための移動シーケンスの始動であり得る。移動シーケンスの始動は、(ジェスチャを始動する)図2Aに示されたジェスチャがある時間「t」(たとえば、約2〜3秒)の間保持されたときに始まることができる。ジェスチャの完了は、ユーザがつかむジェスチャを終了するためであり得る。

【0066】

デバイス1は、移動が始動されたことのフィードバックをユーザに与える場合もあり、与えない場合もある。フィードバックが与えられた場合、フィードバックは、任意の形態、たとえば音、画面のフラッシュ、表示されたコンテンツの視覚的縮小などのアニメーション、振動、テキストノート、または任意の他の適切な形態であり得る。

【0067】

デバイス1は、ペアリングに利用可能なすべてのデバイスに、たとえば、それらのジェスチャ認識をオンにし、「落とす」ジェスチャを予期するようにそれらに命令する要求を送り出すことができる。

【0068】

コンテンツは、すべてのペアリング可能なデバイス上の事前キャッシングのため、この時点でデバイス1からの送信を開始する場合もあり、開始しない場合もある。

【0069】

コンテンツがストリーミングコンテンツまたはタイムラインベース(たとえば、ビデオ、音楽など)である場合、コンテンツは、デバイス1上で休止される場合があり、休止のタイムスタンプが転移データに含まれる場合がある。

【0070】

図2Cでは、親デバイス202は、すべての利用可能なデバイス、たとえば2次デバイス204a〜204dに、それらのジェスチャ認識をオンにし、かつ/またはキャッチもしくは「落とす」ジェスチャを期待するように警告することができる。親デバイス202および2次デバイス204a〜204dは、各々ラップトップ、モバイルデバイス、タブレット、テレビジョン、スピーカなどであり得る。

【0071】

図2Dでは、ユーザ206は、所望のターゲットデバイスに向かって、たとえば2次デバイス204d(TV)に向かって、キャッチまたは「落とす」ジェスチャ208を実行する、たとえば自分の手を開くことができる。ターゲットデバイスは、ジェスチャ(たとえば、開いた手)を認識し、自分が今やターゲットデバイスであることを親デバイス202に送信する。

【0072】

代替として、デバイスはまた、ジェスチャの検出に関連して視線推定(たとえば、顔の向きおよび/またはユーザの眼が見ている方向)を使用して、ユーザがそのデバイスを対象にしていることを確認することができる。これにより、極近傍にあるデバイスについてのエラーが減少する場合がある。この例では、ユーザ206は、自分の顔および/または視線をデバイス204dに向けて、デバイス204dが対象にされていることを示すことができる。

【0073】

ターゲットデバイスは、落とすことが受信されたことのフィードバックをユーザに与える場合もあり、与えない場合もある。フィードバックが与えられた場合、フィードバックは、任意の形態、たとえば音、画面のフラッシュ、表示されるべきコンテンツの視覚的拡大などのアニメーション、振動、テキストノート、または任意の他の適切な形態であり得る。

【0074】

残りのデバイス(たとえば、2次デバイス204a〜204c)は、親デバイスまたはターゲットデバイスのいずれかによって、ジェスチャ認識モードをやめること、またはそれらが転送コンテンツの受信者にはならないことを知らされる場合がある。代替として、残りのデバイス(たとえば、2次デバイス204a〜204c)は、たとえば時間「t」の間またはタイムアウトまで、ジェスチャを予期し続けることができる。または、別の実施形態では、残りのデバイス(たとえば、2次デバイス204a〜204c)は、キャンセルジェスチャを検出して、ジェスチャ認識モードを非アクティブ化することができる。

【0075】

この実施形態では、キャッチまたは「落とす」ジェスチャ208は、開く手の形態であり得るが、キャッチのジェスチャは、任意の適切な形態であり得る。ジェスチャは、アプリケーション、位置、対象とされるユーザまたはデバイス、コンテンツなどごとに異なる場合がある。加えて、ジェスチャは様々なジェスチャのペアであり得る。「秘密のハンドシェイク」は、視線または知識ベースの人間の暗号化を可能にすることができる。一実施形態では、デバイスは、「秘密のハンドシェイク」または特定のユーザに属するジェスチャを取り込むことができ、特定のユーザは、顔認識または音声認識によって判断することができる。

【0076】

最後に、コンテンツは、ターゲットデバイス(たとえば、2次デバイス204d(TV))上で提示することができる。コンテンツがタイムラインベースである実施形態では、コンテンツは、親デバイス上で休止されたタイムスタンプで再生を開始することができる。代替として、コンテンツは、休止より時間「t」だけ前に始まることができ、「t」は短い持続時間、たとえば約2〜5秒であるか、または「t」はコンテンツ内の自然な中断(たとえば、シーン、センテンス、節などの始まり)を表す。「t」は、本明細書ではある時間または時間期間を示すために使用され、「t」に対するすべての参照は、本明細書では必ずしも同じ時間または時間期間を指すとは限らないことを、当業者なら諒解されよう。したがって、本明細書に記載された「t」の値は様々であり得る。

【0077】

本開示の実施形態を利用することができる状況が多く存在する。たとえば、接続された家庭環境では、ユーザデバイス(たとえば、スマートフォン、タブレット、ラップトップなど)は、ユーザからのジェスチャを検出して、ユーザデバイスに表示されたレシピなどのコンテンツをオーブンなどのターゲットデバイスに転送することができ、次いで、オーブンは自動的に正しい温度まで予熱することができる。別の例では、ヘルスケアの状況で、ユーザデバイスは、医者などのユーザからのジェスチャを検出して、医者のユーザデバイスから、適正な量の薬をその後投与することができるIVなどのターゲットデバイス、または別のユーザデバイス、たとえば、X線などの情報もしくはファイルをユーザデバイス間で共有もしくは表示するための患者のユーザデバイスもしくは大画面に、指示を転送することができる。

【0078】

次に図3を参照すると、デバイスを実装するためのシステムのブロック図が、本開示の一実施形態に従って示される。システム1500は、モバイルデバイス、スマートフォン、携帯情報端末(PDA)、タブレット、ラップトップ、パーソナルコンピュータ、TVなどの、有線またはワイヤレスのデバイスを含む、任意のタイプのデバイスを実装するために使用することができる。

【0079】

図3に示されたシステム1500は、親デバイス102、202、111、および121、ならびに1つまたは複数の受信デバイスまたは2次デバイス104a〜104c、112、122、204a〜204cを含む、本開示の実施形態を実装するのに適切であり得る。デバイス、たとえばスマートフォン、タブレット、パーソナルコンピュータ、および/またはネットワークサーバの一部などのシステム1500は、情報を通信するためのバス1502または他の通信機構を含み、それらは、処理コンポーネント1504(たとえば、プロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)など)、システムメモリコンポーネント1506(たとえば、RAM)、静的ストレージコンポーネント1508(たとえば、ROM)、ネットワークインターフェースコンポーネント1512、ディスプレイコンポーネント1514(または代替として、外部ディスプレイへのインターフェース)、入力コンポーネント1516(たとえば、キーパッドまたはキーボード)、およびカーソル制御コンポーネント1518(たとえば、マウスパッド)のうちの1つまたは複数を含む、サブシステムおよびコンポーネントを相互接続する。様々な実施形態では、入力コンポーネント1516は、カメラ、IR、または超音波入力などの技術を含む場合がある、ジェスチャ認識コンポーネントまたはジェスチャ認識モジュールを含む場合がある。

【0080】

本開示の実施形態によれば、システム1500は、システムメモリコンポーネント1506内に含まれている1つまたは複数の命令の1つまたは複数のシーケンスを実行する処理コンポーネント1504によって、特定の動作を実行する。そのような命令は、静的ストレージコンポーネント1508などの別のコンピュータ可読媒体からシステムメモリコンポーネント1506の中に読み込まれる場合がある。これらは、ジェスチャ認識技術などに基づいて、メッセージを送るか、またはメッセージを受信する命令を含む場合がある。他の実施形態では、本開示の1つまたは複数の実施形態の実装用のソフトウェア命令の代わりに、またはそれと組み合わせて、ハードワイヤード回路が使用される場合がある。

【0081】

様々な実施形態では、処理コンポーネント1504は、ジェスチャ、たとえば、コンテンツを転送することなどの様々なアクションに関連付けられたジェスチャ(たとえば、コンテンツの転送を始動または完了することに対応するジェスチャ)を検出するように構成されたアプリケーションに含まれる場合がある、1つまたは複数の命令の1つまたは複数のシーケンスを実行することができる。一実施形態では、命令は、たとえば、ディスプレイバッファ、スクリーンショット、またはアプリケーションからのデータ内に、転送されるべきコンテンツを取り込むことを処理コンポーネント1504に行わせるように構成される場合がある。命令は、アプリケーションまたはサービスまたはバックグラウンドプロセスによって始動または実行される場合がある。いくつかの実施形態では、転送始動は、いかなるアプリケーション、ユーザインターフェース、または可視ウィンドウからも独立して動作することができる、HLOS(高水準オペレーティングシステム)に実装されたバックグラウンドのサービスまたはタスクによって開始される場合がある。そのような実施形態では、どのアプリケーションがフォアグラウンドで動作しているかにかかわらず、本明細書に記載された実施形態を利用することが可能であり得る。したがって、ジェスチャを認識するアプリケーションに依存すること、ならびに共有するデータのタイプおよび量が潜在的に制限されることではなく、サービスおよび/またはHLOSに実装されると、たとえば、画像またはビデオのバッファを送信することによって、ユーザがいくつかの実装形態における任意の表示されたコンテンツを共有することが可能になる場合がある。いくつかの実施形態では、メディア、画像などとは異なる情報がデバイス間で送信される。たとえば、本明細書に記載された実施形態に従って、ファイルまたはアプリケーションまたは他の情報を共有することができる。

【0082】

論理はコンピュータ可読媒体内で符号化することができ、コンピュータ可読媒体は、実行用に処理コンポーネント1504に命令を供給することに関与する任意の媒体を指す場合がある。そのような媒体は、限定はしないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む多くの形態を取る場合がある。様々な実装形態では、揮発性媒体には、システムメモリコンポーネント1506などのダイナミックメモリが含まれ、伝送媒体には、バス1502を構成する有線を含む、同軸ケーブル、銅線、および光ファイバが含まれる。メモリは、ジェスチャ認識用の様々なオプションの表現を記憶するために使用される場合がある。たとえば、特定の手のポーズ(または他の適切なポーズ)は、コンテンツを移動させるための「つかむ」ジェスチャを表すことができる開いた手などの特定のアクションに関連して記憶することができる。一実施形態では、伝送媒体は、無線波データ通信および赤外線データ通信の間に生成されるものなどの、音波または光波の形態を取る場合がある。コンピュータ可読媒体のいくつかの一般的な形態には、たとえば、RAM、PROM、EPROM、フラッシュEPROM、任意の他のメモリチップもしくはメモリカートリッジ、搬送波、またはそこからコンピュータが読み取るように適合された任意の他の媒体が含まれる。コンピュータ可読媒体は非一時的であり得る。

【0083】

本開示の様々な実施形態では、本開示を実践する命令シーケンスの実行は、システム1500によって実施することができる。様々な他の実施形態では、通信リンク1520(たとえば、WiFiまたは他の有線もしくはワイヤレスのネットワーク)によって結合された複数のシステム1500は、命令シーケンスを実行して、互いに協調して本開示を実践することができる。システム1500は、通信リンク1520およびネットワークインターフェースコンポーネント1512を介して、メッセージ、データ、情報、および、1つまたは複数のプログラム(すなわち、アプリケーションコード)を含む命令を送信および受信することができる。受信されたプログラムコードは、実行用にディスクドライブコンポーネント1510または他の何らかの不揮発性ストレージコンポーネントに受信および/または記憶されながら、処理コンポーネント1504によって実行することができる。

【0084】

図4は、本開示の一実施形態によるメッセージフロー図を示す。上述されたように、メッセージは、1つのデバイスから別のデバイスに、たとえば、親デバイス402から1つもしくは複数の2次デバイス404に、およびその逆に、または2次デバイス404の間で流れる場合がある。そのようなメッセージは、ある時刻に、または特定のイベントもしくはトリガで(たとえば、コンテンツ転送のジェスチャが検出された後)、生成または送信される場合がある。その点において、デバイスは、アクションが実施されるべき、たとえばコンテンツの転送が発生する可能性があるとのメッセージを得ることに応答して、ジェスチャ認識能力、たとえば、デバイスの画像またはビデオの取込み能力(たとえば、カメラ)を始動することができる。上述されたように、デバイス間の接続は、WiFiダイレクト、AllJoyn、WiFiディスプレイ、または任意の他の共有もしくはペアリングの接続を用いて行うことができる。いくつかの実施形態では、親デバイス402および/もしくは2次デバイス404のいずれも、システム1500によって実装することができ、かつ/またはシステム1500の要素は、たとえば、親デバイス402および/もしくは2次デバイス404のいずれにも組み込むことができる。

【0085】

図4の実施形態に示されたメッセージフローを参照すると、最初に、親デバイス402上でのジェスチャが完了すると、利用可能なペアリング2次デバイス404に、たとえばジェスチャ認識モードをオンにするか、またはジェスチャ認識モードを変更し、「落とす」ジェスチャを予期するようにそれらに命令する要求または警告を、(たとえば、ネットワークインターフェースコンポーネント1512および/または通信リンク1520を使用して)送り出すことができる。アクション、たとえばコンテンツの動きは、すべてのペアリング可能な2次デバイス404上の事前キャッシングのために、この時点で親デバイス402からの送信を開始する場合もあり、開始しない場合もある。

【0086】

送信は、たとえば、親デバイス402から要求または警告をブロードキャストすることによって、いずれかまたはすべての利用可能な2次デバイス404に対して行うことができる。様々な実施形態では、送信またはブロードキャストは、すべての利用可能なデバイスに対して、またはそれらのサブセットに対して行うことができる。たとえば、警告は、あるグループ内のデバイスだけに(たとえば、ソーシャルネットワークに応じて友達に、デバイスのユーザ(たとえば、ボビーのデバイス、または母親のデバイス)に応じて、などで)、送信することができる。警告または要求が送信される2次デバイス404は、転送始動のジェスチャに基づいて特定または選択される場合もある。たとえば、様々なデバイスは、様々な始動ジェスチャに対して警告される場合がある。いくつかの実施形態では、フリックのジェスチャは、1つのセットのデバイスを対象とするためであり得るし、「つかむ」は別のセットのデバイスを対象とするためであり得るなどである。

【0087】

その点において、利用可能なデバイスは、様々な方式で選択される場合がある。たとえば、1つまたは複数のターゲットデバイス404aは、a)たとえば、信号(たとえば、光信号)を検出することによって特定される場合がある視線内のデバイス、b)たとえば、デバイス間の距離を測定することによって特定されるか、あるいは飛行時間または信号強度(たとえば、光信号、無線信号、もしくは音声信号)によって推定される場合がある相対距離または相対位置内のデバイス、c)たとえば、屋内測位システム(IPS)を使用して、部屋、ランドマーク、または固定ノードに対するデバイスの位置を特定する、同じ位置(たとえば、部屋)内、または距離内のデバイスに基づいて選択される場合がある。また、位置は、相対距離または相対位置を特定するために比較される場合があるか、または位置は、各デバイスが中にいる部屋を特定するために参照(地図)と比較される場合があり、かつ/または、d)同じ通信ハブ、リピータ、ルータなどを介して接続されたデバイス。そのような動作、特定、および/または選択は、たとえば、少なくとも処理コンポーネント1504によって実行される場合がある。

【0088】

親デバイス402のユーザが、たとえば親デバイス402から1つまたは複数の2次デバイス404に所望のコンテンツを移動させるアクションを始動したいとき、ユーザは、たとえば開いた手のポーズを用いて「つかむ」ジェスチャなどのジェスチャを始動し、閉じた手のポーズを用いてジェスチャ(たとえば、「つかむ」ジェスチャ)を完了することができる。ジェスチャの完了は、アクション(たとえば、移動シーケンス)を始動することができる。アクション、たとえば移動シーケンスの始動は、「つかむ」ジェスチャ、たとえば開いた手が指定された時間期間「t」、たとえば約1〜3秒の間保持されたときに始まることができる。ジェスチャは、たとえば、入力コンポーネント1516によって検出または受信される場合がある。親デバイス402は、たとえば、ディスプレイコンポーネント1514および/または別のコンポーネントを用いて、アクションが始動されたことのフィードバックをユーザに与える場合もあり、与えない場合もある。

【0089】

アクションが、タイムラインベースであるコンテンツまたはストリーミングコンテンツ(たとえば、ビデオ、音楽など)の動きを含む実施形態では、コンテンツは、親デバイス402上で休止される場合があり、休止のタイムスタンプが送信データに含まれる場合がある。

【0090】

2次デバイス404は、親デバイス402から警告を受信すると、ジェスチャ認識をオンにし、かつ/または落とすジェスチャを予期することができる。様々な実施形態では、(たとえば、カメラを介した)ジェスチャ認識は、すでにオンであり得るか、または常にオンである。したがって、2次デバイス404へのメッセージは、(いくつかの実施形態ではジェスチャ認識をオンにするか、または開始させることができるが)必ずしもジェスチャ認識を開始または始動させるとは限らない場合がある。たとえば、2次デバイス404へのメッセージは、始動ジェスチャが何であったか、または何の対応する完了メッセージが必要とされるかを、2次デバイス404に警告するにすぎない場合がある。一実施形態では、メッセージは、(たとえば、より高いフレームレートでジェスチャを検出するように試みるために)ジェスチャ認識のデューティサイクルを変更することができるか、あるいは、(たとえば、ジェスチャ認識アルゴリズム内のしきい値レベルを調整することによって、または認識モジュールが特定のポーズ、オブジェクト、もしくは動きを見つけるために使用するモデルを決定することを可能にすることによって)ジェスチャ認識の実行を変更することができる。

【0091】

(いくつかの実施形態では図3の実施形態に示された入力コンポーネント1516の一部であり得る)デバイスのジェスチャ認識システムは、いくつかの実施形態では認識することができる、「ジェスチャアルファベット」と呼ばれる場合がある一組のジェスチャを有する場合がある。ジェスチャ認識システムをオンまたはオフにする代わりに、そのジェスチャ認識システムがすでにオンである場合、ジェスチャは、ジェスチャアルファベットに追加されるか、またはそれから削除される場合がある。たとえば、カメラは、「写真を撮る」ジェスチャを検出するために常にオンのジェスチャ認識システムを有する場合があり、「つかむ」または「落とす」ジェスチャは、ジェスチャアルファベットに追加される場合がある。

【0092】

再び図4を参照すると、所望の2次デバイス(「ターゲットデバイス」)404aに向かって落とすジェスチャを実行すると、ターゲットデバイス404aは、(たとえば、入力コンポーネント1516を使用して)落とすジェスチャを認識し、(たとえば、ネットワークインターフェースコンポーネント1512および/または通信リンク1520を使用して)自分が今やターゲットデバイスであることを親デバイス402に送信する。

【0093】

この点において、ユーザは、所望のターゲットデバイス404aに向かって(たとえば、開いた手のポーズを用いて)落とすジェスチャを実行することができる。いくつかの実施形態では、ジェスチャの検出に関連して視線推定(たとえば、顔の向きおよび/またはユーザの眼が見ている方向)を使用して、ユーザがそのデバイスを対象にしていることを確認することができる。これにより、極近傍にあるデバイス内のエラーが減少する場合がある。たとえば、ターゲットデバイス404aは、いくつかの実施形態では、送信完了のジェスチャを検出し、ユーザが自分を見ていることを識別したときのみ、自分がターゲットデバイスであることを検出することができる。

【0094】

親デバイス402が同時マルチデバイス共有用のジェスチャキーコード(たとえば、秘密のハンドシェイク、秘密の手のポーズ、特定の2次デバイス向けの特定の手のポーズ(たとえば、ある2次デバイス向けの2本の指のフリック、別の2次デバイス向けの3本の指のフリックなど))を使用する実施形態では、ターゲットデバイス404aが特定の手のポーズを認識するか、または、たとえば、ターゲットデバイスだけに知られている秘密のジェスチャキーコードに対する相手を使用するとき、ターゲットデバイス404aは、自分が今やターゲットデバイスであることを親デバイス402に送信することができる。

【0095】

ターゲットデバイスは、たとえば、ディスプレイコンポーネント1514または別のコンポーネント、たとえば音声を生成するコンポーネントを用いて、落とすが受信されたことのフィードバックをユーザに与える場合もあり、与えない場合もある。

【0096】

ターゲットデバイスを認識すると、すべての他の2次デバイスは、いくつかの実施形態では、親デバイスまたはターゲットデバイスのいずれかによって、ジェスチャ認識モードをやめるように知らされる場合がある。代替として、ユーザがターゲットデバイス404aに向かって「落とす」ジェスチャを実行したとき、残りの2次デバイスは、ジェスチャを予期し続けることができる。一実施形態では、残りの2次デバイスは、時間「t」の間またはタイムアウトまで、ジェスチャを予期し続けることができる。または、別の実施形態では、残りの2次デバイスは、キャンセルジェスチャを検出して、ジェスチャ認識モードを非アクティブ化することができる。いくつかの実施形態では、親デバイスは、キャンセルジェスチャを検出し、ジェスチャの監視を停止することを2次デバイスに通知するように構成される。他の実施形態では、親デバイスは、2次デバイスがジェスチャを検出しなかったとき、ある時間「t」の後またはタイムアウトまで、ジェスチャの予期を停止するようにすべての2次デバイスに通知することができる。ジェスチャは、アプリケーション、位置、ターゲットユーザなどごとに異なる場合があり、様々なジェスチャのペアであり得る。秘密のハンドシェイクなどの秘密の手のポーズが使用される場合があり、視線または知識ベースの人間の暗号化を可能にすることができる。

【0097】

その後、(たとえば、コンテンツが最初にキャッシング用に転送されなかったとき)コンテンツは、ターゲットデバイス404aに送信することができる。コンテンツは、受信後ターゲットデバイス404aによって処理することができる。

【0098】

コンテンツをターゲットデバイス上で提示することができるか、またはコンテンツに対して何らかの他の形態の処理を実行することができる。コンテンツが事前キャッシュされた実施形態では、ターゲットデバイス404aが転送完了のジェスチャを検出し、検出を親デバイス402に警告し、かつ/または親デバイス402から確認を受信すると、事前キャッシュされたコンテンツは、ターゲットデバイス404a上に表示することができる。

【0099】

コンテンツがタイムラインベースである実施形態では、コンテンツは、親デバイス上で休止されたタイムスタンプで再生を開始することができる。代替として、コンテンツは、休止より時間「t」だけ前に再生を開始することができ、「t」は短い持続時間(たとえば約2〜5秒)であるか、または、「t」は、シーン、センテンス、節などの始まりなどのコンテンツ内の自然な中断を表すことができる。

【0100】

図4に関して上述された実施形態では、様々なシーケンスの動作が記載された。たとえば、ターゲットデバイス404aは、いくつかの実施形態では、親デバイス402からの警告が受信され、その後転送完了のジェスチャが検出されたときのみ、受信されたコンテンツを処理するか、またはコンテンツの転送を始動することができる。しかしながら、そのようなシーケンスの動作は、すべての実施形態で必要とされるとは限らない。

【0101】

たとえば、コンテンツの転送または送信は、いくつかの実施形態では、ほぼ同時に(またはしきい値の時間量以内で)2つ(またはそれ以上)のデバイスが同じ(または対応する)ジェスチャを検出した場合、発生する可能性がある。対応するジェスチャがほぼ同時に検出されたかどうかの判定は、たとえば、上述された親デバイス402、上述されたターゲットデバイス404a、および/または両方(もしくはそれ以上の)デバイスと通信するサーバもしくはAPで実行することができる。たとえば、第1のデバイスが共有ジェスチャを検出したとき、第1のデバイスはメッセージをブロードキャストすることができる。第2のデバイスが受信ジェスチャを検出したとき、第2のデバイスは、別のデバイスが対応する共有ジェスチャを検出したことを示すメッセージに耳を傾け、かつ/または受信ジェスチャが検出されたことを示すそれ自体のメッセージを送信することができる。メッセージは、タイムスタンプされるか、または、たとえば、ジェスチャが検出された時刻を含む場合がある。(たとえば、第1のデバイスおよび/または第2のデバイスからのメッセージに基づいて、第1のデバイス、第2のデバイス、および/またはサーバによって判断されるように)共有ジェスチャが受信ジェスチャとほぼ同時に検出された場合、コンテンツを転送することができる。

【0102】

図5は、本開示の一実施形態による、マルチデバイスのペアリングおよび共有のための方法を示すフロー図である。図5に示された方法は、1つまたは複数の実施形態により、図3に示されたデバイスによって実施される場合があることを諒解されたい。

【0103】

ブロック502で、親デバイス、たとえば図3の実施形態に示されたシステム1500を実装するデバイスは、親デバイスに向かってユーザによって実行された始動する非接触ジェスチャを検出することができる。デバイスは、一般に、入力コンポーネント1516を介して、非接触ジェスチャを検出することができる。始動する非接触ジェスチャには、たとえば、ユーザによるつかむジェスチャおよびつかむジェスチャの完了が含まれ得るし、その結果、つかむジェスチャの完了は、親デバイスから1つまたは複数の2次デバイスにコンテンツを移動させることなどのアクションを始動することができる。

【0104】

ブロック504で、親デバイスは、処理コンポーネント1504を介して、1つまたは複数の実施形態によって上述されたように、ユーザによって実行された始動する非接触ジェスチャの検出に基づいて、アクション(たとえば、コンテンツの移動の開始)を始動することができる。

【0105】

ブロック506で、親デバイスは、始動する非接触ジェスチャの検出に基づいて、1つまたは複数の2次デバイス上のジェスチャ認識モードをトリガすることができる。たとえば、親デバイスは、ネットワークインターフェースコンポーネント1512および/または通信リンク1520上で適用可能な通信プロトコルを介して、ジェスチャ認識を有効にして対応するジェスチャを検出する、たとえば「落とす」ジェスチャの検出を予期するように、ペアリングに利用可能なすべての2次デバイスに警告するメッセージを送ることができる。

【0106】

ブロック508で、親デバイスは、2次デバイスのうちの少なくとも1つによって肯定的に認識されると、アクション、たとえばコンテンツの転送を完了することができる。一実施形態では、親デバイスは、ターゲットデバイスが識別されたことのメッセージを受信することができ、その結果、処理コンポーネント1504は、ネットワークインターフェースコンポーネント1512および/または通信リンク1520上で適用可能な通信プロトコルを介したターゲットデバイスへのコンテンツの転送を完了することができる。

【0107】

図6は、本開示の別の実施形態による、マルチデバイスのペアリングおよび共有のための方法を示すフロー図である。図6に示された方法は、1つまたは複数の実施形態により、図3に示されたデバイスによって実施される場合があることを諒解されたい。

【0108】

ブロック602で、1つまたは複数の2次デバイス、たとえば、ペアリングに利用可能であり、図3に示されたシステム1500によって実装され得るデバイスは、たとえば、ネットワークインターフェースコンポーネント1512および/または通信リンク1520上でコンテンツが親デバイスから2次デバイスに転送されるべきとき、アクションを始動することに関連して親デバイスからトリガデータを受信することができる。

【0109】

ブロック604で、2次デバイスは、親デバイスから受信されたトリガデータに基づいて、ジェスチャ認識モードをオンにすることができる。すなわち、2次デバイスは、親デバイスから受信されたデータによってアクションが発生する可能性があると警告される場合がある。ジェスチャ認識モードは、入力コンポーネント1516によって実施される場合がある。

【0110】

ブロック606で、2次デバイスは、2次デバイスに向かってユーザによって実行された完了の非接触ジェスチャを予期することができる。この点において、2次デバイスは、入力コンポーネント1516を介した非接触ジェスチャ能力を有する場合があり、その結果、2次デバイスは、ユーザによって実行された「落とす」ジェスチャなどの非接触完了ジェスチャを検出することができる。

【0111】

ブロック608で、入力コンポーネント1516を介して、完了の非接触ジェスチャ、たとえば「落とす」ジェスチャを検出すると、2次デバイスは、アクションを完了するためのターゲットデバイスになることができる。その点において、親デバイスからコンテンツを受信することなどのアクションを完了することができ、コンテンツは、ネットワークインターフェースコンポーネント1512および/または通信リンク1520上で受信することができる。

【0112】

図7は、本開示の一実施形態による、データを転送するための方法を示すフロー図である。図7に示された方法は、1つまたは複数の実施形態により、図3に示されたデバイスによって実施される場合があることを諒解されたい。

【0113】

ブロック702で、親デバイス、たとえば図3の実施形態に示されたシステム1500を実装するデバイスは、ユーザによって実行された始動する非接触ジェスチャを検出することができる。デバイスは、一般に、入力コンポーネント1516を介して、非接触ジェスチャを検出することができる。始動する非接触ジェスチャには、たとえば、ユーザによるつかむジェスチャおよびつかむジェスチャの完了が含まれ得るし、その結果、つかむジェスチャの完了は、親デバイスから1つまたは複数の2次デバイスにコンテンツを移動させることなどのアクションを始動することができる。

【0114】

ブロック704で、親デバイスは、始動する非接触ジェスチャの検出に基づいて、1つまたは複数の2次デバイス上のジェスチャ認識をトリガすることができる。たとえば、親デバイスは、ネットワークインターフェースコンポーネント1512および/または通信リンク1520上で適用可能な通信プロトコルを介して、ジェスチャ認識を有効にして対応するジェスチャを検出する、たとえば「落とす」ジェスチャの検出を予期するように、ペアリングに利用可能なすべての2次デバイスに警告するメッセージを送ることができる。

【0115】

ブロック706で、親デバイスは、1つまたは複数の2次デバイスのうちの少なくとも1つのデバイスのジェスチャ認識が完了する非接触ジェスチャを検出したことの指示を受信することができる。たとえば、親デバイスは、ネットワークインターフェースコンポーネント1512および/または通信リンク1520上で適用可能な通信プロトコルを介して、メッセージを受信することができる。完了する非接触ジェスチャは、始動する非接触ジェスチャに対応する場合があり、たとえば、完了する非接触ジェスチャは、上述された「落とす」ジェスチャを含む場合がある。

【0116】

ブロック708で、親デバイスは、受信された通知に応答して、少なくとも1つのデバイスにデータを転送することができる。一実施形態では、親デバイスは、706で受信されたインジケータに基づいてターゲットデバイスが識別されたことを判断することができ、その結果、処理コンポーネント1504は、ネットワークインターフェースコンポーネント1512および/または通信リンク1520上で適用可能な通信プロトコルを介したターゲットデバイスへのデータの転送を完了することができる。

【0117】

図8は、データを受信するための方法を示すフロー図である。図8に示された方法は、1つまたは複数の実施形態により、図3に示されたデバイスによって実施される場合があることを諒解されたい。

【0118】

ブロック802で、1つまたは複数の2次デバイス、たとえば、ペアリングに利用可能であり、図3に示されたシステム1500によって実装され得るデバイスは、たとえば、ネットワークインターフェースコンポーネント1512および/または通信リンク1520上でコンテンツが親デバイスから2次デバイスに転送されるべきとき、転送を始動することに関連して親デバイスからトリガデータを受信することができる。

【0119】

ブロック804で、2次デバイスは、親デバイスから受信されたトリガデータに基づいて、ジェスチャ認識をオンにすることができる。すなわち、2次デバイスは、親デバイスから受信されたデータによってアクションが発生する可能性があると警告される場合がある。ジェスチャ認識および/またはジェスチャ認識モジュールは、入力コンポーネント1516および/または処理コンポーネント1504によって実施される場合がある。

【0120】

ブロック806で、入力コンポーネント1516を介して、完了の非接触ジェスチャ、たとえば「落とす」ジェスチャを検出すると、2次デバイスは、転送を完了するためのターゲットデバイスになることができる。その点において、2次デバイスは、たとえば、ネットワークインターフェースコンポーネント1512および/または通信リンク1520上で、親デバイスからデータを受信することができる。

【0121】

有利なことに、本開示の1つまたは複数の実施形態によるデバイスは、非接触ジェスチャの認識技術を含む場合がある。非接触ジェスチャの認識または検出は、たとえば、利用者に負担をかけず、検知がいくつかの実施形態では静かであり得るし、接触が現実的でないときに有用であり、没入型のユーザ体験およびいくつかのタスク向けの使い勝手が増大し、高齢のユーザ、障害をもつユーザ、またはデバイスに触りたくないか、もしくは触ることができないユーザに有用であり、その関連ハードウェアが低コストで市販されている場合があり、非接触ジェスチャが他の入力技法よりも自然であり得るし、かつ/あるいは対話領域の大きさが増大され得ることを含む多くのシナリオで有益であり得る。また、いくつかの実施形態は、画面などのユーザインターフェースを従来から欠いている1つまたは複数のデバイス、たとえばスピーカ、プリンタ、オーブン、一部の医療機器などを用いたコンテンツの転送または情報の共有などのアクションを実施するために使用される場合がある。その上、転送始動メッセージに応答してユーザデバイスのカメラなどのジェスチャ認識能力をオンにするか、またはデューティサイクルを上げると、電力を節約することができる。さらに、来たるべき転送をデバイスに警告すると、ターゲットデバイスが、たとえば、転送を予期しているべきであることを警告されるか、またはアクションを期待するために知るまで、ターゲットデバイスは、ユーザの不規則な動きを解釈するように試みない場合があるので、より正確な非接触ジェスチャの検出が可能になる場合がある。本開示の実施形態はまた、多くの他の状況、たとえば、ハンドシェイクが親デバイスと2次デバイスとの間で使用され、互いの視野の中にある2人のユーザが互いのアクションを見ることができ、その結果、次のまたは対応するジェスチャを決定することができる場合に有利であり得る。

【0122】

当業者がそろそろ諒解するように、かつ目下の特定の適用例に応じて、本開示の精神および範囲から逸脱することなく、本開示のデバイスの材料、装置、構成、および使用方法において、かつそれらに対して、多くの修正、置換、および変更を行うことができる。これに照らして、本明細書に例示および記載された特定の実施形態は、それらのいくつかの例を手段としているにすぎないので、本開示の範囲はそれらの範囲に限定されるべきではなく、むしろ、以後に添付された特許請求の範囲およびそれらの機能的な均等物の範囲に完全に相応するべきである。

【符号の説明】

【0123】

1 ユーザ、デバイス
2 ユーザ
102 親デバイス
104 2次デバイス
111 親デバイス
112 ターゲットデバイス
121 親デバイス
122 ターゲットデバイス
202 親デバイス
204 2次デバイス
206 ユーザ
208 キャッチまたは「落とす」ジェスチャ
402 親デバイス
404 2次デバイス
404a ターゲットデバイス
1500 システム
1502 バス
1504 処理コンポーネント
1506 システムメモリコンポーネント
1508 静的ストレージコンポーネント
1510 ディスクドライブコンポーネント
1512 ネットワークインターフェースコンポーネント
1514 ディスプレイコンポーネント
1516 入力コンポーネント
1518 カーソル制御コンポーネント
1520 通信リンク

【図1】

【図1A】

【図1B-1E】

【図1F-1I】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】