特許 6188522 ユーザインタフェースにおける使用者の入力を管理するための方法、ユーザインタフェース及びコンピュータ可読媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6188522

(24)【登録日】2017年8月10日

(45)【発行日】2017年8月30日

(54)【発明の名称】ユーザインタフェースにおける使用者の入力を管理するための方法、ユーザインタフェース及びコンピュータ可読媒体

(51)【国際特許分類】

   G06F 3/0488 20130101AFI20170821BHJP

   G06F 3/0481 20130101ALI20170821BHJP

   G06F 3/16 20060101ALI20170821BHJP

   G06F 3/01 20060101ALI20170821BHJP

【ＦＩ】

   G06F3/0488 130

   G06F3/0481 170

   G06F3/16 600

   G06F3/01 560

【請求項の数】19

【外国語出願】

【全頁数】15

(21)【出願番号】特願2013-207390(P2013-207390)

(22)【出願日】2013年10月2日

(65)【公開番号】特開2014-75130(P2014-75130A)

(43)【公開日】2014年4月24日

【審査請求日】2016年7月5日

(31)【優先権主張番号】13/633,806

(32)【優先日】2012年10月2日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】507342261

【氏名又は名称】トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100102819

【弁理士】

【氏名又は名称】島田 哲郎

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100153084

【弁理士】

【氏名又は名称】大橋 康史

(74)【代理人】

【識別番号】100160705

【弁理士】

【氏名又は名称】伊藤 健太郎

(74)【代理人】

【識別番号】100157211

【弁理士】

【氏名又は名称】前島 一夫

(72)【発明者】

【氏名】ダグラス エー．ムーア

【審査官】 岩橋 龍太郎

(56)【参考文献】

【文献】 特開２０１２−１２３６８９（ＪＰ，Ａ）

【文献】 特表２０１２−５２１０４８（ＪＰ，Ａ）

【文献】 特開２００８−００９６６８（ＪＰ，Ａ）

【文献】 特開２００３−０９９１７１（ＪＰ，Ａ）

【文献】 特開２０１１−０９０５３２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４１− ３／０４８９

Ｇ０６Ｆ ３／１６

(57)【特許請求の範囲】

【請求項1】

コンピュータにより実施されるユーザインタフェースの、使用者の入力を管理するための方法であって、
コンピューティング装置に接続されたタッチスクリーンを介して参照入力を受信することと、
前記タッチスクリーンを介して後続入力を受信することと、
前記参照入力と前記後続入力との間の相対的オフセットを識別することと、
前記参照入力と前記後続入力との間の前記相対的オフセットの方向を識別することと、
受信した前記入力の前記相対的オフセット及び方向をジェスチャーと関連付けることと、
前記ジェスチャーを前記コンピューティング装置に対する命令と関連付けることと、
前記ジェスチャーに基づいてそれぞれの命令と関連付けられた固有の音声フィードバック応答を提供することと、
前記タッチスクリーンに表示されたアイコンとの接触にもかかわらずアイコンの基づく双方向通信が使えない相対的オフセット計測インタフェースから、アイコンに基づく双方向通信が使用可能である選択可能なアイコンのタッチスクリーンインタフェースに切り替えることの要求に対応した切り替え入力を受信することと、
前記切り替え入力に基づいて、前記相対的オフセット計測インタフェースから前記選択可能なアイコンのタッチスクリーンインタフェースに切り替えることと、
を含む方法。

【請求項2】

前記タッチスクリーンに対する入力後の継続時間を計測することを更に含む請求項１に記載の方法。

【請求項3】

前記タッチスクリーンを介して第２の後続入力を受信することと、
前記後続入力と前記第２の後続入力との間の第２の相対的オフセットを識別することと、
前記後続入力と前記第２の後続入力との間の前記第２の相対的オフセットの第２の方向を識別することと、を更に含む請求項１に記載の方法。

【請求項4】

前記タッチスクリーンに対する前記参照入力と、前記ジェスチャーの最後の入力との、間の継続時間を計測することを更に含む請求項１に記載の方法。

【請求項5】

それぞれの命令と関連付けられた固有の触覚的フィードバック応答を伝達することを更に含む請求項１に記載の方法。

【請求項6】

前記固有の音声フィードバックが音楽の音に対応して提供される請求項１に記載の方法。

【請求項7】

入力が、タッチ又はドラッグの少なくとも一方であってもよい請求項１に記載の方法。

【請求項8】

前記参照入力が前記タッチスクリーンに表示された像と関連付けられていない請求項１に記載の方法。

【請求項9】

前記参照入力の位置が任意である請求項１に記載の方法。

【請求項10】

水平軸線及び鉛直軸線の両方における前記参照入力からの前記後続入力の前記相対的オフセットに基づいて、命令を割り当てることを更に含む請求項１に記載の方法。

【請求項11】

前記タッチスクリーンが、車両、ロボット、家庭用電化製品、工具またはおもちゃの少なくとも１つのインタフェースである請求項１に記載の方法。

【請求項12】

受信された参照入力の位置が、表示された選択可能なアイコンの選択に影響を与えることなく、前記タッチスクリーンにおける前記表示された選択可能なアイコンと共に配置されてもよい請求項１に記載の方法。

【請求項13】

コンピュータにより実施されるユーザインタフェース装置であって、
参照入力と、後続入力と、タッチスクリーンに表示されたアイコンとの接触にもかかわらずアイコンの基づく双方向通信が使えない相対的オフセット計測インタフェースから、アイコンに基づく双方向通信が使用可能である選択可能なアイコンのタッチスクリーンインタフェースに切り替えることの要求に対応した切り替え入力とを受信するように構成されたタッチスクリーンと、
指令の配列が記憶されたコンピュータ可読媒体であって、指令の前記配列が、コンピュータシステムによって実行されたときに、該コンピュータシステムに、
前記参照入力と前記後続入力との間の相対的オフセットを計算させ、
前記参照入力と前記後続入力との間の前記相対的オフセットの方向を計算させる指令を含み、一連の入力の相対的な前記方向及び前記相対的オフセットが、ジェスチャーと関連付けられ、複数のジェスチャーのそれぞれのジェスチャーが、当該ユーザインタフェースに接続されたコンピュータに基づいたシステムに対する命令と関連付けられ、
前記切り替え入力に基づいて、前記相対的オフセット計測インタフェースから前記選択可能なアイコンのタッチスクリーンインタフェースへ切り替える、コンピュータ可読媒体と、
それぞれの命令のための固有の音声フィードバック応答を提供するように構成された音声フィードバックシステムと、を具備したユーザインタフェース装置。

【請求項14】

受信されたジェスチャーに基づいてそれぞれの命令と関連付けられた触覚的応答を伝達するように構成された触覚的フィードバックシステムを更に含む請求項１３に記載のユーザインタフェース装置。

【請求項15】

前記固有の音声フィードバックが、音楽の音に対応して提供される請求項１３に記載のユーザインタフェース装置。

【請求項16】

指令の配列が記憶されたコンピュータ可読媒体であって、
指令の前記配列が、コンピュータシステムの実行に応じて、該コンピュータシステムに、参照入力と後続入力との間の相対的オフセットを決定することと、
前記参照入力と前記後続入力との間の前記相対的オフセットの方向を決定することと、
一連の入力の相対的な前記方向及び前記相対的オフセットの両方を、ジェスチャーと関連付けることと、
前記ジェスチャーを、前記コンピュータに基づいたシステムに対する命令と関連付けることと、
それぞれの命令と関連付けられた固有の音声フィードバック応答を提供することと、
タッチスクリーンに表示されたアイコンとの接触にもかかわらずアイコンの基づく双方向通信が使えない相対的オフセット計測インタフェースから、アイコンに基づく双方向通信が使用可能である選択可能なアイコンのタッチスクリーンインタフェースに切り替えることの要求に対応した切り替え入力を受信することと、
前記切り替え入力に基づいて、前記相対的オフセット計測インタフェースから前記選択可能なアイコンのタッチスクリーンインタフェースに切り替えることと、
を実行させる指令を含むコンピュータ可読媒体。

【請求項17】

それぞれの命令と関連付けられた固有の触覚的応答を伝達することを更に含む請求項１６に記載のコンピュータ可読媒体。

【請求項18】

前記固有の音声フィードバック応答が、音楽の音に対応した請求項１６に記載のコンピュータ可読媒体。

【請求項19】

前記後続入力と第２の後続入力との間の第２の相対的オフセットを決定することと、
前記第２の後続入力の位置から始まる前記後続入力の第２の方向を決定することと、を更に含む請求項１６に記載のコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、非視覚的インタフェースに関し、より詳細には、タッチインタフェースと関連付けられた音声フィードバックシステムに関する。

【背景技術】

【0002】

概して、現在、コンピュータシステムが入力を受信するための多くの方法がある。例えば、キーボード、マウス、ローラーボール、ジョイスティック、タッチパッド、及び、タッチスクリーンは、コンピュータシステムの要素と双方向通信し、これに命令するために使用され得る。同様に、音声フィードバックをキーボード及びドラムマシンのようなタッチ入力に関連付ける機器がある。現在既存のスマートフォン及びタブレットとの双方向通信の好適な方法は、タッチ及びジェスチャーによるものである。このシステムは従来のマウス及び外付けキーボードアプリケーション以上の利点を有する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、この現在人気の双方向通信技術は、盲人、視覚的機能が低下した人、及び、ディスプレイに表示されたグラフィックを見ることができない気をそらした使用者にとって、問題を有する。例えば、最初にスクリーンにおけるアイテムの配向及び位置を認知し、「形状」を把握して、タッチスクリーン双方向通信を開始するのは、直感的ではない。自然かつ直感的な双方向通信システム及び方法が必要とされている。更に、自己再確認（self-reaffirming）音声フィードバックのようなフィードバックを提供する双方向通信方法が、必要とされている。

【課題を解決するための手段】

【0004】

上述した要求は、開示されたシステム及び方法によって好適に達成される。概して本開示は、タッチインタフェースに関し、より詳細には、タッチインタフェースに関連付けられた音声フィードバックシステムに関する。このタッチインタフェースは、使用者が、先験的な知識（priori knowledge）なく、（あったとしても）アイコンのようなアイテムがスクリーン又はスクリーンの相対的配向に配置されたタッチスクリーンと双方向通信することを可能とする。

【0005】

様々な実施形態によれば、本システム及び方法は、使用者が、スクリーンを見ることなく命令を入力することを可能とするべく、タッチスクリーンにジェスチャーをタップするための音声フィードバックを提供する。再生される音声サウンドは、タッピング及び／又はタッチの相対的タッチ位置との関係を有する。従って、盲人のような使用者、又は、視覚的機能が低下した使用者は、従来のジェスチャー、形状及びモーションの限られた知識でタッチスクリーンインタフェースと双方向通信することができる。全てが相対的配置を有するタッチ入力及び／又は一連のタッチ入力に対して、音声フィードバック及び／又は触覚的フィードバックのようなフィードバックを割り当てることによって、使用者は、双方向通信のために、スクリーンの配向を見ることなく、或いは、視覚的にスクリーンのアイテムを識別することなく、タッチインタフェースと双方向通信することができる。

【0006】

様々な実施形態において、この相対的配置双方向通信は、スクリーンにおける使用者の指の自然なタッチを除き、触覚的又は触知的フィードバックを伴わない。同様に、本開示が盲人及び視覚的機能が低下した使用者のための様々な利点を有する一方で、ここで開示されたシステム及び方法は、盲人及び／又は視覚的機能が低下した使用者に限定されるものではない。例えば、車両のドライバのような気をそらした使用者にとって、本開示の様々な態様は価値がある。

【0007】

様々な実施形態において、本システム及び方法は、従来の技術以上の改良であり、使用者が、動作の確認のために視覚的注意を払う必要なく、タッチ面インタフェースと双方向通信することを可能とする。簡易的なタップ、ダブルタップ、或いは、アイコンのドラッグよりも、複雑な命令動作を可能とする。更に本システム及び方法は、入力動作に対して確認及び強化学習（reinforcement learning）を提供することができる音声フィードバックに、個別のタッピングジェスチャーを組み合わせる。

【0008】

本開示の実施形態の特徴及び利点は、図面と共に考慮することにより、以下で説明する詳細な説明から、より明らかとなる。当然のことながら、図面及びそれらに関連した記載は、特許請求の範囲内の例示的構成を示すものであり、特許請求の範囲を限定するものではない。参照符号は、図面を通して参照された要素間の関連性を示すために再使用される。

【図面の簡単な説明】

【0009】

【図1A】様々な実施形態による、タッチに基づいた入力システムに対する最初の参照入力を示す。

【図1B】様々な実施形態による、タッチに基づいた入力システムに対する第２の入力を示す。

【図1C】様々な実施形態による、タッチに基づいた入力システムに対する第３の入力を示す。

【図2】様々な実施形態による、システムの様々な車両の実施形態を示す。

【図3】様々な実施形態による、コンピュータに基づいたシステムの概観を示す。

【図4】様々な実施形態による、タッチに基づいた入力システム及びフィードバックシステムと関連付けられたプロセスを示す。

【発明を実施するための形態】

【0010】

以下の詳細な説明において、本開示の理解を提供するため、仕様的詳細が多数説明される。しかし、当業者にとって当然のことながら、本開示の要素は、これらの仕様的詳細のいくつかを省いて実施されてもよい。他の場合において、本開示を不必要に曖昧にすることを回避するため、公知の構造及び技術は、詳細に示されない。

【0011】

本開示は、概して双方向通信に関し、より詳細には、相対的配置を備える入力に応答するタッチに基づいた入力システム１５５を有した双方向コンピュータシステム１００に関する。ここで使用されたように、相対的配置は、別の場所との関係における場所の位置を含む。様々な実施形態において、このタッチに基づいた入力システム１５５は、情報通信可能なタッチスクリーン１１０（及び／又はタッチパッド１０５）を具備してもよい。

【0012】

タッチスクリーン１１０は、ソフトウェア、ファームウェア又はハードウェアに具現化された構成要素を有するインタフェース回路を具備してもよく、タッチスクリーン１１０から得られた位置情報を、接続されたコンピュータに基づいたシステム１００に理解され得る産業標準信号に変換（interpret）するために用いられる。コンピュータに基づいたシステム１００は、制御器１９０、タッチスクリーン１１０から受信された信号を変換するための構成要素又はドライバを有してもよい。なお、当業者はコンピュータに基づいたシステム１００と通信するため、タッチスクリーン１１０のための他の多くの技術に到ることができる。

【0013】

タッチスクリーン１１０は、中間装置（例えばマイク、キーボード、マウス）の必要なく、例えば指、スタイラス、或いは、手の部分で、直接的に操作され得る。従って、マウス又はキーボードは、タッチスクリーン１１０と双方向通信するために必要ではない。タッチスクリーン１１０は、任意の適したタッチスクリーンであってもよい。例えば、タッチスクリーン１１０は、入力／命令を記録するため、抵抗性の要素、表面弾性波（ＳＡＷ）、静電容量性の要素、表面型静電容量、投影型静電容量、相互容量、自己容量、及び／又は、赤外線光学画像技術を利用してもよい。

【0014】

双方向コンピュータシステム１００は、タブレット装置と類似した手動装置、固定された装置、及び／又は半永久的に配置された装置と一体であってもよく、且つ／又は結合されてもよい。様々な実施形態によれば、視覚的注意なく、システム１００によって、充実したメニューナビゲーションが実現される。

【0015】

ここで開示されたように、入力システム１５５は、タッチに基づいたジェスチャーに応答するように構成されたタッチスクリーン１１０を具備する。使用者の指のような任意の指示装置は、タッチスクリーン１２０の表面１６０に触れるのに容易且つ好適に用いられ得る。様々な実施形態において、タッチスクリーン１１０は、グラフィック及び／又はテキストを表示するように構成される。更に、本開示の様々な態様は、盲人及び視覚的機能が低下した使用者を対象としているため、タッチスクリーン１１０は、グラフィック及び／又はテキストを表示しなくてもよい。従って、タッチスクリーン１１０及び／又はタッチパッド１０５は、より堅牢な材料で製造されてもよい。本システム１００は、音声フィードバックシステム１７０を具備してもよい。この音声フィードバックシステム１７０は、任意の適した音声フィードバックを具備してもよい。例えば、音声フィードバックシステム１７０は、スピーカー１７１、ヘッドフォン、及び／又は、音声出力ポート及び／又は同等品に接続されたスピーカーを具備してもよい。本システム１００は、相対的配置を有するタッチに基づいたジェスチャーと関連付けられた入力、タイミング及び命令を記憶するためのメモリ１２０を具備してもよい。このメモリは、ＲＡＭ、フラッシュメモリ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、レジスタ、ハードディスク、リムーバルディスク、ＣＤ−ＲＯＭ、又は、技術的に公知な記憶媒体の任意の他の形式であってもよい。

【0016】

様々な実施形態において、メモリ１２０に記憶されたアルゴリズムのようなアルゴリズムは、タッチスクリーン１１０ハードウェアと双方向通信するように構成されてもよく、最初のタッチ、相対的オフセット、オフセットの方向、タッチ間のタイミング、タッチの進行、及び／又は音声フィードバックは、全てコンピュータに基づいたシステムとの双方向通信を支援するために用いられ、例えばコンピュータに基づいたメニューナビゲーション及び動作選択の支援のために用いられる。

【0017】

様々な実施形態において、非音声フィードバックが、音声フィードバックに加えて且つ／又は音声フィードバックの代わりに示されてもよい。従って、システム１００は、触覚的応答システム１７５を具備してもよい。例えば、触覚的応答システム１７５は、タッチスクリーン１１０がタップされたとき、装置及び／又はシステム１００及び／又は装置及び／又はシステム１００の要素を振動させてもよい。触覚的応答システム１７５のフィードバックは、ここで開示されたように、受信された様々な入力／命令及び／又は相対的オフセットジェスチャーに基づいて強度及び／又は継続時間において一定であってもよく、且つ／又は変化させてもよい。この触覚的フィードバックは、場合に応じて、使用者の選択に基づいて、且つ／又は、使用者の選択に応じて適用されてもよい。

【0018】

様々な実施形態において、双方向コンピュータシステム１００は、タッチスクリーン１１０の最初の配向の決定において使用者を支援してもよい。例えば、双方向コンピュータシステム１００の外周の顕著な形状が、最初の配向の決定において使用者を支援してもよい。例えば、装置１００は、台形に類似した狭い上部及び広い底部で形状化されてもよく、それによって、使用者は、瞬時に装置の配向を決定することができる。

【0019】

例えば手動の双方向コンピュータシステム１００を備えた様々な実施形態において、システム１００と一体の、加速度計のようなモーションセンサーが、使用者のために装置１００の配向を支援してもよい。例えば、使用者はシステム１００を真っすぐ保持すればよく、装置は、それに応じてタッチスクリーン１１０の配向を再配向する。

【0020】

様々な実施形態において、双方向コンピュータシステム１００は、従来のＱＷＥＲＴＹキーボードのホームポジションにおける「Ｆ」及び「Ｊ」キーにおいて隆起した要素と類似した、装置１００の配向の開始を支持するための、触知性指示器を具備してもよい。この触知性指示器は、タッチスクリーン１１０及び／又は同等品の、例えば上部、側部、縁部、側部、背部のように、装置１００における任意の位置に配置されてもよい。様々な実施形態によれば、他の触知性表面特性が、システム１００の配向を決定するべく使用者を支援するために用いられてもよい。例えば、装置１００は、その上部において柔らかい表面特性を有してもよく、且つ／又は、その底部において粗い表面特性を有してもよく、且つ／又はその同等品であってもよい。

【0021】

様々な実施形態において、例えばシステム１００が例えば車両の中心コンソールのような固定された位置に配置されたとき、タッチスクリーン１１０の最初の配向は、先の使用に基づいて認知され得る。様々な実施形態によれば、システム１００は、モバイル装置（例えば携帯電話、タブレット）、コンピュータ、ロボット、家庭用電化製品、工具、及び／又はおもちゃの少なくとも１つと結合されてもよく、且つ／又は、一体とされてもよい。

【0022】

タッチスクリーン１１０との双方向通信に応じて使用者に示されたフィードバックは、本開示の態様によって、任意の音声フィードバック及び／又は触覚的フィードバックを具備し得るが、命令に基づいた相対的配置といった、システム１００への特徴的な命令入力に基づいて、使用者に対して固有の（unique）フィードバックが示される。例えば、複数のタッチ間の時間の変化、タッチの力、相対的配置における順次的タッチの数、相対的配置との組合せにおけるスライド／ドラッグの形式、参照タッチからの相対的距離、タッチの順次的時間、及び／又は、スライドを含むタッチスクリーン１１０への入力は、全て顕著なフィードバックを提供する。入力の無限の組合せは、上述したタッチスクリーン１１０への入力の組合せに基づいて可能である。

【0023】

この固有のフィードバックは、例えば使用者によって構成された任意の適した方法及び／又はスキームによる組において実現されてもよい。例えば、ピアノの音／トーンが第１のスキームであってもよいのに対し、アコースティックギターの音／トーンが第２のスキームであってもよい。こうしたスキームの１例は、音楽的な音のスキームである。これらの音及び／又はトーンは、臨時記号及び様々な適用可能なオクターブを含む、概して文字（Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ及びＧ）によって示される、伝統的な音楽理論のピッチのような任意の周波数を有してもよい。様々な実施形態において、２つの命令が、継続時間が変化する同じ音によって示されてもよい。様々な実施形態において、２つの命令が様々な楽器のサウンドによって示される、同じ音によって示されてもよい。様々な実施形態において、受信された命令は、コードのような、トーン／音の１又は複数の組合せによって示されてもよい。一度順次的な／連続した全ての入力が記録されると、タッチスクリーン１１０に受信された入力のそれぞれは、フィードバックされてもよく、且つ／又は入力の組合せは、フィードバックされてもよい。

【0024】

音及びタイミングの組み合わせは、使用者が装置１００にいかなる視覚的注意も要することなくメニュー駆動及び動作の完全な組み合わせを構成するのを可能とし得る。当然のことながら、システム１００は、メニュー動作に限定されるものではないが、例えばアプリケーションの始動及び終了、設定の制御等の、コンピュータシステムに対する任意の命令を対象としてもよい。これは、視覚機能が制限された人又は視覚的に気をそらされたくない人のために、特に有用である。同様に、音声フィードバックは、メニューナビゲーション及び動作選択における強化学習のための有用なツールとなり得る。

【0025】

様々な実施形態において、本開示の態様によれば、使用者は任意の位置（タッチスクリーン触知性検出領域内）においてタッチスクリーン１１０をタッチしてもよく、音声音のようなフィードバックが、タッチスクリーン１１０への第１のタッチに応じて再生される。様々な実施形態によれば、この最初のタッチ位置は、任意であってよい。別の方法について説明すれば、この最初のタッチは、アイコンでなくてもよく、好適には、タッチスクリーン１１０に表示されたアイコンには関連付けられない。この音は、ピアノにおけるＦ２の音のような任意のサウンドに設定されることができ、或いは、特定のピッチにおける犬の吠える声に設定され得る。様々な実施形態によれば、最初にスクリーンをタッチする使用者に応じて、この同じ音が再生される。従って、使用者は、動作が目的の動作かどうかを確認する方法としてフィードバックを使用することができる。従って、システム１００は、フィードバックを通して強化学習を実現する。

【0026】

様々な実施形態によれば、任意の音／トーンによって示されてもよいが、後続のタッチ及び／又は入力は、後続のタッチの、元のタッチからの相対的オフセット、及び／又は後続のジェスチャーの、元のタッチからの相対的オフセットに基づいてオフセットした音又は変化するサウンドを再生させてもよい。これらの音は、予想パターンにおいて組織化されてもよい。例えば、タッチが参照タッチから遠くに移動したとき、より高い周波数の音が、後続のタッチと関連付けられる。従って、フィードバックは、予測可能なパターンを有してもよい。更に、参照タッチの上方又は下方の後続のタッチは、より高い又はより低いオクターブに設定されてもよく、且つ／又は、楽器又はトーンが変化してもよい。

【0027】

様々な実施形態において、この音声フィードバックは、ピアノにおける様々なキーの演奏に類似するが、サウンドの設定は、任意とされることができ、複数のタッチ間の相対的関係は、好みで設定されることができ、オフセットの方向は、キーのシフトのように、様々な動作を生じさせることができる。

【0028】

様々な実施形態によれば、相対的オフセットのタッチのような複数のタッチ間のタイミングは、様々な目的の応答を示すため、且つ／又は、動作選択間で切り替えるために使用されることができる。例えば、複数のタッチ間の第１の時間間隔以内における、第１のタッチの水平方向に真っすぐ右へと２５．４ミリメートル（１インチ）の相対的オフセットを有する第２のタッチは、第２の、より長い相対的時間間隔を有する、第１のタッチの水平方向に真っすぐ右へと２５．４ミリメートルの相対的オフセットを有する第２のタッチとは異なる反応を生じさせてもよい。

【0029】

様々な実施形態によれば、一連のタッチタップにおける、第１のタッチの開始と最後のタッチとの間のタイミングが、相対的オフセットタッチに関する複数の動作選択間で切り替えるために使用されてもよい。

【0030】

様々な実施形態によれば、複数のタッチ間の相対的距離が、相対的オフセットタッチに関するコンピュータに基づいたシステム１００に対する動作選択及び／又は命令間で切り替えるために使用されてもよい。例えば、第１のタッチの水平方向に真っすぐ右へと２５．４ミリメートルの相対的オフセットを有する第２のタッチは、第１のタッチの水平方向に真っすぐ右へと５０．８ミリメートルの相対的オフセットを有する第２のタッチとは異なる反応を生じさせてもよい。

【0031】

複数のタップ間の相対的方向は、複数の動作選択間で切り替えるためにも使用され得る。例えば、第１のタッチの水平方向に真っすぐ右へと２５．４ミリメートルの相対的オフセットを有する第２のタッチは、第１のタッチの鉛直方向に真っすぐ上へと２５．４ミリメートルの相対的オフセットを有する第２のタッチとは異なる反応を生じさせてもよい。

【0032】

概して、システム１００が予期せぬジェスチャーの動きを把握し得ることに留意されたい。例えば、第１のタッチの真っすぐ右への第２のタッチは、正確に第１のタッチの右である必要はない。例えば、盲人の、及び／又は視覚的機能が低下された使用者は、目的とする第２のタッチの位置の、わずかに離れた近傍の上方及び／又は下方へと動かすこともでき、システム１００が、これを「第１のタッチ命令の右」ではなく、「右上方」命令として解釈しないようにすることもできる。システム１００は、この予期した動きの把握のため、ある程度の柔軟性を有することを意図する。更に、システム１００は、使用者の習慣を学習し、これらの動作の種類を理解するためにフィードバック・ループを使用してもよく、それに応じてシステム１００を調整する。

【0033】

様々な実施形態において、一連のタッチは、様々な一連のタッチとは異なる動作を生じさせ得る。様々な実施形態によれば、タッチ及び／又はスライドの組み合わせは、コンピュータに基づいたシステム１００によって、様々な順番における同等の連続したタッチ及び／又はスライドとは異なった、様々な動作を生じさせてもよい。例えば、第１のタッチの真っすぐ２５．４ミリメートル下への第２のタッチに次いで、第２のタッチの真っすぐ右へと円を描くように第３のタッチ及びスライド／ドラッグがなされると、第１のタッチの真っすぐ右へと円を描くようにスライド／ドラッグする第２のタッチに次いで、第２のタッチの開始位置から真っすぐ２５．４ミリメートル下への第３のタッチがなされるのとは、異なる命令がコンピュータに基づいたシステム１００に対して、なされる。

【0034】

運転中、様々な実施形態によれば、図１Ａ−図１Ｃに示されるように、使用者は、例えばタッチスクリーン１１０を、ｘ軸線が水平方向で、且つ、ｙ軸線が鉛直方向とした場合のランダムな位置（ｘ１、ｙ１）、例えば位置１でタッチすることによって、タッチスクリーン１１０に入力を伝達してもよい。ここで開示されたように、水平方向及び鉛直方向は、加速度計又はハードウェアに基づいたセット、及び／又は、使用者の定義によって決定される。このタッチに応じて、例えばＦ２の音のような音が再生される。次いで使用者は、ｘ方向及び／又はｙ方向にいくらかの相対的オフセット（図１Ｂに示されたように、ｙ軸線に対してこのオフセットはゼロとされ得る）を有した位置（ｘ２、ｙ１）においてスクリーンをタッチしてもよく、新しい音が位置１（距離Ｘ）からの相対的オフセットに基づいて再生される。例えば、ｘ軸上の正方向の変位は、この場合において第１のタッチの右への移動となるが、音Ａ２を再生させ得る。タッチ間のタイミングは、動作及び応答選択における情報として記録され且つ使用されることができる。同様に、様々な実施形態によれば、使用者は、特定のジェスチャーを実行するための順次的な音を形成してもよい。様々な実施形態によれば、使用者は、特定のジェスチャーを実行するために順次的なタッチ及び／又はスライド／ドラッグを形成してもよい。その連続した動作／順次的な動作の終わりは、更なる入力のない、十分な時間の経過によって決定されてもよい。相対的オフセットの別の形式は、ｙ方向における移動である。この場合において、例えばＦ２の音からＦ３の音へのキーの完全なシフトは、ｙ方向における相対的オフセットを指定する（図１Ｃの位置３を参照）。位置３の相対的オフセットは、位置１（距離Ｚ）から計算されてもよく、且つ／又は、位置２（距離Ｙ）のような先のタッチから計算されてもよい。

【0035】

様々な実施形態によれば、タッチスクリーン１１０は、タップされ且つ／又はドラッグされるアイコンのような視覚的合図を用いるインタフェースとタッチナビゲーションに基づいた相対的オフセットを用いるシステムとの間で切り替えてもよい。例えば、使用者がスクリーンを、同じ位置において連続して速く３回タッピングして受信された信号に応じて、アイコンに基づいた双方向通信は一時的に使えなくなり、相対的オフセットナビゲーションが使用可能となってもよい。（例えば相対的オフセット命令を受信するようにタッチスクリーン１１０を切り替えるための）伝達の他の方法は、例えばハンドル、又は、装置１００に配置され、且つ／又は、接続されたような、スピーチ入力、選択可能な仮想的なボタン、或いは、物理的ボタンの受信を含んでもよい。例えば、使用者がタッチスクリーン１１０を、相対的オフセット命令を受信するように切り替えた後（例えばタッチスクリーン１１０を３回タップする且つ／又は１回タップし所定の時間保持する）、概して選択可能なアイコンがタッチスクリーン上に見えたままであってもよいが、使用者のタッチには反応しない。その代わり、使用者の後続のタッチ及び／又は度重なるジェスチャーの相対的オフセットが、システムに命令するため、例えばメニューを通してナビゲートするため、或いは、目的のアプリケーションを直接的に要求するために用いられてもよい。

【0036】

様々な実施形態によれば、使用者が、相対的オフセット命令を受信するためにタッチスクリーン１１０を切り替えた後（例えばタッチスクリーン１１０を３回タップする）、概して選択可能なアイコンがタッチスクリーンから消えてもよい。次いで、使用者の後続のタッチ及び／又は度重なるジェスチャーの相対的オフセットが、システムに命令するため、例えばメニューを通してナビゲートし、或いは、直接的に目的のアプリケーションを要求するために用いられてもよい。

【0037】

様々な実施形態によれば、図４のフロー図を参照すると、システム１００は、使用者によって起動されてもよい（４０５）。この起動信号は、外部スイッチ又はボタンであってもよく、且つ／又は、別個の入力（distinct input）であってもよい。別個の入力は、任意の適した入力であってもよく、例えば、システムを起動するための別個の入力が最初のタッチ及び一定時間の保持であってもよく、同じ位置での一連のタッチであってもよく、或いは、別個のスワイプ又はスライド命令であってもよい。更に、システム１００は、準備モードに設定されてもよく、参照入力が受信される前において起動選択を伴わなくてもよい。

【0038】

一度起動されると、システム１００は、タッチスクリーン１１０を介して参照入力を受信してもよい（４１０）。ここで開示されたように、この参照入力は、タッチスクリーン１１０の境界内の任意の位置であってもよい。前述した他の方法のように、この参照入力は、ランダムな位置であってもよい。例えば、参照入力は、第１の使用の間、第１の位置であってもよく、第２の使用の間、第２の位置、つまり異なる位置であってもよい。参照入力の受信に応じて、タイマーが始動してもよい（４２０）。このタイマーは全ての一連の入力を受信するまでの時間を記録してもよく、１又は複数の入力間の時間、及び／又は、入力後における後続入力のない時間を記録してもよい（４２５）。参照入力を受信するのと略同時にシステム１００がフィードバック応答を伝達してもよい（４１５）。このフィードバック応答は、音声フィードバック応答であってもよい。この音声フィードバック応答は、任意の音声フィードバックであってもよいが、好適には、音楽的な音又はトーンであってもよい。異なっていてもよいが、好適には、音は、全ての最初の参照入力において同じ音である。

【0039】

参照入力の受信に続き、システム１００が、後続入力を受信してもよい（４３０）。後続入力の受信と略同時に、システム１００は、フィードバック応答を伝達してもよい（４５０）。後続入力の受信に応じて、タイマーが始動してもよい（４６０）。システム１００は、参照入力のような先の入力と比較した、後続入力の相対的ｘ及び相対的ｙのオフセットを計算してもよい（４４０）。後続のタッチの終了後、時間閾値のような後続入力の後の十分な時間が経過した場合、システム１００は、連続したタッチの完了を認識し、ジェスチャーを、受信された入力と関連付け、且つ／識別する（４２５、４８０）。ジェスチャーの識別に応じて、システムによる命令が開始されてもよい（４９０）。

【0040】

例えば、参照入力から離れた後続入力の２つのユニットは、参照入力から離れた後続入力の１つのユニット、或いは、参照入力から離れた後続入力の３つのユニットとは異なるジェスチャー又はジェスチャーの部分として記録してもよい。同様に、略ｘ軸に沿って正の方向に参照入力から離れた後続入力の２つのユニットは、略ｘ軸に沿って負の方向に参照入力から離れた後続入力の２つのユニットとは異なるジェスチャー又はジェスチャーの部分として記録してもよい。

【0041】

ここで開示されたように、ジェスチャーは、一連のタッチ、スライド又はこれらの組合せで構成されてもよい。例えば、非制限的例示によって新たに図１を参照すれば、ジェスチャーは、位置１における第１のタップと、位置２における第２のタッチと、位置３における第３のタッチと、を含んでもよい。ジェスチャーは、位置１における第１のタップと、位置２における第２のタッチと、位置２における付加的（繰り返される）タッチと、位置３における第４のタッチと、を含んでもよい。更に、例えば、別のジェスチャーは、位置１における第１のタップと、位置２における第２のタッチと、位置１における第３のタッチと、を含んでもよい。加えて、ジェスチャーは、位置１における第１のタップと、位置３へのスライドを備えた、位置２における第２のタッチと、を含んでもよい。任意の異なる経路であってもよい、位置２から位置３へのこのスライドは、ジェスチャーの別個な部分（distinct portions）を含んでもよい。例えば、位置２から位置３への「Ｓ」字のスライド動作は、システム１００によって、位置２から位置３への直接的な経路における真っすぐなドラッグ／スライドと比較して、別個な命令として記録されてもよい。当然のことながら、任意のスライド動作がシステムによって入力されてもよい。更に、タッチする力又はスライドの部分の変化は、異なるジェスチャーの部分とみなされる。

【0042】

提供されるフィードバックが予期せぬものである場合、やり直す（starting over）ためのメカニズムが可能であってもよい。例えば、ダブルタップ又は円動作スライドのような特定の入力は、先の入力及び／又は連続した入力を消去するために指定される。

【0043】

繰り返しによる、記憶への特定の運動タスクの強化を伴う手続き記憶の形式である、マッスルメモリ及び／又は運動学習は、システム１００との双方向通信に関係する。例えば、運動がしばらく繰り返されたとき、ジェスチャーの入力のような、長期のマッスルメモリが形成されることができ、つまり、そのタスクは、最終的に意識的試みなく実行されることを可能とする。このプロセスは、注意する必要を減らし、運動及び記憶システム内の最大の効率を生じさせる。

【0044】

ここで開示されたように、視覚的に気をそらすことを望まない者には、車両ドライバが含まれる。従って、様々な実施形態によれば、図２を参照すると、システム１００は、制御パネル（例えばフロントシート制御パネル）、タッチスクリーン１１０、及び／又は、ドライバが操作可能なタッチパッド１０５のような車両のインタフェースへと一体化されてもよい。示されたように、タッチパッド１０５又はタッチスクリーン１１０は、置換可能に且つ／又はシステム１００に対するドライバ入力と共に使用されてもよい。

【0045】

本システム１００の態様は、声命令と同時に機能することができ、例えば、システム１００は、声命令のような音声命令を受信し且つこれに応答してもよい。更に、音声命令は、ジェスチャーの部分を具備してもよい。

【0046】

当業者は、ここで開示された例と共に説明された様々な例示的な論理的ブロック及びプロセスステップが電子ハードウェア、コンピュータソフトウェア又は両方の組み合わせとして実現され得ることを理解する。こうした機能性がハードウェアとして実現されるかソフトウェアとして実現されるかは、特定の用途及び全体のシステムに与えられた設計制限による。当業者は、説明された機能をそれぞれの特定の用途のために様々な方法で実現し得るが、こうした実施形態の決定は、開示された装置及び方法の範囲から逸脱するものと解釈されるべきではない。

【0047】

ここで開示された例示と共に説明された方法又はアルゴリズムのステップは、直接的にハードウェア、プロセッサによって実行されるソフトウェアモジュール、又は２つの組み合わせに取り入れられてもよい。ソフトウェアモジュールは、ＲＡＭ、フラッシュメモリ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、レジスタ、ハードディスク、リムーバルディスク、ＣＤ−ＲＯＭ、又は、技術的に公知の記憶媒体の任意の他の形式に属してもよい。例示的記憶媒体は、プロセッサが情報を記憶媒体から読取ることができ、且つ、記憶媒体へと書き込むことができるようにプロセッサに接続される。別の実施形態において、記憶媒体は、プロセッサと一体であってもよい。ここで開示された計算ステップは、記憶された指令を有する非一時的な実体的コンピュータ可読記憶媒体を含む製品に具備されてもよい。

【0048】

システム、方法、及び、コンピュータプログラムプロダクトが提供された。「いくつかの実施形態」、「１つの実施形態」、「実施形態」、「例示的実施形態」等における、「様々な実施形態」についての記載は、記載された実施形態が特定の特徴、構造、又は、特性を有し得ることを示すが、必ずしも全ての実施形態が、特定の特徴、構造、又は、特性を有するわけではない。更に、こうした語句は、必ずしも同等の実施形態について言及するものではない。更に、実施形態との関係において特定の特徴、構造、又は、特性が記載された場合は、明確に記載されたか否かにかかわらず、他の実施形態との関係においてこうした特徴、構造、又は、特性が影響する一当業者の知識内において提起されるものである。本明細書の参照後、関連する技術の当業者にとって、本開示を別の実施形態においてどのように実現するかが明らかとなる。

【0049】

ここで開示された例示と関係して記載された方法又はアルゴリズムのステップは、直接的にプロセッサによって実行されるハードウェア、ソフトウェアモジュール、或いは、２つの組み合わせで具現化されてもよい。ソフトウェアモジュールは、ＲＡＭ、フラッシュメモリ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、レジスタ、ハードディスク、リムーバルディスク、ＣＤ−ＲＯＭ、又は、技術的に公知な記憶媒体の任意の他の形式に属してもよい。例示的記憶媒体は、プロセッサが、記憶媒体から情報を読取ることができ、且つ、記憶媒体に情報を書き込むことができるようにプロセッサに接続される。その他、記憶媒体は、プロセッサと一体であってもよい。プロセッサ及び記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）に属してもよい。

【0050】

開示された例示的実施形態の前述した記載は、本発明を製造又は使用するためいかなる当業者にも提供される。これらの例示についての様々な変形例は、当業者にとって容易に明らかとなり、ここで開示された原理は、本発明の精神又は範囲から逸脱することなく他の例示に対して適用され得る。当然のことながら、ここで用いられたような、タップ、スライド、ドラッグ及びタッチという語は、置換可能に用いられてもよい。更に、タッチパッド及びタッチスクリーンという語も、置換可能に用いられてよい。記載された実施形態は、全て例示に関するものであって制限するものではないものとみなされるべきであり、従って、本発明に係る範囲は、前述した詳細な説明ではなく、以下の特許請求の範囲によって示される。特許請求の範囲の、均等の意味及び範囲内での全ての変形例は、その範囲内に包含されるものである。

【符号の説明】

【0051】

１ 位置
２ 位置
３ 位置
１００ 双方向コンピュータシステム
１０５ タッチパッド
１１０ タッチスクリーン
１２０ メモリ
１５５ タッチに基づいた入力システム
１６０ 表面
１７０ 音声フィードバックシステム
１７１ スピーカー
１７５ 触覚的応答システム
１９０ 制御器
ｘ 相対的オフセット
ｙ 相対的オフセット
ｚ 相対的オフセット

【図1A】

【図1B】

【図1C】

【図2】

【図3】

【図4】