(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2021-12-10
(45)【発行日】2022-01-13
(54)【発明の名称】触覚誘導システム
(51)【国際特許分類】
G06F 3/01 20060101AFI20220105BHJP
【FI】
G06F3/01 560
(21)【出願番号】P 2019503271
(86)(22)【出願日】2017-06-15
(86)【国際出願番号】 US2017037593
(87)【国際公開番号】W WO2018017210
(87)【国際公開日】2018-01-25
【審査請求日】2020-05-18
(32)【優先日】2016-07-22
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】592051453
【氏名又は名称】ハーマン インターナショナル インダストリーズ インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【氏名又は名称】森下 夏樹
(72)【発明者】
【氏名】ヴァーベック, ジョセフ
(72)【発明者】
【氏名】ボーランガー, アダム
(72)【発明者】
【氏名】マルティ, ステファン
(72)【発明者】
【氏名】ディ センソ, ダヴィデ
【審査官】円子 英紀
(56)【参考文献】
【文献】特開2005-047327(JP,A)
【文献】国際公開第2015/086919(WO,A2)
【文献】特開2015-079289(JP,A)
【文献】吉野 数馬,触覚フィードバックのある2.5次元タッチスクリーン,ロボティクス・メカトロニクス 講演会2014 講演論文集,一般社団法人 日本機械学会,2014年05月24日,3P2-E07(1)~3P2-E07(3)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
(57)【特許請求の範囲】
【請求項1】
触覚出力を介して対象への誘導を提供するシステムであって、前記システムは、
1つ以上の制御信号に応じて、触覚出力を生成するように構成された1つ以上の触覚出力デバイスと、
プロセッサと、を含み、前記プロセッサは、
手の位置を特定することと、
前記手が対象の近傍に存在することを判定
することと、
前記手が前記対象の近傍に存在すると判定したことに応じて、前記手を前記対象へ誘導するために前記手に前記触覚出力を生成する前記1つ以上の触覚出力デバイスへ、前記1つ以上の制御信号を送信する
ことであって、前記触覚出力は、前記手の前記位置から前記対象へと導く経路の周りにあるかまたは前記経路に沿っている、ことと、
を行うように構成される
、システム。
【請求項2】
センサデータを取得するように構成された1つ以上のセンサをさらに備え
、
前記プロセッサは、前記センサデータに基づいて、前記手が前記対象の近傍に存在することを
判定するように構成される
、請求項1に記載のシステム。
【請求項3】
前記1つ以上の触覚出力デバイスは、超音波振動子アレイ及び空気出力デバイスのうちの少なくとも1つを備える、請求項1に記載のシステム。
【請求項4】
前記1つ以上の触覚出力デバイスは、前記対象とほぼ同じ位置に配置され、前記触覚出力は、前記対象への
前記経路を画定する、請求項1に記載のシステム。
【請求項5】
前記1つ以上の触覚出力デバイスは、前記対象の外周に沿って配置される、請求項4に記載のシステム。
【請求項6】
前記1つ以上の触覚出力デバイスは、前記対象へと導く
前記経路の外側の1つ以上の区域に、前記触覚出力を生成するように構成され、前記1つ以上の区域は、前記経路の1つ以上の境界線を画定する、請求項1に記載のシステム。
【請求項7】
前記対象は、乗り物内に含まれる入力要素を含む、請求項1に記載のシステム。
【請求項8】
前記対象は、タッチスクリーン要素を含む、請求項1に記載のシステム。
【請求項9】
前記触覚出力を生成することは、前記1つ以上の触覚出力デバイスに含まれる第1の触覚出力デバイスを介して第1の触覚出力を生成することと、前記1つ以上の触覚出力デバイスに含まれる第2の触覚出力デバイスを介して第2の触覚出力を生成することとを含み、前記第1の触覚出力は、前記タッチスクリーン要素の近傍の前記第2の触覚出力と増幅的に干渉する、請求項8に記載のシステム。
【請求項10】
前記プロセッサはさらに、
前記手が前記対象の近傍にもはや存在しないことを判定し、
前記手が前記対象の近傍にもはや存在しないと判定したことに応じて、前記1つ以上の触覚出力デバイスへ前記1つ以上の制御信号を送信することを終了するように構成される
、請求項1に記載のシステム。
【請求項11】
前記プロセッサはさらに、
前記手が第2の対象の近傍に存在することを判定し、
前記手が前記第2の対象の近傍に存在すると判定したことに応じて、1つ以上の触覚出力デバイスの第2の集合へ第2の制御信号を送信するように構成され、
前記1つ以上の触覚出力デバイスの第2の集合は、前記第2の制御信号に基づいて、前記手に第2の触覚出力を生成する
、請求項10に記載のシステム。
【請求項12】
前記対象は、乗り物内区画を含む、請求項1に記載のシステム。
【請求項13】
触覚出力を介して対象への誘導を提供する方法であって、
前記方法は、
手の位置を特定することと、
前記手が対象の近傍に存在することを判定することと、
前記手を前記対象へ誘導するために1つ以上の制御信号に基づいて前記手に前記触覚出力を生成す
る1つ以上の触覚出力デバイスへ、前記1つ以上の制御信号を送信すること
であって、前記触覚出力は、前記手の前記位置から前記対象へと導く経路の周りにあるかまたは前記経路に沿っている、ことと
を含
む、方法。
【請求項14】
前記手が前記対象の近傍に存在することを判定することは、1つ以上のセンサを介して取得されたセンサデータに基づいて行われる、請求項13に記載の方法。
【請求項15】
前記対象は、乗り物入力要素及び乗り物内区画のうちの少なくとも1つを含む、請求項13に記載の方法。
【請求項16】
前記1つ以上の触覚出力デバイスは、前記対象とほぼ同じ位置に配置され、前記触覚出力は、前記対象への
前記経路を画定する、請求項13に記載の方法。
【請求項17】
前記1つ以上の触覚出力デバイスは、超音波振動子アレイ及び空気渦デバイスのうちの少なくとも1つを備える、請求項13に記載の方法。
【請求項18】
前記1つ以上の触覚出力デバイスは、前記対象へと導く
前記経路の外側の1つ以上の区域に、前記触覚出力を生成し、前記1つ以上の区域は、前記経路の1つ以上の境界線を画定する、請求項13に記載の方法。
【請求項19】
前記対象は、タッチスクリーン要素を含み、
前記1つ以上の触覚出力デバイスが前記触覚出力を生成することは、
前記1つ以上の触覚出力デバイスに含まれる第1の触覚出力デバイスを介して第1の触覚出力を生成することと、
前記1つ以上の触覚出力デバイスに含まれる第2の触覚出力デバイスを介して第2の触覚出力を生成することと
により行われ、
前記第1の触覚出力は、前記タッチスクリーン要素の近傍の前記第2の触覚出力と増幅的に干渉する
、請求項13に記載の方法。
【請求項20】
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令はプロセッサにより実行されると、触覚出力を介して対象への誘導を提供するように前記プロセッサを構成し、前記プロセッサは、
手の位置を特定するステップと、
前記手が乗り物入力要素の近傍に存在することを判定するステップと、
前記手を前記対象へ誘導するために1つ以上の制御信号に基づいて前記手に前記触覚出力を生成す
る1つ以上の触覚出力デバイスへ、前記1つ以上の制御信号を送信するステップ
であって、前記触覚出力は、前記手の前記位置から前記対象へと導く経路の周りにあるかまたは前記経路に沿っている、ステップと
を実行することで、前記対象への誘導を提供する
、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2016年7月22日に出願された米国仮特許出願第62/365,960号の利益を主張し、その内容は参照により本明細書に組み込まれるものとする。
【0002】
実施形態の分野
様々な実施形態は、一般にヒューマンマシンインターフェースに関し、より具体的には触覚誘導システムに関する。
【背景技術】
【0003】
関連技術の説明
自動車、モーターバイク、船、及び飛行機などの乗り物へのコンピュータの統合により、乗り物の機能は劇的に向上した。現代の乗り物は通常、エンジン制御ユニット、動力伝導制御ユニット、乗り物内インフォテインメントシステム、ドア制御ユニットなどの多数の制御ユニットを含み、これらは全てヒューマンマシンインターフェースを含む。具体的には、様々な種類の制御ユニットにより、ユーザは、制御ユニットに対応付けられた1つ以上の入力要素を調節して、乗り物のパラメータを変更することができる。例えば、ユーザは、音量つまみにより、乗り物内インフォテインメントシステムのオーディオシステム音量を変更することができる。さらに、ユーザは、乗り物内のタッチスクリーン上に表示されたボタンにより、音量を変更することができ得る。
【0004】
従来の方法では、ユーザが乗り物のパラメータを入力要素により調節するには、ユーザは入力要素の位置を視覚的及び/または触覚的に特定する必要がある。例えば、ユーザが入力要素の位置を特定して乗り物内インフォテインメントの音量を制御するには、ユーザは、道路から目を離して、入力要素の位置を視覚的に特定し、及び/または入力要素を手探りで探すために、自身の手を乗り物の内部に沿って動かす必要がある。同様に、入力要素がタッチスクリーン上に表示される場合、ユーザは、正しい入力要素の位置を特定するために、タッチスクリーンに視線をそらす必要がある。さらに、ユーザが、ドア区画またはカップホルダーなどの物理オブジェクトの位置を特定しようと試みる場合、ユーザは、オブジェクトの位置を特定するために、物理オブジェクトに目を向け、及び/または自身の触覚を使う必要がある。
【0005】
前述の手法の否定的な一側面としては、ユーザが運転している時に、入力要素または別の種類の物理オブジェクトとインタラクトするために道路から目をそらすことは、運転者の注意がそれることになり得る。例えば、乗り物内の電子機器を操作すること及び/または乗り物内の物理オブジェクトに手を伸ばすことは、運転者の認識作業負荷を著しく増やすことになり得、運転者が運転中に道路から目を離す必要があり得る。
【0006】
前文が例示するように、運転者が乗り物内のオブジェクトとより効果的にインタラクトすることを可能にする技術が有用である。
【発明の概要】
【課題を解決するための手段】
【0007】
本開示の実施形態は、触覚感覚によりユーザを対象にまで誘導する方法を明示する。方法は、手が対象の近傍に存在することを判定することと、手が対象の近傍に存在すると判定したことに応じて、手、指、手首、腕、足、または他の身体の部位に触覚感覚を生成する1つ以上の触覚出力デバイスに、制御信号を送信することと、を含む。
【0008】
さらに実施形態は、上記の技術を実施するように構成されたシステム及び非一時的コンピュータ可読記憶媒体を特に提供する。
【0009】
本明細書で説明される技術の少なくとも1つの利点は、ユーザが対象に目を向ける必要なしに、手を対象へ誘導することができることである。従って、ユーザは、道路から視線をそらさずに、入力要素を調節すること、及び乗り物内の物理オブジェクトの位置を特定することができる。さらに、ユーザとの代替的通信手段として、触覚感覚を実施することができ、これにより、ユーザは追加情報で圧倒されることはない。その結果、本明細書に説明される技術は、運転者が乗り物内の1つ以上の対象の位置をより簡単に特定することを可能にすることで、運転者の認識負荷を低減する。
【0010】
上記の1つ以上の実施形態の挙げられた特徴が詳細に理解され得るように、上に簡単に要約された1つ以上の実施形態のより具体的な説明は、ある特定の実施形態を参照することで行われることがあり、そのうちのいくつかは添付の図面で例示される。しかしながら、様々な実施形態の範囲は他の実施形態も同様に包含するため、添付の図面は代表的な実施形態のみを例示し、よっていかなる様式でもその範囲の限定としてみなされるべきではないことに、留意されたい。
本発明は、例えば、以下を提供する。
(項目1)
非接触触覚出力を介して対象への誘導を提供するシステムであって、前記システムは、
1つ以上の制御信号に応じて、触覚出力を生成するように構成された1つ以上の触覚出力デバイスと、
プロセッサと、を含み、前記プロセッサは、
手が対象の近傍に存在することを判定し、
前記手が前記対象の近傍に存在すると判定したことに応じて、前記手に前記触覚出力を生成する前記1つ以上の触覚出力デバイスへ、前記1つ以上の制御信号を送信するように構成される、
前記システム。
(項目2)
前記対象は、車、トラック、モーターバイク、船、潜水艦、水上バイク、雪上車、飛行機、宇宙船、及び、遠隔ドローン制御システムのうちの1つ又は複数の入力要素を含む、項目1に記載のシステム。
(項目3)
前記入力要素は、乗り物インフォテインメントシステムボタンおよび乗り物インフォテインメントシステムつまみのうちの少なくとも1つを含む、項目2に記載のシステム。
(項目4)
センサデータを取得するように構成された1つ以上のセンサをさらに備える前記システムであって、
前記プロセッサは、前記センサデータに基づいて、前記手が前記対象の近傍に存在することを特定するように構成される、
項目1に記載のシステム。
(項目5)
前記1つ以上の触覚出力デバイスは、超音波振動子アレイ及び空気出力デバイスのうちの少なくとも1つを備える、項目1に記載のシステム。
(項目6)
前記1つ以上の触覚出力デバイスは、前記対象とほぼ同じ位置に配置され、前記触覚出力は、前記対象への経路を画定する、項目1に記載のシステム。
(項目7)
前記1つ以上の触覚出力デバイスは、前記対象の外周に沿って配置される、項目6に記載のシステム。
(項目8)
前記1つ以上の触覚出力デバイスは、前記対象へと導く経路の外側の1つ以上の区域に、前記触覚出力を生成するように構成され、前記1つ以上の区域は、前記経路の1つ以上の境界線を画定する、項目1に記載のシステム。
(項目9)
前記対象は、タッチスクリーン要素を含む、項目1に記載のシステム。
(項目10)
前記触覚出力を生成することは、前記1つ以上の触覚出力デバイスに含まれる第1の触覚出力デバイスを介して第1の触覚出力を生成することと、前記1つ以上の触覚出力デバイスに含まれる第2の触覚出力デバイスを介して第2の触覚出力を生成することとを含み、前記第1の触覚出力は、前記タッチスクリーン要素の近傍の前記第2の触覚出力と増幅的に干渉する、項目9に記載のシステム。
(項目11)
前記プロセッサはさらに、
前記手が前記対象の近傍にもはや存在しないことを判定し、
前記手が前記対象の近傍にもはや存在しないと判定したことに応じて、前記1つ以上の触覚出力デバイスへ前記1つ以上の制御信号を送信することを終了するように構成される、
項目1に記載のシステム。
(項目12)
前記プロセッサはさらに、
前記手が第2の対象の近傍に存在することを判定し、
前記手が前記第2の対象の近傍に存在すると判定したことに応じて、1つ以上の触覚出力デバイスの第2の集合へ第2の制御信号を送信するように構成され、
前記1つ以上の触覚出力デバイスの第2の集合は、前記第2の制御信号に基づいて、前記手に第2の触覚出力を生成する、
項目11に記載のシステム。
(項目13)
前記対象は、乗り物内区画を含む、項目1に記載のシステム。
(項目14)
非接触触覚出力を介して対象への誘導を提供する方法であって、
手が対象の近傍に存在することを判定することと、
1つ以上の制御信号に基づいて前記手に前記触覚出力を生成する前記1つ以上の触覚出力デバイスへ、前記1つ以上の制御信号を送信することと
を含む、前記方法。
(項目15)
前記対象は、乗り物入力要素及び乗り物内区画のうちの少なくとも1つを含む、項目14に記載の方法。
(項目16)
前記手が前記対象の近傍に存在することを判定することは、1つ以上の近接センサを介してセンサデータを取得することを含む、項目14に記載の方法。
(項目17)
前記1つ以上の触覚出力デバイスは、超音波振動子アレイ及び空気渦デバイスのうちの少なくとも1つを備える、項目14に記載の方法。
(項目18)
前記1つ以上の触覚出力デバイスは、前記対象へと導く経路の外側の1つ以上の区域に、前記触覚出力を生成するように構成され、前記1つ以上の区域は、前記経路の1つ以上の境界線を画定する、項目14に記載の方法。
(項目19)
前記対象は、タッチスクリーン要素を含み、
前記1つ以上の触覚出力デバイスが前記触覚出力を生成することは、
前記1つ以上の触覚出力デバイスに含まれる第1の触覚出力デバイスを介して第1の触覚出力を生成することと、
前記1つ以上の触覚出力デバイスに含まれる第2の触覚出力デバイスを介して第2の触覚出力を生成することと
により行われ、
前記第1の触覚出力は、前記タッチスクリーン要素の近傍の前記第2の触覚出力と増幅的に干渉する、
項目14に記載の方法。
(項目20)
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令はプロセッサにより実行されると、触覚出力を介して対象への誘導を提供するように前記プロセッサを構成し、前記プロセッサは、
手が乗り物入力要素の近傍に存在することを判定するステップと、
1つ以上の制御信号に基づいて前記手に前記触覚出力を生成する前記1つ以上の触覚出力デバイスへ、前記1つ以上の制御信号を送信するステップと
を実行することで、前記対象への誘導を提供する、
前記非一時的コンピュータ可読記憶媒体。
【図面の簡単な説明】
【0011】
【
図1】様々な実施形態による、様々な実施形態の1つ以上の態様を実施するように構成されたコンピューティングデバイスの概念的ブロック図を例示する。
【
図2】様々な実施形態による、触覚感覚を介して手を入力要素へ誘導する技術を例示する。
【
図3】様々な実施形態による、触覚感覚を介して手を物理オブジェクトへ誘導する技術を例示する。
【
図4】様々な実施形態による、ノッチ触覚感覚を介して手を入力要素へ誘導する技術を例示する。
【
図5】様々な実施形態による、触覚感覚を生成する触覚出力デバイスの異なる配置を例示する。
【
図6】様々な実施形態による、タッチスクリーン上の入力要素へ手を誘導する触覚出力デバイスの様々な構成を例示する。
【
図7】様々な実施形態による、触覚出力を介して対象への誘導を提供する方法ステップのフロー図を例示する。
【発明を実施するための形態】
【0012】
図1は、様々な実施形態による、本発明の1つ以上の態様を実施するように構成されたコンピューティングデバイス100の概念的ブロック図を例示する。図示されるように、コンピューティングデバイス100は、処理ユニット110と、入出力(I/O)デバイス120と、メモリデバイス130とを非限定的に含む。メモリデバイス130は、データベース134とインタラクトするように構成された空間誘導アプリケーション132を含む。
【0013】
処理ユニット110は、中央処理装置(CPU)、デジタル信号処理装置(DSP)、センサ処理ユニット、及びコントローラユニットなどを含み得る。様々な実施形態では、処理ユニット110は、1つ以上のセンサにより取得されるセンサデータを分析して、手、指、手首、腕、足などを含むユーザの身体の様々な部位の位置及び/または向きを特定し、及び/または対象の位置及び/または向きを特定するように構成される。様々な実施形態では、対象には、周囲環境内の物理オブジェクト、ヒューマンマシンインターフェース(HMI)の入力デバイス、タッチスクリーンディスプレイの入力要素、拡張現実(AR)オブジェクト、音響オブジェクトなどが、非限定的に含まれ得る。いくつかの実施形態では、処理ユニット110はさらに、手の位置及び/または向きに対する対象の位置及び/または向きを特定するように構成される。例えば、非限定的に、処理ユニット110は、空間誘導アプリケーション132を実行して、センサデータを分析し、対象が有する特定の向き及び位置を特定し、手の位置及び/または向きを含む手に対応付けられた1つ以上のパラメータをデータベース134に記憶し得る。さらに、手及び/または対象の位置及び/または向きが変化すると、処理ユニット110はセンサデータを処理し得る。
【0014】
I/Oデバイス120は、入力デバイス、出力デバイス、及び入力受信及び出力提供の両方が可能なデバイスを含み得る。例えば、I/Oデバイス120は、RGB撮像素子、パターン化もしくはパターンなしIR撮像素子、構造光カメラ、飛行時間カメラ、レーダーベースセンサ、マイクロ波ベースセンサ、静電容量センサ、超音波ベースセンサ、及び/またはBluetooth(登録商標)センサなどの1つ以上のセンサを非限定的に含み得る。さらに、I/Oデバイス120は、超音波振動子及び空気出力デバイス(例えば空気渦発生器、空気圧デバイス、空気のうなど)の1つ以上の触覚出力デバイスを含み得る。I/Oデバイス120はさらに、センサ(複数可)、触覚出力デバイス、乗り物制御ユニットなどとデータを送受信する有線及び/または無線通信デバイスを含み得る。
【0015】
メモリユニット130は、メモリモジュールまたはメモリモジュール集合を含み得る。メモリユニット130は、空間誘導アプリケーション132と、データベース134とを含む。空間誘導アプリケーション132は、I/Oデバイス120、処理ユニット110、及びデータベース134のうちの1つ以上の要素にアクセスして、及び/または1つ以上の要素を実行して、コンピューティングデバイス100のいくつかまたは全ての機能を実施し得る。
【0016】
データベース134は、デジタル信号処理アルゴリズム、オブジェクト認識データ、入力データ、ユーザ嗜好データ、及び触覚出力デバイスを起動/停止すべき状況などの他の状況パラメータを記憶し得る。さらに、データベース134は、ユーザを誘導するために特定の触覚感覚を実施するべき時間帯、ユーザを誘導するために触覚感覚を生成するべき乗り物内の1つ以上の位置、及び/またはユーザが乗り物内の特定の対象とインタラクトする時及び/または頻度といった、ユーザ嗜好を記憶し得る。
【0017】
コンピューティングデバイス100は概して、マイクロプロセッサ、特定用途向け集積回路(ASIC)、システムオンチップ(SoC)、インフォテインメントシステム、モバイルコンピューティングデバイス(例えばタブレットコンピュータまたは携帯電話)、装着型デバイス(例えばスマートウォッチまたはヘッドマウントディスプレイ)、VR/ARデバイス(例えばビデオゴーグル)、及びプラグアンドプレイシステムなどであり得る。一般に、コンピューティングデバイス100は、超音波振動子アレイ、空気渦発生器などの1つ以上の触覚出力デバイスの全体的な動作を調整するように構成され得る。別の実施形態では、コンピューティングデバイス100は、1つ以上の触覚出力デバイスとは分離して、接続され得る。このような実施形態では、触覚出力デバイスは、コンピューティングデバイス100からデータ(例えば手及び対象の位置及び/または向き)を受信し、データ(例えば触覚出力イベントデータ)をコンピューティングデバイス100に送信する専用プロセッサを含み得る。専用プロセッサは、乗り物内インフォテインメントシステムに含まれてもよく、及び/またはユーザにより物理的に環境内に配置され、コンピューティングデバイス100に物理的にもしくは無線で接続されてもよい。例えば、専用プロセッサは、スマートフォン、パーソナルコンピュータ、及び装着型デバイスなどのユーザの家庭用電子デバイスに含まれてもよい。
【0018】
本明細書で開示される様々な実施形態は、乗り物環境内で実施されるものとして説明される。一般に、乗り物には、車、トラック、モーターバイク、船、潜水艦、水上バイク、雪上車、飛行機、及び宇宙船などを非限定的に含む任意の種類の輸送機が含まれ得る。しかしながら、本明細書で開示される実施形態は、任意の種類の環境内で触覚出力デバイスの機能を実施するように構成された任意の技術的に可能なシステムを熟考する。例えば、非限定的に、本明細書で説明される技術は、自動車またはドローンを制御するシステムといった遠隔乗り物制御システムにより実施され得る。
【0019】
さらに、ユーザの手に対し様々な技術が実行されるように説明されるが、本明細書で開示される技術のうちのいずれも、ユーザの手、腕、足、足首、指、及び指先などを含むユーザの任意の部位に対し、触覚出力を生成するために使用することができる。特定の技術は、特定の種類の触覚出力デバイス(例えば超音波振動子)により実行されるものとして説明されるが、本明細書で開示される各技術は、任意の種類の触覚出力デバイスを実施して、ユーザに触覚感覚を生成し得る。具体的には、ユーザに物理的に直接接触することなくユーザに触覚感覚を生成する触覚出力デバイスは、本明細書で開示されるいずれの実施形態でも実施することができる。
【0020】
前記のように、従来の手法では、ユーザは、視覚的に対象の位置を特定するように注意を向ける必要があり得る。その結果、ユーザは、乗り物の特定の態様とインタラクトするために、追加の認識資力を費やす必要があり得る。さらに、ユーザが、特定の対象に視線を向けずに特定の対象の位置及び/または識別を特定したい場合、従来の手法では、ユーザは通常、対象を触るなど対象に物理的に接触する必要がある。従って、ユーザは、自分が触っているものを識別しようと認識資力を費やす必要があり得、及び/または例えばユーザが触っている入力要素により制御されるパラメータを誤って変更するなど、誤って対象を変更することがある。
【0021】
本明細書で説明される様々な実施形態は、対象の位置を特定する従来の手法のこれら及び他の欠陥を、対象の位置及び/または対象への方向を示す触覚感覚を生成することにより克服する。作動中に、1つ以上のセンサは任意で、手がインタラクション領域内にあるか否かを判定する。空間誘導アプリケーション132は次いで、対象の位置及び/または対象に届くように手を動かすべき方向を示す手に対する触覚感覚を、触覚出力デバイスに生成させる。空間誘導アプリケーション132はさらに、手の位置及び/または向きに基づいて、触覚出力の方向性及び/または強度を調整し得る。例えば、手が対象に対しより近くに移動している場合には、空間誘導アプリケーション132は、手が対象に近づいていることをユーザに示すために、触覚出力デバイスが生成する触覚感覚の強度を高め得る。このような技術の実施例は、
図2~4、5A~5C、6、及び7と併せて、さらに詳しく後述される。
【0022】
図2は、様々な実施形態による、触覚感覚を介して手を入力要素230へ誘導する技術を例示する。図示されるように、システム環境200は、1つ以上のセンサ210と、触覚出力デバイス220と、入力要素230とを含む。様々な実施形態がユーザの手に触覚感覚を生成するものとして説明されるが、本明細書で説明される実施形態のいずれにおいても、触覚感覚は、ユーザの身体の任意の部位で生成され得る。
【0023】
様々な実施形態では、1つ以上のセンサ210は、入力要素230の周りの領域を監視するように実施される。次いで、センサ210により手の存在が検出されると、空間誘導アプリケーション132は、1つ以上の触覚出力デバイス220を起動させて、手に対する触覚出力250を生成する。例えば、空間誘導アプリケーション132は、1つ以上のセンサ210からデータを受信し、その後データに基づいて、特定の対象に対応付けられたインタラクション領域内に手が存在することを判定し得る。様々な実施形態では、インタラクション領域は、センサ210もしくは入力要素230からの特定距離、及び/またはセンサ210もしくは入力要素230を囲む特定領域もしくは空間堆積として、定義され得る。さらに、空間誘導アプリケーション132は、1つ以上のセンサ210からデータを受信し、その後データに基づいて、手に対応付けられた様々なパラメータ(例えば位置、向き、傾きなど)を検出して、手が入力要素230に近づいていることを判定し得る。
【0024】
様々な実施形態では、1つ以上の種類のセンサは、互いに併せて使用され得る。例えば、手の存在を検出するために、赤外線センサが使用され得る。次いで、一旦手が検出されると、空間誘導アプリケーション132が効果的に手を対象へ誘導することができるように、手の特定の位置及び/または向きを検出するのに、所要電力のより高いより精密なセンサ(例えばレーダーベースセンサ)が使用され得る。この2段階手法を用いることで、所要電力を低減することができつつ、なおも手の位置及び/または向きに関する正確な情報が空間誘導アプリケーション132に提供される。
【0025】
一般に、対象は、ユーザがインタラクトする任意の要素、オブジェクト、位置などを指し得る。例えば、対象には、入力要素(例えばつまみまたはスクリーン上のボタン)、拡張現実(AR)オブジェクト(例えばヘッドマウントARディスプレイにより生成されたARオブジェクト)、音響オブジェクト、または物理オブジェクト(例えば乗り物内区画またはカップホルダー)が含まれ得る。例えば、対象には、三次元空間(例えば乗り物のキャビン)内で生成された特定の音響イベント(例えば警報、電話呼び出し、声など)に対応する音響オブジェクトが含まれ、三次元空間内の音響オブジェクトの特定位置を運転者に知らせるために、触覚感覚が生成され得る。従って、ユーザは、自分の手が空間音響オブジェクトの近傍にある時に触覚フィードバックを受けることができ、これによりユーザは、より効果的に音響オブジェクトとインタラクトすることができる(例えば手のジェスチャにより)。
【0026】
いくつかの実施形態では、空間誘導アプリケーション132は、乗り物の製造者が画定した1つ以上の入力要素230及び/または物理オブジェクトなど1つ以上の所定の対象の近傍に、触覚出力を触覚出力デバイス220により生成させ得る。従って、このような所定の対象に対応付けられたデータ、例えば対象の位置、各対象の近傍に生成されるべき触覚出力の種類などが、データベース134に記憶され得る。さらに、いくつかの実施形態では、空間誘導アプリケーション132は、1つ以上のセンサ210から受信されたデータを分析することで、入力要素または物理オブジェクトが対象として指示されたはずであると判定し得る。例えば、空間誘導アプリケーション132は、ユーザが入力要素230またはオブジェクトと所定の期間内に閾値回数分(例えば特定の頻度で)インタラクトしたことを特定し、これに応じて、入力要素230またはオブジェクトを対象として指示し得る。空間誘導アプリケーション132は次いで、1つ以上の触覚出力デバイス220により、対象の近傍に触覚出力を生成させ、これによりユーザはその先、対象の位置をより簡単に特定することができる。
【0027】
様々な実施形態では、I/Oデバイス120は、システム環境200において、触覚出力デバイス220などの様々な種類の触覚出力デバイスを含み得る。本明細書で記されるように、触覚出力デバイス220は、超音波振動子、空気出力デバイス、及び/または他の種類の触覚出力デバイスを含み得る。いくつかの実施形態では、1つ以上の超音波振動子アレイを使用して、ユーザの手に触覚感覚が生成され得る。空間誘導アプリケーション132は、ユーザの手に生成される触覚感覚の様々な特質を制御するために、触覚出力デバイス220により生成される触覚出力250の1つ以上のパラメータを決定し得る。例えば、空間誘導アプリケーション132は、触覚出力デバイス220が触覚感覚を生成すべき強度及び/または手の部位を決定し得る。空間誘導アプリケーション132は次いで、ユーザの手にある種の触覚感覚を生成するために、触覚出力デバイス220へ送信される信号の種類を制御し得る。
【0028】
例えば、2つ以上の触覚出力デバイスにより生成される触覚出力は、特定の時刻に空間内の特定の位置を占めることができ、これにより各触覚出力デバイスの触覚出力は、1つ以上の他の触覚出力デバイスの触覚出力に対し、増幅的及び/または減衰的に干渉することができる。異なる触覚出力デバイスにより生成される触覚出力間の増幅的及び/または減衰的干渉は次いで、触覚出力が増幅的に干渉する位置で、触覚感覚を生み出し得る。従って、様々な実施形態では、空間誘導アプリケーション132は、特定の位置で触覚感覚を生成するために、触覚出力デバイスからの触覚出力により、1つ以上の他の触覚出力デバイスの触覚出力を干渉させ得る。
【0029】
さらに、様々な実施形態では、空間誘導アプリケーション132は、触覚出力により生成される強度パターンをさらに制御するために、各触覚出力デバイスにより生成される触覚出力の強度及び/または位相を変更し得る。このような技術を用いて、空間誘導アプリケーション132は、強度ピークの位置を変え得る、強度ピークの数を増大または減少させ得る、及び/または1つ以上の強度ピークの形及び/または大きさを調整し得る。その結果、空間誘導アプリケーション132は、ユーザの手に生成される触覚感覚の様々な特性を、局所化及び/または変更し得る。例えば、空間誘導アプリケーション132は、このような技術を用いて、ユーザの手に生成される触覚感覚の強度、サイズ、位置、及び/または形を変更し得る。
【0030】
さらに、空気出力デバイス(例えば空気渦発生器)を使用して、ユーザの手に触覚感覚が生成され得る。様々な実施形態では、空間誘導アプリケーション132は、空気出力デバイスを含む触覚出力デバイス220を使用して、本明細書に説明される技術のいずれかを実施し得る。
【0031】
様々な実施形態では、空間誘導アプリケーション132は、センサデータ及び/またはユーザ嗜好データに基づいて、好適な種類の触覚感覚を決定し、生成する。いくつかの実施形態では、触覚出力250は、1つ以上の触覚出力デバイスにより、ビーコン及び/またはノッチ形態で生成され得る。このような実施形態では、触覚出力が対象の位置から発せられているとユーザに感知されるように、触覚出力デバイス(複数可)は対象(例えば入力要素または位置)と実質的に一緒に配置され得る。触覚出力デバイス220がビーコン形態の触覚出力250を生成する場合、ユーザが感覚に向かって、従って特定の対象に向かって自分の手を動かすことができるように、ユーザに対し(例えばユーザの手に対し)触覚感覚が生成される。同様に、感覚がユーザの身体の別の部位に生成される場合も、ユーザは自分の身体及び/または手足(複数可)を感覚に向かって動かすことができ、よって対象へと導く方向に動かすことになる。
【0032】
いくつかの実施形態では、ビーコンは、固体または管状に感知され得る。管状ビーコンは、触覚出力が生成される円筒区域、柱状区域などを含むことができ、区域は、ユーザが触覚感覚を感知しない内部領域を取り囲む。ビーコン形態の触覚出力は、様々な断面サイズから成り得る。ミリメートルサイズのビーコンなどの小さい触覚感覚は、直径約1~20ミリメートルであり得、一方、センチメートルサイズのビーコンなどの大きい触覚感覚は、直径約2~10センチメートルであり得る。
【0033】
いくつかの実施形態では、触覚出力250は、1つ以上の境界線を画定する触覚ノッチの形態で生成することができ、この境界線に沿って手を移動させることで、特定の対象に手が届く。このような実施形態では、対象へと導く経路の外側の位置でユーザが触覚感覚を感知するように、触覚出力デバイス(複数可)は、対象の1つ以上の脇に配置され得る。例えば、このような実施形態では、触覚感覚は、対象へと導く経路の周りまたは経路に沿って、生成され得る。ノッチは、対象のインタラクション領域の近傍に生成され得る。触覚ノッチが生成されると、対象へと導く経路から手が外れた場合に、ユーザは自分の手に触覚感覚を感じ得る。例えば、ユーザが自分の手を所定の方向に引き続き動かすと、手は特定の対象に届かない及び/または対象に対応付けられたインタラクション領域から出てしまうことを、触覚ノッチはユーザに警告することができる。
【0034】
いくつかの実施形態では、触覚出力250は、特定の位置からユーザの手が離れるように案内する触覚バリアの形態で生成され得る。例えば、触覚バリアはユーザに、避けるべき乗り物内領域に自分の手が入っていること、及び/または使用するべきではない入力要素(例えば無効化された入力要素)に自分の手がインタラクトする寸前であることを、警告することができる。
【0035】
さらに、半指向性触覚出力が、空間誘導アプリケーション132と共に使用することができる。例えば、半指向性触覚出力デバイスは、乗り物の特定の表面に対して約90度の角度など、1つ以上の異なる角度に沿って触覚出力を生成することができる。よって、半指向性触覚出力デバイスは、ユーザが対象に向かって動く時に横切り得る様々な異なる接近経路に沿って、触覚出力を生成し得る。
【0036】
図2に示されるように、触覚出力デバイス220は、ユーザの手に触覚感覚を生成する。前記のように、空間誘導アプリケーション132は、出力の強度、感覚が生成される手の部位(複数可)、及び/または触覚感覚は一定もしくは可変の位置、強度、幅などを有するか否かなど、触覚出力デバイス220により生成される出力の様々な特性を特定し得る。触覚出力デバイス220が一定の強度の触覚感覚を生成する場合、対象の特定範囲内に手がある時は、ユーザが感知する触覚感覚の強度はほぼ同じである。例えば、ユーザが対象に向かうように、または対象から離すように手を動かしても、触覚感覚の強度が一定であることを確保するために、空間誘導アプリケーション132は、触覚出力の強度を変化させることができる。触覚出力デバイス220はまた、可変強度により触覚感覚を生成することができ、触覚感覚の強度は、位置及び時間などの1つ以上のパラメータにより変わる。
【0037】
空間誘導アプリケーション132は、対象を1つ以上の状況パラメータと対応付け得る。状況パラメータは、時刻、乗り物の向き(例えば磁針の向き)、乗り物の場所、乗り物に差し込む日光の量などを含み得る。例えば、空間誘導アプリケーション132は、特定の時間帯に、乗り物が特定の場所にいる時に、及び/または乗り物が特定の方向を向いている(例えば夕日に向かっている)時に、乗り物内区画(例えばサングラス1つを中に含む区画)もしくは別の種類のオブジェクト、または入力要素を、対象として指示することができる。付加的または代替的に、空間誘導アプリケーション132は、ある量の日光が車に差し込んでいる時に、オブジェクトまたは入力要素を対象として指示することができる。空間誘導アプリケーション132は次いで、1つ以上の触覚出力デバイス220により、オブジェクトまたは入力要素の近傍に触覚出力を生成させ、これによりユーザは、オブジェクトまたは入力要素の位置をより正確に特定することができる。
【0038】
空間誘導アプリケーション132はさらに、センサ210から受信したセンサデータを分析することで、対象を1人以上の運転者に対応付け得る。例えば、第1の運転者は、乗り物が私道に入ると、乗り物内の特定区画に配置されたガレージドア開閉装置を頻繁に使用してガレージのドアを開け、一方第2の運転者は、ガレージのドアを開けることなく、代わりに私道に駐車し得る。従って、車の場所が私道に近づくと、空間誘導アプリケーション132は、第1の運転者に対しては、その区画を対象と決定し得るが、第2の運転者に対しては行わない。その結果、空間誘導アプリケーション132は、第1の運転者に対しては、区画の近傍に触覚出力を生成し得るが、第2の運転者に対しては行わない。
【0039】
図3は、様々な実施形態による、触覚感覚を介して手を物理位置へ誘導する技術を例示する。図示されるように、システム環境300は、センサ310と、触覚出力デバイス320と、オブジェクト330とを含む。
【0040】
様々な実施形態では、センサ310は、オブジェクト330のインタラクション領域内の手を検出する。空間誘導アプリケーション132は、オブジェクト330からの位置、向き、及び/または距離など、手の様々なパラメータを特定し得る。いくつかの実施形態では、空間誘導アプリケーション132は次いで、手に向ける好適な種類の触覚出力350を決定し得る。空間誘導アプリケーション132はその後、制御信号を触覚出力デバイス320へ送信し、触覚出力350を生成させる。
【0041】
いくつかの実施形態では、触覚出力デバイス320は、オブジェクト330の外周の周りに配置され得る。例えば、
図3に示されるように、触覚出力350は、オブジェクト330の直径と同様の直径のビーコン形態で生成され得る。その結果、ユーザは、オブジェクト330の断面と同様のサイズの断面を有する触覚出力を感知する。ユーザは、オブジェクト330が自分の手に対し垂直に拡張していることを感知し得る。このような実施形態では、手をオブジェクト330に近づけてオブジェクト330を倒すことを避けるために、ユーザは、オブジェクト330のおおよそのサイズ及び/または形を感知することが可能であり得る。
【0042】
ユーザがオブジェクト330に対して自分の手を動かすと、1つ以上のセンサ310が実行され、手の位置及び/または向きなど、手の1つ以上のパラメータが検出され得る。空間誘導アプリケーション132は次いで、手のパラメータに基づいて、触覚出力350の1つ以上のパラメータを変更し得る。ユーザの手の位置の変化に応じて触覚出力350の1つ以上のパラメータを調整するこのような技術により、空間誘導アプリケーション132は、より効果的に触覚感覚を介してユーザの手をオブジェクト330へ導くことができ得る。
【0043】
いくつかの実施形態では、空間誘導アプリケーション132は、オブジェクト330の位置及び/または向きなど、オブジェクト330の様々なパラメータを特定し得る。例えば、オブジェクト330が熱いコーヒーのカップである場合、ユーザがコーヒーのカップをこぼすことなく確実に掴めるように、空間誘導アプリケーション132は、触覚感覚を使用して、ユーザが自分の手を位置付け方向付けることを補助し得る。さらに、システム環境300において、触覚出力350には、中が抜けたようにユーザが感知する管状ビーコンが含まれ得る。例えば、触覚出力デバイス320は、手に感覚を生み出す触覚出力350を生成することができ、触覚出力350は、オブジェクト330の輪郭を写し、触覚出力デバイス320が触覚出力を生成しない領域を取り囲む。
【0044】
図4は、様々な実施形態による、ノッチ触覚感覚を介して手を入力要素430へ誘導する技術を例示する。図示されるように、システム環境400は、センサ410と、触覚出力デバイス420と、入力要素430と、触覚出力450とを含む。
【0045】
様々な実施形態では、入力要素430の近傍に存在する手を検出するために、センサ410が実施され得る。空間誘導アプリケーション132は次いで、センサ410から受信したデータを分析して、手の1つ以上のパラメータを特定し得る。例えば、空間誘導アプリケーション132は、入力要素430及び/または触覚出力デバイス420に対する手の位置及び/または向きを特定し得る。空間誘導アプリケーション132は次いで、手に触覚感覚を生成するために、制御信号を触覚出力デバイス420へ送信する。
【0046】
図4に示されるように、触覚出力デバイス420は、触覚ノッチ形態の触覚出力450を生成する。いくつかの実施形態では、触覚ノッチを生成するために、超音波振動子アレイ、空気出力デバイス、及び/または他の種類の触覚出力デバイスが実施され得る。前記のように、ノッチは、境界線を画定し得る触覚出力の一類であり、ユーザはこの境界線に沿って自分の手を動かすことで、対象の位置を特定する。いくつかの実施形態では、触覚出力450は、ユーザの手を対象へと導く経路の1つ以上の境界線を画定する触覚境界ボックス(または任意の他の形)を形成し得る。例えば、システム環境400において、ユーザが入力要素430の位置を特定するのに自分の手を動かすべき経路の2つの境界線を画定するために、触覚出力デバイス420は、入力要素430の上方及び下方で触覚出力450を生成し得る。
【0047】
さらに、触覚出力デバイス420は、ユーザをある位置から離れさせるように、触覚バリアの形態の触覚出力を生成し得る。例えば、触覚バリアを使用して、ユーザに、無効化された入力要素は避けるべきであると示すことができる。作動中に、避けるべき乗り物内領域にユーザが入った場合、触覚出力デバイス220は、触覚バリアを出力して、ユーザに触覚感覚を生成する。このような実施形態では、触覚バリアはユーザに、ユーザが対象とインタラクトする能力をバリアがさえぎっていることを感知させ得る。例えば、システム環境400において、入力要素430(例えば入力要素430は無効化された)をユーザは避けるべきであると空間誘導アプリケーション132が判断した場合には、触覚出力デバイス420は、ユーザの手が入力要素430に近づいた時にユーザが触覚感覚を感じる方向で、触覚バリア形態の触覚出力450を生成し得る。
【0048】
いくつかの実施形態では、ユーザが特定領域内のいくつかの対象とインタラクトするよう試みていると空間誘導アプリケーション132が判断した場合、空間誘導アプリケーション132は、制御信号を触覚出力デバイス420に送信して、ノッチ形態の触覚出力450を生成し得る。いくつかの実施形態では、触覚出力デバイス420は、特定の断面サイズの領域を取り囲む触覚境界ボックスを生成し得る。例えば、空間誘導アプリケーション132がユーザを、いくつかの入力要素を含む乗り物内領域へ案内している場合、触覚境界ボックスにより取り囲まれる断面領域が、入力要素が広がる領域と必ず同様のサイズであるように、空間誘導アプリケーション132は特定し得る。いくつかの実施形態では、複数の空気出力デバイス(例えば空気渦発生器)は、空気を出力して、特定の断面サイズを有する触覚境界ボックスを形成し得る。例えば、各空気出力デバイスは、パン-チルト作動を実施して空気渦を異なる方向に放出することなどにより、複数の領域に空気渦を放出することができる。
【0049】
図5A~5Cは、様々な実施形態による、触覚感覚を生成する触覚出力デバイスの異なる配置を例示する。図示されるように、システム環境500は、入力要素510と、触覚出力デバイス520とを含む。
【0050】
様々な実施形態では、1つ以上のセンサは、入力要素510のインタラクション領域内の手を検出し得る。空間誘導アプリケーション132は、入力要素510からの手の位置、向き、及び距離など、手の様々なパラメータを特定し得る。いくつかの実施形態では、空間誘導アプリケーション132は、手に生成する好適な種類の触覚出力を決定し得る。空間誘導アプリケーション132は次いで、制御信号を触覚出力デバイス520へ送信して、ユーザ(例えばユーザの手)に感覚を生成させる。
【0051】
図5Aに示されるように、触覚出力デバイス520は、入力要素510の近傍にアレイ状に配置され得る。例えば、触覚出力デバイス520は、2行5列のアレイ状に配置され得る。様々な実施形態では、他の寸法及び/または形のアレイが実施されてもよい。例えば、超音波振動子アレイは、4行4列のアレイ、8行8列のアレイ、16行16列のアレイなどに配置され得る。さらに、触覚出力デバイス520は入力要素510に対して特定の位置にあるように例示されるが、別の実施形態では、触覚出力デバイス520は、入力要素510に近接する任意の位置に配置されてもよい。
【0052】
図5Bでは、触覚出力デバイス520は、入力要素510の外周の周りに配置される。
図5Bに示される実施形態は、円形状の触覚出力デバイス520を実施するが、様々な実施形態では、任意の他の形状(例えば楕円形状、長方形状、多角形状、自由形状など)が実施されてもよい。さらに、楕円形状、長方形状、多角形状、及び自由形状の触覚感覚を非限定的に含む、任意の形状の触覚感覚を生成するために、触覚出力デバイス520の任意の配置が実施されてもよい。
【0053】
図5Cでは、触覚出力デバイス520は、入力要素510の周りに散発的に配置される。例えば、入力要素510に近接する1つ以上の位置で特定の種類の触覚出力を生成するために、触覚出力デバイス520は、入力要素510の周りに適宜配置され得る。いくつかの実施形態では、触覚出力デバイス520は、利用可能な空間を有する様々な乗り物内領域(例えば入力要素、オブジェクト、またはディスプレイなどの他の障害物のない乗り物の表面上)に配置され得る。次いで、特定の配置の触覚出力デバイス520が入力要素510の近傍にあることを前提に、空間誘導アプリケーション132は、特定の触覚感覚をユーザに生成するために、触覚出力デバイス520のそれぞれから発せられるべき触覚出力の強度を決定し得る。
【0054】
図6は、様々な実施形態による、タッチスクリーン上の入力要素650へ手を誘導する触覚出力デバイス620の様々な構成を例示する。図示されるように、システム環境600は、センサ610と、触覚出力デバイス620と、タッチスクリーン640上の入力要素650とを含む。
【0055】
様々な実施形態では、1つ以上のセンサ610は任意で、タッチスクリーン640のインタラクション領域内の手を検出し得る。いくつかの実施形態では、インタラクション領域は、タッチスクリーン640の外周に実質的に沿った境界を有する体積として画定されることができ、この体積は、タッチスクリーン640の表面から特定の距離(例えば1~10センチメートル)延びる。さらに、このような実施形態では、ユーザの手がタッチスクリーンの外周内にあり、かつタッチスクリーン640の表面から特定の距離内にあると、空間誘導アプリケーション132が判断した時にのみ、触覚出力デバイス620のうちの1つ以上により触覚出力が生成され得る。いくつかの実施形態では、インタラクション領域は、特定の入力要素(例えばタッチスクリーンボタン)の外周に実質的に沿った境界を有する体積として画定されることができ、この体積は、タッチスクリーン640の表面から特定の距離延びる。
【0056】
システム環境600に示されるように、触覚出力デバイス620は、タッチスクリーン640の外周の周りに配置され得る。しかしながら、触覚出力デバイス620の他の配置も発明概念に含まれる。システム環境600に示されるように、触覚出力デバイス620は、1つ以上の超音波振動子アレイを含み得る。しかしながら、様々な実施形態では、1つ以上の空気出力デバイスなどの任意の他の種類の触覚出力デバイスが実施されてもよい。
【0057】
様々な実施形態では、空間誘導アプリケーション132は、1つ以上の特定の入力要素650の位置を受信し得る。例えば、空間誘導アプリケーション132は、1つ以上の制御ユニット(例えば乗り物内インフォテインメントシステム)から入力要素650の位置を受信し、次いで、タッチスクリーン640上の入力要素650へユーザの手を誘導するために生成されるべき触覚出力の1つ以上のパラメータ(例えば触覚出力の位置及び/または方向性)を特定し得る。さらに、ユーザが特定の入力要素650を選択する場合には、スクリーン640上の1つ以上の入力要素650の位置が変わり得る。従って、入力要素650の新たな位置(複数可)へユーザの手を誘導するために、空間誘導アプリケーション132は、今度は、新たな位置(複数可)を受信し、1つ以上の触覚出力デバイス620に制御信号を出力して、新たな位置(複数可)の近傍に触覚感覚を生成し得る。さらに、いくつかの実施形態では、タッチスクリーン640上の入力要素が無効化された場合には、空間誘導アプリケーション132は、無効化された入力要素の位置を受信し得る。ユーザの手が無効化された入力要素に近づいている時には、空間誘導アプリケーション132は、触覚バリアを生成し得る。
【0058】
様々な実施形態では、空間誘導アプリケーション132は、1つ以上の制御ユニットから、拡張現実(AR)オブジェクト(例えばヘッドマウントデバイスにより表示されるARオブジェクト)の位置を受信し得る。空間誘導アプリケーション132が拡張現実(AR)オブジェクトの位置を受信した場合、空間誘導アプリケーション132は、三次元環境内(例えば乗り物の室内)の特定の位置など、手がARオブジェクトとインタラクトできる位置にユーザの手を誘導するために、触覚出力デバイス620を介してユーザの手に触覚感覚を生成し得る。
【0059】
さらに、ユーザが前述の音響オブジェクトなどの空間音響オブジェクトとインタラクトしている場合、空間誘導アプリケーション132は、1つ以上の音響オブジェクトの新たな位置を受信し得る。空間誘導アプリケーション132は次いで、1つ以上の触覚出力デバイスにより、ユーザの手を新たな位置へ案内する触覚出力を生成させる。例えば、空間誘導アプリケーション132は、特定の音響オブジェクトの断面面積に類似するサイズの断面面積を取り囲む触覚境界ボックスを生成し得る。
【0060】
図7は、様々な実施形態による、触覚出力を介して対象への誘導を提供する方法ステップのフロー図を例示する。方法ステップは
図1~4、5A~5C、及び6のシステムと併せて説明されるが、方法ステップを任意の順序で実行するように構成された任意のシステムが本発明の範囲に含まれることが、当業者には理解されよう。
【0061】
図7に示されるように、方法700は、空間誘導アプリケーション132が入力要素またはオブジェクトなどの対象の位置を特定するステップ710から開始する。いくつかの実施形態では、ステップ710で、空間誘導アプリケーション132は、対象の他のパラメータ(例えば対象の向き及び/またはサイズ)も特定し得る。次いで、ステップ720で、空間誘導アプリケーション132は、1つ以上のセンサから受信したセンサデータを分析し、ユーザに対応付けられた1つ以上のパラメータを特定する。例えば、空間誘導アプリケーション132は、センサデータを分析して、ユーザの手の位置及び/または向きを特定することができる。
【0062】
いくつかの実施形態では、ステップ710で、空間誘導アプリケーション132は、乗り物内に含まれる1つ以上の制御ユニットから位置を受信することで、対象の位置を特定することができる。空間誘導アプリケーション132はさらに、制御ユニット(複数可)から対象のサイズ及び/または向きを受信することができる。さらに、前述のように、空間誘導アプリケーション132は、センサデータを分析することで、及びセンサデータに基づいて、ユーザの手が乗り物内の特定の入力要素またはオブジェクトに頻繁にアクセスすることを特定することで、対象の位置を特定し得る。空間誘導アプリケーション132はさらに、センサデータを分析して、対象のサイズなど、対象の1つ以上のパラメータを特定し得る。さらに、空間誘導アプリケーション132は、時刻、乗り物の場所、乗り物の向きなどに基づいて、対象の位置を特定し得る。
【0063】
次に、ステップ730で、空間誘導アプリケーション132は、センサデータに基づいて、ユーザの手が対象の近傍にあるか否か、例えば手が対象のインタラクション領域内にあるか否かを判定する。例えば、乗り物のダッシュボード上に配置された対象のインタラクション領域は、乗り物のダッシュボードの上及び前の体積を含むことができ、一方、収納区画に対応する対象のインタラクション領域は、区画内の体積を含むことができる。
【0064】
ステップ730で、空間誘導アプリケーション132がユーザの手は対象の近傍に存在しないと判定した場合には、方法700は、空間誘導アプリケーション132がセンサデータを分析し続けるステップ720に戻る。しかし、空間誘導アプリケーション132がユーザの手は対象の近傍に存在すると判定した場合には、方法700は、空間誘導アプリケーション132が、例えば1つ以上の触覚出力デバイスに信号を出力して、ユーザの手に触覚感覚を生成するステップ740に続く。様々な実施形態では、触覚出力デバイスは、ユーザに対しいずれの種類の物理的な直接接触も行わずに、ユーザに触覚感覚を生成する。
【0065】
次に、ステップ750で、空間誘導アプリケーション132は、対象が変わったか否かを判定する。ステップ750で、対象が変化したと空間誘導アプリケーション132が判定した場合には、方法700は、空間誘導アプリケーション132が対象の新たな位置を特定するステップ710に戻る。一方、対象が変わらなかった場合には、方法700は、空間誘導アプリケーション132がセンサデータを分析し続けるステップ720に戻る。
【0066】
要するに、空間誘導アプリケーションは任意で、1つ以上のセンサを介して、入力要素、物理位置、またはオブジェクトなどの対象の近傍に存在する手を検出する。その後、空間誘導アプリケーションは任意で、触覚感覚を生成する位置を決定する。次に、空間誘導アプリケーションは、触覚出力デバイスにより、特定の対象へユーザの手を誘導する触覚感覚を生成させるために、触覚出力デバイスへ制御信号を出力する。
【0067】
本明細書で説明される技術の少なくとも1つの利点は、ユーザが対象に目を向ける必要なしに、手を対象へ誘導することができることである。従って、ユーザは、道路から視線をそらさずに、入力要素を調節すること、及び乗り物内の物理オブジェクトの位置を特定することができる。さらに、ユーザとの代替的通信手段として、触覚感覚を実施することができ、これにより、ユーザは追加情報で圧倒されることはない。その結果、本明細書に説明される技術は、運転者が乗り物内の1つ以上の対象の位置をより簡単に特定することを可能にすることで、運転者の認識作業負荷を低減する。
【0068】
様々な実施形態の説明は、例示目的で提示されており、網羅的である、または開示される実施形態に限定的である意図はない。説明される実施形態の範囲及び趣旨から逸脱することなく、数多くの変更及び変形が当業者には明らかであろう。
【0069】
本実施形態の態様は、システム、方法、またはコンピュータプログラム製品として具現化され得る。従って、本開示の態様は、完全なハードウェア実施形態、完全なソフトウェア実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、または本明細書において「回路」、「モジュール」、もしくは「システム」と全て概して称され得るソフトウェア及びハードウェアの態様を組み合わせた実施形態の形を取り得る。さらに、本開示の態様は、コンピュータ可読プログラムコードを取り込んだ1つ以上のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形を取り得る。
【0070】
1つ以上のコンピュータ可読媒体の任意の組み合わせを利用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、もしくは半導体のシステム、機器、もしくはデバイス、または前述の任意の好適な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例(非包括的一覧)には、1つ以上の有線を有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読出専用メモリ(ROM)、消去可能プログラマブル読出専用メモリ(EPROMもしくはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読出専用メモリ(CD‐ROM)、光学記憶装置、磁気記憶装置、または前述の任意の好適な組み合わせ、以上が含まれ得る。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、機器、もしくはデバイスが使用または接続する、プログラムを包含または記憶可能な任意の有形媒体であり得る。
【0071】
本開示の実施形態による方法、機器(システム)、及びコンピュータプログラム製品のフローチャート図解及び/またはブロック図を参照して、本開示の態様が前述された。フローチャート図解及び/またはブロック図の各ブロック、並びにフローチャート図解及び/またはブロック図内のブロックの組み合わせは、コンピュータプログラム命令により実施できることは理解されよう。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理機器のプロセッサに提供され、コンピュータまたは他のプログラマブルデータ処理機器のプロセッサを介して実行される命令により、フローチャート及び/またはブロック図のブロック(複数可)において指定された機能/動作を実施することが可能なマシンを生み出し得る。このようなプロセッサは、汎用プロセッサ、専用プロセッサ、特定用途向けプロセッサ、またはフィールドプログラマブルプロセッサもしくはゲートアレイであり得るが、これに限定されない。
【0072】
図におけるフローチャート及びブロック図は、本開示の様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実施態様のアーキテクチャ、機能、及び動作を例示する。その際、フローチャートまたはブロック図における各ブロックは、特定の論理関数(複数可)を実施する1つ以上の実行可能命令を備えるモジュール、セグメント、またはコード部分を表し得る。いくつかの代替的な実施態様では、ブロックに記された機能は、図に記された順番以外でも起こり得ることにも留意されたい。例えば、連続して示された2つのブロックは、実際には、ほぼ同時に実行されてもよく、または関与する機能に応じてブロックは時に逆の順序で実行されてもよい。ブロック図及び/またはフローチャート図解の各ブロック、並びにブロック図及び/またはフローチャート図解内のブロックの組み合わせは、特定の機能もしくは動作を実行する専用ハードウェアベースシステム、または専用ハードウェア及びコンピュータ命令の組み合わせにより実施することが可能であることにも留意されたい。
【0073】
前述は本開示の実施形態を対象とするが、その基本範囲から逸脱することなく、本開示の他及びさらなる実施形態が考案されてもよく、その範囲は以下の特許請求の範囲により特定される。