特表2019-533846IP Force 特許公報全文掲載

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】特表2019-533846(P2019-533846A)
(43)【公表日】2019年11月21日
(54)【発明の名称】ユーザとマシンインタフェースとの間の検出された距離に基づくインタラクションモード選択
(51)【国際特許分類】
   G06F 3/01 20060101AFI20191025BHJP
【FI】
   G06F3/01 510
【審査請求】未請求
【予備審査請求】未請求
【全頁数】23
(21)【出願番号】特願2019-503257(P2019-503257)
(86)(22)【出願日】2017年9月5日
(85)【翻訳文提出日】2019年1月21日
(86)【国際出願番号】US2017050083
(87)【国際公開番号】WO2018063754
(87)【国際公開日】20180405
(31)【優先権主張番号】15/282,414
(32)【優先日】2016年9月30日
(33)【優先権主張国】US
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.SMALLTALK
(71)【出願人】
【識別番号】593096712
【氏名又は名称】インテル コーポレイション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】チュウ,イェン シャン
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA10
5E555BA01
5E555BA06
5E555BB01
5E555BB06
5E555BC07
5E555CA02
5E555CA15
5E555CA42
5E555CA47
5E555CB23
5E555CB34
5E555CB51
5E555CB55
5E555CB64
5E555CB66
5E555CC01
5E555CC03
5E555DA24
5E555DB18
5E555DB32
5E555EA22
5E555FA00
(57)【要約】
インタラクションモード選択装置のユーザとマシンインタフェースの一部との間の距離を推定するための距離推定器と、距離推定器に通信可能に接続され、推定された距離に基づいて2つ以上の使用可能なインタラクションモードから1つ以上のアクティブなインタラクションモードを選択するための、インタラクション選択器と、を含んでも良い。距離推定器は、デプスセンサ、3次元カメラ、2次元カメラ、カメラアレイ、マイクロフォンアレイ、ワイヤレスアクセスポイントアレイ、ビーコンセンサ、近接センサ、及び/又は超音波センサを含んでも良い。使用可能なインタラクションモードは、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、及び/又は顔解析インタラクションモードを含んでも良い。他の実施形態が開示され、請求される。
【特許請求の範囲】
【請求項1】
ユーザ・マシンインタラクションシステムであって、
1つ以上の出力デバイス及び1つ以上の入力デバイスを含み、前記1つ以上の出力デバイスは、ディスプレイ、スピーカー、又はハプティックフィードバックデバイスのうちの1つ以上を含み、前記1つ以上の入力デバイスは、キーボード、マウス、タッチ入力デバイス、マイクロフォン、又はカメラのうちの1つ以上を含む、ユーザ・マシンインタフェースと、
前記ユーザ・マシンインタフェースに通信可能に接続され、前記ディスプレイ、前記スピーカー、又は前記ハプティックフィードバックデバイスのうちの前記1つ以上の出力を制御し、ユーザと前記ユーザ・マシンインタフェースとの間の使用可能なインタラクションモードを制御するユーザインタフェースコントローラであって、前記使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの2つ以上を含む、ユーザインタフェースコントローラと、
前記ユーザ・マシンインタフェースに通信可能に接続され、前記ユーザと前記ユーザ・マシンインタフェースの選択された部分との間の距離を推定するための距離推定器と、
前記距離推定器と前記ユーザインタフェースコントローラに通信可能に接続され、前記推定された距離に基づいて前記使用可能なインタラクションモードから1つ以上のアクティブなインタラクションモードを選択するためのインタラクション選択器と、
を備える、ユーザ・マシンインタラクションシステム。
【請求項2】
前記インタラクション選択器及び前記ユーザインタフェースコントローラに通信可能に接続され、前記選択された1つ以上のアクティブなインタラクションモードを前記ユーザに示す、インタラクションモードインジケータをさらに含む、請求項1に記載のユーザ・マシンインタラクションシステム。
【請求項3】
前記ユーザインタフェースコントローラは、前記選択された1つ以上のアクティブなインタラクションモードを示すために、前記ディスプレイ上の仮想フィードバック、前記スピーカーに対するオーディオフィードバック、又は前記ハプティックフィードバックデバイスに対する触知性フィードバックのうちの1つ以上をさらに提供する、請求項2に記載のユーザ・マシンインタラクションシステム。
【請求項4】
インタラクションモード選択装置であって、
ユーザとユーザ・マシンインタフェースの一部との間の距離を推定するための距離推定器と、
前記距離推定器に通信可能に接続され、前記推定された距離に基づいて2つ以上の使用可能なインタラクションモードから1つ以上のアクティブなインタラクションを選択するためのインタラクション選択器と、
を備える、インタラクションモード選択装置。
【請求項5】
前記距離推定器は、デプスセンサ、3次元カメラ、2次元カメラ、カメラアレイ、マイクロフォンアレイ、ワイヤレスアクセスポイントアレイ、ビーコンセンサ、近接センサ、超音波センサのうちの1つ以上を含む、請求項4に記載のインタラクションモード選択装置。
【請求項6】
前記2つ以上の使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの2つ以上を含む、請求項4又は5のいずれかに記載のインタラクションモード選択装置。
【請求項7】
前記インタラクション選択器に通信可能に接続され、前記ユーザと前記ユーザ・マシンインタフェースの前記一部との間の前記推定された距離と前記推定された距離における効果的に使用可能なインタラクションモードとの相関を記憶する、モード・距離相関器をさらに含む、請求項4又は5のいずれかに記載のインタラクションモード選択装置。
【請求項8】
前記モード・距離相関器は、有効にされるインタラクションモードのテーブルを推定された距離の値によって参照されるテーブルエントリと一緒に含む、請求項7に記載のインタラクションモード選択装置。
【請求項9】
前記モード・距離相関器は、有効にされるデバイス、センサ、モジュール、アプリケーション、又はインタラクションモード特性のうちの1つ以上のテーブルを推定された距離の値によって参照されるテーブルエントリと一緒に含む、請求項7に記載のインタラクションモード選択装置。
【請求項10】
前記選択された1つ以上のアクティブなインタラクションモードを前記ユーザに示すためのインタラクションインジケータをさらに含む、請求項4又は5のいずれかに記載のインタラクションモード選択装置。
【請求項11】
インタラクションモードを選択する方法であって、
ユーザとユーザ・マシンインタフェースの一部との間の距離を推定することと、
前記推定された距離に基づいて2つ以上の使用可能なインタラクションモードから1つ以上のアクティブなインタラクションモードを選択することと、
を含む、インタラクションモードを選択する方法。
【請求項12】
前記ユーザと前記ユーザ・マシンインタフェースの前記一部との間の前記距離を推定することが、デプスセンサ、3次元カメラ、2次元カメラ、カメラアレイ、マイクロフォンアレイ、ワイヤレスアクセスポイントアレイ、ビーコンセンサ、近接センサ、又は超音波センサのうちの1つ以上からのデータに基づいて、前記推定された距離を決定すること、を含む、請求項11に記載のインタラクションモードを選択する方法。
【請求項13】
前記2つ以上の使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの2つ以上を含む、請求項11又は12のいずれかに記載のインタラクションモードを選択する方法。
【請求項14】
前記ユーザと前記ユーザ・マシンインタフェースの前記一部との間の前記推定された距離を前記推定された距離における効果的に使用可能なインタラクションモードと相関させること、
をさらに含む、請求項11又は12のいずれかに記載のインタラクションモードを選択する方法。
【請求項15】
有効にされるインタラクションモードのテーブルを、推定された距離の値によって参照されるテーブルエントリと一緒に記憶すること、
を、さらに含む、請求項14に記載のインタラクションモードを選択する方法。
【請求項16】
有効にされるデバイス、センサ、モジュール、アプリケーション、又はインタラクションモード特性のうちの1つ以上のテーブルを推定された距離の値によって参照されるテーブルエントリと一緒に、記憶すること、
をさらに含む、請求項14に記載のインタラクションモードを選択する方法。
【請求項17】
前記選択された1つ以上のアクティブなインタラクションを前記ユーザに示すこと、
をさらに含む、請求項11又は12に記載のインタラクションモードを選択する方法。
【請求項18】
インタラクションモード選択装置であって、
ユーザとユーザ・マシンインタフェースの一部との間の距離を推定する手段と、
前記推定された距離に基づいて、2つ以上の使用可能なインタラクションモードから1つ以上のアクティブなインタラクションモードを選択する手段と、
を備える、インタラクションモード選択装置。
【請求項19】
前記ユーザと前記ユーザ・マシンインタフェースの前記一部との間の前記距離を推定する手段が、
デプスセンサ、3次元カメラ、2次元カメラ、カメラアレイ、マイクロフォンアレイ、ワイヤレスアクセスポイントアレイ、ビーコンセンサ、近接センサ、又は超音波センサのうちの1つ以上からのデータに基づいて、前記推定される距離を決定する手段と、
を含む、請求項18に記載のインタラクションモード選択装置。
【請求項20】
前記2つ以上の使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの2つ以上を含む、請求項18又は19のいずれかに記載のインタラクションモード選択装置。
【請求項21】
前記ユーザと前記ユーザ・マシンインタフェースの前記一部との間の前記推定された距離を前記推定された距離における効果的に使用可能なインタラクションモードと相関させる手段と、
をさらに含む、請求項18又は19のいずれかに記載のインタラクションモード選択装置。
【請求項22】
有効にされるインタラクションモードのテーブルを推定された距離の値によって参照されるテーブルエントリと一緒に記憶する手段と、
をさらに含む、請求項21に記載のインタラクションモード選択装置。
【請求項23】
有効にされるデバイス、センサ、モジュール、アプリケーション、又はインタラクションモード特性のうちの1つ以上のテーブルを推定された距離の値によって参照されるテーブルエントリと一緒に記憶する手段と、
をさらに含む、請求項21に記載のインタラクションモード選択装置。
【請求項24】
前記選択された1つ以上のアクティブなインタラクションモードを前記ユーザに示す手段と、
をさらに含む、請求項18又は19のいずれかに記載のインタラクションモード選択装置。
【発明の詳細な説明】
【技術分野】
【0001】
本一般にユーザインタフェースに関連する。より具体的には、本ユーザとマシンインタフェースとの間で検出された距離に基づくインタラクションモード選択に関連する。
【0002】
本出願は、2016年9月30日に出願された米国特許出願15/282,414号に対する優先権の利益を主張する。
【背景技術】
【0003】
様々なタイプの入力デバイスと、それらの入力デバイスによってサポートされるユーザインタラクション(user interactions)がよく知られている。キーボードやコンピュータマウスは、コンピューティングデバイスに対するユーザ入力をサポートする一般的な入力デバイスである。マイクロフォンは、コンピュータシステムとの音声(ボイス)インタラクション(voice interaction)をサポートすることができる。タッチパッド又はタッチスクリーンは、コンピューティングデバイスとのタッチインタラクション(touch interaction)をサポートすることができる。カメラは、コンピューティングデバイスとのジェスチャインタラクション(gesture interaction)又は顔検出/認識インタラクション(facial detection/recognition interaction)をサポートすることができる。
【図面の簡単な説明】
【0004】
以下の図面を参照しながら、以下の明細書及び添付請求項を読むことにより、本実施形態の様々な利点が、当業者に明らかになる。
【図1】実施形態によるユーザ・マシンインタラクションシステムの例のブロック図である。
【図2】実施形態によるインタラクションモード選択装置の例のブロック図である。
【図3A】実施形態によるインタラクションを選択する方法の例のフローチャートである。
【図3B】実施形態によるインタラクションを選択する方法の例のフローチャートである。
【図3C】実施形態によるインタラクションを選択する方法の例のフローチャートである。
【図4A】実施形態によるユーザ・マシンインタラクションシステムの別の例の説明である。
【図4B】実施形態によるユーザ・マシンインタラクションシステムの別の例の説明である。
【図4C】実施形態によるユーザインタラクションモード対距離のテーブルの例である。
【発明を実施するための形態】
【0005】
これから図1を参照すると、ユーザ・マシンインタラクションシステム(user-machine interaction system)10の1つ以上の出力デバイス12(例えば、ディスプレイ12a、スピーカー12b、及び/又はハプティックフィードバックデバイス(haptic feedback device)12cなど)と1つ以上の入力デバイス13(例えば、キーボード13a、マウス13b、タッチデバイス13c、マイクロフォン13d、及び/又はカメラ13eなど)を含むユーザ・マシンインタフェース(user-machine interface)11を含んでも良い。タッチデバイス(touch device)の非制限的な例は、トラックパッドとタッチスクリーンを含んでも良い。ユーザインタフェースコントローラ14は、ユーザ・マシンインタフェース11に通信可能に接続され、ディスプレイ12aの出力を制御し、ユーザとユーザ・マシンインタフェース11との間の使用可能なインタラクションモード(available interaction modes)を制御できる。使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード又は顔解析インタラクションモードのうちの2つ以上を含んでも良い。顔解析の非制限的な例は、顔検出(face detection)、顔認識(facial recognition)及び顔表情認識(facial expression recognition)を含む。距離推定器(distance estimator)15は、ユーザとユーザ・マシンインタフェース11の選択された部分との間の距離を推定する(estimate a distance)ためにユーザ・マシンインタフェース11に通信可能に接続されても良い。インタラクション選択器(interaction selector)16は、推定された距離に基づいて、使用可能なインタラクションモードから1つ以上のアクティブなインタラクションモードを選択するために、距離推定器15及びユーザインタフェースコントローラ14に通信可能に接続されても良い。
【0006】
ユーザ・マシンインタラクションシステム10のいくつかのインタラクション選択器16及びユーザインタフェースコントローラ14に通信可能に接続され、選択された1つ以上のアクティブなインタラクションモードをユーザに示すためのインタラクションモードインジケータ17をさらに含んでも良い。例えば、ユーザインタフェースコントローラ14は、選択された1つ以上のアクティブなインタラクションモードを示す、ディスプレイ12a上のビジュアルフィードバック、スピーカー12bへのオーディオフィードバック、又はハプティックフィードバックデバイス12cへの触知性フィードバック(tactile feedback)のうちの1つ以上を提供するようにさらに構成されても良い。加えて、又は代わりに、ユーザインタフェースコントローラ14は、選択された1つ以上のアクティブなインタラクションモードを示すために別の出力デバイスに別のフィードバックを提供するように構成されても良い。ユーザは、一般には人間であるが、また、例えば、ロボット又はドローンであっても良い。
【0007】
いくつかの従来のビジュアルコンピューティングシステムの課題は、様々なインタラクションモード(interaction modes)が使用可能であっても、様々なインタラクションモードの有効性(effectiveness)が、システムに対するユーザの距離に依存して変化し得る点である。例えば、音声インタラクションは、ユーザがマイクロフォンに近いとき、より効果的(more effective)であるが、ユーザがマイクロフォンよりさらに遠く離れるとより効果的ではなくなり(例えば、マイクロフォンがシステム上の固定位置にあり、ユーザがあちこちに移動した場合)、音声インタラクションのエラー率は、増加し得る。同様に、顔解析アプリケーションに対して、ユーザが非常に遠く離れている場合は、エラー率が増加し得る。インタフェースとインタラクト(interact)する各モードに対して、ユーザがインタフェースとインタラクトするためには、ユーザがインタフェースから離れているための最適な距離又はより効率的な距離の範囲が一般にある。
【0008】
ジェスチャ、顔及び人アナリティク(face and people analytics)などのコンピュータビジョンベースユーザインタラクションの有効性は、距離依存性であり得る。カメラセンサからの非最適又はより効果的でない距離で行われるジェスチャ制御、顔アナリティクス又は体解析は、ユーザの体験に否定的に影響する可能性があるより高い誤検出結果(higher false positive results)又はより高いエラー率を有するかも知れない。有利なことに、いくつかのより効果的な又は最適なインタラクション距離において使用され、有効なセンサ/インタラクションモードに基づいてユーザインタフェースといかにインタラクトするかについてアクティブなフィードバックをユーザに提供するための、ユーザインタフェースに接続されたコンピュータビジョンセンサを有効にしても良い。ユーザが、コンピュータビジョンベースユーザインタフェースによっていかに最適に又はより効果的にインタラクトできるかを知るようにすることができる。エラー率も、低減され、それによってユーザの不満も削減できる。それらのインタラクションモードがより効果的ではないときに、詳細な顔アナリティクス及び/又は詳細なジェスチャ認識を無効にすることからの別の利益は、それらの機能は比較的複雑であるので、それらを無効にすることによって他のタスクに対するコンピューティング処理能力を増加することができる。
【0009】
有利なことに、ユーザインタフェースとインタラクトするためのモードは、ユーザとユーザインタフェースのディスプレイスクリーンとの間の距離に基づいて変更され得るので、ユーザ・マシンインタラクションシステム10のいくつかのユーザ体験を向上させることができる。例えば、有効にされるユーザインタラクションモードは、ユーザとユーザインタフェースのディスプレイスクリーンとの間のデプス測定に基づいて構成可能でも良い。いくつかの実施形態において、ユーザインタフェースに接続されるセンサのサブセットは、有効なインタラクションモードに基づいて、有効(enabled)又は無効(disabled)にすることができる。様々な実施形態を実装することができるマシンの非制限的な例は、インタラクティブキオスク、ベンディングマシン、ゲームコンソール又はデバイス、デスクトップコンピュータ、ラップトップ、ノートブック、タブレット、及びコンバーチブルコンピュータ(例えば、2イン1コンピュータ)を含む。
【0010】
コンピュータビジョンベースユーザインタフェース(例えば、顔アナリティクス、ジェスチャ制御、体解析、音声制御)は、コンピューティングシステムとインタラクトするエンドユーザに対して人気のある方法になる傾向があり得る。インタラクションモードとセンサを改良し、又は最適化する能力は、望ましい機能であるコンピュータビジョンベースユーザインタフェースによってインタラクトするユーザに対してユーザ体験を向上することができる。有利なことに、いくつかの有効にされたインタラクションモードでアクティブなフィードバックをユーザに提供することができ、ユーザインタフェースとインタラクトするために彼又は彼女に何が期待されているかを知ることによってコンピュータビジョンベースユーザインタフェースとユーザがより効果的にインタラクトできるようにする。例えば、ユーザがコンピュータビジョンセンサの効果的な又は最適な動作の距離内におらず、ユーザがこの条件に気付いていないなどの理由により、有効になっているインタラクションモードにおいて、アクティブなフィードバックをユーザに提供することにより、ユーザインタフェースが働いていないと思われるとき、ユーザの不満を削減することもできる。
【0011】
有利なことに、ユーザとユーザ・マシンインタフェース11の一部との間の距離を推定し、推定された距離に基づいて2つ以上の使用可能なインタラクションモードから1つ以上のアクティブなインタラクションモードを選択することによって、システム10のいくつかのより良いユーザ体験を提供することができる。例えば、ユーザ・マシンインタフェースシステム10のキオスク又はコンピューティングデバイス(例えば、ラップトップ)として実装され、カメラ13eは、ディスプレイ12aのトップの近くにマウントされたデプス測定カメラを含んでも良い(例えば、キオスク又はコンピューティングデバイス上のタッチスクリーンディスプレイ)。例えば、カメラ13eは、インテル REALSENSEカメラ又はマイクロソフト KINECTカメラと同様の3次元(3D)取得又は測定能力を有しても良い。
【0012】
システム10は、ユーザの存在を検出し、そして、ユーザとカメラ13eとの間の距離を測定しても良い。測定された距離は、ユーザとディスプレイ12aとの間の距離を推定するために変換しても良い(例えば、カメラ13eとディスプレイ12aとの位置における差に基づいて)。推定された距離は、次にストレージレコード(例えば、データベース)を検索しても良く、ストレージレコードは、推定された距離において、どのインタラクションのモードが最も又は十分に効果的かを示す。システム10は、次に、インタラクションのいくつかのモードを有効にし、インタラクションのいくつかのモードを無効にし(例えば、推定された距離においてより効果的ではない又はエラーの傾向がある)、及び/又はストレージレコードに示されたものに基づいて、インタラクションのモード特性を変更しても良い(例えば、赤外(IR)放射の出力を減らす、ノイズキャンセルを実行する/スキップする、顔表情解析を実行する/スキップする、指ベースジェスチャ認識を実行する/スキップするなど)。上述のユーザ・マシンインタフェース11、ユーザインタフェースコントローラ14、距離推定器15、インタラクション選択器16、インタラクションモードインジケータ17、及び他のシステムコンポーネントのそれぞれのハードウェア、ソフトウェア、又はそれらの任意の適切な組み合わせで実装されても良い。
【0013】
例えば、ハードウェア実装は、例えば、プログラマブルロジックアレイ(PLA)、フィールドプログラマブルゲートアレイ(FPGA)、結合プログラマブルロジックデバイス(CPLD)などの構成可能なロジック、又は例えば、特定用途向け集積回路(ASIC)、相補型金属酸化膜半導体(CMOS)又はトランジスタ・トランジスタロジック(TTL)技術などの回路技術を使用した固定機能ロジックハードウェア、又はそれらの組み合わせを含んでも良い。代わりに、又は加えて、これらのコンポーネントは、プロセッサ又はコンピューティングデバイスによって実行できるように、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、プログラマブルROM(PROM)、ファームウェア、フラッシュメモリなどのマシン又はコンピュータ読取可能記憶媒体に記憶された論理命令の組として1つ以上のモジュールに実装されても良い。例えば、コンポーネントの動作を実行するコンピュータプログラムコードは、JAVA(登録商標)、SMALLTALK、C++、C#などのオブジェクト指向プログラミング言語及び「C」プログラミング言語又は同様のプログラミング言語などの従来からの手続型のプログラミング言語を含む1つ以上のオペレーティングシステムに適用可能な/適切なプログラミング言語の任意の組み合わせで書かれても良い。
【0014】
これから図2を参照して、インタラクションモード選択装置20のユーザとユーザ・マシンインタフェースの一部との間の距離を推定するための距離推定器21及び距離推定器21に通信可能に接続され、推定された距離に基づいて2つ以上の使用可能なインタラクションモードから1つ以上のアクティブなインタラクションモードを選択するためのインタラクション選択器22を含んでも良い。例えば、距離推定器21は、デプスセンサ(例えば、デプスカメラ)、3Dカメラ、2次元(2D)カメラ、カメラアレイ、マイクロフォンアレイ、ワイヤレスアクセスポイントアレイ(例えば、デバイス三角測量目的のためのWIFIアクセスポイント)、ビーコンセンサ、近接センサ、又は超音波センサのうちの1つ以上を含んでも良い。例えば、2つ以上の使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の部分のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの2つ以上を含んでも良い。
【0015】
インタラクションモード選択装置20のいくつかのインタラクション選択器22に通信可能に接続され、ユーザとユーザ・マシンインタフェースとの間の推定された距離と、推定された距離における効果的に使用可能なインタラクションモードとを相関させるためのモード・距離相関器23をさらに含んでも良い。例えば、モード・距離相関器23は、推定された距離の値によって参照されるテーブルエントリを持つ、有効にされるインタラクションモードのテーブルを含んでも良い。例えば、モード・距離相関器23は、有効にされる、デバイス、センサ、モジュール、アプリケーション、又はインタラクションモード特性のうの1つ以上のテーブルを推定された距離の値によって参照されるテーブルエントリと一緒に含んでも良い。インタラクションモード選択装置20は、選択された1つ以上のアクティブなインタラクションをユーザに示すためのインタラクション選択器22に通信可能に接続されたインタラクションインジケータ24も含んでも良い。
【0016】
多数のデバイス及び/又は技法が、適切な距離推定器21の実施形態を実装するために活用することができる。上述のとおり、正確な距離の推定(例えば、+/−数センチ)に容易に変換できるカメラからのデプス(深度(depth))又は距離測定を直接提供するのに適切なハードウェア及びソフトウェアを、デプスカメラは含んでも良い。例えば、デプスカメラは、ディスプレイスクリーンの前の仮想プレーンを形成することができ、ユーザ又はオブジェクトが仮想プレーンに入ると、距離が測定されても良い。加えて、又は代わりに、デプスカメラを利用するシステムは、顔検出を実行し、次に、検出された顔の中心からカメラまでの距離を測定しても良い(例えば、顔検出は、顔認識又は顔アナリティクスより、より複雑ではないかも知れない)。加えて、又は代わりに、デプスカメラを利用するシステムは、胴、手、又は他の体の一部を検出し、ユーザとユーザ・マシンインタフェースの関連部分との間の距離を推定するために検出した体の一部とカメラとの間距離を測定しても良い。いくつかの各ユーザに対するそれぞれの距離推定によるマルチ・ユーザ検出をサポートしても良い。
【0017】
デプスカメラは、比較的高い精度を提供することができる。しかしながら、いくつかの高い精度を必要としないか、又は実際の距離測定すら必要としない。いくつかの実施形態において、推定された距離は、近接レベル(例えば、非常に近い、近い、中間、遠い、非常に遠いなど)で表現することができる。近接センサは、オブジェクト又はユーザがセンサにどれだけ近いかを決定するために、レーダー又は超音波(例えば、超音波距離計)を使用しても良い。いくつかのセンサは、検知した近さに比例する出力信号を生成することができる。出力信号は、デジタル値に変換され、さらに正確で十分な距離推定値を生成するためにさらに処理しても良い。距離の直接測定によらなくても、2Dカメラ、2Dカメラのアレイ、及び/又はマイクロフォンのアレイによって推定された距離を外挿することができる。例えば、単独の2Dカメラは、既知の距離でのユーザの顔の校正イメージを取得することによって校正することができ、その後、校正イメージと比較することによって、ユーザの新たなイメージを取得することによって推定された距離を外挿することができ、目又は他の顔の特徴の間のピクセルの数を決定することができる。そのようなデバイス及び/又は技法は、デプスカメラ又は他の距離推定デバイス若しくは技法に加えて、又は代わりに利用することができる。
【0018】
加えて、又は代わりに、距離は、ユーザが身につけているデバイスに基づいて測定しても良い。いくつかのデバイスは、距離を推定するために利用できる、比較的正確な位置情報サービス(例えば、グローバスポジショニングサテライト(GPS)デバイス)を提供することができる。加えて、又は代わりに、ユーザのスマートフォン又はウェアラブルデバイスによって発せられる無線信号の信号強度に基づいて、距離を推定することができる。例えば、近距離無線通信(NFC)は、比較的近い範囲の信号であり、ブルートゥース(登録商標)は中間の範囲の信号であり、電気電子技術者協会(IEEE)の802.11規格(例えば、Wi-Fi)に基づくワイヤレスローカルエリアネットワーク(WLAN)製品は、比較的長い距離の信号であり得る。三角測量技法は、ユーザのデイバスから発せられる無線信号から正確な十分な距離の推定をもたらすためにさらに正確さを提供することができる。これらの技法は、デプスカメラ又は他の距離推定デバイス若しくは技法に加えて、又は代わりに活用することができる。本明細書の利益を前提とすると、適切な距離推定器に関する多数の他の実施形態を、当業者は思いつくだろう。
【0019】
本インタラクションモード選択装置20の上述の距離推定器21、インタラクション選択器22、モード・距離相関器23、インタラクションインジケータ24、及び他のコンポーネントのそれぞれのハードウェア、ソフトウェア又はそれらの組み合わせにおいて実装することができる。例えば、ハードウェア実装は、例えば、PLA、FPGA、CPLDなどの構成可能なロジック、又は例えば、ASIC、CMOS、又はTTL技術などの回路技術を使った固定機能ロジックハードウェア、又はそれらの組み合わせを含んでも良い。代わりに、又は加えて、これらのコンポーネントは、RAM、ROM、PROM、ファームウェア、フラッシュメモリなどのマシン又はコンピュータ読取可能記憶媒体に記憶され、プロセッサ又はコンピューティングデバイスによって実行される、論理命令の組として、1つ以上のモジュールに実装することができる。例えば、コンポーネントの動作を実行するコンピュータプログラムコードは、JAVA、SMALLTALK、C++、C#などのオブジェクト指向プログラミング言語及び「C」プログラミング言語又は同様のプログラミング言語などの従来からの手続型のプログラミング言語を含む1つ以上のオペレーティングシステムに適用可能な/適切なプログラミング言語の任意の組み合わせで書かれても良い。
【0020】
ここから図3Aから図3Cを参照して、インタラクションモードを選択する方法30のブロック31において、ユーザとユーザ・マシンインタフェースの一部との間の距離を推定することと、ブロック32において推定された距離に基づいて2つ以上の使用可能なインタラクションモードから1つ以上のアクティブなインタラクションモードを選択することを含んでも良い。例えば、ブロック33において、ユーザとユーザ・マシンインタフェースの一部との間の距離を推定することは、デプスセンサ、3Dカメラ、2Dカメラ、カメラアレイ、マイクロフォンアレイ、ワイヤレスアクセスポイントアレイ、ビーコンセンサ、近接センサ、又は超音波センサのうちの1つ以上からのデータに基づいて推定された距離を決定することを含んでも良い。例えば、ブロック34において、2つ以上の使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの2つ以上を含んでも良い。
【0021】
方法30のいくつかのブロック35において、ユーザとユーザ・マシンインタフェースとの間の推定された距離と、推定された距離において効果的に使用可能なインタラクションモードとを相関させることをさらに含んでも良い。例えば、ブロック36で、方法30は、有効にされるインタラクションモードのテーブルを推定された距離の値で参照されるテーブルエントリと一緒に記憶することも含んでも良い。ブロック37で、方法30は、有効にされるデバイス、センサ、モジュール、アプリケーション、又はインタラクションモード特性のうちの1つ以上のテーブルを推定された距離によって参照されるテーブルエントリと一緒に記憶することを含んでも良い。方法30のいくつかのブロック38で、選択された1つ以上のアクティブなインタラクションモードをユーザに示すことをさらに含んでも良い。
【0022】
方法30の例えば、本明細書で説明されるような、ユーザ・マシンインタラクションシステム又はインタラクションモード選択装置において、実装することができる。より具体的には、方法30のハードウェア実装は、例えば、PLA、FPGA、CPLDなどの構成可能なロジック、又は例えば、ASIC、CMOS、又はTTL技術などの回路技術を使用した固定機能ロジックハードウェア、又はそれらの組み合わせを含んでも良い。代わりに、又は加えて、方法30は、プロセッサ又はコンピューティングデバイスによって実行されるように、RAM、ROM、PROM、ファームウェア、フラッシュメモリなどのマシン又はコンピュータ読取可能記憶媒体に記憶される論理命令の組として、1つ以上のモジュールに実装しても良い。例えば、コンポーネントの動作を実行するコンピュータプログラムコードは、JAVA、SMALLTALK、C++、C#などのオブジェクト指向プログラミング言語及び「C」プログラミング言語又は同様のプログラミング言語などの従来からの手続型のプログラミング言語を含む1つ以上のオペレーティングシステムに適用可能な/適切なプログラミング言語の任意の組み合わせで書かれても良い。例えば、方法30は、以下の例18から例24に関連して説明されるコンピュータ読取可能媒体上に実装されても良い。
【0023】
これから図4Aから図4Cを参照すると、ユーザ・マシンインタラクションシステム40のユーザインタフェースのディスプレイスクリーン42に機械的に接続されたデプスセンシングカメラ41を含んでも良い。カメラ41とディスプレイ42は、ユーザインタフェースホスト43(例えば、コンピューティングデバイス)に通信可能に接続されても良く、ユーザインタフェースホスト43は、ユーザ44及びディスプレイ42との間の距離を検出し、推定する適切なハードウェア、ファームウェア、及び/又はソフトウェアを有する。ユーザインタフェース43は、ユーザインタラクションモード対距離のテーブル45を記憶しても良い。例えば、テーブル45の各エントリは、距離パラメータ(例えば、最小及び最大デプス)、センサエントリ、及びユーザインタラクション構成ポインタを包含しても良い。
【0024】
いくつかの実施形態によると、デプスセンシングカメラ41は、ユーザインタフェースディスプレイスクリーン42の前でユーザ44を検出し、デプスセンサは、次に、ユーザ44とディスプレイスクリーン42との間の距離を測定し、測定をユーザインタフェースホスト43のインタラクション選択器46に転送しても良い。インタラクション選択器46は、マッチするテーブルエントリを見つけるために、測定された距離をユーザインタラクションモード対距離のテーブル45中の距離パラメータと比較しても良い。インタラクション選択器46は、次に、ユーザインタラクションモードを有効/無効にする(enable/disable)ために、マッチしたテーブルエントリにおける構成情報に基づいて、ユーザインタフェースホスト43のセンサ及び/又はソフトウェアドライバを設定しても良い。
【0025】
例えば、スクリーン42(例えば、図4Aを参照)から半メートル(<0.5)未満の推定距離において、システム40は、音声、タッチ、及び顔解析(例えば、カメラ41がユーザ44の顔バイオメトリックスを効果的に取得することができる)を有効にするか決定することができる(例えば、テーブル45のエントリ1参照)。キーボード、トラックパッド、及びマウスインタラクションも有効にされても良い。ユーザが、スクリーン42(例えば、図4B参照)から1メートルから2メートル(1−2)の間に移動した場合、次に、詳細なアナリティクスに対して顔は遠すぎるかも知れず、ユーザ44は、スクリーンにタッチするには遠すぎ、及び/又はユーザ44は、効果的な音声制御に対してマイクロフォンから遠すぎるかも知れない(キーボード、トラックパッド、及びマウスインタラクションもその距離の範囲では、非効果的であり得る)。システム40は、その結果、手レベルジェスチャ制御が有効にされること(例えば、テーブル45のエントリ3)を決定しても良い。ジェスチャ・制御カーソルインタラクションを介してユーザがインタフェースとインタラクトできることを示す手のアイコン47などのインタラクションインジケータ(図示せず)は、ビジュアル表示をディスプレイ42上に示すようにしても良い。0.5メートルと1メートルとの間(0.5−1)は、指レベルジェスチャ解像度に対して十分に近く、すべての5本の指がコマンドを発行し、又はインタフェースとインタラクトできる解像度であるように、赤・緑・青(RGB)カメラは、有効にされる(例えば、テーブル45のエントリ2参照)。
【0026】
有利なことに、いくつかのコンピュータビジョンベースユーザインタラクションシステムを含み、ユーザとユーザインタフェースのディスプレイスクリーン(又はシステムの別の部分)との間の推定された又は測定された距離に基づいて、ユーザがユーザインタフェースとインタラクトするためのモードは変化しても良い。例えば、いくつかのユーザインタフェースディスプレイスクリーンに接続された、ユーザフェーシングデプスセンシングカメラ(例えば、デプス測定能力を持つインテル REALSENSEカメラ)を含んでも良い。デプスカメラは、ユーザとカメラとの間の距離を測定し、ユーザとユーザインタフェースディスプレイスクリーンとの間の距離を推定するためにそのデータを使用することができる。測定した距離に基づいて、システムは、有効にするセンサのサブセット及びユーザインタフェースとインタフェースするモードを決定することができる。いくつかの実施形態において、ユーザインタフェースとインタラクトするモードがユーザインタフェースのグラフィカルコンテンツのサブセットを変更するとき、ディスプレイスクリーンは、有利に、彼又は彼女がユーザインタフェースといかにインタラクトできるかについてユーザに情報を提供し又はガイドすることを有利に変更することもできる。
【0027】
従来のシステムと比較して、ユーザがユーザインタフェースとインタラクトするのに必要な有効なセンサ及び/又はソフトウェアモジュールの組を改良又は最適化することができ、一方、ユーザインタラクションと干渉する可能性がある他のものを無効にする。例えば、ユーザがディスプレイスクリーンから1・5メートルを超えて離れているとき、デプスセンシングカメラは、ユーザが手のジェスチャを使用してディスプレイスクリーン上でカーソルを制御できるようにカーソルモードに構成されても良く、一方、タッチスクリーンインタフェース及び顔認識、凝視、ジェンダー、年齢層、肌の色合い、メガネをかけている人、顔の表情及び感情検知のような顔アナリティクスは、ユーザがスクリーンにタッチできず、及び人の顔の特徴の正確なアセスメントを提供するカメラセンサから最適な又は効果的な距離にいないので、無効にされても良い(例えば、RGBビデオストリームは、一時的に無効にされても良い)。ユーザがディスプレイスクリーンから半(0.5)メートル未満の場合、ユーザがタッチを使用してディスプレイスクリーンとインタラクトすることができるようカーソルモードは、無効にされ、一方、顔アナリティクスは、また有効にしても良い(RGBビデオストリームが再び有効にされる)。デプスカメラのIR放射出力は、ユーザに対するIRの眩しさを減少するために削減されても良い。
【0028】
ユーザインタフェースとインタラクトするいくつかのモードは、近い距離でより効果的であり得(例えば、タッチ、音声制御、及び顔アナリティクス)、一方、その他のモードは、中距離(例えば、ジェスチャ)又はより遠い距離(例えば、手又は体の一部のカーソル及び体解析)で、より良く働くことができる。より遠い距離では、例えば、手カーソル制御を、一般に利用することができる。しかし、他の体の部分(例えば、頭又は胴)又は誰かが手に持っているオブジェクト(例えば、ワンド)が加えて、又は代わりにカーソル制御に関して使用されても良い。
【0029】
いくつかの実施形態にしたがうと、ユーザ・マシンインタラクションシステムは、有利なことに、ユーザインタフェース(例えば、ディスプレイスクリーン)からのそれらの相対距離に基づいてユーザインタフェースとインタラクトする最も適切なモードの使用をユーザに可能とする。例えば、仮想試着室鏡ディスプレイシステム(virtual fitting room mirror display system)は、体解析を実行し、彼/彼女が、仮想試着セッションの間に鏡ディスプレイから1.5メートル以上離れていると推定されたとき、鏡ディスプレイスクリーン上で制御するための手カーソルの使用をユーザに可能とする。体解析は、体の部分上でサイズ測定するような体の測定を含んでも良い(例えば、身長、体形、体のサイズ、各体の部分の相対的位置とサイズ)。そのような測定は、ドレス、シャツ、パンツ、靴、手袋、メガネ、マスク、帽子、宝石などの拡張現実仮想衣服試着に対して利用することができる。
【0030】
体解析は、いくつかの体の部分及びこれらのインタラクション(例えば、手、肘、肩、頭、足、胴など)の位置、動き、及び向きを取得すること、及びアクションを実行し、アクションを起動するためにこれらの情報を使用することを含んでも良い。ゲームシステムに関して、例えば、体の部分の組を動かすと、アバター又は仮想のキャラクタがいくつかの体の動きにしたがってダンスする。人がハンドルを握り、ハンドルを回転されるように2つの手を回転することは、仮想の車又は仮想のオブジェクトの方向を変えることができる。体解析は、また人のポーズ(例えば、立っている、座っている、しゃがんでいる、体を曲げている、手を上げている、足も一緒に、片足で立っているなど)又は人の体の向き(例えば、人が向いている向き)を決定することを含んでも良い。
【0031】
仮想試着セッションをユーザが終えたとき、彼/彼女は、購入又は他のオプションのために鏡ディスプレイに近づくことができる。ユーザが、ディスプレイから0.5メートル未満にいると推定されたとき、タッチ、音声制御及び顔アナリティクスを用いてディスプレイとインタラクトすることをユーザに可能にするために、体の測定とカーソルモードは無効にされるかも知れない。いくつかの実施形態において、システムが、タッチ/音声制御モードにあるとき、鏡ディスプレイのグラフィカルコンテンツは、変更され得る(例えば、アクティブなタイルは、マイクロフォンが有効になっていることを見せるように)。
【0032】
いくつかの実施形態において、例えば、センサエントリは、有効/無効にされるセンサに関する情報を包含しても良い(例えば、近接センサ、デプスセンサ、カメラセンサ、マイクロフォンなど)。いくつかの実施形態において、ユーザインタラクションモードを無効にすることは、必ずしもセンサ又はソフトウェアモジュールを無効にすることなく、インタラクションモードを含むセンサデータを単に無視する又はバイパスすることを含んでも良い。センサは、ときどき他の通信又は他のセンサとインタフェースしないように無効にされる。例えば、ユーザがマイクロフォンに十分に近いとき、次に、背景ノイズ(例えば、誤った伝達)のようなストレイサウンドを拾わないように、マイクロフォンはオフにされても良い。加えて、又は代えて、センサの動作特性又は関連するセンサのファームウェア及び/又はソフトウェアの処理は、修正することができる。例えば、ユーザがインタフェースからさらに離れるに連れて、効果的な音声インタラクションを維持するために、環境がノイズフリーでなければ、マイクロフォンのゲインは、増加されても良い。別の例は、ノイズフィルタリングアルゴリズムは、ユーザがインタフェースからもっと遠くに離れているときに利用され、ユーザがインタフェースにより近いときにスキップされるか又は利用されなくても良い。別の例は、ユーザがスクリーンに近づいている場合、注意をそらす光を避けるために、IRレーザ放射センサ出力は、低下されても良い。
【0033】
いくつかの実施形態において、ユーザインタラクションモードを有効にする/無効にするために必要な追加の情報を包含するファイル又はデータ構造を指し示すポインタを包含することができるユーザインタラクション構成ポインタエントリを、テーブル45は含んでも良い。いくつかの実施形態において、ユーザインタラクションモードを有効にする/無効にすることは、ユーザインタラクションモードを活性化する/非活性化するために特定の動作を実行する/スキップするために、1つ以上のドライバ又はソフトウェアモジュールを起動することを含んでも良い。例えば、ソフトウェアモジュール、アプリケーション、又はアルゴリズムは、距離に基づいて有効化され/無効化され又は変更され得る(例えば、顔検知対顔アナリティクス、指解像度対手解像度)。有利なことに、効果的なそのようなインタラクションに対するインタフェースからユーザが非常に離れているために、複雑なユーザインタフェースが無効化された場合、計算の複雑さ及びエラー率は、両方とも減少し得る。
【0034】
いくつかの実施形態において、テーブル45は、インタラクションモード間で過剰にディザリング(dithering)しないように、オーバーラップする距離の範囲を含んでも良い(例えば、0〜0.7m、0.6m〜1.2m、1.1m〜2m)。例えば、推定される距離が、特定の範囲内にとどまる限り、インタラクションモードは、同じままであり、インタラクションモードがスイッチする前に、ユーザは、別の範囲に入るように十分遠くに動かなければならない。加えて、又は代わりに、タイマは、インタラクションモード間の過剰なディザリングを避けるために利用されても良い。
【0035】
テーブル45は、特定のシステム(例えば、キオスク)のためにロックされても良いし、又は構成可能でも良い。ユーザは、テーブル中のプリファレンスを編集することができても良く(例えば、セッティングインタフェースを通してユーザが選択可能な距離及び/又はインタラクションモードを示す)又は構成は、ファームウェア中に固定しても良い(例えば、システムプロバイダによってのみ更新できる)。別個のテーブルが異なるユーザに対して提供されても良い。ユーザは、デバイス及び/又はインタラクションモードを登録することができても良い(例えば、スマートフォン又はヘッドセットを追加する)。例えば、ユーザが近い場合は、システムマイクロフォンは、音声コマンドに関して有効にされても良い。ユーザがさらに遠くに移動した場合、音声コマンドに関してヘッドセット又はスマートフォンのマイクロフォンに対して通信が確立されても良い(例えば、ユーザの許可によるブルートゥース接続)。
【0036】
例えば、スマートフォンなどのユーザのデバイスは、追加のインタフェースインタラクションを提供するか、又はフィードバックをユーザに提供するために利用されても良い。例えば、システムは、ジェスチャコマンドがうまく受信されたときに、ヘッドセット又はスマートフォンにビープ音を鳴らすようにしても良い。加えて、又は代わりに、スマートフォンがハプティックフィードバックデバイス(例えば、振動)を含む場合、システムは、スマートフォンがユーザにハプティックフィードバックを与えるようにしても良い。システムが、マシンビジョン、オブジェクト認識、及び/又はオブジェクト検出能力を含む場合は,システムは、検出した利用できるデバイスに基づいて、インタラクションのテーブル又はモードを自動的に調整しても良い。例えば、システムは、ヘッドセット又はスマートフォンが近くのテーブル上にあり、その結果、ユーザと一緒になく、追加の音声インタラクション又はフィードバックに対して使用可能ではないことを検出しても良い。
【0037】
いくつかの実施形態において、ユーザは、システムによって特定され、又は認識されても良い。システムは、次にユーザを追跡し、他に介在するユーザ又はオブジェクトからのインタラクションを拒否しても良い。加えて、又は代えて、いくつかのマルチ・ユーザインタラクションをサポートしても良い。個別の距離推定は、対応するインタラクションモードによって各ユーザに対して行っても良い。個別のモード・距離テーブルは、ユーザに対して利用可能なデバイスに依存して、各ユーザに対して利用されても良い。例えば、より遠くのユーザがヘッドセットを身に着け、次に、音声インタラクションは、そのユーザに対して有効なままでも良く、一方、より近くのユーザが顔バイオメトリックスに対して有効な適切なセンサを有しても良い。
【0038】
補注及び例
例1は、ユーザ・マシンインタラクションシステムを含み、ユーザ・マシンインタラクションシステムは、1つ以上の出力デバイス及び1つ以上の入力デバイスを含み、1つ以上の出力デバイスは、ディスプレイ、スピーカー、又はハプティックフィードバックデバイスのうちの1つ以上を含み、1つ以上の入力デバイスは、キーボード、マウス、タッチ入力デバイス、マイクロフォン、又はカメラのうちの1つ以上を含む、ユーザ・マシンインタフェースと、マシンインタフェースに通信可能に接続され、ディスプレイ、スピーカー、又はハプティックフィードバックデバイスのうちの1つ以上の出力を制御し、ユーザとマシンインタフェースとの間の使用可能なインタラクションモードを制御するユーザインタフェースコントローラであって、使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの2つ以上を含む、ユーザインタフェースコントローラと、マシンインタフェースに通信可能に接続され、ユーザとマシンインタフェースの選択された部分との間の距離を推定するための距離推定器と、距離推定器とユーザインタフェースコントローラに通信可能に接続され、推定された距離に基づいて使用可能なインタラクションモードから1つ以上のアクティブなインタラクションモードを選択するためのインタラクション選択器とを含む。
【0039】
例2は、例1のユーザ・マシンインタラクションシステムを含んでも良く、インタラクション選択器に通信可能に接続されたインタラクションモードインジケータと、選択された1つ以上のアクティブなインタラクションモードをユーザに示すためのユーザインタフェースコントローラと、をさらに含む。
【0040】
例3は、例2のユーザ・マシンインタラクションシステムを含んでも良く、ユーザインタフェースコントローラは、選択された1つ以上のアクティブなインタラクションモードを示すために、ディスプレイ上のビジュアルフィードバック、スピーカーへのオーディオフィードバック、又はハプティックフィードバックデバイスへの触知性フィードバックのうちの1つ以上をさらに提供する。
【0041】
例4は、インタラクションモード選択装置を含んでも良く、ユーザとユーザ・マシンインタフェースの一部との間の距離を推定するための距離推定器と、距離推定器に通信可能に接続され、推定された距離に基づいて2つ以上の使用可能なインタラクションモードから1つ以上のアクティブなインタラクションモードを選択するためのインタラクション選択器と、を備える。
【0042】
例5は、例4のインタラクションモード選択装置を含んでも良く、距離推定器は、デプスセンサ、3次元カメラ、2次元カメラ、カメラアレイ、マイクロフォンアレイ、ワイヤレスアクセスポイントアレイ、ビーコンセンサ、近接センサ、又は超音波センサのうちの1つ以上を含む。
【0043】
例6は、例4から例5のいずれかのインタラクションモード選択装置を含んでも良く、2つ以上の使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの2つ以上を含む。
【0044】
例7は、例4から例6のいずれかのインタラクションモード選択装置を含んでも良く、インタラクション選択器に通信可能に接続され、ユーザとユーザ・マシンインタフェースの一部との間の推定された距離と、推定された距離における効果的に使用可能なインタラクションモードとの間の相関を記憶する、モード・距離相関器をさらに備える。
【0045】
例8は、例7のインタラクションモード選択装置を含んでも良く、モード・距離相関器は、有効にされるインタラクションモードのテーブルを、推定された距離の値によって参照されるテーブルエントリと一緒に含む。
【0046】
例9は、例7か例8のいずれかのインタラクションモード選択装置を含んでも良く、モード・距離相関器は、有効にされる、デバイス、センサ、モジュール、アプリケーション、又はインタラクションモード特性のうちの1つ以上のテーブルを、推定された距離の値によって参照されるテーブルエントリと一緒に含む。
【0047】
例10は、例4から例9のいずれかのインタラクションモード選択装置を含んでも良く、選択された1つ以上のアクティブなインタラクションモードをユーザに示すためのインタラクションインジケータをさらに備える。
【0048】
例11は、インタラクションモードを選択する方法を含んでも良く、ユーザとユーザ・マシンインタフェースの一部との間の距離を推定することと、推定された距離に基づいて2つ以上の使用可能なインタラクションモードから1つ以上のアクティブなインタラクションモードを選択することと、を含む。
【0049】
例12は、例11のインタラクションモードを選択する方法を含んでも良く、ユーザとユーザ・マシンインタフェースの一部との間の距離を推定することは、デプスセンサ、3次元カメラ、2次元カメラ、カメラアレイ、マイクロフォンアレイ、ワイヤレスアクセスポイントアレイ、ビーコンセンサ、近接センサ、又は超音波センサのうちの1つ以上からのデータに基づいて推定された距離を決定することを含む。
【0050】
例13は、例11から例12のいずれかのインタラクションモードを選択する方法を含んでも良く、2つ以上の使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの2つ以上を含む。
【0051】
例14は、例11から例13のいずれかのインタラクションモードを選択する方法を含んでも良く、ユーザとユーザ・マシンインタフェースの一部との間の推定された距離を、推定された距離で効果的に使用可能なインタラクションモードと相関させることをさらに含む。
【0052】
例15は、例14のインタラクションモードを選択する方法を含んでも良く、有効にされるインタラクションモードのテーブルを、推定された距離の値によって参照されるテーブルエントリと一緒に記憶することをさらに含む。
【0053】
例16は、例14から例15のいずれかのインタラクションモードを選択する方法を含んでも良く、有効にされる、デバイス、センサ、モジュール、アプリケーション、又はインタラクションモード特性のうちの1つ以上のテーブルを、推定された距離の値によって参照されるテーブルエントリと一緒に記憶することをさらに含む。
【0054】
例17は、例11から例16のいずれかのインタラクションモードを選択する方法を含んでも良く、選択された1つ以上のアクティブなインタラクションモードをユーザに示すことをさらに含む。
【0055】
例18は、少なくとも1つのコンピュータ読取可能媒体を含んでも良く、コンピューティングデバイスによって実行されたときに、コンピューティングデバイスに、ユーザとユーザ・マシンインタフェースの一部との距離を推定し、推定された距離に基づいて2つ以上の使用可能なインタラクションモードから1つ以上のアクティブなインタラクションモードを選択するようにさせる命令の組を含む。
【0056】
例19は、例18の少なくとも1つのコンピュータ読取可能媒体を含んでも良く、コンピューティングデバイスによって実行されたときに、コンピューティングデバイスに、
デプスセンサ、3次元カメラ、2次元カメラ、カメラアレイ、マイクロフォンアレイ、ワイヤレスアクセスポイントアレイ、ビーコンセンサ、近接センサ、又は超音波センサのうちの1つ以上からのデータに基づいて推定された距離を決定する命令の組をさらに含む。
【0057】
例20は、例18から例19のいずれかの少なくとも1つのコンピュータ読取可能媒体を含んでも良く、2つ以上の使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの2つ以上を含む。
【0058】
例21は、例18から例20のいずれかの少なくとも1つのコンピュータ読取可能媒体を含んでも良く、コンピューティングデバイスによって実行されたときに、コンピューティングデバイスに、ユーザとユーザ・マシンインタフェースの一部との間の推定された距離を、推定された距離における効果的に使用可能なインタラクションモードと相関させる命令の組をさらに含む。
【0059】
例22は、例21の少なくとも1つのコンピュータ読取可能媒体を含んでも良く、コンピューティングデバイスによって実行されたときに、コンピューティングデバイスに、有効にされるインタラクションモードのテーブルを、推定された距離の値によって参照されるテーブルエントリと一緒に記憶させる命令の組をさらに含む。
【0060】
例23は、例21から例22のいずれかの少なくとも1つのコンピュータ読取可能媒体を含んでも良く、コンピューティングデバイスによって実行されたときに、コンピューティングデバイスに、有効にされる、デバイス、センサ、モジュール、アプリケーション、又はインタラクションモード特性のうちの1つ以上のテーブルを、推定される距離の値によって参照されるテーブルエントリと一緒に記憶させる命令の組をさらに含む。
【0061】
例24は、例18から例23のいずれかの少なくとも1つのコンピュータ読取可能媒体を含んでも良く、コンピューティングデバイスによって実行されたときに、コンピューティングデバイスに選択された1つ以上のアクティブなインタラクションモードをユーザに示させる命令の組をさらに含む。
【0062】
例25は、インタラクションモード選択装置を含んでも良く、ユーザとユーザ・マシンインタフェースの一部との間の距離を推定する手段と、推定された距離に基づいて2つ以上の使用可能なインタラクションモードから1つ以上のアクティブなインタラクションモードを選択する手段と、を含む。
【0063】
例26は、例25のインタラクションモード選択装置を含んでも良く、ユーザとユーザ・マシンインタフェースの一部との間の距離を推定する手段は、デプスセンサ、3次元カメラ、2次元カメラ、カメラアレイ、マイクロフォンアレイ、ワイヤレスアクセスポイントアレイ、ビーコンセンサ、近接センサ、又は超音波センサのうちの1つ以上からのデータに基づいて推定された距離を決定する手段を含む。
【0064】
例27は、例25から例26のいずれかのインタラクションモード選択装置を含んでも良く、2つ以上の使用可能なインタラクションモードは、キーボードインタラクションモード、マウスインタラクションモード、タッチインタラクションモード、音声インタラクションモード、ジェスチャインタラクションモード、体の一部のカーソルインタラクションモード、体解析インタラクションモード、又は顔解析インタラクションモードのうちの2つ以上を含む。
【0065】
例28は、例25から例27のいずれかのインタラクションモード選択装置を含んでも良く、ユーザとユーザ・マシンインタフェースの一部との間の推定された距離と、推定された距離における効果的に使用可能なインタラクションモードとを相関させる手段をさらに備える。
【0066】
例29は、例28のインタラクションモード選択装置を含んでも良く、有効にされるインタラクションモードのテーブルを、推定される距離の値によって参照されるテーブルエントリと一緒に記憶する手段をさらに備える。
【0067】
例30は、例28から例29のいずれかのインタラクションモード選択装置を含んでも良く、有効にされる、デバイス、センサ、モジュール、アプリケーション、又はインタラクションモード特性のうちの1つ以上のテーブルを、推定された距離の値によって参照されるテーブルエントリと一緒に記憶する手段をさらに含む。
【0068】
例31は、例25から例30のいずれかのインタラクションモード選択装置を含んでも良く、選択された1つ以上のアクティブなインタラクションモードをユーザに示すための手段をさらに備える。
【0069】
半導体集積回路(「IC」)チップのすべてのタイプと一緒に使用するのに適している。これらのICチップの例は、制限されず、プロセッサ、コントローラ、チップセットコンポーネント、PLA、メモリチップ、ネットワークチップ、システムオンチップ(SoC)、SSD/NANDコントローラ、ASICなどを含む。加えて、図面のいくつかには、信号伝導体線は、線で表現されている。より構成を表す信号経路を示すため、数字のラベルを持つ多くの構成する信号経路を示すため、及び/又は1端以上で矢印を持つ主要な情報の流れの向きを示すために、いくつかは異なっても良い。これは、しかしながら、制限的な方法で解釈すべきではない。むしろ、そのような追加された詳細は、回路をより容易に理解することを手助けする1つ以上の典型的な実施形態と関連して使用されても良い。付加的な情報を有するか否かを問わず、任意の表現された信号線は、実際には多方向に進むことができる1つ以上の信号を含むことができ、例えば、差動対、オプティカルファイバー線、及び/又はシングルエンド線で実装されたデジタル線又はアナログ線などの任意の適切な種類の信号方式で実装することができる。
【0070】
同じものに限定されないが、例となるサイズ/モデル/値/範囲が、与えられても良い。製造する技法(例えば、フォトリソグラフィ)が時間と共に成熟するにつれて、より小さいサイズのデバイスが製造できることが予想される。さらに、説明及び検討の容易さのため、及び実施形態の特定の態様を分かりにくくしないように、ICチップ及び他のコンポーネントへの周知の電源/グラウンド接続は、図内に示されている場合もあるし示されていない場合も有り得る。さらに、実施形態を曖昧にすることを回避するために、またそのようなブロック図配置の実施に関する詳細が実施形態が実施されるプラットフォームに大きく依存するという事実を考慮して、構成をブロック図形式で示すことができ、すなわち、そのような詳細は当業者の知識の範囲内であるべきである。例となる実施形態を説明するために特定の詳細(例えば、回路)が説明されたが、これらの特定の詳細の変形なく、又は変形して、実施形態を実施できることは、当業者にとって明らかであろう。説明は、故に、限定的ではなく、例示的とみなされるべきである。
【0071】
用語、「接続された(coupled)」は、問題になっているコンポーネント間での任意の種類の関係、直接又は間接を指すために本明細書で使用されて良く、電気的な、機械的な、流動的な、光学的な、電磁気的な、電気機械的な、又は他の接続に適用することができる。加えて、用語「第1の(first)」、「第2の(second)」などは、本明細書で検討を容易にするためにのみに使用され得、特段の指示が無い限り、時間的な又は年代順の重要性を伝えない。
【0072】
本明細書及び請求項において使用されるように、用語「1つ以上の(one or more of)」と一緒に使用される項目のリストは、リストされた用語の任意の組み合わせを意味しても良い。例えば、表現「A、B、又はCのうちの1つ以上」は、A;B;C;A及びB;A及びC;B及びC;又はA、B及びCを意味しても良い。本明細書及び請求項において使用されるように、用語「2つ以上の(two or more of)」と一緒に使用される項目のリストは、リストされた項目の2つ以上の任意の組み合わせを意味しても良い。例えば、表現「A、B又はCのうちの2つ以上」は、A及びB;A及びC;B及びC;又はA、B及びCを意味しても良い。
【0073】
当業者であれば上述の説明から、実施形態の広い技法が様々な形式で実装できることを理解する。したがって、その特定の例に関連して説明してきたが、図面、明細書及び添付の請求項を検討すれば他の変更も当業者にとって明らかになるので、実施形態の正確な範囲は、そのように制限されるべきではない。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図4C】
【国際調査報告】

[広告欄]

ログインすれば広告は減ります

ログインすれば広告は減ります