特許 7148014 制御システム、ジェスチャ認識システム、車両、及び、ジェスチャ認識システムを制御する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-27

(45)【発行日】2022-10-05

(54)【発明の名称】制御システム、ジェスチャ認識システム、車両、及び、ジェスチャ認識システムを制御する方法

(51)【国際特許分類】

   B60R 16/02 20060101AFI20220928BHJP

   B60R 11/04 20060101ALI20220928BHJP

   G06F 3/01 20060101ALI20220928BHJP

   G06F 3/0346 20130101ALI20220928BHJP

【ＦＩ】

B60R16/02 630Z

B60R11/04

G06F3/01 560

G06F3/01 570

G06F3/0346 421

【請求項の数】 19

(21)【出願番号】P 2022500773

(86)(22)【出願日】2021-05-21

(86)【国際出願番号】 JP2021019470

(87)【国際公開番号】W WO2022018953

(87)【国際公開日】2022-01-27

【審査請求日】2022-01-06

(31)【優先権主張番号】2011430.2

(32)【優先日】2020-07-23

(33)【優先権主張国・地域又は機関】GB

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】110000486

【氏名又は名称】とこしえ特許業務法人

(72)【発明者】

【氏名】ホランド クリスチャン マイケル

【審査官】上谷 公治

(56)【参考文献】

【文献】特開２０１５－１３３１０９（ＪＰ，Ａ）

【文献】特開２０１５－１２５７８０（ＪＰ，Ａ）

【文献】特開２０１８－０２２３１８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｒ １６／０２

Ｂ６０Ｒ １１／０４

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３４６

(57)【特許請求の範囲】

【請求項1】

車両のジェスチャ認識システムの制御システムであって、
前記ジェスチャ認識システムは、
前記車両の室内の空間容積を観測し、前記空間容積の内部の車両乗員のボディパーツの位置を特定し、前記空間容積の内部に画定されたジェスチャ認識領域内で前記ボディパーツによって実行されるジェスチャを特定するセンサシステムと、
前記車両乗員に向けて非接触の触覚フィードバックを出力する触覚フィードバックシステムとを備え、
前記制御システムは、１つ以上の制御装置を備え、
前記制御装置は、
前記センサシステムから、前記空間容積の内部の前記ボディパーツの前記位置を示す情報を含む検出信号を受信し、
前記検出信号に応じて、前記ジェスチャ認識領域に対する前記ボディパーツの位置を特定し、
前記ジェスチャ認識領域に対する前記ボディパーツの前記位置に基づいて触覚フィードバック信号を特定し、
前記触覚フィードバック信号を前記触覚フィードバックシステムに出力するように構成され、
前記触覚フィードバック信号は、前記触覚フィードバックシステムに、前記車両乗員に向けて、ジェスチャ認識領域に対する前記ボディパーツの位置を示す前記非接触の触覚フィードバックを出力させるように構成される、制御システム。

【請求項2】

前記１つ以上の制御装置は、
前記空間容積の内部の前記ボディパーツの位置、前記空間容積の内部の前記ジェスチャ認識領域の位置、前記ボディパーツの位置に対する前記ジェスチャ認識領域の方向、前記ボディパーツの前記ジェスチャ認識領域への近接度、及び、第１の軸に沿った前記ボディパーツと前記ジェスチャ認識領域との間の距離のうちの少なくとも１つを特定することによって、前記ジェスチャ認識領域に対する前記ボディパーツの位置を特定するように構成される、請求項１に記載の制御システム。

【請求項3】

前記触覚フィードバック信号は、前記触覚フィードバックシステムに、前記車両の室内の領域に向けて、前記触覚フィードバックを出力させるように構成され、
前記１つ以上の制御装置は、前記触覚フィードバックの大きさ、前記室内において前記触覚フィードバックの領域が方向付けられる位置、及び、前記触覚フィードバックの領域の大きさのうちの少なくとも１つを特定することによって、前記触覚フィードバック信号を特定するように構成される、請求項２に記載の制御システム。

【請求項4】

前記１つ以上の制御装置は、前記ボディパーツの前記ジェスチャ認識領域への近接度に基づいて、前記触覚フィードバックの大きさ、及び、前記触覚フィードバックの領域の大きさのうちの少なくとも１つを特定するように構成される、請求項３に記載の制御システム。

【請求項5】

前記１つ以上の制御装置は、前記第１の軸に沿った前記ボディパーツと前記ジェスチャ認識領域との間の距離に基づいて、前記触覚フィードバックの大きさ、及び、前記触覚フィードバックの領域の大きさのうちの少なくとも１つを特定するように構成される、請求項３又は４に記載の制御システム。

【請求項6】

前記１つ以上の制御装置は、前記空間容積の内部の前記ボディパーツの位置、及び、前記ボディパーツの位置に対するジェスチャ認識領域の方向に基づいて、前記室内において前記触覚フィードバックの領域が方向付けられる位置を特定するように構成される、請求項３～５のいずれかに記載の制御システム。

【請求項7】

前記１つ以上の制御装置は、
前記ボディパーツの基準点を検出して、前記検出信号に基づいて、前記空間容積の内部の前記基準点の位置を特定し、
前記基準点の位置を前記ジェスチャ認識領域内の目標位置と比較し、
前記目標位置と前記基準点の位置との間のベクトルを特定することによって、前記ジェスチャ認識領域に対する前記ボディパーツの位置を特定するように構成される、請求項２～６のいずれか一項に記載の制御システム。

【請求項8】

前記１つ以上の制御装置は、
前記ボディパーツの基準点を検出して、前記検出信号に基づいて、前記空間容積の内部の前記基準点の位置を特定し、
前記基準点の位置を前記ジェスチャ認識領域内の目標位置と比較し、
前記目標位置と前記基準点の位置との間のベクトルを特定することによって、前記ジェスチャ認識領域に対する前記ボディパーツの位置を特定し、
前記基準点の位置から前記目標位置の方向にずれた補正点を特定することによって、前記室内において、前記触覚フィードバックの領域が方向付けられる位置を特定するように構成される、請求項６に記載の制御システム。

【請求項9】

前記１つ以上の制御装置は、前記目標位置と前記基準点の位置との間の前記ベクトルをスケーリングし、スケーリングされた前記ベクトルに基づいて前記基準点の位置を移動させることによって、前記基準点の位置から前記目標位置の方向にずれた前記補正点を特定するように構成される、請求項８に記載の制御システム。

【請求項10】

前記検出信号は、前記センサシステムによって特定された画像データを含み、
前記センサシステムは、前記室内の空間容積を観測するように構成され、
前記１つ以上の制御装置は、前記空間容積の内部の前記ボディパーツを検出し、前記空間容積の内部の前記ボディパーツの位置を前記画像データに基づいて特定するように構成される、請求項２～９のいずれか一項に記載の制御システム。

【請求項11】

前記触覚フィードバックシステムは、複数の超音波装置のアレイを含む超音波システムとして形成され、
前記触覚フィードバック信号は、前記触覚フィードバックシステムに、超音波ビームの形態で触覚フィードバックを出力させるように構成される、請求項１～１０のいずれか一項に記載の制御システム。

【請求項12】

車両のためのジェスチャ認識システムであって、前記ジェスチャ認識システムは、
請求項１～１１のいずれか一項に記載の制御システムによって制御され、
１つ以上のセンサを含むセンサシステムであって、前記センサは、前記室内の空間容積を観測し、前記観測された空間容積内の車両乗員のボディパーツの位置を示す情報を含む検出信号を前記制御システムに出力するように構成されるセンサシステムとを備える、ジェスチャ認識システム。

【請求項13】

前記１つ以上のセンサは、ジェスチャ認識領域内で車両乗員のボディパーツによって実行されるジェスチャを示す情報を含むジェスチャ信号を前記制御システムに出力するように構成され、
前記制御システムの前記１つ以上の制御装置は、前記ジェスチャ信号を受信し、前記ジェスチャ信号に応じて前記ボディパーツによって実行されるジェスチャを特定するように構成される、請求項１２に記載のジェスチャ認識システム。

【請求項14】

前記制御システムは、骨格に基づくアルゴリズムを用いて、前記ボディパーツによって実行されるジェスチャを特定するように構成される、請求項１２又は１３に記載のジェスチャ認識システム。

【請求項15】

前記制御システムは、前記特定されたジェスチャに応じて、前記車両の１つ以上の挙動を制御するように構成される、請求項１２～１４のいずれか一項に記載のジェスチャ認識システム。

【請求項16】

前記触覚フィードバック信号に応じて、非接触の触覚フィードバックを出力するように構成された１つ以上の触覚フィードバック装置を含む触覚フィードバックシステムをさらに備える、請求項１２～１５のいずれか一項に記載のジェスチャ認識システム。

【請求項17】

前記１つ以上の触覚フィードバック装置は、複数の超音波トランスデューサのアレイを含む、請求項１６に記載のジェスチャ認識システム。

【請求項18】

請求項１～１１のいずれか一項に記載の制御システム、または、請求項１２～１７のいずれか一項に記載のジェスチャ認識システムを備える車両。

【請求項19】

車両のジェスチャ認識システムを制御する方法であって、
前記ジェスチャ認識システムは、
車両の室内の空間容積を観測するように構成された１つ以上のセンサを備えるセンサシステムと、
室内の車両乗員に向けて非接触の触覚フィードバックを出力するように構成された触覚フィードバックシステムとを備え、
前記方法は、
前記空間容積を観察し、前記空間容積内の前記車両乗員のボディパーツの位置を示す情報を含む検出信号を特定するようにセンサシステムを制御するステップと、
前記検出信号に応じて、前記空間容積の内部に画定されたジェスチャ認識領域に対するボディパーツの位置を特定するステップと、
ジェスチャ認識領域に対するボディパーツの位置に基づいて触覚フィードバック信号を特定するステップと、
触覚フィードバック信号に基づいて触覚フィードバックシステムを制御するステップとを備え、
前記触覚フィードバック信号は、前記触覚フィードバックシステムに、前記ジェスチャ認識領域に対する前記ボディパーツの位置を示す非接触の触覚フィードバックを前記車両乗員に向けて出力させるように構成される、車両のジェスチャ認識システムを制御する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両のジェスチャ認識システムに関する。本発明の態様は、制御システム、ジェスチャ認識システム、車両、及びジェスチャ認識システムを制御する方法に関する。

【背景技術】

【0002】

車両内部の空間容積を観測し、個人の位置及び／又は一連の動きに基づいて、観測された空間容積の内部で実行されるジェスチャを検出するように構成されたジェスチャ認識システムを含む最新の車両が知られている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

多くの場合、このようなジェスチャ認識システムは、認識されたジェスチャ及びジェスチャに対応する制御挙動のデータベースに関連付けられ得る、手、１本以上の指、又は個人の腕など、個人の特定の体の部分（ボディパーツ：body part）を観測するように構成される。

【0004】

検出されたジェスチャが認識可能なジェスチャのうちの１つに対応する場合、ジェスチャ認識システムは、車両の１つ以上の動作を制御するように構成され得る。このジェスチャに基づく制御方法は、運転者が、道路上での視覚的注意を維持しながら、車両の様々な操作を制御することを可能にし、道路の安全性を改善する。

【0005】

既知のジェスチャ認識システムの課題は、特に、照明条件が悪い場合などの準最適条件（最適でない条件）で動作を行う場合であっても、信頼性の高いジェスチャ認識を保証することである。

【課題を解決するための手段】

【0006】

本発明の態様及び実施形態は、添付の特許請求の範囲に記載されるような、制御システム、ジェスチャ認識システム、車両及びジェスチャ認識システムを制御する方法を提供する。

【0007】

本発明の一態様によれば、車両のジェスチャ認識システムの制御システムが提供される。ジェスチャ認識システムは、車両の室内の空間容積を観測し、空間容積の内部の車両乗員のボディパーツの位置を特定し、空間容積の内部に画定されたジェスチャ認識領域内でボディパーツによって実行されるジェスチャを特定するセンサシステムと、車両乗員に向かって非接触の触覚フィードバックを出力する触覚フィードバックシステムとを備える。

【0008】

制御システムは１つ以上の制御装置を備える。制御装置は、センサシステムから、空間容積の内部のボディパーツの位置を示す情報を含む検出信号を受信し、検出信号に応じて、ジェスチャ認識領域に対するボディパーツの位置を特定し、ジェスチャ認識領域に対するボディパーツの位置に基づいて触覚フィードバック信号を特定し、触覚フィードバック信号を触覚フィードバックシステムに出力するように構成される。触覚フィードバック信号は、触覚フィードバックシステムに、ジェスチャ認識領域に対するボディパーツの位置を示す非接触の触覚フィードバックを車両乗員に向けて出力させるように構成される。

【0009】

有利には、触覚フィードバックの出力がジェスチャ認識のために最適化された車両の領域であり得るジェスチャ認識領域に向かって車両乗員を誘導し、この領域内において、ジェスチャ認識システムは、準最適車室内条件（最適でない室内条件）でジェスチャを確実に認識することができる。なお、「室内」とは、車両乗員を収容するために設けられた車両の内部の任意の空間である。

【0010】

さらに、最適なジェスチャ認識のために、ジェスチャ認識領域は、三次元領域、すなわち体積を有する空間（空間容積：volume of space）である。ジェスチャ認識領域は、室内の照明条件、及び／又は、センサシステムの構成に応じる。さらに、ボディパーツは、ジェスチャに基づいた制御を実行するのに適した任意の身体部分であり、これには、車両乗員の指、手、又は腕が含まれる。

【0011】

任意選択で、１つ以上の制御装置は、空間容積内のボディパーツの位置、空間容積の内部のジェスチャ認識領域の位置、ボディパーツの位置に対するジェスチャ認識領域の方向、ジェスチャ認識領域へのボディパーツの近接度、及び第１の軸に沿ったボディパーツとジェスチャ認識領域との間の距離のうちの少なくとも１つを特定することによって、ジェスチャ認識領域に対するボディパーツの位置を特定するように構成される。

【0012】

後述において明らかになるように、第１の軸は、触覚フィードバックを制御するのに適した任意の軸であってもよい。例えば、第１の軸は、触覚フィードバックの出力がジェスチャ認識領域に対するボディパーツの前後方向の位置決めに応じて制御され得るように、車両の前後方向の軸であってもよい。

【0013】

他の例では、第１の軸は、触覚フィードバックシステムと目標位置との間に延在する軸であってもよいし、センサシステムと目標位置との間に延在する軸であってもよい。このようにして、触覚フィードバックの出力は、ボディパーツの動きを、特定の軸に沿ってジェスチャ認識領域に向かって案内するように構成されてもよい。

【0014】

一実施形態では、触覚フィードバック信号は、触覚フィードバックシステムに、室内の領域に向けて触覚フィードバックを出力させるように構成される。

【0015】

任意選択的に、１つ以上の制御装置は、触覚フィードバックの大きさ、室内において触覚フィードバックの領域が方向付けられる位置、及び触覚フィードバックの領域の大きさのうちの少なくとも１つを特定することによって、触覚フィードバック信号を特定するように構成される。

【0016】

任意選択的に、触覚フィードバックの領域は円形領域であり、触覚フィードバックの領域の半径が特定される。有利には、これらの触覚フィードバックパラメータの各々は、ボディパーツに対するジェスチャ認識領域の位置を直感的に示すように構成可能である。

【0017】

一実施形態では、１つ以上の制御装置は、ボディパーツのジェスチャ認識領域への近接度に基づいて、触覚フィードバックの大きさ、及び触覚フィードバックの領域の大きさのうちの少なくとも１つを特定するように構成される。このようにして、大きさ、すなわち触覚フィードバックの力、及び／又は触覚フィードバックの領域の大きさは、例えば、ボディパーツがジェスチャ認識領域に近づくにつれて増加し、ボディパーツがジェスチャ認識領域から離れるにつれて減少してもよく、又はその逆であってもよい。

【0018】

任意選択的に、１つ以上の制御装置は、第１の軸に沿ったボディパーツとジェスチャ認識区域との間の距離に基づいて、触覚フィードバックの大きさ、及び触覚フィードバックの領域の大きさのうちの少なくとも１つを決定するように構成される。このようにして、触覚フィードバックの出力は、ボディパーツの動きを第１の軸に沿って、例えば前後方向にジェスチャ認識領域に向かって案内するように構成されてもよい。

【0019】

一実施形態では、１つ以上の制御装置が、空間容積の内部のボディパーツの位置と、ボディパーツの位置に対するジェスチャ認識領域の方向とに基づいて、室内において触覚フィードバックの領域が方向付けられる位置を特定するように構成されてもよい。
例えば、ジェスチャ認識領域が、指先が（手に対して)延在する方向に配置される場合、触覚フィードバックの領域は、車両乗員の指先に向けられてもよい。

【0020】

任意選択的に、１つ以上の制御装置は、ボディパーツの基準点を検出し、検出信号に基づいて空間容積内の基準点の位置を特定することと、基準点の位置をジェスチャ認識領域内の目標位置と比較することと、目標位置と基準点の位置との間のベクトルを特定することとによって、ジェスチャ認識領域に対するボディパーツの位置を特定するように構成される。このようにして、複数の特異点はジェスチャ認識領域に対するボディパーツの位置を特定するために座標系上で便宜的に比較されてもよく、相対的な位置はそれらの間のベクトルによって表されてもよい。ベクトルは、二点の間を結ぶ直線の距離と、直線が伸びる方向とを示す。ベクトルは、三次元であってもよく、第１の軸に沿った第１の距離と、第２の軸に沿った第２の距離と、第３の軸に沿った第３の距離とを含んでもよい。第２の軸は、ジェスチャ認識領域を通って第１の軸に対して垂直な第１の平面内に延びる。第３の軸は、第１の平面内で第２の軸に対して垂直に延びる。

【0021】

一実施形態では、１つ以上の制御装置が基準点の位置から目標位置の方向にずれた補正点（a point offset from the position of the reference point in the direction of the target position）を特定することによって、室内に置いて触覚フィードバックの領域が方向付けられる位置を特定するように構成されてもよい。例えば、基準点は、車両乗員の掌の中心にあってもよく、補正点は基準点に対して、指又は手首に向かって左向き又は右向きであってもよい。これは、ジェスチャ認識領域の相対的な方向を指し示すのに有効である。

【0022】

任意選択的に、１つ以上の制御装置は目標位置と基準点の位置との間のベクトルをスケーリングし、スケーリングされたベクトルに基づいて基準点の位置を平行移動させることによって、基準点の位置から目標位置の方向にずれた補正点を特定するように構成される。

【0023】

一実施形態では、１つ以上の制御装置は、ベクトルの大きさを特定することによって、基準点の位置に対する目標位置の近接度を特定するように構成される。

【0024】

任意選択的に、１つ以上の制御装置は、触覚フィードバックの大きさ、及び触覚フィードバックの領域の大きさのうちの１つを、基準点の位置に対する目標位置の近接度に基づいて決定するように構成され、１つ以上の制御装置は、第１の軸に沿った目標位置と基準点の位置との間の距離に基づいて、触覚フィードバックの他の大きさ及び触覚フィードバックの領域の大きさを特定するように構成される。

【0025】

一実施形態では、１つ以上の制御装置は、ベクトルに基づいて、第１の軸に沿った基準点の位置と目標位置との間の距離を決定するように構成される。例えば、第１の軸と位置合わせされたベクトルの成分を特定することができる。

【0026】

任意選択的に、検出信号は、センサシステムによって特定される画像データを含む。センサシステムは、室内の空間容積を観測するように配置されてもよく、１つ以上の制御装置は、画像データに基づいて、空間容積内部のボディパーツを検出し、空間容積内部のボディパーツの位置を特定するように構成されてもよい。

【0027】

一例では、触覚フィードバックシステムは、超音波システムの形態をとることができる。任意選択的に、触覚フィードバックシステムは、複数の超音波装置のアレイを含み、触覚フィードバック信号は、触覚フィードバックシステムに超音波ビームの形態の触覚フィードバックを出力させるように構成される。

【0028】

本発明の別の態様によれば、車両用のジェスチャ認識システムが提供される。ジェスチャ認識システムは、本発明の前述の態様で説明したような制御システムと、室内の空間容積を観測し、観測された空間容積内部の車両乗員のボディパーツの位置を示す情報を含む検出信号を制御システムに出力するように構成された１つ以上のセンサを含むセンサシステムとを備える。

【0029】

任意選択的に、１つ以上のセンサは、ジェスチャ認識領域内の車両乗員のボディパーツによって実行されるジェスチャを示す情報を含むジェスチャ信号を制御システムに出力するように構成される。制御システムの１つ以上の制御装置は、ジェスチャ信号を受信し、ジェスチャ信号に応じてボディパーツによって実行されるジェスチャを特定するようにさらに構成される。
このようにして、ジェスチャ認識システムは、ジェスチャ認識領域内で実行されるジェスチャを確実に特定することができる。

【0030】

一例では、制御システムは、骨格に基づいたアルゴリズムを用いてボディパーツによって実行されるジェスチャを特定するように構成され得る。骨格に基づいたアルゴリズムは、高速かつ正確なジェスチャ認識を提供することができる。

【0031】

任意選択的に、制御システムは、特定されたジェスチャに応じて、車両の１つ以上の挙動を制御するようにさらに構成される。

【0032】

一実施形態では、ジェスチャ認識システムは、触覚フィードバック信号に応じて非接触の触覚フィードバックを出力するように構成された１つ以上の触覚フィードバック装置を有する触覚フィードバックシステムを備える。

【0033】

任意選択的に、１つ以上の触覚フィードバック装置は、複数の超音波トランスデューサのアレイを含む。

【0034】

本発明の別の態様によれば、本発明の前述の態様で説明した制御システム、又は本発明の別の態様で説明したジェスチャ認識システムを備える車両が提供される。

【0035】

本発明の別の態様によれば、車両のジェスチャ認識システムを制御するための対応する方法が提供される。特に、ジェスチャ認識システムは、車両の室内の空間容積を観測するように構成された１つ以上のセンサを備えるセンサシステムと、室内の車両乗員に向かって非接触の触覚フィードバックを出力するように構成された触覚フィードバックシステムとを備える。この方法は、センサシステムを制御して、空間容積を観測し、空間容積の内部の車両乗員のボディパーツの位置を示す情報を含む検出信号を特定するステップと、検出信号に応じて、空間容積の内部に画定されたジェスチャ認識領域に対するボディパーツの位置を特定するステップと、ジェスチャ認識領域に対するボディパーツの位置に基づいて触覚フィードバック信号を特定するステップと、触覚フィードバック信号に基づいて触覚フィードバックシステムを制御するステップとを含み、触覚フィードバック信号は、ジェスチャ認識領域に対するボディパーツの位置を示す非接触の触覚フィードバックを、車両乗員に向けて出力させるように構成されている。

【0036】

本出願の範囲内で、前述の段落、特許請求の範囲及び／又は以下の説明及び図面、特にその個々の特徴に記載された様々な態様、実施形態、例及び代替物は、独立して、又は任意の組合せで解釈され得ることが明確に意図される。すなわち、任意の実施形態のすべての実施形態及び／又は特徴はそのような特徴が互換性がない限り、任意の方法及び／又は組み合わせで組み合わせることができる。出願人は最初に提出された請求項を変更し、又はそれに応じて新たな請求項を提出する権利を留保する。これには最初に請求項に記載されたものではないが、他の請求項の特徴に依存し、及び／又はその特徴を組み込むために、最初に提出された請求項を補正する権利が含まれる。

【発明の効果】

【0037】

本発明によれば、照明条件が悪い場合などの準最適条件で動作を行う場合であっても、信頼性の高いジェスチャ認識を保証できる、という効果を奏する。

【図面の簡単な説明】

【0038】

【図1】本発明の一実施形態による車両の概略図である。

【図2】図１に示す車両のための本発明の一実施形態によるジェスチャ認識システムの概略図である。

【図3】図１に示す車両の室内において、図２に示すジェスチャ認識システムの例示的な配置を示す概略図である。

【図4】図２に示すジェスチャ認識システムからの触覚フィードバックの出力の例示的な構成を示す概略図である。

【図5】図２に示すジェスチャ認識システムからの触覚フィードバックの出力の例示的な構成を示す概略図である。

【図6】図２に示すジェスチャ認識システムからの触覚フィードバックの出力の例示的な構成を示す概略図である。

【図7】図２に示すジェスチャ認識システムからの触覚フィードバックの出力の例示的な構成を示す概略図である。

【図8】図２に示すジェスチャ認識システムからの触覚フィードバックの出力の例示的な構成を示す概略図である。

【図9】図２に示すジェスチャ認識システムからの触覚フィードバックの出力の例示的な構成を示す概略図である。

【図10】図２に示すジェスチャ認識システムを制御する本発明の一実施形態による例示的な方法を示す概略図である。

【図11】図１０に示す方法において、触覚フィードバック信号を特定する従属的な方法の概略図である。

【図12】図２に示すジェスチャ認識システムを制御する本発明の一実施形態による別の例示的な方法を示す概略図である。

【発明を実施するための形態】

【0039】

本発明の実施形態は、車両のためのジェスチャ認識システムに関する。
有利には、ジェスチャ認識システムがジェスチャ認識のために最適化された車両の領域に向かって車両乗員を案内するための触覚フィードバックシステムを含み、この領域内で、ジェスチャ認識システムは、室内条件の変化に関わらず、ジェスチャを確実に認識することができる。

【0040】

例えば、走行中の車両では照明条件が非常に変化し、バックグラウンドノイズの量が追跡と認識の困難にする可能性がある。このような条件においては、ジェスチャが室内の所定の領域内で実行されるときにのみジェスチャが確実に認識される程度にまでジェスチャ認識能力が制限され得る。

【0041】

この課題に対処するために、本発明は、ジェスチャ認識システムの信頼性が最大化された車室の領域において、車室内の空間容積を観測し、車両乗員の、例えば手のようなボディパーツのジェスチャの位置を特定するように構成される。

【0042】

最適なジェスチャ認識のためのこの三次元領域、すなわち、空間容積（volume of space）を、以下の説明ではジェスチャ認識領域という。

【0043】

有利には、本発明は、ジェスチャ認識領域に対するボディパーツの位置を利用して、ボディパーツに対するジェスチャ認識領域の相対的な方向及び／又は近接度を直感的に示す触覚フィードバック出力を特定する。その結果、このような触覚フィードバックは、車両乗員の視覚的注意を中断しない力に基づくフィードバックを用いて、ボディパーツの動きをジェスチャ認識領域に向かって案内することができる。

【0044】

以下の説明で明らかになるように、触覚フィードバックの様々な特徴は、この目的のために、特に、以下の要素を示すように構成されてもよい。:
ｉ）ボディパーツに対するジェスチャ認識領域の方向
ｉｉ）ジェスチャ認識領域とボディパーツとの間の１つ以上の次元における距離

【0045】

例えば、ジェスチャ認識領域への全体的な近接度は、ボディパーツのジェスチャ認識領域への近接度に応じて、触覚フィードバック出力の大きさ、すなわち、力を増加又は減少させることによって示すことができる。

【0046】

同時に、触覚フィードバック出力の領域の大きさは、ボディパーツがジェスチャ認識領域の前／後、上／下、又は、左／右にあるかどうかを示すために増加又は減少されてもよく、ボディパーツに対するジェスチャ認識領域の方向は触覚フィードバックが方向付けられる位置を変化させることによって示されてもよい。

【0047】

例えば、触覚フィードバックは、車両乗員の指先に向かって出力されて、ジェスチャ認識領域が指先の延びる方向にあることを示してもよい。また、触覚フィードバックは、ジェスチャ認識領域が反対方向に位置していることを示すために、車両乗員の手首に向かって出力されてもよい。

【0048】

このような高精度の触覚フィードバックは、ジェスチャ認識領域に向かう空間の３次元容積の内部で、車両乗員の動き、特にボディパーツの動きを案内することができる。

【0049】

図１は、本発明の一実施形態によるジェスチャ認識システム２を含む例示的な車両１を概略的に示す。ジェスチャ認識システム２は、図２及び図３を参照してより詳細に説明される。図２は、本発明の一実施形態によるジェスチャ認識システム２の一例を概略的に示し、図３は、車両１の室内１２のジェスチャ認識システム２の配置の一例を概略的に示す。

【0050】

図２に示すように、ジェスチャ認識システム２は、センサシステム４と、触覚フィードバックシステム６と、制御システム１０とを含む。なお、ジェスチャ認識システム２は、制御システム１０を含んでいなくてもよい。すなわち、制御システム１０は、車両１に搭載されておらず、通信を用いてジェスチャ認識システム２を制御してもよい。

【0051】

センサシステム４は、１つ以上のセンサを含む。１つ以上のセンサは、車両１の室内１２の空間容積を観測し、観測された空間容積内における車両乗員の手などの特定のボディパーツの位置、動き、及び／又は配置を示す信号を生成するように構成される。

【0052】

この目的のために、１つ以上のセンサは、室内のボディパーツの位置を特定するのに適したデータを生成するための赤外線センサ、超音波センサ、静電容量センサ、及び／又は撮像カメラのうちの少なくとも１つを含むことができる。これらのデータは、例えば、画像データ、容量性データ、又は任意の他の好適形態のコンピュータビジョンデータの形態であってもよい。

【0053】

図３に示す例では、センサシステム４が第１のセンサ２６及び第２のセンサ２８を含み、これらのセンサは、第１及び第２の撮像カメラの形態をなす。

【0054】

第１のセンサ２６は、空間３０の第１の空間容積（first volume）を観測し、空間３０の第１の空間容積の内部において、車両乗員２５の手などのボディパーツ２９の動き、位置、位置のシーケンス、又は配置のパターンに対応する検出データ（sensory data）を特定するように構成される。

【0055】

図３に示されるように、空間３０の第１の空間容積は、ジェスチャ認識領域３２を含み、かつ、ジェスチャ認識領域３２を越えて延在する。
この検出データ（sensory data）に基づいて、センサシステム４は、空間３４の第１の空間容積及び／又はジェスチャ認識領域３２の内部においてボディパーツによって実行される１つ以上のジェスチャを示す情報を含むジェスチャ認識信号を生成するように構成される。ジェスチャ認識信号は、制御システム１０に出力され、制御する１つ以上の車両挙動を特定するために使用される。

【0056】

第２のセンサ２８は、空間３４の第２の空間容積（second volume）を観測し、空間３４の第２の空間容積内のボディパーツ２９の位置に対応する検出データ（sensory data）を特定するように構成される。図３に示すように、第２の空間容積の空間３４は、室内１２におけるより広範囲の部分を含むように、第１空間容積の空間３０を含み、かつ、第１空間容積の空間３０を越えて広がっている。第２の空間容積の空間３４は、車両乗員２５が配置される可能性が高い空間容積を含み得る。例えば、第２空間容積は、車両１の前部助手席を含むことができる。このようにして、ボディパーツ２９の位置をジェスチャ認識領域３２の外側において特定することができる。

【0057】

この検出データ（sensory data）に基づいて、センサシステム４は、空間３４の第２空間容積内のボディパーツ２９の位置を示す情報を含むボディパーツ検出信号を生成する。ボディパーツ検出信号は、制御システム１０に出力され、ｉ）ジェスチャ認識領域３２に対するボディパーツ２９の位置、及び、ｉｉ）触覚フィードバックシステム６を制御するための触覚フィードバック信号を特定するために使用される。

【0058】

他の例では、センサシステム４は、ボディパーツ検出信号及びジェスチャ認識信号の両方を決定するための単一のセンサを含むことができる。しかしながら、複数のセンサが使用されることにより、対象物の検出及び認識の信頼性をより高めることができる。

【0059】

前述のように、制御システム１０は、以下の目的のために、ボディパーツ検出信号及びジェスチャ認識信号を処理するように構成される。
ｉ）ジェスチャ認識領域３２に対するボディパーツ２９の位置を特定すること、
ｉｉ）触覚フィードバックシステム６からの触覚フィードバック出力を制御して、ボディパーツ２９をジェスチャ認識領域３２に向けて案内すること、
ｉｉｉ）ジェスチャ認識領域３２内でボディパーツ２９によって実行されるジェスチャを特定すること。
このために、制御装置１０は１つ以上の制御装置を含むことができ、各々の制御装置は、１つ以上の電子プロセッサを有する制御ユニット又は計算装置を含むことができる。

【0060】

１つ以上の制御装置又は制御ユニットには、本明細書で説明する制御方法などの制御方法を実行する一組の命令が提供され得る。一組の命令は、１つ以上の電子プロセッサに埋め込まれてもよい。
代替として、一組の命令は、電子プロセッサのうちの１つ以上によって実行されるソフトウェアとして提供され得る。

【0061】

一組の命令は、コンピュータ読み取り可能な記憶媒体（例えば、一時的でないコンピュータ読み取り可能な記憶媒体)に埋め込まれてもよい。コンピュータ読み取り可能な記憶媒体は、機械又は電子プロセッサ／計算装置によって読み取り可能な形式で情報を記憶する任意の機構を備え得る。これには、磁気記憶媒体（例えば、フロッピー（登録商標)ディスケット）、光記憶媒体（例えば、CD－ROM)、光磁気記憶媒体、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、消去可能プログラマブルメモリ(例えば、EPROM及びEEPROM)、フラッシュメモリ、又はそのような情報／指示を記憶するための電気的又は他のタイプの媒体が含まれ得るが、これらに限定されない。

【0062】

図２に示すように、本実施形態において、制御装置１０は、第１の制御装置１４と第２の制御装置１６とを含む。

【0063】

第１の制御装置１4は、ジェスチャ認識信号を処理し、ジェスチャ認識信号に基づいてボディパーツ２９によって行われるジェスチャを特定するように構成されたジェスチャ認識制御装置である。「ボディパーツ２９によって実行されるジェスチャを特定すること」は、第１の制御装置１４が、第１のセンサ２6によって観測されるボディパーツ２９の位置及び／又は動きに対応する空間ジェスチャモデルを生成することを意味する。

【0064】

様々なタイプの空間ジェスチャモデルがジェスチャ認識の技術分野では周知であり、本発明を曖昧にすることを避けるために詳細には説明しないが、より多くの情報は、例えば、「IEEE Transactions on pattern and machine intelligence, VOL. 19, NO. 7, JULY 1997」に発表されたV. I. Pavlovic， R. Sharma 及び T. S. Huangによる「Visual Interpretation of Hand Gestures for Human-Computer Interaction: A Review」に記載されている。

【0065】

空間ジェスチャモデルは、V. I. Pavlovic， R. Sharma 及び T. S. Huang (1997) に実証されているように、当技術分野で知られている様々な方法によって特定することができ、例えば、任意の適切なコンピュータビジョン及び／又は画像処理方法を用いて実施することができる。

【0066】

迅速な処理のために、単純化された検出及び処理アルゴリズムを採用してもよい。例えば、ボディパーツ２９の関節角度パラメータ及びセグメント長さを利用する「骨格に基づくアルゴリズム」が採用されてもよい。そのような骨格に基づくアルゴリズムは、ジェスチャを認識するために、セグメントの位置及び向き、ならびにセグメントの各々の関係(例えば、関節の角度、及び、相対的な位置又は向き)を特定する。

【0067】

さらに、より単純化されたアプローチは、ボディパーツ２９の特異点、例えば、指の端部、及び手／掌の中心を識別し、そのような基準点の位置及び／又は動きを追跡するように構成された認識アルゴリズムを使用することである。但し、ボディパーツ２９は、キーポイントを識別するとともに、実行中のジェスチャの精密かつ正確な検出を可能にするために最適な位置に存在しなければならない。このような単純化されたアルゴリズムは、ジェスチャ認識領域3２内の最適化された認識条件によって可能になる。ジェスチャに基づく車両１の制御を提供するために、第１の制御装置１４は、特定されたジェスチャを認識用ジェスチャのデータベースと比較するようにさらに構成されてもよい。認識用ジェスチャは、１つ以上の車両挙動を制御することに関連付けられていてもよい。

【0068】

例えば、特定されたジェスチャに対応する形式で構成された認識用ジェスチャのデータベースは、認識用ジェスチャ毎に関連付けられた車両挙動と共に、第１の制御装置１４の記憶装置に記憶されてもよい。第１の制御装置１４は、記憶装置にアクセスし、空間ジェスチャモデルとジェスチャシーケンスとを比較するための既知の技法を使用して、特定されたジェスチャが認識用ジェスチャのうちの１つに対応するかどうかを判定するように構成され得る。この処理は、例えば、公知のパターンマッチング技術の使用を含むことができ、重要なパラメータのみが分析されるので、この点に関して、簡略化された検出及び処理アルゴリズムは、高速パターンマッチングを提供することができる。

【0069】

特定されたジェスチャと認識用ジェスチャとの間に対応関係がある場合、制御システム１０は、車両１の挙動を制御するために、１つ以上の対応する制御信号を出力してもよい。

【0070】

第２の制御装置１６は、ｉ）ボディパーツ２９を検出し、ｉｉ）ジェスチャ認識領域３２に対するボディパーツ２９の位置を特定し、ｉｉｉ）対応する触覚フィードバック信号を特定して触覚フィードバックシステム６に送出するように構成された触覚フィードバック制御装置である。

【0071】

例えば、ボディパーツの検出信号は、空間３４の第２空間容積の内部のボディパーツ２９の位置を示す画像データ、容量性データ、又は、任意の他の好適形態のコンピュータビジョンデータを含み得る。この検出データ（sensory data）に基づいて、第２の制御装置１６は、ボディパーツ２９を検出し、空間３４の第２の空間容積の内部のボディパーツ２９の表示を生成するように構成されてもよい。例えば、ボディパーツ２９は、空間３４の第２の空間容積に対応する座標系上の空間モデル又は点の集合によって表すことができる。ボディパーツ２９の表示は、空間ジェスチャモデルに関して前述したように、当技術分野で知られている様々な方法によって特定することができ、例えば、任意の適切なコンピュータビジョン及び／又は画像処理方法を用いて行うことができる。

【0072】

一例では、第２の制御装置１６は、図３に示すように、空間３４の第２の空間容積内のボディパーツ２９の位置を表すボディパーツ検出信号に基づいて、単一の基準点４２を生成するように構成されてもよい。そのような基準点４２は、掌の中心、又はボディパーツ２９のうち容易に検出される任意の他の特徴に対応し得る点である。これに基づいて、ボディパーツ２９がセンサ２６、２８に対して移動するときに、基準点４２の位置が監視可能となり、第２の制御装置１６は、空間３４の第２の空間容積の内部の基準点４２の一連の対応する座標位置を特定することができる。

【0073】

理解を容易にするために、座標系は、センサ２６、２８のうちの１つに対応するものであってもよいし、車両１自体に対応するものであってもよい。例えば、基準点４２の位置は、a(前後方向)において車両１の長手方向軸に位置合わせされた第１の軸と、第１の軸に対する横断面に配置され、車両１を横切って横方向（左右方向）に延在する第２の軸と、前記横断面内に配置され、第２の軸に対して垂直な縦方向（上下方向）に延在する第３の軸とを有する座標系上で特定されてもよい。

【0074】

ジェスチャ認識領域３２に対するボディパーツ２９の位置を特定するために、第２の制御装置１６はキャリブレーションデータを利用してもよく、キャリブレーションデータは、車両１内のジェスチャ認識領域３２を形成する空間の空間容積の形状、大きさ及び位置に関する情報を含む。

【0075】

この点に関して、ジェスチャ認識領域３２は、センサシステム４の特定の構成及び／又はセンサ２６、２８のキャリブレーションに応じて様々な形態をとることができることを理解されたい。このようなキャリブレーションデータは、例えば、第２の制御装置１６の記憶装置に記憶されてもよいし、センサシステム４から受信されてもよい。

【0076】

一例では、ジェスチャ認識領域３２は、図３に示すように、球形状の空間容積の形態をなし、第２の制御装置１６は、車両内における球形状の空間容積の半径の大きさ及び中心の位置に関するキャリブレーションデータを備えている。

【0077】

キャリブレーションデータに基づいて、第２の制御装置１６は、ジェスチャ認識領域３２の中心にある目標位置４４と、目標位置４４への近接度閾値とを特定するように構成される。近接度閾値は、ボディパーツ２９がジェスチャ認識領域３２の球形状の境界の内側又は外側に配置されているか否かを示す。このようにして、第２の制御装置１６は、基準点４２と目標位置４４との間の座標に基づく比較結果を用いて、ボディパーツ２９に対するジェスチャ認識領域３２の方向及び／又は近接度を特定することができる。また、第２の制御装置１６は、ボディパーツ２９がジェスチャ認識領域３２の内側又は外側に配置されているか否かを、測定された閾値近接度と比較することによって検出することができる。

【0078】

以下の説明で明らかになるように、第２の制御装置１６は、目標位置４４に対する基準点４２の方向及び／又は近接度を用いて、車両乗員２５に対するジェスチャ認識領域３２の相対位置を示すための触覚フィードバック信号を特定する。

【0079】

触覚フィードバックシステム６は、図４及び図５を参照して、さらに詳述される。一般に、触覚フィードバックシステム６は、触覚フィードバック信号に応じて、車両乗員２５に向けて触覚フィードバックを出力するように構成された１つ以上の触覚フィードバック装置を含む。

【0080】

触覚フィードバック装置は、超音波制御装置、空気波制御装置、又は空気渦制御装置など、任意の非接触又は力学的触覚フィードバック装置を含むことができる。これにより、触覚フィードバックシステム６は、好適には「触覚フィードバックの領域」と呼ばれる圧力を生成する非接触形式の触覚フィードバックを提供するように構成される。例えば、市販のｍｕＲａｔａ（登録商標)超音波トランスデューサのアレイは、この形態の触覚フィードバックを提供するのに適し得る。

【0081】

触覚フィードバックシステム６は、触覚フィードバック信号に基づいて触覚フィードバックを出力し、触覚フィードバックの領域の位置、大きさ、又は形状、ならびに触覚フィードバックの大きさ（力）、又はそれに応じた出力のパターン／周波数のうちの１つ以上を制御するように構成される。

【0082】

図４は、超音波を車両１の内部の乗員に出力するための触覚フィードバックデバイス３６のアレイを含む超音波システムの形態の触覚フィードバックシステム６の一例を示す。
触覚フィードバックデバイス３６の各々は、例えば、超音波トランスデューサであってもよい。アレイ内の触覚フィードバックデバイス３６の１つ以上は、図４に示すように、触覚フィードバックの領域４０にいわゆる触覚力を発揮する圧力領域を作り出す超音波ビーム３８を出力するように選択的に動作されてもよい。車両乗員は、例えば、図４に示すように、触覚フィードバックの領域４０が車両乗員の指の方に方向付けられる場合に、圧力を知覚する。

【0083】

触覚フィードバックデバイス３６の各々を制御することによって、超音波ビーム３８は向きを操作されてもよく、触覚フィードバックの領域４０の形状、力及び方向は、適宜、変化してもよい。また、触覚フィードバックの領域４０の位置、大きさ及び形状は、例えば、各々の触覚フィードバックデバイス３６の出力の個々の位相及び強度を制御することによって、触覚フィードバックの力と同様に調整することができる。

【0084】

明確化のために、触覚フィードバックの円形の領域４０が、例として、以下の説明で説明される。触覚フィードバックの力、触覚フィードバックの領域４０の半径、及び触覚フィードバックの領域４０の位置は、ジェスチャ認識領域３２の車両乗員２５に対する相対位置を示すように制御される。

【0085】

図５～９は、触覚フィードバックの制御可能なパラメータが、ジェスチャ認識領域３２に対するボディパーツ２９の相対的な方向及び／又は近接度を示すために、どのように構成され得るかを例示する。

【0086】

図５～図７は、車両１を横切って延びる横断面内におけるボディパーツ２９の位置を示している。図示のように、触覚フィードバックの領域４０が方向付けられる位置は、ボディパーツ２９の位置に対するジェスチャ認識領域の方向を示すために、この横断面内で変化させることができる。

【0087】

図５に示す第１の例では、第２の制御装置１６が、ボディパーツ２９における基準点４２が目標位置４４の右側に位置していることを特定する。これにより、触覚フィードバックの領域４０は、図示のように、ボディパーツ２９の左寄りの部分に方向付けられることができ、その結果、触覚フィードバックの領域４０は基準点４２に対して目標位置４４の方向にずれる。

【0088】

図６に示す第２の例では、ボディパーツ２９上の基準点４２が目標位置４４の下方に、すなわち手首に向かって位置決めされる。したがって、触覚フィードバックの領域４０は、図示されるように、ボディパーツ２９の上方寄りの部分、すなわち、指先に向かって方向付けられてもよい。

【0089】

図７に示す第３の例では、ボディパーツ２９上の基準点４２が横断面において目標位置４４に合わせられる。したがって、触覚フィードバックの領域４０は、基準点４２、すなわち、掌の中心に方向付けられる。これにより、触覚フィードバックの領域４０は、ジェスチャ認識領域３２内の横断方向におけるボディパーツ２９の位置を確認するように位置決めされる。

【0090】

上述の例では、触覚フィードバックの領域４０が方向付けられる位置は、ボディパーツ２９に対するジェスチャ認識領域３２の方向に応じる。それぞれの例において、触覚フィードバックの領域４０は、ボディパーツ２９の一部において、基準点４２から目標位置４４の方向にずらすように方向付けられる。すなわち、制御装置１０は、目標位置と基準点の位置との間のベクトルをスケーリング（scaling）し（ベクトルの大きさを調整し）、スケーリングされたベクトルに基づいて基準点の位置を移動させることによって、基準点の位置から目標位置の方向にずれた補正点を特定する。触覚フィードバックの領域４０をこのように方向付けることによって、触覚フィードバックは、ボディパーツ２９がジェスチャ認識領域３２に接近するために移動されるべき方向を示す。

【0091】

上記に限定されず、他の例では、触覚フィードバックが反対の方法、すなわち、ジェスチャ認識領域３２に対して反対方向にずらされた位置に方向づけられて、例えば、ボディパーツ２９をジェスチャ認識領域３２に向けて「押す」ように構成されてもよい。

【0092】

図８及び図９に示すように、触覚フィードバックの領域４０の大きさを利用して、ジェスチャ認識領域３２に近づくためにボディパーツ２９が動かされるべき方向を、所定の軸に沿って示すこともできる。図８及び図９では、車両１の長手方向軸に沿って方向付けられた視点における、車両乗員２５のボディパーツ２９が例示されている。

【0093】

これらの例に示されるように、触覚フィードバックの領域４０の大きさは、ジェスチャ認識領域３２に対するボディパーツ２９の前方又は後方の位置を示すように変化させることができる。特に、図８と図９とを比較すると、触覚フィードバックの領域４０の大きさは、ボディパーツ２９上の基準点４２が、図８に示す第１の位置、すなわち、目標位置４４の前方から、目標位置４４により近い、図９に示す第２の位置に向かって、長手方向軸に沿って後方に移動するにつれて縮小されてもよい。また、ボディパーツ２９が目標位置４４を越えてさらに後方に移動すると、触覚フィードバックの領域４０の大きさは再度増大する。

【0094】

このようにして、触覚フィードバックの領域４０の大きさは、長手方向軸に沿ったボディパーツ２９とジェスチャ認識領域３２との間の距離に応じてもよい。その結果、触覚フィードバックの領域４０の大きさは、ボディパーツ２９が、車両の長手方向軸に沿って、ジェスチャ認識領域３２に近づく、又は、それから離れるか否かに応じて拡大縮小し、ジェスチャ認識領域３２に対するボディパーツ２９の前後方向の位置を示す。
同様の原理は、例えば、垂直方向（上下方向）軸、又は横断方向（左右方向）軸を含む、ボディパーツ２９の任意の移動軸にも、同等の様式で適用され得る。

【0095】

触覚フィードバックの大きさ、すなわち、力は、ボディパーツ２９のジェスチャ認識領域３２に対する全体的な近接度を示すように、追加的に又は代替的に構成されてもよい。例えば、触覚フィードバックの力は、ボディパーツ２９がジェスチャ認識領域３２に向かって移動するにつれて増加され、ボディパーツ２９がジェスチャ認識領域３２から離れるように移動するにつれて減少されてもよい。

【0096】

触覚フィードバックの他の構成は、上述の例に限定されず、ボディパーツ２９に対するジェスチャ認識領域３２の位置を適切に示すことができる。例えば、別の構成では、触覚フィードバックの大きさは、ボディパーツ２９に対するジェスチャ認識領域３２の方向を特定の軸に沿って示すように構成されてもよく、触覚フィードバックの領域４０の大きさは、ジェスチャ認識領域３２に対する全体的な近接度を示すことができる。

【0097】

本発明の一実施形態によるジェスチャ認識システム２を操作する例示的な方法５０を、図１０及び図１１をさらに参照して、以下に説明する。

【0098】

ステップ５２では、ジェスチャ認識システム２を操作して、車両１内におけるボディパーツ２９の位置を特定する。

【0099】

例えば、第２のセンサ２８は空間３４の第２の空間容積を観測し、ボディパーツ検出信号を特定するように操作されてもよい。ボディパーツ検出信号は、制御システム１０で受信され、第２の制御装置１６によって処理されて、ボディパーツ２９の表示を生成し、空間３４の第２の空間容積の内部の基準点４２の座標位置を特定することができる。

【0100】

ステップ５４において、ジェスチャ認識システム２は、ジェスチャ認識領域３２に対するボディパーツ２９の位置に基づいて、触覚フィードバックシステム６に出力する触覚フィードバック信号を特定するように構成される。本発明の各例では、触覚フィードバック信号が触覚フィードバックの領域の位置、大きさ又は形状、もしくは、触覚フィードバックの大きさ又は出力のパターン／周波数を含む、１つ以上の触覚フィードバックパラメータに基づいて特定され得る。ステップ５４では、これらの触覚フィードバックパラメータのうちの選択されるパラメータは、ボディパーツ２９に対するジェスチャ認識領域３２の相対的な近接度及び／又は方向に基づいて特定される。

【0101】

以下の例では、制御システム１０は、触覚フィードバックの大きさ、触覚フィードバックの領域４０が方向付けられる位置触及び触覚フィードバックの領域４０の大きさを特定するように操作される。この目的のために、方法５０のステップ５４は、図１１に示す以下のサブステップ５５～７４を含むことができる。

【0102】

ジェスチャ認識領域３２とボディパーツ２９との間の距離と、ボディパーツ２９に対するジェスチャ認識領域３２の方向とは、基準点４２の座標を目標位置４４の座標と比較することによって、ベクトル形式で便宜的に特定することができる。従って、サブステップ５５において、制御システム１０は、ジェスチャ認識領域３２の中心におけるボディパーツ２９上の基準点４２の位置と目標位置４４との間のベクトルを特定するように操作される。

【0103】

例えば、目標位置４４は、第２の制御装置１６の記憶装置からアクセスされてもよい。制御装置１０は、目標位置４４の座標を基準点４２の座標と比較して、１つの点から他の点への３次元ベクトルを特定してもよい。三次元ベクトルは、共通座標系の第１、第２、及び第３の軸のそれぞれに沿ったそれぞれの距離を含んでもよい。

【0104】

サブステップ５６～６０において、制御システム１０は、ジェスチャ認識領域３２に対するボディパーツ２９の近接度に基づいて、触覚フィードバックの大きさを特定する。

【0105】

まず、サブステップ５６において、基準点４２と目標位置４４との間のベクトルの大きさを算出することにより、ボディパーツ２９のジェスチャ認識領域３２への全体的な近接度が特定される。

【0106】

サブステップ５８では、制御システム１０は、ベクトルの大きさに基づいて触覚フィードバックの大きさを特定する。例えば、制御システム１０は、次式に従って出力する触覚フィードバックの力を特定することができる。
触覚力＝(α×ベクトルの大きさ)

【0107】

ここで、αはスカラー係数である。スカラー係数αは、触覚力がボディパーツ２９のジェスチャ認識領域３２への相対的な近接度を示すのに適するように調整されてもよい。例えば、触覚力＝１のときに最大の触覚力が出力され、触覚力＝０のときに最小の触覚力が出力されるようにしてもよい。従って、ベクトルの最大の大きさは室内１２の空間に基づいて特定することができ、スカラー係数はジェスチャ認識領域３２に対するボディパーツ２９の近接度に応じて、触覚力が１と０との間で変化してもよい。

【0108】

別の例では触覚フィードバックの力は、ジェスチャ認識領域３２へのボディパーツ２９の近接度に伴って減少することができ、制御システム１０は、下記の代替的な方程式に従って、触覚フィードバックの力を特定して出力することができる:
触覚力＝１－(α×ベクトルの大きさ)
ここで、αは、触覚力が最大の触覚力(触覚力＝１の場合)と最小の触覚力（触覚力＝０の場合)との間で確実に変化するために調整されるスカラー係数である。

【0109】

サブステップ５９において、方法５０では、ジェスチャ認識領域３２からジェスチャ認識システム２の触覚フィードバックの出力を作動するためにボディパーツ２９が適切に離れているか否かを判定する。この目的のために、制御システム１０は、触覚フィードバックの大きさを触覚フィードバックの最小閾値と比較することができ、大きさが最小閾値よりも小さい場合には、サブステップ６０において、触覚フィードバックの大きさを最小力値に設定することができる。最小力値は、例えば、ゼロの触覚力であってもよい。このようにして、車両乗員２５がジェスチャ認識システム２を制御しようとせず、かつ、ボディパーツ２９がジェスチャ認識領域３２から適切な距離を取っているときには、触覚フィードバックは出力されなくてもよい。

【0110】

別の例では、制御システム１０は、ボディパーツ２９のジェスチャ認識領域３２への全体的な近接度に応じて、出力すべき触覚力がゼロか又は非ゼロ量かのいずれかを特定することができる。触覚力のゼロ又は非ゼロ量は、ボディパーツ２９のジェスチャ認識領域３２への近接度閾値に応じて出力されてもよい。

【0111】

サブステップ６２～７０において、制御システム１０は、座標系の第１、第２、及び第３の軸のうち選択された１つに沿ったボディパーツ２９とジェスチャ認識領域３２との間の距離に基づいて、触覚フィードバックの領域４０の大きさを特定する。換言すれば、制御システム１０は、ボディパーツ２９が前後方向、横方向又は上下方向のうちの１つにおいてジェスチャ認識領域３２にどれだけ近接しているかを特定することができ、制御システム１０は、それに応じて、触覚フィードバックの領域４０の大きさを調節することができる。

【0112】

前後方向を例にとると、サブステップ６２において、制御システム１０は、基準点４２と目標位置４４との間のベクトルに基づいて、前後方向軸に沿ったボディパーツ２９とジェスチャ認識領域３２との間の距離を特定する。

【0113】

単純な例では、ベクトルの第１、第２、及び第３の軸のうちの１つを前後方向軸に合わせ、ボディパーツ２９とジェスチャ認識領域３２との間の距離を、ベクトルの前後方向の成分の大きさに基づいて特定することができる。

【0114】

次に、サブステップ６４において、制御システム１０は、ベクトルの前後方向の成分に基づいて触覚フィードバックの領域４０の大きさを特定する。例えば、制御システム１０は、以下の方程式に従って触覚フィードバックの領域４０の半径を特定することができる:
半径＝β * ベクトルの前後方向の成分の大きさ
ここで、βは、例えば、観測されるボディパーツ２９の代表的な大きさに基づいて調整され得るスカラー係数である。

【0115】

サブステップ６６～７０において、方法５０は、触覚フィードバックの領域４０の半径を上限又は下限値で制限することができる。上限及び下限は、例えば、触覚フィードバックの領域４０がボディパーツ２９にとって大きすぎないように、又は、小さすぎないように、ジェスチャ認識システムが観測するボディパーツ２９のサイズに対応してもよい。

【0116】

この例において、触覚フィードバックの領域４０の半径は、ステップ６６において、最小半径閾値と比較され、半径が最小半径閾値より小さい場合、ステップ６８において、触覚フィードバックの領域４０の大きさは規定の最小半径に設定される。最小半径は例えば、指の幅に対応してもよい。

【0117】

同様に、ステップ６９において、触覚フィードバックの領域４０の半径は最大半径閾値と比較され、半径が最大半径閾値より大きい場合、触覚フィードバックの領域４０の半径はステップ７０において、規定の最大半径に設定される。最大半径は例えば、掌の幅に対応してもよい。

【0118】

サブステップ７２において、制御システム１０は、ｉ）車両１内のボディパーツ２９の位置と、ｉｉ）ボディパーツ２９に対するジェスチャ認識領域３２の方向とに基づいて、触覚フィードバックの領域４０が向けられる位置を特定する。

【0119】

特に、触覚フィードバックの領域４０が方向付けられる位置は、基準点４２と目標位置４４との間のベクトルの方向において、基準点４２からずれた位置として特定される。従って、触覚フィードバックの領域４０が方向付けられる位置は、以下の式に従って特定されてもよい:
触覚フィードバックの位置（Ｘ，Ｙ，Ｚ）
＝基準点の位置（Ｘ，Ｙ，Ｚ）＋（μ＊ベクトル（Ｙ，Ｚ））

【0120】

ここで、Ｘ、Ｙ、及びＺは、第１、第２、及び第３の軸に沿った値である。μは、例えば、触覚フィードバックの位置が基準点４２(掌の中心)から所定の範囲の距離に制限されるように構成され得るスカラー係数である。従って、スカラー係数は、観測されたボディパーツ２９の寸法を考慮して設定され得る。

【0121】

このようにして、触覚フィードバックの領域４０は、前後方向軸に沿ったボディパーツ２９の位置に効果的に関連付けることができる。例えば、触覚フィードバックの領域４０は、基準点４２と同様に、前後方向軸に沿った同じ位置に向かって方向付けられてもよいが、触覚フィードバックの領域４０は、基準点４２から横方向及び上下方向(第２及び第３の軸)にずれた（補正された）位置に向かって方向付けられてもよい。このようにして、触覚フィードバックの領域４０の位置は、横方向及び上下方向におけるジェスチャ認識領域３２の相対的な位置を示すことができる。

【0122】

サブステップ７４では、制御システム１０は、サブステップ５５～７２で特定された触覚フィードバックのパラメータに基づいて触覚フィードバック信号を特定する。図１０に戻り、ステップ７６において、方法５０は、ボディパーツ２９がジェスチャ認識領域３２内に配置されているかどうかを判定する。

【0123】

例えば、制御システム１０は、ボディパーツ２９とジェスチャ認識領域３２との間の距離を特定し、その距離を、ボディパーツ２９がジェスチャ認識領域３２の内側に配置されているか否かを特定するための閾値距離と比較してもよい。

【0124】

一例では、制御システム１０は、前述したように、基準点４２と目標位置４４との間のベクトルの大きさに基づいて、ボディパーツ２９とジェスチャ認識領域３２との間の距離を特定することができる。

【0125】

次いで、ベクトルの大きさを、例えば、閾値距離を定義するために第２の制御装置１６に記憶されているジェスチャ認識領域３２の半径と比較することができる。ベクトルの大きさが閾値距離よりも大きい場合、制御システム１０は、ボディパーツ２９がジェスチャ認識領域３２の外側にあると推測することができる。

【0126】

従って、ステップ７８において、制御システム１０は、ステップ５４で特定された触覚フィードバック信号を触覚フィードバックシステム６に出力して、触覚フィードバックシステムに、ジェスチャ認識領域３２の車両乗員２５に対する相対位置を示す触覚フィードバックを生成させることができる。

【0127】

例えば、触覚フィードバックデバイス３６のアレイは、触覚フィードバック信号に対応する超音波ビーム３８を出力するように構成することができ、車両乗員２５は、触覚フィードバックの領域４０における圧力の感覚を感じることができる。車両乗員２５は、触覚フィードバックの位置、大きさ及び力に基づいてジェスチャ認識領域３２の相対方向を推測することができ、これにより、車両乗員２５はボディパーツ２９をジェスチャ認識領域３２に向かって移動させるよう促される。

【0128】

ステップ７８に続いて、方法５０は、ボディパーツ２９の新しい位置を特定することができる。例えば、ステップ５２～７６は繰り返し実行されて、１つ以上の触覚フィードバックパラメータが変化するように、又は、ボディパーツ２９がジェスチャ認識領域３２に移動するように、車両乗員２５が触覚フィードバックに応答してボディパーツ２９を移動させたかどうかを特定してもよい。

【0129】

ベクトルの大きさが閾値距離未満である場合、制御システム１０は、ボディパーツ２９がジェスチャ認識領域３２内にあると推測することができる。
従って、ステップ８０において、制御システム１０は、ジェスチャ認識領域３２内のボディパーツ２９によって実行されるジェスチャを特定することができる。

【0130】

例えば、第１のセンサ２６は、空間３０の第１の空間容積を観測し、ジェスチャ認識信号を特定するように動作されてもよい。ジェスチャ認識信号は、制御システム１０において受信され、第１の制御装置１４によって処理されて、空間ジェスチャモデルの形態で、ボディパーツ２９によって実行されるジェスチャを特定することができる。

【0131】

制御システム１０は、ステップ８２において、特定されたジェスチャを認識用ジェスチャのデータベースと比較することができ、特定されたジェスチャが認識用ジェスチャのうちの１つに対応する場合、制御システム１０は認識用ジェスチャに関連する車両の挙動を制御するために、対応する制御信号を出力することができる。例えば、制御信号は、車両の挙動を制御するように構成された１つ以上のそれぞれの車両システム（図示せず）に出力されてもよい。

【0132】

一例では、ボディパーツ２９がジェスチャ認識領域３２内に留まるようにボディパーツ２９がジェスチャを実行している間、ステップ５２～７６を繰り返すことができる。

【0133】

さらに、ステップ８２の後、方法５０は、車両乗員２５がボディパーツ２９を移動させたかどうかを判定するために、及び／又は、別のジェスチャに基づいた指令を特定するために繰り返されてもよい。

【0134】

本発明には、本出願の技術的範囲から逸脱することなく、様々な変更及び修正を加えることができる。
例えば、上述した例示的な方法５０では、ステップ７４において、ボディパーツ２９がジェスチャ認識領域３２内に位置していると制御システム１０が判断した場合には、触覚フィードバックは車両乗員２５に出力されない。このようにして、触覚フィードバックがないことで、ボディパーツ２９がジェスチャ認識領域３２内に配置されていることを示すことができる。

【0135】

しかしながら、図１２に示すように、ジェスチャ認識システム２を動作させるための別の例示的な方法１５０では、ステップ７４において、ステップ７６に記載されているように、ボディパーツ２９がジェスチャ認識領域３２の内側又は外側に配置されていると制御システム１０が判断するか否かに関わらず、触覚フィードバック信号を出力することができる。

【0136】

このようにして、車両乗員２５には、特定のジェスチャを実行しながらボディパーツ２９をジェスチャ認識領域３２内に維持するように構成された触覚フィードバックを提供することができる。

【0137】

有利には、車両乗員２５は、特定の触覚フィードバック感覚を、ジェスチャ認識システム２を介して、車両の挙動を制御する能力に関連付けることができる。これに基づいて、車両乗員２５は、ボディパーツ２９がジェスチャ認識領域３２内に位置していることを推測することができる。

【0138】

ジェスチャ認識システム２を動作させる別の例示的な方法（図示せず)は、実質的に前述と同様に進行することができるが、この方法は、ステップ５２でボディパーツ２９の位置を特定する前に、ジェスチャ認識領域３２の位置、大きさ、及び／又は形状を特定するステップをさらに含むことができる。ジェスチャ認識領域３２の位置、大きさ、及び／又は形状は、室内１２の照明条件等、センサシステム４のジェスチャ認識能力に影響する１つ以上の室内条件に応じて変えてもよい。

【0139】

例えば、制御システム１０は、センサシステム４から受信したキャリブレーションデータ、又は第１の制御装置１４の記憶装置からアクセスされたキャリブレーションデータに応じて、ジェスチャ認識領域３２を特定するように構成されてもよい。

【0140】

キャリブレーションデータは、例えば、予め特定された一定範囲の室内条件に対して、ジェスチャ認識領域３２の対応する形状、大きさ及び室内１２における位置を有する検索テーブル（look-up table）の形態で配列されてもよい。このようにして、制御システム１０は、１つ以上の室内条件の指示を受信し、検索テーブルに基づいてジェスチャ認識領域３２の大きさ、位置、又は形状を特定することができる。有利には、本発明は、走行中に変化し得る室内条件のためのジェスチャ認識領域３２を最適化し、ステップ７８で実行されるジェスチャ認識の精度を最大化することができる。

【0141】

有利には、ステップ７８において、本方法の触覚フィードバック出力は、ボディパーツ２９を最適化されたジェスチャ認識領域３２に向け直すように構成されてもよい。このようにして、本方法は、車両１の室内条件に応じて、ボディパーツ２９の適応的な位置案内を提供することができる。

【符号の説明】

【0142】

１…車両
２…ジェスチャ認識システム
４…センサシステム
６…触覚フィードバックシステム
１０…制御システム（制御装置）
１２…室内
１４…第１の制御装置
１６…第２の制御装置
２５…車両乗員
２９…ボディパーツ
３２…ジェスチャ認識領域
３８…超音波ビーム
４２…基準点
４４…目標位置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】