特許 6202810 ジェスチャ認識装置および方法ならびにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6202810

(24)【登録日】2017年9月8日

(45)【発行日】2017年9月27日

(54)【発明の名称】ジェスチャ認識装置および方法ならびにプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20170914BHJP

【ＦＩ】

   G06F3/01 570

【請求項の数】20

【全頁数】13

(21)【出願番号】特願2012-265377(P2012-265377)

(22)【出願日】2012年12月4日

(65)【公開番号】特開2014-109994(P2014-109994A)

(43)【公開日】2014年6月12日

【審査請求日】2015年9月11日

(73)【特許権者】

【識別番号】000101732

【氏名又は名称】アルパイン株式会社

(74)【代理人】

【識別番号】100081282

【弁理士】

【氏名又は名称】中尾 俊輔

(74)【代理人】

【識別番号】100085084

【弁理士】

【氏名又は名称】伊藤 高英

(74)【代理人】

【識別番号】100095326

【弁理士】

【氏名又は名称】畑中 芳実

(74)【代理人】

【識別番号】100115314

【弁理士】

【氏名又は名称】大倉 奈緒子

(74)【代理人】

【識別番号】100117190

【弁理士】

【氏名又は名称】前野 房枝

(74)【代理人】

【識別番号】100120385

【弁理士】

【氏名又は名称】鈴木 健之

(72)【発明者】

【氏名】小幡 喜重郎

【審査官】 菊池 智紀

(56)【参考文献】

【文献】 特表２０１５−５２１１２７（ＪＰ，Ａ）

【文献】 特開２０１０−１８４６００（ＪＰ，Ａ）

【文献】 特開２００５−２５４８５１（ＪＰ，Ａ）

【文献】 特開２００９−０７５６５６（ＪＰ，Ａ）

【文献】 特開２０１１−２２０８９４（ＪＰ，Ａ）

【文献】 特開２０１０−１２９０６９（ＪＰ，Ａ）

【文献】 特開２００９−０５１２５３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／００−３／０４８９

(57)【特許請求の範囲】

【請求項1】

所定の操作物体のジェスチャを認識するジェスチャ認識装置であって、
前記操作物体についての複数の座標範囲と、これら複数の座標範囲にそれぞれ対応する複数の操作対象機器および前記各操作対象機器ごとに細分化された複数の操作対象機能部との対応関係が記憶された記憶装置と、
前記操作物体を撮像する撮像装置と、
前記撮像装置によって撮像された前記操作物体の特徴を一連の複数フレーム分の撮像画像群に基づいて動き情報として検出する操作物体特徴検出装置と、
前記撮像装置によって撮像された前記操作物体の座標を一連の複数フレーム分の撮像画像群に基づいて座標情報として検出する座標検出装置と、
前記操作物体特徴検出装置によって検出された前記操作物体の動き情報および前記座標検出装置によって検出された前記操作物体の座標情報と前記記憶装置に記憶された前記対応関係に基づいて、操作処理を行う前記操作対象機器および前記操作対象機能部を特定する操作対象機器特定装置と、
前記操作対象機器特定装置によって特定された前記操作対象機器および前記操作対象機能部に対して、前記操作物体特徴検出装置により検出された前記動き情報に応じた操作処理を行うジェスチャ認識処理装置と
を備えたことを特徴とするジェスチャ認識装置。

【請求項2】

任意の前記座標範囲は、この座標範囲に対応する前記操作対象機器に対して相対的に近く且つ当該座標範囲に対応しない前記操作対象機器に対して相対的に遠い範囲とされていること
を特徴とする請求項１に記載のジェスチャ認識装置。

【請求項3】

任意の前記座標範囲は、この座標範囲に対応する前記操作対象機能部に対して相対的に近く且つ当該座標範囲に対応しない前記操作対象機能部に対して相対的に遠い範囲とされていること
を特徴とする請求項２に記載のジェスチャ認識装置。

【請求項4】

前記座標範囲は、複数次元の座標範囲であること
を特徴とする請求項１乃至請求項３のいずれか１項に記載のジェスチャ認識装置。

【請求項5】

前記操作物体は、ユーザの手であること
を特徴とする請求項１乃至請求項４のいずれか１項に記載のジェスチャ認識装置。

【請求項6】

車両に搭載されること
を特徴とする請求項１乃至請求項５のいずれか１項に記載のジェスチャ認識装置。

【請求項7】

前記操作対象機器は、車載機およびエアコンを含むこと
を特徴とする請求項６に記載のジェスチャ認識装置。

【請求項8】

前記操作対象機能部は、車載機の音量調整部ならびに選局部およびエアコンの温度調整部ならびに風量調整部を含むこと
を特徴とする請求項７に記載のジェスチャ認識装置。

【請求項9】

前記操作対象機器は、メータパネルおよびヘッドアップディスプレイを含むこと
を特徴とする請求項６乃至請求項８のいずれか１項に記載のジェスチャ認識装置。

【請求項10】

前記操作対象機器特定装置により操作処理を行う前記操作対象機器および前記操作対象機能部の特定が行われたことをユーザに通知する通知装置を備えたこと
を特徴とする請求項１乃至請求項９のいずれか１項に記載のジェスチャ認識装置。

【請求項11】

所定の操作物体のジェスチャを認識するジェスチャ認識方法であって、
前記操作物体についての複数の座標範囲と、これら複数の座標範囲にそれぞれ対応する複数の操作対象機器および前記各操作対象機器ごとに細分化された複数の操作対象機能部との対応関係を記憶装置に設定する第１のステップと、
前記操作物体を撮像する第２のステップと、
前記第２のステップにおいて撮像された前記操作物体の特徴を一連の複数フレーム分の撮像画像群に基づいて動き情報として検出する第３のステップと、
前記第２のステップにおいて撮像された前記操作物体の座標を一連の複数フレーム分の撮像画像群に基づいて座標情報として検出する第４のステップと、
前記第３のステップにおいて検出された前記操作物体の動き情報および前記第４のステップにおいて検出された前記操作物体の座標情報と、前記第１のステップにおいて設定された前記対応関係とに基づいて、操作処理を行う前記操作対象機器および前記操作対象機能部を特定する第５のステップと、
前記第５のステップにおいて特定された前記操作対象機器に、前記撮像された操作物体のジェスチャの認識結果に応じた操作処理を行う第６のステップと
を含むことを特徴とするジェスチャ認識方法。

【請求項12】

任意の前記座標範囲は、この座標範囲に対応する前記操作対象機器に対して相対的に近く且つ当該座標範囲に対応しない前記操作対象機器に対して相対的に遠い範囲とされていること
を特徴とする請求項１１に記載のジェスチャ認識方法。

【請求項13】

任意の前記座標範囲は、この座標範囲に対応する前記操作対象機能部に対して相対的に近く且つ当該座標範囲に対応しない前記操作対象機能部に対して相対的に遠い範囲に設定されていること
を特徴とする請求項１２に記載のジェスチャ認識方法。

【請求項14】

前記座標範囲は、複数次元の前記座標範囲であること
を特徴とする請求項１１乃至請求項１３のいずれか１項に記載のジェスチャ認識方法。

【請求項15】

前記第５のステップと前記第６のステップとの間に、前記第５のステップにより操作処理を行う前記操作対象機器および前記操作対象機能部が行われたことをユーザに通知する第７のステップ
を含むことを特徴とする請求項１１乃至請求項１４のいずれか１項に記載のジェスチャ認識方法。

【請求項16】

所定の操作物体のジェスチャを認識するジェスチャ認識プログラムであって、
コンピュータを、
撮像装置によって撮像された前記操作物体の特徴を一連の複数フレーム分の撮像画像群に基づいて動き情報として検出する操作物体特徴検出装置、
撮像装置によって撮像された前記操作物体の座標を一連の複数フレーム分の撮像画像群に基づいて座標情報として検出する座標検出装置、
前記操作物体特徴検出装置によって検出された前記操作物体の動き情報および前記座標検出装置によって検出された前記操作物体の座標情報と、記憶装置に記憶された前記操作物体についての複数の座標範囲とこれら複数の座標範囲にそれぞれ対応する複数の操作対象機器および前記各操作対象機器ごとに細分化された複数の操作対象機能部との対応関係に基づいて、操作処理を行う前記操作対象機器および前記操作対象機能部を特定する操作対象機器特定装置、
前記操作対象機器特定装置によって特定された前記操作対象機器に対して、前記操作物体特徴検出装置により検出された前記動き情報に応じた操作処理を行う操作処理装置、
として機能させることを特徴とするジェスチャ認識プログラム。

【請求項17】

任意の前記座標範囲は、この座標範囲に対応する前記操作対象機器に対して相対的に近く且つ当該座標範囲に対応しない前記操作対象機器に対して相対的に遠い範囲とされていること
を特徴とする請求項１６に記載のジェスチャ認識プログラム。

【請求項18】

任意の前記座標範囲は、この座標範囲に対応する前記操作対象機能部に対して相対的に近く且つ当該座標範囲に対応しない前記操作対象機能部に対して相対的に遠い範囲に設定されていること
を特徴とする請求項１７に記載のジェスチャ認識プログラム。

【請求項19】

前記座標範囲は、複数次元の前記座標範囲であること
を特徴とする請求項１６乃至請求項１８のいずれか１項に記載のジェスチャ認識プログラム。

【請求項20】

前記コンピュータを、
前記操作対象機器特定装置により操作処理を行う前記操作対象機器および前記操作対象機能部の特定が行われたことをユーザに通知する通知装置
として機能させることを特徴とする請求項１６乃至請求項１９のいずれか１項に記載のジェスチャ認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ジェスチャ認識装置および方法ならびにプログラムに係り、特に、操作物体のジェスチャを認識するのに好適なジェスチャ認識装置および方法ならびにプログラムに関する。

【背景技術】

【0002】

近年、家電機器、ＰＣ、ゲーム機器等を中心として、ユーザのジェスチャを認識して認識結果に応じたコマンド入力を行うことが可能とされた機器が普及してきている。

【0003】

この種の機器においては、ユーザの手を使ったジェスチャによって入力できるコマンドの種類をあまり多くすることは、ユーザに手の動きを覚えるための過度の負担を強いることになるので、上下、左右等の簡単な手の動きのみが使われることが多かった。

【0004】

また、その一方で、手の限られた動きだけでは複数の操作対象機器に対応することができないため、音声、視線または顔向きと手の動きとを組み合わせる等の様々な手法が提案されていた（例えば、特許文献１〜３参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０００−１６３１９６号公報

【特許文献2】特開２００７−１２１５７６号公報

【特許文献3】特許第４３１１１９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかるに、音声、視線または顔向き等の手を使ったジェスチャ以外の要素を認識対象とする場合には、却ってユーザに複雑な動きを強いることになるばかりでなく複数種類の認識処理を行わなければならないため、操作性、コストおよび迅速性に問題があった。

【0007】

そこで、本発明は、このような点に鑑みなされたものであり、操作性、経済性および迅速性を向上させることができるジェスチャ認識装置および方法ならびにプログラムを提供することを目的とするものである。

【課題を解決するための手段】

【0008】

前述した目的を達成するため、本発明に係るジェスチャ認識装置は、所定の操作物体のジェスチャを認識するジェスチャ認識装置であって、前記操作物体についての複数の座標範囲と、これら複数の座標範囲にそれぞれ対応する複数の操作対象機器および前記各操作対象機器ごとに細分化された複数の操作対象機能部との対応関係が記憶された記憶装置と、前記操作物体を撮像する撮像装置と、前記撮像装置によって撮像された前記操作物体の特徴を一連の複数フレーム分の撮像画像群に基づいて動き情報として検出する操作物体特徴検出装置と、前記撮像装置によって撮像された前記操作物体の座標を一連の複数フレーム分の撮像画像群に基づいて座標情報として検出する座標検出装置と、前記操作物体特徴検出装置によって検出された前記操作物体の動き情報および前記座標検出装置によって検出された前記操作物体の座標情報と前記記憶装置に記憶された前記対応関係に基づいて、操作処理を行う前記操作対象機器および前記操作対象機能部を特定する操作対象機器特定装置と、前記操作対象機器特定装置によって特定された前記操作対象機器および前記操作対象機能部に対して、前記操作物体特徴検出装置により検出された前記動き情報に応じた操作処理を行うジェスチャ認識処理装置とを備えたことを特徴としている。

【0009】

また、本発明に係るジェスチャ認識方法は、所定の操作物体のジェスチャを認識するジェスチャ認識方法であって、前記操作物体についての複数の座標範囲と、これら複数の座標範囲にそれぞれ対応する複数の操作対象機器および前記各操作対象機器ごとに細分化された複数の操作対象機能部との対応関係を記憶装置に設定する第１のステップと、前記操作物体を撮像する第２のステップと、前記第２のステップにおいて撮像された前記操作物体の特徴を一連の複数フレーム分の撮像画像群に基づいて動き情報として検出する第３のステップと、前記第２のステップにおいて撮像された前記操作物体の座標を一連の複数フレーム分の撮像画像群に基づいて座標情報として検出する第４のステップと、前記第３のステップにおいて検出された前記操作物体の動き情報および前記第４のステップにおいて検出された前記操作物体の座標情報と、前記第１のステップにおいて設定された前記対応関係とに基づいて、操作処理を行う前記操作対象機器および前記操作対象機能部を特定する第５のステップと、前記第５のステップにおいて特定された前記操作対象機器に、前記撮像された操作物体のジェスチャの認識結果に応じた操作処理を行う第６のステップとを含むことを特徴としている。

【0010】

さらに、本発明に係るジェスチャ認識プログラムは、所定の操作物体のジェスチャを認識するジェスチャ認識プログラムであって、コンピュータを、撮像装置によって撮像された前記操作物体の特徴を一連の複数フレーム分の撮像画像群に基づいて動き情報として検出する操作物体特徴検出装置、撮像装置によって撮像された前記操作物体の座標を一連の複数フレーム分の撮像画像群に基づいて座標情報として検出する座標検出装置、前記操作物体特徴検出装置によって検出された前記操作物体の動き情報および前記座標検出装置によって検出された前記操作物体の座標情報と、記憶装置に記憶された前記操作物体についての複数の座標範囲とこれら複数の座標範囲にそれぞれ対応する複数の操作対象機器および前記各操作対象機器ごとに細分化された複数の操作対象機能部との対応関係に基づいて、操作処理を行う前記操作対象機器および前記操作対象機能部を特定する操作対象機器特定装置、前記操作対象機器特定装置によって特定された前記操作対象機器に対して、前記操作物体特徴検出装置により検出された前記動き情報に応じた操作処理を行う操作処理装置、として機能させることを特徴としている。

【0011】

このような本発明によれば、操作物体の位置に応じた操作対象機器の選択が可能であるので、複数の操作対象機器の選択的な操作を簡易な手法によって迅速かつ容易に行うことができる。

【0012】

また、本発明のジェスチャ認識装置において、前記記憶装置には、前記対応関係が前記操作対象機器の複数の操作対象機能部ごとに細分化された状態で記憶されており、前記操作対象機器特定装置は、前記操作対象機器の特定と同時に前記操作対象機能部の特定を行い、前記ジェスチャ認識処理装置は、前記操作対象機器特定装置によって特定された前記操作対象機能部を対象とした前記操作処理を行ってもよい。同様に、本発明のジェスチャ認識方法において、前記第１のステップは、前記対応関係を前記操作対象機器の複数の操作対象機能部ごとに細分化した状態で設定するステップであり、前記第４のステップは、前記操作対象機器の特定と同時に前記操作対象機能部の特定を行うステップであり、前記第５のステップは、前記第４のステップにおいて特定された前記操作対象機能部を対象とした前記操作処理を行うステップであってもよい。同様に、本発明のジェスチャ認識プログラムにおいて、前記記憶装置には、前記対応関係が前記操作対象機器の複数の操作対象機能部ごとに細分化された状態で記憶されており、前記操作対象機器特定装置に、前記操作対象機器の特定と同時に前記操作対象機能部の特定を行わせ、前記操作処理装置に、前記操作対象機器特定装置によって特定された前記操作対象機能部を対象とした前記操作処理を行わせてもよい。

【0013】

このような本発明によれば、操作物体の位置に応じた操作対象機能部の選択が可能であるので、複数の操作対象機能部の選択的な操作を簡易な手法によって迅速かつ容易に行うことができる。

【0014】

さらに、本発明のジェスチャ認識装置において、任意の前記座標範囲は、この座標範囲に対応する前記操作対象機器に対して相対的に近く且つ当該座標範囲に対応しない前記操作対象機器に対して相対的に遠い範囲とされていてもよい。同様に、本発明のジェスチャ認識方法において、前記第１のステップは、任意の前記座標範囲を、この座標範囲に対応する前記操作対象機器に対して相対的に近く且つ当該座標範囲に対応しない前記操作対象機器に対して相対的に遠い範囲に設定するステップであってもよい。

【0015】

このような本発明によれば、操作対象機器の近くに操作物体を位置させることによって当該操作対象機器を選択することができるので、操作対象機器の操作をより直感的に行うことができる。

【0016】

さらにまた、本発明のジェスチャ認識装置において、任意の前記座標範囲は、この座標範囲に対応する前記操作対象機能部に対して相対的に近く且つ当該座標範囲に対応しない前記操作対象機能部に対して相対的に遠い範囲とされていてもよい。同様に、本発明のジェスチャ認識方法において、前記第１のステップは、任意の前記座標範囲を、この座標範囲に対応する前記操作対象機能部に対して相対的に近く且つ当該座標範囲に対応しない前記操作対象機能部に対して相対的に遠い範囲に設定するステップであってもよい。

【0017】

このような本発明によれば、操作対象機能部の近くに操作物体を位置させることによって当該操作対象機能部を選択することができるので、操作対象機能部の操作をより直感的に行うことができる。

【0018】

また、本発明のジェスチャ認識装置において、前記座標範囲は、複数次元の座標範囲であってもよい。同様に、本発明のジェスチャ認識方法において、前記第１のステップは、複数次元の前記座標範囲を設定するステップであってもよい。

【0019】

このような本発明によれば、操作対象機器または操作対象機能部に対応する座標範囲として２次元以上の座標範囲を指定することができるので、複数の操作対象機器／機能部のレイアウトに柔軟に対応することができる。

【0020】

さらに、本発明のジェスチャ認識装置において、前記操作物体は、ユーザの手であってもよい。

【0021】

このような構成によれば、ユーザの手を用いた複数の操作対象機器の選択的な操作を低コストで迅速かつ容易に行うことができる。

【0022】

さらにまた、本発明のジェスチャ認識装置は、車両に搭載されていてもよい。

【0023】

このような構成によれば、複数の車載機器の操作を低コストで迅速かつ容易に行うことができる。

【0024】

また、本発明のジェスチャ認識装置において、前記操作対象機器は、車載機およびエアコンを含んでもよい。

【0025】

このような構成によれば、車載機およびエアコンの選択操作を低コストで迅速かつ容易に行うことができる。

【0026】

さらに、本発明のジェスチャ認識装置において、前記操作対象機能部は、車載機の音量調整部ならびに選局部およびエアコンの温度調整部ならびに風量調整部を含んでもよい。

【0027】

このような構成によれば、車載機の音量調整部ならびに選局部およびエアコンの温度調整部ならびに風量調整部の選択操作を低コストで迅速かつ容易に行うことができる。

【0028】

さらにまた、本発明のジェスチャ認識装置において、前記操作対象機器は、メータパネルおよびヘッドアップディスプレイを含んでもよい。

【0029】

このような構成によれば、メータパネルおよびヘッドアップディスプレイの選択操作を低コストで迅速かつ容易に行うことができる。

【発明の効果】

【0032】

本発明によれば、操作性、経済性および迅速性を向上させることができる。

【図面の簡単な説明】

【0033】

【図1】本発明に係るジェスチャ認識装置の第１実施形態を示すブロック図

【図2】手の座標範囲と操作対象機器・機能部との対応関係を示すテーブル

【図3】本発明に係るジェスチャ認識方法およびプログラムの第１実施形態を示すフローチャート

【図4】本発明の第２実施形態において、手の座標範囲と操作対象機器・機能部との対応関係を示す模式図

【図5】本発明の第３実施形態において、手の座標範囲と操作対象機器・機能部との対応関係を示すテーブル

【図6】本発明に係るジェスチャ認識装置の第４実施形態を示すブロック図

【図7】本発明に係るジェスチャ認識方法およびプログラムの第４実施形態を示すフローチャート

【発明を実施するための形態】

【0034】

（第１実施形態）
〔ジェスチャ認識装置〕
以下、本発明に係るジャスチャ認識装置の第１実施形態について、図１および図２を参照して説明する。

【0035】

図１は、本実施形態におけるジェスチャ認識装置１を示すブロック図である。

【0036】

図１に示すように、ジェスチャ認識装置１は、車両に搭載された撮像装置２を有しており、この撮像装置２は、操作物体としての運転者（ユーザ）の手を撮像可能とされている。この撮像装置２は、ＣＣＤやＣＭＯＳ等の固体撮像素子を備えるとともに、所定の撮像領域を所定のフレームレートで連続的に撮像するデジタルカメラであってもよい。また、撮像装置２は、車両のインストルメントパネル等に、車室内を向くように設置されたものであってもよい。

【0037】

また、図１に示すように、ジェスチャ認識装置１は、手特徴認識部３を有しており、この手特徴認識部３には、撮像装置２の撮像画像が、撮像の度毎に逐次入力されるようになっている。そして、手特徴認識部３は、入力された撮像画像に対して、予め手特徴認識部３に保有されている手の特徴データ（形状等）Ｄ１に基づいて、手の特徴の認識処理を行うようになっている。この認識処理は、撮像画像毎に行うようにしてもよく、または、一連の複数フレーム分の撮像画像群に基づいて行うようにしてもよい。そして、手特徴認識処理部３は、認識された手の特徴を、ジェスチャの認識結果としての手の動き情報として、認識の度毎に逐次出力するようになっている。この手特徴認識部３は、これの機能を実現するためのプログラムをＣＰＵ等の演算処理装置が実行することによって具現化してもよい。演算処理装置が実行すべきプログラムについては、ＲＯＭ等のプログラム記憶部に格納しておき、手の特徴データＤ１については、ＲＯＭやハードディスクドライブ等のデータ記憶部に格納しておき、演算処理装置の処理には、ＲＡＭ等の作業領域を利用してもよい。

【0038】

さらに、図１に示すように、ジェスチャ認識装置１は、座標検出装置としての手座標認識部４を有しており、この手座標認識部４には、撮像装置２の撮像画像が、撮像の度毎に逐次入力されるようになっている。そして、手座標認識部４は、入力された撮像画像に対して、手特徴認識部３の認識結果に基づいて、手の座標の認識（検出）処理を行うようになっている。この認識処理は、撮像画像毎に行うようにしてもよく、または、一連の複数フレーム分の撮像画像群に基づいて行うようにしてもよい。また、このとき認識される座標は、手の中心座標であってもよい。そして、手座標認識部４は、認識結果を手の座標情報として認識の度毎に逐次出力するようになっている。本実施形態において、手座標認識部４は、手の座標として二次元座標（Ｘ座標およびＹ座標）を認識するようになっている。手座標認識部４は、これの機能を実現するためのプログラムを演算処理装置が実行することによって具現化してもよい。

【0039】

さらにまた、図１に示すように、ジェスチャ認識装置１は、記憶装置としての座標／機器対応関係記憶部５を有している。この座標／機器対応関係記憶部５には、手についての複数の座標範囲とこれら複数の座標範囲にそれぞれ対応する複数の操作対象機器との対応関係が記憶されている。図２は、このような対応関係の一例を示すテーブルである。このテーブルには、手の座標範囲としての二次元座標の座標範囲と操作対象機器との対応関係が記述されている。なお、図２に示すように、座標範囲は、同一の操作対象機器について複数の操作対象機能部毎に細分化されている。具体的には、車載機については、音量調整機能に対応する座標範囲と選局に対応する座標範囲とが個別に設定されており、また、エアコンについては、温度調整に対応する座標範囲と風量調整に対応する座標範囲とが個別に設定されている。座標／機器対応関係記憶部５は、ＲＯＭやハードディスクドライブ等によって具現化してもよい。

【0040】

図１に戻って、ジェスチャ認識装置１は、操作対象機器特定装置としての操作対象機器特定部６を有している。この操作対象機器特定部６には、手特徴認識部３によって出力された手の動き情報および手座標認識部４によって出力された手の座標情報がそれぞれ入力されるようになっている。そして、操作対象機器特定部６は、入力された各情報と座標／機器対応関係記憶部５に記憶された対応関係とに基づいて、手の座標に対応する操作対象機器を特定するようになっている。このとき、操作対象機器特定部６は、対応関係が図２に示したように操作対象機能部毎に細分化されている場合には、操作対象機器の特定と同時に操作対象機能部の特定を行うようになっている。そして、操作対象機器特定部６は、特定結果を操作対象機器／機能部特定情報として出力するようになっている。なお、操作対象機器特定部６は、これの機能を実現するためのプログラムを演算処理装置が実行することによって具現化してもよい。

【0041】

また、図１に示すように、ジェスチャ認識装置１は、ジェスチャ認識処理装置としてのジェスチャコマンド認識部７を有している。このジェスチャコマンド認識部７には、手特徴認識部３から出力された手の動き情報と、操作対象機器特定部６から出力された操作対象機器／機能部特定情報とがそれぞれ入力されるようになっている。そして、ジェスチャコマンド認識部７は、入力された手の動き情報および操作対象機器／機能部特定情報と、予めジェスチャコマンド認識部７に保有されているコマンドデータ（動きパターン情報等）Ｄ２とに基づいて、操作対象機器特定部６によって特定された操作対象機器に対して、ジェスチャの認識結果に応じた操作処理としてのコマンド発行を行うようになっている。このとき、操作対象機器／機能部特定情報が操作対象機能部の特定結果を含んでいる場合には、コマンド発行は、操作対象機能部を対象としたものとなる。なお、ジェスチャコマンド認識部７は、これの機能を実現するためのプログラムを演算処理装置が実行することによって具現化してもよい。コマンドデータＤ２については、ＲＯＭやハードディスクドライブ等のデータ記憶部に格納しておいてもよい。

【0042】

そして、ジェスチャコマンド認識部７から出力されたコマンドは、対応する操作対象機器または操作対象機能部に入力され、入力されたコマンドに応じた処理が機器／機能部において実行されるようになっている。

【0043】

このような構成によれば、手の位置に応じた操作対象機器および操作対象機能部の選択が可能であるので、複数の操作対象機器／機能部の選択的な操作を簡易な構成によって迅速かつ容易に行うことができる。

【0044】

〔ジェスチャ認識方法およびプログラム〕
次に、前述したジェスチャ認識装置１を適用した本発明に係るジェスチャ認識方法およびプログラムの第１実施形態について、図３を参照して説明する。

【0045】

本実施形態においては、まず、図３のステップ１（ＳＴ１）において、座標／機器対応関係記憶部５への対応関係の設定（記録）を行う。この処理は、ジェスチャ認識装置１の製造時に行うようにしてもよい。

【0046】

次いで、ステップ２（ＳＴ２）において、実使用の際に、撮像装置２による撮像を開始する。この撮像の開始は、ジェスチャ入力の所定のトリガの発生を待って行うようにしてもよい。

【0047】

次いで、ステップ３（ＳＴ３）において、手特徴認識部３により、ステップ２（ＳＴ２）において撮像された撮像画像に基づいて、手の特徴を認識し、認識結果の変化を手の動き情報として出力する。

【0048】

次いで、ステップ４（ＳＴ４）において、本実施形態のプログラムによって作動されるコンピュータの機能としての手座標認識部４により、ステップ３（ＳＴ３）において認識された手の特徴に基づいて、手の座標を認識する。

【0049】

次いで、ステップ５（ＳＴ５）において、本実施形態のプログラムによって作動されるコンピュータの機能としての操作対象機器特定部６により、ステップ４（ＳＴ４）において認識された手の座標と、ステップ１（ＳＴ１）において設定された対応関係とに基づいて、当該手の座標に対応する操作対象機器／機能部を特定する。

【0050】

次いで、ステップ６（ＳＴ６）において、本実施形態のプログラムによって作動されるコンピュータの機能としてのジェスチャコマンド認識部７により、ステップ６（ＳＴ６）において特定された操作対象機器／機能部と、ステップ３（ＳＴ３）において出力された手の動き情報とに基づいて、対応するコマンドを特定された操作対象機器／機能部に出力して処理を終了する。

【0051】

（第２実施形態）
次に、本発明の第２実施形態について、図４を参照して説明する。

【0052】

なお、第１実施形態と基本的構成が同一もしくはこれに類する箇所については、同一の符号を用いて説明する。

【0053】

本実施形態におけるジェスチャ認識装置１は、基本的な構成は第１実施形態と同様である。

【0054】

ただし、本実施形態においては、座標／機器対応関係記憶部５に設定される対応関係の態様として、より具体的かつ好適な態様が選択されている。

【0055】

すなわち、図４に示すように、本実施形態においては、任意の座標範囲が、この座標範囲に対応する操作対象機器および操作対象機能部に対して相対的に近く且つ当該座標範囲に対応しない操作対象機器および操作対象機能部に対して相対的に遠い範囲に設定されている。具体的には、図４において、車載機の音量調整に対応する座標範囲（Ｘ１，Ｙ１〜Ｘａ，Ｙａ）は、音量調整用のステアリングスイッチの付近に設定されている。また、エアコンの温度調整に対応する座標範囲（Ｘ３，Ｙ３〜Ｘｃ，Ｙｃ）は、エアコン操作パネルの付近に設定されている。さらに、エアコンの風量調整に対応する座標範囲（Ｘ４，Ｙ４〜Ｘｄ，Ｙｄ）は、エアコンの噴き出し口付近に設定されている。

【0056】

このような構成によれば、操作対象機器／機能部の近くに手を位置させることによって当該操作対象機器／機能部を選択することができるので、操作対象機器／機能部の操作をより直感的に行うことができる。図４の例でいえば、ハンドル付近で手を上方／下方に払うジェスチャによって音量のアップ／ダウンを行うことができ、また、エアコン操作パネル付近での同様のジェスチャによって温度のアップ／ダウンを行うことができ、さらに、エアコン噴き出し口付近での同様のジェスチャによって風量のアップ／ダウンを行うことができる。

【0057】

（第３実施形態）
次に、本発明の第３実施形態について、図５を参照して説明する。

【0058】

図５に示すように、本実施形態においては、座標／機器対応関係記憶部５に、操作対象機器および操作対象機能部と三次元の座標範囲（Ｘ，Ｙ，Ｚ）との対応関係が設定されている。ここで、Ｚ座標は、図４の例でいえば奥行き方向となる。

【0059】

このような構成によれば、操作対象機器／機能部付近でのジェスチャ入力のみが認識されるようにすることができるので、ユーザが意図しない操作が誤認識されることを有効に回避することができる。

【0060】

なお、本実施形態は、第１実施形態および第２実施形態のいずれとも組み合わせるようにしてもよい。

【0061】

（第４実施形態）
次に、本発明の第４実施形態について、図６および図７を参照して説明する。

【0062】

なお、第１実施形態と基本的構成が同一もしくはこれに類する箇所については、同一の符号を用いて説明する。

【0063】

図６に示すように、本実施形態におけるジェスチャ認識装置１は、第１実施形態の構成に加えて、更に、通知装置としての通知部８を有している。この通知部８は、操作対象機器特定部６による操作対象機器／機能部の特定が行われたことをユーザに通知するようになっている。この通知は、音声出力および表示の少なくとも一方によって行うようにしてもよい。

【0064】

そして、本実施形態におけるジェスチャ認識方法およびプログラムは、図７に示すように、図３に示したステップ５（ＳＴ５）とステップ６（ＳＴ６）との間に、ステップ７（ＳＴ７）を実行する。

【0065】

すなわち、ステップ７（ＳＴ７）においては、通知部８により、操作対象機器／機能部の特定をユーザに通知する。

【0067】

なお、本発明は、前述した実施の形態に限定されるものではなく、本発明の特徴を損なわない限度において種々変更してもよい。

【0068】

例えば、本発明は、操作対象機器として、ヘッドアップディスプレイやメータパネルの操作に適用してもよい。

【0069】

また、本発明は、車室内以外の空間に設置された複数の操作対象機器の操作に適用してもよい。

【符号の説明】

【0070】

１ ジェスチャ認識装置
２ 撮像装置
４ 手座標認識部
５ 座標／機器対応関係記憶部
６ 操作対象機器特定部
７ ジェスチャコマンド認識部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】