7216373 ジェスチャ検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-24

(45)【発行日】2023-02-01

(54)【発明の名称】ジェスチャ検出装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20230125BHJP

【ＦＩ】

G06T7/20 300A

【請求項の数】 5

(21)【出願番号】P 2019200201

(22)【出願日】2019-11-01

(65)【公開番号】P2021072059

(43)【公開日】2021-05-06

【審査請求日】2022-02-16

(73)【特許権者】

【識別番号】592032636

【氏名又は名称】学校法人トヨタ学園

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】110001128

【氏名又は名称】弁理士法人ゆうあい特許事務所

(72)【発明者】

【氏名】ベニテス ヒブラン

(72)【発明者】

【氏名】浮田 宗伯

(72)【発明者】

【氏名】津田 佳行

【審査官】笠田 和宏

(56)【参考文献】

【文献】特開２０１９－０４０４６５（ＪＰ，Ａ）

【文献】特開２００５－１２２４９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

操作者の手を含む全体画像（４０）の撮像データを入力し、該撮像データから前記手が存在する領域である手領域（４１）を特定する手検出部（１１）と、
前記全体画像の撮像データに基づいて、該全体画像の特徴量を抽出する全体特徴抽出部（１２ａ）と、
前記全体画像の中から前記手領域の画像である手領域画像（４１ａ）を切り出し、該手領域画像の特徴量を抽出する手領域特徴抽出部（１２ｂ）と、
前記全体特徴抽出部で抽出された前記全体画像の特徴量と前記手領域特徴抽出部で抽出された前記手領域画像の特徴量を結合する特徴結合部（１２ｃ）と、
前記特徴結合部による結合後の特徴量について時系列パターンの分類を行い、前記操作者が前記手を動かすことによるジェスチャ動作の開始フレームから終了フレームまでのジェスチャ区間を抽出する時系列パターン分類部（１２ｄ）と、
前記時系列パターン分類部で抽出された前記ジェスチャ区間中の前記画像フレームに基づき、前記ジェスチャ動作を識別するジェスチャ識別部（１４）と、を有している、ジェスチャ検出装置。

【請求項2】

前記時系列パターン分類部は、過去の前記撮像データにおける画像フレームの中から前記開始フレームを検出すると共に、現在の画像フレームを終了フレームとして、前記ジェスチャ区間を抽出する、請求項１に記載のジェスチャ検出装置。

【請求項3】

前記全体特徴抽出部は、前記全体画像から前記手領域画像をマスクして、マスク後の前記全体画像の特徴量を抽出する、請求項１または２に記載のジェスチャ検出装置。

【請求項4】

前記全体特徴抽出部は、前記手領域画像を黒色または白色でマスクする、請求項３に記載のジェスチャ検出装置。

【請求項5】

前記撮像データから前記全体画像の中から前記操作者の顔が存在する領域である顔領域を特定する顔検出部（１５）と、
前記全体画像の中から前記顔領域の画像である顔領域画像を切り出し、該顔領域画像の特徴量を抽出する顔領域特徴抽出部（１２ｅ）と、を備え、
前記特徴結合部は、前記全体特徴抽出部で抽出された前記全体画像の特徴量と前記手領域特徴抽出部で抽出された前記手領域画像の特徴量に加えて、前記顔領域特徴抽出部で抽出された前記顔領域画像の特徴量も結合する、請求項１ないし４のいずれか１つに記載のジェスチャ検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、操作者の手指の動きによるジェスチャ動作を検出するジェスチャ検出装置に関するものである。

【背景技術】

【0002】

従来、ジェスチャ動作を検出するジェスチャ検出装置として、特許文献１に示されるものがある。この装置では、操作者の指が特定の領域内に入った時に、ジェスチャ機能をオンすることで、ユーザがジェスチャ以外の特別な操作を行わなくても、ジェスチャ認識のオン／オフを切り替えることを可能としている。

【0003】

なお、本明細書において「ジェスチャ動作」とは、例えば、操作者が手指を上下左右などの所定の一方向に動かす、または指を時計回りもしくは反時計回りに動かすなど、機器操作などを行うために手指を用いて所定動作を行うことを意味する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－０７７２２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ジェスチャ動作に基づく機器操作を行うこと（以下、ジェスチャ操作という）を車両におけるウィンドシールドディスプレイ（以下、ＷＳＤという）のような広い画面を対象として適用することが検討されている。

【0006】

しかしながら、上記した特許文献１のジェスチャ検出装置でのジェスチャ動作の検出手法を適用する場合、ジェスチャ機能をオンする特定の領域を画面に合わせて広くする必要がある。このため、ジェスチャ動作以外の動作についてもジェスチャ動作と誤って検出してしまうという課題が発生する。

【0007】

本発明は上記点に鑑みて、ジェスチャ機能をオンするために特定の領域を設定しなくても、ジェスチャ動作を検出することが可能なジェスチャ検出装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するため、請求項１に記載のジェスチャ検出装置は、操作者の手を含む全体画像（４０）の撮像データを入力し、該撮像データから手が存在する領域である手領域（４１）を特定する手検出部（１１）と、全体画像の撮像データに基づいて、該全体画像の特徴量を抽出する全体特徴抽出部（１２ａ）と、全体画像の中から手領域の画像である手領域画像（４１ａ）を切り出し、該手領域画像の特徴量を抽出する手領域特徴抽出部（１２ｂ）と、全体特徴抽出部で抽出された全体画像の特徴量と手領域特徴抽出部で抽出された手領域画像の特徴量を結合する特徴結合部（１２ｃ）と、特徴結合部による結合後の特徴量について時系列パターンの分類を行い、ジェスチャ動作の開始フレームから終了フレームまでのジェスチャ区間を抽出する時系列パターン分類部（１２ｄ）と、時系列パターン分類部で抽出されたジェスチャ区間中の画像フレームに基づき、ジェスチャ動作を識別するジェスチャ識別部（１４）と、を有している。

【0009】

このようなジェスチャ検出装置では、手および手以外の広範囲を撮像した距離画像の撮像データから操作者の手が存在する手領域を特定している。そして、全体画像から手領域を切り取った手領域画像の特徴量と全体画像の特徴量とに基づいてジェスチャ動作が行われているジェスチャ区間を抽出し、ジェスチャ動作を検出している。これにより、ＷＳＤのような広い画面を対象としてジェスチャ動作が行われる場合に、ジェスチャ機能をオンするために特定の領域を設定しなくても、ジェスチャ動作を検出することが可能となる。

【0010】

なお、各構成要素等に付された括弧付きの参照符号は、その構成要素等と後述する実施形態に記載の具体的な構成要素等との対応関係の一例を示すものである。

【図面の簡単な説明】

【0011】

【図1】本発明の第１実施形態にかかるジェスチャ検出装置のブロック構成を示した図である。

【図2A】撮像装置が撮像した全体画像の一例を示した図である。

【図2B】撮像装置が撮像した全体画像から手領域をマスクした場合を示した図である。

【図3A】全体画像から手領域を切り出した様子を示した図である。

【図3B】全体画像から手領域を切り出し、手領域のサイズを全体画像の画像サイズに大きさを合わせた場合の様子を示した図である。

【図4】手領域の特定手法を示すフローチャートである。

【図5】手の画像から算出した特徴量と手以外の画像から算出した特徴量をＸＹ座標上にプロットして閾値を設定した場合を示す図である。

【図6】全体画像から小領域を切り出して小領域での特徴量を抽出する際の様子を示した図である。

【図7】撮像データからの特徴量の抽出の様子を示した図である。

【図8】時系列パターンの分類手法を示した図である。

【図9】ジェスチャ検出装置が実行する処理のフローチャートである。

【図10】第２実施形態で説明する特徴量の結合の様子を示した図である。

【図11A】時系列パターン分類のフローチャートである。

【図11B】図１１Ａ中のステップＳ３００で用意される現フレームからＮフレーム前の特徴量を示した図である。

【図12】第４実施形態にかかるジェスチャ検出装置のブロック構成を示した図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について図に基づいて説明する。なお、以下の各実施形態相互において、互いに同一もしくは均等である部分には、同一符号を付して説明を行う。

【0013】

（第１実施形態）
第１実施形態について説明する。本実施形態にかかるジェスチャ検出装置は、例えば車両における情報機器のジェスチャ操作に適用される。例えば、操作機器としてＷＳＤが挙げられ、ＷＳＤの表示部に映し出される表示画像上でのジェスチャ操作を行う場合のジェスチャ動作の検出のために本実施形態にかかるジェスチャ検出装置が適用される。

【0014】

図１に示すように、本実施形態にかかるジェスチャ検出装置１０は、車室内に備えられた撮像装置２０からの撮像データに基づいてジェスチャ動作の検出を行う。そして、ジェスチャ検出装置１０は、ジェスチャ動作の検出結果を示すジェスチャ検出データを情報機器３０に出力し、ジェスチャ動作に対応する情報機器３０の操作が行われるようにする。

【0015】

撮像装置２０は、操作者の手を含む領域の画像を連続的に撮像し、ジェスチャ検出装置１０に撮像データを入力するものであり、距離画像を撮像できるもの、例えば２Ｄの近赤外線画像もしくは可視光画像を撮像できる車載カメラなどで構成される。

【0016】

情報機器３０としては、ジェスチャ検出装置１０での検出結果が用いられるものであればどのようなものであっても良いが、上記したように、例えばＷＳＤが挙げられる。ＷＳＤでは、例えばナビゲーションシステムにおける地図表示や経路案内表示が行われ、操作者は、ジェスチャ動作を行って表示された地図の広域表示もしくは詳細表示の切り替えや、経路案内の設定等を行えるようになっている。また、自動運転時などにおいては、ＷＳＤでゲームなどの表示を行うことも可能であり、操作者は、ジェスチャ動作を行ってゲーム内の操作対象となるアイコンの操作などが行えるようになっている。

【0017】

ジェスチャ検出装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏなどを備えたマイクロコンピュータによって構成され、制御部を構成するものである。本実施形態では、ジェスチャ検出装置１０は、手検出部１１、ジェスチャ区間抽出部１２、メモリ１３およびジェスチャ識別部１４を有した構成とされている。

【0018】

手検出部１１は、撮像装置２０から入力される撮像データから操作者の手が存在する領域（以下、手領域という）を特定し、その領域に関するデータをジェスチャ区間抽出部１２に伝える。手検出部１１による手領域の特定手法については後述する。

【0019】

ジェスチャ区間抽出部１２は、ジェスチャ動作が行われている区間であるジェスチャ区間を抽出する。具体的には、ジェスチャ区間抽出部１２は、全体特徴抽出部１２ａ、手領域特徴抽出部１２ｂ、特徴結合部１２ｃおよび時系列パターン分類部１２ｄを有した構成とされている。

【0020】

全体特徴抽出部１２ａは、撮像装置２０で撮像した全体画像の撮像データを入力として、その全体画像の特徴量を抽出する。全体画像の特徴量については、例えば、図２Ａに示すように撮像装置２０が撮像した全体画像４０そのものを用いて抽出しても良いし、図２Ｂに示すように全体画像４０から上記した手検出部１１で検出した手領域４１をマスクして抽出しても良い。マスクする場合には、特徴量に手の位置の情報が埋め込まれるように、撮像装置２０が撮像する画像に含まれる可能性が低い画像を手検出部１１が検出した手領域４１に埋め込むことでマスクしても良い。画像中に含まれる可能性が低い画像としては、例えば黒色や白色などのように撮像され得る画像の色彩と大きな差が生じる色彩の画像が挙げられる。色彩の差については、例えば手領域４１の色彩として想定される色彩の色相、再度、明度の少なくとも１つが閾値以上の差になっていれば良い。なお、この全体特徴抽出部１２ａによる特徴量の抽出手法については後述する。

【0021】

手領域特徴抽出部１２ｂは、図３Ａに示すように、撮像装置２０で撮像した全体画像４０の中から手検出部１１が検出した手領域４１に相当する部分を切り出す。そして、手領域特徴抽出部１２ｂは、切り出した画像（以下、手領域画像という）４１ａを入力として、その手領域画像４１ａの特徴量を抽出する。このときの特徴量の抽出については、図３Ｂに示すように、手領域画像４１ａの画像サイズを全体画像４０の画像サイズに大きさを揃えて行うようにしても良い。このようにすれば、手領域画像４１ａの特徴量を全体画像４０の特徴量と重みを揃えることができ、手領域画像４１ａの特徴量がクローズアップされ、全体画像４０の特徴量に埋もれないで現れ易くなるようにできる。

【0022】

なお、撮像装置２０として２Ｄの近赤外線画像が用いられる場合、例えば温度分布に応じた色彩が濃淡パターンとして現れた画像となり、可視光画像の場合は、明るさが濃淡パターンとして現れた画像となる。いずれの場合でも、同様の手法によって特徴量を抽出できる。

【0023】

特徴結合部１２ｃは、全体特徴抽出部１２ａで抽出した全体画像４０の特徴量と手領域特徴抽出部１２ｂで抽出した手領域画像４１ａの特徴量とを結合する。この結合によってデータ圧縮が行われるようにすると好ましい。特徴量の結合の手法としては様々な手法が有り、どのような手法でも良いが、例えば重み付き和によって結合させたり、単純に特徴量を示すデータを連結することで結合させたりする手法が挙げられる。重み付き和による結合とする場合には、データ圧縮も図れる。

【0024】

時系列パターン分類部１２ｄは、特徴結合部１２ｃで結合した特徴量について、時系列パターンを分類し、過去の画像フレームの中からジェスチャ動作の開始フレームを検出する。そして、時系列パターン分類部１２ｄでは、現在の画像フレーム（以下、現フレームという）をジェスチャ動作の終了フレームとして、開始フレームから終了フレームまでとなるジェスチャ区間を抽出する。時系列パターンの分類手法については様々な手法を適用できるが、ここでは再帰型ニューラルネットワーク（以下、ＲＮＮ（Recurrent Neural Network）という）を用いている。

【0025】

ＲＮＮは、新たに特徴量が入力される毎に、現フレームをジェスチャ動作の終了フレームと仮定すると共に、｛１，２，・・・，Ｎ｝フレーム前を開始フレームと仮定した時の確からしさＮ個を出力するように学習されている。Ｎ個のうち確からしさの最大値に基づいてジェスチャ動作の開始フレームが求められ、現フレームを終了フレームとして、開始フレームから終了フレームまでのジェスチャ区間が抽出される。具体的には、Ｎ個のうち確からしさが最大値となっているｉ番目のノードが閾値を超えると、ｉフレーム前が開始フレームとされることで、ジェスチャ区間が抽出されるようになっている。この時系列パターンの分類手法についても後述する。

【0026】

メモリ１３は、手検出部１１、ジェスチャ区間抽出部１２およびジェスチャ識別部１４で実行する各種処理のプログラムや、マッチング用データなどの各種データを記憶したＲＯＭ、ＲＡＭ等の非遷移有形記録媒体を構成するものである。このメモリ１３に記憶されたプログラムや各種データを用いて各種処理が実行されるようになっている。

【0027】

ジェスチャ識別部１４は、ジェスチャ区間抽出部１２で抽出したジェスチャ区間中の各フレーム、つまり開始フレームから終了フレームまでの間のフレームに基づき、手検出部１１で検出した手領域の画像からジェスチャ動作を識別する。識別手法自体は、手領域が既に特定されていることから、従来と同様の手法などで良い。例えば、ジェスチャ識別部１４は、予めジェスチャ動作のパターンとしてメモリ１３に記憶させた様々なパターンと対比し、最も近いパターンのジェスチャ動作と判定することで、ジェスチャ動作を識別することができる。このようにして、ジェスチャ検出装置１０でジェスチャ動作が検出されると、その検出結果が情報機器３０に伝えられ、例えば、情報機器３０の操作について、ジェスチャ動作に従った操作が行われることになる。

【0028】

続いて、上記した手領域の特定手法、特徴量の抽出手法、時系列パターンの分類手法について、順に説明する。

【0029】

（１）手領域の特定手法
手領域の特定については、図４に示すフローチャートに従って行っている。具体的には、ステップＳ１００のように、撮像装置２０から入力された全体画像４０から一部を切り出して特徴量を抽出したのち、ステップＳ１１０のように、事前学習済みのパターンと照合する。これにより、切り出された部分画像の「手らしさ」の確からしさ、つまり手であることの確からしさを算出する。
照合に関しては、メモリ１３に学習済みパターンを記憶しているため、そのデータをメモリ１３から読み出すことによって行われる。手の画像と手以外の画像をそれぞれ多数用意し、各画像の特徴量を算出した場合に、その算出結果が手の画像の特徴量と手以外の画像の特徴量とで差が出ることから、その差の中間に位置する値を学習済みパターンとしている。

【0030】

例えば、図５に示すように、手の画像から算出した特徴量と手以外の画像から算出した特徴量をＸＹ座標で表すと、それぞれの特徴量が存在する領域が分かれるため、その２つの領域を区画する境界線を学習済みパターンとしている。

【0031】

そして、ステップＳ１２０のように、切り出された部分画像の「手らしさ」の確からしさに基づいて、手領域を特定する。具体的には、全体画像４０から切り出した一部が手領域に相当するか否かを、その切り出した一部についての特徴量が学習済みパターンとして記憶した境界線より、手の画像から算出した特徴量の方へどれだけ離れているかに基づいて判定している。確からしさが閾値以上なら、その切り出した一部が手領域であると判定している。

【0032】

例えば、図６に示すように、全体画像４０をｍ×ｎの画素に区画し、注目したい画素とその周辺の画素を含んだ小領域４２、例えば５０×５０や１００×１００の領域を設定し、その小領域４２の画像について特徴量を抽出する。このときの特徴量の抽出についても、後述する手法を用いれば良い。

【0033】

（２）特徴量の抽出手法
特徴量の抽出手法としては、様々な手法を適用できるが、ここでは畳み込みニューラルネットワーク（以下、ＣＮＮ（Convolutional Neural Network）という）を適用している。ＣＮＮは、畳み込み演算（Convolution）による画像特徴量の抽出とプーリング（Pooling）と呼ばれる処理を行い、何層にもわたって積み上げられたネットワークを構成して特徴量を抽出する手法である。

【0034】

Convolution層では、図６と同様に、注目したい画素とその周辺の画素を含んだ小領域にあるデータの重み付き和を計算することで特徴量を取り出している。例えば３×３の領域の場合には、９画素分の重み付き和を計算する。そして、少しずつ小領域をずらし、対象とする画像の全域について重み付き和を計算する。全体特徴抽出部１２ａによる全体画像４０での特徴量抽出を行う場合には、全体画像４０の全域について重み付き和を計算し、手領域特徴抽出部１２ｂによる手領域画像４１ａでの特徴量検出の場合には、手領域の全域について重み付き和を計算する。

【0035】

例えば、図７の状態Ａに示すような全体画像４０からの任意の小領域にあるデータの重み付き和が算出される。そして、対象とする画像の全域を走査して重み付き和が計算され、図７の状態Ｂに示すような画像全域の特徴量が得られる。

【0036】

Pooling層では、小領域にあるデータを代表値、例えば最大値や平均値などにまとめ、データの縮小を行っている。つまり、Convolution層で得た重み付き和の特徴を残しつつ、データ量を削減している。このとき、小領域については、互いに重ならないようにずらすようにする。これにより、図７の状態Ｃに示すようにPooling層が得られる。

【0037】

これらConvolution層とPooling層を重ねて、対象とする画像の濃淡パターンに基づく特徴量が抽出することで、図７の状態Ｄに示すように、対象とする画像の特徴量のデータが形成される。

【0038】

なお、各層を得るときに、活性化関数を適用することもできる。活性化関数は、各層の出力値に非線形変換を行い、表現力を向上するものである。活性化関数については、Convolution層とPooling層のいずれか一方について、もしくは両方について適用することができる。活性化関数を適用することで、閾値を設定する境界線がより線形的なものであっても対応することができる。

【0039】

全結合（Fully Connected）層では、Convolution層とPooling層を重ねて得られた対象とする画像の特徴量のデータを１つのノードに結合し、特徴変数を出力する。例えば、全結合層では、特徴量の全データの重み付き和を計算している。これにより、図７の状態Ｅに示すように、全結合層が得られる。

【0040】

（３）時系列パターンの分類手法
上記した手法に基づいて、図８に示すように、全体特徴抽出部１２ａによる全体画面での特徴量抽出と手領域特徴抽出部１２ｂによる手領域画像４１ａでの特徴量抽出が行われると、これら各特徴量が特徴結合部１２ｃにて結合される。そして、この結合後の特徴量に基づいて時系列パターンの分類が行われる。ここでは、全体画面での特徴量のノード（以下、全体特徴量ノードという）と手領域画面での特徴量のノード（以下、手領域特徴量ノードという）の重み付き和を計算することによって、結合後の特徴量のノードを得ている。

【0041】

時系列パターンの分類については、ＲＮＮによって行っている。具体的には、結合後の特徴量のノードと、現フレームの直前のフレームの際に得た直前の内部状態を示すノードとの重み付き和を算出することで、現フレームの内部状態を計算する。そして、算出された内部状態を示す全データの重み付け和を計算することでＲＮＮの出力を得ている。なお、このときに得た現フレームの内部状態は、直前の内部状態を示すノードとして記憶され、次のフレームの内部状態を計算する際に用いられることになる。

【0042】

ＲＮＮの出力は、図中に示されるように、１～Ｎのノードとして表され、各ノードのデータは、現フレームを終了フレームと仮定すると共に、｛１，２，・・・，Ｎ｝フレーム前を開始フレームと仮定した時の確からしさを示している。この各ノードに表されている確からしさの数値の中から最大値を選択し、その最大値が閾値を超えているか否かを判定する。そして、その最大値が閾値を超えていれば、その最大値となっていたノードの番号が現フレームを最終フレームとしたときに開始フレームが何フレーム前であるかを示していることになる。

【0043】

一例を示すと、各ノードの確からしさの数値は０～１で表されており、閾値は例えば０．５などで表されている。ＲＮＮの出力における２番目のノードの確からしさの数値が全ノード中の最大値であったとすると、その最大値が閾値となる０．５を超えていれば、開始フレームは現フレームの２フレーム前として算出される。これにより、ジェスチャ動作の開始フレームから終了フレームまでとなるジェスチャ区間が抽出され、その抽出結果がジェスチャ識別部１４に伝えられることで、ジェスチャ動作が識別されるようになっている。

【0044】

以上のようにして、本実施形態にかかるジェスチャ検出装置１０が構成されており、手領域の特定、特徴量の抽出、時系列パターンの分類およびジェスチャ動作の識別が行われている。

【0045】

図９は、ジェスチャ検出装置１０が実行する処理のフローチャートである。この処理は、撮像装置２０からの撮像データに基づいて所定の制御周期毎に実行される。ジェスチャ検出装置１０が車両に搭載される場合には、例えばイグニッションスイッチなどの車両の起動スイッチがオンされると、ジェスチャ検出装置１０も電源投入がなされ、所定の制御周期毎に図９に示す各処理が実行される。

【0046】

まず、ステップＳ２００では、撮像装置２０からの距離画像の撮像データを入力する。そして、ステップＳ２１０において、手領域を特定する。この処理は、上記した手領域の特定手法に基づいて、手検出部１１によって行われる。その後、ステップＳ２２０で全体画像４０の特徴量を抽出すると共に、ステップＳ２３０において手領域画像の特徴量を抽出する。この処理は、上記した特徴量の抽出手法に基づいて、全体特徴抽出部１２ａや手領域特徴抽出部１２ｂによって行われる。

【0047】

次に、ステップＳ２４０に進み、ステップＳ２２０、Ｓ２３０で抽出した全体画像４０の特徴量と手領域画像４１ａの特徴量とを結合する。この処理は、重み付き和の算出などに基づき、特徴結合部１２ｃによって行われる。そして、ステップＳ２５０に進み、現フレームを終了フレームと仮定し、｛１，２，・・・，Ｎ｝フレーム前を開始フレームと仮定した時の確からしさを算出する。続いて、ステップＳ２６０において、ステップＳ２５０で得られた各ノードの確からしさの最大値がｉ番目のノードであったとすると、ｉ番目のノードの確からしさが閾値を超えているか否かを判定する。ここで肯定判定されればステップＳ２７０に進み、否定判定されたら処理を終了して再びステップＳ２００に戻る。ステップＳ２７０では、最大値となっていたノードの番号ｉが現フレームを最終フレームとしたときに開始フレームが何フレーム前であるかを示していることに基づき、ｉフレーム前から現フレームをジェスチャ区間として抽出する。これらステップＳ２４０～Ｓ２７０の処理は、上記した時系列パターンの分類手法に基づいて、時系列パターン分類部１２ｄによって行われる。

【0048】

最後に、ステップＳ２８０に進み、ステップＳ２７０で抽出されたジェスチャ区間におけるジェスチャ動作を識別する。このようにして、ジェスチャ検出装置１０によってジェスチャ動作が検出される。

【0049】

以上説明したように、本実施形態にかかるジェスチャ検出装置１０では、手以外の広範囲を撮像した距離画像の撮像データから操作者の手が存在する手領域を特定している。そして、全体画像４０から手領域を切り取った手領域画像４１ａの特徴量と全体画像４０の特徴量とに基づいてジェスチャ動作が行われているジェスチャ区間を抽出し、ジェスチャ動作を検出している。これにより、ＷＳＤのような広い画面を対象としてジェスチャ動作が行われる場合に、ジェスチャ機能をオンするために特定の領域を設定しなくても、ジェスチャ動作を検出することが可能となる。

【0050】

（第２実施形態）
第２実施形態について説明する。本実施形態は、第１実施形態に対して特徴量の結合手法を変更したものであり、その他については第１実施形態と同様であるため、第１実施形態と異なる部分についてのみ説明する。

【0051】

本実施形態では、特徴結合部１２ｃによる特徴量の結合を第１実施形態のような重き付き和によって行うのではなく、次元削減手法、例えば主成分分析（以下、ＰＣＡ（Principal Component Analysis）という）によって行う。

【0052】

例えば、図１０に示すように、全体画像４０の特徴量と手領域画像４１ａの特徴量とを単純に連結する。そして、ＰＣＡによって、次元削減を行うことで、結合した特徴量を得る。

【0053】

このようにすれば、過学習の抑制、メモリ・計算量削減を図ることが可能となる。なお、ＰＣＡによって得た結合後の特徴量を用いて、第１実施形態において図８を用いて説明した場合と同様、時系列パターンの分類が行われることになる。

【0054】

（第３実施形態）
第３実施形態について説明する。本実施形態は、第１、第２実施形態に対して時系列パターンの分類手法を変更したものであり、その他については第１、第２実施形態と同様であるため、第１、第２実施形態と異なる部分についてのみ説明する。

【0055】

上記第１実施形態では、時系列パターンの分類手法としてＲＮＮを用いたが、本実施形態では、複数のフレームの特徴量を結合してパターン分類を行うという手法を用いる。

【0056】

具体的には、本実施形態では、図１１Ａに示すフローチャートに従って時系列パターンの分類を行っている。

【0057】

まず、ステップＳ３００のように、特徴結合部１２ｃで得た結合後の特徴量を複数フレーム分用意する。具体的には、図１１Ｂに示すように、現フレームからＮフレーム前に得た結合後の特徴量を用意する。なお、このように複数フレーム分の結合後の特徴量を用意できるように、メモリ１３には過去の複数フレーム分の結合後の特徴量が記憶されるようにしておく。

【0058】

次に、ステップＳ３１０のように、複数フレーム分の結合後の特徴量をさらに結合する。このときの結合手法については、第１実施形態のように重き付き和を算出したり、単純に結合したり、さらにＰＣＡ等による次元削減を行ったりする手法を用いることができる。

【0059】

そして、ステップＳ３２０のように、事前学習済みのパターンと照合する。これにより、複数フレーム分の結合後の特徴量の「ジェスチャらしさ」の確からしさ、つまりジェスチャ動作であることの確からしさを算出する。

【0060】

照合に関しては、メモリ１３に学習済みパターンを記憶しているため、そのデータをメモリ１３から読み出すことによって行われる。ジェスチャ動作時に得られる結合後の特徴量とジェスチャ動作以外の時に得られる結合後の特徴量をそれぞれ多数用意し、それらの算出結果がジェスチャ動作時とそれ以外の時とで差が出ることから、その差の中間に位置する値を学習済みパターンとしている。

【0061】

そして、ステップＳ３３０において、ステップＳ３１０で得た結合後の特徴量の「ジェスチャらしさ」の確からしさに基づいて、ジェスチャ動作であることを特定する。具体的には、「ジェスチャらしさ」の確からしさが閾値以上であれば、Ｎフレーム前から現フレームがジェスチャ区間と判定する。

【0062】

このように、複数フレーム分の特徴量を結合し、ジェスチャ動作の学習済みパターンに基づいて「ジェスチャらしさ」を算出して、ジェスチャ動作であることを特定するようにしても良い。

【0063】

なお、ここでは複数フレーム分の一例としてＮ個分のフレームを例に挙げているが、Ｎを複数通り試行しても良い。例えば、Ｎ－１個分のフレームについても、同様に「ジェスチャらしさ」の確からしさを算出するようにしても良い。その場合、現フレームからＮ－１フレーム前までの結合後の特徴量から得た「ジェスチャらしさ」の確からしさと、現フレームからＮフレーム前までの結合後の特徴量から得た「ジェスチャらしさ」の確からしさのいずれが高いかを比較する。そして、確からしさが高い方における最も古いフレームを開始フレームとすれば良い。

【0064】

（第４実施形態）
第４実施形態について説明する。本実施形態は、第１～第３実施形態に対してジェスチャ動作の認識に他の要素を考慮するものであり、その他については第１～第３実施形態と同様であるため、第１～第３実施形態と異なる部分についてのみ説明する。

【0065】

操作者がジェスチャ動作を行う場合、手の動き以外にも特徴として現れる部分がある。例えば、操作者は、ジェスチャ動作を行うときには、操作対象に顔や視線を向けるが、ジェスチャ動作を行う手指以外の部分の動きが小さくなる。このため、本実施形態では、その一例として、操作者の顔についても検出し、顔の部分の特徴量についても加味して時系列パターンの分類を行う。

【0066】

本実施形態のジェスチャ検出装置１０は、図１２に示すように、第１実施形態で説明した構成に加えて顔検出部１５を備えていると共に、ジェスチャ区間抽出部１２に顔領域特徴抽出部１２ｅを備えている。

【0067】

顔検出部１５は、撮像装置２０から入力される撮像データから操作者の顔が存在する領域（以下、顔領域という）を特定し、その領域に関するデータをジェスチャ区間抽出部１２に伝える。顔検出部１５による顔領域の特定手法については、上記した手領域の特定手法と同様である。

【0068】

顔領域特徴抽出部１２ｅは、撮像装置２０で撮像した画像の中から顔検出部１５が検出した顔領域に相当する部分を切り出し、切り出した画像（以下、顔領域画像という）を入力として、その顔領域画面の特徴量を抽出する。このときの特徴量の抽出については、手領域画像４１ａの特徴量の抽出と同様の手法で良い。

【0069】

このように、顔検出部１５および顔領域特徴抽出部１２ｅを備えることで、顔領域画像の特徴量を抽出できる。また、全体特徴抽出部１２ａによる全体画像４０の特徴量を算出する際には、手領域４１に加えて顔領域もマスクするようにする。そして、特徴結合部１２ｃでは、全体特徴抽出部１２ａと手領域特徴抽出部１２ｂおよび顔領域特徴抽出部１２ｅそれぞれで抽出した特徴量を結合し、その結合後の特徴量を用いて時系列パターン分類部１２ｄによる時系列パターンの分類を行う。

【0070】

このようにすることで、ジェスチャ動作に関連する手以外の部分の特徴量も加味して、ジェスチャ動作を検出できる。これにより、より精度良く、ジェスチャ動作を検出することが可能となる。

【0071】

（他の実施形態）
本開示は、上記した実施形態に準拠して記述されたが、当該実施形態に限定されるものではなく、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

【0072】

例えば、特徴量の抽出手法として、ＣＮＮを例に挙げたが、その他の手法も適用可能である。例えば、ＨＯＧ（Histogram of oriented Gradient）、ＬＢＰ（Local Binary Pattern）などを用いて特徴量の抽出を行っても良い。また、時系列パターンの分類手法としてＲＮＮを用いる場合について説明したが、３ＤＣＮＮなどの他の時系列パターンの分類手法を用いることもできる。また、第２実施形態において、特徴量の結合を次元削減手法によって行う場合の一例としてＰＣＡを例に挙げたが、ＰＣＡ以外の次元削減手法を用いても良い。なお、次元削減手法による特徴量の結合を行っているが、次元削減は必須ではなく、例えば学習データが十分に得られているなどの場合には、次元削減を行わなくても良い。

【0073】

また、直前の画像フレームをメモリ１３に保存しておき、現フレームから特徴量を抽出する際に、その直前の画像フレームを組み合わせて用いても良い。例えば、直前の画像フレームと現フレームとの間の動き情報であるオプティカルフローを入力としてＣＮＮなどで特徴量を抽出するようにしても良い。また、直前の画像フレームを現フレームに組み合わせる場合、ＨｏＯＦ（Histogram of Optical Flow）や３Ｄ ＣＮＮ等を用いても良い。

【0074】

なお、手検出部１１とジェスチャ区間抽出部１２の各部で行われる特徴量の抽出手法については、いずれの手法を用いても構わないが、上記各実施形態のように、特徴量の抽出手法を同じ手法にすると好ましい。このようにすると、メモリ１３内に記憶しておく機械学習の辞書データ量を削減することが可能になる。

【0075】

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

【符号の説明】

【0076】

１１ 手検出部
１２ ジェスチャ区間抽出部
１２ａ 全体特徴抽出部
１２ｂ 手領域特徴抽出部
１２ｃ 特徴結合部
１２ｄ 時系列パターン分類部
１２ｅ 顔領域特徴抽出部
１４ ジェスチャ識別部
４０ 全体画像
４１ａ 手領域画像

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】