(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0010】
(実施の形態の要約)
実施の形態に係るジェスチャ判定装置は、操作者の手を周期的に撮像する撮像部と、撮像された複数の画像に基づいて算出した一方向に手が移動する際の移動量が移動量しきい値より大きく、かつ移動速度が第1の速度しきい値より大きい場合、手を払うジェスチャが行われたと判定して手を払うジェスチャに応じた操作情報を出力し、判定が行われた後、第1の速度しきい値より大きい第2の速度しきい値を設定し、予め定められた期間、第1の速度しきい値を第2の速度しきい値に切り替えて手を払うジェスチャを判定する判定部と、を備えて概略構成されている。
【0011】
このジェスチャ判定装置は、第1の速度しきい値より大きい第2の速度しきい値によって手を払うジェスチャを判定した後の手を払うジェスチャを判定するので、手を戻す動作が容易に手を払うジェスチャと判定されず、操作負荷を増加させることなく手を戻す動作を払うジェスチャと誤判定することを抑制することができる。
【0012】
[実施の形態]
(ジェスチャ判定装置1の概要)
図1(a)は、実施の形態に係るジェスチャ判定装置が搭載された車両内部の一例を示す概略図であり、
図1(b)は、ジェスチャ判定装置の一例を示すブロック図であり、
図1(c)は、ジェスチャ判定装置が接続された車両通信システムの一例を示すブロック図である。
図2(a)及び
図2(b)は、手を払う動作と戻す動作の一例を説明するための概略図である。なお、以下に記載する実施の形態に係る各図において、図形間の比率は、実際の比率とは異なる場合がある。また
図1(b)及び
図1(c)では、主な信号や情報の流れを矢印で示している。
【0013】
ジェスチャ判定装置1は、例えば、なされたジェスチャに基づいて車両8に搭載された電子機器の操作を可能とするものである。操作者は、予め定められたジェスチャを行うことでジェスチャに対応する電子機器の機能を操作することができる。この電子機器は、一例として、
図1(c)に示すナビゲーション装置84及び音楽及び映像再生装置85などである。ジェスチャ判定装置1及び電子機器は、一例として、
図1(c)に示すように、車両通信システム81を構成している。なお本実施の形態では、操作者の手9を検出対象とする。
【0014】
ジェスチャ判定装置1は、
図1(a)〜
図1(c)、
図2(a)及び
図2(b)に示すように、操作者の手9を周期的に撮像する撮像部としてのカメラ3と、撮像された複数の画像35に基づいて算出した一方向に手9が移動する際の移動量Xが移動量しきい値50より大きく、かつ移動速度Vが第1の速度しきい値51より大きい場合、手9を払うジェスチャが行われたと判定して手9を払うジェスチャに応じた操作情報S
2を出力し、判定が行われた後、第1の速度しきい値51より大きい第2の速度しきい値52を設定し、予め定められた期間、第1の速度しきい値51を第2の速度しきい値52に切り替えて手9を払うジェスチャを判定する判定部としての制御部5と、を備えて概略構成されている。
【0015】
(カメラ3の構成)
カメラ3は、例えば、CCDイメージセンサ(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの半導体素子を用いた撮像装置である。
【0016】
このカメラ3は、一例として、
図1(a)に示すように、車両8のセンターコンソール80に配置された表示装置87の上に配置されている。従って撮像領域30は、表示装置87の正面の領域である。カメラ3は、例えば、表示装置87の正面において行われたジェスチャを撮像する。また、このカメラ3は、例えば、近赤外線を撮像領域30方向に照射して撮像するように構成されている。
【0017】
カメラ3は、周期的に撮像領域30を撮像し、撮像した画像の情報として画像情報S
1を生成して制御部5に出力する。この撮像領域30を撮像した画像は、一例として、
図2(a)及び
図2(b)に示す画像35である。
【0018】
(制御部5の構成)
図3(a)は、比較例に係る1つの速度しきい値を用いた払うジェスチャの判定の一例を示すグラフであり、
図3(b)は、実施の形態に係るジェスチャ判定装置の第1の速度しきい値と第2の速度しきい値を用いた払うジェスチャの判定の一例を示すグラフである。
図3(a)及び
図3(b)における斜線は、判定された払うジェスチャによって手9が移動した移動量Xを示している。
【0019】
制御部5は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うCPU(Central Processing Unit)、半導体メモリであるRAM(Random Access Memory)及びROM(Read Only Memory)などから構成されるマイクロコンピュータである。このROMには、例えば、制御部5が動作するためのプログラムが格納されている。RAMは、例えば、一時的に演算結果などを格納する記憶領域として用いられる。
【0020】
制御部5は、例えば、
図1(b)に示すように、移動量しきい値50と、第1の速度しきい値51と、第2の速度しきい値52と、ジェスチャ情報53と、を有している。
【0021】
移動量しきい値50は、払うジェスチャの判定に用いられる手9の移動量Xのしきい値である。この移動量Xは、
図2(a)及び
図2(b)の斜線の面積に相当する。つまり移動量Xは、第1の速度しきい値51及び第2の速度しきい値52を超えた速度で移動した距離である。
【0022】
第1の速度しきい値51は、手9の移動速度Vに関するしきい値である。制御部5は、手9の移動速度Vが第1の速度しきい値51を超えると共に、手9の移動量Xが移動量しきい値50より大きい場合、払うジェスチャが行われたと判定する。
【0023】
ここで払うジェスチャは、
図2(a)及び
図2(b)に示すように、手9を一方向に移動させた後、修正などを目的に一方向とは逆の方向に再度払うジェスチャを行う場合と、手9を一方向に移動させた後、元の位置に戻す動作を伴うものとがある。以下では、比較例と本実施の形態とで、払うジェスチャを行った後、戻す動作を行った場合の判定の差について説明する。なお
図3(a)及び
図3(b)におけるグラフは、どちらも同じものである。
【0024】
図3(a)に示す比較例のように、速度しきい値が1つであった場合、払う動作が行われた時間t
1〜時間t
4において、速度しきい値100より大きい移動速度Vが時間t
2〜時間t
3の期間に検出され、この期間の移動量Xが移動量しきい値50より大きければ、払うジェスチャが行われたと判定される。
【0025】
また時間t
5〜時間t
8における手9を戻す動作において、払う動作よりもゆっくり戻したにも関わらず、速度しきい値100が一定であることから時間t
6〜時間t
7の期間、移動速度Vが速度しきい値100より大きいとされ、さらにこの期間の移動量Xが移動量しきい値50よりも大きいと、逆方向に払うジェスチャと判定され、操作者の意図しない誤判定がなされる。
【0026】
一方本実施の形態の制御部5は、
図3(b)に示すように、払う動作が行われた時間t
10〜時間t
13において、第1の速度しきい値51より大きい移動速度Vが時間t
11〜時間t
12に検出され、この期間の移動量Xが移動量しきい値50より大きければ、払うジェスチャが行われたと判定される。
【0027】
制御部5は、少なくとも払う動作において移動速度Vが第1の速度しきい値51以下となる時間t
12後に、第2の速度しきい値52を算出する。
【0028】
そして制御部5は、第1の速度しきい値51よりも大きい第2の速度しきい値52を用いて戻す動作を判定するので、
図3(b)に示すように、時間t
14〜時間t
15に行われた戻す動作の移動速度Vが第2の速度しきい値52を超えず、払うジェスチャと判定されない。しかし戻す動作において払うジェスチャが行われない訳ではないので、第2の速度しきい値52は、例えば、第1の速度しきい値52より大きく、直前の払う動作の最大移動速度V
maxより小さい値となることが好ましい。
【0029】
そこで制御部5は、以下の式(1)に示すように、移動速度Vの最大値(最大移動速度V
max)に定数αを乗算して第2の速度しきい値52を算出する。
第2の速度しきい値52=最大移動速度V
max×α・・・(1)
この定数αは、第2の速度しきい値52が第1の速度しきい値51より大きく最大値(最大移動速度V
max)より小さくなるように定められる。
従って定数αは、以下の式(2)を満たすことが好ましい。
第1の速度しきい値51<最大移動速度V
max×α<最大移動速度V
max・・・(2)
つまり定数αは、以下の式(3)の範囲であることが好ましい。
第1の速度しきい値51/最大移動速度V
max<α<1・・・(3)
【0030】
第2の速度しきい値52が最大移動速度V
maxより小さいことが好ましいのは、第2の速度しきい値52が最大移動速度V
max以上であると、戻す動作を払うジェスチャとして判定させることが困難になることによる。これは、払うジェスチャの後、戻す動作を無視する場合と似ている。戻す動作を無視すると、操作者が意図して行った払う動作の後の払うジェスチャが意図に反して判定されず、操作性が良くない。
【0031】
また第2の速度しきい値52が第1の速度しきい値51以下となると、払うジェスチャの後の戻す動作が払うジェスチャと判定され易くなってしまい、やはり操作性が良くない。
【0032】
そこで本実施の形態の制御部5は、上述の式(2)に示すように、第2の速度しきい値52が第1の速度しきい値51より大きく、直前の払うジェスチャの際の最大移動速度V
maxより小さいしきい値となるように第2の速度しきい値52を設定する。
【0033】
制御部5は、払うジェスチャが行われると、払うジェスチャの際の最大移動速度V
maxに予め定められた定数αを乗算する式(1)によって第2の速度しきい値52を算出すると共に、式(2)が成り立つかを確認する。制御部5は、式(2)が成り立つ場合、式(1)によって算出された第2の速度しきい値52を用いて戻す動作が払うジェスチャであるか判定する。
【0034】
また制御部5は、式(2)が成り立たない場合、式(3)を満たすように定数αを算出する。この式(3)を満たす定数αは、一例として、式(3)の左辺である第1の速度しきい値51/最大移動速度V
maxの値と右辺である1との差の二分の一の値とされる。
【0035】
なお変形例として制御部5は、払うジェスチャの移動速度Vの最大値(最大移動速度V
max)に基づいて算出した値を第1の速度しきい値51に加算して第2の速度しきい値52を算出しても良い。この第2の速度しきい値52の算出は、一例として、以下の式(4)によって行われる。
第2の速度しきい値52=第1の速度しきい値51+{最大移動速度V
max−(最大移動速度V
max−第1の速度しきい値51)×α}・・・(4)
なおαは、0より大きく、1より小さい数である。
【0036】
制御部5は、第2の速度しきい値52を予め定められた期間のみ使用し、予め定められた期間経過後、第2の速度しきい値52から第1の速度しきい値51に切り替える。この予め定められた期間は、一例として、2秒である。
【0037】
ジェスチャ情報53は、例えば、手9によって行われるジェスチャに関する情報である。この手9によって行われるジェスチャは、例えば、手9を払うジェスチャ、手9によって円を描くように行われるジェスチャなどである。制御部5は、例えば、複数の画像情報S
1とジェスチャ情報53に基づいた手9の形などにより、払う動作が行われたと判定し、払うジェスチャを判定する。
【0038】
手9を払うジェスチャは、一例として、操作対象の電子機器が表示装置87に表示させている表示画像を移動方向にスクロールさせるジェスチャである。操作対象の電子機器は、例えば、操作情報S
2に基づいて手9の移動方向に表示画像をスクロールさせる。
【0039】
(車両通信システム81の構成)
車両通信システム81は、一例として、CAN(Controller Area Network)などの規格を用いた通信システムである。車両通信システム81は、例えば、車両LAN(Local Area Network)82を介してジェスチャ判定装置1やナビゲーション装置84などが通信を行う。
【0040】
この車両通信システム81は、一例として、
図1(c)に示すように、ジェスチャ判定装置1、車両制御部83、ナビゲーション装置84、音楽及び映像再生装置85、空調装置86及び表示装置87などが通信できるように構成されている。車両制御部83は、例えば、この車両通信システム81を制御するマイクロコンピュータである。
【0041】
ジェスチャ判定装置1が操作対象としてナビゲーション装置84が操作される場合、ジェスチャ判定装置1から出力された操作情報S
2は、車両LAN82を介してナビゲーション装置84に入力する。ナビゲーション装置84は、入力した操作情報S
2に基づいて動作を行う。
【0042】
以下に、本実施の形態のジェスチャ判定装置1の払うジェスチャの判定に関する動作の一例について
図4のフローチャートに従って説明する。
【0043】
(動作)
車両8の電源が投入されると、ジェスチャ判定装置1のカメラ3は、撮像した撮像領域30の画像35の情報である画像情報S
1を周期的に制御部5に出力する。制御部5は、取得した画像情報S
1を時系列的に記憶する。
【0044】
制御部5は、取得した画像情報S
1及びジェスチャ情報53に基づいて手9の移動が検出されたか否かを監視する。制御部5は、ステップ1の「Yes」が成立する、つまり手9の移動が検出された場合(Step1:Yes)、払う動作の移動速度Vと移動量Xを算出する(Step2)。
【0045】
制御部5は、算出した移動速度Vと第1の速度しきい値51とを比較すると共に、算出した移動量Xと移動量しきい値50とを比較して払うジェスチャが行われたか否かを判定する。制御部5は、払うジェスチャが行われたと判定すると(Step3:Yes)、ジェスチャに基づく操作情報S
2を出力すると共に、第2の速度しきい値52を算出する(Step4)。
【0046】
制御部5は、算出した第2の速度しきい値52を用いて戻す動作が払うジェスチャであるか否かを判定する。制御部5は、複数の画像情報S
1に基づいて戻す動作の移動速度Vと移動量Xを算出する(Step5)。
【0047】
制御部5は、算出した移動速度Vと第2の速度しきい値52とを比較すると共に、算出した移動量Xと移動量しきい値50とを比較して戻す動作が払うジェスチャであるか否かを判定する(Step6)。
【0048】
制御部5は、戻す動作が払うジェスチャであると判定すると(Step7:Yes)、払うジェスチャに基づく操作情報S
2を出力し(Step8)、ステップ1に処理を進める。なお制御部5は、予め定められた期間が経過した後、第2の速度しきい値52を第1の速度しきい値51に切り替える。
【0049】
ここでステップ3において制御部5は、払うジェスチャが行われていないと判定した場合(Step3:No)、ステップ1に処理を進める。
【0050】
ステップ7において制御部5は、戻す動作が払うジェスチャではなかった場合(Step7:No)、ステップ1に処理を進める。なお制御部5は、予め定められた期間が経過した後、第2の速度しきい値52を第1の速度しきい値51に切り替える。
【0051】
(実施の形態の効果)
本実施の形態に係るジェスチャ判定装置1は、操作負荷を増加させることなく手9を払うジェスチャの後に行われた手9を戻す動作を払うジェスチャと誤判定することを抑制することができる。具体的には、ジェスチャ判定装置1は、第1の速度しきい値51より大きい第2の速度しきい値52によって手9を払うジェスチャを判定した後の戻す動作を判定する。従ってジェスチャ判定装置1は、手9を戻す動作が容易に手9を払うジェスチャと判定されず、操作負荷を増加させることなく手9を戻す動作を払うジェスチャと誤判定することを抑制することができる。
【0052】
ジェスチャ判定装置1は、第2の速度しきい値52が第1の速度しきい値51より大きく、直前の払うジェスチャの最大移動速度V
maxよりも小さくなるように設定されるので、戻す動作を払うジェスチャとして行った場合、意図せず判定されないことが抑制される。
【0053】
ジェスチャ判定装置1は、操作負荷を増加させることなく誤判定が抑制されるので、操作者の意図しない判定が抑制され、操作性が向上する。
【0054】
なお上述のジェスチャ判定装置1は、表示装置87の正面のジェスチャを検出するように構成されていたがこれに限定されず、ステアリングやフロアコンソールなどの近傍で行われたジェスチャを検出するように構成されても良いし、タッチパッドなどの入力装置の近傍で行われたジェスチャを検出するように構成されても良い。
【0055】
上述の実施の形態及び変形例に係るジェスチャ判定装置1は、例えば、用途に応じて、その一部が、コンピュータが実行するプログラム、ASIC(Application Specific Integrated Circuit)及びFPGA(Field Programmable Gate Array)などによって実現されても良い。
【0056】
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。