特許第6551941号(P6551941)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社東海理化電機製作所の特許一覧

<>
  • 特許6551941-ジェスチャ判定装置 図000002
  • 特許6551941-ジェスチャ判定装置 図000003
  • 特許6551941-ジェスチャ判定装置 図000004
  • 特許6551941-ジェスチャ判定装置 図000005
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6551941
(24)【登録日】2019年7月12日
(45)【発行日】2019年7月31日
(54)【発明の名称】ジェスチャ判定装置
(51)【国際特許分類】
   G06F 3/01 20060101AFI20190722BHJP
   G06F 3/0346 20130101ALI20190722BHJP
【FI】
   G06F3/01 570
   G06F3/0346 422
【請求項の数】3
【全頁数】10
(21)【出願番号】特願2016-83321(P2016-83321)
(22)【出願日】2016年4月19日
(65)【公開番号】特開2017-194767(P2017-194767A)
(43)【公開日】2017年10月26日
【審査請求日】2018年11月20日
(73)【特許権者】
【識別番号】000003551
【氏名又は名称】株式会社東海理化電機製作所
(74)【代理人】
【識別番号】110002583
【氏名又は名称】特許業務法人平田国際特許事務所
(74)【代理人】
【識別番号】100071526
【弁理士】
【氏名又は名称】平田 忠雄
(74)【代理人】
【識別番号】100128211
【弁理士】
【氏名又は名称】野見山 孝
(72)【発明者】
【氏名】名和 佑記
【審査官】 佐伯 憲太郎
(56)【参考文献】
【文献】 特開2010−182014(JP,A)
【文献】 特開2013−37499(JP,A)
【文献】 特開2012−146304(JP,A)
【文献】 米国特許出願公開第2015/0156441(US,A1)
【文献】 特開2014−96804(JP,A)
【文献】 特開2013−69341(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/01
G06F 3/0346
G06F 3/041
(57)【特許請求の範囲】
【請求項1】
操作者の手を周期的に撮像する撮像部と、
撮像された複数の画像に基づいて算出した一方向に手が移動する際の移動量が移動量しきい値より大きく、かつ移動速度が第1の速度しきい値より大きい場合、手を払うジェスチャが行われたと判定して前記手を払うジェスチャに応じた操作情報を出力し、判定が行われた後、前記第1の速度しきい値より大きい第2の速度しきい値を設定し、予め定められた期間、前記第1の速度しきい値を前記第2の速度しきい値に切り替えて前記手を払うジェスチャを判定する判定部と、
を備えたジェスチャ判定装置。
【請求項2】
前記判定部は、前記移動速度の最大値に定数を乗算して前記第2の速度しきい値を算出し、
前記定数は、前記第2の速度しきい値が前記第1の速度しきい値より大きく前記最大値より小さくなるように定められる、
請求項1に記載のジェスチャ判定装置。
【請求項3】
前記判定部は、前記移動速度の最大値に基づいて算出した値を前記第1の速度しきい値に加算して前記第2の速度しきい値を算出する、
請求項1に記載のジェスチャ判定装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ジェスチャ判定装置に関する。
【背景技術】
【0002】
従来の技術として、操作者によって行われたジェスチャを取得するジェスチャ取得手段と、操作者の視線の動きを取得する視線追跡手段と、視線の動きが所定のパターンを満たすかを判定する視線パターン判定手段と、視線の動きが所定のパターンを満たした場合に、入力を受け付ける許可ジェスチャを決定するジェスチャ選択手段と、取得したジェスチャが許可ジェスチャである場合にのみ、当該ジェスチャに対応する命令を生成する命令生成手段と、を備えたジェスチャ認識装置が知られている(例えば、特許文献1参照。)。
【0003】
このジェスチャ認識装置は、ジェスチャ以外の動作をジェスチャと誤認識することを防止する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2015−153195号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし従来のジェスチャ認識装置は、所定のパターンの視線の動きを操作者が行わなければならないので、操作負荷が大きい。
【0006】
従って本発明の目的は、操作負荷を増加させることなく手を戻す動作を払うジェスチャと誤判定することを抑制するジェスチャ判定装置を提供することにある。
【課題を解決するための手段】
【0007】
本発明の一態様は、操作者の手を周期的に撮像する撮像部と、撮像された複数の画像に基づいて算出した一方向に手が移動する際の移動量が移動量しきい値より大きく、かつ移動速度が第1の速度しきい値より大きい場合、手を払うジェスチャが行われたと判定して手を払うジェスチャに応じた操作情報を出力し、判定が行われた後、第1の速度しきい値より大きい第2の速度しきい値を設定し、予め定められた期間、第1の速度しきい値を第2の速度しきい値に切り替えて手を払うジェスチャを判定する判定部と、を備えたジェスチャ判定装置を提供する。
【発明の効果】
【0008】
本発明によれば、操作負荷を増加させることなく手を戻す動作を払うジェスチャと誤判定することを抑制することができる。
【図面の簡単な説明】
【0009】
図1図1(a)は、実施の形態に係るジェスチャ判定装置が搭載された車両内部の一例を示す概略図であり、図1(b)は、ジェスチャ判定装置の一例を示すブロック図であり、図1(c)は、ジェスチャ判定装置が接続された車両通信システムの一例を示すブロック図である。
図2図2(a)及び図2(b)は、手を払う動作と戻す動作の一例を説明するための概略図である。
図3図3(a)は、比較例に係る1つの速度しきい値を用いた払うジェスチャの判定の一例を示すグラフであり、図3(b)は、実施の形態に係るジェスチャ判定装置の第1の速度しきい値と第2の速度しきい値を用いた払うジェスチャの判定の一例を示すグラフである。
図4図4は、実施の形態に係るジェスチャ判定装置の払うジェスチャの判定に関する動作の一例を示すフローチャートである。
【発明を実施するための形態】
【0010】
(実施の形態の要約)
実施の形態に係るジェスチャ判定装置は、操作者の手を周期的に撮像する撮像部と、撮像された複数の画像に基づいて算出した一方向に手が移動する際の移動量が移動量しきい値より大きく、かつ移動速度が第1の速度しきい値より大きい場合、手を払うジェスチャが行われたと判定して手を払うジェスチャに応じた操作情報を出力し、判定が行われた後、第1の速度しきい値より大きい第2の速度しきい値を設定し、予め定められた期間、第1の速度しきい値を第2の速度しきい値に切り替えて手を払うジェスチャを判定する判定部と、を備えて概略構成されている。
【0011】
このジェスチャ判定装置は、第1の速度しきい値より大きい第2の速度しきい値によって手を払うジェスチャを判定した後の手を払うジェスチャを判定するので、手を戻す動作が容易に手を払うジェスチャと判定されず、操作負荷を増加させることなく手を戻す動作を払うジェスチャと誤判定することを抑制することができる。
【0012】
[実施の形態]
(ジェスチャ判定装置1の概要)
図1(a)は、実施の形態に係るジェスチャ判定装置が搭載された車両内部の一例を示す概略図であり、図1(b)は、ジェスチャ判定装置の一例を示すブロック図であり、図1(c)は、ジェスチャ判定装置が接続された車両通信システムの一例を示すブロック図である。図2(a)及び図2(b)は、手を払う動作と戻す動作の一例を説明するための概略図である。なお、以下に記載する実施の形態に係る各図において、図形間の比率は、実際の比率とは異なる場合がある。また図1(b)及び図1(c)では、主な信号や情報の流れを矢印で示している。
【0013】
ジェスチャ判定装置1は、例えば、なされたジェスチャに基づいて車両8に搭載された電子機器の操作を可能とするものである。操作者は、予め定められたジェスチャを行うことでジェスチャに対応する電子機器の機能を操作することができる。この電子機器は、一例として、図1(c)に示すナビゲーション装置84及び音楽及び映像再生装置85などである。ジェスチャ判定装置1及び電子機器は、一例として、図1(c)に示すように、車両通信システム81を構成している。なお本実施の形態では、操作者の手9を検出対象とする。
【0014】
ジェスチャ判定装置1は、図1(a)〜図1(c)、図2(a)及び図2(b)に示すように、操作者の手9を周期的に撮像する撮像部としてのカメラ3と、撮像された複数の画像35に基づいて算出した一方向に手9が移動する際の移動量Xが移動量しきい値50より大きく、かつ移動速度Vが第1の速度しきい値51より大きい場合、手9を払うジェスチャが行われたと判定して手9を払うジェスチャに応じた操作情報Sを出力し、判定が行われた後、第1の速度しきい値51より大きい第2の速度しきい値52を設定し、予め定められた期間、第1の速度しきい値51を第2の速度しきい値52に切り替えて手9を払うジェスチャを判定する判定部としての制御部5と、を備えて概略構成されている。
【0015】
(カメラ3の構成)
カメラ3は、例えば、CCDイメージセンサ(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの半導体素子を用いた撮像装置である。
【0016】
このカメラ3は、一例として、図1(a)に示すように、車両8のセンターコンソール80に配置された表示装置87の上に配置されている。従って撮像領域30は、表示装置87の正面の領域である。カメラ3は、例えば、表示装置87の正面において行われたジェスチャを撮像する。また、このカメラ3は、例えば、近赤外線を撮像領域30方向に照射して撮像するように構成されている。
【0017】
カメラ3は、周期的に撮像領域30を撮像し、撮像した画像の情報として画像情報Sを生成して制御部5に出力する。この撮像領域30を撮像した画像は、一例として、図2(a)及び図2(b)に示す画像35である。
【0018】
(制御部5の構成)
図3(a)は、比較例に係る1つの速度しきい値を用いた払うジェスチャの判定の一例を示すグラフであり、図3(b)は、実施の形態に係るジェスチャ判定装置の第1の速度しきい値と第2の速度しきい値を用いた払うジェスチャの判定の一例を示すグラフである。図3(a)及び図3(b)における斜線は、判定された払うジェスチャによって手9が移動した移動量Xを示している。
【0019】
制御部5は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うCPU(Central Processing Unit)、半導体メモリであるRAM(Random Access Memory)及びROM(Read Only Memory)などから構成されるマイクロコンピュータである。このROMには、例えば、制御部5が動作するためのプログラムが格納されている。RAMは、例えば、一時的に演算結果などを格納する記憶領域として用いられる。
【0020】
制御部5は、例えば、図1(b)に示すように、移動量しきい値50と、第1の速度しきい値51と、第2の速度しきい値52と、ジェスチャ情報53と、を有している。
【0021】
移動量しきい値50は、払うジェスチャの判定に用いられる手9の移動量Xのしきい値である。この移動量Xは、図2(a)及び図2(b)の斜線の面積に相当する。つまり移動量Xは、第1の速度しきい値51及び第2の速度しきい値52を超えた速度で移動した距離である。
【0022】
第1の速度しきい値51は、手9の移動速度Vに関するしきい値である。制御部5は、手9の移動速度Vが第1の速度しきい値51を超えると共に、手9の移動量Xが移動量しきい値50より大きい場合、払うジェスチャが行われたと判定する。
【0023】
ここで払うジェスチャは、図2(a)及び図2(b)に示すように、手9を一方向に移動させた後、修正などを目的に一方向とは逆の方向に再度払うジェスチャを行う場合と、手9を一方向に移動させた後、元の位置に戻す動作を伴うものとがある。以下では、比較例と本実施の形態とで、払うジェスチャを行った後、戻す動作を行った場合の判定の差について説明する。なお図3(a)及び図3(b)におけるグラフは、どちらも同じものである。
【0024】
図3(a)に示す比較例のように、速度しきい値が1つであった場合、払う動作が行われた時間t〜時間tにおいて、速度しきい値100より大きい移動速度Vが時間t〜時間tの期間に検出され、この期間の移動量Xが移動量しきい値50より大きければ、払うジェスチャが行われたと判定される。
【0025】
また時間t〜時間tにおける手9を戻す動作において、払う動作よりもゆっくり戻したにも関わらず、速度しきい値100が一定であることから時間t〜時間tの期間、移動速度Vが速度しきい値100より大きいとされ、さらにこの期間の移動量Xが移動量しきい値50よりも大きいと、逆方向に払うジェスチャと判定され、操作者の意図しない誤判定がなされる。
【0026】
一方本実施の形態の制御部5は、図3(b)に示すように、払う動作が行われた時間t10〜時間t13において、第1の速度しきい値51より大きい移動速度Vが時間t11〜時間t12に検出され、この期間の移動量Xが移動量しきい値50より大きければ、払うジェスチャが行われたと判定される。
【0027】
制御部5は、少なくとも払う動作において移動速度Vが第1の速度しきい値51以下となる時間t12後に、第2の速度しきい値52を算出する。
【0028】
そして制御部5は、第1の速度しきい値51よりも大きい第2の速度しきい値52を用いて戻す動作を判定するので、図3(b)に示すように、時間t14〜時間t15に行われた戻す動作の移動速度Vが第2の速度しきい値52を超えず、払うジェスチャと判定されない。しかし戻す動作において払うジェスチャが行われない訳ではないので、第2の速度しきい値52は、例えば、第1の速度しきい値52より大きく、直前の払う動作の最大移動速度Vmaxより小さい値となることが好ましい。
【0029】
そこで制御部5は、以下の式(1)に示すように、移動速度Vの最大値(最大移動速度Vmax)に定数αを乗算して第2の速度しきい値52を算出する。
第2の速度しきい値52=最大移動速度Vmax×α・・・(1)
この定数αは、第2の速度しきい値52が第1の速度しきい値51より大きく最大値(最大移動速度Vmax)より小さくなるように定められる。
従って定数αは、以下の式(2)を満たすことが好ましい。
第1の速度しきい値51<最大移動速度Vmax×α<最大移動速度Vmax・・・(2)
つまり定数αは、以下の式(3)の範囲であることが好ましい。
第1の速度しきい値51/最大移動速度Vmax<α<1・・・(3)
【0030】
第2の速度しきい値52が最大移動速度Vmaxより小さいことが好ましいのは、第2の速度しきい値52が最大移動速度Vmax以上であると、戻す動作を払うジェスチャとして判定させることが困難になることによる。これは、払うジェスチャの後、戻す動作を無視する場合と似ている。戻す動作を無視すると、操作者が意図して行った払う動作の後の払うジェスチャが意図に反して判定されず、操作性が良くない。
【0031】
また第2の速度しきい値52が第1の速度しきい値51以下となると、払うジェスチャの後の戻す動作が払うジェスチャと判定され易くなってしまい、やはり操作性が良くない。
【0032】
そこで本実施の形態の制御部5は、上述の式(2)に示すように、第2の速度しきい値52が第1の速度しきい値51より大きく、直前の払うジェスチャの際の最大移動速度Vmaxより小さいしきい値となるように第2の速度しきい値52を設定する。
【0033】
制御部5は、払うジェスチャが行われると、払うジェスチャの際の最大移動速度Vmaxに予め定められた定数αを乗算する式(1)によって第2の速度しきい値52を算出すると共に、式(2)が成り立つかを確認する。制御部5は、式(2)が成り立つ場合、式(1)によって算出された第2の速度しきい値52を用いて戻す動作が払うジェスチャであるか判定する。
【0034】
また制御部5は、式(2)が成り立たない場合、式(3)を満たすように定数αを算出する。この式(3)を満たす定数αは、一例として、式(3)の左辺である第1の速度しきい値51/最大移動速度Vmaxの値と右辺である1との差の二分の一の値とされる。
【0035】
なお変形例として制御部5は、払うジェスチャの移動速度Vの最大値(最大移動速度Vmax)に基づいて算出した値を第1の速度しきい値51に加算して第2の速度しきい値52を算出しても良い。この第2の速度しきい値52の算出は、一例として、以下の式(4)によって行われる。
第2の速度しきい値52=第1の速度しきい値51+{最大移動速度Vmax−(最大移動速度Vmax−第1の速度しきい値51)×α}・・・(4)
なおαは、0より大きく、1より小さい数である。
【0036】
制御部5は、第2の速度しきい値52を予め定められた期間のみ使用し、予め定められた期間経過後、第2の速度しきい値52から第1の速度しきい値51に切り替える。この予め定められた期間は、一例として、2秒である。
【0037】
ジェスチャ情報53は、例えば、手9によって行われるジェスチャに関する情報である。この手9によって行われるジェスチャは、例えば、手9を払うジェスチャ、手9によって円を描くように行われるジェスチャなどである。制御部5は、例えば、複数の画像情報Sとジェスチャ情報53に基づいた手9の形などにより、払う動作が行われたと判定し、払うジェスチャを判定する。
【0038】
手9を払うジェスチャは、一例として、操作対象の電子機器が表示装置87に表示させている表示画像を移動方向にスクロールさせるジェスチャである。操作対象の電子機器は、例えば、操作情報Sに基づいて手9の移動方向に表示画像をスクロールさせる。
【0039】
(車両通信システム81の構成)
車両通信システム81は、一例として、CAN(Controller Area Network)などの規格を用いた通信システムである。車両通信システム81は、例えば、車両LAN(Local Area Network)82を介してジェスチャ判定装置1やナビゲーション装置84などが通信を行う。
【0040】
この車両通信システム81は、一例として、図1(c)に示すように、ジェスチャ判定装置1、車両制御部83、ナビゲーション装置84、音楽及び映像再生装置85、空調装置86及び表示装置87などが通信できるように構成されている。車両制御部83は、例えば、この車両通信システム81を制御するマイクロコンピュータである。
【0041】
ジェスチャ判定装置1が操作対象としてナビゲーション装置84が操作される場合、ジェスチャ判定装置1から出力された操作情報Sは、車両LAN82を介してナビゲーション装置84に入力する。ナビゲーション装置84は、入力した操作情報Sに基づいて動作を行う。
【0042】
以下に、本実施の形態のジェスチャ判定装置1の払うジェスチャの判定に関する動作の一例について図4のフローチャートに従って説明する。
【0043】
(動作)
車両8の電源が投入されると、ジェスチャ判定装置1のカメラ3は、撮像した撮像領域30の画像35の情報である画像情報Sを周期的に制御部5に出力する。制御部5は、取得した画像情報Sを時系列的に記憶する。
【0044】
制御部5は、取得した画像情報S及びジェスチャ情報53に基づいて手9の移動が検出されたか否かを監視する。制御部5は、ステップ1の「Yes」が成立する、つまり手9の移動が検出された場合(Step1:Yes)、払う動作の移動速度Vと移動量Xを算出する(Step2)。
【0045】
制御部5は、算出した移動速度Vと第1の速度しきい値51とを比較すると共に、算出した移動量Xと移動量しきい値50とを比較して払うジェスチャが行われたか否かを判定する。制御部5は、払うジェスチャが行われたと判定すると(Step3:Yes)、ジェスチャに基づく操作情報Sを出力すると共に、第2の速度しきい値52を算出する(Step4)。
【0046】
制御部5は、算出した第2の速度しきい値52を用いて戻す動作が払うジェスチャであるか否かを判定する。制御部5は、複数の画像情報Sに基づいて戻す動作の移動速度Vと移動量Xを算出する(Step5)。
【0047】
制御部5は、算出した移動速度Vと第2の速度しきい値52とを比較すると共に、算出した移動量Xと移動量しきい値50とを比較して戻す動作が払うジェスチャであるか否かを判定する(Step6)。
【0048】
制御部5は、戻す動作が払うジェスチャであると判定すると(Step7:Yes)、払うジェスチャに基づく操作情報Sを出力し(Step8)、ステップ1に処理を進める。なお制御部5は、予め定められた期間が経過した後、第2の速度しきい値52を第1の速度しきい値51に切り替える。
【0049】
ここでステップ3において制御部5は、払うジェスチャが行われていないと判定した場合(Step3:No)、ステップ1に処理を進める。
【0050】
ステップ7において制御部5は、戻す動作が払うジェスチャではなかった場合(Step7:No)、ステップ1に処理を進める。なお制御部5は、予め定められた期間が経過した後、第2の速度しきい値52を第1の速度しきい値51に切り替える。
【0051】
(実施の形態の効果)
本実施の形態に係るジェスチャ判定装置1は、操作負荷を増加させることなく手9を払うジェスチャの後に行われた手9を戻す動作を払うジェスチャと誤判定することを抑制することができる。具体的には、ジェスチャ判定装置1は、第1の速度しきい値51より大きい第2の速度しきい値52によって手9を払うジェスチャを判定した後の戻す動作を判定する。従ってジェスチャ判定装置1は、手9を戻す動作が容易に手9を払うジェスチャと判定されず、操作負荷を増加させることなく手9を戻す動作を払うジェスチャと誤判定することを抑制することができる。
【0052】
ジェスチャ判定装置1は、第2の速度しきい値52が第1の速度しきい値51より大きく、直前の払うジェスチャの最大移動速度Vmaxよりも小さくなるように設定されるので、戻す動作を払うジェスチャとして行った場合、意図せず判定されないことが抑制される。
【0053】
ジェスチャ判定装置1は、操作負荷を増加させることなく誤判定が抑制されるので、操作者の意図しない判定が抑制され、操作性が向上する。
【0054】
なお上述のジェスチャ判定装置1は、表示装置87の正面のジェスチャを検出するように構成されていたがこれに限定されず、ステアリングやフロアコンソールなどの近傍で行われたジェスチャを検出するように構成されても良いし、タッチパッドなどの入力装置の近傍で行われたジェスチャを検出するように構成されても良い。
【0055】
上述の実施の形態及び変形例に係るジェスチャ判定装置1は、例えば、用途に応じて、その一部が、コンピュータが実行するプログラム、ASIC(Application Specific Integrated Circuit)及びFPGA(Field Programmable Gate Array)などによって実現されても良い。
【0056】
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0057】
1…ジェスチャ判定装置、3…カメラ、5…制御部、8…車両、9…手、30…撮像領域、35…画像、50…移動量しきい値、51…第1の速度しきい値、52…第2の速度しきい値、53…ジェスチャ情報、80…センターコンソール、81…車両通信システム、82…車両LAN、83…車両制御部、84…ナビゲーション装置、85…音楽及び映像再生装置、86…空調装置、87…表示装置、100…速度しきい値
図1
図2
図3
図4