(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024082922
(43)【公開日】2024-06-20
(54)【発明の名称】ジェスチャ検出装置
(51)【国際特許分類】
G06F 3/0346 20130101AFI20240613BHJP
G06F 3/01 20060101ALI20240613BHJP
G06F 3/041 20060101ALI20240613BHJP
G06F 3/042 20060101ALI20240613BHJP
【FI】
G06F3/0346 421
G06F3/01 570
G06F3/041 580
G06F3/042 470
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022197134
(22)【出願日】2022-12-09
(71)【出願人】
【識別番号】000003551
【氏名又は名称】株式会社東海理化電機製作所
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】洞江 昌尚
【テーマコード(参考)】
5B087
5E555
【Fターム(参考)】
5B087AA06
5E555AA78
5E555BA23
5E555BA24
5E555BB08
5E555BB23
5E555BB24
5E555BC04
5E555CA42
5E555FA00
(57)【要約】
【課題】投光部の配置自由度を向上できるジェスチャ検出装置を提供する。
【解決手段】ジェスチャ検出装置7は、光を照射する複数の投光部11を備える。複数の投光部11は、ディスプレイ2に近い位置に配置された第1投光部13と、ディスプレイ2から遠い位置に配置された第2投光部15と、を含む。複数の投光部11は、並べて配置されるとともに、光照射の中心軸が非平行とされている。ジェスチャ検出装置7は、投光部11の光が、ユーザのジェスチャ操作によって反射された場合、その反射光を受光する。ジェスチャ検出装置7は、その反射光の受光結果に基づき、ジェスチャ操作を判定する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
光を照射する複数の投光部と、
ユーザのジェスチャ操作によって光が反射された場合に、反射光を受光する受光部と、
前記受光部の受光結果に基づき、前記ジェスチャ操作を判定する判定部と、を備え、
前記複数の投光部は、並べて配置されるとともに、光照射の中心軸が非平行とされている、ジェスチャ検出装置。
【請求項2】
前記ジェスチャ操作は、身体の一部を、空間上に規定した平面方向に沿って動かす操作を含む、請求項1に記載のジェスチャ検出装置。
【請求項3】
前記ジェスチャ操作は、身体の一部を、空間上に規定した平面方向に交差する方向に沿って動かす操作を含む、請求項1に記載のジェスチャ検出装置。
【請求項4】
前記判定部は、前記投光部の各々を光源とする各反射光の検出順を、前記ジェスチャ操作を判定するときの一要素とする、請求項1に記載のジェスチャ検出装置。
【請求項5】
前記複数の投光部は、傾き角度を変えて配置されることにより、光照射の前記中心軸が非平行とされる、請求項1に記載のジェスチャ検出装置。
【請求項6】
前記ジェスチャ操作は、ディスプレイに表示された画面の操作であり、
前記判定部は、前記ジェスチャ操作の判定結果を、前記ディスプレイの表示を制御する表示制御部に出力する、請求項1に記載のジェスチャ検出装置。
【請求項7】
前記複数の投光部のうち、外側に位置する前記投光部の照射領域よりも、内側に位置する前記投光部の照射領域の方が大きくなるように設定されている、請求項1に記載のジェスチャ検出装置。
【請求項8】
前記複数の投光部は、前記ジェスチャ操作が可能な空間として設定された操作領域において、前記投光部の照射領域が重ならないように配置されている、請求項1に記載のジェスチャ検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人体の一部を用いたジェスチャ操作を検出するジェスチャ検出装置に関する。
【背景技術】
【0002】
従来、特許文献1に開示されるように、車両の搭乗者により実行されるハンドジェスチャを検出するジェスチャ検出装置が周知である。このジェスチャ検出装置は、一対の赤外線カメラの撮像画像を用いて、車両の搭乗者によるハンドジェスチャを検出する。特に、このジェスチャ検出装置の場合、一対の赤外線カメラの撮像画像により搭乗者の体格を検出するとともに、この体格に応じた位置に各赤外線カメラの照射方向を設定する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、この種のジェスチャ検出装置においては、ディスプレイに表示された画面をハンドジェスチャによって操作する技術の開発ニーズがある。この場合、赤外線カメラは、例えば、ディスプレイの両側に対向するように配置される。具体的には、ディスプレイを囲む四角状のフレームのうち、フレームの所定の一辺に一方の赤外線カメラを配置するとともに、この一辺の対向辺に他方の赤外線カメラを配置する。
【0005】
しかし、ディスプレイは、デザイン向上の観点から、周囲のフレームを薄型化したものが多くなってきている。よって、フレームのサイズによっては、フレームに赤外線カメラを配置するスペースを設けることができない可能性があるため、何らかの対策が必要とされていた。
【課題を解決するための手段】
【0006】
前記課題を解決するジェスチャ検出装置は、光を照射する複数の投光部と、ユーザのジェスチャ操作によって光が反射された場合に、反射光を受光する受光部と、前記受光部の受光結果に基づき、前記ジェスチャ操作を判定する判定部と、を備え、前記複数の投光部は、並べて配置されるとともに、光照射の中心軸が非平行とされている。
【発明の効果】
【0007】
本発明は、投光部の配置自由度を向上できる。
【図面の簡単な説明】
【0008】
【
図1】一実施形態のジェスチャ検出装置の概略構成図である。
【
図4】投光部の光の中心軸と照射領域とを示す説明図である。
【
図6】上方向スワイプ操作時の受光部の検出信号の波形図である。
【
図8】下方向スワイプ操作時の受光部の検出信号の波形図である。
【
図10】他の別例のセンサの配置例を示す概略図である。
【発明を実施するための形態】
【0009】
以下、本開示の一実施形態を説明する。
(インターフェース装置1)
図1に示すように、車両などには、ユーザの人体の一部を使ったジェスチャ操作を入力として操作対象を動作させるインターフェース装置1が設けられている。操作対象は、車載機器の場合、例えば、カーナビゲーション装置、エアーコンディショナー装置、オーディオ装置などが挙げられる。ジェスチャ操作は、例えば、手を所定方向にスライド移動させる「スワイプ操作」が挙げられる。
【0010】
インターフェース装置1は、例えば、ユーザによって操作される画面をディスプレイ2に表示する表示部3を備える。表示部3は、例えば、車内のダッシュボード4の上面に取付けられる。本例の場合、ジェスチャ操作は、例えば、ディスプレイ2に表示された画面の操作であって、ディスプレイ2の表示に対し、選択操作、切替操作、決定操作などを実行することを含む。ディスプレイ2は、例えば、ディスプレイ2の手前で人体の一部を動かすジェスチャ操作によって画面を操作する空中操作ディスプレイ(非接触タッチディスプレイ)である。
【0011】
(ジェスチャ検出装置7)
図1に示す通り、インターフェース装置1は、ユーザによるジェスチャ操作を検出するジェスチャ検出装置7を備える。ジェスチャ検出装置7は、ジェスチャ操作を行うユーザの人体の動きを検出するための複数のセンサ8を備える。本例の場合、センサ8は、ディスプレイ2に近い側に位置する第1センサ9と、ディスプレイ2の遠い側に位置する第2センサ10と、を含む。センサ8は、例えば、光の投受光によって物体を検知する光学センサ(フォトセンサ)である。センサ8は、例えば、赤外線を投光する赤外線センサであることが好ましい。
【0012】
第1センサ9及び第2センサ10は、例えば、所定の箇所に並べて配置されている。具体的には、第1センサ9及び第2センサ10は、表示部3(ディスプレイ2)の4辺のフレームのうち、下側のフレームの近傍に配置されている。このように、第1センサ9及び第2センサ10は、所定のスペースにまとめて配置されている。
【0013】
図2に示すように、第1センサ9及び第2センサ10は、表示部3(ディスプレイ2)の幅方向(
図2のY軸方向)において、同方向の中央に配置されている。このように、第1センサ9及び第2センサ10は、表示部3(ディスプレイ2)の下部、かつ、ディスプレイ2の幅方向中央の位置に配置されている。
【0014】
図3に示すように、ジェスチャ検出装置7は、光を照射する複数の投光部11と、1つ以上の受光部12と、を備える。本例の場合、センサ8の各々が投光部11及び受光部12を有する。具体的には、第1センサ9が第1投光部13及び第1受光部14を有し、第2センサ10が第2投光部15及び第2受光部16を有する。受光部12は、ユーザのジェスチャ操作によって光が反射された場合に、その反射光を受光する。
【0015】
(投光部11の光照射の特徴)
図4に示すように、複数の投光部11は、並べて配置されるとともに、光照射の中心軸Lが非平行とされている。具体的には、第1投光部13の光照射の中心軸Lを「L1」とし、第2投光部15の光照射の中心軸Lを「L2」とした場合、中心軸L1、L2が異なる向きをとるように設定されている。
【0016】
複数の投光部11は、例えば、傾き角度αを変えて配置されることにより、光照射の中心軸Lが非平行とされている。具体的には、第1投光部13の傾き角度αを「α1」とし、第2投光部15の傾き角度αを「α2」とした場合、傾き角度α1、α2が異なる値(α1<α2の関係)をとるように設定されている。本例の場合、投光部11が実装された基板19の配置角度を所定角度に傾け配置することにより、投光部11の傾き角度αが設定されている。
【0017】
図1に示す通り、第1投光部13は、ディスプレイ2に近い位置に配置されている。また、第2投光部15は、ディスプレイ2から遠い位置に配置されている。このように、第1投光部13及び第2投光部15は、ディスプレイ2から見て、第1投光部13及び第2投光部15の順に配置されている。
【0018】
複数の投光部11は、ジェスチャ操作が可能な空間として設定された操作領域Rにおいて、投光部11の照射領域Eが重ならないように配置されている。具体的には、第1投光部13の照射領域Eを「第1照射領域E1」とし、第2投光部15の照射領域Eを「第2照射領域E2」とした場合、第1照射領域E1及び第2照射領域E2が重ならないように設定されている。本例の場合、第1投光部13及び第2投光部15の光の中心軸Lを非平行としつつ、第1照射領域E1及び第2照射領域E2が重ならないように、照射強度が設定されている。
【0019】
また、本例の場合、複数の投光部11のうち、外側(ディスプレイ2から遠い側)に位置する投光部11(第2投光部15)の第2照射領域E2よりも、内側(ディスプレイ2に近い側)に位置する投光部11(第1投光部13)の第1照射領域E1の方が大きくなるように設定されている。こうすることで、第1照射領域E1及び第2照射領域E2が、ジェスチャ操作の操作方向(
図1のZ軸方向)に揃うようにする。なお、照射領域Eを大きくするには、例えば、投光部11に流す電流を大きくすることによって行う。
【0020】
(ジェスチャ操作の具体例)
図1に示す通り、ジェスチャ操作は、例えば、身体の一部を、空間上に設定した平面方向(
図1に示すY-Z軸平面方向)に沿って動かす操作を含む。この平面方向のジェスチャ操作は、いわゆる、スワイプ操作である。スワイプ操作は、例えば、人体の一部を下から上に直線的に動かす上方向スワイプ操作と、人体の一部を上から下に直線的に動かす下方向スワイプ操作と、を含む。
【0021】
なお、ジェスチャ操作は、身体の一部を、空間上に規定した平面方向に交差する方向(
図1に示すX軸方向)に沿って動かす操作を含んでいてもよい。この平面交差方向のジェスチャ操作は、例えば、身体の一部をディスプレイ2に近づける操作と、身体の一部をディスプレイ2から遠ざける操作と、を含む。
【0022】
(ジェスチャ検出装置7の電気構成)
図3に示す通り、ジェスチャ検出装置7は、ジェスチャ検出装置7の動作を制御する制御装置21を備える。制御装置21は、例えば、MPU(Micro Processing Unit)やCPU(Central Processing Unit)から構成される。制御装置21は、第1センサ9及び第2センサ10に電気接続されている。制御装置21は、第1投光部13及び第2投光部15の光照射の動作を制御する。具体的には、制御装置21は、ユーザによるジェスチャ操作を検出するために必要な光の照射領域Eがディスプレイ2の前方に形成されるように、第1投光部13及び第2投光部15から光を照射させる。
【0023】
ジェスチャ検出装置7は、受光部12の受光結果に基づきジェスチャ操作を判定する判定部22を備える。判定部22は、制御装置21に設けられる。判定部22は、投光部11の各々を光源とする各反射光の検出順を、ジェスチャ操作を判定するときの一要素とする。判定部22は、ジェスチャ操作の判定結果を、ディスプレイ2の表示を制御する表示制御部23に出力する。表示制御部23は、判定部22から入力した判定結果に基づき、ディスプレイ2の表示を制御する。
【0024】
次に、本実施形態の作用について説明する。
(上方向スワイプ操作)
図5に示すように、ユーザがディスプレイ2の前で手を下から上へ動かす上方向スワイプ操作を実行したとする。上方向スワイプ操作を実行するときは、例えば、まず紙面下側の第2センサ10(第2受光部16)で手が検出され、続いて、紙面上側の第1センサ9(第1受光部14)で手が検出されるように、操作領域R内において手をディスプレイ2に対して平行(Y-Z平面方向)に動かす。すなわち、第2照射領域E2→第1照射領域E1の順に手を横断させる。
【0025】
図6に示すように、上方向スワイプ操作が実行されたときは、第2受光部16→第1受光部14の順で反射光を受光するため、まず、第2受光部16で受信信号Sv2が検出され、続いて、第1受光部14で受信信号Sv1が検出される。判定部22は、受信信号Sv1、Sv2が検出閾値Sk未満のとき、物体を「未検出」と判定し、一方、受信信号Sv1、Sv2が検出閾値Sk以上のとき、物体を「検出」と判定する。
【0026】
判定部22は、例えば、反射光の検出順を、ジェスチャ操作を判定するときの一要素とする。具体的には、判定部22は、一例として、以下の(i)~(iii)の条件を全て満たすとき、上方向スワイプ操作があったと判定する。
(i)第1受光部14が未検出→検出となった時点で第2受光部16が検出となっていること
(ii)第1受光部14が未検出→検出→未検出となる時間Tsが規定時間内であること
(iii)時間Ts内に第2受光部16が検出→未検出となること
判定部22は、(i)~(iii)の条件が揃い、上方向スワイプ操作があったと判定したとき、その判定結果を表示制御部23に出力する。表示制御部23は、上方向スワイプ操作が有った旨の判定結果を取得すると、例えば、ディスプレイ2の画面を上方向に1段階スクロール表示する。このようにして、ディスプレイ2の表示を、上方向スワイプ操作に基づく画面に切り替えることが可能となる。
【0027】
(下方向スワイプ操作)
図7に示すように、ユーザがディスプレイ2の前で手を上から下へ動かす下方向スワイプ操作を実行したとする。下方向スワイプ操作を実行するときは、例えば、まず紙面上側の第1センサ9(第1受光部14)で手が検出され、続いて、紙面下側の第2センサ10(第2受光部16)で手が検出されるように、操作領域R内において手をディスプレイ2に対して平行(Y-Z平面方向)に動かす。すなわち、第1照射領域E1→第2照射領域E2の順に手を横断させる。
【0028】
図8に示すように、下方向スワイプ操作が実行されたときは、第1受光部14→第2受光部16の順で反射光を受光するため、まず、第1受光部14で受信信号Sv1が検出され、続いて、第2受光部16で受信信号Sv2が検出される。このときも、判定部22は、検出閾値Skを用いて検出及び未検出の判定を実行する。判定部22は、一例として、以下の(iv)~(vi)の条件を全て満たすとき、下方向スワイプ操作があったと判定する。
(iv)第1受光部14が検出→未検出となった時点で第2受光部16が検出となっていること
(v)第1受光部14が未検出→検出→未検出となる時間Tsが規定時間内であること
(vi)時間Ts内に第2受光部16が未検出→検出となること
判定部22は、(iv)~(vi)の条件が揃い、下方向スワイプ操作があったと判定したとき、その判定結果を表示制御部23に出力する。表示制御部23は、下方向スワイプ操作があった旨の判定結果を取得すると、例えば、ディスプレイ2の画面を下方向に1段階スクロール表示する。このようにして、ディスプレイ2の表示を、下方向スワイプ操作に基づく画面に切り替えることが可能となる。
【0029】
なお、詳述はしないが、平面交差方向のジェスチャ操作、すなわち、ディスプレイ2に手を近づけたり離したりする操作も、スワイプ操作と同様の考え方によって検出される。このときの表示切り替わりの例としては、例えば、手をディスプレイ2に近づけると画面が拡大表示され、一方、手をディスプレイ2から離すと画面が縮小表示される具体例が挙げられる。
【0030】
(実施形態の効果)
上記実施形態の構成によれば、以下のような効果を得ることができる。
(1)ジェスチャ検出装置7は、光を照射する複数の投光部11と、ユーザのジェスチャ操作によって光が反射された場合に、反射光を受光する受光部12と、受光部12の受光結果に基づきジェスチャ操作を判定する判定部22と、を備える。複数の投光部11は、並べて配置されるとともに、光照射の中心軸Lが非平行とされている。
【0031】
本構成によれば、複数の投光部11を並べて配置するため、複数の投光部11を所定のスペースにまとめて配置することが可能となる。また、複数のこれら投光部11を、光照射の中心軸Lが非平行となるように配置する。このため、複数の投光部11を並べて配置しても、投光部11の照射領域Eの重なりを少なく抑えて、ジェスチャ操作の検出領域を広くとることが可能となる。以上のように、複数の投光部11を設ける場合、搭載箇所を複数用意する必要がなくなるので、投光部11の配置自由度を向上できる。
【0032】
(2)ジェスチャ操作は、身体の一部を、空間上に規定した平面方向(例えば、Y-Z軸平面方向)に沿って動かす操作を含む。この構成によれば、例えば、人体の一部を平面に沿って動かすスワイプ操作によって、所定の操作対象を操作することができる。
【0033】
(3)ジェスチャ操作は、身体の一部を、空間上に規定した平面方向(例えば、Y-Z軸平面方向)に交差する方向(例えば、X軸方向)に沿って動かす操作を含む。この構成によれば、例えば、人体の一部を手前から奥に動かしたり、或いは、人体の一部を奥から手前に引いたりするジェスチャ操作によって、所定の操作対象を操作することができる。
【0034】
(4)判定部22は、投光部11の各々を光源とする各反射光の検出順を、ジェスチャ操作を判定するときの一要素とする。この構成によれば、ジェスチャ操作として、例えば人体の一部を所定方向にスライド移動させるスワイプ操作を検出することができる。
【0035】
(5)複数の投光部11は、傾き角度αを変えて配置されることにより、光照射の中心軸Lが非平行とされる。この構成によれば、投光部11の配置の傾き角度αを変えるという簡易な方法によって、各投光部11から出力される照射領域Eを、重ならないように設定することができる。
【0036】
(6)ジェスチャ操作は、ディスプレイ2に表示された画面の操作である。判定部22は、ジェスチャ操作の判定結果を、ディスプレイ2の表示を制御する表示制御部23に出力する。この構成によれば、ディスプレイ2に表示された画面の前で人体の一部を動かすジェスチャ操作によって、ディスプレイ2に表示された画面を簡易に操作することができる。
【0037】
(7)複数の投光部11のうち、外側に位置する投光部11(本例は、第2投光部15)の照射領域E(本例は、第2照射領域E2)よりも、内側に位置する投光部11(本例は、第1投光部13)の照射領域E(本例は、第1照射領域E1)の方が大きくなるように設定されている。この構成によれば、各投光部11によって生成される照射領域Eを、ジェスチャ操作の操作方向(本例は、Z軸方向)に揃えることが可能となる。よって、ジェスチャ操作したときに、どの操作位置でも光の反射を得ることが可能となるので、ジェスチャ操作を精度よく判定するのに一層寄与する。
【0038】
(8)複数の投光部11は、ジェスチャ操作が可能な空間として設定された操作領域Rにおいて、投光部11の照射領域Eが重ならないように配置されている。この構成によれば、物体の検出順を確認するという簡素な方法によって、ジェスチャ操作を検出できる。
【0039】
(他の実施形態)
なお、本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
【0040】
・
図9に示すように、2つの投光部11の間で1つの受光部12を共用してもよい。この場合、例えば、2つの投光部11を選択的に動作させ、第1投光部13が光を照射しているときには、受光部12を第1投光部13の光を受光するものとして用い、一方、第2投光部15が光を照射しているときには、受光部12を第2投光部15の光を受光するものとして用いる。こうすれば、受光部12が1つで済むので、例えば、装置構成の簡素化や装置コストの低減などの利点を享受できる。
【0041】
・
図10に示すように、センサ8は、ディスプレイ2の側部(フレームの側辺)に配置されてもよい。この場合、2つのセンサ8をディスプレイ2の幅方向に並べれば、ディスプレイ2の左右方向のスワイプ操作を検出できる。また、センサ8をディスプレイ2の側部に配置する場合、2つのセンサ8をディスプレイ2の高さ方向に並べて配置すれば、上下方向のスワイプ操作を検出できる。
【0042】
・2つのセンサ8は、例えば、ディスプレイ2の上部のフレームに配置されてもよい。
・2つのセンサ8のうち、一方をディスプレイ2のフレームに取付け、他方をダッシュボード4に取付けてもよい。
【0043】
・ジェスチャ検出装置7は、例えば、ディスプレイ2(表示部3)がないインターフェース装置1に適用されてもよい。
・2つの照射領域Eは、同じ大きさの領域としてもよい。
【0044】
・ジェスチャ操作有りの判定条件は、実施例に記載した以外の他の条件に変更してもよい。
・投光部11を同じ傾き角度αとし、ライトガイドによって光の中心軸Lを非平行とするようにしてもよい。
【0045】
・ジェスチャ操作は、ディスプレイ2に対して手を上下に操作するスワイプ操作や、ディスプレイ2に対して手を近づけたり離したりする遠近操作に限定されない。例えば、手を所定回数振る操作や、手を回す操作など、人体の一部を動かす操作であればよい。
【0046】
・投光部11から照射される光は、赤外線に限らず、可視光線や遠赤外線など、種々の周波数の光に変更してもよい。
・インターフェース装置1及びジェスチャ検出装置7は、車載用に限定されず、他の機器やシステムに使用してもよい。
【0047】
・判定部22は、[1]コンピュータプログラム(ソフトウェア)に従って動作する1つ以上のプロセッサによって構成されてもよいし、[2]そのようなプロセッサと、各種処理のうち少なくとも一部の処理を実行する特定用途向け集積回路(ASIC)等の1つ以上の専用のハードウェア回路との組み合わせによって構成されてもよい。プロセッサは、CPU並びに、RAM及びROM等のメモリを含み、メモリは、処理をCPUに実行させるように構成されたプログラムコード、又は指令を格納している。メモリ(コンピュータ可読媒体)は、汎用、又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。或いは、上記プロセッサを含むコンピュータに代えて、各種処理の全てを実行する1つ以上の専用のハードウェア回路によって構成された処理回路が用いられてもよい。
【0048】
・本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
【符号の説明】
【0049】
2…ディスプレイ、7…ジェスチャ検出装置、11…投光部、12…受光部、22…判定部、23…表示制御部、L…中心軸、α…傾き角度、E…照射領域、R…操作領域。