(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023170577
(43)【公開日】2023-12-01
(54)【発明の名称】車両用ジェスチャ検出装置及び車両用ジェスチャ検出方法
(51)【国際特許分類】
E05F 15/73 20150101AFI20231124BHJP
B60J 5/04 20060101ALI20231124BHJP
【FI】
E05F15/73
B60J5/04 C
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2022082428
(22)【出願日】2022-05-19
(71)【出願人】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】木暮 孝典
(72)【発明者】
【氏名】寺西 竜平
【テーマコード(参考)】
2E052
【Fターム(参考)】
2E052AA09
2E052BA04
2E052CA06
2E052EA16
2E052EB01
2E052EC01
2E052GA05
2E052GB01
2E052GC01
2E052GD05
2E052LA02
(57)【要約】
【課題】キックジェスチャの検出精度を高めることができる車両用ジェスチャ検出装置及び車両用ジェスチャ検出方法を提供する。
【解決手段】ジェスチャ検出装置120は、カメラ80が撮影した複数の画像内におけるユーザの足部の位置変化に基づき、ユーザがキックジェスチャを実施したか否かを判定するジェスチャ判定処理を実施する判定部122を備える。判定部122は、車体20に接近する足部が急停止する場合にはユーザがキックジェスチャを実施していないと判定し、車体20に接近する足部が急停止しない場合にはジェスチャ判定処理を継続する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
ドア開口部を有する車体と、前記ドア開口部を開閉するドアと、前記ドアを開閉作動させるドア駆動部と、前記ドア開口部の周辺を撮影するカメラと、を備える車両に適用され、前記ドアを開閉作動させるためのユーザのジェスチャを検出する車両用ジェスチャ検出装置であって、
前記ジェスチャは、前記車体に前記ユーザの足部を接近させた後に前記車体から前記足部を遠ざけるキックジェスチャであり、
前記カメラが撮影した複数の画像内における前記足部の位置の変化に基づき、前記ユーザが前記キックジェスチャを実施したか否かを判定するジェスチャ判定処理を実施する判定部を備え、
前記判定部は、前記車体に接近する前記足部が急停止する場合には前記ユーザが前記キックジェスチャを実施していないと判定し、前記車体に接近する前記足部が急停止しない場合には前記ジェスチャ判定処理を継続する
車両用ジェスチャ検出装置。
【請求項2】
前記判定部は、前記車体に接近する前記足部が停止したときの前記足部の減速度に基づいて、前記足部が急停止したか否かを判定する
請求項1に記載の車両用ジェスチャ検出装置。
【請求項3】
前記カメラから前記足部までの距離に応じて、前記足部の位置の変化量を補正する補正部を備える
請求項1に記載の車両用ジェスチャ検出装置。
【請求項4】
前記判定部は、前記車体に接近する前記足部が停止したときに、前記足部が前記車体に近付いている場合には前記ユーザが前記キックジェスチャを実施していないと判定し、前記足部の位置が前記車体から離れている場合には前記ジェスチャ判定処理を継続する
請求項1~請求項3の何れか一項に記載の車両用ジェスチャ検出装置。
【請求項5】
前記判定部は、前記車体に接近する前記足部が停止したときに、前記足部が前記車体に接している場合には、前記ユーザが前記キックジェスチャを実施していないと判定する
請求項1~請求項3の何れか一項に記載の車両用ジェスチャ検出装置。
【請求項6】
ドア開口部を有する車体と、前記ドア開口部を開閉するドアと、前記ドアを開閉作動させるドア駆動部と、前記ドア開口部の周辺を撮影するカメラと、を備える車両に適用され、前記ドアを開閉作動させるためのユーザのジェスチャを検出する車両用ジェスチャ検出方法であって、
前記ジェスチャは、前記車体に前記ユーザの足部を接近させた後に前記車体から前記足部を遠ざけるキックジェスチャであり、
前記カメラが撮影した複数の画像内における前記足部の位置の変化に基づき、前記ユーザが前記キックジェスチャを実施したか否かを判定するジェスチャ判定処理を実施する判定工程を備え、
前記判定工程は、前記車体に接近する前記足部が急停止する場合には前記ユーザが前記キックジェスチャを実施していないと判定し、前記車体に接近する前記足部が急停止しない場合には前記ジェスチャ判定処理を継続する
車両用ジェスチャ検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両用ジェスチャ検出装置及び車両用ジェスチャ検出方法に関する。
【背景技術】
【0002】
特許文献1には、ドアと、ドアを駆動するドア駆動装置と、ドアの周辺のユーザの足を用いたキックジェスチャを検出するセンサと、ドア駆動装置を制御するドア制御装置と、を有する車両が記載されている。ドア制御装置は、ドアの周辺でユーザがキックジェスチャを実施した場合、ドア駆動装置によってドアを作動させる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
寒冷地で車両が使用される場合には、車両のタイヤハウス及びサイドスポイラーなどに着雪したり着氷したりすることがある。この場合、車両のユーザは、車両に付着した雪及び氷を除去するために、車両に付着した雪及び氷を足で蹴落とすことがある。言い換えれば、車両のユーザは、キックジェスチャに似た動作を行うことがある。このような状況下において、ドア制御装置は、車両に付着した雪及び氷を足で蹴る動作をキックジェスチャとして認識しないことが好ましい。
【課題を解決するための手段】
【0005】
以下、上記課題を解決するための態様及びその作用効果について記載する。
[態様1]上記課題を解決する車両用ジェスチャ検出装置は、ドア開口部を有する車体と、前記ドア開口部を開閉するドアと、前記ドアを開閉作動させるドア駆動部と、前記ドア開口部の周辺を撮影するカメラと、を備える車両に適用され、前記ドアを開閉作動させるためのユーザのジェスチャを検出する車両用ジェスチャ検出装置であって、前記ジェスチャは、前記車体に前記ユーザの足部を接近させた後に前記車体から前記足部を遠ざけるキックジェスチャであり、前記カメラが撮影した複数の画像内における前記足部の位置の変化に基づき、前記ユーザが前記キックジェスチャを実施したか否かを判定するジェスチャ判定処理を実施する判定部を備え、前記判定部は、前記車体に接近する前記足部が急停止する場合には前記ユーザが前記キックジェスチャを実施していないと判定し、前記車体に接近する前記足部が急停止しない場合には前記ジェスチャ判定処理を継続する。
【0006】
ユーザがキックジェスチャを実施する場合及びユーザが車体に付着した雪及び氷を蹴落とす場合には、ユーザの足部が車体に接近した後に車体から離れる。つまり、ユーザがキックジェスチャを実施する場合及びユーザが車体に付着した雪及び氷を蹴落とす場合には、車体に接近するユーザの足部が一旦停止する。ここで、ユーザがキックジェスチャを実施する場合には、ユーザの足部が停止するとき、ユーザの足部は緩やかに減速しやすい。一方、ユーザが車体に付着した雪及び氷を蹴落とす場合には、ユーザの足部が停止するとき、ユーザの足部は雪及び氷に当たることで急減速しやすい。
【0007】
そこで、車両用ジェスチャ検出装置は、車体に接近する足部が急停止する場合にはユーザがキックジェスチャを実施していないと判定する。このため、車両用ジェスチャ検出装置は、ユーザが車体に付着した雪及び氷を蹴落とす場合に、ユーザがキックジェスチャを実施したと判定することを抑制できる。こうして、車両用ジェスチャ検出装置は、キックジェスチャの検出精度を高めることができる。
【0008】
[態様2]態様1に記載の車両用ジェスチャ検出装置において、前記判定部は、前記車体に接近する前記足部が停止したときの前記足部の減速度に基づいて、前記足部が急停止したか否かを判定することが好ましい。
【0009】
車両用ジェスチャ検出装置は、ユーザの足部の減速度に基づき、ユーザの足部が急停止したか否かを容易に判定できる。
[態様3]態様1又は態様2に記載の車両用ジェスチャ検出装置は、前記カメラから前記足部までの距離に応じて、前記足部の位置の変化量を補正する補正部を備えることが好ましい。
【0010】
カメラから近い位置でユーザがキックジェスチャを実施する場合及びカメラから遠い位置でユーザがキックジェスチャを実施する場合を比較すると、カメラが撮影する複数の画像間におけるユーザの足部の位置の変化量は、前者の場合の方が後者の場合よりも大きくなりやすい。この点、車両用ジェスチャ検出装置は、カメラからユーザの足部までの距離に応じて、ユーザの足部の位置の変化量を補正する補正部を備える。このため、車両用ジェスチャ検出装置は、ユーザのキックジェスチャの実施位置に関わらず、ジェスチャ判定処理の精度を高めることができる。
【0011】
[態様4]態様1~態様3の何れか1つに記載の車両用ジェスチャ検出装置において、前記判定部は、前記車体に接近する前記足部が停止したときに、前記足部が前記車体に近付いている場合には前記ユーザが前記キックジェスチャを実施していないと判定し、前記足部の位置が前記車体から離れている場合には前記ジェスチャ判定処理を継続することが好ましい。
【0012】
ユーザがキックジェスチャを実施する場合には、ユーザは、車体を蹴ることのないように、車体との間に余裕を持ってキックジェスチャを実施する。この点、車両用ジェスチャ検出装置は、車体に接近するユーザの足部が停止するときに、ユーザの足部が車体に近付いている場合にはユーザがキックジェスチャを実施していないと判定する。このため、車両用ジェスチャ検出装置は、ジェスチャ判定処理の精度を高めることができる。
【0013】
[態様5]態様1~態様3の何れか1つに記載の車両用ジェスチャ検出装置において、前記判定部は、前記車体に接近する前記足部が停止したときに、前記足部が前記車体に接している場合には、前記ユーザが前記キックジェスチャを実施していないと判定することが好ましい。
【0014】
ユーザがキックジェスチャを実施する場合には、ユーザは、車体を蹴ることのないように、車体との間に余裕を持ってキックジェスチャを実施する。この点、車両用ジェスチャ検出装置は、車体に接近するユーザの足部が停止するときに、ユーザの足部が車体に接している場合にはユーザがキックジェスチャを実施していないと判定する。このため、車両用ジェスチャ検出装置は、ジェスチャ判定処理の精度を高めることができる。
【0015】
[態様6]上記課題を解決する車両用ジェスチャ検出方法は、ドア開口部を有する車体と、前記ドア開口部を開閉するドアと、前記ドアを開閉作動させるドア駆動部と、前記ドア開口部の周辺を撮影するカメラと、を備える車両に適用され、前記ドアを開閉作動させるためのユーザのジェスチャを検出する車両用ジェスチャ検出方法であって、前記ジェスチャは、前記車体に前記ユーザの足部を接近させた後に前記車体から前記足部を遠ざけるキックジェスチャであり、前記カメラが撮影した複数の画像内における前記足部の位置の変化に基づき、前記ユーザが前記キックジェスチャを実施したか否かを判定するジェスチャ判定処理を実施する判定工程を備え、前記判定工程は、前記車体に接近する前記足部が急停止する場合には前記ユーザが前記キックジェスチャを実施していないと判定し、前記車体に接近する前記足部が急停止しない場合には前記ジェスチャ判定処理を継続する。
【0016】
車両用ジェスチャ検出方法は、上述した車両用ジェスチャ検出装置と同等の作用効果を得ることができる。
【発明の効果】
【0017】
車両用ジェスチャ検出装置及び車両用ジェスチャ検出方法は、ユーザがドアを開閉作動させるために実施するキックジェスチャの検出精度を高めることができる。
【図面の簡単な説明】
【0018】
【
図2】
図2は、カメラが撮影する画像の一例である。
【
図3】
図3は、足部の変位量の推移及び足部の速度の推移を示すタイミングチャートである。
【
図4】
図4は、ジェスチャ判定処理を実施するためにジェスチャ検出装置が実施する処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0019】
以下、車両用ジェスチャ検出装置及び車両用ジェスチャ検出方法(以下、「車両用ジェスチャ検出装置及びジェスチャ検出方法」という。)の一実施形態について図面を参照しつつ説明する。
【0020】
<車両10>
図1に示すように、車両10は、車体20と、フロントドア30と、スライドドア40と、ドア駆動部50と、ロック機構60と、ドアロック駆動部70と、カメラ80と、を備える。また、車両10は、無線通信装置100と、ドア制御装置110と、ジェスチャ検出装置120と、を備える。
【0021】
<車体20>
車体20は、フロントドア30に開閉されるフロント開口部21と、スライドドア40に開閉されるリア開口部22と、を有する。フロント開口部21及びリア開口部22は、ユーザが車両10の内外を行き来する際に通過する部位である。本実施形態では、フロント開口部21及びリア開口部22は、車体20のBピラーによって区画されている。車体20がBピラーを備えない他の実施形態において、フロント開口部21及びリア開口部22は一つの開口部として一体化していてもよい。リア開口部22は「ドア開口部」に相当している。
【0022】
<フロントドア30>
フロントドア30は、ドア本体31と、ドア本体31の後端寄りの位置に設けられるドアノブ32と、ドア本体31の前端寄りの位置に設けられるサイドミラー33と、を有する。フロントドア30は、車体20に対して、上下方向に延びる軸線回りに揺動することで、フロント開口部21を全閉する全閉位置及びフロント開口部21を全開する全開位置の間を変位する。
【0023】
<スライドドア40及びドア駆動部50>
スライドドア40は、ドア本体41と、ドア本体41の前端寄りの位置に設けられるドアノブ42と、を有する。スライドドア40は、車体20に対して、前後方向にスライドすることで、リア開口部22を全閉する全閉位置及びリア開口部22を全開する全開位置の間を変位する。スライドドア40の開方向は後方であり、スライドドア40の閉方向は前方である。スライドドア40は、ドア駆動部50により、全閉位置及び全開位置の間で開閉作動される。スライドドア40は、フロントドア30よりも後方に位置する点で、リアドアということもできる。
【0024】
<ロック機構60及びドアロック駆動部70>
ロック機構60は、全閉位置に配置されるスライドドア40を車体20に拘束するフルラッチ状態と、全閉位置での車体20に対するスライドドア40の拘束を解除するアンラッチ状態と、に切り替わる。ロック機構60は、ドアロック駆動部70により、フルラッチ状態からアンラッチ状態に移行されたり、アンラッチ状態からフルラッチ状態に移行されたりする。以降の説明では、ロック機構60がフルラッチ状態からアンラッチ状態に移行することを「アンラッチ作動」ともいい、ロック機構60がアンラッチ状態からフルラッチ状態に移行することを「フルラッチ作動」ともいう。
図1では図示を省略したが、車両10は、フロントドア30を車体20に拘束するロック機構を備えることが好ましい。
【0025】
<カメラ80>
カメラ80は、下方且つ後方を向くようにサイドミラー33に設置されている。
図1に示すように、カメラ80の撮影エリアAPは、リア開口部22の周辺の領域を含む。カメラ80は、撮影した画像をフレーム毎にジェスチャ検出装置120に出力する。カメラ80は、例えば、自動運転のための周辺監視装置及び車両10の周辺を撮影するカメラを流用することもできる。
【0026】
<無線通信装置100及び携帯機130>
携帯機130は、スライドドア40を開閉作動させたり停止させたりする際に操作されるスイッチを有する。携帯機130は、いわゆる電子キーでもよいし、スマートフォンでもよいし、他の通信端末でもよい。無線通信装置100は、車両10の周辺に位置する携帯機130と相互に無線通信を行うことにより、当該携帯機130が車両10と対応付いた携帯機130であるか否かを判定する。この点で、無線通信装置100は、車両10の周辺に設定される通信エリアAC内に携帯機130を所持したユーザが存在しているか否かを判定できる。通信エリアACは、撮影エリアAPよりも大きなエリアである。
【0027】
携帯機130において、スライドドア40を作動させるためのスイッチが操作された場合、無線通信装置100は、操作されたスイッチに応じて、開作動指令信号、閉作動指令信号及び停止指令信号の何れかをドア制御装置110に出力する。開作動指令信号は、スライドドア40を開作動させるための指令信号であり、閉作動指令信号は、スライドドア40を閉作動させるための指令信号である。停止指令信号は、開閉作動中のスライドドア40を停止させるための指令信号である。また、無線通信装置100は、通信エリアAC内に携帯機130が存在している場合、その旨を示す信号をジェスチャ検出装置120に出力する。
【0028】
<ドア制御装置110>
ドア制御装置110は、入力される指令信号の内容に基づいて、ドア駆動部50及びドアロック駆動部70を制御する。詳しくは、ドア制御装置110は、開作動指令信号が入力される場合、ロック機構60をアンラッチ作動させた後、スライドドア40を開作動させる。ドア制御装置110は、閉作動指令信号が入力される場合、スライドドア40を全閉位置の付近まで閉作動させた後、ロック機構60をフルラッチ作動させる。ドア制御装置110は、停止指令信号が入力される場合、作動中のスライドドア40を停止させる。
【0029】
<ジェスチャ検出装置120>
ジェスチャ検出装置120は、ユーザの足部Ftを用いたジェスチャを検出したときに、開作動指令信号をドア制御装置110に出力する。
図2に示すように、本実施形態におけるジェスチャは、車体20にユーザの足部Ftを接近させた後に車体20からユーザの足部Ftを遠ざけるキックジェスチャである。つまり、ユーザがキックジェスチャを実施する場合には、ユーザの足部Ftが弧を描くように車体20に接近した後に弧を描くように車体20から遠ざかる。ユーザの足部Ftが車体20に接近する場合とユーザの足部Ftが車体20から離れる場合とにおいて、ユーザの足部Ftは、略同じ軌跡上を移動する。ジェスチャ検出装置120は、記憶部121と、判定部122と、補正部123と、を備える。
【0030】
<記憶部121>
記憶部121は、事前に撮影された画像とユーザの足位置Pfとを対応付けた教師データを用いて機械学習した学習済みモデルを記憶する。つまり、学習済みモデルは、カメラ80が撮影した画像を入力とし、当該画像内におけるユーザの足位置Pfを出力するモデルである。学習済みモデルは、例えば、車両10の設計時に作成され、ジェスチャ検出装置120の製造時に記憶部121に書き込まれる。本実施形態において、足位置Pfは、ユーザの足部Ftの位置、詳しくは、ユーザの足先の位置を意味している。
【0031】
以下、学習済みモデルの生成方法について説明する。
学習済みモデルの生成方法は、教師データを準備する準備工程と、教師データに基づき機械学習を行う学習工程と、を有する。準備工程は、様々な条件下でユーザを撮影エリアAPに立たせた状態で撮影した画像を取得する取得工程と、取得工程で取得される複数の画像内のユーザの足位置Pfを指定する指定工程と、を含む。
【0032】
取得工程は、例えば、実際の車両10を用いて実施される。取得工程は、ユーザに関する条件及び車両10の周囲の環境に関する条件を変更することで撮影される多くの画像を取得することが好ましい。これにより、様々な状況に適応可能な学習済みモデル、言い換えれば、汎用性の高い学習済みモデルを得ることが可能となる。指定工程は、取得した画像に対して、ユーザの足位置Pfを指定する。位置の指定には、例えば、画像におけるピクセルを用いた座標を使用すればよい。
【0033】
学習工程は、複数の教師データを学習データとした機械学習によりモデルを生成する。機械学習の手法は、色々な手法を選択できるが、例えば、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)である。学習済みモデルは、撮影された画像が入力されることで、画像内に写る人物の足位置Pfを出力する。一方、学習済みモデルは、人物の足部Ftが写っていない画像が入力される場合には、足位置Pfを出力しない。
【0034】
<判定部122>
判定部122は、ユーザが車両10の近辺に存在しているか否かを判定する開始判定処理と、ユーザがキックジェスチャを実施したか否かを判定するジェスチャ判定処理と、を実施する。判定部122は、開始判定処理及びジェスチャ判定処理において、カメラ80が撮影した画像を学習済みモデルに入力することにより、画像内における足位置Pfを取得する。
【0035】
判定部122は、開始判定処理において、カメラ80が撮影した画像内に設定される判定エリアAG内にユーザの足部Ftが存在しているか否かを判定する。判定部122は、判定エリアAG内にユーザの足位置Pfが存在している場合、ジェスチャ判定処理を実施する。一方、判定部122は、ユーザの足位置Pfを取得できない場合又は判定エリアAG内にユーザの足位置Pfが存在していない場合、ジェスチャ判定処理を実施しない。なお、判定エリアAGは、カメラ80の撮影エリアAP内に設定される。
【0036】
判定部122は、ジェスチャ判定処理において、時間をあけて撮影された複数の画像に基づいて、複数の画像間におけるユーザの足部Ftの変位ベクトルを演算する。詳しくは、判定部122は、N番目の画像内の足位置PfからN+1番目の画像内の足位置Pfに向かう変位ベクトルを演算する。ここで、N番目の画像とは、カメラ80がN番目に撮影した画像であり、N+1番目の画像とは、カメラ80がN+1番目に撮影した画像であって、N番目の画像の後のフレームの画像である。
【0037】
判定部122は、例えば、N+1番目の画像に対して、N番目の画像内の足位置Pfを含むエリアの特徴量のマッチングを行うことで、N番目の画像内の足位置Pfに対応するN+1番目の画像内の足位置Pfを取得する。判定部122は、N+1番目の画像を学習済みモデルに入力することにより、N+1番目の画像内の足位置Pfを取得してもよい。そして、判定部122は、両画像における足位置Pfに基づいて、足位置Pfの変位ベクトルを演算する。続いて、判定部122は、N+1番目の画像内の足位置PfからN+2番目の画像内の足位置Pfに向かう変位ベクトルを演算する。さらに、判定部122は、N+2番目の画像内の足位置PfからN+3番目の画像内の足位置Pfに向かう変位ベクトルを演算する。
【0038】
こうして、判定部122は、新たな画像が撮影される度に、足位置Pfの変位ベクトルを演算する。判定部122は、1フレーム毎に足位置Pfの変位ベクトルを演算してもよいし、複数フレーム毎に足位置Pfの変位ベクトルを演算してもよい。なお、足位置Pfの変位ベクトルの向きはユーザの足部Ftの移動方向を示している。また、足位置Pfの変位ベクトルの大きさはユーザの足部Ftの所定フレームに相当する時間あたりの変位量、すなわち、ユーザの足部Ftの速度を示している。したがって、判定部122は、足位置Pfの変位ベクトルを演算する際に、ユーザの足部Ftの速度を演算する。
【0039】
判定部122は、足位置Pfの変位ベクトルの向きが、キックジェスチャに応じたジェスチャパターン通りに変化した場合に、キックジェスチャが実施されたと判定する。本実施形態において、判定部122は、足位置Pfの変位ベクトルの演算とジェスチャパターンの照合とを交互に実施する。他の実施形態において、判定部122は、足位置Pfの変位ベクトルの演算とジェスチャパターンの照合とをまとめて実施してもよい。そして、判定部122は、ユーザが判定エリアAG内でキックジェスチャを実施したと判定する場合、ドア制御装置110に開作動指令信号を出力する。
【0040】
ところで、寒冷地で車両10が利用される場合には、車体20のタイヤハウスの周辺及びサイドスポイラーなどに着雪したり着氷したりすることがある。この場合、ユーザは、車体20に付着した雪及び氷を除去するために、こうした雪及び氷を足で蹴落とす動作(以下、「除去動作」ともいう。)を実施することがある。除去動作を実施するときのユーザの足部Ftの動きは、キックジェスチャを実施するときのユーザの足部Ftの動きと同等である。詳しくは、除去動作を実施するときのユーザの足位置Pfの変位ベクトルの方向の変化態様は、キックジェスチャを実施するときの足位置Pfの変位ベクトルの方向の変化態様と同等である。したがって、ジェスチャ検出装置120は、ユーザが除去動作を実施するときに、ユーザがキックジェスチャを実施したと判定しないことが好ましい。なお、除去動作は、靴に付着している泥などを除去する目的で、ユーザがタイヤを蹴る動作であってもよい。
【0041】
次に、
図3を参照して、ユーザがキックジェスチャを実施する場合及びユーザが除去作業を実施する場合におけるユーザの足部Ftの変位量及び速度の変化について説明する。ここで、車両10の前後方向に延びる軸をX軸とし、車両10の幅方向に延びる軸をY軸とし、車両10の上下方向に延びる軸をZ軸とする。この場合、ユーザの足部Ftの変位量及び速度は、XYZ空間における3次元的なユーザの足部Ftの変位量及び速度を意味している。また、キックジェスチャ及び除去作業が開始直前の足位置Pfを原点としている。
【0042】
まず、ユーザがキックジェスチャを実施する場合について説明する。
図3に実線で示すように、ユーザがキックジェスチャを実施する場合には、ユーザがキックジェスチャを開始する第1のタイミングt11からユーザの足部Ftの変位量が次第に増大する。また、第1のタイミングt11からユーザの足部Ftの速度が次第に増大する。第1のタイミングt11と次の第2のタイミングt12との間において、ユーザの足部Ftの速度は増大傾向から減少傾向に切り替わる。続いて、第2のタイミングt12になると、ユーザの足部Ftの速度が「0」になる。第1のタイミングt11から第2のタイミングt12までの期間は、ユーザの足部Ftの速度が「0」よりも大きいため、同期間において、ユーザの足部Ftの変位量は増大し続ける。
【0043】
第2のタイミングt12において、ユーザの足部Ftの移動方向は反転する。このため、第2のタイミングt12からユーザの足部Ftの速度が次第に減少する。第2のタイミングt12と次の第3のタイミングt13との間において、ユーザの足部Ftの速度は減少傾向から増大傾向に切り替わる。続いて、第3のタイミングt13になると、ユーザの足部Ftの速度が「0」になる。また、ユーザの足部Ftがキックジェスチャを開始したときの位置に復帰する。第2のタイミングt12から第3のタイミングt13までの期間は、ユーザの足部Ftの速度が「0」よりも小さいため、同期間において、ユーザの足部Ftの変位量は減少し続ける。
【0044】
続いて、ユーザが除去動作を実施する場合について説明する。
図3に一点鎖線で示すように、ユーザが除去動作を実施する場合には、ユーザが除去動作を開始する第1のタイミングt21からユーザの足部Ftの変位量が次第に増大する。また、第1のタイミングt21からユーザの足部Ftの速度が次第に増速する。その後、第2のタイミングt22において、ユーザの足部Ftが車体20に付着した雪及び氷に接することにより、ユーザの足部Ftが急停止する。つまり、第2のタイミングt22において、ユーザの足部Ftの速度は「0」になり、ユーザの足部Ftの変位量が増大しなくなる。その後、第3のタイミングt23からユーザは蹴り上げた足部Ftを元の位置に向けて戻し始める。このため、第3のタイミングt23からユーザの足部Ftの変位量が次第に減少するとともに、ユーザの足部Ftの速度が次第に減少する。第3のタイミングt23と次の第4のタイミングt24との間において、ユーザの足部Ftの速度は減少傾向から増大傾向に切り替わる。そして、第4のタイミングt24になると、ユーザの足部Ftの速度が「0」になる。また、ユーザの足部Ftが除去動作を開始したときの位置に復帰する。
【0045】
図3に実線で示すように、ユーザがキックジェスチャを実施する場合には、第2のタイミングt12において、車体20に接近するユーザの足部Ftが徐々に減速することにより停止している。言い換えれば、第2のタイミングt12において、ユーザの足部Ftの速度の勾配である減速度が比較的小さくなっている。よって、第2のタイミングt12の直前のタイミングt12*において、ユーザの足部Ftの速度が第2判定速度Vth2よりも小さくなっている。
【0046】
一方、
図3に一点鎖線で示すように、ユーザが除去作業を実施する場合には、第2のタイミングt22において、車体20に接近するユーザの足部Ftが急減速することにより停止している。言い換えれば、第2のタイミングt22において、ユーザの足部Ftの速度の勾配である減速度が比較的大きくなっている。よって、第2のタイミングt22の直前のタイミングt22*において、ユーザの足部Ftの速度が第2判定速度Vth2よりも大きくなっている。
【0047】
そこで、判定部122は、車体20に接近するユーザの足部Ftが急停止しない場合にはジェスチャ判定処理を継続する。一方、判定部122は、車体20に接近するユーザの足部Ftが急停止する場合にはユーザがキックジェスチャを実施していないと判定する。この場合、判定部122は、ジェスチャ判定処理を中止する。
【0048】
判定部122は、車体20に接近するユーザの足部Ftが停止するときのユーザの足部Ftの減速度に基づき、ユーザの足部Ftが急停止したか否かを判定する。本実施形態では、ユーザの足部Ftが停止したタイミングから、所定のフレームに相当する時間を遡ったタイミング(以下、「直前のタイミング」という。)におけるユーザの足部Ftの速度に基づいて、ユーザの足部Ftが急停止したか否かを判定する。所定のフレームは、ユーザの足位置Pfの変位ベクトルの演算間隔に応じたフレームであればよい。
【0049】
判定部122は、ユーザの足部Ftが停止したタイミングの直前のタイミングにおけるユーザの足部Ftの速度が第2判定速度Vth2以上の場合、ユーザの足部Ftが急停止していると判定する。一方、判定部122は、ユーザの足部Ftが停止したタイミングの直前のタイミングにおけるユーザの足部Ftの速度が第2判定速度Vth2未満の場合、ユーザの足部Ftが急停止していないと判定する。ここで、直前のタイミングにおけるユーザの足部Ftの速度と第2判定速度Vth2との比較は、ユーザの足部Ftが停止する直前におけるユーザの足部Ftの速度変化が大きいか否かを判定することを目的としている。この点で、当該比較は、ユーザの足部Ftの減速度に基づく判定ということもできる。第2判定速度Vth2は、ユーザがキックジェスチャを実施する場合及び除去動作を実施する場合の足部Ftの速度の測定結果に基づいて決定されることが好ましい。
【0050】
なお、本実施形態において、ジェスチャ検出装置120は、車体20に接近中のユーザの足部Ftの速度が第1判定速度Vth1未満となる場合に、ユーザの足部Ftが停止したと判定する。つまり、第1判定速度Vth1は、減速中の足部Ftの停止を判定するための速度であるため、第1判定速度Vth1は、第2判定速度Vth2未満であって、「0」または「0」よりも僅かに大きな値に設定されることが好ましい。
【0051】
ユーザがキックジェスチャを実施する場合には、ユーザは、足部Ftが車体20に接しないようにキックジェスチャを実施する。このため、ユーザがキックジェスチャを実施する場合には、ユーザの足部Ftが最も車体20に接近する場合であっても、ユーザの足部Ftと車体20との距離が遠くなりやすい。一方、ユーザが除去動作を実施する場合には、車体20に付着する雪及び氷を蹴落とすために、ユーザの足部Ftが車体20に接近しやすい。このため、ユーザが除去動作を実施する場合には、ユーザの足部Ftが最も車体20に接近する場合において、ユーザの足部Ftと車体20との距離が近くなりやすい。また、車体20における雪及び氷が付着する部位によっては、ユーザが除去動作を実施する場合に、カメラ80が撮影した画像内において、ユーザの足部Ftが車体20に接することもある。
【0052】
そこで、判定部122は、車体20に接近するユーザの足位置Pfが停止するときに、ユーザの足位置Pfが車体20から離れている場合にはジェスチャ判定処理を継続する。一方、判定部122は、車体20に接近するユーザの足部Ftが停止するときに、ユーザの足部Ftが車体20に近付いている場合にはユーザがキックジェスチャを実施していないと判定する。さらに、判定部122は、車体20に接近するユーザの足部Ftが停止するときに、ユーザの足部Ftが車体20に接している場合には、ユーザがキックジェスチャを実施していないと判定する。
【0053】
<補正部123>
カメラ80から近い位置に立つユーザは、カメラ80から遠い位置に立つユーザよりも、カメラ80が撮影した画像中の大きさが大きくなりやすい。つまり、カメラ80から近い位置でユーザが足部Ftを動かす場合、足位置Pfの変位ベクトルが大きくなりやすい。一方、カメラ80から遠い位置でユーザが足部Ftを動かす場合、足位置Pfの変位ベクトルが小さくなりやすい。足位置Pfの変位ベクトルの大きさは「足部の位置の変化量」に相当している。
【0054】
そこで、補正部123は、カメラ80からユーザの足部Ftまでの距離に応じて、カメラ80が撮影する複数の画像間における足位置Pfの変位ベクトルの大きさを補正する。その結果、カメラ80からユーザの足部Ftまでの距離に応じて、ユーザの足部Ftの速度が補正される。
【0055】
<ジェスチャ検出方法>
以下、ジェスチャ検出装置120が実施する処理の流れ、つまり、ジェスチャ検出方法について説明する。本処理は、携帯機130を所持するユーザが通信エリアAC内に進入し、かつ、スライドドア40が全閉位置に位置する場合に、所定の制御サイクルで実施される処理である。
【0056】
図4に示すように、ジェスチャ検出装置120は、カメラ80が撮影した画像を取得する(S11)。続いて、ジェスチャ検出装置120は、カメラ80が撮影した画像を記憶部121に記憶される学習済みモデルに入力することにより、足位置Pfを取得する(S12)。その後、ジェスチャ検出装置120は、画像内における足位置Pfが判定エリアAG内に存在しているか否かを判定する(S13)。足位置Pfが判定エリアAG内に存在していない場合(S13:NO)、ジェスチャ検出装置120は、本処理を終了する。ステップS12において足位置Pfを取得できない場合にも、ジェスチャ検出装置120は、本処理を終了する。
【0057】
一方、足位置Pfが判定エリアAG内に存在している場合(S13:YES)、ジェスチャ検出装置120は、カメラ80が撮影した新たな画像を取得する(S14)。ステップS14で取得する画像は、先に取得した画像よりも後に撮影された画像である。続いて、ジェスチャ検出装置120は、新たな画像内における足位置Pfを取得する(S15)。
【0058】
そして、ジェスチャ検出装置120は、カメラ80のフレーム間における足位置Pfの変位ベクトルを演算する(S16)。足位置Pfの変位ベクトルは、前回特定した足位置Pfから今回特定した足位置Pfに向かうベクトルである。足位置Pfの変位ベクトルは、カメラ80からユーザの足部Ftまでの距離に応じて補正済みであることが好ましい。
【0059】
ジェスチャ検出装置120は、足位置Pfの変位ベクトルの方向に基づき、ユーザの足部Ftが車体20に対して接近中か否かを判定する(S17)。ユーザの足部Ftが車体20に接近中でない場合(S17:NO)、つまり、足位置Pfの変位ベクトルが車体20を向いてない場合、ジェスチャ検出装置120は、後述するステップS21に移行する。一方、ユーザの足部Ftが車体20に接近中である場合(S17:YES)、つまり、足位置Pfの変位ベクトルが車体20を向いている場合、ジェスチャ検出装置120は、ユーザの足部Ftの速度が第1判定速度Vth1未満か否かを判定する(S18)。上述したように、ユーザの足部Ftの速度は、ステップS16で演算した足位置Pfの変位ベクトルの大きさに相当している。
【0060】
ユーザの足部Ftの速度が第1判定速度Vth1以上の場合(S18:NO)、言い換えれば、ユーザの足部Ftが動いている場合、ジェスチャ検出装置120は、後述するステップS21に移行する。一方、ユーザの足部Ftの速度が第1判定速度Vth1未満の場合(S18:YES)、言い換えれば、ユーザの足部Ftが停止した場合、ジェスチャ検出装置120は、前回のユーザの足部Ftの速度が第2判定速度Vth2以上か否かを判定する(S19)。前回のユーザの足部Ftの速度とは、今回のループ処理で演算した速度ではなく、前回のループ処理で演算した速度である。つまり、前回のユーザの足部Ftの速度は、ユーザの足部Ftが停止する直前のタイミングにおける速度である。
【0061】
ユーザの足部Ftの速度が第2判定速度Vth2以上の場合(S19:YES)、言い換えれば、ユーザの足部Ftが急停止している場合、ジェスチャ検出装置120は、本処理を終了する。この場合には、ユーザが除去動作を実施していると判定される。一方、ユーザの足部Ftの速度が第2判定速度Vth2未満の場合(S19:NO)、言い換えれば、ユーザの足部Ftが急停止していない場合、ジェスチャ検出装置120は、ユーザの足部Ftが停止したときの足位置Pfが車体20から離れているか否かを判定する(S20)。このとき、ジェスチャ検出装置120は、ユーザの足位置Pfから車体20までの距離を演算するとよい。そして、ジェスチャ検出装置120は、ユーザの足位置Pfから車体20までの距離と所定の判定距離との比較により、ユーザの足部Ftが停止したときの足位置Pfが車体20から離れているか否かを判定すればよい。
【0062】
足位置Pfが車体20から離れていない場合(S20:NO)、ジェスチャ検出装置120は、本処理を終了する。一方、足位置Pfが車体20から離れている場合(S20:YES)、ジェスチャ検出装置120は、足位置Pfの変位ベクトルがジェスチャパターンに合致しているか否かを判定する(S21)。足位置Pfの変位ベクトルがジェスチャパターンに合致していない場合(S21:NO)、ジェスチャ検出装置120は、本処理を終了する。
【0063】
一方、足位置Pfの変位ベクトルがジェスチャパターンに合致している場合(S21:YES)、ジェスチャ検出装置120は、ジェスチャパターンの照合が完了したか否かを判定する(S22)。ジェスチャパターンの照合が完了していない場合(S22:NO)、ジェスチャ検出装置120は、ステップS14に移行する。一方、ジェスチャパターンの照合が完了している場合(S22:YES)、ジェスチャ検出装置120は、ドア制御装置110に開作動指令信号を出力する(S23)。その後、ジェスチャ検出装置120は、本処理を終了する。
【0064】
以上説明したフローチャートにおいて、ステップS14~S22が「判定工程」に相当する。
<本実施形態の作用及び効果>
(1)ユーザがキックジェスチャを実施する場合には、
図3に実線で示すように、車体20に接近するユーザの足部Ftが急停止しない。そして、ジェスチャ検出装置120は、ユーザの足部Ftが急停止しない場合には、ジェスチャ判定処理を継続する。このため、ユーザがキックジェスチャを実施し終えた後に、スライドドア40が開作動される。一方、ユーザが除去動作を実施する場合には、
図3に一点鎖線で示すように、車体20に接近するユーザの足部Ftが急停止する。そして、ジェスチャ検出装置120は、ユーザの足部Ftが急停止する場合には、ユーザがキックジェスチャを実施していないと判定する。このため、ユーザが除去動作を実施し終えたとしても、スライドドア40が開作動されることが抑制される。こうして、ジェスチャ検出装置120は、スライドドア40を開作動させるためのキックジェスチャの検出精度を高めることができる。
【0065】
(2)ジェスチャ検出装置120は、ユーザの足部Ftの速度と第1判定速度Vth1との比較により、車体20に接近中のユーザの足部Ftが停止したか否かを判定する。また、ジェスチャ検出装置120は、ユーザの足部Ftが停止する直前のタイミングにおけるユーザの足部Ftの速度と第2判定速度Vth2との比較により、ユーザの足部Ftが急停止したか否かを判定する。このため、ジェスチャ検出装置120は、ユーザの足部Ftが停止したか否かの判定及びユーザの足部Ftが急停止したか否かの判定を容易に行うことができる。
【0066】
(3)ジェスチャ検出装置120は、カメラ80からユーザの足部Ftまでの距離に応じて、ユーザの足位置Pfの変位ベクトル、言い換えれば、ユーザの足部Ftの速度を補正する。このため、ジェスチャ検出装置120は、ユーザのキックジェスチャの実施位置に関わらず、ジェスチャ判定処理の精度を高めることができる。
【0067】
(4)ジェスチャ検出装置120は、車体20に接近するユーザの足部Ftが停止するときに、ユーザの足部Ftが車体20に近付いている場合にはユーザがキックジェスチャを実施していないと判定する。このため、ジェスチャ検出装置120は、ジェスチャ判定処理の精度を高めることができる。
【0068】
(5)ジェスチャ検出装置120は、車体20に接近するユーザの足部Ftが停止するときに、ユーザの足部Ftが車体20に接している場合にはユーザがキックジェスチャを実施していないと判定する。このため、ジェスチャ検出装置120は、ジェスチャ判定処理の精度を高めることができる。
【0069】
<変更例>
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
【0070】
・
図3に一点鎖線で示すように、ユーザが除去動作を実施する場合には、車体20に接近するユーザの足部Ftの速度が高くなりやすい。よって、ジェスチャ検出装置120は、車体20に接近するユーザの足部Ftの速度が所定の上限判定速度以上の場合には、ユーザがキックジェスチャを実施していないと判定してもよい。
【0071】
・ジェスチャ検出装置120は、車両10の外気温を取得してもよい。そして、ジェスチャ検出装置120は、車両10の外気温が車体20に着雪及び着氷し得ない温度である場合には、
図4に示すフローチャートにおけるステップS17~S20の処理を実施しなくてもよい。
【0072】
・判定エリアAGは、リア開口部22と幅方向に隣り合うエリアだけに限定してもよい。この場合、ユーザは、ごく限られたエリア内でキックジェスチャを実施することになる。したがって、ジェスチャ検出装置120は、カメラ80からユーザの足部Ftまでの距離に応じた補正を行わなくてもよい。
【0073】
・判定エリアAGは、カメラ80からの距離に応じて区画される複数の判定エリアAGに区画されていてもよい。ここで、判定エリアAGがカメラ80からの距離が近い第1エリア及びカメラ80からの距離が遠い第2エリアに区画されている場合を想定する。そして、ユーザの足部Ftが第1エリアに位置している場合、補正部123は、カメラ80からユーザの足部Ftまでの距離に応じた補正を行わなくてもよい。一方、ユーザの足部Ftが第2エリアに位置している場合、補正部123は、カメラ80からユーザの足部Ftまでの距離に応じた補正を行ってもよい。
【0074】
・ジェスチャ検出装置120は、車体20に接近するユーザの足部Ftが停止する場合、ユーザの足部Ftの減速度を演算してもよい。そして、ジェスチャ検出装置120は、ユーザの足部Ftの減速度と所定の判定減速度との比較により、ユーザの足部Ftが急停止したか否かを判定してもよい。
【0075】
・ジェスチャ検出装置120は、車体20に接近するユーザの足部Ftの停止位置と車体20との位置関係に基づいて、ユーザがキックジェスチャを実施しているか否かを判定しなくてもよい。つまり、
図4に示すフローチャートにおいて、ステップS20を省略してもよい。
【0076】
・ジェスチャ検出装置120は、補正部123を備えなくてもよい。
・上記実施形態において、ジェスチャ検出装置120は、ユーザのキックジェスチャに基づき、スライドドア40を開作動させるための開作動指令信号をドア制御装置110に出力する。これに対し、変更例に係るジェスチャ検出装置120は、ユーザのキックジェスチャに基づき、スライドドア40を閉作動させるための閉作動指令信号をドア制御装置110に出力してもよい。また、他の変更例に係るジェスチャ検出装置120は、ユーザがキックジェスチャを実施するときのスライドドア40の位置に応じて、開作動指令信号及び閉作動指令信号の一方をドア制御装置110に出力してもよい。
【0077】
・車両10は、フロントドア30を駆動するフロントドア駆動部を備えてもよい。この場合、ジェスチャ検出装置120は、スライドドア40を開作動させる場合と同様に、フロントドア30を開作動させるためのキックジェスチャを検出してもよい。
【0078】
・車両10は、車体20の後方に開口する開口部を開閉するバックドアと、バックドアを駆動するバックドア駆動部と、車両10の後方を撮影するバックカメラと、を備えてもよい。この場合、ジェスチャ検出装置120は、スライドドア40を開作動させる場合と同様に、バックドアを開作動させるためのキックジェスチャを検出してもよい。
【0079】
・ドア制御装置110及びジェスチャ検出装置120は、コンピュータプログラム(ソフトウェア)に従って動作する1つ以上のプロセッサとして構成し得る。また、ドア制御装置110及びジェスチャ検出装置120は、各種処理のうち少なくとも一部の処理を実行する専用のハードウェア(特定用途向け集積回路:ASIC)等の1つ以上の専用のハードウェア回路として構成し得る。さらに、ドア制御装置110及びジェスチャ検出装置120は、これらの組み合わせを含む回路として構成し得る。プロセッサは、CPU並びに、RAM及びROM等のメモリを含んでいる。メモリは、処理をCPUに実行させるように構成されたプログラムコードまたは指令を格納している。メモリ、すなわち記憶媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。
【符号の説明】
【0080】
AC…通信エリア
AG…判定エリア
AP…撮影エリア
Ft…足部
Pf…足位置
10…車両
20…車体
22…リア開口部(ドア開口部)
40…スライドドア(ドア)
50…ドア駆動部
80…カメラ
110…ドア制御装置
120…ジェスチャ検出装置
121…記憶部
122…判定部
123…補正部