特許 7661805 車両用操作検出装置及び車両用操作検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-07

(45)【発行日】2025-04-15

(54)【発明の名称】車両用操作検出装置及び車両用操作検出方法

(51)【国際特許分類】

   E05F 15/74 20150101AFI20250408BHJP

   B60R 11/02 20060101ALI20250408BHJP

   G06T 7/20 20170101ALI20250408BHJP

【ＦＩ】

E05F15/74

B60R11/02 Z

G06T7/20 300A

【請求項の数】 7

(21)【出願番号】P 2021105507

(22)【出願日】2021-06-25

(65)【公開番号】P2023004045

(43)【公開日】2023-01-17

【審査請求日】2024-04-03

(73)【特許権者】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】田村 拓也

【審査官】河本 明彦

(56)【参考文献】

【文献】国際公開第２０１４／０４１９５５（ＷＯ，Ａ１）

【文献】特開２０２０－１１８０２４（ＪＰ，Ａ）

【文献】特開２０１１－１７９３１４（ＪＰ，Ａ）

【文献】特開２０２０－０２７３７２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０２０８４６０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｅ０５Ｆ １５／００ － １５／７９

Ｅ０５Ｂ １／００ － ８５／２８

Ｇ０６Ｔ ７／２０

Ｂ６０Ｒ １１／０２

(57)【特許請求の範囲】

【請求項1】

開口部を有する車体と、前記開口部を開閉する開閉体と、前記開閉体を開閉作動させる駆動部と、前記開口部の周辺の画像を撮影するカメラと、を備える車両に適用され、前記開閉体の開閉作動を開始させる契機としてのユーザのジェスチャを検出する車両用操作検出装置であって、
事前に撮影された前記画像と前記ユーザの前記ジェスチャに用いる身体部位とを対応付けた教師データを用いて機械学習した学習済みモデルを記憶する記憶部と、
新たに撮影された前記画像を前記学習済みモデルに入力することで得られる当該画像中の前記身体部位の位置に基づき、前記カメラの撮影エリア内に設定される認識エリア内に、前記身体部位が進入したか否かを判定する進入判定部と、
前記身体部位が前記認識エリア内に進入したと判定された後に時間をあけて撮影された複数の前記画像に基づいて、前記身体部位の変位ベクトルを算出し、前記変位ベクトルの向きが設定されたジェスチャパターン通りに変化したか否かに応じて、前記ジェスチャが実施されたか否かを判定するジェスチャ判定部と、を備える
車両用操作検出装置。

【請求項2】

時間をあけて撮影された複数の前記画像のうち、前記身体部位の位置を特定できている画像を特定画像とし、前記身体部位の位置を特定できていない画像を未特定画像としたとき、
前記ジェスチャ判定部は、前記未特定画像に対して、前記特定画像中の前記身体部位の位置を含むエリアの特徴量のマッチングを行うことで、前記未特定画像中の前記身体部位の位置を特定し、前記特定画像及び前記未特定画像における前記身体部位の位置に基づいて、前記変位ベクトルを算出する
請求項１に記載の車両用操作検出装置。

【請求項3】

前記ジェスチャ判定部は、時間をあけて撮影された複数の前記画像を前記学習済みモデルに入力することで得られる複数の前記画像ごとの前記身体部位の位置に基づいて、前記変位ベクトルを算出する
請求項１に記載の車両用操作検出装置。

【請求項4】

前記ジェスチャ判定部は、前記変位ベクトルの大きさが下限判定値未満の場合、前記ジェスチャの判定を中止する
請求項１～請求項３の何れか一項に記載の車両用操作検出装置。

【請求項5】

前記ジェスチャ判定部は、前記変位ベクトルの大きさが前記下限判定値未満の場合であっても、前記変位ベクトルの大きさが前記下限判定値未満となる回数が停止判定回数未満の場合には、前記ジェスチャの判定を中止しない
請求項４に記載の車両用操作検出装置。

【請求項6】

前記ジェスチャ判定部は、前記変位ベクトルの大きさが上限判定値以上の場合、前記ジェスチャの判定を中止する
請求項１～請求項５の何れか一項に記載の車両用操作検出装置。

【請求項7】

開口部を有する車体と、前記開口部を開閉する開閉体と、前記開閉体を開閉作動させる駆動部と、前記開口部の周辺の画像を撮影するカメラと、を備える車両に適用され、前記開閉体の開閉作動を開始させる契機としてのユーザのジェスチャを検出する車両用操作検出方法であって、
事前に撮影された前記画像と前記ユーザの前記ジェスチャに用いる身体部位とを対応付けた教師データを用いて機械学習した学習済みモデルに、新たに撮影された前記画像を入力することで当該画像中の前記身体部位の位置を取得する工程と、
取得した前記身体部位の位置に基づき、前記カメラの撮影エリア内に設定される認識エリア内に前記身体部位が進入したか否かを判定する工程と、
前記身体部位が前記認識エリア内に進入したと判定された後に時間をあけて撮影された複数の前記画像に基づいて、前記身体部位の変位ベクトルを算出する工程と、
前記変位ベクトルの向きが設定されたジェスチャパターン通りに変化したか否かに応じて、前記ジェスチャが実施されたか否かを判定する工程と、を備える
車両用操作検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両用操作検出装置及び車両用操作検出方法に関する。

【背景技術】

【0002】

特許文献１には、開口部が設けられる車体と、開口部を開閉する車両用ゲートと、車両用ゲートを駆動するゲートアクチュエータと、車両の周辺を撮影するカメラと、ゲートアクチュエータを制御する車両用操作検出装置と、を備える車両が記載されている。車両用操作検出装置は、カメラが撮影した画像に基づいて、ユーザが予め定められたジェスチャを実施したと判断したときに、ゲートアクチュエータにより車両用ゲートを開作動させる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１９６７９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような車両用操作検出装置は、ユーザのジェスチャを精度良く検出する点において、改善の余地が残されていた。

【課題を解決するための手段】

【0005】

以下、上記課題を解決するための手段及びその作用効果について記載する。
上記課題を解決する車両用操作検出装置は、開口部を有する車体と、前記開口部を開閉する開閉体と、前記開閉体を開閉作動させる駆動部と、前記開口部の周辺の画像を撮影するカメラと、を備える車両に適用され、前記開閉体の開閉作動を開始させる契機としてのユーザのジェスチャを検出する車両用操作検出装置であって、事前に撮影された前記画像と前記ユーザの前記ジェスチャに用いる身体部位とを対応付けた教師データを用いて機械学習した学習済みモデルを記憶する記憶部と、新たに撮影された前記画像を前記学習済みモデルに入力することで得られる当該画像中の前記身体部位の位置に基づき、前記カメラの撮影エリア内に設定される認識エリア内に、前記身体部位が進入したか否かを判定する進入判定部と、前記身体部位が前記認識エリア内に進入したと判定された後に時間をあけて撮影された複数の前記画像に基づいて、前記身体部位の変位ベクトルを算出し、前記変位ベクトルの向きが設定されたジェスチャパターン通りに変化したか否かに応じて、前記ジェスチャが実施されたか否かを判定するジェスチャ判定部と、を備える。

【0006】

上記構成の車両用操作検出装置は、認識エリア内にユーザの身体部位が進入した場合に、当該身体部位を用いたジェスチャが実施されたか否かを判定する。ここで、車両用操作検出装置は、カメラが撮影した画像と学習済みモデルとを用いて、認識エリア内にユーザの身体部位が進入したか否かを判定する。このため、認識エリア内にユーザの身体部位が進入したことを精度良く判定できる。こうして、車両用操作検出装置は、ユーザのジェスチャの検出精度を高めることができる。

【0007】

上記車両用操作検出装置において、時間をあけて撮影された複数の前記画像のうち、前記身体部位の位置を特定できている画像を特定画像とし、前記身体部位の位置を特定できていない画像を未特定画像としたとき、前記ジェスチャ判定部は、前記未特定画像に対して、前記特定画像中の前記身体部位の位置を含むエリアの特徴量のマッチングを行うことで、前記未特定画像中の前記身体部位の位置を特定し、前記特定画像及び前記未特定画像における前記身体部位の位置に基づいて、前記変位ベクトルを算出することが好ましい。

【0008】

車両用操作検出装置は、変位ベクトルを算出する際の算出負荷を低減できる。
上記車両用操作検出装置において、前記ジェスチャ判定部は、時間をあけて撮影された複数の前記画像を前記学習済みモデルに入力することで得られる複数の前記画像ごとの前記身体部位の位置に基づいて、前記変位ベクトルを算出することが好ましい。

【0009】

車両用操作検出装置は、身体部位の変位ベクトルを精度良く算出できる。
上記車両用操作検出装置において、前記ジェスチャ判定部は、前記変位ベクトルの大きさが下限判定値未満の場合、前記ジェスチャの判定を中止することが好ましい。

【0010】

例えば、ユーザが認識エリアで停止している場合など、ユーザがジェスチャを実施しない場合には、ユーザの身体部位の単位時間あたりの移動量が「０」又は「０」に近い値を取りやすい。この点、上記構成の車両用操作検出装置は、身体部位の変位ベクトルの大きさが下限判定値未満の場合、ジェスチャの判定を中止する。このため、車両用操作検出装置は、ユーザのジェスチャを誤判定するおそれを低減できる。

【0011】

上記車両用操作検出装置において、前記ジェスチャ判定部は、前記変位ベクトルの大きさが前記下限判定値未満の場合であっても、前記変位ベクトルの大きさが前記下限判定値未満となる回数が停止判定回数未満の場合には、前記ジェスチャの判定を中止しないことが好ましい。

【0012】

ユーザがジェスチャを実施するときの状態によっては、ユーザの身体部位の変位速度が一時的に低下することで、身体部位の単位時間あたりの移動量が一時的に「０」又は「０」に近い値になる可能性がある。また、身体部位の変位ベクトルの向きが反転するようなジェスチャをユーザが実施する場合には、身体部位の単位時間あたりの移動量が一時的に「０」又は「０」に近い値になる可能性がある。この点、上記構成の車両用操作検出装置は、身体部位の変位ベクトルの大きさが下限判定値未満となる回数が停止判定回数未満の場合には、ジェスチャの判定を中止しない。つまり、車両用操作検出装置は、ユーザの状態及びジェスチャの内容などに起因して、ジェスチャの判定を中止しにくくなる。このため、車両用操作検出装置は、ジェスチャの判定精度が低下することを抑制できる。

【0013】

上記車両用操作検出装置において、前記ジェスチャ判定部は、前記変位ベクトルの大きさが上限判定値以上の場合、前記ジェスチャの判定を中止することが好ましい。
ユーザがジェスチャを実施する場合には、身体部位の変位速度に限界がある。言い換えれば、身体部位の単位時間あたりの移動量が過度に大きい場合には、変位ベクトルの算出対象がユーザの身体部位でない可能性が高い。この点、上記構成の車両用操作検出装置は、身体部位の変位ベクトルの大きさが上限判定値以上の場合、ジェスチャの判定を中止する。このため、車両用操作検出装置は、ジェスチャを誤判定するおそれを低減できる。

【0014】

上記課題を解決する車両操作検出方法は、開口部を有する車体と、前記開口部を開閉する開閉体と、前記開閉体を開閉作動させる駆動部と、前記開口部の周辺の画像を撮影するカメラと、を備える車両に適用され、前記開閉体の開閉作動を開始させる契機としてのユーザのジェスチャを検出する車両用操作検出方法であって、事前に撮影された前記画像と前記ユーザの前記ジェスチャに用いる身体部位とを対応付けた教師データを用いて機械学習した学習済みモデルに、新たに撮影された前記画像を入力することで当該画像中の前記身体部位の位置を取得する工程と、取得した前記身体部位の位置に基づき、前記カメラの撮影エリア内に設定される認識エリア内に前記身体部位が進入したか否かを判定する工程と、前記身体部位が前記認識エリア内に進入したと判定された後に時間をあけて撮影された複数の前記画像に基づいて、前記身体部位の変位ベクトルを算出する工程と、前記変位ベクトルの向きが設定されたジェスチャパターン通りに変化したか否かに応じて、前記ジェスチャが実施されたか否かを判定する工程と、を備える。

【0015】

上記構成の車両操作検出方法は、上述した車両操作検出装置と同等の作用効果を得ることができる。

【発明の効果】

【0016】

上記車両用操作検出装置は、ユーザのジェスチャの検出精度を高めることができる。

【図面の簡単な説明】

【0017】

【図1】一実施形態に係る操作検出装置を備える車両の模式図。

【図2】カメラが撮影する画像であって、教師データの一例を示す図。

【図3】認識エリアに進入したユーザがジェスチャを実施する様子を示す模式図。

【図4】認識エリアに進入したユーザがジェスチャを実施する様子を示す模式図。

【図5】図３のユーザの向きに対応するジェスチャパターンを示す図。

【図6】図４のユーザの向きに対応するジェスチャパターンを示す図。

【図7】ユーザのジェスチャを検出するために操作検出装置が実施する処理の流れを示すフローチャート。

【図8】ユーザの認識エリアに対する進入を判定するために操作検出装置が実施する処理の流れを示すフローチャート。

【図9】ユーザがジェスチャを実施したか否かを判定するために操作検出装置が実施する処理の流れを示すフローチャート。

【図10】変更例に係る操作検出装置が実施する処理の流れを示すフローチャート。

【発明を実施するための形態】

【0018】

以下、車両用操作検出装置（以下、「操作検出装置」ともいう。）及び車両用操作検出方法（以下、「操作検出方法」ともいう。）の一実施形態について図面を参照しつつ説明する。以降の説明では、車両の幅方向を「幅方向」ともいい、車両の前後方向を「前後方向」ともいい、車両の上下方向を「上下方向」ともいう。図中では、幅方向に延びる軸をＸ軸で示し、前後方向に延びる軸をＹ軸で示し、上下方向に延びる軸をＺ軸で示す。

【0019】

図１に示すように、車両１０は、車体２０と、フロントドア３０と、スライドドア４０と、サイドミラー５０と、ロック機構６０と、を備える。また、車両１０は、ドアアクチュエータ７１と、ドアロックアクチュエータ７２と、カメラ８０と、無線通信装置９０と、ドア制御装置１００と、操作検出装置２００と、を備える。

【0020】

車体２０は、フロントドア３０に開閉されるドア開口部２１と、スライドドア４０に開閉されるドア開口部２２と、を有する。ドア開口部２１，２２は、ユーザが車両１０の内外を行き来する際に通過する部位である。ドア開口部２２は「開口部」の一例に相当する。

【0021】

フロントドア３０は、車体２０に対して、上下方向に延びる軸線回りに揺動することで、ドア開口部２１を全閉する全閉位置及びドア開口部２１を全開する全開位置の間を変位する。フロントドア３０の前端寄りの部位には、サイドミラー５０が取り付けられている。

【0022】

スライドドア４０は、車体２０に対して、前後方向にスライドすることで、ドア開口部２２を全閉する全閉位置及びドア開口部２２を全開する全開位置の間を変位する。スライドドア４０の開方向は後方であり、スライドドア４０の閉方向は前方である。スライドドア４０は、ドアアクチュエータ７１により、全閉位置及び全開位置の間で開閉作動される。スライドドア４０は「開閉体」の一例に相当し、ドアアクチュエータ７１は「駆動部」の一例に相当する。

【0023】

ロック機構６０は、全閉位置に配置されるスライドドア４０を車体２０に拘束するフルラッチ状態と、全閉位置での車体２０に対するスライドドア４０の拘束を解除するアンラッチ状態と、に切り替わる。ロック機構６０は、ドアロックアクチュエータ７２により、フルラッチ状態からアンラッチ状態に移行されたり、アンラッチ状態からフルラッチ状態に移行されたりする。以降の説明では、ロック機構６０がフルラッチ状態からアンラッチ状態に移行することを「アンラッチ作動」ともいい、ロック機構６０がアンラッチ状態からフルラッチ状態に移行することを「フルラッチ作動」ともいう。ドアロックアクチュエータ７２は「駆動部」の一例に相当する。

【0024】

カメラ８０は、下方且つ後方を向くようにサイドミラー５０に設置されている。図１では、左側のサイドミラー５０に設置されるカメラ８０のみが図示されているが、右側のサイドミラー５０にもカメラ８０が設置されている。図１に示すように、カメラ８０の撮影エリアＡ２は、ドア開口部２２の周辺の領域を含む。カメラ８０の画角は、広角であることが好ましい。カメラ８０は、撮影した画像をフレーム毎に操作検出装置２００に出力する。

【0025】

携帯機３００は、スライドドア４０を開閉作動させたり停止させたりする際に操作されるスイッチを有する。携帯機３００は、いわゆる電子キーでもよいし、スマートフォンでもよいし、他の通信端末でもよい。無線通信装置９０は、車両１０の周辺に位置する携帯機３００と相互に無線通信を行うことにより、当該携帯機３００が車両１０と対応付いた携帯機３００であるか否かを判定する。この点で、無線通信装置９０は、車両１０の周辺に設定される通信エリアＡ１内に携帯機３００を所持したユーザが存在しているか否かを判定できる。通信エリアＡ１は、撮影エリアＡ２よりも一回り大きなエリアである。

【0026】

携帯機３００において、スライドドア４０を作動させるためのスイッチが操作された場合、無線通信装置９０は、操作されたスイッチに応じて、開作動指令信号、閉作動指令信号及び停止指令信号をドア制御装置１００に出力する。開作動指令信号は、スライドドア４０を開作動させるための指令信号であり、閉作動指令信号は、スライドドア４０を閉作動させるための指令信号である。停止指令信号は、開閉作動中のスライドドア４０を停止させるための指令信号である。また、無線通信装置９０は、通信エリアＡ１内に携帯機３００が存在している場合、その旨を示す信号を操作検出装置２００に出力する。

【0027】

ドア制御装置１００は、入力される指令信号の内容に基づいて、ドアアクチュエータ７１及びドアロックアクチュエータ７２を制御する。詳しくは、ドア制御装置１００は、開作動指令信号が入力される場合、ロック機構６０をアンラッチ作動させた後、スライドドア４０を開作動させる。ドア制御装置１００は、閉作動指令信号が入力される場合、スライドドア４０を全閉位置の付近まで閉作動させた後、ロック機構６０をフルラッチ作動させる。ドア制御装置１００は、停止指令信号が入力される場合、作動中のスライドドア４０を停止させる。

【0028】

次に、操作検出装置２００について説明する。
操作検出装置２００は、ユーザの足部Ｆの爪先Ｔ（以下、「ユーザの爪先Ｔ」ともいう。）を用いたジェスチャを検出したときに、当該ジェスチャに対応する指令信号をドア制御装置１００に出力する。つまり、ユーザのジェスチャは、スライドドア４０の開閉作動の契機であり、操作検出装置２００は、ユーザのスライドドア４０の作動要求を検出する。本実施形態において、ユーザの爪先Ｔは、ユーザのジェスチャに用いる「身体部位」の一例に相当する。

【0029】

図１に示すように、操作検出装置２００は、記憶部２１０と、進入判定部２２０と、ジェスチャ判定部２３０と、を備える。
記憶部２１０は、事前に撮影された画像とユーザの爪先Ｔとを対応付けた教師データを用いて機械学習した学習済みモデルを記憶する。つまり、学習済みモデルは、カメラ８０が撮影した画像を入力とし、当該画像中におけるユーザの爪先位置を出力するモデルである。また、学習済みモデルは、例えば、車両１０の設計時に作成され、車両１０の製造時に記憶部２１０に書き込まれる。

【0030】

以下、学習済みモデルの生成方法について説明する。学習済みモデルの生成方法は、図２に示すような教師データを準備する準備工程と、教師データに基づき機械学習を行う学習工程と、を有する。

【0031】

準備工程は、様々な条件下でユーザを撮影エリアＡ２に立たせた状態で撮影した画像を取得する取得工程と、取得工程で取得される複数の画像中のユーザの爪先位置を指定する指定工程と、を含む。

【0032】

取得工程は、例えば、実際の車両１０と対応付けた試験車両を用いて実施される。取得工程は、ユーザに関する条件及び車両１０の周囲の環境に関する条件を変更することで撮影される多くの画像を取得することが好ましい。取得工程は、ユーザの車両１０に対する向きが異なるときの画像、ユーザの体格が異なるときの画像、ユーザの履物及び服装が異なるときの画像、ユーザの持ち物が異なるときの画像及びユーザの影のできる方向が異なるときの画像などを取得することが好ましい。また、取得工程は、昼間及び夜間など車両１０の周囲の明るさが異なるときの画像、晴天時及び雨天時など天候が異なるときの画像及び舗装の有無など車両１０が停止する地面の種類が異なるときの画像などを取得することが好ましい。これにより、様々な状況に適応可能な学習済みモデル、言い換えれば、汎用性の高い学習済みモデルを得ることが可能となる。

【0033】

指定工程は、図２に破線矢印で示すように、取得した画像に対して、ユーザの爪先Ｔの位置を指定する。位置の指定には、例えば、画像におけるピクセルを用いた座標を使用すればよい。その結果、図２に示すような教師データが生成される。

【0034】

学習工程は、複数の教師データを学習データとした機械学習によりモデルを生成する。機械学習の手法は、色々な手法を選択できるが、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）である。学習済みモデルは、撮影された画像が入力されることで、ユーザの爪先位置を出力する。

【0035】

次に、進入判定部２２０について説明する。進入判定部２２０は、進入判定処理と、方向特定処理と、を実施する。
＜進入判定処理＞
進入判定部２２０は、進入判定処理において、カメラ８０の撮影エリアＡ２内に設定される認識エリアＡ３内にユーザが進入したか否かを判定する。詳しくは、進入判定部２２０は、時間をあけて撮影される画像を学習済みモデルに入力することで、当該画像中におけるユーザの爪先位置を取得する。続いて、進入判定部２２０は、取得した爪先位置が認識エリアＡ３内に存在しているか否かを判定する。学習済みモデルは両足の爪先位置を出力するため、進入判定部２２０は両足の爪先位置が認識エリアＡ３内に存在しているか否かを判定する。

【0036】

そして、進入判定部２２０は、出力されるユーザの爪先位置が認識エリアＡ３内に存在している場合、認識エリアＡ３内にユーザの爪先Ｔが進入していると判定する。一方、進入判定部２２０は、ユーザの爪先位置が出力されない場合及び出力されるユーザの爪先位置が認識エリアＡ３外に存在する場合、認識エリアＡ３内にユーザの爪先Ｔが進入していないと判定する。以降の説明では、認識エリアＡ３に対するユーザの爪先Ｔの進入判定が肯定判定されたときに、学習済みモデルに入力された画像を「第１基準画像」という。言い換えれば、第１基準画像は、進入判定処理が完了したときのユーザの爪先Ｔを撮影した画像であるといえる。

【0037】

図３及び図４は、一点鎖線で示すユーザの爪先Ｔが認識エリアＡ３に進入した様子を図示している。進入判定部２２０は、進入判定処理を実施することで、ユーザの車両１０に対する接近方向に関わらず、ユーザの爪先Ｔが認識エリアＡ３に進入したことを検出できる。

【0038】

なお、サイドミラー５０が展開されている場合及び畳まれている場合では、カメラ８０の向きが変化する。このため、操作検出装置２００は、サイドミラー５０が展開されているか畳まれているかによって、認識エリアＡ３の位置を調整することが好ましい。もしくは、操作検出装置２００は、サイドミラー５０が展開されているか畳まれているかに関わらず、カメラ８０が同方向を向くようにカメラ８０の向き及び位置を調整できるようにしてもよい。

【0039】

また、以降の説明にも共通するが、学習済みモデルの性能によっては、学習済みモデルが出力する位置は、ユーザの爪先位置であるとは限らない。言い換えれば、学習済みモデルは、ユーザの爪先Ｔではない動体の位置を出力する可能性もある。ただし、本明細書中では、説明理解の容易のために、ユーザの爪先位置が撮影エリアＡ２内に存在する場合には、学習済みモデルがユーザの爪先位置を出力できるものとした。

【0040】

＜方向特定処理＞
進入判定部２２０は、方向特定処理において、認識エリアＡ３におけるユーザの向きＤｕを特定する。詳しくは、進入判定部２２０は、第１基準画像中のユーザの爪先位置から、第１基準画像よりも後に撮影された画像中のユーザの爪先位置に、向かう方向をユーザの向きＤｕとする。進入判定部２２０は、第１基準画像よりも後に撮影された画像に対して、第１基準画像中のユーザの爪先位置を含むエリアの特徴量のマッチングを行うことで、第１基準画像よりも後に撮影された画像中のユーザの爪先位置を特定する。第１基準画像中には右足爪先ＴＲ及び左足爪先ＴＬの２つの爪先位置が存在するため、右足の爪先位置を含むエリア及び左足の爪先位置を含むエリアの両エリアの特徴量のマッチングが行われる。こうした２つの画像間における特徴量のマッチングには、オープンソースのコンピュータビジョンライブラリであるＯｐｅｎＣＶを用いることができる。

【0041】

図３及び図４は、認識エリアＡ３を進んだユーザの足部Ｆを実線で示し、ユーザの向きＤｕを実線の直線矢印で示している。言い換えれば、認識エリアＡ３を進んだユーザの爪先Ｔの移動方向を実線の直線矢印で示している。進入判定部２２０は、方向特定処理を実施することで、ユーザの車両１０に対する接近方向に関わらず、ユーザの向きＤｕを特定できる。詳しくは、図３に示すように、ユーザが車両１０に接近する場合のユーザの向きＤｕは、幅方向に沿う方向となる。一方、図４に示すように、ユーザが車両１０に接近する場合のユーザの向きＤｕは、幅方向及び前後方向の両方向と交差する方向となる。右足爪先ＴＲの移動方向及び左足爪先ＴＬの移動方向が異なる方向を向いている場合、双方の移動方向を足し合わせた方向をユーザの向きＤｕとすればよい。

【0042】

なお、進入判定部２２０は、第１基準画像及び第１基準画像よりも後に撮影された１枚の画像に基づいてユーザの向きＤｕを算出してもよいし、第１基準画像及び第１基準画像よりも後に撮影された複数の画像に基づいてユーザの向きＤｕを算出してもよい。また、以降の説明では、ユーザの向きＤｕの算出に使用された画像のうち、最後に撮影された画像を「第２基準画像」という。言い換えれば、第２基準画像は、方向特定処理が完了したときのユーザの爪先Ｔを撮影した画像であるといえる。

【0043】

次に、ジェスチャ判定部２３０について説明する。
ジェスチャ判定部２３０は、ジェスチャ設定処理と、変位ベクトル算出処理と、ジェスチャ判定処理と、中止判定処理と、を実施する。これらの処理は、ユーザの爪先Ｔが認識エリアＡ３内に進入したと判定された後に実施される処理である。

【0044】

＜ジェスチャ設定処理＞
ジェスチャ判定部２３０は、ジェスチャ設定処理において、ユーザの向きＤｕと対応付いたジェスチャパターンを設定する。以下、ユーザの向きＤｕとジェスチャパターンとの関係について説明する。

【0045】

図３及び図４に実線の曲線矢印で示すように、スライドドア４０を開作動させるためのジェスチャは、右足爪先ＴＲが弧を描くように右足爪先ＴＲを振る動作である。言い換えれば、ジェスチャは、左足に対し右足踵の位置を変えずに右足爪先ＴＲを開いて閉じる動作である。

【0046】

ユーザの向きＤｕが図３に示す方向の場合、ジェスチャ判定部２３０は、ユーザの右足爪先ＴＲの移動方向が、図５に示す方向Ｄ１～Ｄ８の順に切り替わる場合に、ユーザがジェスチャを実施したと判定する。一方、ユーザの向きＤｕが図４に示す方向の場合、ジェスチャ判定部２３０は、ユーザの右足爪先ＴＲの移動方向が、図６に示す方向Ｄ１～Ｄ８の順に切り替わる場合に、ユーザがジェスチャを実施したと判定する。

【0047】

図３及び図４に示すように、ユーザの向きＤｕが異なる場合、車両１０との関係、言い換えれば、Ｘ軸及びＹ軸との関係において、図５に示す方向Ｄ１～Ｄ８及び図６に示す方向Ｄ１～Ｄ８はそれぞれ異なる方向である。一例として、図５における方向Ｄ１は、前後方向に延びる方向であるのに対し、図６における方向Ｄ１は、幅方向及び前後方向の両方向と交差する方向である。これに対し、ユーザの向きＤｕを基準としたとき、図５に示す方向Ｄ１～Ｄ８及び図６に示す方向Ｄ１～Ｄ８はそれぞれ同じ方向である。例えば、図５における方向Ｄ１及び図６における方向Ｄ１は、ともに、ユーザの向きＤｕに対して時計方向に９０度傾いた方向である。

【0048】

こうして、ジェスチャ判定部２３０は、図３及び図４に示すようなユーザの向きＤｕと対応付けて、図５及び図６に示すようなジェスチャパターンを設定する。なお、図５及び図６に示すジェスチャパターンは、一例である。このため、実際には、図５及び図６に示すジェスチャパターンよりも詳細であってもよいし、簡素であってもよい。

【0049】

＜変位ベクトル算出処理＞
ジェスチャ判定部２３０は、変位ベクトル算出処理において、時間をあけて撮影された複数の画像に基づいて、ユーザの爪先Ｔの変位ベクトルｖｄを算出する。変位ベクトルｖｄの向きはユーザの爪先Ｔの移動方向を示し、変位ベクトルｖｄの大きさはユーザの爪先Ｔの移動量を示す。変位ベクトル算出処理は、進入判定部２２０によってユーザの向きＤｕが特定された後に実施される。

【0050】

ジェスチャ判定部２３０は、第２基準画像中のユーザの爪先位置から、第２基準画像の次に撮影された画像（以下、「第Ｎの画像」ともいう。）中のユーザの爪先位置に向かう変位ベクトルｖｄを算出する。ジェスチャ判定部２３０は、第Ｎの画像に対して、第２基準画像中のユーザの爪先位置を含むエリアの特徴量のマッチングを行うことで、第Ｎの画像中のユーザの爪先位置を特定する。そして、ジェスチャ判定部２３０は、両画像におけるユーザの爪先位置に基づいて、変位ベクトルｖｄを算出する。ここで、第２基準画像は爪先位置が特定済みの「特定画像」に相当し、第Ｎの画像は爪先位置が未特定の「未特定画像」に相当する。

【0051】

第２基準画像中には、右足爪先ＴＲ及び左足爪先ＴＬの２つの爪先位置が存在するため、右足の爪先位置を含むエリア及び左足の爪先位置を含むエリアの両エリアに対して、特徴量のマッチングが行われる。つまり、ジェスチャ判定部２３０は、ユーザの右足爪先ＴＲの変位ベクトルｖｄ及びユーザの左足爪先ＴＬの変位ベクトルｖｄを算出する。ここで、ユーザがジェスチャを実施する場合には、ユーザの右足爪先ＴＲが移動する一方で、ユーザの左足爪先ＴＬが移動しない。このため、ジェスチャ判定部２３０が算出する２つの変位ベクトルｖｄのうち、大きさの大きい変位ベクトルｖｄがユーザの右足爪先ＴＲに対応し、大きさの小さい変位ベクトルｖｄがユーザの左足爪先ＴＬに対応する。したがって、ジェスチャ判定部２３０は、以後、左足爪先ＴＬと想定される爪先Ｔの変位ベクトルｖｄの算出を行わなくてもよい。

【0052】

第２基準画像及び第Ｎの画像間におけるユーザの爪先位置の変位ベクトルｖｄの算出が終わると、ジェスチャ判定部２３０は、第Ｎの画像中のユーザの爪先位置から、第Ｎの画像の次に撮影された画像（以下、「第Ｎ＋１の画像」ともいう。）中のユーザの爪先位置に向かう変位ベクトルｖｄを算出する。ジェスチャ判定部２３０は、第Ｎ＋１の画像に対して、第Ｎの画像中のユーザの爪先位置を含むエリアの特徴量のマッチングを行うことで、第Ｎ＋１の画像中のユーザの爪先位置を特定する。この場合、第Ｎの画像が「特定画像」に相当し、第Ｎ＋１の画像が「未特定画像」に相当する。こうして、ジェスチャ判定部２３０は、カメラ８０から次の画像を取得する度に、所定の周期で撮影される２つの画像間におけるユーザの爪先Ｔの変位ベクトルｖｄを繰り返し算出する。つまり、「特定画像」及び「未特定画像」は順に切り替わる。

【0053】

ジェスチャ判定部２３０は、カメラ８０から出力される１フレーム毎の画像を用いて変位ベクトルｖｄを算出してもよいし、カメラ８０から出力される２フレーム毎の画像を用いて変位ベクトルｖｄを算出してもよい。つまり、ジェスチャ判定部２３０は、カメラ８０が撮影する全ての画像を使用して変位ベクトルｖｄを算出する必要はない。また、一定の時間経過に対する変位ベクトルｖｄが算出される点で、変位ベクトルｖｄの大きさは、単位時間あたりのユーザの爪先Ｔの移動量、言い換えれば、ユーザの爪先Ｔの変位速度を表しているといえる。

【0054】

＜ジェスチャ判定処理＞
ジェスチャ判定部２３０は、ジェスチャ判定処理において、ユーザの爪先Ｔの変位ベクトルｖｄの向きが、設定されたジェスチャパターン通りに変化した場合に、ジェスチャが実施されたと判定する。つまり、ジェスチャ判定部２３０は、ドア制御装置１００に各種の指令信号を出力する。

【0055】

ジェスチャ判定部２３０は、変位ベクトル算出処理及びジェスチャ判定処理を同時に実施してもよいし、順番に実施してもよい。前者の場合、ジェスチャ判定部２３０は、１つの変位ベクトルｖｄが算出されるたびに、当該変位ベクトルｖｄの向きがジェスチャパターンに対応する方向であるか否かを判定する。後者の場合、ジェスチャ判定部２３０は、まとまった数の変位ベクトルｖｄが算出された後に、複数の変位ベクトルｖｄの向きがジェスチャパターンに対応する方向に変化するか否かを判定する。

【0056】

＜中止判定処理＞
ジェスチャ判定部２３０は、中止判定処理において、ジェスチャの判定を継続したり中止したりする。中止判定処理は、ジェスチャ判定処理と並行して実施される処理である。

【0057】

例えば、ユーザが認識エリアＡ３で停止している場合など、ユーザがジェスチャを実施しない場合には、ユーザの爪先Ｔの単位時間あたりの移動量が「０」又は「０」に近い値を取りやすい。そこで、ジェスチャ判定部２３０は、爪先Ｔの変位ベクトルｖｄの大きさが所定の下限判定値ｖｄｔｈ１未満の場合、ジェスチャの判定を中止する。

【0058】

ただし、ユーザがジェスチャを実施するときの状態によっては、ユーザの爪先Ｔの変位速度が一時的に低下することで、爪先Ｔの単位時間あたりの移動量が一時的に「０」又は「０」に近い値になる可能性がある。また、爪先Ｔの変位ベクトルｖｄの向きが反転する際には、爪先Ｔの単位時間あたりの移動量が一時的に「０」又は「０」に近い値になる可能性がある。そこで、ジェスチャ判定部２３０は、爪先Ｔの変位ベクトルｖｄの大きさが下限判定値ｖｄｔｈ１未満となる回数が所定の停止判定回数ｃｎｔｔｈ未満の場合には、ジェスチャの判定を中止しない。言い換えれば、ジェスチャ判定部２３０は、爪先Ｔの変位ベクトルｖｄの大きさが下限判定値ｖｄｔｈ１未満となる回数が停止判定回数ｃｎｔｔｈ以上の場合には、ジェスチャの判定を中止する。

【0059】

ユーザがジェスチャを実施する場合には、爪先Ｔの変位速度に限界がある。言い換えれば、爪先Ｔの単位時間あたりの移動量が過度に大きい場合には、変位ベクトルｖｄの算出対象がユーザの爪先Ｔでない可能性が高い。そこで、ジェスチャ判定部２３０は、爪先Ｔの変位ベクトルｖｄの大きさが上限判定値ｖｄｔｈ２以上の場合、ジェスチャの判定を中止する。

【0060】

なお、下限判定値ｖｄｔｈ１及び上限判定値ｖｄｔｈ２並びに停止判定回数ｃｎｔｔｈは、シミュレーション及び実験などから事前に設定されることが好ましい。例えば、複数のユーザが複数の条件でジェスチャを実施するときの爪先Ｔの変位速度の測定結果に基づき、変位速度の平均μ及び標準偏差σを計算することが考えられる。この場合、下限判定値ｖｄｔｈ１を「μ－３σ」に相当する値としたり、上限判定値ｖｄｔｈ２を「μ＋３σ」に相当する値としたりすればよい。

【0061】

以下、図７～図９に示すフローチャートを参照して、ユーザのジェスチャを検出するために操作検出装置２００が実施する処理の流れ、言い換えれば、操作検出方法について説明する。以降の処理は、車両１０が駐車中に所定の制御サイクルで実施される処理である。

【0062】

図７に示すように、操作検出装置２００は、無線通信装置９０から出力される信号に基づいて、携帯機３００が通信エリアＡ１に存在しているか否かを判定する（Ｓ１１）。携帯機３００が通信エリアＡ１に存在していない場合（Ｓ１１：ＮＯ）、言い換えれば、ユーザが通信エリアＡ１内に存在していない場合、操作検出装置２００は、本処理を終了する。

【0063】

一方、携帯機３００が通信エリアＡ１に存在している場合（Ｓ１１：ＹＥＳ）、言い換えれば、ユーザが通信エリアＡ１に存在している場合、操作検出装置２００は、カメラ８０を起動する（Ｓ１２）。ステップＳ１２において、携帯機３００が車両１０の右側及び左側の何れの通信エリアＡ１に存在しているかを判別できる場合には、携帯機３００が存在している通信エリアＡ１に対応するカメラ８０が起動される。例えば、車両１０の右側の通信エリアＡ１に携帯機３００が存在している場合、右側のサイドミラー５０に設けられるカメラ８０が起動される。

【0064】

続いて、操作検出装置２００は、認識エリアＡ３内へのユーザの進入を判定するための処理と、ユーザのジェスチャを検出するための処理と、を実施する（Ｓ１３，Ｓ１４）。その後、操作検出装置２００は、カメラ８０を停止し（Ｓ１５）、本処理を終了する。

【0065】

次に、図８に示すフローチャートを参照して、認識エリアＡ３内へユーザの進入を判定する処理内容について説明する。
図８に示すように、操作検出装置２００は、カメラ８０が撮影した画像を取得する（Ｓ２１）。続いて、操作検出装置２００は、取得した画像を学習済みモデルに入力することで、当該画像内におけるユーザの爪先位置を取得する（Ｓ２２，Ｓ２３）。続いて、操作検出装置２００は、ユーザの爪先位置が認識エリアＡ３内に存在しているか否かを判定する（Ｓ２４）。ユーザの爪先位置が認識エリアＡ３内に存在していない場合（Ｓ２４：ＮＯ）、操作検出装置２００は、ステップＳ２１に処理を移行する。この場合、操作検出装置２００は、次の画像に対してステップＳ２２，Ｓ２３の処理を実施する。こうして、操作検出装置２００は、ユーザの爪先Ｔが認識エリアＡ３に進入するのを待機する。

【0066】

一方、ユーザの爪先位置が認識エリアＡ３内に存在している場合（Ｓ２４：ＹＥＳ）、操作検出装置２００は、次の画像を取得する（Ｓ２５）。ここで、ステップＳ２４の処理が肯定判定されるときに、判定の対象となっていた画像は第１基準画像に相当する。

【0067】

続いて、操作検出装置２００は、第１基準画像及びステップＳ２５で取得した画像の両画像間で、特徴量のマッチングを行う（Ｓ２６）。続いて、操作検出装置２００は、第１基準画像中のユーザの爪先位置を含むエリアの特徴量とマッチングするエリアが、ステップＳ２５で取得した画像の中に含まれているか否かを判定する（Ｓ２７）。

【0068】

マッチングするエリアがステップＳ２５で取得した画像の中に含まれていない場合（Ｓ２７：ＮＯ）、操作検出装置２００は、ステップＳ２５に処理を移行する。一方、マッチングするエリアがステップＳ２５で取得した画像の中に含まれている場合（Ｓ２７：ＹＥＳ）、操作検出装置２００は、両画像間におけるユーザの爪先Ｔの移動方向を算出する（Ｓ２８）。ステップＳ２７において、ユーザの爪先Ｔの移動方向の算出に使用される画像のうち、第１基準画像でない方の画像が第２基準画像に相当する。その後、操作検出装置２００は、算出したユーザの爪先Ｔの移動方向を認識エリアＡ３内におけるユーザの向きＤｕとして確定する（Ｓ２９）。

【0069】

次に、図９に示すフローチャートを参照して、ユーザがジェスチャを実施したか否かを判定するための処理内容について説明する。
図９に示すように、操作検出装置２００は、ユーザの向きＤｕに応じたジェスチャパターンを設定する（Ｓ３１）。例えば、ユーザの向きＤｕが図３に示す方向である場合、図５に示すジェスチャパターンが設定され、ユーザの向きＤｕが図４に示す方向である場合、図６に示すジェスチャパターンが設定される。

【0070】

続いて、操作検出装置２００は、次の画像を取得する（Ｓ３２）。そして、操作検出装置２００は、前回取得した画像及びステップＳ３２で今回取得した画像の両画像間で、特徴量のマッチングを行う（Ｓ３３）。なお、ステップＳ３３が初めて実施される場合、前回取得した画像は第２基準画像となる。

【0071】

続いて、操作検出装置２００は、前回取得した画像中のユーザの爪先位置を含むエリアの特徴量とマッチングするエリアが、今回取得した画像の中に含まれているか否かを判定する（Ｓ３４）。マッチングするエリアが、今回取得した画像中の認識エリアＡ３内に含まれていない場合（Ｓ３４）、操作検出装置２００は、ステップＳ１５に処理を移行する。

【0072】

一方、マッチングするエリアが、今回取得した画像中の認識エリアＡ３内に含まれている場合（Ｓ３４：ＹＥＳ）、操作検出装置２００は、ユーザの爪先Ｔの変位ベクトルｖｄを算出する（Ｓ３５）。続いて、操作検出装置２００は、変位ベクトルｖｄの大きさが上限判定値ｖｄｔｈ２以上か否かを判定する（Ｓ３６）。変位ベクトルｖｄの大きさが上限判定値ｖｄｔｈ２以上の場合（Ｓ３６：ＹＥＳ）、言い換えれば、２つの画像間を変位する動体がジェスチャの検出対象として適当でない可能性が高い場合、操作検出装置２００は、ステップＳ１５に処理を移行する。

【0073】

一方、変位ベクトルｖｄの大きさが上限判定値ｖｄｔｈ２未満の場合（Ｓ３６：ＮＯ）、操作検出装置２００は、変位ベクトルｖｄの大きさが下限判定値ｖｄｔｈ１以上か否かを判定する（Ｓ３７）。変位ベクトルｖｄの大きさが下限判定値ｖｄｔｈ１未満の場合（Ｓ３７：ＹＥＳ）、言い換えれば、２つの画像間を変位する動体がジェスチャの検出対象として適当でない可能性がある場合、操作検出装置２００は、停止カウンタｃｎｔをインクリメントする。停止カウンタｃｎｔは、変位ベクトルｖｄの大きさが下限判定値ｖｄｔｈ１未満となった回数をカウントするための変数である。停止カウンタｃｎｔは、本処理を開始する際に「０」に初期化される。

【0074】

続いて、操作検出装置２００は、停止カウンタｃｎｔが停止判定回数ｃｎｔｔｈ以上か否かを判定する（Ｓ３９）。停止カウンタｃｎｔが停止判定回数ｃｎｔｔｈ以上の場合（Ｓ３９：ＹＥＳ）、例えば、ユーザがジェスチャを実施することなく認識エリアＡ３内に長期間にわたって留まっている場合、操作検出装置２００は、ステップＳ１５に処理を移行する。一方、停止カウンタｃｎｔが停止判定回数ｃｎｔｔｈ未満の場合（Ｓ３９：ＮＯ）、例えば、ユーザがごく短期間だけジェスチャの実施を中止した場合、操作検出装置２００は、ステップＳ３２に処理を移行する。この場合、操作検出装置２００は、ユーザがジェスチャの続きを判定する。

【0075】

ステップＳ３７において、変位ベクトルｖｄの大きさが下限判定値ｖｄｔｈ１以上の場合（Ｓ３７：ＮＯ）、操作検出装置２００は、変位ベクトルｖｄの向きがジェスチャパターンに合致しているか否かを判定する（Ｓ４０）。変位ベクトルｖｄの向きがジェスチャパターンに合致していない場合（Ｓ４０：ＮＯ）、操作検出装置２００は、ステップＳ１５に処理を移行する。一方、変位ベクトルｖｄの向きがジェスチャパターンに合致している場合（Ｓ４０：ＹＥＳ）、操作検出装置２００は、ジェスチャの照合が完了したか否かを判定する（Ｓ４１）。ジェスチャの照合が完了していない場合（Ｓ４１：ＮＯ）、操作検出装置２００は、ステップＳ３２に処理を移行する。一方、ジェスチャの照合が完了した場合（Ｓ４１：ＹＥＳ）、操作検出装置２００は、ドア制御装置１００に対して開作動指令信号を出力する（Ｓ４２）。

【0076】

なお、操作検出装置２００は、携帯機３００が通信エリアＡ１内に入った後であっても（Ｓ１１：ＹＥＳ）、次のような場合には一連の処理を終了することが好ましい。例えば、操作検出装置２００は、携帯機３００が通信エリアＡ１外に移動した場合、スライドドア４０が開作動し始めた場合、ＡＣＣ電源及びＩＧ電源がオンになった場合、所定のタイムアウト条件が成立した場合などには、本処理を終了することが好ましい。

【0077】

本実施形態の作用について説明する。
例えば、両手に荷物を持ったユーザが車両１０に乗車しようとする場合を想定する。この場合、ユーザは、車両１０のスライドドア４０の正面まで移動した後、左足を軸足とし、右足の爪先Ｔを振る。すると、スライドドア４０が開作動し、ユーザは、両手に持った荷物を後部座席に置くことが可能となる。ここで、ユーザの車両１０に対する接近方向は、車両１０の前後方向でもよいし、車両１０の幅方向でもよいし、車両１０の前後方向及び幅方向の両方向と交差する方向でもよい。つまり、ユーザは、車両１０に対する接近方向に関わらず、一定のジェスチャを行うことでスライドドア４０を開作動することができる。

【0078】

本実施形態の効果について説明する。
（１）操作検出装置２００は、認識エリアＡ３内にユーザの爪先Ｔが進入した場合に、ユーザの爪先Ｔを用いたジェスチャが実施されたか否かを判定する。ここで、操作検出装置２００は、カメラ８０が撮影した画像と学習済みモデルとを用いて、認識エリアＡ３内にユーザの爪先Ｔが進入したか否かを判定する。このため、認識エリアＡ３内にユーザの爪先Ｔが進入したことを精度良く判定できる。こうして、操作検出装置２００は、ユーザのジェスチャの検出精度を高めることができる。

【0079】

（２）操作検出装置２００は、変位ベクトル算出処理において、爪先位置を含むエリアの特徴量のマッチングを行うことで、複数の画像間における爪先位置の変位ベクトルｖｄを算出する。このため、操作検出装置２００は、変位ベクトルｖｄを算出する際の算出負荷を低減できる。

【0080】

（３）操作検出装置２００は、ユーザの爪先Ｔの変位ベクトルｖｄの大きさが下限判定値ｖｄｔｈ１未満の場合、ジェスチャの判定を中止する。このため、操作検出装置２００は、ユーザのジェスチャを誤判定するおそれを低減できる。

【0081】

（４）操作検出装置２００は、ユーザの爪先Ｔの変位ベクトルｖｄの大きさが下限判定値ｖｄｔｈ１未満となる回数が停止判定回数ｃｎｔｔｈ未満の場合には、ジェスチャの判定を中止しない。つまり、操作検出装置２００は、ユーザの状態及びジェスチャの内容などに起因して、ジェスチャの判定を中止しにくくなる。このため、操作検出装置２００は、ジェスチャの判定精度が低下することを抑制できる。

【0082】

（５）操作検出装置２００は、ユーザの爪先Ｔの変位ベクトルｖｄの大きさが上限判定値ｖｄｔｈ２以上の場合、ジェスチャの判定を中止する。このため、操作検出装置２００は、ジェスチャを誤判定するおそれを低減できる。

【0083】

（６）操作検出装置２００は、ユーザの両足の爪先位置の２つの変位ベクトルｖｄのうち、大きさの大きい変位ベクトルｖｄの爪先Ｔがジェスチャを実施する爪先Ｔであると判定する。このため、操作検出装置２００は、ユーザが右足爪先ＴＲではなく左足爪先ＴＬでジェスチャを行う場合でも、ユーザがジェスチャを実施したと判定できる。

【0084】

本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・ジェスチャ判定部２３０は、変位ベクトル算出処理において、時間をあけて撮影された複数の画像を学習済みモデルに入力することで得られる複数の画像ごとのユーザの爪先位置に基づいて、変位ベクトルｖｄを算出してもよい。具体的には、ジェスチャ判定部２３０は、先に取得した画像を学習済みモデルに入力することで得られるユーザの爪先位置及び後に取得したの画像を学習済みモデルに入力することで得られるユーザの爪先位置に基づき、変位ベクトルｖｄを算出してもよい。以下、図１０に示すフローチャートを参照して簡単に説明する。図１０に示すフローチャートは、図９に示すフローチャートと相違する部分を示している。

【0085】

図１０に示すように、操作検出装置２００は、画像を取得する（Ｓ３２）。続いて、操作検出装置２００は、取得した画像を学習済みモデルに入力することにより、ユーザの爪先位置を取得する（Ｓ５１，Ｓ５２）。その後、操作検出装置２００は、ユーザの爪先位置が認識エリアＡ３内に存在しているか否かを判定する（Ｓ５３）。ユーザの爪先位置が認識エリアＡ３外に存在していない場合（Ｓ５３：ＮＯ）、操作検出装置２００は、ステップＳ１５に処理を移行する。一方、ユーザの爪先位置が認識エリアＡ３内に存在している場合（Ｓ５３：ＹＥＳ）、操作検出装置２００は、先に取得した画像の爪先位置及び後に取得した爪先位置に基づき、変位ベクトルｖｄを算出する（Ｓ３３）。

【0086】

このように、ジェスチャ判定部２３０は、新たに取得した画像を学習済みモデルに入力することで、当該画像中のユーザの爪先位置を特定できる。これによれば、操作検出装置２００は、ユーザの爪先Ｔの変位ベクトルｖｄを精度良く算出できる。なお、進入判定部２２０が方向特定処理を実施する場合（Ｓ２６，Ｓ２７）についても同様に処理することもできる。

【0087】

・操作検出装置２００は、ユーザの爪先位置を取得するために、上記実施形態及び上記変更例を合わせて利用してもよい。
・学習済みモデルは、カメラ８０が撮影した画像を入力として、ユーザの右足爪先ＴＲの位置を出力するモデルとしてもよい。この場合、教師データは、ユーザの右足爪先ＴＲの位置のみを指定した画像データとなる。また、学習済みモデルは、ユーザの右足爪先ＴＲの位置を出力するモデルと、ユーザの左足爪先ＴＬの位置を出力するモデルと、を含んでもよい。

【0088】

・ユーザのジェスチャは、足部Ｆを除く身体部位を利用したジェスチャであってもよい。例えば、身体部位を頭部としたとき、ユーザのジェスチャは、頭部を上下又は左右に振る動作であってもよい。また、身体部位を手又は腕部としたとき、ユーザのジェスチャは、手又は腕部を上下又は左右に振る動作であってもよい。また、身体部位を瞼としたとき、ユーザのジェスチャは、片目を瞬きする動作であってもよい。

【0089】

・操作検出装置２００は、ユーザが車両１０を使用するのに合わせて、機械学習を進めてもよい。これによれば、学習済みモデルをユーザの実際の車両１０の使用環境に適合させたモデルとすることができる。

【0090】

・操作検出装置２００は、スライドドア４０を閉作動させるためのユーザのジェスチャを検出してもよい。この場合、スライドドア４０を開作動させるためのジェスチャ及びスライドドア４０を閉作動させるためのジェスチャは、同一であってもよいし、異なっていてもよい。

【0091】

・ドア制御装置１００は、操作検出装置２００から開作動指令信号が入力されたとき、ロック機構６０をアンラッチ作動させるだけに留めてもよい。
・カメラ８０は、サイドミラー５０に設置しなくてもよい。例えば、カメラ８０は、ドア開口部２２の上端に設置してもよいし、スライドドア４０に設置してもよい。

【0092】

・「開閉体」は、フロントドア３０としてもよいし、バックドアとしてもよいし、サンルーフ装置の可動パネルとしてもよい。
・ドア制御装置１００及び操作検出装置２００は、コンピュータプログラム（ソフトウェア）に従って動作する１つ以上のプロセッサとして構成し得る。また、ドア制御装置１００及び操作検出装置２００は、各種処理のうち少なくとも一部の処理を実行する専用のハードウェア（特定用途向け集積回路：ＡＳＩＣ）等の１つ以上の専用のハードウェア回路として構成し得る。さらに、ドア制御装置１００及び操作検出装置２００は、これらの組み合わせを含む回路として構成し得る。プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリを含んでいる。メモリは、処理をＣＰＵに実行させるように構成されたプログラムコードまたは指令を格納している。メモリ、すなわち記憶媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。

【符号の説明】

【0093】

１０…車両
２０…車体
２２…ドア開口部（開口部の一例）
４０…スライドドア（開閉体の一例）
７１…ドアアクチュエータ（駆動部の一例）
８０…カメラ
１００…ドア制御装置
２００…車両用操作検出装置
２１０…記憶部
２２０…進入判定部
２３０…ジェスチャ判定部
３００…携帯機
Ａ１…通信エリア
Ａ２…撮影エリア
Ａ３…認識エリア
Ｔ（ＴＲ，ＴＬ）…爪先
ｖｄ…変位ベクトル
ｖｄｔｈ１…下限判定値
ｖｄｔｈ２…上限判定値
ｃｎｔｔｈ…停止判定回数

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】