特開 2022-134316 制御装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022134316

(43)【公開日】2022-09-15

(54)【発明の名称】制御装置およびプログラム

(51)【国際特許分類】

   E05B 49/00 20060101AFI20220908BHJP

   E05F 15/73 20150101ALI20220908BHJP

   B60R 25/01 20130101ALI20220908BHJP

   B60J 5/00 20060101ALI20220908BHJP

   G06T 7/20 20170101ALI20220908BHJP

【ＦＩ】

E05B49/00 R

E05F15/73

B60R25/01

B60J5/00 H

G06T7/20 300A

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2021033371

(22)【出願日】2021-03-03

(71)【出願人】

【識別番号】000003551

【氏名又は名称】株式会社東海理化電機製作所

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】梶田 基貴

【テーマコード（参考）】

2E052

2E250

5L096

【Ｆターム（参考）】

2E052AA09

2E052BA06

2E052BA07

2E052EA09

2E052EB06

2E052EC01

2E052LA02

2E250AA21

2E250BB05

2E250BB08

2E250BB65

2E250CC28

2E250DD01

2E250DD06

2E250DD08

2E250EE03

2E250FF08

2E250FF11

2E250FF18

2E250FF27

2E250FF36

2E250HH01

2E250JJ03

2E250JJ22

2E250JJ53

2E250KK03

2E250LL01

2E250LL05

2E250MM05

5L096BA04

5L096CA04

5L096CA24

5L096FA69

5L096HA02

5L096HA09

5L096KA04

(57)【要約】

【課題】ユーザーの動作に基づいて車両のドアを制御する場合に、ユーザーが車両に対して接触することを低減する。
【解決手段】車両２０に搭載される制御装置１は、車両２０に搭載されたカメラ３から車両２０の外部の画像を取得する取得部１０２と、取得部１０２が取得した画像に基づいてユーザーの動作を判定する判定部１０１とを備える。判定部１０１は、水平面に対して垂直となるユーザーの所定動作が終了したと判定した後、車両２０のドア２１のロックを解除するために必要な信号を出力する。
【選択図】図２

【特許請求の範囲】

【請求項1】

車両に搭載される制御装置であって、
前記車両に搭載されたカメラから前記車両の外部の画像を取得する取得部と、
前記取得部が取得した画像に基づいてユーザーの動作を判定する判定部とを備え、
前記判定部は、水平面に対して垂直となる前記ユーザーの所定動作が終了したと判定した後、前記車両のドアのロックを解除するために必要な第１信号を出力する、制御装置。

【請求項2】

前記判定部は、前記取得部が取得した画像に基づいて、前記ユーザーの状態が開始条件を満たすか否かを判定し、前記開始条件を満たすと判定したときに、前記所定動作の判定を開始する、請求項１に記載の制御装置。

【請求項3】

前記判定部は、前記ユーザーが前記所定動作を終えた後、前記取得部が取得した画像に基づいて、前記ユーザーの状態が終了条件を満たすか否かを判定し、前記終了条件を満たすと判定したときに、前記第１信号を出力する、請求項１または請求項２に記載の制御装置。

【請求項4】

前記判定部は、前記ユーザーによる前記所定動作が終了するまでに、前記ユーザーによるエラー動作を検出したとき、エラーと判定する、請求項１～請求項３のいずれか１項に記載の制御装置。

【請求項5】

前記判定部は、前記エラーと判定したとき、前記エラーの発生を前記ユーザーに通知するための第２信号を出力する、請求項４に記載の制御装置。

【請求項6】

前記所定動作に関わる前記ユーザーの部位の選択を受け付ける設定部をさらに備える、請求項１～請求項５のいずれか１項に記載の制御装置。

【請求項7】

前記判定部は、前記第１信号の入力を条件に前記車両のドアを開放する開閉装置に対して、前記第１信号を出力する、請求項１～請求項６のいずれか１項に記載の制御装置。

【請求項8】

前記所定動作は、第１動作と第２動作とを含み、
前記判定部は、前記第１動作と前記第２動作とが基準に合致し、かつ、前記第１動作と前記第２動作との順序が予め定めた順序と一致すると判定したとき、前記所定動作が終了したと判定する、請求項１～請求項７のいずれか１項に記載の制御装置。

【請求項9】

前記第２動作は、前記第１動作の逆の順序の動作である、請求項８に記載の制御装置。

【請求項10】

前記所定動作は、前記ユーザーの一方の脚の動作である、請求項１～請求項９のいずれか１項に記載の制御装置。

【請求項11】

前記所定動作は、前記ユーザーの脚の動作であり、
前記開始条件は、前記ユーザーの両足首および両膝が静止することを含む、請求項２に記載の制御装置。

【請求項12】

前記所定動作は、前記ユーザーの脚の動作であり、
前記終了条件は、前記ユーザーの両足首が静止することを含む、請求項３に記載の制御装置。

【請求項13】

前記エラー動作は、前記ユーザーによる前記所定動作が規定時間で終了しないことを含む、請求項４に記載の制御装置。

【請求項14】

前記所定動作は、第１動作と第２動作とを含み、
前記エラー動作は、前記第１動作の後に検出された、前記第２動作の方向とは逆方向の動作を含む、請求項４に記載の制御装置。

【請求項15】

前記所定動作は、前記ユーザーの第１の脚の動作であり、
前記エラー動作は、前記第１の脚とは別の前記ユーザーの第２の脚の動作であることを含む、請求項４に記載の制御装置。

【請求項16】

前記所定動作は、前記ユーザーの第１の脚の動作であり、
前記エラー動作は、前記第１の脚とは別の前記ユーザーの第２の脚の膝と前記第２の脚の足首との角度が閾値を超える動作であることを含む、請求項４に記載の制御装置。

【請求項17】

車両のユーザーの動作を判定する判定プログラムであって、
コンピュータに、
前記車両に搭載されたカメラから前記車両の外部の画像を取得するステップと、
前記画像に基づいて水平面に対して垂直となる前記ユーザーの所定動作の終了を判定した後、前記車両のドアのロックを解除するために必要な第１信号を出力するステップとを実行させる、判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、制御装置およびプログラムに関し、特に、車両に搭載される制御装置および車両の制御のためのプログラムに関する。

【背景技術】

【0002】

ユーザーの動作を検出することによって車両のドアを開くシステムが知られている。たとえば、特開２０１７－１４１６４０号公報（特許文献１）には、車両のスライドドアの下方に設けたキックセンサに向けてユーザーがキック動作をすると、車両のスライドドアが開くシステムが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１４１６４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

先行技術文献１に記載されたシステムにおいては、キックセンサの検出領域に足先が入るよう、ユーザーは足を車両の底の空間に対して十分に差し入れてキック動作をする必要がある。このため、勢いよくキック動作をしたユーザーは、キック動作の際に車両の底に足を衝突させてしまうおそれがある。

【0005】

本開示は、かかる問題を解決するためになされたものであり、本開示の目的は、ユーザーの動作に基づいて車両のドアを制御する場合に、ユーザーが車両に対して接触することを低減することである。

【課題を解決するための手段】

【0006】

本開示の制御装置は、車両に搭載される制御装置である。制御装置は、車両に搭載されたカメラから車両の外部の画像を取得する取得部と、取得部が取得した画像に基づいてユーザーの動作を判定する判定部とを備える。判定部は、水平面に対して垂直となるユーザーの所定動作が終了したと判定した後、車両のドアのロックを解除するために必要な第１信号を出力する。

【0007】

また、本開示のプログラムは、車両のユーザーの動作を判定する判定プログラムである。判定プログラムは、コンピュータに、コンピュータに、車両に搭載されたカメラから車両の外部の画像を取得するステップと、画像に基づいて水平面に対して垂直となるユーザーの所定動作の終了を判定した後、車両のドアのロックを解除するために必要な第１信号を出力するステップとを実行させる。

【発明の効果】

【0008】

本開示の制御装置およびプログラムによれば、車両に搭載されたカメラで撮影された画像に基づいて、ユーザーの所定動作を判定するため、ユーザーの動作に基づいて車両のドアを制御する場合に、ユーザーが車両に対して接触することを低減できる。

【図面の簡単な説明】

【0009】

【図1】ドア制御システムの全体ブロック図である。

【図2】制御装置の制御に関わる構成を概念的に示すブロック図である。

【図3】ドアのロックを解除する条件を満たす所定動作を示す図である。

【図4】ユーザーの動作と制御装置の判定内容との関係を示すタイミングチャート１である。

【図5】ユーザーの動作と制御装置の判定内容との関係を示すタイミングチャート２である。

【図6】ユーザーの動作と制御装置の判定内容との関係を示すタイミングチャート３である。

【図7】ユーザーの動作と制御装置の判定内容との関係を示すタイミングチャート４である。

【図8】ユーザーの動作と制御装置の判定内容との関係を示すタイミングチャート５である。

【図9】ユーザーの動作と制御装置の判定内容との関係を示すタイミングチャート６である。

【図10】ユーザーの動作と制御装置の判定内容との関係を示すタイミングチャート７である。

【図11】ユーザーの動作と制御装置の判定内容との関係を示すタイミングチャート８である。

【図12】制御装置が制御に用いる判定用テーブルを示す図である。

【図13】制御装置により実行される処理の手順の一例を示すフローチャートである。

【図14】制御装置により実行される動作判定処理の手順の一例を示すフローチャートである。

【図15】制御装置により実行される動作判定処理の手順の一例を示すフローチャートである。

【図16】制御装置により実行される左脚チェック処理の手順の一例を示すフローチャートである。

【図17】制御装置と携帯装置とにより実行される処理の手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。

【0011】

＜全体ブロック図＞
図１は、ドア制御システム１００の全体ブロック図である。ドア制御システム１００は、車両２０に搭載される。車両２０は、たとえば、ハッチバック型の車両である。車両２０は、乗車席に対応するドアの他、跳ね上げ式のドア２１を後部に備えている。図１では、乗車席に対応するドアの図示を省略している。本開示に関わる車両はハッチバック型の車両に限定されない。

【0012】

ドア制御システム１００は、制御装置１と、ドア２１を開閉するロック装置２と、車両２０の外部を撮影するカメラ３と、通信装置４とを備える。制御装置１は、ロック装置２、カメラ３、および通信装置４と通信可能に接続されている。カメラ３は、たとえば、車両２０の後部に取り付けられている。カメラ３は車両２０の後方に位置する人の下半身を少なくとも撮影できるよう、その取り付け位置が調整されている。カメラは、撮影した動画を制御装置１に送信する。

【0013】

通信装置４は、ユーザーが携帯する携帯装置５０と通信する。携帯装置５０は、たとえば、制御装置１が認証に用いるＩＤを記憶しているスマートキーである。携帯装置５０は、制御装置１が認証に用いるＩＤを記憶しているスマートフォンであってもよい。携帯装置５０は、加速度センサ５１を内蔵している。携帯装置５０は、加速度センサ５１が計測する加速度情報を通信装置４を介して制御装置１に送信する。

【0014】

ロック装置２は、制御装置１の指令に従い、車両２０に設けられたドアを開閉する。図１では、ドアの代表例として車両２０の後方に設けられたドア２１を示している。ロック装置２は、車両２０のドアを開閉する開閉装置の一例である。

【0015】

制御装置１は、ハードウエアの構成として、各種の演算を実行するプロセッサ１１と、プログラムおよび演算結果を記憶するメモリ１２と、各種のデータを入力および出力する入出力ポート１３とを含んでいる。

【0016】

制御装置１は、通信装置４を介して携帯装置５０からＩＤを受信する。これにより、車両２０に近づいた人物が車両２０のドア２１を開閉することが許されたユーザー本人であることを認証する。ＩＤを用いて本人認証をすることに変えて、カメラ３で撮影された人物の特徴に基づいて本人認証をしてもよい。たとえば、人物の顔の特徴に基づいて本人認証することが考えられる。

【0017】

制御装置１は、カメラ３から受信する画像に基づいて、車両２０の後方に位置するユーザーの動作を判定する。制御装置１は、携帯装置５０から受信する加速度情報に基づいて、ユーザーの動きを特定する。具体的には、制御装置１は、ユーザーが動いたか否かを加速度情報に基づいて特定する。制御装置１は、ユーザーの動作がドア２１のロックを解除するために設定された所定動作に一致すると判定した後、ドア２１のロックを解除するために必要な信号をロック装置２に出力する。以下、この信号をアンロック信号と称する。アンロック信号は、第１信号の一例である。ロック装置２は、アンロック信号に基づいてドア２１のロックを解除する。ロック装置２は、アンロック信号に基づいてドア２１のロックを解除するとともに、ドア２１を開いてもよい。

【0018】

ただし、制御装置１は、ユーザーが所定動作を行う間に加速度センサ５１でユーザーの動きがまったく検出されない場合など、加速度センサ５１の加速度情報が画像によって特定されるユーザーの動作との関係で基準を満たさない場合、アンロック信号を出力しない。

【0019】

ドア制御システム１００によれば、ユーザーは、車両２０の近くで所定動作をすることによってドア２１のロックを解除することができる。特に、ドア制御システム１００は、画像を用いてユーザーの動作を判定する。このため、車両２０の底に搭載したセンサでユーザーの動作を判定するシステムと比較して、ユーザーが必要以上に車両２０に接近し過ぎてユーザーが動作をする際に車両２０に衝突してしまうおそれを極力防止できる。さらに、ドア制御システム１００は、加速度情報に基づいて特定されるユーザーの動きが画像によって特定されるユーザーの動作との関係で基準を満たさない場合、アンロック信号を出力しないため、ユーザー以外の者の行為によってアンロック信号が出力されることを防止できる。

【0020】

＜制御装置１の概念図＞
図２は、制御装置１の制御に関わる構成を概念的に示すブロック図である。図２には、制御装置１の制御に関わる各種構成の他、制御装置１が記憶する座標を説明するための座標系も示されている。

【0021】

制御装置１は、判定部１０１と、取得部１０２と、通信部１０３と、座標検出部１０４と、設定部１０５とを概念的に含んでいる。これらは、図１を用いて説明したハードウエアの構成によって実現される。

【0022】

通信部１０３は通信装置４と通信する。通信装置４は携帯装置５０に対して定期的にポーリングを送信する。通信装置４は、ポーリングに対する応答として携帯装置５０から受信したＩＤを通信部１０３に送信する。通信部１０３はＩＤを判定部１０１に送信する。判定部１０１は受信したＩＤに基づいて携帯装置５０を所持する人物を認証する。

【0023】

携帯装置５０は、加速度センサ５１を内蔵している。加速度センサ５１は携帯装置５０を所持するユーザーの動きに反応したセンサ値を出力する。携帯装置５０は、加速度センサ５１が出力したセンサ値を加速度情報として通信装置４に送信する。携帯装置５０は、加速度センサ５１が出力したセンサ値を加速度情報としてそのまま送信することに変えて、単に動きの有無を示す２値化した情報を加速度情報として送信してもよい。

【0024】

携帯装置５０は、制御装置１との間でＩＤに基づいた認証が終わった後に、加速度情報を通信装置４に対して微小時間ごとに送信するようにしてもよい。また、携帯装置５０は、通信装置４からのポーリングを受信したことを契機に、加速度情報を通信装置４に対して微小時間ごとに送信するようにしてもよい。

【0025】

通信装置４は、受信した加速度情報を制御装置１の通信部１０３に送信する。通信部１０３は、加速度情報を入力する入力部の一例である。通信部１０３は、加速度情報を判定部１０１に送信する。判定部１０１は、加速度情報に基づいて、ユーザーの動きを特定する。

【0026】

取得部１０２は、カメラ３が撮影したフレーム画像を時系列順に取得する。フレーム画像は、車両２０の外のユーザーの動きを撮影した動画に含まれる。取得部１０２は取得した画像を座標検出部１０４に送信する。

【0027】

座標検出部１０４は、機械学習による姿勢推定技術を用いて、フレーム画像から人体の複数部位の座標ｐｏｓを検出する。座標検出部１０４は、座標を検出するための学習済モデルを含んで構成される。フレーム画像から得られる情報を学習済モデルに入力すると、入力されたフレーム画像に対応する人体の複数部位の座標ｐｏｓが学習済みモデルから出力される。人体の各部位は、たとえば、首、肩、肘、手首、腰、膝、足首などである。座標検出用の学習済モデルとして、たとえば、OpenPoseなどを用いることが考えられる。

【0028】

図２には、複数部位の座標ｐｏｓが人体を表す絵の中に黒丸で示されている。本開示では、画像に含まれるユーザーに対する右、左、上、および下の方向を図示のとおりに定義する。

【0029】

判定部１０１は、ＩＤに基づいた本人認証を終えた後、座標検出部１０４から取得した座標に基づいてドア２１のロックを解除する条件を満たす所定動作をユーザーが実施するか否かを判定する。判定部１０１は、所定動作のパターンを記憶している。本人認証は、所定動作の判定後に行ってもよい。判定部１０１は、ユーザーの動作がドア２１のロックを解除するために設定された所定動作に一致すると判定した場合、ユーザーが所定動作をする間に入力された加速度情報に基づいてユーザーの動作を判定する。判定部１０１は、加速度情報に基づいて特定されるユーザーの動きが画像によって特定したユーザーの動作との関係で基準を満たす場合、アンロック信号をロック装置２に出力する。ロック装置２は、アンロック信号に基づいてドア２１のロックを解除する。判定部１０１は、上記基準を満たすか否かを判定するための判定用テーブルを記憶している。

【0030】

設定部１０５は、所定動作に関するユーザーの設定を受け付ける。たとえば、所定動作が脚を用いた動作である場合、設定部１０５は右脚と左脚とのいずれの脚を所定動作に用いるかの選択を受け付ける。設定部１０５は、通信部１０３を介して通信装置４と通信する。たとえば、ユーザーが携帯装置５０を操作することによって、所定動作の対象とする脚を指定した場合、携帯装置５０から通信装置４に動作の対象を指定する信号が送信される。設定部１０５は、通信部１０３を介してその信号を取得する。設定部１０５は、取得した信号に基づいて所定動作に対応させる脚を設定する。

【0031】

＜所定動作の例＞
図３は、ドア２１のロックを解除する条件を満たす所定動作を示す図である。所定動作は、たとえば、水平面に対して垂直となるユーザーの動作である。また、所定動作は、たとえば、一方の脚の動作である。所定動作は、たとえば、第１動作と第２動作とから構成されている。所定動作の判定は、ユーザーの両脚および両膝が静止している状態から開始される。たとえば、このときの右足首の座標はｐｏｓ０である。第１動作は、右脚を上方向に動かす動作である。より具体的には、右脚の膝を上げる動作である。右脚を上方向に動かし終えたときの右足首の座標はｐｏｓ１である。第２動作は、上方向に動かした右脚を元の位置に戻す動作である。換言すると、第２動作は、右脚を下方向に動かす動作である。右脚を下方向に動かし終えたときの右足首の座標はｐｏｓ２である。

【0032】

制御装置１は、ユーザーが第１動作と第２動作とを実施したこと、および第１動作と第２動作との順序が予め定めた順序と一致することを条件にして、ドア２１のロックを解除する。ただし、制御装置１は、ユーザーが右脚を図示のとおりに動作する間に、予め定めたエラー動作を検出した場合、ドア２１のロックを解除しない。さらに、制御装置１は、加速度情報に基づいて特定されるユーザーの動きが画像によって特定したユーザーの動作との関係で基準を満たさない場合にも、ドア２１のロックを解除しない。以下、ユーザーの動作とドア２１のロックの解除との関係について、図面を用いてより詳細に説明する。

【0033】

＜ロックが解除される場合＞
図４は、ユーザーの動作と制御装置１の判定内容との関係を示すタイミングチャート１である。タイミングチャート１は、ドア２１のロックが解除されるパターンを示す。

【0034】

制御装置１は、ユーザーの右足首の座標の変化に基づいて、ユーザーの動作がドア２１のロックを解除する所定動作に該当するか否かを判定する。より具体的には、制御装置１は、ユーザーの右脚の第１動作と第２動作とを判定する。制御装置１は、右脚の第１動作と第２動作とを判定する間、ユーザーの左足首の座標と、ユーザーの両膝の座標と、ユーザーの左膝と左足首との角度とを併せて判定している。これらの座標は、カメラ３が撮影した画像に基づいて座標検出部１０４が検出する。ユーザーの左膝と左足首との角度は、図２に示した座標系において、左膝の座標位置を通りｚ軸に平行な直線と、左膝の位置と右足首の位置とを通る直線と、が成す角度に基づいて算出できる。

【0035】

制御装置１は、ユーザーの両膝および両足首が静止していることを開始条件として、ユーザーの動作の判定を開始する。図４は、時刻ｔ０において開始条件が成立した状態を示す。時刻ｔ０での右足首の座標はｐｏｓ０である。

【0036】

制御装置１は、開始条件の成立後、右脚の第１動作を判定する。図４は、時刻ｔ１で右脚の上方向への移動、すなわち、第１動作が検出された状態を示す。時刻ｔ１での右足首の座標はｐｏｓ１である。その後、制御装置１は、右脚の第２動作を判定する。制御装置１は、ユーザーが第２動作を開始した後、ユーザーの両足首が静止したことを終了条件として、ユーザーが第２動作を終えたものと判定する。図４は、時刻ｔ２で右脚の下方向への移動、すなわち、第２動作が検出された状態を示す。時刻ｔ２での右足首の座標はｐｏｓ２である。

【0037】

制御装置１は、時刻ｔ０で検出した右脚の座標と、時刻ｔ２で検出した右脚の座標とを比較し、両者の差異が閾値Ｄｔｈの範囲にあることを条件にして、基準に従う第２動作が終了したと判定する。閾値Ｄｔｈは、ｘ座標、ｙ座標、およびｚ座標毎に異ならせてもよく、各座標で共通な値を採用してもよい。

【0038】

制御装置１は、判定の開始条件が成立してから終了条件が成立するまでの間、ユーザーの左足首が静止していること、およびユーザーの左膝と左足首との角度が閾値α以内であることを判定し続ける。

【0039】

制御装置１は、判定の開始条件が成立してから終了条件が成立するまでの間の所定のタイミングで加速度センサ５１から加速度情報を取得する。図５には、時刻ｔ０付近と、時刻ｔ１付近と、時刻ｔ２付近とで取得された加速度情報が示されている。加速度情報は動き有（ＯＮ）と動きなし（ＯＦＦ）とに２値化されている。

【0040】

制御装置１は、加速度情報に基づいてユーザーの動きを判定できる。たとえば、制御装置１は、図５に示す加速度情報に基づいて、時刻ｔ０付近、時刻ｔ１の前後、および時刻ｔ２の前後でユーザーの動きがあると判定できる。制御装置１は、各時刻でカメラ３から取得した画像と加速度情報とを対応付けてメモリ１２に格納する。制御装置１は、格納したデータを用いて、加速度情報に基づいて特定されるユーザーの動きが基準を満たすかを判定する。

【0041】

整理すると、制御装置１は、（１）ユーザーの両膝および両足首が静止していることを開始条件にして、判定を開始し、（２）ユーザーの右脚の上方向への移動を判定し、（３）ユーザーの右脚の下方向への戻り、および両足首の静止を判定する。さらに、上記（１）から（３）の間、制御装置１は、（４）ユーザーの左足首の静止、およびユーザーの左膝と左足首との角度が閾値α以内であることを判定し続けるとともに、（５）加速度情報を取得する。

【0042】

制御装置１は、これら（１）から（４）のいずれにおいてもユーザーの動作が基準を満たし、かつ、動作を終えたユーザーの右足首の座標位置と、ユーザーが動作を開始したときの右足首の座標位置との差異が閾値Ｄｔｈの範囲にあることを判定する。制御装置１は、このようにして、ユーザーの第１動作および第２動作が終了したことを画像に基づいて判定する。制御装置１は、さらに、（５）で取得した加速度情報に基づいて特定されるユーザーの動きが基準を満たすことを判定する。

【0043】

制御装置１は、ユーザーの第１動作および第２動作の終了を画像に基づいて判定し、かつ、加速度情報に基づいて特定されるユーザーの動きが基準を満たす場合に、アンロック信号を出力する。ドア２１のロックを解除するために必要なアンロック信号を出力する。加速度情報に基づいて特定されるユーザーの動きが基準を満たすか否かの判定手法は後に詳述する。

【0044】

＜右脚が元の位置に戻らない場合＞
図５は、ユーザーの動作と制御装置１の判定内容との関係を示すタイミングチャート２である。タイミングチャート２は、ユーザーの右脚が規定時間内に元の位置に戻らないために、ドア２１のロックが解除されないパターンを示す。

【0045】

制御装置１は、ユーザーが右脚を上方向に移動する第１動作の終了を時刻ｔ１で検出する。その後、制御装置１は、ユーザー右足を下方向に戻す第２動作の終了を待つ。しかし、時刻ｔ１から時間Ｔｗが経過しても第２の動作の終了を検出できない場合、制御装置１は、ユーザーの動作にエラーが発生したと判定する。この場合、制御装置１は、ドア２１のロックを解除するための信号を出力しない。制御装置１は、時間Ｔｗが経過した時点でエラーを通知する通知信号を出力する。この通知信号は、たとえば、通信装置４を介してユーザーの携帯装置５０へ送信される。通知信号は第２信号の一例である。

【0046】

携帯装置５０は、通知信号を受信したときにエラー音を発生させる。または、携帯装置５０は、通知信号を受信したときに画面にエラーのメッセージを表示させる。または、携帯装置５０は、通知信号を受信したときに、所定動作のやり直しを促すメッセージを表示する。

【0047】

制御装置１は、以下に説明するとおり、様々な条件で通知信号を出力する。いずれの通知信号も携帯装置５０へ送信される。携帯装置５０は、通知信号を受信すると、上述の動作を実行する。

【0048】

制御装置１は、エラーを通知する通知信号を出力した後、ユーザーの両脚および両膝が静止すると、所定動作の判定をはじめからやり直す。

【0049】

＜左脚が動いた場合＞
図６は、ユーザーの動作と制御装置１の判定内容との関係を示すタイミングチャート３である。タイミングチャート３は、ユーザーが所定動作をする間にユーザーの左脚の動きが検出されたために、ドア２１のロックが解除されないパターンを示す。

【0050】

制御装置１は、ユーザーが右脚を上方向に移動する第１動作の終了を時刻ｔ１で検出する。その後、右足を元の移置に移動する第２動作の検出を待つ間に、制御装置１は、ユーザーの左脚の動きを時刻ｔ３で検出する。制御装置１は、左脚が動いたことを左足首の座標の変化に基づいて検出する。制御装置１は、左脚の動きを検出した場合、その後に右脚を下に移動する第２動作をユーザーが実行したとしても、アンロック信号を出力しない。制御装置１は、左脚の移動を検出した時刻ｔ３の時点でユーザーの動作にエラーが発生したと判定する。この場合、制御装置１は、エラーを通知する通知信号を出力する。この通知信号は、たとえば、通信装置４を介してユーザーの携帯装置５０へ送信される。

【0051】

制御装置１は、エラーを通知する通知信号を出力した後、ユーザーの両脚および両膝が静止すると、所定動作の判定をはじめからやり直す。

【0052】

図６は、左脚が第２動作の途中で動いた場合を例示しているに過ぎない。制御装置１は、時刻ｔ０から時刻ｔ２までの間のいずれのタイミングで左脚の動きが検出された場合でも、アンロック信号を出力することなく、左脚の動きが検出された時点で通知信号を出力する。

【0053】

＜左膝と左足首との角度が閾値を超えた場合＞
図７は、ユーザーの動作と制御装置１の判定内容との関係を示すタイミングチャート４である。タイミングチャート４は、ユーザーが所定動作をする間にユーザーの左膝と左足首との角度が閾値αを超えたために、ドア２１のロックが解除されないパターンを示す。

【0054】

制御装置１は、ユーザーが右脚を上方向に移動する第１動作の終了を待つ間に、ユーザーの左膝と左足首との角度が閾値αを超えたことを時刻ｔ４で検出する。制御装置１は、ユーザーの左膝と左足首との角度が閾値αを超えたことを検出した場合、その後に第１動作および第２動作をユーザーが実行したとしても、アンロック信号を出力しない。制御装置１は、時刻ｔ４の時点でユーザーの動作にエラーが発生したと判定する。この場合、制御装置１は、エラーを通知する通知信号を出力する。この通知信号は、たとえば、通信装置４を介してユーザーの携帯装置５０へ送信される。

【0055】

制御装置１は、エラーを通知する通知信号を出力した後、ユーザーの両脚および両膝が静止すると、所定動作の判定をはじめからやり直す。

【0056】

＜右脚がはじめに下方向に動いた場合＞
図８は、ユーザーの動作と制御装置１の判定内容との関係を示すタイミングチャート５である。タイミングチャート５は、ユーザーがはじめに右脚を上方向でなく下方向に動かしたために、ドア２１のロックが解除されないパターンを示す。

【0057】

制御装置１は、時刻ｔ０においてユーザーの両膝および両足首が静止していることを開始条件として、ユーザーの動作の判定を開始する。その後、制御装置１は、ユーザーの右脚が下へ動いたことを時刻ｔ５で検出する。この場合、制御装置１はアンロック信号を出力しない。制御装置１は、時刻ｔ５の時点でユーザーの動作にエラーが発生したと判定する。この場合、制御装置１は、エラーを通知する通知信号を出力する。この通知信号は、たとえば、通信装置４を介してユーザーの携帯装置５０へ送信される。

【0058】

制御装置１は、エラーを通知する通知信号を出力した後、ユーザーの両脚および両膝が静止すると、所定動作の判定をはじめからやり直す。

【0059】

＜第２動作で右脚が上に動いた場合＞
図９は、ユーザーの動作と制御装置１の判定内容との関係を示すタイミングチャート６である。タイミングチャート６は、ユーザーが第２動作において右脚を下方向でなく上方向に動かしたために、ドア２１のロックが解除されないパターンを示す。

【0060】

制御装置１は、時刻ｔ１においてユーザーが第１動作を終えた後、ユーザーの第２動作の判定を開始する。ユーザーは、時刻ｔ１から右脚を下方向に動かす動作を開始しているが、途中で右脚を動かす方向を下から上に変更している。制御装置１は、ユーザーの右脚が動く方向が下から上に変化したことを時刻ｔ６で検出する。この場合、制御装置１はアンロック信号を出力しない。制御装置１は、時刻ｔ６の時点でユーザーの動作にエラーが発生したと判定する。この場合、制御装置１は、エラーを通知する通知信号を出力する。この通知信号は、たとえば、通信装置４を介してユーザーの携帯装置５０へ送信される。

【0061】

制御装置１は、エラーを通知する通知信号を出力した後、ユーザーの両脚および両膝が静止すると、所定動作の判定をはじめからやり直す。なお、制御装置１は、時刻ｔ１の直後からユーザーの右脚が上方向に移動した場合にも同様に通知信号を出力する。

【0062】

＜加速度センサの検出がない場合＞
図１０は、ユーザーの動作と制御装置１の判定内容との関係を示すタイミングチャート７である。タイミングチャート７は、ユーザーが所定動作を行っている間に加速度センサ５１でユーザーの動きが一度も検出されないために、ドア２１のロックが解除されないパターンを示す。

【0063】

ユーザーの両足首および両膝の動きと、左膝と左足首との角度の変化とは、図１０に示されるタイミングチャート７と、図４に示されるタイミングチャート１とで一致している。タイミングチャート１の場合、時刻ｔ０、時刻ｔ１、時刻ｔ２において、加速度センサ５１はユーザーの動きを検出している。一方、タイミングチャート７の場合、いずれの時刻においても加速度センサ５１はユーザーの動きを検出していない。このような場合、制御装置１は、画像に基づいて特定されるユーザーの動作が所定動作に該当すると判定した場合でも、アンロック信号を出力しない。

【0064】

制御装置１は、時刻ｔ２の時点でユーザーの動作にエラーが発生したと判定する。この場合、制御装置１は、エラーを通知する通知信号を出力する。この通知信号は、たとえば、通信装置４を介してユーザーの携帯装置５０へ送信される。

【0065】

＜加速度センサの検出（１回）がある場合＞
図１１は、ユーザーの動作と制御装置１の判定内容との関係を示すタイミングチャート８である。タイミングチャート８は、ユーザーが所定動作を行っている間に加速度センサ５１でユーザーの動きが検出されたために、ドア２１のロックが解除されるパターンを示す。

【0066】

すでに説明した図４のタイミングチャート１では、時刻ｔ０付近、時刻ｔ１の前後、および時刻ｔ２の前後で加速度センサ５１によりユーザーの動きが検出されている。つまり、タイミングチャート１では、画像に基づいて特定されるユーザーの右脚の動きに追従するように、加速度センサ５１によってユーザーの動きが検出されている。このような場合、制御装置１は、加速度情報に基づいて特定されるユーザーの動きが基準を満たすと判定する。

【0067】

さらに、制御装置１は、タイミングチャート８に示されるように、加速度センサ５１が少なくとも１回、画像に基づいて特定されるユーザーの右脚の動きに対応する検出をすれば、加速度情報に基づいて特定されるユーザーの動きが基準を満たすと判定する。タイミングチャート８では、時刻ｔ０付近で加速度センサによってユーザーの動きが検出されている。制御装置１は、ユーザーの第１動作および第２動作の終了を画像に基づいて判定しし、さらに、加速度情報に基づいて特定されるユーザーの動きが基準を満たすと判定する。したがって、制御装置１は、アンロック信号をロック装置２に出力する。

【0068】

＜判定用テーブル＞
図１２は、制御装置１が制御に用いる判定用テーブル１１０を示す図である。制御装置１は、判定用テーブル１１０を用いて、加速度情報に基づいて特定されるユーザーの動きが画像によって特定されるユーザーの動作との関係で基準を満たすか否かを判定する。判定用テーブル１１０は、制御装置１のメモリ１２に格納されている。

【0069】

本開示の所定動作には、右脚を上方向に移動する第１の瞬間と、右脚の上方向への移動を終えて右脚を下方向に移動する第２の瞬間と、右脚を地面に着地させる第３の瞬間とがある。ユーザーが加速度センサ５１を内蔵する携帯装置５０を所持している場合、これらの瞬間で加速度センサ５１がユーザーの動きを検出することが想定される。図１２には第１の瞬間に対応する時刻ｔ０と、第２の瞬間に対応する時刻ｔ１と、第３の瞬間に対応する時刻ｔ３とが示されている。さらに、図１２には、それぞれの時刻に対応して出力されるであろう加速度センサ５１の加速度情報が、ｉ０、ｉ１、ｉ２として示されている。

【0070】

判定用テーブル１１０は、画像を用いた判定の結果と加速度センサ５１の出力の態様とに基づいて制御装置１が実行すべき処理を規定している。判定用テーブル１１０によれば、画像を用いた判定の結果に問題がなく、かつ、加速度情報ｉ０、ｉ１、ｉ２のすべてが検出されている場合、アンロック信号が出力される。判定用テーブル１１０によれば、画像を用いた判定の結果に問題がなく、かつ、加速度情報ｉ０、ｉ１、ｉ２のいずれかひとつが検出されている場合、アンロック信号が出力される。判定用テーブル１１０によれば、画像を用いた判定の結果に問題がなく、かつ、加速度情報ｉ０、ｉ１、ｉ２のいずれも検出されていない場合、エラーとなる。判定用テーブル１１０によれば、画像を用いた判定の結果に問題があれば、加速度情報ｉ０、ｉ１、ｉ２の検出状況にかかわらず、エラーとなる。

【0071】

＜制御装置１の処理手順を示すフローチャート＞
図１３は、制御装置１により実行される処理の手順の一例を示すフローチャートである。本フローチャートに対応する各ステップを実行するためのプログラムは、制御装置１のメモリ１２に格納されている。制御装置１のプロセッサ１１は、メモリ１２に格納されたプログラムを実行することにより、以下に説明する処理を実行する。

【0072】

はじめに、制御装置１は、車両２０の外に向けてポーリングをする（ステップＳ１）。制御装置１は、ポーリングに対する応答として、携帯装置５０からＩＤを受信したか否かを判定する（ステップＳ２）。制御装置１はＩＤを受信するまで繰り返しポーリングを出力する。

【0073】

制御装置１は、ＩＤを受信したと判定した場合（ステップＳ２にてＹＥＳ）、受信したＩＤと制御装置１内に格納しているＩＤとを照合する。制御装置１は、両ＩＤが一致していない場合、ＩＤの照合に問題有と判断し（ステップＳ３にてＮＯ）、処理を終える。制御装置１は、両ＩＤが一致している場合、ＩＤの照合に問題がないと判断し（ステップＳ３にてＹＥＳ）、動作判定処理を実行する（ステップＳ４）。動作判定処理については、図１４および図１５を用いて後に詳細に説明する。動作判定処理を実行した後、制御装置１は本フローチャートに基づく処理を終える。

【0074】

＜動作判定処理および左脚チェック処理の手順を示すフローチャート＞
図１４および図１５は、制御装置１により実行される動作判定処理の手順の一例を示すフローチャートである。図１６は、制御装置１により実行される左脚チェック処理のフローチャートである。動作判定処理は、図１３のサブルーチンである。左脚チェック処理は動作判定処理のサブルーチンである。

【0075】

制御装置１は、動作判定処理として、はじめに左脚チェック処理を実行する（ステップＳ４１）。左脚チェック処理は、ユーザーの各部位の位置を特定するための座標を更新するとともに、左足首が静止し、かつ、左膝と左足首の角度が閾値αを超えていないことをチェックする処理である。したがって、左脚チェック処理は、図４に示した（４）の判定を含んでいる。左脚チェック処理は、所定動作を判定する間に繰り返し実行する必要がある。このため、図１４および図１５に示すフローチャートは、左脚チェック処理に対応する複数のステップを含んでいる。

【0076】

ここで、図１６を参照して、左脚チェック処理を説明する。制御装置１は、はじめに、ユーザーの各部位の座標位置を更新する（ステップＳ１０１）。この座標位置には、少なくとも、ユーザーの両膝、両足首の座標が含まれる。これらの座標は、カメラ３が撮影したユーザーの画像に基づいて座標検出部１０４により検出される。

【0077】

次に、制御装置１は、ユーザーの左足首が静止しているか否かを判定する（ステップＳ１０２）。換言すると、制御装置１は、ユーザーの左脚が動いたか否かを判定する。たとえば、制御装置１は、数秒程度の規定時間が経過する前後で左足首の座標が変化しないことを確認することによって、左足首が静止しているか否かを判定することができる。なお、ステップＳ１０１ａは変形例に関わる処理である。ステップＳ１０１ａの変形例については後述する。

【0078】

制御装置１は、ユーザーの左足首が静止していない場合、左脚チェックの結果をＮＧ（Ｎｏ Ｇｏｏｄ）とする（ステップＳ１０５）。次に、制御装置１は、エラー報知処理を実行する（ステップＳ１０６）。具体的には、制御装置１は、エラーを通知するための通知信号を出力する。通知信号は、通信装置４を経由してユーザーの携帯装置５０へ送信される。制御装置１は、ステップＳ１０６の報知処理の後、ステップＳ４１に処理を戻す。これにより、制御装置１は、動作判定処理をはじめから実行する。

【0079】

なお、図６には、ユーザーの左脚が動いたときにエラーとなる様子を示すタイミングチャートが示されている。

【0080】

制御装置１は、ステップＳ１０２においてユーザーの左足首が静止していると判定した場合、ユーザーの左膝と左足首との角度が閾値α以内であるか否かを判定する（ステップＳ１０３）。制御装置１は、ステップＳ１０３において、ＮＯと判定したとき、すでに説明したステップＳ１０５およびステップＳ１０６の処理を実行する。その後、ステップＳ４１に処理を戻して動作判定処理をはじめから実行する。

【0081】

なお、図７には、ユーザーの左膝と左足首との角度が閾値α以内でないときにエラーとなる様子を示すタイミングチャートが示されている。

【0082】

制御装置１は、左脚チェック処理において、ユーザーの左足首が静止し（ステップＳ１０２でＹＥＳ）、かつ、ユーザーの左膝と左足首との角度が閾値α以内である場合（ステップＳ１０３にてＹＥＳ）、左脚チェックの結果がＯＫであると判定する（ステップＳ１０４）。この場合、制御装置１は、左脚チェック処理を抜けて、動作判定処理のうち、本左脚チェック処理のルーチンが呼び出されたステップに戻る。

【0083】

ここで、左脚チェック処理に適用可能な変形例を説明する。図１６に示されるように、制御装置１は、ステップＳ１０１においてユーザーの各部位の座標位置を更新した後、ステップＳ１０１ａにおいて、加速度情報を画像とともにメモリに格納してもよい。より具体的には、制御装置１は、座標の更新を終えるごとに、加速度センサ５１から加速度情報を取得してもよい。その際、制御装置１は、加速度情報を取得したタイミングでカメラ３から取得した画像を、取得した加速度情報と対応付けてメモリに格納する。

【0084】

制御装置１は、このような処理を、図１４および図１５に示す動作判定処理のステップＳ５２、ステップＳ６０、ステップＳ６４、およびステップＳ７６においても実行する。制御装置１は、これらのステップに加えて、ステップＳ１０１ａで加速度情報を取得することにより、画像によって特定されるユーザーの動きと加速度情報との関係をより細かく判定できる。

【0085】

図１４に戻り、動作判定処理を説明する。制御装置１は、ステップＳ４１の左脚チェック処理を終えた後、ユーザーの両膝および両足首は静止しているか否かを判定する（ステップＳ４３）。たとえば、制御装置１は、数秒程度の規定時間が経過する前後で両膝および両足首の座標が変化しないことを確認することによって、両膝および両足首が静止しているか否かを判定することができる。

【0086】

制御装置１は、ユーザーの両膝および両足首が静止していないと判定した場合（ステップＳ４３にてＮＯ）、エラー報知処理を実行する（ステップＳ４７）。具体的には、制御装置１は、エラーを通知するための通知信号を出力する。通知信号は、通信装置４を経由してユーザーの携帯装置５０へ送信される。制御装置１は、ステップＳ４７の報知処理の後、ステップＳ４１に処理を戻す。これにより、制御装置１は、動作判定処理をはじめから実行する。

【0087】

制御装置１は、ステップＳ４３においてユーザーの両膝および両足首は静止していると判定した場合、ユーザーの所定動作を判定する開始条件が成立したと判断し、ユーザーの右足首の座標ｐｏｓ０を取得する（ステップＳ４５）。

【0088】

次に、制御装置１は、ユーザーの右脚が上方向ではなく下方向へ動いたか否かを判定する（ステップＳ４９）。なお、図８には、ユーザーの右脚が上方向ではなく下方向へ動いたときにエラーとなる様子を示すタイミングチャートが示されている。

【0089】

制御装置１は、右脚が下方向へ動いたと判定したとき、すでに説明したステップＳ４７に移行し、エラー報知処理を実行する。エラー報知処理の後、ステップＳ４１に処理を戻す。これにより、制御装置１は、動作判定処理をはじめから実行する。

【0090】

制御装置１は、右脚が下方向へ動いていない判定した後、右脚が上方向へ動いたか否かを判定する（ステップＳ５１）。すなわち、制御装置１は、ユーザーが第１動作を開始したか否かを判定する。制御装置１は、右脚が上方向へ動いていないと判定したとき、ステップＳ４９に処理を戻す。制御装置１は、右脚が上方向へ動いたと判定したとき、加速度情報を画像とともにメモリに格納する（ステップＳ５２）。より具体的には、制御装置１は、加速度センサ５１から加速度情報を取得する。さらに、制御装置１は、加速度情報を取得したタイミングでカメラ３から取得した画像を、取得した加速度情報と対応付けてメモリに格納する。ここで格納される加速度情報は図１２に示した加速度情報ｉ０に該当する。

【0091】

次に、制御装置１は、左脚チェック処理を実行する（ステップＳ５３）。これにより、制御装置１は、右脚が上方向へ動いている最中に、左脚が動いていないこと、および左膝と左足首の角度が閾値αを超えていないことを確認する。

【0092】

制御装置１は、ステップＳ５３の後、ユーザーの右脚が静止したか否かを判定する（ステップＳ５５）。すなわち、制御装置１は、ユーザーが第１動作を終えたか否かを判定する。制御装置１は、右脚が静止していないと判定した場合（ステップＳ５５でＮＯ）、ステップＳ５３に処理を戻す。

【0093】

制御装置１は、ユーザーの右脚の動きが静止していると判定した場合、ユーザーの右足首の座標ｐｏｓ１を取得する（ステップＳ５９）。次に、制御装置１は、加速度情報を画像とともにメモリに格納する（ステップＳ６０）。この処理の内容は、ステップＳ５２と同様であるので、ここではその説明を繰り返さない。ステップＳ６０で格納される加速度情報は図１２に示した加速度情報ｉ１の一部に該当する。

【0094】

ステップＳ６０の次の処理を図１５に基づいて説明する。制御装置１は、ステップＳ６０において、加速度情報を画像とともにメモリに格納した後、ユーザーの右脚が下方向へ動いたか否かを判定する（ステップＳ６１）。すなわち、制御装置１は、ユーザーが第２動作を開始したか否かを判定する。制御装置１は、ユーザーの右脚が下方向へ動いたと判定したとき、加速度情報を画像とともにメモリに格納する（ステップＳ６４）。この処理の内容は、ステップＳ５２と同様であるので、ここではその説明を繰り返さない。ステップＳ６４で格納される加速度情報は図１２に示した加速度情報ｉ１の一部に該当する。

【0095】

次に、制御装置１は、ユーザーの右足首の座標ｐｏｓ２を取得する（ステップＳ６５）。次に、制御装置１は、座標ｐｏｓ２とすでに取得済みの右足首の座標ｐｏｓ０とのユークリッド距離ｄを計算する（ステップＳ６９）。

【0096】

次に、制御装置１は、計算した距離ｄが閾値Ｄｔｈ未満であるか否かを判定する（ステップＳ７１）。ユーザーが右脚を元の位置へ戻す途中である場合、ここではＮＯと判定される。制御装置１は、ステップＳ７１においてＮＯと判定した場合、座標ｐｏｓ１を取得した時点から時間Ｔｗが経過したか否かを判定する（ステップＳ７３）。制御装置１は、ステップＳ７３においてＮＯと判定した場合、左脚チェック処理（ステップＳ７７）を実行した後、処理をステップＳ６１に戻す。

【0097】

制御装置１は、ステップＳ６１において再び、ユーザーの右脚が下方向へ動いたか否かを判定する。ユーザーが右脚を動かす方向を下から上へ変更したとき、制御装置１は、ステップＳ６３において右脚の上方向への動きがあると判定する。この場合、制御装置１はすでに説明したステップＳ４７に移行し、エラー報知処理を実行する。エラー報知処理の後、ステップＳ４１に処理を戻す。これにより、制御装置１は、動作判定処理をはじめから実行する。

【0098】

なお、図９には、第２動作の途中でユーザーの右脚の方向が方向下から上に変化したときにエラーとなる様子を示すタイミングチャートが示されている。

【0099】

制御装置１は、ステップＳ６１において右脚の下への動きがあると判定するごとに、ステップＳ６５において、ユーザーの右足首の座標ｐｏｓ２を取得する。ステップＳ６５では取得された最新の座標ｐｏｓ２が保持される。その後、制御装置１は、ステップＳ６９において、座標ｐｏｓ２とすでに取得済みの右足首の座標ｐｏｓ０とのユークリッド距離ｄを計算する。

【0100】

制御装置１は、計算した距離ｄが閾値Ｄｔｈ未満である場合（ステップＳ７１にてＮＯ）、ステップＳ７３において、座標ｐｏｓ１を取得した時点から時間Ｔｗが経過したか否かを判定する。制御装置１は、ステップＳ７３においてＹＥＳと判定した場合、制御装置１は、すでに説明したステップＳ４７に移行し、エラー報知処理を実行する。エラー報知処理の後、ステップＳ４１に処理を戻す。これにより、制御装置１は、動作判定処理をはじめから実行する。

【0101】

なお、図５には、座標ｐｏｓ１を取得した時点から時間Ｔｗが経過したときにエラーとなる様子を示すタイミングチャートが示されている。

【0102】

制御装置１は、ステップＳ７１において、距離ｄが閾値Ｄｔｈ未満であると判定した場合（ステップＳ７１にてＹＥＳ）、ユーザーの右脚が静止したか否かを判定する（ステップＳ７５）。

【0103】

制御装置１は、ユーザーの右脚が静止していないと判定した場合（ステップＳ７５にてＮＯ）、処理をステップＳ６１に戻す。制御装置１は、ユーザーの右脚が静止していると判定した場合（ステップＳ７５にてＹＥＳ）、加速度情報を画像とともにメモリに格納する（ステップＳ７６）。この処理の内容は、ステップＳ５２と同様であるので、ここではその説明を繰り返さない。ステップＳ７６で格納される加速度情報は図１２に示した加速度情報ｉ２に該当する。

【0104】

次に、制御装置１は、ユーザーの両足首は静止しているか否かを判定する（ステップＳ７９）。制御装置１は、ユーザーの両足首が静止していない場合（ステップＳ７９でＮＯ）、ユーザーの両足首が静止するまで待機する。ただし、待機している間に左脚チェック処理を実行する（ステップＳ８１）。

【0105】

制御装置１は、ステップＳ７９において、ユーザーの両足首が静止していると判定した場合（ステップＳ７９にてＹＥＳ）、アンロック信号を出力する基準を満たすか否かを判定用テーブルに基づいて判定する（ステップＳ８２）。制御装置１は、加速度情報ｉ０、ｉ１、ｉ２のいずれもが検出されていない場合、判定の結果をＮＧとして、ステップＳ８３においてＮＯと判定する。つまり、制御装置１は、ユーザーの動作にエラーが発生したと判定する。この場合、制御装置１は、すでに説明したステップＳ４７に移行し、エラー報知処理を実行する。エラー報知処理の後、ステップＳ４１に処理を戻す。これにより、制御装置１は、動作判定処理をはじめから実行する。

【0106】

制御装置１は、加速度情報ｉ０、ｉ１、ｉ２のうち、少なくともひとつが検出されている場合、判定の結果をＯＫする（ステップＳ８３にてＹＥＳ）。この場合、制御装置１は、アンロック信号をロック装置２に出力し（ステップＳ８５）、処理を終える。ロック装置２は、アンロック信号に基づいて車両２０のドア２１のロックを解除する。

【0107】

なお、図４には、アンロック信号が出力されることに基づいてドア２１のロックが解除される様子を示すタイミングチャートが示されている。

【0108】

＜制御装置１および携帯装置５０の処理手順を示すフローチャート＞
図１７は、制御装置１と携帯装置５０とにより実行される処理の手順の一例を示すフローチャートである。制御装置１は、携帯装置５０と連携することにより、所定動作に関わる脚を右脚から左脚に変更する設定を受け付ける。また、制御装置１は、携帯装置５０と連携することにより、所定動作に関わる脚を左脚から右脚に変更する設定を受け付ける。

【0109】

ここでは、たとえば、携帯装置５０はスマートフォンである。携帯装置５０は、ユーザーの操作に応じて、動作の対象を選択する画面を表示する（ステップＳ１３１）。携帯装置５０は、ユーザーが動作の対象を選択する操作を待つ（ステップＳ１３３）。携帯装置５０は、たとえば、右脚および左脚の選択を受け付ける。

【0110】

携帯装置５０は、ユーザーが動作の対象を選択する操作を検出した場合、選択した対象を指定する信号を制御装置１に送信する（ステップＳ１３５）。

【0111】

制御装置１は、動作の対象を指定する信号を受信するまで待機する（ステップＳ１２１）。制御装置１は、動作の対象を指定する信号を受信すると（ステップＳ１２１でＹＥＳ）、指定された対象が右脚であるか否かを判定する（ステップＳ１２３）。制御装置１は、指定された対象が右脚であると判定した場合、動作の対象を右脚に設定する（ステップＳ１２５）。制御装置１は、指定された対象が右脚でないと判定した場合（左脚であると判定した場合）、動作の対象を左脚に設定する（ステップＳ１２７）。次に、制御装置１は、受付信号を携帯装置５０に送信し（ステップＳ１２９）、処理を終える。

【0112】

携帯装置５０は、ステップＳ１３５の処理を終えた後、受付信号を受信するまで待機する（ステップＳ１３７）。携帯装置５０は、受付信号を受信したと判定した場合（ステップＳ１３７でＹＥＳ）、受付終了を示す画面を表示し（ステップＳ１３９）、処理を終える。

【0113】

以上のように、本実施の形態においては、ユーザーは、車両２０の近くで所定動作をすることによってドア２１のロックを解除することができる。特に、制御装置１は、カメラ３で撮影された画像を用いてユーザーの動作を判定する。このため、車両の底に搭載したセンサでユーザーの動作を判定するシステムと比較して、ユーザーが必要以上に車両に接近し過ぎてユーザーが動作をする際に車両に衝突してしまうおそれを極力防止できる。

【0114】

特に、制御装置１は、水平面に対して垂直となるユーザーの所定動作を画像で特定する。カメラ３の撮像面にユーザーが正対するため、制御装置１は、所定動作を判定する際、図２に示す座標系の奥行き方向（ｙ軸方向）の座標をほとんど必要としない。このため、所定動作の判定処理を単純化することができる。

【0115】

さらに、本実施の形態においては、ドア２１のロックの解除に必要な所定動作を判定する間に、左脚が動くなどの予め定めた複数のエラー動作のいずれかが検出された場合、制御装置１は、所定動作が終了しなかったものと判定する。したがって、ドア２１のロックを解除することを希望するユーザーは、予め定めた基準に従って所定動作を実行する必要がある。このため、ユーザーが意図しない動作がたまたま所定動作であると制御装置１に判定されて、ドア２１が解除されてしまう不都合を防止できる。

【0116】

さらに、本実施の形態においては、予め定めた複数のエラー動作のいずれかが検出された場合、制御装置１は通知信号を出力する。たとえば、携帯装置５０は通知信号に基づいてエラーの発生をユーザーに通知する。このため、エラーが発生しているにもかかわらず、そのことを知らずにユーザーが所定動作を最後まで続けてしまうことがない。

【0117】

さらに、本実施の形態においては、ユーザーが所定動作に使用する脚を右脚とするか左脚とするかを選択できる。このため、ユーザーは利き足で所定動作をすることができる。

【0118】

さらに、本実施の形態においては、所定動作の終了を画像に基づいて判定し、かつ、所定動作中にユーザーが動いていることを加速度センサ５１が出力する情報によって確認することができる。加速度センサ５１は携帯装置５０に内蔵されている。携帯装置５０は、車両２０のドア２１のロックを解除することが許可されているユーザーによって所持される。このため、ユーザー以外の者の行為によってドア２１のロックが解除されてしまうことを防止できる。

【0119】

＜変形例＞
ドア２１のロックを解除する所定動作は、水平面に対して平行となるユーザーの所定動作である。所定動作の一例として、右脚を上方向へ動かした後、下方向に戻す動作を挙げた。この動作は、第１動作と、第１動作に続く第２動作とを含む。しかし、所定動作は単一の動作であってもよい。たとえば、脚を上または下の一方向に動かす動作を所定動作と定めてもよい。

【0120】

所定動作は屈伸のような動作であってもよい。ユーザーが屈伸をした場合、膝が上下動する。したがって、屈伸は、水平面に対して垂直となる所定動作の一例である。屈伸動作を所定動作とした場合、制御装置１はユーザーの膝の座標の変化を観察することによって、屈伸動作を特定できる。

【0121】

所定動作に関わる身体の部位として、脚を例に挙げて説明した。しかし、所定動作に関わる身体の部位は脚に限られない。たとえば、所定動作に関わる身体の部位として、腕を採用してもよい。この場合、ユーザーが右腕または左腕を上または下の方向に延ばす動作を所定動作としてもい。または、ユーザーが右腕または左腕を上方向に延ばした後、その腕を胸元に戻す動作を所定動作としてもよい。本開示においては、このような動作も水平面に対して平行となるユーザーの所定動作の一例として想定されている。

【0122】

図１３に示すフローチャートでは、ＩＤ照合の後に動作判定処理が続く。しかし、制御装置１は、動作判定処理の途中でＩＤ照合をしてもよい。また、制御装置１は、動作判定処理のステップＳ７９にてＹＥＳと判定した後、ＩＤ照合をしてもよい。その場合、制御装置１は、ＩＤ照合の結果、問題がなければアンロック信号を出力し、問題があれはアンロック信号を出力しない。また、ＩＤを用いて本人認証をすることに変えて、カメラ３で撮影された人物の特徴に基づいて本人認証をしてもよい。たとえば、人物の顔の特徴に基づいて本人認証することが考えられる。

【0123】

ロック装置２は、制御装置１からアンロック信号を受信したときにドア２１のロックを解除する。アンロック信号は、第１信号の一例である。しかし、ロック装置２は、制御装置１から受信したアンロック信号のみに基づいてドア２１のロックを解除するものでなくてもよい。

【0124】

つまり、制御装置１が出力するアンロック信号は、ドア２１のロックを解除することを指令する信号ではなく、ドアのロックを解除するための複数の条件のうちの１つが成立したことを示す信号であってもよい。この場合、制御装置１がステップＳ８３で出力する信号は、予め定めた基準に合致する動作をユーザーが実行したことを示す信号に過ぎない。本開示において、第１信号は、アンロックを指令する信号であっても、予め定めた基準に合致する動作をユーザーが実行したことを示す信号であってもよい。

【0125】

ロック装置２は、制御装置１を備えていてもよい。携帯装置５０に制御装置１の機能を組み込んでもよい。この場合、カメラ３は携帯装置５０に画像を送信する。また、携帯装置５０は、通信装置４を介してアンロック信号をロック装置２に送信する。

【0126】

制御装置１は、エラー動作を検出したときに出力する通知信号をエラー動作の種類別に異ならせてもよい。これにより、携帯装置５０は、それぞれの通知信号に応じたエラーの内容を画面などに表示してもよい。

【0127】

たとえば、ユーザーが所定動作をする間に加速度センサ５１からまったく加速度情報を得ることができなかった場合、携帯装置５０は、「携帯装置を携行していないようです。」などといったメッセージを携帯装置５０の画面に表示してもよい。

【0128】

図１２に示す判定用テーブル１１０によれば、画像を用いた判定結果に問題がない場合、加速度情報ｉ０、ｉ１、ｉ２のうちの少なくともひとつが検出されると、アンロック信号が出力される。しかし、加速度情報に関する基準を変更することも可能である。たとえば、加速度情報ｉ０、ｉ１、ｉ２のすべてが検出されない場合には、画像を用いた判定に問題がなくても、アンロック信号を出力しないものとしてもよい。あるいは、画像を用いた判定結果に問題がない場合、加速度情報ｉ０、ｉ１、ｉ２のうちの２つが検出されたことを条件に、アンロック信号を出力してもよい。

【0129】

制御装置１は、加速度センサ５１の信号を用いて、ユーザーが動いたか否かを判定する。携帯装置５０が所定動作に関わるユーザーの部位に保持される場合、加速度センサ５１が出力する波形は、所定動作に連動したものとなる。そこで、このような場合、制御装置１は、加速度センサ５１から出力される信号の波形を解析することによって、ユーザーの動きの方向を推定してもよい。

【0130】

なお、本開示においては、判定部１０１は、水平面に対して垂直となるユーザーの所定動作が終了したことを画像に基づいて判定し、かつ、加速度情報に基づいて特定されるユーザーの動きが基準を満たす場合に、車両のドアのロックを解除するために必要な第１信号を出力する。しかし、本開示において、加速度情報は必須ではない。したがって、判定部１０１は、水平面に対して垂直となるユーザーの所定動作が終了したと判定した後、加速度情報の状態を条件とせずに、車両２０のドアのロックを解除するために必要な第１信号を出力してもよい。

【0131】

以上に説明した例示的な形態は、以下の態様の具体例である。
（１）一態様における制御装置（１）は、車両（２０）に搭載される制御装置（１）である。制御装置（１）は、車両（２０）に搭載されたカメラ（３）から車両の外部の画像を取得する取得部（１０２）と、取得部が取得した画像に基づいてユーザーの動作を判定する判定部（１０１）とを備える。判定部は、水平面に対して垂直となるユーザーの所定動作が終了したと判定した後、車両のドアのロックを解除するために必要な第１信号（アンロック信号）を出力する。

【0132】

（２）判定部は、取得部が取得した画像に基づいて、ユーザーの状態が開始条件を満たすか否かを判定し（ステップＳ４３）、開始条件を満たすと判定したときに、所定動作の判定を開始する（ステップＳ４５）。

【0133】

（３）判定部は、ユーザーが所定動作を終えた後、取得部が取得した画像に基づいて、ユーザーの状態が終了条件（ステップＳ７９）を満たすか否かを判定し、終了条件を満たすと判定したときに、第１信号を出力する（ステップＳ８３）。

【0134】

（４）判定部は、ユーザーによる所定動作が終了するまでに、ユーザーによるエラー動作（図５～図９）を検出したとき、エラーと判定する（ステップＳ４３、ステップＳ６３、ステップＳ７３、ステップＳ１０２、ステップＳ１０３）。

【0135】

（５）判定部は、エラーと判定したとき、エラーの発生をユーザーに通知するための第２信号（通知信号）を出力する（ステップＳ４７、ステップＳ１０６）。

【0136】

（６）所定動作に関わるユーザーの部位の選択を受け付ける設定部（１０５）をさらに備える。

【0137】

（７）判定部は、第１信号の入力を条件に車両のドアを開放する開閉装置（ロック装置２）に対して、第１信号を出力する。

【0138】

（８）所定動作は、第１動作（右脚の右方向への移動）と第２動作（右脚の左方向への移動）とを含み、判定部は、第１動作と第２動作とが基準に合致し、かつ、第１動作と第２動作との順序が予め定めた順序と一致すると判定したとき、ユーザーが所定動作を終了したと判定する。

【0139】

（９）第２動作は、第１動作（右脚の右方向への移動）の逆の順序の動作（右脚の左方向への移動）である。

【0140】

（１０）所定動作は、ユーザーの一方の脚の動作である（図３）。
（１１）所定動作は、前記ユーザーの脚の動作であり、開始条件は、前記ユーザーの両足首および両膝が静止することを含む（ステップＳ４３）。

【0141】

（１２）所定動作は、ユーザーの脚の動作であり、終了条件は、前記ユーザーの両足首が静止することを含む（ステップＳ７９）。

【0142】

（１３）エラー動作は、ユーザーによる所定動作が規定時間で終了しないことを含む（（ステップＳ７３）。

【0143】

（１４）所定動作は、第１動作（右脚の右方向への移動）と第２動作（右脚の左方向への移動）とを含み、エラー動作は、第１動作の後に検出された、第２動作の方向とは逆方向の動作を含む（図９）。

【0144】

（１５）所定動作は、ユーザーの第１の脚の動作であり、エラー動作は、第１の脚とは別のユーザーの第２の脚の動作であることを含む（図６）。

【0145】

（１６）所定動作は、ユーザーの第１の脚の動作であり、エラー動作は、第１の脚とは別のユーザーの第２の脚の膝と第２の脚の足首との角度が閾値を超える動作であることを含む（図７）。

【0146】

（１７）他の態様における判定プログラムは、車両（２０）のユーザーの動作を判定する判定プログラムである。判定プログラムは、コンピュータに、車両（２０）に搭載されたカメラ（３）から車両の外部の画像を取得するステップ（ステップＳ１０１）と、画像に基づいて水平面に対して垂直となるユーザーの所定動作の終了を判定した後（ステップＳ７９）、車両のドアのロックを解除するために必要な第１信号を出力するステップ（ステップＳ８３）とを実行させる。

【0147】

今回開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本開示により示される技術的範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

【符号の説明】

【0148】

１ 制御装置、２ ロック装置、３ カメラ、４ 通信装置、１１ プロセッサ、１２ メモリ、１３ 入出力ポート、２０ 車両、２１ ドア、５０ 携帯装置、５１ 加速度センサ、１００ ドア制御システム、１０１ 判定部、１０２ 取得部、１０３ 通信部、１０４ 座標検出部、１０５ 設定部、１１０ 判定用テーブル、ＰＯＳ 座標。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】