(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-13
(45)【発行日】2024-08-21
(54)【発明の名称】開閉制御システムおよび開閉制御方法
(51)【国際特許分類】
E05F 15/73 20150101AFI20240814BHJP
E06B 9/68 20060101ALI20240814BHJP
G08G 1/16 20060101ALI20240814BHJP
E04H 6/42 20060101ALI20240814BHJP
【FI】
E05F15/73
E06B9/68 A
G08G1/16 D
E04H6/42 Z
(21)【出願番号】P 2020158264
(22)【出願日】2020-09-23
【審査請求日】2023-06-30
(73)【特許権者】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】100103894
【氏名又は名称】家入 健
(72)【発明者】
【氏名】近藤 礼子
【審査官】河本 明彦
(56)【参考文献】
【文献】特開2017-76266(JP,A)
【文献】国際公開第2019/240257(WO,A1)
【文献】特開2008-75360(JP,A)
【文献】米国特許出願公開第2020/0024884(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
E05F 15/00 - 15/79
E06B 9/00 - 9/92
G08G 1/00 - 99/00
B60R 21/0134
E04H 6/42
(57)【特許請求の範囲】
【請求項1】
開閉体の開閉動作を制御する開閉制御システムであって、
前記開閉体は、車両を収容する車庫の開口部に設けられ、
前記開閉制御システムは、
前記開閉体の可動領域に対応する対象領域を、前記車両の車載カメラが撮影した
前記開閉体の開閉動作前後の撮像画像に基づいて推定する推定部と、
前記撮像画像に基づいて、前記対象領域に物体があるか否かを判定する判定部と、
前記対象領域に前記物体があると判定されたことに応じて、前記開閉体の開閉動作を制限する開閉制御部と
を備える開閉制御システム。
【請求項2】
前記推定部は、対象領域の情報でタグ付けされた撮像画像を教師データとして学習した推定器を用いて、前記撮像画像に対する前記対象領域を推定する
請求項1に記載の開閉制御システム。
【請求項3】
前記対象領域に物体があると判定されたことに応じて、判定結果を出力する出力部をさらに備える
請求項1または2に記載の開閉制御システム。
【請求項4】
前記判定部は、前記車両のエンジンが始動したこと、前記車両が予め定められた位置に移動したこと、または前記エンジンが停止したことに応じて、前記撮像画像に基づいて、前記対象領域に物体があるか否かを判定する
請求項1から3のいずれか一項に記載の開閉制御システム。
【請求項5】
開閉体の開閉動作を制御する開閉制御方法であって、
前記開閉体は、車両を収容する車庫の開口部に設けられ、
前記開閉制御方法は、
前記開閉体の可動領域に対応する対象領域を、前記車両の車載カメラが撮像した
前記開閉体の開閉動作前後の撮像画像に基づいて推定する推定段階と、
前記撮像画像に基づいて、前記対象領域に物体があるか否かを判定する判定段階と、
前記対象領域に前記物体が検出されたことに応じて、前記開閉体の開閉動作を制限する開閉制御段階と
を備える開閉制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、開閉制御システムおよび開閉制御方法に関し、特に車庫の開口部に設けられた開閉体の開閉制御システムおよび開閉制御方法に関する。
【背景技術】
【0002】
車庫のシャッターの開閉動作を制御する開閉制御システムが知られている。例えば特許文献1には、車両周辺の画像に基づいて車両の周辺に障害物または動体がないと判定された場合に、シャッター制御装置にオープン要求信号を送信する運転支援装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ここで車庫内には、例えば自転車等、車両以外の物が置かれることがあり、特にスペースが限られている場合等には、出庫時やシャッターの開閉時には障害物とならないが駐車位置周辺にこのような物が置かれることがある。しかし上述の特許文献1に記載の運転支援装置では、このような物まで障害物と判定されてしまい、不必要なシャッター制御または誤動作を引き起こす可能性がある。
【0005】
本発明は、上述した課題を解決するためになされたものであって、車庫の開口部に設けられた開閉体の開閉動作を好適に制御する開閉制御システムおよび開閉制御方法を提供するものである。
【課題を解決するための手段】
【0006】
本発明の一態様にかかる開閉制御システムは、車両を収容する車庫の開口部に設けられた開閉体の開閉動作を制御する。前記開閉制御システムは、前記開閉体の可動領域に対応する対象領域を、前記車両の車載カメラが撮影した撮像画像に基づいて推定する推定部と、前記撮像画像に基づいて、前記対象領域に物体があるか否かを判定する判定部と、前記対象領域に前記物体があると判定されたことに応じて、前記開閉体の開閉動作を制限する開閉制御部とを備える。
【0007】
本発明の一態様にかかる開閉制御方法は、車両を収容する車庫の開口部に設けられた開閉体の開閉動作を制御する開閉制御方法である。前記開閉制御方法は、前記開閉体の可動領域に対応する対象領域を、前記車両の車載カメラが撮像した撮像画像に基づいて推定する推定段階と、前記撮像画像に基づいて、前記対象領域に物体があるか否かを判定する判定段階と、前記対象領域に前記物体が検出されたことに応じて、前記開閉体の開閉動作を制限する開閉制御段階とを備える。
【発明の効果】
【0008】
本発明により、車庫の開口部に設けられた開閉体の開閉動作を好適に制御する開閉制御システムおよび開閉制御方法を提供できる。
【図面の簡単な説明】
【0009】
【
図1】実施形態1にかかる車庫に適用される開閉システムを示す図である。
【
図2】実施形態1にかかる開閉システムの構成の一例を示すブロック図である。
【
図3】実施形態1にかかる開閉制御装置の事前推定処理の手順の一例を示すフローチャートである。
【
図4】実施形態1にかかる開閉制御装置の入庫時の開閉制御処理の手順の一例を示すフローチャートである。
【
図5】実施形態1にかかる開閉制御装置の出庫時の開閉制御処理の手順の一例を示すフローチャートである。
【
図6】実施形態2にかかる対象領域を説明するための図である。
【
図7】実施形態2にかかる開閉制御装置の対象領域推定態様を示す図である。
【
図8】実施形態3にかかる開閉システムの構成の一例を示すブロック図である。
【発明を実施するための形態】
【0010】
以下、発明の実施形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されている。
【0011】
<実施形態1>
図1は、実施形態1にかかる車庫2に適用される開閉システム1を示す図である。
車庫2は、車両4を収容するための空間であり、一例としてガレージ、倉庫またはカーポートであってよい。車庫2は、車両4が出入りするための開口部を備え、開口部には開閉体3が設けられている。
【0012】
開閉体3は、車庫2内の空間を外部空間から閉鎖し、または外部空間に開放する門扉である。本実施形態1では開閉体3は、巻き取り式で上下方向に昇降するシャッターである。しかし開閉体3の開閉方式はこれに限らず、例えば左右伸縮式、スイングアップ式または開き式若しくは引き込み式であってもよい。
【0013】
開閉システム1は、開閉体3を開閉するシステムである。開閉システム1は、開閉装置30と、車載カメラ40と、開閉制御システム(以下、開閉制御装置10と呼ぶ)とを備える。
【0014】
開閉装置30は、開閉体3に配設され、開閉体3の開閉動作を直接制御する装置である。本実施形態1では、開閉装置30は、電動モータを有し、電動モータを駆動させることで開閉体3を巻き取りまたは繰り出し、開閉体3を昇降させる。開閉装置30は、通信部(不図示)を有し、開閉制御装置10と通信可能に接続される。
【0015】
車載カメラ40は、車両4の任意の位置に搭載され、車両4周辺の風景を撮影する撮像装置である。車載カメラ40は、複数のカメラを有してよい。本実施形態1では、車載カメラ40は、前方車載カメラ40a、後方車載カメラ40b、右側方車載カメラ40cおよび左側方車載カメラ40dを有する。前方車載カメラ40a、後方車載カメラ40b、右側方車載カメラ40cおよび左側方車載カメラ40dはそれぞれ、車両4の前方、後方、右側方および左側方の風景に関連する画像データを生成する。また車載カメラ40は、これに加えて車室内を撮影する室内カメラ(不図示)を有してもよい。前方車載カメラ40a、後方車載カメラ40b、右側方車載カメラ40c、左側方車載カメラ40dおよび室内カメラの少なくとも1つは、ドライブレコーダに搭載されていてよい。なお車載カメラ40は、これら複数のカメラの全てを有していなくてよい。車載カメラ40は、開閉制御装置10に通信可能に接続され、生成した撮像画像(画像データ)を開閉制御装置10に供給する。
【0016】
開閉制御装置10は、開閉装置30に制御信号を送信し、開閉装置30の駆動を制御するコンピュータである。つまり開閉制御装置10は、開閉体3の開閉動作を間接的に制御する。開閉制御装置10は、車両4内に搭載されていてよい。例えば開閉制御装置10は、ドライブレコーダ、ドライバモニタまたはカーナビゲーション装置等の車載機器に実装されていてよい。開閉制御装置10は、車載カメラ40から取得した画像データに基づいて開閉体3の周辺の対象領域Tに物体Oが検出された場合、開閉体3の開閉動作を制限するよう開閉装置30に要求する。なお物体Oは、静止体であってもよく、人や猫等の動体であってもよい。
【0017】
ここで対象領域Tは、物体検出対象の領域であり、可動領域Mに対応して定められる。可動領域Mは、開閉動作中に開閉体3が通過する領域または通過する可能性がある領域である。例えば可動領域Mは、開閉動作により地面と接触する接地領域であってよい。本実施形態1では対象領域Tは、可動領域Mを含む領域である。しかしこれに限らず、対象領域Tは、可動領域Mと同一の領域であってもよく、可動領域Mから離れた領域であってもよい。なお本実施形態1では、対象領域Tは車庫2内の領域である。
【0018】
図2は、実施形態1にかかる開閉システム1の構成の一例を示すブロック図である。
開閉システム1の開閉制御装置10は、取得部11と、推定部12と、判定部13と、開閉制御部14と、出力部15と、記憶部16とを有する。
取得部11は、車両4の車載カメラ40と通信可能に接続され、車載カメラ40が撮影した撮像画像の画像データを車載カメラ40から取得する。取得部11は、取得した画像データを推定部12または判定部13に供給する。また取得部11は、CAN(Controller Area Network)などの車内通信バスを介して車両4のECU(Electronic Control Unit)に接続され、ECUから車両情報を取得できるように構成されていてもよい。この場合、取得部11は、取得した車両情報を判定部13に供給する。
【0019】
推定部12は、画像データに基づいて、開閉体3の開閉動作の可動領域Mに対応する対象領域Tを推定する。本実施形態1では、推定部12は予め、車載カメラ40から取得した開閉体3の開閉動作前後の画像データに基づいて可動領域Mを推定し、可動領域Mに基づいて対象領域Tの規格化情報を生成しておく。対象領域Tの規格化情報は、規格化された画像における、対象領域Tを表すピクセル領域の位置範囲を示す情報であってよい。そして推定部12は、対象領域Tの規格化情報を記憶部16に記憶させる。この一連の処理を事前推定処理とも呼ぶ。そして推定部12は、後述する開閉制御処理時に、対象領域Tの規格化情報に基づいて、物体検出対象となる画像中の対象領域Tを推定する。
【0020】
判定部13は、車載カメラ40から取得した画像データに基づいて、推定部12が推定した対象領域Tに物体Oがあるか否かを判定する。この判定処理を、物体検出処理とも呼ぶ。判定部13は、物体検出処理に加えて、他の判定処理を行ってもよい。他の判定処理とは、例えば予め定められた位置に車両4が位置しているかの判定処理であってもよいし、車庫2内に動体(人)がいるか否かの判定処理であってもよいし、エンジンが始動または停止したか否かの判定処理であってもよい。判定部13は、これらの判定結果を開閉制御部14に供給する。
【0021】
開閉制御部14は、対象領域Tに物体Oがあると判定されたことに応じて、開閉体3の開閉動作を制限する信号を開閉装置30に送信する。また開閉制御部14は、対象領域Tに物体Oが検出されなかったことに応じて、開閉体3の開閉動作を要求する信号を開閉装置30に送信する。なお開閉制御部14は、判定部13による他の判定結果に応じて、開閉動作を要求または制限する信号を開閉装置30に送信してよい。
【0022】
出力部15は、対象領域Tに物体Oが検出されたことに応じて判定結果を出力し、車両4のユーザに報知する。出力部15は、判定結果を視覚的に表示する表示部を含んでよい。この場合、表示部は、ディスプレイを含む。また出力部15は、判定結果を音声で出力する音声出力部を含んでよい。この場合、音声出力部は、スピーカを含む。これにより、車両4のユーザが障害物である物体Oを排除すべきことを認識でき、排除のために直ちに対応することができる。また出力部15は、判定結果を車両4のユーザのスマートフォン等の携帯端末に通知する通知部を含んでもよい。この場合、通知部は、車両4のユーザの携帯端末に通信可能に接続されている。これにより、車両4のユーザが車両4から離れた場合であっても、物体Oを排除すべきことを認識でき、排除のために直ちに対応できる。
【0023】
記憶部16は、事前推定処理および開閉制御処理を含む各種処理に必要な情報を記憶する記憶媒体である。
【0024】
図3は、実施形態1にかかる開閉制御装置10の事前推定処理の手順の一例を示すフローチャートである。なお本処理は、開閉制御処理に先立って実行されてよい。
【0025】
まずステップS10において、推定部12は、車両4が車庫2内に駐車されているか否かを判定する。例えば開閉制御装置10は入力部(不図示)を有し、推定部12は、入力部が車両4のユーザから車両4が駐車中であることを示す入力を受け付けたか否かを判定することで、当該判定を行ってよい。また推定部12は、車両4が車庫2内に予め定められる駐車領域に位置しているか否かを判定することにより、当該判定を行ってよい。この場合、開閉制御装置10は、GNSS(Global Navigation Satellite System)などの衛星測位システムから車両4の位置情報を受信する位置情報受信部を有してよい。推定部12は、車両4が車庫2内に駐車されていると判定した場合(ステップS10でYes)、処理をステップS11に進め、そうでない場合(ステップS10でNo)、本処理を繰り返す。
【0026】
ステップS11において、取得部11は、開閉体3の開閉動作前後の画像データを車載カメラ40から取得する。このとき開閉体3は、手動で開閉されてもよく、開閉装置30のマニュアル操作により開閉されてもよい。取得部11は、車載カメラ40を構成する各々のカメラの画像を合成して生成された開閉動作前後の俯瞰画像データを、開閉動作前後の画像データとして車載カメラ40から取得する。しかしこれに代えて、取得部11は、車載カメラ40の各々から開閉動作前後の画像データを取得し、これらを各俯瞰画像データに合成することで、開閉動作前後の俯瞰画像データを取得してよい。なお取得する画像データは俯瞰画像データに限らない。例えば車両4が後退しながら車庫2へ侵入し駐車した場合は、前方車載カメラ40aが生成した前方画像データのみであってもよい。また車両4が前進しながら車庫2へ侵入し駐車した場合は、後方車載カメラ40bが生成した後方画像データのみであってもよい。取得部11は、開閉動作前後の画像データを推定部12に供給する。
【0027】
ステップS12において、推定部12は、開閉動作前後の画像データの差分に基づいて、開閉体3の可動領域Mを推定する。例えば推定部12は、画像中に含まれる予め定められた車庫2内の不動点の位置および不動点のピクセル数に基づいて、画像を規格化する。そして推定部12は、開閉動作前後により変化するピクセル領域を特定し、当該領域を可動領域Mとしてよい。なお可動領域Mの推定方法は、これに限らない。推定部12は、開閉動作前後の画像データの差分に加えて開閉体3の開閉方式に基づいて、可動領域Mを推定してもよい。
【0028】
そしてステップS13において、推定部12は、可動領域Mに対応する対象領域Tを推定し、対象領域Tの規格化情報を生成する。このとき推定部12は、予め定められた対象領域Tの定義に基づいて、可動領域Mに対応する対象領域Tを推定し、対象領域Tの規格化情報を生成する。ここで対象領域Tは、可動領域Mよりも所定割合だけ拡張された領域であってよい。拡張割合は、方向ごとに異なっていてもよい。例えば入出庫時の車両4の進行方向における拡張割合は、それ以外の方向の拡張割合よりも大きくてよい。また拡張割合は、開閉体3の開閉方式や開閉体3のその他の移動態様に応じて定められてもよい。なお対象領域Tは、可動領域Mと同じ領域であってもよい。
【0029】
ステップS14において、推定部12は記憶部16に対象領域Tの規格化情報を記憶させる。なお車両4のユーザが複数の車庫2を使用する場合は、推定部12は車庫2の識別情報と対象領域Tの規格化情報とを関連付けて記憶部16に記憶させてよい。車庫2の識別情報は、例えば車庫2の位置情報であってよい。そして推定部12は、事前推定処理を終了する。
【0030】
図4は、実施形態1にかかる開閉制御装置10の入庫時の開閉制御処理の手順の一例を示すフローチャートである。
【0031】
まずステップS20において、判定部13は、車両4が車庫2の外側の予め定められた入庫開始領域に到着したか否かを判定する。例えば判定部13は、入力部が車両4のユーザからの入力を受け付けたか否かを判定することで、当該判定を行ってよい。また判定部13は、位置情報受信部が取得した車両4の位置情報に基づいて当該判定を行ってよい。判定部13は、車両4が入庫開始領域に到着した場合(ステップS20でYes)、判定結果を開閉制御部14に供給し、処理をステップS21に進める。一方、判定部13は、そうでない場合(ステップS20でNo)、本処理を繰り返す。
【0032】
ステップS21において、開閉制御部14は、開閉装置30に対して開閉体3の開放動作を要求する信号を送信する。これにより開閉体3は、開放する。
【0033】
次にステップS22において、判定部13は、車両4のエンジンが停止したか否かを判定する。このとき判定部13は、取得部11を介して車両4のECUからエンジンの停止に関する車両情報を取得し、当該判定を行ってよい。判定部13は、エンジンが停止した場合(ステップS22でYes)、処理をステップS23に進め、そうでない場合(ステップS22でNo)、本処理を繰り返す。
【0034】
ステップS23において、取得部11は、車載カメラ40から画像データを取得し、推定部12に供給する。なお、エンジン停止後においても、開閉制御装置10は独立して自身の電源制御を行うことで本処理以降の処理を実行する。また開閉制御装置10は、車両4の電力源とは独立した無停電電源等の予備電源を用いて本処理以降の処理を実行してもよい。
【0035】
次にステップS24において、推定部12は、記憶部16に記憶される対象領域Tの規格化情報に基づいて、画像データの画像中の対象領域Tを推定する。例えば推定部12は、画像中に含まれる車庫2内の所定不動点を特定する。推定部12は、対象領域Tの規格化情報と不動点の位置および不動点のピクセル数とに基づいて、画像中の対象領域Tに相当するピクセル領域を推定する。なお対象領域Tの推定方法は、これに限らない。推定部12は、推定した対象領域Tの情報を判定部13に供給する。
【0036】
次にステップS25において、判定部13は、画像データに基づいて、対象領域Tに物体Oがあるか否かを判定する。このとき判定部13は、画像から対象領域Tに相当するピクセル領域を抽出し、抽出したピクセル領域の正規化画像に対して物体検出処理を行ってよい。物体検出処理には、既存の物体検出アルゴリズムを有する検出器を用いてよい。例えば判定部13は、学習済の畳み込みニューラルネットワークを含むSSD(Single Shot MultiBox Detector)を用いてよい。判定部13は、判定結果を開閉制御部14に供給する。そして判定部13は、対象領域Tに物体Oがある場合(ステップS25でYes)、処理をステップS26に進め、そうでない場合(ステップS25でNo)、処理をステップS27に進める。
【0037】
ステップS26において、開閉制御部14は、開閉装置30に対して開閉体3の閉鎖動作を禁止する信号を送信し、また出力部15に対象領域Tに物体Oが検出された旨を出力する。出力部15による出力を受けて、車両4のユーザは、物体Oを対象領域Tから除去する等の対応をすることができる。そして開閉制御部14は、処理をステップS25に戻す。なおエンジン停止から予め定められた時間を経過している場合には、開閉制御部14は、処理をステップS28のシステム終了処理に進めてよい。開閉制御装置10の長時間の動作により車両4のバッテリー残量が減少し、次回使用時にエンジンを起動できなくなるため、開閉制御処理の完了を待たずにシステムを終了することが有効である。
【0038】
ステップS27において、開閉制御部14は、開閉装置30に対して開閉体3の閉鎖動作を要求する信号を送信する。そしてステップS28において、開閉制御装置10はシステムを終了し、一連の処理を終了する。
【0039】
このように開閉制御装置10の推定部12は対象領域Tを推定し、判定部13は対象領域Tに限定して物体Oを検出する。これにより開閉制御装置10は、物体検出対象として不必要な領域が排除された物体検出結果を得ることができる。したがって開閉制御装置10は、不必要な開閉制御または誤動作を抑制することができる。
【0040】
なお通常、物体検出処理では、検出器に入力する画像として、計算量低減のために画像サイズが縮小変換され画質が低下したものを用いるため、検出精度が低下してしまっていた。しかし開閉制御装置10は、物体検出対象の領域が限定されるため、画像サイズの縮小変換による画質低下を回避することができる。これにより開閉制御装置10は、より高精度に物体Oを検出することができる。一方で現行の画像サイズでも検出精度が十分であれば、検出器を軽量化することが可能となる。このように開閉制御装置10は、開閉体3の開閉動作を好適に制御できる。
【0041】
なお上述の例では開閉制御装置10は、エンジンが停止したことに応じて対象領域Tに物体Oがあるか否かを判定し、開閉体3の閉鎖要求をしたことに応じてシステムを終了するとした(ステップS22~28)。エンジンの停止に関する情報はECUから容易に得ることができるため、開閉制御装置10は、トリガ検知用のセンサや入力装置等を設けずにステップS22~28に示す処理を容易に実行することができる。なお物体検出処理のトリガは、エンジンが停止したことに代えて、車両4が走行するために動作する電気ユニットが停止したことであってもよい。また物体検出処理のトリガは、エンジンが停止したことに加えて、車両4がアイドリングストップを実施するために動作する電気ユニットが停止したことであってもよい。しかしこれに代えて、システムが終了した後にエンジンを停止するように要求してもよい。この場合、開閉制御装置10は、入庫が完了したか否かを判定し、入庫が完了している場合にステップS23~27に示す物体検出および閉鎖動作制御処理を行い、開閉体3が閉鎖したことに応じてシステムを終了してよい。
【0042】
また上述の例では判定部13は、対象領域Tに物体Oが検出されたか否かを判定項目とした(ステップS25)。しかし判定部13は、車庫2内に人(動体)がいるか否かおよび車両4内に人(動体)がいるか否かを判定項目に追加してもよい。このとき判定部13は、既存の人検出または動体検出アルゴリズムを用いて、車室内および車両4周辺の画像データに基づいて当該判定を行ってよい。なお開閉制御装置10が車室内または車両4周辺の音声を収音する音声収音部を有している場合には、収音した音声に基づいて人検出を行ってもよい。そして判定部13は、物体Oが検出された場合または動体がいると判定された場合に、処理をステップS26に進め、物体Oが検出されずかつ動体がいると判定されなかった場合に、処理をステップS27に進める。これにより、人が車庫2に閉め出されてしまうことを回避できる。
【0043】
図5は、実施形態1にかかる開閉制御装置10の出庫時の開閉制御処理の手順の一例を示すフローチャートである。
【0044】
ステップS30において、判定部13は、車両4のエンジンが始動したか否かを判定する。例えば車両4のユーザが車両4に乗り込んだ後に手動操作で車両4のエンジンを始動させてもよいし、車両4のユーザが車庫2に侵入する前に車両4の電子キーにより車両4のエンジンを始動させてもよい。判定部13は、エンジンが始動した場合(ステップS30でYes)、処理をステップS31に進め、そうでない場合(ステップS30でNo)、本処理を繰り返す。
【0045】
ステップS31において、判定部13はシステムを起動させる。そしてステップS32において、取得部11は、
図4のステップS23と同様に、車載カメラ40から画像データを取得する。次にステップS33において、推定部12は、
図4のステップS24と同様に、画像中の対象領域Tを推定する。次にステップS34において、判定部13は、
図4のステップS25と同様に、対象領域Tに物体Oがあるか否かを判定し、判定結果を開閉制御部14に供給する。開閉制御部14は、物体Oが検出されれば(ステップS34でYes)、開閉装置30に開放動作を制限する信号を送信し、また出力部15にその旨を出力する(ステップS35)。そして開閉制御部14は、処理をステップS34に戻す。一方、開閉制御部14は、物体Oが検出されなければ(ステップS34でNo)、開閉装置30に開放動作を要求する信号を送信する(ステップS36)。そして開閉制御部14は、処理をステップS37に進める。
【0046】
次にステップS37において、判定部13は、車両4が車庫2の外側の予め定められた出庫完了領域に移動したか否かを判定する。出庫完了領域は、
図4のステップS20に示す入庫開始領域と同じであってよい。判定部13は、車両4が出庫完了領域に移動した場合(ステップS37でYes)、処理をステップS38に進め、そうでない場合(ステップS37でNo)、本処理を繰り返す。
【0047】
ステップS38において、開閉制御部14は、開閉装置30に対して開閉体3の閉鎖動作を要求する信号を送信する。
【0048】
上述の例では、判定部13は、エンジンが始動したことに応じてシステムを起動し、対象領域Tに物体Oがあるか否かを判定するものとした(ステップS30~34)。これにより車両4のユーザが車庫2に侵入する前にエンジンを始動できる場合には、その後の開閉体3の自動開放により、ユーザが車庫2に侵入するために手動で開閉体3を開放することを回避できる。なお物体検出処理のトリガは、エンジンが始動したことに代えて、車両4が走行するために動作する電気ユニットが起動したことであってもよい。また物体検出処理のトリガは、エンジンが始動したことに加えて、車両4がアイドリングストップを実施するために動作する電気ユニットが起動したことであってもよい。なお開閉制御装置10が車両4の電子キーからシステムを起動できる場合には、ステップS30は省略されてよい。この場合も、ユーザは手動で開閉体3を開放することを回避できる。
【0049】
このように実施形態1によれば、開閉制御装置10は、不必要な開閉制御または誤動作を抑制し、開閉体3の開閉動作を好適に制御できる。
【0050】
<実施形態2>
次に
図6~7を用いて、本発明の実施形態2について説明する。実施形態1では、対象領域Tは車庫2内の領域に限られ、対象領域Tを用いた物体検出処理は、入庫かつ閉鎖時と出庫かつ開放時に限られていた。しかし実施形態2では、対象領域Tは車庫2内のみならず、車庫2の外側の領域も含んでよく、開閉制御装置10は、入庫か出庫かの違い、開放か閉鎖かの違い、さらには開閉体3の門扉タイプの違いに応じて、対象領域Tを区別する。そして開閉制御装置10は、各々の場合で、対応する対象領域Tによる物体検出処理を行う。なお実施形態2にかかる開閉制御装置10の構成は、実施形態1にかかる開閉制御装置10と同様であるため、説明を省略する。
【0051】
図6は、実施形態2にかかる対象領域Tを説明するための図である。本図の可動領域Mは、車両4が車庫2内に駐車されている場合、または車庫2の外側の所定位置(例えば、入庫開始領域)に移動した場合に撮影された開閉動作前後の画像データに基づいて、推定される。そして本図には、可動領域Mに対応する領域として、内側領域T
in、外側領域T
out、および経路領域Pが示される。内側領域T
inおよび外側領域T
outはそれぞれ、車庫2内および車庫2の外側の領域であり、
図3のステップS13と同様の処理により開閉制御装置10から推定される。経路領域Pは、車庫2内の領域であり、入庫または出庫時に車両4が通過する領域である。例えば経路領域Pは、車両4の進行方向と直交する方向における開閉体3の接地領域の長さを示す線分の少なくとも一部と、車両4の進行方向において接地領域から車庫2の内側に向かって延びる線分とによって画定される矩形領域であってよい。対象領域Tは、内側領域T
in、外側領域T
outおよび経路領域Pの全てを用いて推定されてもよく、一部を用いて推定されてもよい。例えば経路領域Pは、省略されてもよい。
【0052】
図7は、実施形態2にかかる開閉制御装置10の対象領域推定態様を示す図である。一例として本図には、門扉タイプに応じた入庫時の対象領域Tの定義と、門扉タイプに応じた出庫時の対象領域Tの定義とが示されている。門扉タイプは、開閉体3の種別を表し、一例として、開閉体3の開閉方式と開閉体3の透過性との組み合わせで区別される。開閉体3が透過性を有していれば、車両4が車庫2内にいても車庫2の外側の領域まで見通せるため、不透過の場合と異なる対象領域Tを定義づけられる。
【0053】
例えば開閉体3が上下昇降式かつ不透過の場合、対象領域Tは、入庫かつ開放時には外側領域Toutであり、入庫かつ閉鎖時には内側領域Tinであり、出庫かつ開放時には内側領域Tin+経路領域Pであってよい。一方、開閉体3が上下開きかつ透過性を有する場合、対象領域Tは、入庫かつ開放時には内側領域Tin+外側領域Tout+経路領域Pであり、入庫かつ閉鎖時には内側領域Tinであり、出庫かつ開放時には内側領域Tin+経路領域Pであってよい。左右伸縮式およびスイングアップ式の場合も、上下昇降式と同様であってよい。
【0054】
なお開閉体3が内向き開き式かつ不透過の場合、対象領域Tは必ず車庫2内の領域であってよい。この場合、入庫かつ開放時には車載カメラ40が対象領域Tの風景を撮影できないため、対象領域Tは定義されず、物体検出も行われない。開閉体3が外向き開きかつ不透過の場合の出庫かつ開放時も同様に、対象領域Tは定義されず、物体検出も行われない。
【0055】
開閉制御装置10は、
図7に示すような対象領域推定態様のテーブルを予め記憶部16に記憶しておき、事前推定処理時に用いてよい。これにより開閉制御装置10は、開閉体3の開閉方式および透過性等の門扉タイプに基づいて対象領域Tを推定し、門扉タイプに応じて好適な物体検出を行うことができる。また開閉制御装置10は、入庫/出庫および開放/閉鎖の各々の場合に応じて対象領域Tを推定し、対象領域Tに基づいて好適な物体検出を行うことができる。このように実施形態2にかかる閉制御装置10は、不必要な開閉制御または誤動作をさらに抑制し、開閉体3の開閉動作をより好適に制御できる。
【0056】
なお入庫かつ開放時には、判定部13は、車両4が予め定められた位置(例えば入庫開始領域)に移動したことに応じて、対象領域Tに物体Oがあるか否かを判定してよい。
【0057】
<実施形態3>
次に
図8を用いて、本発明の実施形態3について説明する。実施形態3は、開閉制御装置が機械学習により学習済の推定器を用いて対象領域Tを推定することに特徴を有する。
【0058】
図8は、実施形態3にかかる開閉システム1Aの構成の一例を示すブロック図である。実施形態3にかかる開閉システム1Aは、実施形態2にかかる開閉システム1と基本的に同様の構成を有するが、開閉制御装置10に代えて開閉制御装置10Aを備える。
【0059】
開閉制御装置10Aは、開閉制御装置10の推定部12に代えて、推定部12Aと学習処理部17とを有する。
【0060】
推定部12Aは、推定部12の機能に加えて、車載カメラ40から取得した画像データから対象領域Tを推定する学習済の推定器を用いて、画像データに対する対象領域Tを推定する。推定器は、畳み込みニューラルネットワークを含んでよい。このような推定器を用いた推定処理は、開閉制御処理時に画像データを取得したことに応じて実行されてよい。そして推定部12Aは、推定した対象領域Tの情報を判定部13に供給する。
【0061】
学習処理部17は、教師データを用いて推定器を学習させる。教師データは、
図3に示す事前推定処理時に車載カメラ40から取得した、規格化された画像データに、同処理により推定された対象領域Tの規格化情報でタグ付けしたものであってよい。また
図4~5に示す開閉制御処理時に車載カメラ40から取得した画像データに、同処理により推定された対象領域Tの情報でタグ付けしたものであってもよい。
【0062】
このように実施形態3によれば、開閉制御装置10Aは、学習済の推定器を用いて対象領域Tを推定し、対象領域Tに基づいて物体検出を行う。したがって車両4のユーザが複数の車庫2を使用する場合や普段と異なる車庫2を初めて使用する場合であっても、事前の設定なしに対象領域Tを推定することができる。また開閉制御装置10Aは、学習が進行することで対象領域Tの推定精度が向上するため、開閉体3の開閉動作をより好適に制御できる。
【0063】
なお、本発明は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、実施形態1の開閉制御装置10は、車両4の外部に設置された管理装置と通信可能に接続される通信部を有していてよい。この場合、開閉制御装置10の通信部は、推定部12が対象領域Tを推定したことに応じて、対象領域Tの規格化情報を管理装置に送信してよい。そして管理装置は、自己の記憶媒体に車両4のユーザ識別情報と、対象領域Tの規格化情報とを関連付けて記憶させてよい。なお開閉制御装置10は、開閉制御処理時に、記憶部16に代えて管理装置から対象領域Tの規格化情報を取得してよい。これにより、車両4のユーザが同じ車庫2に異なる車両4を入出庫させる場合でも、対象領域Tの規格化情報を引き続き使用することが可能となる。車両4のユーザが同じ車庫2に異なる車両4を入出庫させる場合とは、サブスクリプションまたはカーシェアリング等のサービスを利用する場合、またはユーザが車両4を買い替える場合等が挙げられる。
【0064】
また実施形態3の開閉制御装置10Aも、車両4の外部に設置された管理装置と通信可能に接続される通信部を有してよい。この場合、学習処理部17の機能は、管理装置に備えられていてよい。そして管理装置は、複数の車両4の開閉制御装置10Aから画像データとタグ付け情報とを取得して教師データを生成し、教師データを用いて推定器を学習させてよい。開閉制御装置10Aは、管理装置から学習済の推定器の情報、例えば推定器に含まれる学習済パラメータを、通信部を介して取得し、開閉制御処理時に用いてよい。これにより、単一の車両4で学習する場合に比べて大量の教師データを生成して学習に用いることができるため、推定精度が向上する。
【0065】
上述の実施形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、開閉制御方法にかかる各種処理(事前推定処理、学習処理または開閉制御処理)を、プロセッサにコンピュータプログラム、例えば開閉制御プログラムを実行させることにより実現することも可能である。
【0066】
上述の実施形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、プロセッサにコンピュータプログラムを実行させることにより実現することも可能である。
【0067】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、DVD(Digital Versatile Disc)、BD(Blu-ray(登録商標) Disc)、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0068】
上述の実施形態ではコンピュータは、パーソナルコンピュータやワードプロセッサ等を含むコンピュータシステムで構成される。しかしこれに限らず、コンピュータは、LAN(ローカル・エリア・ネットワーク)のサーバ、コンピュータ(パソコン)通信のホスト、インターネット上に接続されたコンピュータシステム等によって構成されることも可能である。また、ネットワーク上の各機器に機能分散させ、ネットワーク全体でコンピュータを構成することも可能である。
【0069】
特許請求の範囲、明細書、および図面中において示した装置および方法における各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのではない限り、任意の順序で実現しうる。特許請求の範囲、明細書および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。
【符号の説明】
【0070】
1,1A 開閉システム
2 車庫
3 開閉体
4 車両
10,10A 開閉制御システム(開閉制御装置)
11 取得部
12,12A 推定部
13 判定部
14 開閉制御部
15 出力部
16 記憶部
17 学習処理部
30 開閉装置
40 車載カメラ
40a 前方車載カメラ
40b 後方車載カメラ
40c 右側方車載カメラ
40d 左側方車載カメラ
O 物体
M 可動領域
T 対象領域
Tin 内側領域
Tout 外側領域
P 経路領域