特許 7177118 車両管理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-14

(45)【発行日】2022-11-22

(54)【発明の名称】車両管理装置

(51)【国際特許分類】

   G07B 15/00 20110101AFI20221115BHJP

【ＦＩ】

G07B15/00 T

【請求項の数】 7

(21)【出願番号】P 2020073370

(22)【出願日】2020-04-16

(65)【公開番号】P2021170246

(43)【公開日】2021-10-28

【審査請求日】2021-11-25

(73)【特許権者】

【識別番号】000204424

【氏名又は名称】大井電気株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】加藤 知己

【審査官】永安 真

(56)【参考文献】

【文献】特開平８－９６２９７（ＪＰ，Ａ）

【文献】特開平４－２９０１９９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０７Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

車両の画像を時間経過と共に順次撮影する撮像器と、
前記撮像器から時間経過と共に順次出力される画像フレームに対して前記車両を追跡するトラッキング処理であって、前記撮像器から画像フレームが取得されるごとに、前記車両の幾何学的情報が得られるトラッキング処理を実行する演算器と、を備え、
前記演算器は、
先に前記撮像器から取得され記憶された管理画像フレームに対して得られた前記幾何学的情報と、新たに取得された画像フレームである最新画像フレームに対して得られた前記幾何学的情報とに基づいて、前記最新画像フレームの良否を判定する処理と、
前記最新画像フレームが良好であると判定されたときに、前記最新画像フレームを新たに前記管理画像フレームとして記憶する処理と、を実行することを特徴とする車両管理装置。

【請求項2】

請求項１に記載の車両管理装置において、
前記最新画像フレームの良否を判定する処理は、前記最新画像フレームによって前記車両のナンバープレートが示される可能性があるときに、前記最新画像フレームが良好であると判定する処理を含むことを特徴とする車両管理装置。

【請求項3】

請求項１または請求項２に記載の車両管理装置において、
前記最新画像フレームの良否を判定する処理は、
前記管理画像フレームに対して得られた前記幾何学的情報に基づいて、前記車両が進行する方向に関する第１の進行方向指標を求める処理と、
前記最新画像フレームに対して得られた前記幾何学的情報に基づいて、前記車両が進行する方向に関する第２の進行方向指標を求める処理と、
前記第１の進行方向指標と前記第２の進行方向指標との比較に基づいて、前記最新画像フレームの良否を判定する処理と、を含むことを特徴とする車両管理装置。

【請求項4】

請求項３に記載の車両管理装置において、
前記第１の進行方向指標は、前記管理画像フレームが示す画像に前記車両の前面または背面が現れる可能性を示し、
前記第２の進行方向指標は、前記最新画像フレームが示す画像に前記車両の前面または背面が現れる可能性を示すことを特徴とする車両管理装置。

【請求項5】

請求項１から請求項４のいずれか１項に記載の車両管理装置において、
前記幾何学的情報は、
前記車両が存在する画像上の領域を示す情報を含み、
前記最新画像フレームの良否を判定する処理は、
前記車両が存在する領域が、予め定められた判定枠の内側にないときに、前記最新画像フレームが良好でないと判定する処理を含むことを特徴とする車両管理装置。

【請求項6】

請求項１から請求項５のいずれか１項に記載の車両管理装置において、
前記幾何学的情報は、
前記車両とは異なる他車両が存在する画像上の領域を示す情報を含み、
前記最新画像フレームの良否を判定する処理は、
前記撮像器から見て前記車両の視界を遮る他車両が存在するか否かを判定する処理と、
前記撮像器から見て前記車両の視界を遮る他車両が存在するときに、前記最新画像フレームが良好でないと判定する処理と、を含むことを特徴とする車両管理装置。

【請求項7】

無線器を備える請求項１から請求項６のいずれか１項に記載の車両管理装置において、
前記演算器は、
前記トラッキング処理を開始または終了させるイベントが生じたときに、前記管理画像フレームを前記無線器に送信させることを特徴とする車両管理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両管理装置に関し、特に、車両に対するトラッキングに基づく画像を記憶する技術に関する。

【背景技術】

【0002】

駐車場等において自動車のナンバープレートを記録する技術につき研究開発が行われている。例えば、以下の特許文献１には、駐車場に入庫した車両の画像を撮影し、その車両画像から車両ナンバーを読み取る駐車場管理システムが記載されている。この駐車場管理システムでは、車両ナンバー、車両画像および入庫時刻が関連付けて記録され、操作部に入力された車両ナンバーまたは入庫時刻との適合率が高い車両ナンバーに対応する車両画像が表示される。

【0003】

また、以下の特許文献２には、駐車車両のナンバープレートを撮影し、ナンバープレート部分から内容を認識する技術が記載されている。ナンバープレートに記載された総ての文字のうちの一部を認識することで、同一車両が駐車されているとの判定がされる。なお、特許文献３には、本願発明に関連する技術として、画像上の目標物を認識する技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－２２３６６号公報

【文献】特開２０１８－４１３９８号公報

【文献】特開２０１９－２０７５２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

複数の駐車位置のそれぞれにおいて車両のナンバープレート等、車両の特徴箇所を撮影し車両を管理する場合、複数の駐車位置のそれぞれにカメラが必要となり、車両を管理するシステムの構造が複雑になることがある。一方、駐車位置の数よりも少ない数のカメラで車両の特徴箇所を撮影し、車両を管理する場合には、車両の向きによっては特徴箇所を撮影することが不可能となる。

【0006】

本発明の目的は、簡単な構成で車両を管理することである。

【課題を解決するための手段】

【0007】

本発明は、車両の画像を時間経過と共に順次撮影する撮像器と、前記撮像器から時間経過と共に順次出力される画像フレームに対して前記車両を追跡するトラッキング処理であって、前記撮像器から画像フレームが取得されるごとに、前記車両の幾何学的情報が得られるトラッキング処理を実行する演算器と、を備え、前記演算器は、先に前記撮像器から取得され記憶された管理画像フレームに対して得られた前記幾何学的情報と、新たに取得された画像フレームである最新画像フレームに対して得られた前記幾何学的情報とに基づいて、前記最新画像フレームの良否を判定する処理と、前記最新画像フレームが良好であると判定されたときに、前記最新画像フレームを新たに前記管理画像フレームとして記憶する処理と、を実行することを特徴とする。

【0008】

望ましくは、前記最新画像フレームの良否を判定する処理は、前記最新画像フレームによって前記車両のナンバープレートが示される可能性があるときに、前記最新画像フレームが良好であると判定する処理を含む。

【0009】

望ましくは、前記最新画像フレームの良否を判定する処理は、前記管理画像フレームに対して得られた前記幾何学的情報に基づいて、前記車両が進行する方向に関する第１の進行方向指標を求める処理と、前記最新画像フレームに対して得られた前記幾何学的情報に基づいて、前記車両が進行する方向に関する第２の進行方向指標を求める処理と、前記第１の進行方向指標と前記第２の進行方向指標との比較に基づいて、前記最新画像フレームの良否を判定する処理と、を含む。

【0010】

望ましくは、前記第１の進行方向指標は、前記管理画像フレームが示す画像に前記車両の前面または背面が現れる可能性を示し、前記第２の進行方向指標は、前記最新画像フレームが示す画像に前記車両の前面または背面が現れる可能性を示す。

【0011】

望ましくは、前記幾何学的情報は、前記車両が存在する画像上の領域を示す情報を含み、前記最新画像フレームの良否を判定する処理は、前記車両が存在する領域が、予め定められた判定枠の内側にないときに、前記最新画像フレームが良好でないと判定する処理を含む。

【0012】

望ましくは、前記幾何学的情報は、前記車両とは異なる他車両が存在する画像上の領域を示す情報を含み、前記最新画像フレームの良否を判定する処理は、前記撮像器から見て前記車両の視界を遮る他車両が存在するか否かを判定する処理と、前記撮像器から見て前記車両の視界を遮る他車両が存在するときに、前記最新画像フレームが良好でないと判定する処理と、を含む。

【0013】

望ましくは、無線器を備える前記車両管理装置において、前記演算器は、前記トラッキング処理を開始または終了させるイベントが生じたときに、前記管理画像フレームを前記無線器に送信させる。

【発明の効果】

【0014】

本発明によれば、簡単な構成で車両を管理することができる。

【図面の簡単な説明】

【0015】

【図1】車両管理システムの構成を示す図である。

【図2】車両管理装置の構成を示す図である。

【図3】トラッキング処理で認識される自動車を概念的に示す図である。

【図4】２つのバウンディングボックスと判定枠を模式的に示す図である。

【図5】２つの自動車に対して求められた各バウンディングボックスを模式的に示す図である。

【図6】自動車の右側面、左側面、正面および背面が画像に表されている場合における移動ベクトルの様子を示す図である。

【図7】公道、駐車場および自動車を示す図である。

【図8】入退場判定を説明するための撮影視野を示す図である。

【発明を実施するための形態】

【0016】

（１）車両管理システムの構成
図１には、本発明の実施形態に係る車両管理システム１の構成が示されている。車両管理システム１は、車両管理装置１０および基地局１２を備えている。車両管理装置１０は、駐車場１４内または駐車場１４の傍らに設置されている。車両管理装置１０は、時間経過と共に順次、駐車場１４内を移動する自動車１６（車両）の画像を撮影する。そして、時間経過と共に順次撮影された画像のうち、自動車１６のナンバープレートが示されている可能性が高い管理画像を、基地局１２に無線送信する。

【0017】

また、車両管理装置１０は、自動車１６のナンバープレートに記載されているナンバーを管理画像から認識すると共に、自動車１６が駐車場１４に入場した時刻または駐車場１４から退場した時刻（以下、入場／退場時刻という）を後述の処理によって計測する。車両管理装置１０は、自動車１６のナンバーおよび入場／退場時刻を管理画像と共に、あるいは、管理画像とは別に基地局１２に無線送信する。基地局１２は、管理画像、ナンバーおよび入場／退場時刻を対応付けて記憶する。

【0018】

ここでは、車両管理装置１０と基地局１２との間で無線通信が行われる実施形態が示されているが、車両管理装置１０と基地局１２とが通信線で接続され、車両管理装置１０と基地局１２との間で有線通信が行われてもよい。

【0019】

（２）車両管理装置の構成および車両管理装置が実行する処理
（２－１）車両管理装置の構成
図２には、車両管理装置１０の構成が示されている。車両管理装置１０は、撮像器２４、演算器１８、記憶デバイス２２および無線器２０を備えている。撮像器２４はカメラを備えている。演算器１８は、記憶デバイス２２に記憶されているプログラムを実行するプロセッサによって構成されてよい。記憶デバイス２２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のデバイスであってよい。また、記憶デバイス２２はハードディスク等の記憶媒体であってよい。また、記憶デバイスは２２、インターネット等のネットワークを構成する複数のコンピュータによって構成される、ネットワーク上のストレージであってもよい。

【0020】

撮像器２４は、駐車場の画像を時間経過と共に順次撮影し、撮影によって得られる画像フレームを時間経過と共に順次、演算器１８に出力する。演算器１８は、画像フレームを時間経過と共に順次撮像器２４から取得し、各画像フレームに対してトラッキング処理を実行する。トラッキング処理は、新たに画像フレームが取得されるごとに、その新たに取得された最新画像フレームが示す画像における目標物の位置を追跡する処理である。トラッキング処理については、例えば、上記の特許文献３に「目標物を認識する処理」として記載されている。

【0021】

（２－２）トラッキング処理
目標物を自動車とするトラッキング処理は、例えば、次のようにして実行される。演算器１８は、各画像フレームが示す画像から、自動車である可能性を示す尤度が所定の閾値を超える物体を認識する。この処理は、記憶デバイス２２に予め記憶されたデータベースに基づいて実行される。以下の説明では、自動車である可能性を示す尤度が所定の閾値を超える物体を認識することを、単に自動車を認識するという。トラッキング処理によれば、自動車が存在する領域を示すバウンディングボックスの位置情報が、各画像フレームで認識された自動車に対する幾何学的情報として求められる。

【0022】

本実施形態では、バウンディングボックスの形状は各辺が画像周辺の各辺と平行な矩形である。バウンディングボックスの位置情報は、ｘ座標値およびｙ座標値が最小となる最小座標値（ｘｍｉｎ，ｙｍｉｎ）と、ｘ座標値およびｙ座標値が最大となる最大座標値（ｘｍａｘ，ｙｍａｘ）を含む情報であってよい。ただし、ｘ座標値およびｙ座標値は、画像フレームが示す画像上に定義された直交するｘ軸およびｙ軸上での座標値である。ｘｙ座標は画像の左上の角を原点とする。ｘ軸の正方向は右方向であり、ｙ軸の正方向は下方向である。

【0023】

図３には、トラッキング処理で認識される自動車Ｔ１～Ｔ４が概念的に示されている。この図では、目標物としての自動車Ｔ１～Ｔ４が撮影視野３０内に示されている。自動車Ｔ１は、最も先に取得された第１の画像フレームが示す画像上で認識された自動車であり、自動車Ｔ２はその次に取得された第２の画像フレームが示す画像上で認識された自動車である。自動車Ｔ３は、第２の画像フレームの次に取得された第３の画像フレームが示す画像上で認識された自動車であり、自動車Ｔ４は、その次に取得された第４の画像フレームが示す画像上で認識された自動車である。自動車Ｔ１～Ｔ４に対しては、それぞれ、自動車の位置および走行方向に応じて位置および大きさが異なるバウンディングボックスＢ１～Ｂ４が描かれている。バウンディングボックスのｘ軸方向の占有範囲は、画像上で認識された自動車がｘ軸へ投影される範囲であり、バウンディングボックスのｙ軸方向の占有範囲は、画像上で認識された自動車がｙ軸へ投影される範囲である。なお、図３では、説明の便宜上、１フレーム周期で自動車が移動する距離、すなわち、隣接する自動車間の距離が誇張して描かれている。実際の１フレーム周期では、１フレーム周期で自動車が移動する距離は図３に示されている距離よりも短い。

【0024】

（２－３）複数台の自動車を目標物とするトラッキング処理
上記では、１台の自動車を目標物とするトラッキング処理が示されたが、トラッキング処理では、複数台の自動車が目標物とされてよい。以下の説明では、目標物としての複数の自動車のうち１台の自動車を管理対象の自動車とする処理が取り上げられる。複数台の自動車を管理対象とする場合には、管理対象の複数の自動車のそれぞれに対し、１台の自動車を管理対象の自動車とする処理が実行される。

【0025】

（３）良否判定処理（位置判定、他車両重なり判定、および移動ベクトル演算判定）
演算器１８は、撮像器２４から新たに画像フレームが取得されるごとに、その最新画像フレームに対する良否判定処理を実行する。この良否判定処理は、画像上にナンバープレートが示される可能性があるときに、画像フレームが良好であると判定する処理である。良否判定処理において、演算器１８は、（ｉ）位置判定、（ｉｉ）他車両重なり判定、および（ｉｉｉ）移動ベクトル演算判定を行う。ここでは、位置判定、他車両重なり判定および移動ベクトル演算判定の概要について述べる。

【0026】

位置判定では、画像フレームにおいて認識された自動車のバウンディングボックスが、撮影視野内に定義された判定枠の内側にあるか否かが判定される。判定枠は、撮影視野の外周と同一の矩形状の枠であってもよいし、撮影視野内に定義された矩形状の枠であってもよい。演算器１８は、位置判定によって、バウンディングボックスが判定枠の内側にない旨の枠外判定、あるいは、バウンディングボックスが判定枠の内側にある旨の枠内判定をする。枠外判定がされたときは、ナンバープレートが画像に現れている可能性が低い。

【0027】

他車両重なり判定では、撮像器２４から見て、管理対象となっている自動車までの視界を遮る他自動車（以下、オーバーラップ自動車という）が存在するか否かが判定される。演算器１８は、オーバーラップ自動車が存在するときは重なり判定をし、オーバーラップ自動車が存在しないときは非重なり判定をする。非重なり判定がされたときは、ナンバープレートが画像に現れている可能性が低い。

【0028】

移動ベクトル演算判定では、最新画像フレームより１フレームだけ前に取得された画像フレームである先行画像フレームを基準として、最新画像フレームについて求められたバウンディングボックスの移動ベクトル（ｘｄｉｆｆ，ｙｄｉｆｆ）が求められる。演算器１８は、移動ベクトル演算判定において、さらに、進行方向指標ｒ＝｜ｙｄｉｆｆ／ｘｄｉｆｆ｜を求める。進行方向指標ｒは、最新画像フレームにおいて認識された自動車の前面または背面が画像に現れている可能性を示す。進行方向指標ｒが大きい程、自動車の前面または背面が画像に現れている可能性が高く、ナンバープレートが画像に現れている可能性が高い。なお、進行方向指標ｒは、後述するその他の定義に基づいて求められてもよい。

【0029】

上記の良否判定処理によって、位置判定の結果を示す情報、他車両重なり判定の結果を示す情報、および移動ベクトル演算判定の結果を示す情報が、良否判定情報として得られる。なお、位置判定、他車両重なり判定および移動ベクトル演算判定の詳細については後述する。

【0030】

ここでは、最新画像フレームが撮像器２４から取得されるときに、先に取得された画像フレームに基づく管理画像フレームと、その管理画像フレームに対する良否判定処理によって得られた良否判定情報が、記憶デバイス２２に記憶されているものとする。

【0031】

演算器１８は、最新画像フレーム対する位置判定において枠外判定をした場合、または最新画像フレームに対する他車両重なり判定において重なり判定をした場合には、管理画像フレームと、その参照フレームに対する良否判定情報が記憶デバイス２２に記憶された状態を維持する。そして、次の最新画像フレームについて良否判定処理を実行する。このように、演算器１８が、最新画像フレーム対する位置判定において枠外判定をした場合、または最新画像フレームに対する他車両重なり判定において重なり判定をした場合は、演算器１８が、最新画像フレームが良好でないと判定した場合に相当する。

【0032】

演算器１８は、最新画像フレーム対する位置判定において枠内判定をし、かつ、最新画像フレーム対する他車両重なり判定において非重なり判定をした場合には、最新画像フレームに対する移動ベクトル演算判定を実行し、進行方向指標ｒを求める。演算器１８は、記憶デバイス２２に記憶されている管理画像フレームに対する進行方向指標ｒ０（第１の進行方向指標）と、最新画像フレームに対して求められた進行方向指標ｒ（第２の進行方向指標）とを比較する。

【0033】

演算器１８は、進行方向指標ｒ０が、進行方向指標ｒ以上であるときは、管理画像フレームと、その管理画像フレームに対する良否判定情報が記憶デバイス２２に記憶された状態を維持する。そして、次の最新画像フレームについて良否判定処理を実行する。

【0034】

他方、演算器１８は、進行方向指標ｒ０が進行方向指標ｒ未満であるときは、先に記憶されていた管理画像フレームに代えて、最新画像フレームを新たな管理画像フレームとして記憶デバイス２２に記憶する。演算器１８は、さらに、先に記憶されていた良否判定情報に代えて、最新画像フレームに対する良否判定情報を記憶デバイス２２に記憶する。このように、演算器１８が、最新画像フレーム対する位置判定において枠内判定をし、かつ、最新画像フレーム対する他車両重なり判定において非重なり判定をし、さらに、進行方向指標ｒ０が、進行方向指標ｒ未満であると判定した場合は、演算器１８が、最新画像フレームが良好であると判定したことに相当する。

【0035】

このような処理によれば、最新画像フレームが良好であると演算器１８が判定したときに、演算器１８は、最新画像フレームを管理画像フレームとして記憶デバイス２２に記憶する。これによって、時間経過と共に順次、撮像器２４から取得される画像フレームから、ナンバープレートが表されている可能性がある画像フレームが選択され、記憶デバイス２２に記憶される。

【0036】

なお、上記では、位置判定、他車両重なり判定、および移動ベクトル演算判定を組み合わせて良否判定処理が行われる実施形態が示された。良否判定処理は、位置判定、他車両重なり判定、および移動ベクトル演算判定のうち少なくとも１つを実行することで行われてもよい。複数の判定が組み合わされた場合、総ての判定において、最新画像フレームによって示される画像にナンバープレートが表されている可能性があると判定された場合に（最新画像フレームによって示される画像が良好であると判定された場合に）、最新画像フレームが管理画像フレームとして、その良否判定情報と共に記憶される。

【0037】

また、上記では、最新画像フレームが撮像器２４から取得されるときに、先に取得された画像フレームに基づく管理画像フレームと、その管理画像フレームに対する良否判定処理によって得られた良否判定情報が、記憶デバイス２２に記憶されている場合について説明した。最新画像フレームが最初に撮像器２４から取得された画像フレームであり、管理画像フレームおよびその良否判定情報が記憶デバイス２２に記憶されていないときは、予め定められた初期の画像フレームおよび初期の良否判定情報が記憶デバイス２２に記憶されている。

【0038】

（４）位置判定
位置判定について詳細に説明する。位置判定では、画像フレームにおいて認識された自動車のバウンディングボックスが、撮影視野内に定義された判定枠の中に入っているか否かが判定される。図４には、２つのバウンディングボックス３６－１および３６－２と、判定枠４０が模式的に示されている。判定枠４０は、最小座標値を（ｃｕｔｉｎ_ｘｍｉｎ，ｃｕｔｉｎ_ｙｍｉｎ）とし、最大座標値を（ｃｕｔｉｎ_ｘｍａｘ，ｃｕｔｉｎ_ｙｍａｘ）とする矩形の枠である。

【0039】

演算器１８は、以下の条件（Ｃ１）が成立するときは、バウンディングボックスが、判定枠４０の内側にある旨の枠内判定をする。一方、演算器１８は、条件（Ｃ１）が成立しないときは、バウンディングボックスが判定枠４０の内側にない旨の枠外判定をする。

【0040】

（Ｃ１）ｃｕｔｉｎ＿ｘｍｉｎ＜ｘｍｉｎ、かつ、ｘｍａｘ＜ｃｕｔｉｎ＿ｘｍａｘ、かつ、ｃｕｔｉｎ＿ｙｍｉｎ＜ｙｍｉｎ、かつ、ｙｍａｘ＜ｃｕｔｉｎ＿ｙｍａｘ

【0041】

例えば、バウンディングボックス３６－２については条件（Ｃ１）が成立しないため、演算器１８は、バウンディングボックス３６－２が求められた画像フレームに対しては枠外判定をする。一方、バウンディングボックス３６－１については条件（Ｃ１）が成立するため、演算器１８は、バウンディングボックス３６－１が求められた画像フレームに対しては枠内判定をする。

【0042】

（５）他車両重なり判定
他車両重なり判定について詳細に説明する。他車両重なり判定では、オーバーラップ自動車が存在するか否かが判定される。具体的には、管理対象となっている自動車に対して求められたバウンディングボックス（管理対象車ボックス）に、他自動車に対して求められたバウンディングボックス（他車ボックス）が重なっており、かつ、管理対象車ボックスが、他車ボックスよりも撮影視野内で上方に位置している場合には、演算器１８は、オーバーラップ自動車が存在する旨の重なり判定をする。一方、この条件が成立しないときは、演算器１８は、オーバーラップ自動車が存在しない旨の非重なり判定をする。

【0043】

演算器１８は、１つまたは複数の他自動車との間に、以下の条件（Ｃ２）が成立するときは重なり判定をする。ただし、座標値（ｘｍｉｎＡ，ｙｍｉｎＡ）は他自動車のバウンディングボックスの最小座標値であり、座標値（ｘｍａｘＡ，ｙｍａｘＡ）は他自動車の最大座標値である。

【0044】

（Ｃ２）（ｘｍｉｎＡ＜ｘｍｉｎ＜ｘｍａｘＡ、または、ｘｍｉｎＡ＜ｘｍａｘ＜ｘｍａｘＡ）、かつ、ｙｍｉｎＡ＜ｙｍａｘ＜ｙｍａｘＡ

【0045】

演算器１８は、いずれの他自動車との間にも、条件（Ｃ２）が成立しないときは非重なり判定をする。

【0046】

図５には、２つの自動車１６Ａおよび１６Ｂに対してそれぞれ求められたバウンディングボックス３６－３および３６－４が模式的に示されている。バウンディングボックス３６－３およびバウンディングボックス３６－４は重なっており、バウンディングボックス３６－３の方が、バウンディングボックス３６－４よりも撮影視野３０内で上方に位置している。したがって、自動車１６Ａが管理対象である場合には重なり判定がされる。一方、自動車１６Ｂが管理対象である場合には非重なり判定がされる。

【0047】

（６）移動ベクトル演算判定
移動ベクトル演算判定について詳細に説明する。移動ベクトル演算判定では、最新画像フレームより１フレーム前に取得された画像フレームである先行画像フレームを基準として、最新画像フレームについて求められたバウンディングボックスの移動ベクトル（ｘｄｉｆｆ，ｙｄｉｆｆ）が求められる。ｘ軸方向の増加分ｘｄｉｆｆは、ｘｄｉｆｆ＝ｘｍａｘ－ｘｍａｘ０またはｘｄｉｆｆ＝ｘｍｉｎ－ｘｍｉｎ０として求められる。ｙ軸方向の増加分ｙｄｉｆｆは、ｙｄｉｆｆ＝ｙｍａｘ－ｙｍａｘ０またはｙｄｉｆｆ＝ｙｍｉｎ－ｙｍｉｎ０として求められる。ただし、座標値（ｘｍｉｎ０，ｙｍｉｎ０）は、先行画像フレームについて求められた最小座標値であり、座標値（ｘｍａｘ０，ｙｍａｘ０）は、先行画像フレームについて求められた最大座標値である。

【0048】

なお、先行画像フレームは、最新画像フレームより２フレーム以上前に取得された画像フレームであってもよい。また、移動ベクトルは、最新画像フレームについて求められたバウンディングボックスの重心の座標値から、先行画像フレームについて求められたバウンディングボックスの重心の座標値を減算することで求めてもよい。また、移動ベクトルは、最新画像フレームについて求められたバウンディングボックスの所定の角（四隅のうち予め定められた１つ）の座標値から、先行画像フレームについて求められたバウンディングボックスの所定の角の座標値を減算することで求めてもよい。

【0049】

演算器１８は、ｘ軸方向の増加分ｘｄｉｆｆに対するｙ軸方向の増加分ｙｄｉｆｆの比率の絶対値である進行方向指標ｒ＝｜ｙｄｉｆｆ／ｘｄｉｆｆ｜を求める。進行方向指標ｒが大きい程、最新画像フレームにおいて認識されている自動車の前方または後方が画像に現れている可能性が高く、ナンバープレートが画像に現れている可能性が高い。

【0050】

図６（ａ）、図６（ｂ）、図６（ｃ）および図６（ｄ）には、それぞれ、自動車１６の右側面、左側面、正面および背面が画像に表されている場合における移動ベクトルの様子が示されている。図６（ａ）～図６（ｄ）に示されているように、自動車１６が撮影視野３０において上方向または下方向に走行しているときは、自動車１６が撮影視野において右方向または左方向に走行しているときに比べて、進行方向指標ｒ＝｜ｙｄｉｆｆ／ｘｄｉｆｆ｜が大きい。すなわち、自動車１６の前面または背面が画像に現れているときは、自動車１６の右側面または左側面が画像に現れているときに比べて、進行方向指標ｒ＝｜ｙｄｉｆｆ／ｘｄｉｆｆ｜が大きい。

【0051】

なお、演算器１８は、バウンディングボックスのｘ軸方向の長さｘｍａｘ－ｘｍｉｎに対する、ｙ軸方向の長さｙｍａｘ－ｙｍｉｎの比率を進行方向指標ｒとしてもよい。一般に、自動車は正面または背面から見た幅（車幅）に比べて、側面から見た幅（車長）の方が大きい。この場合も、進行方向指標ｒが大きい程、自動車の前方または後方が画像に現れている可能性が高く、ナンバープレートが画像に現れている可能性が高い。

【0052】

また、駐車場の出入口が撮像器２４の撮像方向にある場合、すなわち、駐車場の出入口を通る自動車が撮像器２４から見て正面または背面を向くように、撮像器２４が配置されている場合には、演算器１８は次のような演算によって進行方向指標ｒを求めてもよい。すなわち、演算器１８は、画像上に定義された駐車場出入口線のｙ座標値ｙｌｉｎｅと、バウンディングボックスの下辺のｙ座標値ｙｍａｘとの差の絶対値の逆数１／｜ｙｌｉｎｅ－ｙｍａｘ｜を進行方向指標としてもよい。ここで、駐車場出入口線は、駐車場の出入口を通り、ｘ軸方向に平行である仮想的な直線として定義されている。

【0053】

上記では、進行方向指標が大きい程、最新画像フレームにおいて認識されている自動車の前方または後方が画像に現れている可能性が高くなるように、進行方向指標が定義された実施形態が示された。進行方向指標は、その値が小さい程、最新画像フレームにおいて認識されている自動車の前方または後方が画像に現れている可能性が高くなるように定義されてもよい。

【0054】

この場合、演算器１８は、管理画像フレームに対応する進行方向指標が、最新画像フレームに対応する進行方向指標未満であるときは、管理画像フレームと、その管理画像フレームに対する良否判定情報が記憶デバイス２２に記憶された状態を維持する。他方、演算器１８は、管理画像フレームに対応する進行方向指標が、最新画像フレームに対応する進行方向指標以上であるときは、先に記憶されていた管理画像フレームに代えて、最新画像フレームを新たな管理画像フレームとして記憶デバイス２２に記憶する。演算器１８は、さらに、先に記憶されていた良否判定情報に代えて、最新画像フレームに対する良否判定情報を記憶デバイス２２に記憶する。

【0055】

図７には、公道５０から駐車場１４に侵入する自動車１６Ｃと、その自動車１６Ｃに対するバウンディングボックス３６－５が示されている。また、駐車場１４内を走行している自動車１６Ｄと、その自動車１６Ｄに対するバウンディングボックス３６－５が示されている。図７に示されているように、バウンディングボックス３６－６の下辺の方が、バウンディングボックス３６－６の下辺よりも、駐車場出入口線５２に近い。このように、バウンディングボックスの下辺が、駐車場出入口線５２に近い程、そのバウンディングボックスに対応する自動車は、その正面または背面を撮像器２４に向けている可能性が高い。したがって、１／｜ｙｌｉｎｅ－ｙｍａｘ｜を進行方向指標ｒとした場合、進行方向指標ｒが大きい程、最新画像フレームにおいて認識されている自動車の前方または後方が画像に現れている可能性が高く、ナンバープレートが画像に現れている可能性が高い。

【0056】

（７）入退場判定
演算器１８は、管理対象の自動車が駐車場に入場したこと、および管理対象の自動車が駐車場から退場したことを判定する入退場判定を実行する。上記のトラッキング処理において、演算器１８は、管理対象の自動車が最初に認識されたときに、バウンディングボックスの位置を出現点の座標値として求める。また、演算器１８は、管理対象の自動車が認識できなくなったときは、最後に自動車が認識されたときのバウンディングボックスの位置を消失点の座標値として求める。ここで、バウンディングボックスの位置は、バウンディングボックスの重心の位置または所定の角の位置であってよい。

【0057】

図８には、入退場判定を説明するための撮影視野３０が概念的に示されている。撮影視野３０に対しては、入退場検出範囲５４が定義されている。撮影視野３０の上辺は公道５０に面している。撮影視野３０のうち、公道５０に面した上方の横長の長方形の領域が入退場検出範囲５４である。軌跡５６－１および５６－２は、トラッキング処理によって認識された自動車の軌跡を示す。軌跡５６－１は、入退場検出範囲５４外にある出現点Ｓ１を始点とし、入退場検出範囲５４内にある消失点Ｆ１を終点とする。軌跡５６－２は、入退場検出範囲５４内にある出現点Ｓ２を始点とし、入退場検出範囲５４外にある消失点Ｆ２を終点とする。

【0058】

演算器１８は、出現点が入退場検出範囲５４内にあり、消失点が入退場検出範囲５４外にあるときに自動車が入場したとの判定をする。また、演算器１８は、出現点が入退場検出範囲５４外にあり、消失点が入退場検出範囲５４内にあるときに自動車が退場したとの判定をする。演算器１８は、さらに、出現点および消失点の両者が入退場検出範囲５４内にあるとき、あるいは、出現点および消失点の両者が入退場検出範囲５４外にあるときは、自動車が入場も退場もしていないと判定する。

【0059】

図８に示されている例では、出現点Ｓ１が入退場検出範囲５４外にあり、消失点Ｆ１が入退場検出範囲５４内にあるため、演算器１８は、軌跡５６－１を描いた自動車が退場したとの判定をする。また、出現点Ｓ２が入退場検出範囲５４内にあり、消失点Ｆ２が入退場検出範囲５４外にあるため、演算器１８は、軌跡５６－２を描いた自動車が入場したとの判定をする。

【0060】

演算器１８は、自動車が入場したとの判定、または自動車が退場したとの判定をしたときに管理情報を生成し無線器２０に出力する。管理情報は、例えば、入場／退場時刻、記憶デバイス２２に記憶された管理画像フレーム、良否判定情報、管理画像フレームが示す画像に示されているナンバー等を含む。無線器２０は管理情報を基地局１２に送信する。管理情報を受信した基地局１２は、管理情報に含まれる入場／退場時刻、管理画像フレーム、ナンバー等を対応付けて記憶する。

【0061】

このように、演算器１８は、自動車が入場したというイベント、または自動車が退場したというイベントの発生に応じて、入場／退場時刻、管理画像フレーム、良否判定情報、ナンバー等を含む管理情報を無線器２０に送信させる。すなわち、演算器１８は、トラッキング処理を開始または終了させるイベントの発生に応じて、管理情報を無線器２０に送信させる。

【0062】

本発明の実施形態に係る車両管理システム１では、撮影視野に対応する駐車場の領域において、１つの撮像器２４によって自動車の管理が行われる。したがって、複数の駐車位置のそれぞれにカメラが配置される場合に比べて構成が簡単となる。

【符号の説明】

【0063】

１ 車両管理システム、１０ 車両管理装置、１２ 基地局、１４ 駐車場、１６，１６Ａ～１６Ｄ，Ｔ１～Ｔ４ 自動車、１８ 演算器、２０ 無線器、２２ 記憶デバイス、２４ 撮像器、３６－１～３６－６，Ｂ１～Ｂ４ バウディングボックス、４０ 判定枠、５０ 公道、５２ 駐車場出入口線、５４ 入退場検出範囲、５６－１，５６－２ 軌跡、Ｓ１，Ｓ２ 出現点、Ｆ１，Ｆ２ 消失点。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】