特許 7361012 入退場判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-04

(45)【発行日】2023-10-13

(54)【発明の名称】入退場判定装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231005BHJP

【ＦＩ】

G06T7/00 650B

【請求項の数】 7

(21)【出願番号】P 2020191560

(22)【出願日】2020-11-18

(65)【公開番号】P2022080469

(43)【公開日】2022-05-30

【審査請求日】2022-06-29

(73)【特許権者】

【識別番号】000204424

【氏名又は名称】大井電気株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】加藤 知己

【審査官】笠田 和宏

(56)【参考文献】

【文献】特開２０１２－２１５９８３（ＪＰ，Ａ）

【文献】国際公開第２００９／１２８１３７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

画像フレームを時間経過と共に順次取得し、
時間経過と共に順次取得される前記画像フレームについて物体を追跡し、
各前記画像フレームによって示される第１領域で前記物体が出現し、前記物体の最新位置が前記第１領域外の第２領域であって、各前記画像フレームによって示される第２領域にある場合に、前記物体が出現した出現位置から、前記物体の最新位置に至るまでの前記物体の変位評価量に基づいて、前記第２領域に接する近接領域に前記物体が入場したとの判定をし、
前記第２領域で前記物体が出現し、前記物体の最新位置が前記第１領域にある場合に、前記物体が出現した出現位置から前記物体の最新位置に至るまでの前記物体の変位評価量に基づいて、前記近接領域から前記物体が退場したとの判定をすることを特徴とする入退場判定装置。

【請求項2】

請求項１に記載の入退場判定装置において、
前記第１領域にある前記出現位置から、前記第２領域にある前記最新位置に至るまでの前記物体の変位評価量が、所定の閾値を超えた場合に、前記近接領域に前記物体が入場したとの判定をし、
前記第２領域にある前記出現位置から、前記前第１領域にある前記最新位置に至るまでの前記物体の変位評価量が、所定の閾値を超えた場合に、前記近接領域から前記物体が退場したとの判定をすることを特徴とする入退場判定装置。

【請求項3】

請求項１に記載の入退場判定装置において、
前記第１領域にある前記出現位置から、前記第２領域にある前記最新位置に至るまでの前記物体のｘ軸方向の変位量が所定のｘ軸方向変位閾値を超え、かつ、ｘ軸方向に垂直なｙ軸方向の変位量が所定のｙ軸方向変位閾値を超えた場合に、前記近接領域に前記物体が入場したとの判定をし、
前記第２領域にある前記出現位置から、前記第１領域にある前記最新位置に至るまでの前記物体のｘ軸方向の変位量が所定のｘ軸方向変位閾値を超え、かつ、ｘ軸方向に垂直なｙ軸方向の変位量が所定のｙ軸方向変位閾値を超えた場合に、前記近接領域から前記物体が退場したとの判定をすることを特徴とする入退場判定装置。

【請求項4】

請求項１に記載の入退場判定装置において、
前記第１領域にある前記出現位置から、前記第２領域にある前記最新位置に至るまでの前記物体の特定方向への変位量が所定の変位閾値を超えた場合に、前記近接領域に前記物体が入場したとの判定をし、
前記第２領域にある前記出現位置から、前記第１領域にある前記最新位置に至るまでの前記物体の特定方向の変位量が所定の変位閾値を超えた場合に、前記近接領域から前記物体が退場したとの判定をし、
前記特定方向は、前記第１領域と前記第２領域との境界線に交わる方向であることを特徴とする入退場判定装置。

【請求項5】

画像フレームを時間経過と共に順次取得し、
時間経過と共に順次取得される前記画像フレームについて物体を追跡し、
各前記画像フレームによって示される第１領域で前記物体が出現し、前記物体の最新位置が前記第１領域外の第２領域であって、各前記画像フレームによって示される第２領域にある場合に、前記物体が出現した出現位置から、前記物体の最新位置に至るまでの画像フレーム数に基づいて、前記第２領域に接する近接領域に前記物体が入場したとの判定をし、
前記第２領域で前記物体が出現し、前記物体の最新位置が前記第１領域にある場合に、前記物体が出現した出現位置から前記物体の最新位置に至るまでの画像フレーム数に基づいて、前記近接領域から前記物体が退場したとの判定をすることを特徴とする入退場判定装置。

【請求項6】

請求項５に記載の入退場判定装置において、
前記第１領域にある前記出現位置から、前記前第２領域にある前記最新位置に至るまでの画像フレーム数が所定数を超えた場合に、前記近接領域に前記物体が入場したとの判定をし、
前記第２領域にある前記出現位置から、前記前第１領域にある前記最新位置に至るまでの画像フレーム数が、所定数を超えた場合に、前記近接領域から前記物体が退場したとの判定をすることを特徴とする入退場判定装置。

【請求項7】

請求項１から請求項６のいずれか１項に記載の入退場判定装置において、
前記物体は自動車であり、
前記近接領域は、前記物体を駐車する領域を含むことを特徴とする入退場判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入退場判定装置に関し、特に、時間経過と共に順次取得される画像フレームデータから物体を認識する装置に関する。

【背景技術】

【0002】

画像に示された特定の物体を認識する技術につき研究開発が行われている。このような画像認識技術には、時間経過と共に順次取得される画像のそれぞれにおいて目標物を認識し、目標物を追跡するものがある。

【0003】

例えば、以下の特許文献１には、カメラ映像から人物を検出し、検出された人物を追跡する画像認識装置が記載されている。この画像認識装置は、時間経過と共に順次取得された画像から検出対象物としての人物を検出し、各画像における人物の位置を求めることで人物を追跡する。人物を検出する処理は、処理対象の画像における特定の領域が人物を示す可能性を表す尤度を求め、尤度が所定の尤度閾値よりも大きい場合に、その特定の領域に対応する物体を人物として確定することで行われる。

【0004】

特許文献２には、画像上で目標物を認識する物体認識装置が記載されている。この装置では、時間経過と共に順次取得した画像上の物体を目標物として認識することで、目標物としての物体が追跡される。物体を目標物として認識する際には、目標物に対する物体の尤度が用いられる。この文献には、目標物が自動車である実施形態が記載されている。

【0005】

なお、画像上で認識される物体は、実際には、画像上で特定の領域を占める物体の像を指すが、本願明細書では、表現を簡略化するため、画像上で特定の領域を占める物体の像を、単に画像上の物体と表現する。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１６－１６２２３２号公報

【文献】特開２０１９－２０７５２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

自動車等の物体を追跡する装置では、追跡対象の物体とは異なる他の物体が画像上で重なって認識されることがある。この場合、追跡対象の物体が撮影視野の外に出たと誤って認識されて、正確な追跡が行われないことがある。また、他の物体が一時的に通過することによって、追跡対象の物体に他の物体が一時的に画像上で重なった場合には、他の物体の通過前後で物体が認識される位置にブレが生じ、高精度な追跡が行えない場合がある。

【0008】

本発明の目的は、時間経過と共に順次取得される画像上で、追跡対象の物体を確実に追跡することである。

【課題を解決するための手段】

【0009】

本発明は、画像フレームを時間経過と共に順次取得し、時間経過と共に順次取得される前記画像フレームについて物体を追跡し、各前記画像フレームによって示される第１領域で前記物体が出現し、前記物体の最新位置が前記第１領域外の第２領域であって、各前記画像フレームによって示される第２領域にある場合に、前記物体が出現した出現位置から、前記物体の最新位置に至るまでの前記物体の変位評価量に基づいて、前記第２領域に接する近接領域に前記物体が入場したとの判定をし、前記第２領域で前記物体が出現し、前記物体の最新位置が前記第１領域にある場合に、前記物体が出現した出現位置から前記物体の最新位置に至るまでの前記物体の変位評価量に基づいて、前記近接領域から前記物体が退場したとの判定をすることを特徴とする。

【0010】

望ましくは、前記第１領域にある前記出現位置から、前記第２領域にある前記最新位置に至るまでの前記物体の変位評価量が、所定の閾値を超えた場合に、前記近接領域に前記物体が入場したとの判定をし、前記第２領域にある前記出現位置から、前記前第１領域にある前記最新位置に至るまでの前記物体の変位評価量が、所定の閾値を超えた場合に、前記近接領域から前記物体が退場したとの判定をする。

【0011】

望ましくは、前記第１領域にある前記出現位置から、前記第２領域にある前記最新位置に至るまでの前記物体のｘ軸方向の変位量が所定のｘ軸方向変位閾値を超え、かつ、ｘ軸方向に垂直なｙ軸方向の変位量が所定のｙ軸方向変位閾値を超えた場合に、前記近接領域に前記物体が入場したとの判定をし、前記第２領域にある前記出現位置から、前記第１領域にある前記最新位置に至るまでの前記物体のｘ軸方向の変位量が所定のｘ軸方向変位閾値を超え、かつ、ｘ軸方向に垂直なｙ軸方向の変位量が所定のｙ軸方向変位閾値を超えた場合に、前記近接領域から前記物体が退場したとの判定をすることを特徴とする。望ましくは、前記第１領域にある前記出現位置から、前記第２領域にある前記最新位置に至るまでの前記物体の特定方向への変位量が所定の変位閾値を超えた場合に、前記近接領域に前記物体が入場したとの判定をし、前記第２領域にある前記出現位置から、前記第１領域にある前記最新位置に至るまでの前記物体の特定方向の変位量が所定の変位閾値を超えた場合に、前記近接領域から前記物体が退場したとの判定をし、前記特定方向は、前記第１領域と前記第２領域との境界線に交わる方向である。

【0012】

また、本発明は、画像フレームを時間経過と共に順次取得し、時間経過と共に順次取得される前記画像フレームについて物体を追跡し、各前記画像フレームによって示される第１領域で前記物体が出現し、前記物体の最新位置が前記第１領域外の第２領域であって、各前記画像フレームによって示される第２領域にある場合に、前記物体が出現した出現位置から、前記物体の最新位置に至るまでの画像フレーム数に基づいて、前記第２領域に接する近接領域に前記物体が入場したとの判定をし、前記第２領域で前記物体が出現し、前記物体の最新位置が前記第１領域にある場合に、前記物体が出現した出現位置から前記物体の最新位置に至るまでの画像フレーム数に基づいて、前記近接領域から前記物体が退場したとの判定をすることを特徴とする。望ましくは、前記第１領域にある前記出現位置から、前記前第２領域にある前記最新位置に至るまでの画像フレーム数が所定数を超えた場合に、前記近接領域に前記物体が入場したとの判定をし、前記第２領域にある前記出現位置から、前記前第１領域にある前記最新位置に至るまでの画像フレーム数が、所定数を超えた場合に、前記近接領域から前記物体が退場したとの判定をする。

【0013】

望ましくは、請求項１から請求項４のいずれか１項に記載の入退場判定装置において、前記物体は自動車であり、前記近接領域は、前記自動車を駐車する領域を含むこと。

【0014】

また、本発明の関連技術は、画像フレームを時間経過と共に順次取得し、時間経過と共に順次取得される前記画像フレームについて物体を追跡し、追跡中の前記物体が移動しているか停止しているかを判定し、前記物体が停止していると判定されたときに、前記画像フレームの撮影視野内で前記物体の手前側に他物体が重なっているかを判定し、前記物体に前記他物体が重なっていると判定されたときは前記物体の位置を記憶し、前記他物体が重なった状態が解消した後に、引き続き前記物体を追跡することを特徴とする。

【0015】

望ましくは、前記物体は自動車である。

【発明の効果】

【0016】

本発明によれば、時間経過と共に順次取得される画像上で、追跡対象の物体を確実に追跡することができる。

【図面の簡単な説明】

【0017】

【図1】車両管理システムの構成を示す図である。

【図2】車両管理装置の構成を示す図である。

【図3】トラッキング処理で認識される自動車を概念的に示す図である。

【図4】入退場判定を説明するための撮影視野を概念的に示す図である。

【図5】２つの自動車に対して求められた各バウンディングボックスを模式的に示す図である。

【図6】停車した管理対象車と、他自動車が示された撮影視野の例を概念的に示す図である。

【発明を実施するための形態】

【0018】

（１）車両管理システムの構成
図１には、本発明の実施形態に係る車両管理システム１の構成が示されている。車両管理システム１は、車両管理装置１０および基地局１２を備えている。車両管理装置１０は、駐車場１４内または駐車場１４の傍らに設置されている。車両管理装置１０は、時間経過と共に順次、駐車場１４内を移動する自動車１６（車両）の画像を撮影する。そして、時間経過と共に順次撮影された画像から、自動車１６のナンバープレートが示されている管理画像を選出する。

【0019】

また、車両管理装置１０は、自動車１６のナンバープレートに記載されているナンバーを管理画像から認識する。車両管理装置１０は、さらに、自動車１６が駐車場１４内の駐車区画に入場した時刻、または駐車場１４内の駐車区画から退場した時刻（以下、入場／退場時刻という）を後述の処理によって計測する。ここで駐車区画とは、自動車１６が駐車される駐車場１４内の区画をいう。車両管理装置１０は、入場／退場時刻、自動車１６のナンバーおよび管理画像データ（管理画像を表す画像データ）を含む管理情報を基地局１２に無線送信する。基地局１２は、入場／退場時刻、ナンバーおよび管理画像データを対応付けて記憶する。

【0020】

ここでは、車両管理装置１０と基地局１２との間で無線通信が行われる実施形態が示されているが、車両管理装置１０と基地局１２とが通信線で接続され、車両管理装置１０と基地局１２との間で有線通信が行われてもよい。

【0021】

（２）車両管理装置の構成および車両管理装置が実行する処理
（２－１）車両管理装置の構成
図２には、車両管理装置１０の構成が示されている。車両管理装置１０は、撮像器２４、演算器１８、記憶デバイス２２および無線器２０を備えている。撮像器２４はカメラを備えている。演算器１８は、記憶デバイス２２に記憶されているプログラムを実行するプロセッサによって構成されてよい。記憶デバイス２２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のデバイスであってよい。また、記憶デバイス２２はハードディスク等の記録媒体であってよい。また、記憶デバイスは２２、インターネット等のネットワークを構成する複数のコンピュータによって構成される、ネットワーク上のストレージであってもよい。

【0022】

撮像器２４は、駐車場の画像を時間経過と共に順次撮影し、撮影によって得られる画像フレームデータ（以下、画像フレームという）を時間経過と共に順次、演算器１８に出力する。演算器１８は、画像フレームを時間経過と共に順次撮像器２４から取得し、各画像フレームに対してトラッキング処理を実行する。トラッキング処理は、新たに画像フレームが取得されるごとに、その新たに取得された最新画像フレームが示す画像における目標物の位置を追跡する処理である。トラッキング処理については、例えば、上記の特許文献２に「目標物を認識する処理」として記載されている。

【0023】

（２－２）トラッキング処理
目標物を自動車とするトラッキング処理は、例えば、次のようにして実行される。演算器１８は、各画像フレームが示す画像から、自動車である可能性を示す尤度が所定の閾値を超える物体を認識する。この処理は、記憶デバイス２２に予め記憶されたデータベースに基づいて実行される。以下の説明では、自動車である可能性を示す尤度が所定の閾値を超える物体を認識することを、単に自動車を認識するという。トラッキング処理によれば、自動車が存在する領域を示すバウンディングボックスの位置情報が求められる。

【0024】

本実施形態では、バウンディングボックスの形状は矩形であり、バウンディングボックスの各辺は画像周辺の各辺と平行である。バウンディングボックスの位置情報は、ｘ座標値およびｙ座標値が最小となる最小座標値（ｘｍｉｎ，ｙｍｉｎ）と、ｘ座標値およびｙ座標値が最大となる最大座標値（ｘｍａｘ，ｙｍａｘ）を含む情報であってよい。ただし、ｘ座標値およびｙ座標値は、画像フレームが示す画像上に定義された直交するｘ軸およびｙ軸上での座標値である。ｘｙ座標は画像の左上の角を原点とする。ｘ軸の正方向は右方向であり、ｙ軸の正方向は下方向である。

【0025】

図３には、トラッキング処理で認識される自動車Ｔ１～Ｔ４が概念的に示されている。この図では、目標物としての自動車Ｔ１～Ｔ４が撮影視野３０内に示されている。自動車Ｔ１は、最も先に取得された第１の画像フレームが示す画像上で認識された自動車であり、自動車Ｔ２はその次に取得された第２の画像フレームが示す画像上で認識された自動車である。自動車Ｔ３は、第２の画像フレームの次に取得された第３の画像フレームが示す画像上で認識された自動車であり、自動車Ｔ４は、その次に取得された第４の画像フレームが示す画像上で認識された自動車である。自動車Ｔ１～Ｔ４に対しては、それぞれ、自動車の位置および走行方向に応じて位置および縦横の長さの比率が異なるバウンディングボックスＢ１～Ｂ４が描かれている。バウンディングボックスのｘ軸方向の占有範囲は、画像上で認識された自動車がｘ軸へ投影される範囲であり、バウンディングボックスのｙ軸方向の占有範囲は、画像上で認識された自動車がｙ軸へ投影される範囲である。なお、図３では、説明の便宜上、１フレーム周期で自動車が移動する距離、すなわち、隣接する自動車間の距離が誇張して描かれている。実際の１フレーム周期では、１フレーム周期で自動車が移動する距離は図３に示されている距離よりも短い。

【0026】

（２－３）複数台の自動車を目標物とするトラッキング処理
上記では、１台の自動車を目標物とするトラッキング処理が示されたが、トラッキング処理では、複数台の自動車が目標物とされてよい。複数台の自動車を目標物とする場合には、複数の自動車のそれぞれに対し、１台の自動車を目標物とする処理が実行される。

【0027】

（３）管理画像データの選出およびナンバーの認識
演算器１８は、記憶デバイス２２に記憶されているデータベースに基づいて、撮像器２４から時間経過と共に順次出力された画像フレームから、自動車のナンバープレートが示されている可能性が高いものを管理画像データとして選出する。この処理は、例えば、ナンバープレートである尤度が所定値を超える領域を表す画像フレームを選出することで行われる。演算器１８は、管理画像データに基づいて、ナンバープレートに記載されているナンバーを認識する。

【0028】

（４）入退場判定
（４－１）管理情報の送信
トラッキング処理に基づく自動車の入退場判定について説明する。入退場判定は、自動車が駐車場内の駐車区画に入場したこと、または駐車区画から退場したことを判定する処理である。上記のトラッキング処理において演算器１８は、自動車が最初に認識されたときに、バウンディングボックスの位置を出現位置の座標値として求める。また、演算器１８は、撮像器２４から最後に出力された画像フレームから認識された自動車に対するバウンディングボックスの位置を最新位置（現在位置）の座標値として求める。ここで、バウンディングボックスの位置は、バウンディングボックスの重心の位置または所定の角の位置であってよい。

【0029】

図４には、入退場判定を説明するための撮影視野３０が概念的に示されている。撮影視野３０に対しては、入退場検出範囲４２が定義されている。撮影視野３０の上辺は公道４０に面している。撮影視野３０のうち、公道４０に面した上方の横長の長方形の領域が入退場検出範囲４２である。入退場検出範囲４２と、撮影視野３０内における入退場検出範囲４２でない領域との境界線３８は、ｘ軸方向に延びている。撮影視野３０における入退場検出範囲４２でない領域の左右および下方は自動車が駐車される領域、すなわち駐車区画となっている。撮影視野３０における入退場検出範囲４２でない領域は、駐車区画に対する入退場に際して自動車が通過する領域である。軌跡４４－１および４４－２は、トラッキング処理によって認識された自動車の軌跡を示す。軌跡４４－１は、入退場検出範囲４２外にある出現位置Ｓ１から、入退場検出範囲４２内にある最新位置Ｆ１に至る。軌跡４４－２は、入退場検出範囲４２内にある出現位置Ｓ２から、入退場検出範囲４２外にある最新位置Ｆ２に至る。

【0030】

演算器１８は、出現位置が入退場検出範囲４２内にあり、最新位置が入退場検出範囲４２外にあり、ｘ軸方向の変位量が所定のｘ軸方向変位閾値を超え、さらに、ｙ軸方向の変位量が所定のｙ軸方向変位閾値を超えたときに自動車が駐車区画に入場したとの判定をする。以下の説明では、ｘ軸方向の変位量およびｙ軸方向の変位量を、それぞれ、ｘ軸方向変位量およびｙ軸方向変位量という。

【0031】

また、演算器１８は、出現位置が入退場検出範囲４２外にあり、最新位置が入退場検出範囲４２内にあり、ｘ軸方向変位量が所定のｘ軸方向変位閾値を超え、さらに、ｙ軸方向変位量が所定のｙ軸方向変位閾値を超えたときに自動車が駐車区画から退場したとの判定をする。

【0032】

自動車が駐車区画に入場したとの判定、または自動車が駐車区画から退場したとの判定をする条件には、次の条件が追加されてもよい。すなわち、出現位置が認識された画像フレームが撮像器２４から出力された後、最新の画像フレームが撮像器２４から出力されるまでの間に、撮像器２４から出力された画像フレームの数が、所定数を超えたときという条件が追加されてもよい。

【0033】

なお、上記の判定において、ｘ軸方向変位量が所定のｘ軸方向変位閾値を超え、さらに、ｙ軸方向変位量が所定のｙ軸方向変位閾値を超えたときというｘ／ｙ変位条件は次の条件に置き換えられてもよい、すなわちｘ／ｙ変位条件は、入退場検出範囲４２と、撮影視野３０内における入退場検出範囲４２でない領域との境界線３８に、特定方向で交わる方向への特定方向変位量が、所定の変位閾値を超えたときという条件に置き換えられてもよい。境界線３８に、特定方向で交わる方向は、例えば、境界線３８に直交する方向である。

【0034】

また、ｘ／ｙ変位条件は、出現位置から最新位置に至るまでの自動車の総合変位量が所定の変位閾値を超えたときという条件に置き換えられてもよい。総合変位量は、ｘ軸方向変位量の自乗と、ｙ軸方向変位量の自乗との和の平方根として定義される。

【0035】

また、ｘ／ｙ変位条件は、出現位置が認識された画像フレームが撮像器２４から出力された後、最新の画像フレームが撮像器２４から出力されるまでの間に、撮像器２４から出力された画像フレームの数が、所定数を超えたときという条件に置き換えられてもよい。

【0036】

演算器１８は、さらに、出現位置および最新位置の両者が入退場検出範囲４２内にあるとき、あるいは、出現位置および最新位置の両者が入退場検出範囲４２外にあるときは、自動車が駐車区画に入場しておらず、かつ、駐車区画から退場もしていないと判定する。

【0037】

図４に示されている例では、出現位置Ｓ１が入退場検出範囲４２外にあり、最新位置Ｆ１が入退場検出範囲４２内にある。そして、出現位置Ｓ１から最新位置Ｆ１に至るまでの自動車のｘ軸方向変位量がｘ軸方向変位閾値Δｘを超え、ｙ軸方向変位量がｙ軸方向変位閾値Δｙを超えている。そのため、演算器１８は、軌跡４４－１を描いた自動車が駐車区画から退場したとの判定をする。また、出現位置Ｓ２が入退場検出範囲４２内にあり、最新位置Ｆ２が入退場検出範囲４２外にあり、さらに、出現位置Ｓ２から最新位置Ｆ２に至るまでの自動車のｘ軸方向変位量がｘ軸方向変位閾値Δｘを超え、ｙ軸方向変位量がｙ軸方向変位閾値Δｙを超えている。そのため、演算器１８は、軌跡４４－２を描いた自動車が駐車区画に入場したとの判定をする。

【0038】

このように、本発明の実施形態に係る演算器１８は、次の（ａ）～（ｃ）の処理を実行する。（ａ）画像フレームを時間経過と共に順次取得する処理。（ｂ）時間経過と共に順次取得される画像フレームについて自動車を追跡する処理。（ｃ）各画像フレームによって示される入退場検出範囲４２（第１領域）または入退場検出範囲４２外の領域（第２領域）で自動車が出現し、自動車の最新位置が第２領域または第１領域にある場合に、自動車が出現した出現位置から最新位置に至るまでの自動車の変位評価量に基づいて、第２領域に接する近接領域である駐車区画に自動車が入場した、または、駐車区画から自動車が退場したとの判定をする。

【0039】

ここで、変位評価量は、ｘ軸方向変位量、ｙ軸方向変位量、特定方変位量、総合変位量等、物体の変位の程度を表す量をいう。

【0040】

演算器１８は、自動車が駐車区画に入場したとの判定、または自動車が駐車区画から退場したとの判定をしたときに管理情報を生成し無線器２０に出力する。管理情報は、入場／退場時刻、自動車のナンバーおよび管理画像データを含む情報である。無線器２０は管理情報を基地局１２（図１）に送信する。管理情報を受信した基地局１２は、管理情報に含まれる入場／退場時刻、ナンバー、および管理画像データを対応付けて記憶する。

【0041】

このような処理によれば、出現位置から最新位置までの変位評価量が所定の閾値を超える自動車について、自動車が駐車区画に入場したか、あるいは駐車区画から退場したかが判定される。したがって、自動車に似た物体が少ないフレーム数に亘って誤って自動車として認識され、短い距離を移動している間に誤って自動車として認識されたこと等によって、自動車が入退場したと誤って判定されてしまうことが回避される。

【0042】

また、入退場検出範囲４２と、入退場検出範囲４２の外側の領域との境界上または境界付近に自動車が停止しており、自動車の手前側に他の自動車等の障害物が通過したときには、障害物の通過前後で、認識される自動車の位置がブレてしまうことがある。これによって、障害物の通過前には自動車が入退場検出範囲４２内に認識され、障害物の通過後には自動車が入退場検出範囲４２外に認識されることがある。あるいは、障害物の通過前には自動車が入退場検出範囲４２外に認識され、障害物の通過後には自動車が入退場検出範囲４２内に認識されることがある。

【0043】

この場合、ただ単に、自動車が入退場検出範囲４２からその外側に移動したか、入退場検出範囲４２の外側から入退場検出範囲４２に移動したかのみによって入退場判定をしたのでは、自動車が入退場をしていないのにもかかわらず、入退場をしたとの誤判定がされてしまう。本実施形態では、出現位置から最新位置までの変位評価量が所定の閾値を超えることが、入退場の判定の際の条件になっているため、このような誤判定が回避される。

【0044】

また、従来技術には、自動車が撮影視野から消失したときに自動車が撮影視野から外れたと装置が認識し、自動車の入退場を判定する技術があった。本実施形態に係る入退場判定では、自動車が撮影視野から消失したことを認識する必要はないため、従来技術に比べて入退場の判定が迅速となる。

【0045】

（４－２）停止判定
本実施形態に係る演算器１８は、トラッキング処理を実行しているときに、撮像器２４から順次出力される画像フレームによって、自動車が停止しているか否かを判定する。演算器１８は、所定の判定フレーム数ごとに自動車の総合変位量を求めることで、自動車の速度を求める。すなわち、演算器１８は、最新の画像フレームにおいて認識された自動車の最新位置と、最新の画像フレームに対して判定フレーム数だけ前の画像フレームにおいて認識された自動車の過去位置を求め、過去位置から最新位置までの総合変位量を速度として求める。判定フレーム数は、例えば１フレームであってよい。演算器１８は、判定フレーム数ごとに求められる速度が、過去に遡って所定数Ｎ回（最後に求められた速度を含み、Ｎは１以上の整数である。）に亘って所定の停止閾値以下となったときは、自動車が停止していると判定する。演算器１８は、過去に遡ってＮ回に亘って求められた速度の平均値である移動平均値が、停止閾値以下となったときに自動車が停止していると判定してもよい。

【0046】

（４－３）他車両重なり判定
撮像器２４から順次出力される画像フレームに基づいて、停止していると判定された管理対象車が、ある画像フレームから所定の不在フレーム数に亘って認識されなくなった場合について説明する。この場合、撮影視野３０外に管理対象車が移動した場合と、他の自動車が管理対象車の手前側に出現した場合とが考えられる。他自動車が管理対象車の手前側に出現した場合には、管理対象車が駐車区画に入場、または駐車区画から退場している途中に一時的に停止しているにもかかわらず、管理対象車に対する追跡が終了してしまう可能性がある。

【0047】

そこで、演算器１８は、停止していると判定されていた自動車が、ある画像フレームから所定の不在フレーム数に亘って認識されなくなった場合には、他車両重なり判定を行う。他車両重なり判定では、撮像器２４から見て、管理対象車までの視界を遮る他自動車（以下、オーバーラップ自動車という）が存在するか否かが判定される。演算器１８は、オーバーラップ自動車が存在するときは他自動車が重なっているとの重なり判断をし、オーバーラップ自動車が存在しないときは重なっていないとの重なり無し判断をする。

【0048】

演算器１８は、停止していると判定された自動車が所定の不在フレーム数に亘って認識されなくなり、かつ、重なり無し判断をしたときは、その自動車が撮影視野の外に出た（撮影視野から消失した）と判定する。他方、演算器１８は、停止していると判定された自動車が所定の不在フレーム数に亘って認識されなくなり、かつ、重なり判断をしたときは、その自動車が撮影視野内にあると判定する。演算器１８は、自動車の位置を記憶し、撮像器２４から順次出力される画像フレームに対して引き続き他車両重なり判定を行い、重なり無し判断がされるに至ったときに、管理対象車の追跡を再開する。あるいは、演算器１８は、これまで停止していた管理対象車が移動を開始したときに、管理対象車の追跡を再開する。

【0049】

他車両重なり判定について詳細に説明する。他車両重なり判定では、次の条件（α）および（β）が成立するときに、演算器１８は、オーバーラップ自動車が存在する旨の重なり判断をする。一方、条件（α）および（β）のうち一方または両方の条件が成立しないときは、演算器１８は、オーバーラップ自動車が存在しない旨の重なり無し判断をする。

【0050】

（α）管理対象車に対して求められたバウンディングボックス（管理対象車ボックス）に、他自動車に対して求められたバウンディングボックス（他車ボックス）が重なっていること。（β）管理対象車ボックスが、他車ボックスよりも撮影視野内で縦方向に見て同等の位置、または上方に位置していること。

【0051】

具体的に、演算器１８は、１つまたは複数の他自動車との間に、以下の重なり条件が成立するときは重なり判断をする。ただし、座標値（ｘｍｉｎＡ，ｙｍｉｎＡ）は他自動車のバウンディングボックスの最小座標値であり、座標値（ｘｍａｘＡ，ｙｍａｘＡ）は他自動車の最大座標値である。

【0052】

（ｘｍｉｎＡ≦ｘｍｉｎ≦ｘｍａｘＡ、もしくは、ｘｍｉｎＡ≦ｘｍａｘ≦ｘｍａｘＡ）、かつ、ｙｍｉｎＡ≦ｙｍａｘ≦ｙｍａｘＡ

【0053】

演算器１８は、いずれの他自動車との間にも、重なり条件が成立しないときは重なり無し判断をする。

【0054】

図５には、２つの自動車１６Ａおよび１６Ｂに対してそれぞれ求められたバウンディングボックス４６－１および４６－２が模式的に示されている。バウンディングボックス４６－１およびバウンディングボックス４６－２は一部の領域が重なっており、バウンディングボックス４６－１の方が、バウンディングボックス４６－２よりも撮影視野３０内で上方に位置している。したがって、自動車１６Ａが管理対象車である場合には重なり判断がされる。一方、自動車１６Ｂが管理対象車である場合には重なり無し判断がされる。

【0055】

図６には、停車した管理対象車５０と、他自動車５２が示された撮影視野３０の例が概念的に示されている。この例では、管理対象車５０はセダンであり、他自動車５２はトラックである。図６（ａ）の撮影視野３０において管理対象車５０は、出現位置Ｓ３から軌跡４４－３を描いて現在位置に至り、停車していると判定されているものの、トラッキング処理による追跡が継続されている。図６（ｂ）の撮影視野３０では、停止していると判定された管理対象車５０が認識されなくなっている。これは、他自動車５２が出現位置Ｓ４から軌跡４４－４を描いて左側から侵入し、停車中の管理対象車５０の手前側に重なっているためである。本実施形態に係る処理では、管理対象車５０は消失したとは判定されず、他自動車５２が通過した後、管理対象車５０に対する追跡が再開される。

【0056】

このように、本発明の実施形態に係る演算器１８は、次の（ｉ）～（ｖｉ）の処理を実行する。（ｉ）画像フレームを時間経過と共に順次取得する処理。（ｉｉ）時間経過と共に順次取得される画像フレームについて自動車を追跡する処理。（ｉｉｉ）追跡中の自動車が移動しているか停止しているかを判定する処理。（ｉｖ）追跡中の自動車が停止していると判定されたときに、画像フレームの撮影視野３０内で追跡中の自動車の手前側に他自動車が重なっているかを判定する処理。（ｖ）追跡中の自動車に他自動車が重なっていると判定されたときに、追跡中の自動車の位置を記憶する処理。（ｖｉ）他自動車が重なった状態が解消した後に、引き続き追跡中の自動車を追跡する処理。

【0057】

このような処理によれば、他自動車が管理対象車の手前側に出現した場合に、管理対象車が駐車区画に入場、または駐車区画から退場している途中に一時的に停止しているにもかかわらず、管理対象車に対する追跡が終了してしまうことが回避される。また、他自動車の通過した後に、または、管理対象自動車が再び動き出したときには、同一の管理対象車が引き続き追跡される。

【0058】

また、上述のように、従来技術には、自動車が撮影視野内に出現した後、自動車が撮影視野から消失したときに自動車が撮影視野の外に出たと認識し、自動車の入退場を判定するものがあった。この従来技術では、管理対象車が駐車区画に入場、または駐車区画から退場している途中で一時的に停止しているときに他自動車が管理対象車の手前側に出現したときは、管理対象車が撮影視野の外に出たと認識されてしまう。これによって、管理対象車が駐車区画に入場、または駐車区画から退場したと誤って判定されることがある。本実施形態によれば、一時的に停車している管理対象車の手前側を他自動車が通過したときに、管理対象車が撮影視野の外に出たとされる誤判定が回避される。

【0059】

なお、上記では、自動車を追跡する処理について説明した。本発明は、オートバイ、自転車、人等の他の物体に対して用いられてもよい、すなわち、物体が特定の領域に入退場することがある環境において、物体が特定の領域に入場すること、または特定の領域から退場することを判定する処理に本発明が用いられてよい。

【符号の説明】

【0060】

１ 車両管理システム、１０ 車両管理装置、１２ 基地局、１４ 駐車場、１６，１６Ａ，１６Ｂ 自動車、１８ 演算器、２０ 無線器、２２ 記憶デバイス、２４ 撮像器、３０ 撮影視野、４０ 公道、４２ 入退場検出範囲、４４－１，４４－２，４４－３，４４－４ 軌跡、４６－１，４６－２ バウンディングボックス、５０ 管理対象車、５２ 他自動車。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】