IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ピットデザイン株式会社の特許一覧

特開2024-81293情報処理装置、情報処理方法、情報処理プログラム、情報処理システム
<>
  • 特開-情報処理装置、情報処理方法、情報処理プログラム、情報処理システム 図1
  • 特開-情報処理装置、情報処理方法、情報処理プログラム、情報処理システム 図2
  • 特開-情報処理装置、情報処理方法、情報処理プログラム、情報処理システム 図3
  • 特開-情報処理装置、情報処理方法、情報処理プログラム、情報処理システム 図4
  • 特開-情報処理装置、情報処理方法、情報処理プログラム、情報処理システム 図5
  • 特開-情報処理装置、情報処理方法、情報処理プログラム、情報処理システム 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024081293
(43)【公開日】2024-06-18
(54)【発明の名称】情報処理装置、情報処理方法、情報処理プログラム、情報処理システム
(51)【国際特許分類】
   G07B 15/00 20110101AFI20240611BHJP
   G06V 30/12 20220101ALI20240611BHJP
   G08G 1/04 20060101ALI20240611BHJP
   G08G 1/14 20060101ALI20240611BHJP
【FI】
G07B15/00 510
G07B15/00 N
G06V30/12 C
G08G1/04 C
G08G1/14 A
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022194808
(22)【出願日】2022-12-06
(71)【出願人】
【識別番号】514045038
【氏名又は名称】ピットデザイン株式会社
(74)【代理人】
【識別番号】100158850
【弁理士】
【氏名又は名称】明坂 正博
(72)【発明者】
【氏名】池末 浩規
【テーマコード(参考)】
3E127
5B064
5H181
【Fターム(参考)】
3E127AA18
3E127BA45
3E127BA50
3E127CA14
3E127CA16
3E127CA21
3E127CA37
3E127EA04
3E127EA18
3E127FA20
3E127FA24
5B064AA02
5B064DA10
5B064DA27
5H181AA01
5H181CC02
5H181CC04
5H181DD10
5H181KK01
(57)【要約】
【課題】効果的に車両ナンバーを特定することができる情報処理装置、情報処理方法、情報処理プログラム、情報処理システムを提供すること。
【解決手段】本発明に係る情報処理装置は、2以上の撮像装置から出力される画像データを受信する受信部と、2以上の撮像装置から出力される画像データから車両ナンバーを認識する認識部と、画像データを車両ごとに仕分ける仕分部と、仕分部により仕分けられた車両ごとに、車両ナンバーの認識結果に応じて車両ナンバーを特定する特定部と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
2以上の撮像装置から出力される画像データを受信する受信部と、
前記受信部が受信した前記画像データから車両ナンバーを認識する認識部と、
前記画像データを車両ごとに仕分ける仕分部と、
前記仕分部により仕分けられた車両ごとに、車両ナンバーの認識結果に応じて前記車両ナンバーを特定する特定部と、を備える、
ことを特徴とする情報処理装置。
【請求項2】
前記認識部は、
2以上の認識エンジンを有し、前記2以上の認識エンジンにより画像データから車両ナンバーを認識する、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項3】
前記特定部は、
前記2以上の認識エンジンが認識した車両ナンバーから所定の方式により、前記車両のナンバーを特定する、
ことを特徴とする請求項2に記載の情報処理装置。
【請求項4】
前記2以上の認識エンジンは、
第1の認識エンジンと、第2の認識エンジンとを有し、
前記第2の認識エンジンは、
前記第1の認識エンジンによる前記車両ナンバーの認識精度が所定の閾値未満である場合、前記画像データの車両ナンバーを認識し、
前記認識部は、
前記第2の認識エンジンによる前記車両ナンバーの認識精度が所定の閾値以上である場合、前記第2の認識エンジンによる前記車両ナンバーを採用する、
ことを特徴とする請求項2に記載の情報処理装置。
【請求項5】
前記第2の認識エンジンは、
前記第1の認識エンジンとは異なる学習方式の認識エンジンである、
ことを特徴とする請求項3に記載の情報処理装置。
【請求項6】
前記認識部は、
前記仕分部が前記画像データを車両ごとに仕分ける前、又は前記仕分部が前記画像データを車両ごとに仕分けた後に前記画像データから車両ナンバーを認識する、
ことを特徴とする請求項4又は請求項5に記載の情報処理装置。
【請求項7】
前記認識部は、
前記仕分部での仕分け結果に応じて前記画像データから車両ナンバーを認識する、
ことを特徴とする請求項6に記載の情報処理装置。
【請求項8】
前記仕分部は、
前記撮像装置ごとの前記画像データの撮像順序又は撮像時刻に応じて、前記画像データを車両ごとに仕分ける、
ことを特徴とする請求項1に記載の情報処理装置。
【請求項9】
前記仕分部は、
前記撮像順序又は前記撮像時刻が前後する画像データの類似度に応じて、前記画像データを車両ごとに仕分ける、
ことを特徴とする請求項8に記載の情報処理装置。
【請求項10】
前記仕分部は、
前記認識部が認識した前記撮像順序又は前記撮像時刻が前後する画像データから認識した車両ナンバーの類似度に応じて、前記画像データを車両ごとに仕分ける、
ことを特徴とする請求項8に記載の情報処理装置。
【請求項11】
受信部が、2以上の撮像装置から出力される画像データを受信する工程と、
認識部が、前記受信部が受信した前記画像データから車両ナンバーを認識する工程と、
仕分部が、前記画像データを車両ごとに仕分ける工程と、
特定部が、前記仕分部により仕分けられた車両ごとに、車両ナンバーの認識結果に応じて前記車両ナンバーを特定する工程と、を有する、
ことを特徴とする情報処理方法。
【請求項12】
コンピューターを、
2以上の撮像装置から出力される画像データを受信する受信部、
前記受信部が受信した前記画像データから車両ナンバーを認識する認識部、
前記画像データを車両ごとに仕分ける仕分部、
前記仕分部により仕分けられた車両ごとに、車両ナンバーの認識結果に応じて前記車両ナンバーを特定する特定部、
として機能させることを特徴とする情報処理プログラム。
【請求項13】
車両を含む画像を撮像する2以上の撮像装置と、
前記2以上の撮像装置から出力される画像データを受信する受信部と、
前記受信部が受信した前記画像データから車両ナンバーを認識する認識部と、
前記画像データを車両ごとに仕分ける仕分部と、
前記仕分部により仕分けられた車両ごとに、車両ナンバーの認識結果に応じて前記車両ナンバーを特定する特定部と、を備える、
ことを特徴とする情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、情報処理プログラム、情報処理システムに関する。
【背景技術】
【0002】
駐車場や施設の利用時などに車両を撮像し、この撮像した車両の画像から車両ナンバーを読み取り、この読み取った車両ナンバーを駐車料金の精算などの管理に利用することが行われている。例えば、特許文献1に開示される駐車場管理システムでは、駐車場管制装置は、駐車場に入場する入場車両の画像を撮影し、駐車場管理装置は、駐車場管制装置によって撮像された入場車両の画像に対し、入場日時を基準として並べられた選択用画像を生成し、駐車場の利用者による車両の選択状況を選択用画像に反映させ、利用者が操作可能な形態端末に送信することが行われている。
特許文献1に開示される駐車場管理システムでは、上記処理により、駐車場を利用する利用者の利便性を向上させることが可能としている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2022-095742号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、撮像した画像の画質は、カメラの位置や性能、天候等により左右され、常に均一である保証はなく、車両ナンバーをいかに精度よく特定できるかが課題となっている。
【0005】
本発明は、上記課題を鑑みてなされたものであり、効果的に車両ナンバーを特定できる情報処理装置、情報処理方法、情報処理プログラム、情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決すべく、本発明に係る駐車場装置は、2以上の撮像装置から出力される画像データを受信する受信部と、2以上の撮像装置から出力される画像データから車両ナンバーを認識する認識部と、画像データを車両ごとに仕分ける仕分部と、仕分部により仕分けられた車両ごとに、車両ナンバーの認識結果に応じて車両ナンバーを特定する特定部と、を備える。
【発明の効果】
【0007】
本発明によれば、効果的に車両ナンバーを特定することができる。
【図面の簡単な説明】
【0008】
図1】実施形態に係る管理システムの配置の一例を示す図である。
図2】実施形態に係る管理システムの構成の一例を示す図である。
図3】実施形態に係る管理システムによる処理の一例を示すフローチャートである。
図4】実施形態に係る管理システムによる処理の一例を示すフローチャートである。
図5】実施形態に係る管理システムによる処理の一例を示すフローチャートである。
図6】実施形態に係る管理システムによる処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
[実施形態]
以下、図面を参照して本発明の実施形態を説明する。
初めに、実施形態に係る管理システム1の配置について説明する。図1は、実施形態に係る管理システム1の配置の一例を示す図である。
【0010】
(駐車場10)
駐車場10には、車両の入出場口14の近傍に車両の検知手段12、車両を撮像する撮像装置20A及び撮像装置20Bが設けられる。駐車場10に入出場する車両を撮像するための撮像装置が2以上設けられる。図1に示す例では、撮像装置20A及び撮像装置20Bが車両の入出場口14の近傍に設けられているが、車両を撮像する撮像装置は2以上であればよく、また設置場所も図1に示す例に限られない。また、入出場口14の近傍には、車両の検知手段12が設けられている。
【0011】
実施形態では、駐車場10は、車線で区分けされた2以上(実施形態では4つ)の車室11A~11Dを有する。各車室11A~11Dには、車止め13が設置されている(車止め13は必須ではない)。駐車場10には、駐車場への入出場を管理するためのゲートは設けられておらず、個々の駐車スペースにループコイル等の検知手段や車両ロック装置は配置されていないので、利用者は、入場口より入場して空いている車室11A~11Dを自由に選択して駐車することができる。さらに、駐車場10には、車室11A~11D以外の場所に精算機30が設置されている。
【0012】
なお、図1に示す管理システム1の配置は一例であり、駐車場10への入出場を管理するためのゲートは設けてもよいし、個々の駐車スペースにループコイル等の検知手段や車両ロック装置を配置してもよい。
また、図1に示す例では、車室が4つであるが、車室の数はいくつであってもよい。また、図1に示す例では、車両の入場口と出場口とが同じ入出場口14となっているが、車両の入場口と出場口が別に設けられていてもよい。この場合、車両の入場口近傍に車両の検知手段12、車両を撮像する撮像装置20A及び撮像装置20Bが設けられる。
また、実施形態では、車室11A~11Dに四輪自動車を駐車することを前提として説明するが、車両は、バイクなどナンバープレートが付いている車両であればよい。
【0013】
図2は、本実施形態に係る管理システム1を説明するためのブロック図である。図2に示すように、実施形態に係る管理システム1では、検知手段12、撮像装置20A及び撮像装置20Bが精算機30に接続されている。また、精算機30は、サーバ40に接続されている。
なお、実施形態では、撮像装置20A及び撮像装置20Bで撮像された画像(静止画)を、精算機30を介してサーバ40(図2参照)へ送信するが、撮像装置20A及び撮像装置20Bで撮像された画像を、精算機30を介さずにサーバ40へ送信する構成としてもよい。
また、検知手段12、撮像装置20A、撮像装置20B及び精算機30間の通信は、無線又は有線のどちらであってもよい。また、精算機30と、サーバ40との通信は、無線又は有線のどちらであってもよい。
【0014】
(検知手段12)
検知手段12は、駐車場10への車両の入場及び出場を検知するものであり、地面に埋設されたループコイルによる磁気的変化により車両を検知する方式のもの、或いは赤外線等により車両を検知する方式のもの等、各種車両検知センサを用いることができ、カメラの撮像画像による車両の入出場検知でもよい。駐車場10の入出場口14が2以上ある場合には、検知手段12は、それぞれの入出場口14に設けられる。検知手段12は、駐車場への入場か出場かの判別が可能に設けられ、例えば、駐車場外側と駐車場内側に一対の検知手段12を設け、検知順序によって入場か出場かの判別を行う。また、カメラの撮像画像による検知の場合にも同様に、駐車場外側エリアと駐車場内側エリアを設定し、これらのエリアに対する車両の通過順序によって入場か出場かの判別を行うようにすればよい。検知手段12は、駐車場10へ入場又は出場する車両を検知した場合、撮像装置20A、撮像装置20B及び精算機30に車両の入場又は出場を知らせる入場信号又は出場信号を送信する。なお、カメラの撮像画像による検知を行う場合、撮像装置20A及び撮像装置20Bを検知手段12としても利用してもよい。
【0015】
(撮像装置20A及び撮像装置20B)
撮像装置20A及び撮像装置20Bは、駐車場10に入場する車両(車両ナンバーを含む。以下同じ。)を撮像可能な位置に配置され、検知手段12から入場信号を受信すると駐車場10に入場する車両をそれぞれ1枚以上撮像する。つまり、本実施形態の管理システム1は、同一車両に対して撮像装置20A及び撮像装置20Bがそれぞれ1枚以上の画像を撮像する。撮像した車両の画像には、撮像時刻及び撮像装置の識別番号(以下、カメラID)が付与されて精算機30に送信される。なお、撮像時刻及びカメラIDを画像のファイル名として付与する形式としてもよい。
また、撮像装置20A及び撮像装置20Bは、検知手段12から入場信号を受信すると所定時間、例えば0.5秒ごとに静止画撮影を行い、あるいは所定のフレームレート、例えば秒間5フレームで動画撮影を行い、撮像した画像を送信するようにしてもよい。駐車場の入出場口14が2以上ある場合には、検知手段12と同様に、それぞれの入出場口14に撮像装置20A及び撮像装置20Bが設けられる。
なお、撮像装置は2以上であればよく、本実施形態のように2つに限られない。また、撮像装置20A及び撮像装置20Bは、駐車場10に入場する車両を撮像可能であれば、必ずしも駐車場10内に配置されていなくともよい。実施形態で用いられる撮像装置20A及び撮像装置20Bは、動画撮影のデジタルビデオカメラでもあっても、静止画撮影のためのデジタルカメラであってもよく、例えば、CCDカメラ、CMOSカメラなどが用いられ、有線又は無線により精算機30に接続され撮影画像が送信される。
【0016】
(精算機30)
精算機30は、駐車料金の精算及び駐車場の車両の入出場管理を行う。精算機30は、駐車場10の利用状況に応じて駐車料金を精算する。図2に示すように、精算機30は、受信部301、計測部302、計測パネル部303、精算部304、記憶装置305、送信部306を備える。
【0017】
受信部301は、検知手段12から送信される入場信号及び出場信号を受信する。また、受信部301は、撮像装置20A及び撮像装置20Bから送信される画像、撮像時刻、カメラIDなどを受信する。また、受信部301は、サーバ40から送信される車両ナンバーを受信する。
【0018】
計測部302は、車両の駐車時間を計測する。ここで、計測部302は、撮像装置20A及び撮像装置20Bで撮像された画像を後述のサーバ40で読取った結果(複数)を仕分け比較した結果から生成された記録を元に車両の駐車時間を算出・登録する。
【0019】
計測パネル部303は、ユーザが入力するための操作部と車両の画像や精算料金などを表示する表示部とが一体となったタッチパネルタイプであり、ユーザは、計測パネル部303を操作して車両ナンバーなどの情報を入力し、駐車料金を精算することができる。
【0020】
精算部304は、駐車場ユーザが駐車料金を精算するためのものであり、計測部302が計測した駐車時間に基づいて、駐車料金の精算を行う。精算部304は、ユーザが支払う駐車料金の入金処理、釣銭の出金処理するための入出金処理装置やプリペイカード、携帯電話などのキャッシュレス決済を行うための電子決済装置などを備えている。精算部304は、計測部302が計測した駐車時間、記憶装置305に記録された車両分類別料金単価及び未精算実績に基づいて駐車料金を計算する。
【0021】
記憶装置305には、サーバ40から送信される車両ナンバーと撮像装置20A及び撮像装置20Bが撮像した車両の画像と計測部302が決定した入庫時刻とが関連付けて記録される。また、記憶装置305には、駐車場の利用履歴、優遇管理車両が記載されたホワイトリスト情報、要注意車両が記載されたブラックリスト情報等の、駐車場管理のための駐車車両情報などが記録される。利用履歴には、車両ナンバー、入場時刻、車両の画像、精算時刻、出場時刻、駐車時間などの情報が含まれる。その他、記憶装置305には、従業員車両、納入業者車両等の無料駐車車両及び盗難車両、手配車両等の要注意車両等の車両分類の他、駐車場利用精算実績や未精算実績、サービスポイント等の利用客への優遇情報などが記憶されていてもよい。
【0022】
送信部306は、撮像装置20A及び撮像装置20Bが撮像した画像、撮像時刻、カメラID、利用履歴などの情報をサーバ40に送信する。なお、送信部306は、撮像装置20A及び撮像装置20Bが撮像した画像、撮像時刻、カメラIDなどの情報を逐次サーバ40へ送信することが好ましい。
【0023】
上述したように、実施形態では、撮像装置20A及び撮像装置20Bで撮像された画像をもとに駐車場10への車両駐車時間を算出し、駐車料金の精算を行う構成となっているが、例えば、車両の入場時に入場時刻の情報が付与された駐車券をユーザへ発行し、車両の出場時に駐車券を精算機30に読み取らせると、駐車券に付与された入場時刻と、駐車券を読み取った時刻を出場時刻として、車両の駐車時間を計測し、駐車料金の精算を行う構成としてもよい。
また、各車室に車両が駐車されたか否かを検出する検出手段を備え、車両の検出信号に基づいて入場時刻を決定し、当該入場時刻を開始時刻として駐車時間の計測を開始し、駐車料金の精算信号を受けた場合、該当車両の駐車時間の計測を終了する構成としてもよい。この場合、ユーザは、車両を駐車した車室番号を入力して駐車料金を精算する。この方式の場合、検知手段12は不要となる。また、駐車料金の精算を行うことができれば、他の方式であってもよい。
【0024】
(サーバ40)
サーバ40は、受信部401、送信部402、記憶装置403、記憶制御部404、認識部405、仕分部406、特定部407を備える。
【0025】
受信部401は、例えば、精算機30から送信される撮像装置20A及び撮像装置20Bが撮像した画像、カメラID、撮像時刻、利用履歴などの情報を受信する。
【0026】
送信部402は、例えば、精算機30へ特定した車両ナンバーを送信する。
【0027】
記憶装置403には、記憶装置403には、ユーザのアカウント情報が記憶されている。具体的には、アカウントごとに、ユーザのアカウントID、パスワード、車両ナンバー、ユーザの個人情報(例えば、氏名、連絡先など)、所持するユーザ端末の情報などが対応付けて記憶されている。また、記憶装置403には、撮像装置20A及び撮像装置20BのカメラIDと、撮像装置20A及び撮像装置20Bが設けられている駐車場10の識別番号(以下、駐車場ID)が対応付けて記憶されている。
【0028】
また、記憶装置403には、受信部301が受信した情報、例えば、入場時刻、車両の画像、精算時刻、出場時刻、駐車時間などの情報が記憶される。また、記憶装置403には、特定部407が特定した車両ナンバーが記憶される。また、記憶装置403には、その他、車両分類別の料金単価、駐車場利用精算実績、未精算実績などの情報を記憶してもよい。なお、記憶装置403に記憶された各種情報の一部又は全部は、USB(Universal Serial Bus)メモリや外付けHDDなどの外部記憶装置やネットワークを介して接続された他の情報処理装置の記憶装置に記憶されてもよい。
【0029】
記憶制御部404は、記憶装置403への情報の書き込みや読み出しを制御する。
【0030】
認識部405は、受信部401が受信した2以上の撮像装置20A及び撮像装置20Bから送信された画像から車両ナンバーを認識する。ここで、認識部405は、2以上の認識エンジンを有し、この2以上の認識エンジンにより画像から車両ナンバーを認識する。
認識部405は、例えば、2以上の認識エンジンとして、第1の認識エンジンと及び第2の認識エンジンとを有する。例えば、第2の認識エンジンは、第1の認識エンジンとは異なる深層学習構造を持つ、あるいは補完的な性質を持つ認識エンジンとしてもよい。なお、認識部405は、2以上の認識エンジンを有していればよく、2以上であれば認識部405がいくつの認識エンジンを有するかは任意である。
認識部405は、例えば、撮像装置20A及び撮像装置20Bから送信された画像にナンバープレートが存在するか否かを検知し、ナンバープレートの存在が検知された場合、該ナンバープレートに記載された車両ナンバーを認識する。認識部405は、先にナンバープレートの検知をせず、画像から文字や数字を認識して、ナンバーに相当するものを探すなど、他の認識ロジックにより車両ナンバーを認識するものでもよい。
なお、実施形態において、車両ナンバーが認識できない場合とは、例えば、車両が写っておらずナンバープレートを検知できずに車両ナンバーが認識できない場合、及びナンバープレートを検知したが車両ナンバー自体が認識できない場合、さらにはナンバープレートの要素に含まれるような数字や文字の認識ができない場合などが含まれる。
【0031】
仕分部406は、受信部401が受信した画像を車両ごとに仕分ける。仕分部406による画像の仕分けには種々の手法を用いることができる。例えば、本実施形態では、仕分部406は、認識部405が認識した撮像順序又は撮像時刻が前後する画像から認識した車両ナンバーの類似度に応じて画像を車両ごとに仕分ける。例えば、仕分部406は、車両ナンバーの類似度が所定の閾値以上である車両は同じ車両であるとし、車両ナンバーの類似度が所定の閾値未満であれば同じ車両でないとして画像を車両ごとに仕分ける。
なお、仕分部406は、撮像装置20A及び撮像装置20Bごとの画像の撮像順序又は撮像時刻に応じて、画像を車両ごとに仕分けるようにしてもよい。また、仕分部406は、撮像順序又は撮像時刻が前後する画像の類似度に応じて画像を車両ごとに仕分けるようにしてもよい。類似度に応じて仕分ける場合、ソートした撮像順序又は撮像時刻が前後する画像の類似度が所定の閾値以上であれば前後の画像に写った車両は同じ車両であるとし、ソートした撮像順序又は撮像時刻が前後する画像の類似度が所定の閾値未満であれば前後の画像に写った車両は同じ車両でないとして画像を車両ごとに仕分けてもよい。
また、上述した仕分けの方法を組み合わせてもよい。なお、仕分けの閾値については設定が可能なしくみとし、同一の車が複数登録されるリスクと、異なる車が同一の車として登録されるリスクを実際の運営の結果からフィードバックして調整できるようにしてもよい。
【0032】
特定部407は、仕分部406により仕分けられた車両ごとに、車両ナンバーの認識結果に応じて車両ナンバーを特定する。特定部407は、2以上の認識エンジンが認識した車両ナンバーから所定の方式により(例えば、撮影したナンバープレートのピクセル数(撮影距離や位置)、認識スコア(認識精度が高いと高スコア、低いと低スコアとなる)などに基づいて)、車両のナンバーを特定する。
例えば、特定部407は、2以上の撮像装置で撮影された2以上の画像のうちナンバープレートのピクセル数が最も多いものを特定した車両のナンバーとしてもよいし、2以上の撮像装置で撮影された2以上の画像から認識された車両のナンバーから最も認識スコアが高いものを特定した車両のナンバーとしてもよい。なお、認識スコアの算出については既知のものを利用することができる。
【0033】
(情報処理)
図3から図6は、管理システム1の処理の一例を示すフローチャートである。以下、図3から図6を参照して、管理システム1の処理について説明する。
【0034】
(メイン処理)
図3は、管理システム1のメイン処理の一例を示すフローチャートである。以下、図3を参照して、管理システム1のメイン処理の一例について説明する。
【0035】
(ステップS101)
サーバ40は、車両ナンバー認識処理を実行する。
【0036】
(ステップS102)
サーバ40は、仕分処理を実行する。
【0037】
(ステップS103)
サーバ40は、車両ナンバー特定処理を実行する。
【0038】
以下、図3の各ステップS101からS103の処理の詳細について図4から図6を参照して説明する。
【0039】
(車両ナンバー認識処理)
図4は、管理システム1の車両ナンバー認識処理の一例を示すフローチャートである。以下、図4を参照して、管理システム1の車両ナンバー認識処理の一例について説明する。
【0040】
(ステップS201)
サーバ40の認識部405は、サーバ40の受信部401が受信し、記憶装置403に記憶された撮像装置20A及び撮像装置20Bが撮像した画像を読み出す。
【0041】
(ステップS202)
サーバ40の認識部405は、読み出した画像からナンバープレートを検知できるか否かを判定する。ナンバープレートを検知した場合(YES)、サーバ40は、ステップS203の処理を実行する。ナンバープレートを検知できなかった場合(NO)、サーバ40は、該画像を破棄し、ステップS201の処理に戻り、次に受信した画像の車両ナンバーが検知できるか否かを判定する。
【0042】
(ステップS203)
サーバ40の認識部405は、画像から車両ナンバーを認識する。なお、認識部405による車両ナンバーの認識は既に説明したので重複する説明を省略する。
【0043】
なお、認識部405は、ステップS202の判定処理(ナンバープレートの検知判定)を行わずに読み出した画像から車両ナンバーを認識してもよい。
【0044】
(仕分処理)
図5は、管理システム1の仕分処理の一例を示すフローチャートである。以下、図5を参照して、管理システム1の仕分処理の一例について説明する。
【0045】
(ステップS301)
サーバ40の仕分部406は、認識部405が車両ナンバーを認識した画像を撮像順序又は撮像時刻にソートする。なお、上述したように撮像装置20A及び撮像装置20Bごとの画像の撮像順序又は撮像時刻にソートしてもよい。
【0046】
(ステップS302)
サーバ40の仕分部406は、ソートした撮像順序又は撮像時刻が前後する画像の車両ナンバーの類似度を算出する。
【0047】
(ステップS303)
サーバ40の仕分部406は、算出した車両ナンバーの類似度に応じて画像を車両ごとに仕分ける。例えば、ソートした撮像順序又は撮像時刻が前後する画像の車両ナンバーの類似度が所定の閾値以上であれば前後の画像に写った車両は同じ車両であるとし、ソートした撮像順序又は撮像時刻が前後する画像の車両ナンバーの類似度が所定の閾値未満であれば前後の画像に写った車両は同じ車両でないとして画像を車両ごとに仕分ける(グループ化する)。なお、仕分けの閾値については設定が可能なしくみとし、同一の車が複数登録されるリスクと、異なる車が同一の車として登録されるリスクを実際の運営の結果からフィードバックして調整できるようにしてもよい。
【0048】
(車両ナンバー特定処理)
図6は、管理システム1の車両ナンバー特定処理の一例を示すフローチャートである。以下、図6を参照して、管理システム1の車両ナンバー特定処理の一例について説明する。
【0049】
(ステップS401)
サーバ40の特定部407は、仕分部406により仕分けられた(グループ化した)画像ごとに、車両ナンバーの認識結果に応じて車両ナンバーを特定する。なお、特定部407による車両ナンバーの特定は既に説明したので重複する説明を省略する。
【0050】
(ステップS402)
サーバ40の送信部402は、特定部407が特定した車両ナンバーを精算機30へ送信する。また、サーバ40の記憶制御部404は、特定した車両ナンバーに基づいて、画像、撮像時刻、カメラIDをユーザのアカウントIDに関連付けて記憶装置403に記憶させる。
【0051】
以上のように、実施形態に係る管理システム1のサーバ40は、2以上の撮像装置20A及び撮像装置20Bから出力される画像を受信する受信部401と、受信部401が受信した2以上の撮像装置20A及び撮像装置20Bから出力される画像から車両ナンバーを認識する認識部405と、画像を車両ごとに仕分ける仕分部406と、仕分部406により仕分けられた車両ごとに、車両ナンバーの認識結果に応じて車両ナンバーを特定する特定部407と、を備える。
このように、2以上(複数)の撮像装置20A及び撮像装置20Bがそれぞれ撮像する2以上の画像に基づいて車両ナンバーを特定するので車両ナンバーを特定する精度の向上が期待できる。
【0052】
また、サーバ40の認識部405は、2以上の認識エンジンを有し、2以上の認識エンジンにより画像から車両ナンバーを認識する。
このように、2以上の認識エンジンに基づいて車両ナンバーを認識するので車両ナンバーを認識する精度の向上が期待できる。
【0053】
また、サーバ40の特定部407は、2以上の認識エンジンが認識した車両ナンバーから所定の方式、例えば、2以上の撮像装置で撮影された2以上の画像のうちナンバープレートのピクセル数が最も多いものを特定した車両のナンバーとしてもよいし、2以上の撮像装置で撮影された2以上の画像から認識された車両のナンバーから最も認識スコアが高いものを特定した車両のナンバーとしてもよい。
このように、種々の方式で車両ナンバーを特定することで車両ナンバー特定の精度の向上が期待できる。
【0054】
なお、第2の認識エンジンは、第1の認識エンジンとは異なる深層学習構造を持つ、あるいは補完的な性質を持つ認識エンジンであってもよい。
このように、第2の認識エンジンを、第1の認識エンジンとは異なる深層学習構造を持つ、あるいは補完的な性質を持つ認識エンジンとすることで車両ナンバーの認識精度が向上することが期待できる。
【0055】
また、認識部405は、仕分部406が画像を車両ごとに仕分ける前に画像から車両ナンバーを認識する。
このように、認識部405による車両ナンバーの認識は、仕分部406による画像の仕分け前に行うことで、車両ナンバーを認識できない画像については仕分を行う必要がなくなるので処理の省力化が期待できる。
【0056】
また、サーバ40の、認識部405は、仕分部406での仕分け結果に応じて画像から車両ナンバーを認識する。
このように同一車両の仕分け後に車両ナンバーを認識することで車両ナンバーの認識精度が向上することが期待できる。
【0057】
また、サーバ40の仕分部406は、撮像装置ごとの画像の撮像順序又は撮像時刻に応じて、画像を車両ごとに仕分けてもよい。
このように画像の撮像順序又は撮像時刻に応じて、画像を車両ごとに仕分けることで画像の前後関係から容易に画像を仕分けることができる。
【0058】
また、サーバ40の仕分部406は、撮像順序又は撮像時刻が前後する画像の類似度に応じて画像を車両ごとに仕分けてもよい。
このように画像の類似度に応じて画像を仕分けることで画像を車両ごとに仕分ける仕分けの精度が向上することが期待できる。
【0059】
また、サーバ40の仕分部406は、認識部405が認識した撮像順序又は撮像時刻が前後する画像から認識した車両ナンバーの類似度に応じて、画像を車両ごとに仕分けてもよい。
このように、車両ナンバーの類似度に応じて画像を仕分けることで画像を車両ごとに仕分ける仕分けの精度が向上することが期待できる。
【0060】
[実施形態の変形例]
上記実施形態において、第2の認識エンジンは、第1の認識エンジンによる車両ナンバーの認識精度が所定の閾値未満である場合に画像の車両ナンバーを認識する構成としてもよい。この場合、認識部405は、第2の認識エンジンによる車両ナンバーの認識精度が所定の閾値以上である場合、第2の認識エンジンが認識した車両ナンバーを採用する。
このように、複数の認識エンジンを有し、第1の認識エンジンでの認識精度が所定の閾値未満である場合に、第1の認識エンジンとは異なる第2の認識エンジン(例えば、深層学習構造を持つ、あるいは補完的な性質を持つ認識エンジン)で車両ナンバーを認識し、この第2の認識エンジンでの認識精度が所定の閾値以上である場合に第2の認識エンジンが認識した車両ナンバーを採用するので車両ナンバーの認識精度が向上することが期待できる。
【0061】
また、上記実施形態では、認識部405が画像から車両ナンバーを認識した後に仕分部406による仕分を行っているが、仕分部406が画像を仕分けた後に認識部405が画像から車両ナンバーを認識する構成としてもよい。この場合、例えば、仕分部406は、撮像順序又は撮像時刻が前後する画像の類似度に応じて画像を車両ごとに仕分けるようにしてもよい。
【0062】
また、上記実施形態では、サーバ40が認識部405、仕分部406及び特定部407を備え、サーバ40で車両ナンバーを特定しているが、精算機30が認識部405、仕分部406及び特定部407を備え、精算機30が車両ナンバーを特定する構成としてもよい。また、サーバ40が備える認識部405、仕分部406及び特定部407の少なくとも1以上を、精算機30が備えるようにしてもよい。例えば、精算機30が認識部405を備え、サーバ40が仕分部406及び特定部407を備えるようにしてもよい。また、例えば、精算機30が認識部405及び仕分部406を備え、サーバ40が特定部407を備えるようにしてもよい。
また、精算機30及びサーバ40が認識部405、仕分部406及び特定部407を各々備え、精算機30及びサーバ40が車両ナンバーを各々特定する構成としてもよい。
また、精算機30及びサーバ40が精算機30及びサーバ40が認識部405、仕分部406及び特定部407を各々備える構成において、通信障害等によりサーバ40との通信ができない場合に、精算機30で車両ナンバーを特定する構成としてもよい。
【0063】
その他、上記実施形態及び変形例は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0064】
1 :管理システム
10 :駐車場
11A :車室
11B :車室
11C :車室
11D :車室
12 :検知手段
13 :車止め
14 :入出場口
20A :撮像装置
20B :撮像装置
30 :精算機
40 :サーバ
301 :受信部
302 :計測部
303 :計測パネル部
304 :精算部
305 :記憶装置
306 :送信部
401 :受信部
402 :送信部
403 :記憶装置
404 :記憶制御部
405 :認識部
406 :仕分部
407 :特定部
図1
図2
図3
図4
図5
図6