知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024136848
(43)【公開日】2024-10-04
(54)【発明の名称】車両認識装置、車両認識方法及び車両認識プログラム
(51)【国際特許分類】
G08G 1/017 20060101AFI20240927BHJP
G06T 7/00 20170101ALI20240927BHJP
H04N 7/18 20060101ALI20240927BHJP
【ＦＩ】
G08G1/017
G06T7/00 650B
H04N7/18 J
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023048132
(22)【出願日】2023-03-24
(71)【出願人】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110002491
【氏名又は名称】弁理士法人クロスボーダー特許事務所
(72)【発明者】
【氏名】白金 直徒
【テーマコード（参考）】
5C054
5H181
5L096
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054FC12
5C054FC15
5C054HA30
5H181AA01
5H181BB04
5H181BB19
5H181CC04
5H181DD10
5H181EE07
5L096AA02
5L096AA06
5L096BA04
5L096CA02
5L096DA02
5L096FA44
5L096FA52
5L096FA59
5L096FA69
5L096GA40
5L096HA11
5L096JA03
5L096JA09
5L096JA11
5L096KA04
(57)【要約】
【課題】処理能力を抑えたコンピュータでも、乗車人数といった車両の情報を検出可能にする。
【解決手段】ナンバー検出部１１１は、カメラ４０によって車両を撮影して得られた複数の画像データのうちいずれかの画像データから、車両のナンバープレートを検出する。対象検出部１１２は、複数の画像データのうちのナンバー検出部１１１がナンバープレートを検出した画像データを処理画像として抽出する。対象検出部１１２は、処理画像から車両に表示された標章と車両の乗車者との少なくともいずれかの対象物を検出する。
【選択図】図２
【解決手段】ナンバー検出部１１１は、カメラ４０によって車両を撮影して得られた複数の画像データのうちいずれかの画像データから、車両のナンバープレートを検出する。対象検出部１１２は、複数の画像データのうちのナンバー検出部１１１がナンバープレートを検出した画像データを処理画像として抽出する。対象検出部１１２は、処理画像から車両に表示された標章と車両の乗車者との少なくともいずれかの対象物を検出する。
【選択図】図２
【特許請求の範囲】
【請求項1】
カメラによって車両を撮影して得られた複数の画像データのうちいずれかの画像データから、前記車両のナンバープレートを検出するナンバー検出部と、
前記複数の画像データのうちの前記ナンバー検出部が前記ナンバープレートを検出した画像データを処理画像として抽出して、前記処理画像から前記車両に表示された標章と前記車両の乗車者との少なくともいずれかの対象物を検出する対象検出部と
を備える車両認識装置。
前記複数の画像データのうちの前記ナンバー検出部が前記ナンバープレートを検出した画像データを処理画像として抽出して、前記処理画像から前記車両に表示された標章と前記車両の乗車者との少なくともいずれかの対象物を検出する対象検出部と
を備える車両認識装置。
【請求項2】
前記対象検出部は、前記ナンバー検出部によって前記処理画像から前記ナンバープレートが検出された位置に基づき、前記処理画像における前記対象物の検出範囲を絞り込み、絞り込まれた前記検出範囲から前記対象物を検出する
請求項１に記載の車両認識装置。
請求項１に記載の車両認識装置。
【請求項3】
前記車両認識装置は、さらに、
前記処理画像から、前記車両の車名を特定する車両特定部
を備え、
前記対象検出部は、前記車両特定部によって特定された前記車名から特定される前記車両の形状に基づき、検出された前記対象物の妥当性を判定する
請求項１に記載の車両認識装置。
前記処理画像から、前記車両の車名を特定する車両特定部
を備え、
前記対象検出部は、前記車両特定部によって特定された前記車名から特定される前記車両の形状に基づき、検出された前記対象物の妥当性を判定する
請求項１に記載の車両認識装置。
【請求項4】
前記車両認識装置は、さらに、
前記ナンバー検出部によって検出された前記ナンバープレートから、前記車両の情報である車両情報を特定する車両特定部と、
前記車両特定部によって特定された前記車両情報と、前記対象検出部によって検出された前記対象物の情報である対象情報とを対応付けて記憶装置に書き込む情報管理部と
を備える請求項１に記載の車両認識装置。
前記ナンバー検出部によって検出された前記ナンバープレートから、前記車両の情報である車両情報を特定する車両特定部と、
前記車両特定部によって特定された前記車両情報と、前記対象検出部によって検出された前記対象物の情報である対象情報とを対応付けて記憶装置に書き込む情報管理部と
を備える請求項１に記載の車両認識装置。
【請求項5】
コンピュータが、カメラによって車両を撮影して得られた複数の画像データのうちいずれかの画像データから、前記車両のナンバープレートを検出し、
コンピュータが、前記複数の画像データのうちの前記ナンバープレートを検出した画像データを処理画像として抽出して、前記処理画像から前記車両に表示された標章と前記車両の乗車者との少なくともいずれかの対象物を検出する車両認識方法。
コンピュータが、前記複数の画像データのうちの前記ナンバープレートを検出した画像データを処理画像として抽出して、前記処理画像から前記車両に表示された標章と前記車両の乗車者との少なくともいずれかの対象物を検出する車両認識方法。
【請求項6】
カメラによって車両を撮影して得られた複数の画像データのうちいずれかの画像データから、前記車両のナンバープレートを検出するナンバー検出処理と、
前記複数の画像データのうちの前記ナンバー検出処理で前記ナンバープレートを検出した画像データを処理画像として抽出して、前記処理画像から前記車両に表示された標章と前記車両の乗車者との少なくともいずれかの対象物を検出する対象検出処理と
を行う車両認識装置としてコンピュータを機能させる車両認識プログラム。
前記複数の画像データのうちの前記ナンバー検出処理で前記ナンバープレートを検出した画像データを処理画像として抽出して、前記処理画像から前記車両に表示された標章と前記車両の乗車者との少なくともいずれかの対象物を検出する対象検出処理と
を行う車両認識装置としてコンピュータを機能させる車両認識プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、走行する車両の情報を収集する技術に関する。
【背景技術】
【0002】
走行する車両を撮影した映像データから、車両の乗車人数等の情報を特定する技術がある。特許文献１には、顔の検出技術を用いて搭乗者の顔を検出することで、車両の乗車人数を特定することが記載されている。
この技術により、乗車人数に応じて通行料金を割引すること、乗車人数に応じて通行可否を判断すること等が可能になる。
この技術により、乗車人数に応じて通行料金を割引すること、乗車人数に応じて通行可否を判断すること等が可能になる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１７／１５８６４７号
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に記載された方法では、車両が高速で移動する場合には、車両が写った多くのフレームの画像データに対して処理を行うことになり、処理能力の高い装置が必要となる。
本開示は、処理能力を抑えたコンピュータでも、乗車人数といった車両の情報を検出可能にすることを目的とする。
本開示は、処理能力を抑えたコンピュータでも、乗車人数といった車両の情報を検出可能にすることを目的とする。
【課題を解決するための手段】
【0005】
本開示に係る車両認識装置は、
カメラによって車両を撮影して得られた複数の画像データのうちいずれかの画像データから、前記車両のナンバープレートを検出するナンバー検出部と、
複数の画像データのうちの前記ナンバー検出部が前記ナンバープレートを検出した画像データを処理画像として抽出して、前記処理画像から前記車両に表示された標章と前記車両の乗車者との少なくともいずれかの対象物を検出する対象検出部と
を備える。
カメラによって車両を撮影して得られた複数の画像データのうちいずれかの画像データから、前記車両のナンバープレートを検出するナンバー検出部と、
複数の画像データのうちの前記ナンバー検出部が前記ナンバープレートを検出した画像データを処理画像として抽出して、前記処理画像から前記車両に表示された標章と前記車両の乗車者との少なくともいずれかの対象物を検出する対象検出部と
を備える。
【発明の効果】
【0006】
本開示では、ナンバープレートが検出された画像データを処理画像として抽出して、処理画像から対象物を検出する。これにより、不要に多くのフレームの画像データに対して対象物を検出する処理を行う必要がなくなる。その結果、処理能力を抑えたコンピュータでも、乗車人数といった車両の情報を検出可能になる。
【図面の簡単な説明】
【0007】
【図1】実施の形態１に係る車両認識システム１００の構成図。
【図2】実施の形態１に係る車両認識装置１０の構成図。
【図3】実施の形態１に係る中央装置２０の構成図。
【図4】実施の形態１に係る車両認識処理のフローチャート。
【図5】実施の形態１に係る車両データベース２３１の説明図。
【図6】実施の形態１に係る検索処理のフローチャート。
【発明を実施するための形態】
【0008】
実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る車両認識システム１００の構成を説明する。
車両認識システム１００は、複数の車両認識装置１０と、中央装置２０と、１台以上の検索端末３０とを備える。各車両認識装置１０と中央装置２０とは、伝送路９１を介して接続されている。中央装置２０と各検索端末３０とは、伝送路９２を介して接続されている。
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る車両認識システム１００の構成を説明する。
車両認識システム１００は、複数の車両認識装置１０と、中央装置２０と、１台以上の検索端末３０とを備える。各車両認識装置１０と中央装置２０とは、伝送路９１を介して接続されている。中央装置２０と各検索端末３０とは、伝送路９２を介して接続されている。
【0009】
車両認識装置１０は、道路付近に設置されたコンピュータである。中央装置２０は、サーバルーム等に設置されたコンピュータである。検索端末３０は、ユーザが使用するＰＣ等の端末である。ＰＣは、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒの略である。
【0010】
図２を参照して、実施の形態１に係る車両認識装置１０の構成を説明する。
車両認識装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
車両認識装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
【0011】
車両認識装置１０は、機能構成要素として、ナンバー検出部１１１と、対象検出部１１２と、車両特定部１１３と、情報管理部１１４とを備える。車両認識装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、車両認識装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、車両認識装置１０の各機能構成要素の機能が実現される。
ストレージ１３には、車両認識装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、車両認識装置１０の各機能構成要素の機能が実現される。
【0012】
車両認識装置１０は、通信インタフェース１４を介して、カメラ４０と接続されている。カメラ４０は、車両が通行する道路を撮影するように設置されている。例えば、カメラ４０は、車両の進行方向前方から道路を撮影するように設置されている。これにより、車両を前方から撮影することが可能である。
なお、カメラ４０の付近には、必要に応じてカメラ４０の撮影領域を照らす照明装置４１が設置される。
なお、カメラ４０の付近には、必要に応じてカメラ４０の撮影領域を照らす照明装置４１が設置される。
【0013】
図３を参照して、実施の形態１に係る中央装置２０の構成を説明する。
中央装置２０は、プロセッサ２１と、メモリ２２と、ストレージ２３と、通信インタフェース２４とのハードウェアを備える。プロセッサ２１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
中央装置２０は、プロセッサ２１と、メモリ２２と、ストレージ２３と、通信インタフェース２４とのハードウェアを備える。プロセッサ２１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
【0014】
中央装置２０は、機能構成要素として、検索部２１１を備える。車両認識装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ２３には、中央装置２０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ２１によりメモリ２２に読み込まれ、プロセッサ２１によって実行される。これにより、中央装置２０の各機能構成要素の機能が実現される。
ストレージ２３には、中央装置２０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ２１によりメモリ２２に読み込まれ、プロセッサ２１によって実行される。これにより、中央装置２０の各機能構成要素の機能が実現される。
【0015】
ストレージ２３は、車両データベース２３１の機能を実現する。
【0016】
プロセッサ１１，２１は、プロセッシングを行うＩＣである。ＩＣはＩｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。プロセッサ１１，２１は、具体例としては、ＣＰＵ、ＤＳＰ、ＧＰＵである。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略である。ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。
【0017】
メモリ１２，２２は、データを一時的に記憶する記憶装置である。メモリ１２，２２は、具体例としては、ＳＲＡＭ、ＤＲＡＭである。ＳＲＡＭは、Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。ＤＲＡＭは、Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。
【0018】
ストレージ１３，２３は、データを保管する記憶装置である。ストレージ１３，２３は、具体例としては、ＨＤＤである。ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。また、ストレージ１３，２３は、ＳＤ（登録商標）メモリカード、ＣｏｍｐａｃｔＦｌａｓｈ（登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤといった可搬記録媒体であってもよい。ＳＤは、Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌの略である。ＤＶＤは、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋの略である。
【0019】
通信インタフェース１４，２４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４，２４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）のポートである。ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。ＨＤＭＩは、Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅの略である。
【0020】
図２では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、車両認識装置１０の各機能を実現するプログラムを連携して実行してもよい。同様に、図３では、プロセッサ２１は、１つだけ示されていた。しかし、プロセッサ２１は、複数であってもよく、複数のプロセッサ２１が、中央装置２０の各機能を実現するプログラムを連携して実行してもよい。
【0021】
＊＊＊動作の説明＊＊＊
図４から図６を参照して、実施の形態１に係る車両認識システム１００の動作を説明する。
実施の形態１に係る車両認識システム１００の動作手順は、実施の形態１に係る車両認識方法に相当する。また、実施の形態１に係る車両認識システム１００の動作を実現するプログラムは、実施の形態１に係る車両認識プログラムに相当する。
図４から図６を参照して、実施の形態１に係る車両認識システム１００の動作を説明する。
実施の形態１に係る車両認識システム１００の動作手順は、実施の形態１に係る車両認識方法に相当する。また、実施の形態１に係る車両認識システム１００の動作を実現するプログラムは、実施の形態１に係る車両認識プログラムに相当する。
【0022】
実施の形態１に係る車両認識システム１００の動作は、車両認識処理と、検索処理とを含む。車両認識処理は、車両認識装置１０によって実行される。検索処理は、中央装置２０によって実行される。
【0023】
図４を参照して、実施の形態１に係る車両認識処理を説明する。
（ステップＳ１１：映像取得処理）
ナンバー検出部１１１は、通信インタフェース１４を介して、カメラ４０によって道路を撮影して得られた映像データを構成する新しいフレームの画像データを取得する。
（ステップＳ１１：映像取得処理）
ナンバー検出部１１１は、通信インタフェース１４を介して、カメラ４０によって道路を撮影して得られた映像データを構成する新しいフレームの画像データを取得する。
【0024】
（ステップＳ１２：ナンバー検出処理）
ナンバー検出部１１１は、ステップＳ１１で取得された画像データから、車両のナンバープレートを検出する。
ナンバー検出部１１１は、ナンバープレートが検出された場合には、処理をステップＳ１３に進める。一方、ナンバー検出部１１１は、ナンバープレートが検出されなかった場合には、処理をステップＳ１１に戻す。
ナンバー検出部１１１は、ステップＳ１１で取得された画像データから、車両のナンバープレートを検出する。
ナンバー検出部１１１は、ナンバープレートが検出された場合には、処理をステップＳ１３に進める。一方、ナンバー検出部１１１は、ナンバープレートが検出されなかった場合には、処理をステップＳ１１に戻す。
【0025】
ここで、ステップＳ１１で取得される画像データは、車両が写っている場合もあれば、車両が写っていない場合もある。また、ステップＳ１１で取得される画像データは、車両が写っている場合であっても、車両が小さくしか写っていない場合、又は、車両の一部しか写っていない場合もある。また、ステップＳ１１で取得される画像データは、車両が写っている場合であっても、車両が鮮明に写っていない場合もある。ステップＳ１２では、画像データに、車両が大きく鮮明に写り、ナンバープレートの文字が適切に検出できる場合に、ナンバープレートが検出される。
【0026】
（ステップＳ１３：画像抽出処理）
対象検出部１１２は、ステップＳ１２でナンバー検出部１１１がナンバープレートを検出した画像データを処理画像として抽出する。
対象検出部１１２は、ステップＳ１２でナンバー検出部１１１がナンバープレートを検出した画像データを処理画像として抽出する。
【0027】
ステップＳ１４及びステップＳ１５の処理が並行して実行される。
【0028】
（ステップＳ１４：対象検出処理）
対象検出部１１２は、ステップＳ１３で抽出された処理画像から車両に表示された標章と車両の乗車者との少なくともいずれかの対象物を検出する。
標章とは、具体的には、運転者が高齢者であることを示す高齢者マークと、運転者が初心者であることを示す初心者マークと等である。車両の乗車者は、運転者を含む車両に乗車している人である。車両の乗車者を特定することにより、車両の乗車人数が特定される。
対象検出部１１２は、ステップＳ１３で抽出された処理画像から車両に表示された標章と車両の乗車者との少なくともいずれかの対象物を検出する。
標章とは、具体的には、運転者が高齢者であることを示す高齢者マークと、運転者が初心者であることを示す初心者マークと等である。車両の乗車者は、運転者を含む車両に乗車している人である。車両の乗車者を特定することにより、車両の乗車人数が特定される。
【0029】
この際、対象検出部１１２は、ステップＳ１２で処理画像からナンバープレートが検出された位置に基づき、処理画像における対象物の検出範囲を絞り込む。そして、対象検出部１１２は、絞り込まれた検出範囲だけを対象として対象物を検出する。
対象物が高齢者マークであるとする。高齢者マークは、地上０．４メートル以上１．２メートル以下の貼付範囲に貼付されることになっている。そこで、対象検出部１１２は、ナンバープレートの位置から、貼付範囲と想定される範囲を特定して、特定された範囲に検出範囲を絞り込む。なお、対象検出部１１２は、貼付範囲の周囲基準範囲も検出範囲に加えてもよい。
対象物が乗車者であるとする。乗車者は、車両の窓部分に写る。そこで、対象検出部１１２は、ナンバープレートの位置から、車両の窓部分と想定される範囲を特定して、特定された範囲に検出範囲を絞り込む。なお、対象検出部１１２は、窓部分と想定される範囲の周囲基準範囲も検出範囲に加えてもよい。
対象物が高齢者マークであるとする。高齢者マークは、地上０．４メートル以上１．２メートル以下の貼付範囲に貼付されることになっている。そこで、対象検出部１１２は、ナンバープレートの位置から、貼付範囲と想定される範囲を特定して、特定された範囲に検出範囲を絞り込む。なお、対象検出部１１２は、貼付範囲の周囲基準範囲も検出範囲に加えてもよい。
対象物が乗車者であるとする。乗車者は、車両の窓部分に写る。そこで、対象検出部１１２は、ナンバープレートの位置から、車両の窓部分と想定される範囲を特定して、特定された範囲に検出範囲を絞り込む。なお、対象検出部１１２は、窓部分と想定される範囲の周囲基準範囲も検出範囲に加えてもよい。
【0030】
具体的な検出方法としては、対象検出部１１２は、ニューラルネットワークを用いて構成された物体検出モデルを用いてもよいし、テンプレートマッチングを用いてもよい。対象検出部１１２は、画像データから対象物を検出する他のアルゴリズムを用いてもよい。
【0031】
（ステップＳ１５：車両特定処理）
車両特定部１１３は、ステップＳ１２で検出されたナンバープレートと、ステップＳ１３で抽出された処理画像とから、車両の情報である車両情報を特定する。車両情報は、ナンバープレートに示された自動車登録番号と、車名といった情報である。
具体的には、車両特定部１１３は、ナンバープレートの領域を対象として文字認識を行うことにより、自動車登録番号を検出する。また、車両特定部１１３は、車名推論モデルに処理画像を入力として与えることにより、車名を特定する。
車名推論モデルは、ニューラルネットワーク等により構成されており、画像データを入力として、画像データに写った車両の車名を出力するモデルである。例えば、車名推論モデルは、画像データに映った車両の形状と車名毎の車両の形状との類似度を計算し、最も類似度が高い車名を出力するモデルである。
なお、車名推論モデルは、車両の特徴量を入力として車名を出力するモデルであってもよい。この場合には、車両特定部１１３は、処理画像から車両の特徴量を抽出して、抽出された特徴量を車名推論モデルに入力する。特徴量は、画像データにおける車両の特徴を数値化した情報である。
車両特定部１１３は、ステップＳ１２で検出されたナンバープレートと、ステップＳ１３で抽出された処理画像とから、車両の情報である車両情報を特定する。車両情報は、ナンバープレートに示された自動車登録番号と、車名といった情報である。
具体的には、車両特定部１１３は、ナンバープレートの領域を対象として文字認識を行うことにより、自動車登録番号を検出する。また、車両特定部１１３は、車名推論モデルに処理画像を入力として与えることにより、車名を特定する。
車名推論モデルは、ニューラルネットワーク等により構成されており、画像データを入力として、画像データに写った車両の車名を出力するモデルである。例えば、車名推論モデルは、画像データに映った車両の形状と車名毎の車両の形状との類似度を計算し、最も類似度が高い車名を出力するモデルである。
なお、車名推論モデルは、車両の特徴量を入力として車名を出力するモデルであってもよい。この場合には、車両特定部１１３は、処理画像から車両の特徴量を抽出して、抽出された特徴量を車名推論モデルに入力する。特徴量は、画像データにおける車両の特徴を数値化した情報である。
【0032】
なお、車両特定部１１３は、車名の特定の前提として、車両の車型を特定してもよい。車型は、大型車と、普通自動車と、軽自動車といった車両の分類である。ナンバープレートのサイズと、自動車登録番号のうちの分類番号と、ナンバープレートの色（背景色及び文字色）とから概ねの場合には車型を特定可能である。
【0033】
（ステップＳ１６：妥当性判定処理）
対象検出部１１２は、ステップＳ１５で特定された車名から特定される車両の形状に基づき、検出された対象物の妥当性を判定する。具体的には、対象検出部１１２は、車両の形状から、検出された対象物が適切な範囲から検出されているか否かを判定する。適切な範囲とは、検出される可能性が有る範囲という意味である。
例えば、対象物が乗車者であるとする。この場合には、対象検出部１１２は、車両の形状と、ナンバープレートの位置とから、車両の窓部分をステップＳ１４よりも正確に特定する。そして、対象検出部１１２は、ステップＳ１４で乗車者が検出された位置が、窓部分であるか否かを判定する。対象検出部１１２は、検出された位置が窓部分であれば、検出された乗車者は妥当であると判定する。一方、対象検出部１１２は、検出された位置が窓部分でなければ、検出された乗車者は妥当でないと判定する。
対象検出部１１２は、ステップＳ１５で特定された車名から特定される車両の形状に基づき、検出された対象物の妥当性を判定する。具体的には、対象検出部１１２は、車両の形状から、検出された対象物が適切な範囲から検出されているか否かを判定する。適切な範囲とは、検出される可能性が有る範囲という意味である。
例えば、対象物が乗車者であるとする。この場合には、対象検出部１１２は、車両の形状と、ナンバープレートの位置とから、車両の窓部分をステップＳ１４よりも正確に特定する。そして、対象検出部１１２は、ステップＳ１４で乗車者が検出された位置が、窓部分であるか否かを判定する。対象検出部１１２は、検出された位置が窓部分であれば、検出された乗車者は妥当であると判定する。一方、対象検出部１１２は、検出された位置が窓部分でなければ、検出された乗車者は妥当でないと判定する。
【0034】
対象検出部１１２は、妥当でないと判定された対象物がある場合には、適切な範囲を検出範囲としてステップＳ１４の処理を再度実行して、適切な範囲から対象物を検出する。その上で、対象検出部１１２は、処理をステップＳ１７に進める。一方、対象検出部１１２は、妥当でないと判定された対象物がない場合には、そのまま処理をステップＳ１７に進める。
【0035】
（ステップＳ１７：情報管理処理）
情報管理部１１４は、ステップＳ１５で特定された車両情報と、ステップＳ１４で検出された対象物の情報とを対応付けて記憶装置に書き込む。ここでは、記憶装置は、中央装置２０の車両データベース２３１である。
その結果、図５に示すように、車両データベース２３１には、自動車登録番号と車名と等の車両情報と、高齢者マークの有無と初心者マークの有無と乗車人数と等の対象物の情報とが登録されたレコードが蓄積される。
情報管理部１１４は、ステップＳ１５で特定された車両情報と、ステップＳ１４で検出された対象物の情報とを対応付けて記憶装置に書き込む。ここでは、記憶装置は、中央装置２０の車両データベース２３１である。
その結果、図５に示すように、車両データベース２３１には、自動車登録番号と車名と等の車両情報と、高齢者マークの有無と初心者マークの有無と乗車人数と等の対象物の情報とが登録されたレコードが蓄積される。
【0036】
図６を参照して、実施の形態１に係る検索処理を説明する。
（ステップＳ２１：条件取得処理）
中央装置２０の検索部２１１は、検索条件を取得する。検索条件は、車両データベース２３１に登録された車両情報と対象物の情報とのいずれかに含まれる情報を用いて指定される。図５に示す車両データベース２３１であれば、検索条件は、自動車登録番号と、車名と、高齢者マークの有無と、初心者マークの有無と、乗車人数との少なくともいずれかにより指定される。
例えば、検索部２１１は、検索端末３０によって入力された検索条件を取得する。あるいは、検索部２１１は、予め設定された検索条件を取得してもよい。
（ステップＳ２１：条件取得処理）
中央装置２０の検索部２１１は、検索条件を取得する。検索条件は、車両データベース２３１に登録された車両情報と対象物の情報とのいずれかに含まれる情報を用いて指定される。図５に示す車両データベース２３１であれば、検索条件は、自動車登録番号と、車名と、高齢者マークの有無と、初心者マークの有無と、乗車人数との少なくともいずれかにより指定される。
例えば、検索部２１１は、検索端末３０によって入力された検索条件を取得する。あるいは、検索部２１１は、予め設定された検索条件を取得してもよい。
【0037】
（ステップＳ２２：検索処理）
中央装置２０の検索部２１１は、ステップＳ２１で取得された検索条件を満たすレコードを車両データベース２３１から抽出する。そして、検索部２１１は、抽出されたレコードの情報を検索端末３０に出力する。
中央装置２０の検索部２１１は、ステップＳ２１で取得された検索条件を満たすレコードを車両データベース２３１から抽出する。そして、検索部２１１は、抽出されたレコードの情報を検索端末３０に出力する。
【0038】
＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る車両認識システム１００は、ナンバープレートが検出された画像データを処理画像として抽出して、処理画像から対象物を検出する。これにより、不要に多くのフレームの画像データに対して対象物を検出する処理を行う必要がなくなる。その結果、処理能力を抑えたコンピュータで車両認識装置１０を実現しても、対象物を検出可能になる。
以上のように、実施の形態１に係る車両認識システム１００は、ナンバープレートが検出された画像データを処理画像として抽出して、処理画像から対象物を検出する。これにより、不要に多くのフレームの画像データに対して対象物を検出する処理を行う必要がなくなる。その結果、処理能力を抑えたコンピュータで車両認識装置１０を実現しても、対象物を検出可能になる。
【0039】
処理能力が高いコンピュータの多くは、大型であり、屋外環境の設置に向かない。そのため、カメラ４０が設置された付近の路肩等に設置することが難しい場合が多い。その結果、従来のように、車両が写った多くのフレームの画像データに対して対象物の検出処理を行う場合には、サーバルーム等に設置された処理能力が高いコンピュータで検出処理を行う必要があった。例えば、カメラ４０が数千台設置された場合には、各カメラ４０で得られた画像データをサーバルーム等に設置されたコンピュータに転送して、サーバルーム等に設置されたコンピュータが一括して検出処理を行うことになる。そのため、従来のように対象物の検出をしていた場合には、検出結果の検索に関してリアルタイム性が損なわれていた。
これに対して、実施の形態１に係る車両認識システム１００では、処理能力を抑えたコンピュータで車両認識装置１０を実現しても、対象物を検出可能である。つまり、カメラ４０が設置された付近の路肩等に設置した車両認識装置１０により、対象物を検出可能である。その結果、サーバルーム等に設置された中央装置２０で検出処理を行う必要がない。そのため、検出結果の検索に関してリアルタイム性を高くすることができる。
これに対して、実施の形態１に係る車両認識システム１００では、処理能力を抑えたコンピュータで車両認識装置１０を実現しても、対象物を検出可能である。つまり、カメラ４０が設置された付近の路肩等に設置した車両認識装置１０により、対象物を検出可能である。その結果、サーバルーム等に設置された中央装置２０で検出処理を行う必要がない。そのため、検出結果の検索に関してリアルタイム性を高くすることができる。
【0040】
実施の形態１に係る車両認識システム１００は、車両情報と対象物の情報とを対応付けて車両データベース２３１に記憶する。これにより、車両毎に対象物の情報を利用したサービスの提供が可能になる。例えば、高齢者向けのサービス、又は、乗車人数に応じたサービスを提供可能になる。
【0041】
＊＊＊他の構成＊＊＊
＜変形例１＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例１として、各機能構成要素はハードウェアで実現されてもよい。この変形例１について、実施の形態１と異なる点を説明する。
＜変形例１＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例１として、各機能構成要素はハードウェアで実現されてもよい。この変形例１について、実施の形態１と異なる点を説明する。
【0042】
各機能構成要素がハードウェアで実現される場合には、車両認識装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路を備える。電子回路は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。
【0043】
電子回路としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡが想定される。ＧＡは、Ｇａｔｅ Ａｒｒａｙの略である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。ＦＰＧＡは、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略である。
各機能構成要素を１つの電子回路で実現してもよいし、各機能構成要素を複数の電子回路に分散させて実現してもよい。
各機能構成要素を１つの電子回路で実現してもよいし、各機能構成要素を複数の電子回路に分散させて実現してもよい。
【0044】
＜変形例２＞
変形例２として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
変形例２として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
【0045】
プロセッサ１１とメモリ１２とストレージ１３と電子回路とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。
【0046】
また、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。
【0047】
以下、本開示の諸態様を付記としてまとめて記載する。
（付記１）
カメラによって車両を撮影して得られた複数の画像データのうちいずれかの画像データから、前記車両のナンバープレートを検出するナンバー検出部と、
複数の画像データのうちの前記ナンバー検出部が前記ナンバープレートを検出した画像データを処理画像として抽出して、前記処理画像から前記車両に表示された標章と前記車両の乗車者との少なくともいずれかの対象物を検出する対象検出部と
を備える車両認識装置。
（付記２）
前記対象検出部は、前記ナンバー検出部によって前記処理画像から前記ナンバープレートが検出された位置に基づき、前記処理画像における前記対象物の検出範囲を絞り込み、絞り込まれた前記検出範囲から前記対象物を検出する
付記１に記載の車両認識装置。
（付記３）
前記車両認識装置は、さらに、
前記処理画像から、前記車両の車名を特定する車両特定部
を備え、
前記対象検出部は、前記車両特定部によって特定された前記車名から特定される前記車両の形状に基づき、検出された前記対象物の妥当性を判定する
付記１又は２に記載の車両認識装置。
（付記４）
前記車両認識装置は、さらに、
前記ナンバー検出部によって検出された前記ナンバープレートから、前記車両の情報である車両情報を特定する車両特定部と、
前記車両特定部によって特定された前記車両情報と、前記対象検出部によって検出された前記対象物の情報である対象情報とを対応付けて記憶装置に書き込む情報管理部と
を備える付記１又は２に記載の車両認識装置。
（付記５）
コンピュータが、カメラによって車両を撮影して得られた複数の画像データのうちいずれかの画像データから、前記車両のナンバープレートを検出し、
コンピュータが、複数の画像データのうちの前記ナンバープレートを検出した画像データを処理画像として抽出して、前記処理画像から前記車両に表示された標章と前記車両の乗車者との少なくともいずれかの対象物を検出する車両認識方法。
（付記６）
カメラによって車両を撮影して得られた複数の画像データのうちいずれかの画像データから、前記車両のナンバープレートを検出するナンバー検出処理と、
複数の画像データのうちの前記ナンバー検出処理が前記ナンバープレートを検出した画像データを処理画像として抽出して、前記処理画像から前記車両に表示された標章と前記車両の乗車者との少なくともいずれかの対象物を検出する対象検出処理と
を行う車両認識装置としてコンピュータを機能させる車両認識プログラム。
（付記１）
カメラによって車両を撮影して得られた複数の画像データのうちいずれかの画像データから、前記車両のナンバープレートを検出するナンバー検出部と、
複数の画像データのうちの前記ナンバー検出部が前記ナンバープレートを検出した画像データを処理画像として抽出して、前記処理画像から前記車両に表示された標章と前記車両の乗車者との少なくともいずれかの対象物を検出する対象検出部と
を備える車両認識装置。
（付記２）
前記対象検出部は、前記ナンバー検出部によって前記処理画像から前記ナンバープレートが検出された位置に基づき、前記処理画像における前記対象物の検出範囲を絞り込み、絞り込まれた前記検出範囲から前記対象物を検出する
付記１に記載の車両認識装置。
（付記３）
前記車両認識装置は、さらに、
前記処理画像から、前記車両の車名を特定する車両特定部
を備え、
前記対象検出部は、前記車両特定部によって特定された前記車名から特定される前記車両の形状に基づき、検出された前記対象物の妥当性を判定する
付記１又は２に記載の車両認識装置。
（付記４）
前記車両認識装置は、さらに、
前記ナンバー検出部によって検出された前記ナンバープレートから、前記車両の情報である車両情報を特定する車両特定部と、
前記車両特定部によって特定された前記車両情報と、前記対象検出部によって検出された前記対象物の情報である対象情報とを対応付けて記憶装置に書き込む情報管理部と
を備える付記１又は２に記載の車両認識装置。
（付記５）
コンピュータが、カメラによって車両を撮影して得られた複数の画像データのうちいずれかの画像データから、前記車両のナンバープレートを検出し、
コンピュータが、複数の画像データのうちの前記ナンバープレートを検出した画像データを処理画像として抽出して、前記処理画像から前記車両に表示された標章と前記車両の乗車者との少なくともいずれかの対象物を検出する車両認識方法。
（付記６）
カメラによって車両を撮影して得られた複数の画像データのうちいずれかの画像データから、前記車両のナンバープレートを検出するナンバー検出処理と、
複数の画像データのうちの前記ナンバー検出処理が前記ナンバープレートを検出した画像データを処理画像として抽出して、前記処理画像から前記車両に表示された標章と前記車両の乗車者との少なくともいずれかの対象物を検出する対象検出処理と
を行う車両認識装置としてコンピュータを機能させる車両認識プログラム。
【0048】
以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。
【符号の説明】
【0049】
１００ 車両認識システム、１０ 車両認識装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１１１ ナンバー検出部、１１２ 対象検出部、１１３ 車両特定部、１１４ 情報管理部、２０ 中央装置、２１ プロセッサ、２２ メモリ、２３ ストレージ、２４ 通信インタフェース、２１１ 検索部、２３１ 車両データベース、３０ 検索端末、４０ カメラ、４１ 照明装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】