(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-06-13
(45)【発行日】2025-06-23
(54)【発明の名称】車推定装置
(51)【国際特許分類】
G08G 1/015 20060101AFI20250616BHJP
G06T 7/00 20170101ALI20250616BHJP
【FI】
G08G1/015 A
G06T7/00 650B
G06T7/00 350B
(21)【出願番号】P 2021068265
(22)【出願日】2021-04-14
【審査請求日】2024-04-11
(73)【特許権者】
【識別番号】500063228
【氏名又は名称】田中 成典
(73)【特許権者】
【識別番号】511121768
【氏名又は名称】今井 龍一
(73)【特許権者】
【識別番号】517305883
【氏名又は名称】山本 雄平
(73)【特許権者】
【識別番号】519113745
【氏名又は名称】Intelligent Style株式会社
(74)【代理人】
【識別番号】100092956
【氏名又は名称】古谷 栄男
(74)【代理人】
【識別番号】100101018
【氏名又は名称】松下 正
(72)【発明者】
【氏名】田中 成典
(72)【発明者】
【氏名】今井 龍一
(72)【発明者】
【氏名】山本 雄平
(72)【発明者】
【氏名】中原 匡哉
(72)【発明者】
【氏名】中畑 光貴
(72)【発明者】
【氏名】高野 精久
(72)【発明者】
【氏名】山中 亮
(72)【発明者】
【氏名】大月 庄治
【審査官】増子 真
(56)【参考文献】
【文献】特開2017-224998(JP,A)
【文献】特開平10-208058(JP,A)
【文献】特開2017-045137(JP,A)
【文献】国際公開第2019/181563(WO,A1)
【文献】米国特許出願公開第2014/0037142(US,A1)
【文献】特開平11-353581(JP,A)
【文献】特開2020-013480(JP,A)
【文献】国際公開第2019/194256(WO,A1)
【文献】特開2020-197875(JP,A)
【文献】特開2018-092236(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00 - 99/00
G06T 7/00 - 7/90
G06V 10/00 - 20/90
G06V 30/418
G06V 40/16
G06V 40/20
G06T 1/00 - 1/40
G06T 3/00 - 5/94
(57)【特許請求の範囲】
【請求項1】
前後のタイヤおよび側面が撮像できるアングルにて、走行する車両を撮像した撮像画像中の車両を認識し、当該車両を囲うバウンダリーボックスによって車両画像を抽出する車両画像抽出手段と、
車両画像に基づいて、当該車両画像中の車両自体を当該車両の部位を抽出するために適した画像に変換した変換車両画像を出力する変換画像生成手段と、
変換車両画像に基づいて、当該車両の前後のタイヤ、側面を含む部位領域に塗り分けられた部位推定車両画像を
生成する部位推定車両画像生成手段と、
前記部位推定車両画像に基づいて、当該車両が大型車か小型車かを推定する大小推定手段と、
を備えた車推定装置において、
前記変換画像生成手段は、当該車両の部位を抽出するために適した変換車両画像に変換するよう学習された学習済モデルを用いて、変換車両画像を生成するものであり、
前記部位推定車両画像生成手段は、車両の画像と、当該車両の少なくとも前後のタイヤ、側面を含む各部位領域を異なる色または濃度にて区別可能に塗り分けた部位車両画像に基づいて学習された学習済モデルを用いて、部位推定車両画像を生成するものであり、
前記大小推定手段は、前記部位推定車両画像と、大型車か小型車かの判断とに基づいて、大型車か小型車かを推定するよう学習された学習済モデルを用いて、大型車か小型車かを推定するよう構成されていることを特徴とする車推定装置。
【請求項2】
車推定装置をコンピュータによって実現するための車推定プログラムであって、コンピュータを、
前後のタイヤおよび側面が撮像できるアングルにて、走行する車両を撮像した撮像画像中の車両を認識し、当該車両を囲うバウンダリーボックスによって車両画像を抽出する車両画像抽出手段と、
車両画像に基づいて、当該車両画像中の車両自体を当該車両の部位を抽出するために適した画像に変換した変換車両画像を出力する変換画像生成手段と、
変換車両画像に基づいて、当該車両の前後のタイヤ、側面を含む部位領域に塗り分けられた部位推定車両画像を
生成する部位推定車両画像生成手段と、
前記部位推定車両画像に基づいて、当該車両が大型車か小型車かを推定する大小推定手段として機能させるための車推定プログラムにおいて、
前記変換画像生成手段は、当該車両の部位を抽出するために適した変換車両画像に変換するよう学習された学習済モデルを用いて、変換車両画像を生成するものであり、
前記部位推定車両画像生成手段は、車両の画像と、当該車両の少なくとも前後のタイヤ、側面を含む各部位領域を異なる色または濃度にて区別可能に塗り分けた部位車両画像に基づいて学習された学習済モデルを用いて、部位推定車両画像を生成するものであり、
前記大小推定手段は、前記部位推定車両画像と、大型車か小型車かの判断とに基づいて、大型車か小型車かを推定するよう学習された学習済モデルを用いて、大型車か小型車かを推定するよう構成されていることを特徴とする車推定プログラム。
【請求項3】
請求項1の装置または2のプログラムにおいて、
前記変換画像生成手段は、少なくとも夜間に撮像された前記車両画像を受けて、昼間に撮像されたような変換車両画像を出力するよう学習された学習済変換モデルを用いることを特徴とする装置またはプログラム。
【請求項4】
請求項3の装置またはプログラムにおいて、
前記変換画像生成手段は、前記車両画像が夜間に撮像されたものであるか否かを、当該車両画像の撮像時間または当該車両画像のデータ内容に基づいて判断し、夜間に撮像されたと判断された車両画像を前記学習済変換モデルを用いて変換車両画像とし、夜間に撮像されたと判断されなかった車両画像はそのまま変換車両画像として出力することを特徴とする装置またはプログラム。
【請求項5】
請求項1~4のいずれかの装置またはプログラムにおいて、
前記変換画像生成手段は、前記車両画像を受けて、車体ボディの色を白色に変更した変換車両画像を出力するよう学習された学習済変換モデルを用いることを特徴とする装置またはプログラム。
【請求項6】
請求項5の装置またはプログラムにおいて、
前記変換画像生成手段は、前記車両画像の車体ボディの色が白色と異なるか否かを
当該車両画像に基づいて判断し、異なると判断された車両画像を前記学習済変換モデルを用いて変換車両画像とし、同一色であると判断された車両画像はそままま変換車両画像として出力することを特徴とする装置またはプログラム。
【請求項7】
請求項1~6のいずれかの装置またはプログラムにおいて、
前記変換画像生成手段は、前記車両画像を受けて、車体への映り込みが低減された変換車両画像を出力するように学習された学習済変換モデルを用いることを特徴とする装置またはプログラム。
【請求項8】
請求項7の装置またはプログラムにおいて、
前記変換画像生成手段は、前記車両画像において車体への映り込みがあるか否かを当該車両画像の撮像時間または当該車両画像データに基づいて判断し、あると判断された車両画像を前記学習済変換モデルを用いて変換車両画像とし、ないと判断された車両画像はそままま変換車両画像として出力することを特徴とする装置またはプログラム。
【請求項9】
請求項1~8のいずれかの装置またはプログラムにおいて、
前記変換画像生成手段は、少なくとも欠損部分のある前記車両画像を受けて、欠損部分が補完された変換車両画像を出力するように学習された学習済変換モデルを用いることを特徴とする装置またはプログラム。
【請求項10】
請求項9の装置またはプログラムにおいて、
前記変換画像生成手段は、前記車両画像に欠損部分があるか否かを判断し、欠損部分があると判断すれば前記学習済変換モデルを用いて変換車両画像を出力し、欠損部分がないと判断すれば当該車両画像をそのまま変換車両画像として出力することを特徴とする装置またはプログラム。
【請求項11】
請求項1、3~10のいずれかの装置において、
前記車両画像または前記変換車両画像をグレースケール化して、グレースケール車両画像またはグレースケール変換車両画像を出力するグレースケール化手段をさらに備え、
前記大小推定手段は、前記部位推定車両画像とグレースケール車両画像またはグレースケール変換車両画像とに基づいて、当該車両が大型車であるか小型車であるかを推定することを特徴とする装置。
【請求項12】
請求項2~10のいずれかのプログラムにおいて、
当該プログラムは、コンピュータを、さらに、前記車両画像または前記変換車両画像をグレースケール化して、グレースケール車両画像またはグレースケール変換車両画像を出力するグレースケール化手段として機能させるものであり、
前記大小推定手段は、前記部位推定車両画像とグレースケール車両画像またはグレースケール変換車両画像とに基づいて、当該車両が大型車であるか小型車であるかを推定することを特徴とするプログラム。
【請求項13】
請求項1~12のいずれかの装置またはプログラムにおいて、
前記大小推定手段は、推定した大型車・小型車の区別を含む車種を出力することを特徴とする装置またはプログラム。
【請求項14】
請求項1、3~13のいずれかの装置おいて、
前記撮像画像において設定された通過線に基づいて、連続した前記撮像画像において、前記バウンダリーボックスが当該通過線を跨いだことを検出して車両の通過を判断する車両通過判断手段をさらに備えた装置。
【請求項15】
請求項2~13のいずれかのプログラムおいて、
当該プログラムは、コンピュータを、さらに、前記撮像画像において設定された通過線に基づいて、連続した前記撮像画像において、前記バウンダリーボックスが当該通過線を跨いだことを検出して車両の通過を判断する車両通過判断手段として機能させることを特徴とするプログラム。
【請求項16】
請求項14または15の装置またはプログラムにおいて、
前記通過線は2つ設定されており、
前記車両通過判断手段は、バウンダリーボックスが前記2つの通過線の双方に交差したことにより、車両の通過であると判断することを特徴とする装置またはプログラム。
【請求項17】
請求項14~16のいずれかの装置またはプログラムにおいて、
前記通過線は、車両の移動方向の手前から第1通過線、第2通過線の2つ設定されており、
前記車両通過判断手段は、バウンダリーボックスが第1通過線に交差した後、第2通過線に交差した場合に、車両の通過であると判断することを特徴とする装置またはプログラム。
【請求項18】
請求項17の装置またはプログラムにおいて、
前記車両通過判断手段は、前記バウンダリーボックスの中心位置が、第1の通過線または第2の通過線のうち撮像画像においてカメラに対して遠い側にある通過線を通過したかどうかによって交差したかどうかを判断し、前記バウンダリーボックスの底辺の点が、第1の通過線または第2の通過線のうち撮像画像においてカメラより近い側にある通過線を通過したかどうかによって交差したかどうかを判断することを特徴とする装置またはプログラム。
【請求項19】
請求項1~18のいずれかの装置またはプログラムにおいて、
前記車推定装置は、サーバ装置として構築されていることを特徴とする装置またはプログラム。
【請求項20】
走行する車両を撮像して撮像画像を出力する撮像部と、
撮像画像に基づいて、当該撮像画像中の車両を認識するために適した変換車両画像を出力する変換画像生成手段と、
前記変換撮像画像中の車両を認識し、当該車両を囲うバウンダリーボックスによって車両画像を抽出する車両画像抽出手段と、
前記撮像画像において設定された通過線に基づいて、連続した前記撮像画像において、前記バウンダリーボックスが当該通過線を跨いだことを検出して車両の通過を判断する車両通過判断手段と、
を備えた車両通過検出装置において、
前記通過線は、車両の移動方向の手前から第1通過線、第2通過線の2つ設定されており、
前記車両通過判断手段は、バウンダリーボックスが第1通過線に交差した後、第2通過線に交差した場合に、車両の通過であると判断するものであり、
前記車両通過判断手段は、前記バウンダリーボックスの中心位置が、第1の通過線または第2の通過線のうち撮像画像においてカメラに対して遠い側にある通過線を通過したかどうかによって交差したかどうかを判断し、前記バウンダリーボックスの底辺の点が、第1の通過線または第2の通過線のうち撮像画像においてカメラより近い側にある通過線を通過したかどうかによって交差したかどうかを判断することを特徴とする車両通過検出装置。
【請求項21】
コンピュータによって車両通過検出装置を実現するための車両通過検出プログラムであって、コンピュータを、
走行する車両を撮像した撮像画像に基づいて、当該撮像画像中の車両を認識するために適した変換車両画像を出力する変換画像生成手段と、
前記変換撮像画像中の車両を認識し、当該車両を囲うバウンダリーボックスによって車両画像を抽出する車両画像抽出手段と、
前記撮像画像において設定された通過線に基づいて、連続した前記撮像画像において、前記バウンダリーボックスが当該通過線を跨いだことを検出して車両の通過を判断する車両通過判断手段として機能させるための車両通過検出プロプログラムにおいて、
前記通過線は、車両の移動方向の手前から第1通過線、第2通過線の2つ設定されており、
前記車両通過判断手段は、バウンダリーボックスが第1通過線に交差した後、第2通過線に交差した場合に、車両の通過であると判断するものであり、
前記車両通過判断手段は、前記バウンダリーボックスの中心位置が、第1の通過線または第2の通過線のうち撮像画像においてカメラに対して遠い側にある通過線を通過したかどうかによって交差したかどうかを判断し、前記バウンダリーボックスの底辺の点が、第1の通過線または第2の通過線のうち撮像画像においてカメラより近い側にある通過線を通過したかどうかによって交差したかどうかを判断することを特徴とする車両通過検出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、撮像した画像に基づいて、自動車が大型車か小型車かを推定する装置に関するものである。
【背景技術】
【0002】
交通量の調査や施設における管理のために、自動車が大型車であるか小型車であるかを判断する必要がある。たとえば、交通量の調査においては、交差点などで調査員が目視にて、通過する車両の種類や大型小型などの分類を行って、その分類ごとに交通量を計数している。
【0003】
近年、ディープラーニングを用いて撮像した物体の種類を判別することが行われている(たとえばYOLOモデル)。この物体検知モデルを種々の車両によって学習し、学習済モデルにて車両の種類を判別する装置を実現することができる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2017-142587
【文献】特開2002-042113
【文献】特開2013-257720
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記のような学習済モデルによる装置を交通量調査などに適用すると、自動車の種類は推定できたとしても、大型車であるか小型車であるかの推定まではできなかった。特に同一の種類の自動車(たとえばトラック)における、大型・小型(たとえば、大型トラック、小型トラック)の判定は困難であった。
【0006】
また、自動車のナンバープレートの文字を読み取り、当該文字から種類などを推定するシステムも提案されている(特許文献1)。このシステムによれば、自動車の種類だけでなく、ナンバープレートの文字に現れた大型車、小型車の区別を取得することができる。このようなナンバープレートの文字による推定を行えば、種類だけでなく大型・小型の区別も可能となる。
【0007】
しかしながら、撮像距離や位置、天候などによって、ナンバープレートの文字を読み取れない可能性がある。このため、交通量調査などに用いることには制限があった。
【0008】
また、特許文献2、3では、タイヤのホイールベースに基づいて、大型車であるか小型車であるかを判断している。
【0009】
しかしながら、タイヤのホイールべースのみの基づいて判断しているので、必ずしもその正確性が十分ではなかった。
【0010】
また、上記いずれの従来技術においても、撮像した画像が夜間のため鮮明でない、一部欠損しているなど不十分である場合には、大型車か小型車かの判断を行うことができなかった。
【0011】
この発明は上記のような問題点を解決して、柔軟性の高い車判定を行うことのできる車推定装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
この発明の独立して適用可能な特徴を以下に列挙する。
【0013】
(1)(2)この発明に係る車推定装置は、走行する車両を撮像した撮像画像中の車両を認識し、当該車両を囲うバウンダリーボックスによって車両画像を抽出する車両画像抽出手段と、車両画像に基づいて、当該車両の部位を抽出するために適した変換車両画像を出力する変換画像生成手段と、変換車両画像に基づいて、当該車両の前後のタイヤ、側面を含む部位領域に塗り分けられた部位推定車両画像を出力する部位推定車両画像生成手段と、部位推定車両画像に基づいて、当該車両が大型車か小型車かを推定する大小推定手段とを備えている。
【0014】
車両画像を変換車両画像に変換した上で部位推定車両画像を生成し、これに基づいて大小推定を行うようにしている。したがって、精度よく大型車・小型車の推定を行うことができる。
【0015】
(3)この発明に係る車推定装置は、車両画像抽出手段は、前記撮像画像に基づいて、当該撮像画像中の車両を認識して、当該車両を囲うバウンダリーボックスによって車両画像を抽出するよう学習された学習済抽出モデルを用いて抽出処理を行い、または前記変換画像生成手段は、前記車両画像に基づいて、当該車両の部位を抽出するために適した変換車両画像を生成するよう学習された学習済生成モデルを用いて生成処理を行い、または前記部位推定車両画像生成手段は、前記変換車両画像に基づいて、当該車両の前後のタイヤ、側面を含む部位領域に塗り分けられた部位推定車両画像を生成するよう学習された学習済部位推定モデルを用いて生成処理を行い、または大小推定手段は、前記部位推定車両画像に基づいて、当該車両が大型車か小型車かを推定するよう学習された学習済大小推定モデルを用いて推定処理を行うことを特徴としている。
【0016】
したがって、これら手段を学習処理によって構築することができる。
【0017】
(4)この発明に係る車推定装置は、変換画像生成手段が、少なくとも夜間に撮像された前記車両画像を受けて、昼間に撮像されたような変換車両画像を出力するよう学習された学習済変換モデルを用いることを特徴としている。
【0018】
したがって、夜間に撮像した暗い画像であっても、大型車、小型車の推定を行うことができる。
【0019】
(5)この発明に係る車推定装置は、変換画像生成手段が、前記車両画像が夜間に撮像されたものであるか否かを、当該車両画像の撮像時間または当該車両画像のデータ内容に基づいて判断し、夜間に撮像されたと判断された車両画像を前記学習済変換モデルを用いて変換車両画像とし、夜間に撮像されたと判断されなかった車両画像はそのまま変換車両画像として出力することを特徴としている。
【0020】
したがって、夜間撮像の暗い画像についてのみ変換を行うことができる。
【0021】
(6)この発明に係る車推定装置は、変換画像生成手段が、前記車両画像を受けて、車体ボディの色を変更した変換車両画像を出力するよう学習された学習済変換モデルを用いることを特徴としている。
【0022】
したがって、背景などとの関係において、部位推定や対象推定の行いやすい車体ボディ色に変換することができる。
【0023】
(7)この発明に係る車推定装置は、変換画像生成手段が、前記車両画像の車体ボディの色が変換後の車体ボディの色と異なるか否かを当該車両画像データに基づいて判断し、異なると判断された車両画像を前記学習済変換モデルを用いて変換車両画像とし、同一色であると判断された車両画像はそのまま変換車両画像として出力することを特徴としている。
【0024】
したがって、変換の必要な車両画像についてのみ変換を行うことができる。
【0025】
(8)この発明に係る車推定装置は、変換画像生成手段が、前記車両画像を受けて、車体への映り込みが低減された変換車両画像を出力するように学習された学習済変換モデルを用いることを特徴としている。
【0026】
したがって、部位推定などを行いやすい映り込みの低減された車両画像に変換することができる。
【0027】
(9)この発明に係る車推定装置は、変換画像生成手段が、前記車両画像において車体への映り込みがあるか否かを、当該車両画像の撮像時間または当該車両画像データに基づいて判断し、あると判断された車両画像を前記学習済変換モデルを用いて変換車両画像とし、ないと判断された車両画像はそままま変換車両画像として出力することを特徴としている。
【0028】
したがって、映り込みのある車両画像についてのみ変換を行うことができる。
【0029】
(10)この発明に係る車推定装置は、変換画像生成手段が、少なくとも欠損部分のある前記車両画像を受けて、欠損部分が補完された変換車両画像を出力するように学習された学習済変換モデルを用いることを特徴としている。
【0030】
したがって、部位推定などを行いやすい欠損のない車両画像に変換することができる。
【0031】
(11)この発明に係る車推定装置は、変換画像生成手段が、前記車両画像に欠損部分があるか否かを判断し、欠損部分があると判断すれば前記学習済変換モデルを用いて変換車両画像を出力し、欠損部分がないと判断すれば当該車両画像をそのまま変換車両画像として出力することを特徴としている。
【0032】
したがって、欠損のある車両画像についてのみ変換を行うことができる。
【0033】
(12)(13)この発明に係る車推定装置は、前記車両画像または前記変換車両画像をグレースケール化して、グレースケール車両画像またはグレースケール変換車両画像を出力するグレースケール化手段をさらに備え、前記大小推定手段は、前記部位推定車両画像とグレースケール車両画像またはグレースケール変換車両画像とに基づいて、当該車両が大型車であるか小型車であるかを推定することを特徴としている。
【0034】
したがって、色の違いによる大小推定の誤判断を抑制しつつ、オリジナル画像に含まれる情報を考慮した大小推定を行うことができる。
【0035】
(14)この発明に係る車推定装置は、大小推定手段が、推定した大型車・小型車の区別を含む車種を出力することを特徴としている。
【0036】
したがって、大小推定を加味した車両判定を行うことができる。
【0037】
(15)(16)この発明に係る車推定装置は、所定のエリアの撮像画像において設定された通過線に基づいて、連続した前記撮像画像において、前記バウンダリーボックスが当該通過線を跨いだことを検出して車両の通過を判断する車両通過判断手段を備えている。
【0038】
したがって、車両の通過を計測することができる。
【0039】
(17)この発明に係る車推定装置は、通過線は2つ設定されており、車両通過判断手段は、バウンダリーボックスが前記2つの通過線の双方に交差したことにより、車両の通過であると判断することを特徴としている。
【0040】
したがって、より正確に車両の通過を判断することができる。
【0041】
(18)この発明に係る車推定装置は、通過線は、車両の移動方向の手前から第1通過線、第2通過線の2つ設定されており、車両通過判断手段は、バウンダリーボックスが第1通過線に交差した後、第2通過線に交差した場合に、車両の通過であると判断することを特徴としている。
【0042】
したがって、通過方向も判断することができる。
【0043】
(19)この発明に係る車推定装置は、車両通過判断手段が、前記バウンダリーボックスの中心位置が、第1の通過線または第2の通過線のうち撮像画像においてカメラに対して遠い側にある通過線を通過したかどうかによって交差したかどうかを判断し、前記バウンダリーボックスの底辺の点が、第1の通過線または第2の通過線のうち撮像画像においてカメラより近い側にある通過線を通過したかどうかによって交差したかどうかを判断することを特徴としている。
【0044】
したがって、画面を有効に活用して、大きな車両画像にて通過線の通過を判断することができる。
【0045】
(20)この発明に係る車推定装置は、車推定装置が、サーバ装置として構築されていることを特徴としている。
【0046】
したがって、端末装置から撮像画像を送信し、これを利用することができる。
【0047】
(21)(22)この発明に係る車両通過検出装置は、走行する車両を撮像して撮像画像を出力する撮像部と、撮像画像に基づいて、当該撮像画像中の車両を認識するために適した変換車両画像を出力する変換画像生成手段と、前記変換撮像画像中の車両を認識し、当該車両を囲うバウンダリーボックスによって車両画像を抽出する車両画像抽出手段と、前記所定のエリアの撮像画像において設定された通過線に基づいて、連続した前記撮像画像において、前記バウンダリーボックスが当該通過線を跨いだことを検出して車両の通過を判断する車両通過判断手段とを備えている。
【0048】
したがって、夜間撮像など車両抽出に適さない撮像画像であっても、車両の通過判断を行うことができる。
【0049】
「車両画像抽出手段」は、実施形態においては、ステップS4がこれに対応する。
【0050】
「変換画像生成手段」は、実施形態においては、ステップS10がこれに対応する。
【0051】
「部位推定車両画像生成手段」は、実施形態においては、ステップS12がこれに対応する。
【0052】
「大小推定手段」は、実施形態においては、ステップS14がこれに対応する。
【0053】
「プログラム」とは、CPUにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【図面の簡単な説明】
【0054】
【
図1a】この発明の一実施形態による車推定装置の機能構成図である。
【
図1b】他の実施形態による車推定装置の機能構成図である。
【
図4】撮像画像およびバウンダリーボックスである。
【
図5】車両認識モデルのための学習データの例である。
【
図6】車両認識モデルの学習処理のフローチャートである。
【
図7】バウンダリーボックスで囲われた車両画像の例である。
【
図8】夜昼変換モデル72を学習して生成するための処理を説明するための図である。
【
図9】夜昼変換モデル72を学習するための学習データを示す図である。
【
図10】夜昼変換モデル72によって、夜車両画像を昼車両画像に変換した例である。
【
図11】部位推定モデルを学習するための学習データを示す図である。
【
図12】部位推定モデルを学習するための学習データを示す図である。
【
図14】部位推定モデルに与える車両画像データの構造である。
【
図15】部位推定モデルの学習処理のフローチャートである。
【
図16】部位推定モデルに与える車両画像と、出力される部位推定車両画像を示す図である。
【
図17】大小推定モデルの学習処理のフローチャートである。
【
図19】大小推定モデルに与えるデータの構成を示す図である。
【
図20】変形例による処理を示すフローチャートである。
【
図24a】第2の実施形態による車推定装置の機能構成図である。
【
図24b】他のの実施形態による車推定装置の機能構成図である。
【
図25】車推定プログラムのフローチャートである。
【
図26】車推定プログラムのフローチャートである。
【
図27】車推定プログラムのフローチャートである。
【
図30】通過量計測を信号機の制御に用いたシステム例である。
【
図31】第3の実施形態による交通量計測装置の機能構成である。
【発明を実施するための形態】
【0055】
1.第1の実施形態
1.1機能構成
図1に、この発明の一実施形態による車推定装置の機能構成を示す。撮像部2は、道路など自動車が通行する箇所を撮像するように設置され、撮像画像を出力する。車両画像抽出手段4は、撮像画像に含まれる車両を認識し、当該車両をバウンダリーボックスで囲って出力する。車両画像抽出手段4は、たとえば、撮像画像と当該撮像画像の車両部分をバウンダリーボックスで囲った画像とに基づいて学習させた推定モデルを用いることができる。
【0056】
変換画像生成手段6は、車両画像を、部位推定車両画像生成手段8によって部位推定を行うために好ましい変換車両画像に変換する。この変換画像生成手段6は、たとえば、車両画像を変換車両画像に変換する生成器を用いることができる。この場合、生成された変換車両画像とこれに対応する本物の車両画像とを識別する識別器によって、生成器を学習するとよい。
【0057】
部位推定車両画像生成手段8は、変換車両画像について当該車両の各部位を塗り分けた部位推定車両画像を出力する。この部位推定車両画像生成手段8は、たとえば、変換車両画像と、変換車両画像を各部位に塗り分けた画像とに基づいて学習させた推定モデルを用いることができる。推定モデルとしては、セマンティックセグメンテーションが好ましい。
【0058】
大小推定手段10は、部位推定車両画像に基づいて、当該車両が大型車であるか小型車であるかを推定する。この大小推定手段10は、たとえば、部位推定車両画像と当該車両が大型車であるか小型車であるかのデータとに基づいて学習させた推定モデルを用いることができる。
【0059】
上記のように、この実施形態では、部位推定車両画像に基づいて大型車であるか小型車であるかを判断しているので、より正確な推定を行うことができる。また、変換画像生成手段6によって、部位推定のために好ましい変換車両画像を生成している。したがって、撮像された画像の品質が好ましくなくとも適切な推定を行うことができる。
【0060】
1.2ハードウエア構成
図2に、車推定装置のハードウエア構成を示す。CPU30には、メモリ32、ディスプレイ34、カメラ2、SSD36、DVD-ROMドライブ38、キーボード/マウス40、通信回路42が接続されている。
【0061】
通信回路42は、インターネットに接続するためのものである。SSD36には、オペレーティングシステム44、車推定プログラム46が記録されている。車推定プログラム46は、オペレーティングシステム44と協働してその機能を発揮するものである。
【0062】
これらプログラムは、DVD-ROM48に記録されていたものを、DVD-ROMドライブ38を介して、SSD36にインストールしたものである。
【0063】
1.3車推定処理
図3に、車推定プログラム46のフローチャートを示す。CPU30は、カメラ2によるカラー撮像画像を取得し、SSD36に記録する。この実施形態では、動画として撮像を行っている。撮像された動画は、SSD36に記録される。
図4Aに、撮像画像の例を示す。この実施形態では、電柱や街頭の上にカメラ2を設けて、上方からの固定的なアングルにて撮像を行っている。
【0064】
CPU30は、SSD36に記録されたカラー撮像画像の1フレームを取得する(ステップS2)。この実施形態では、撮像画像が記録されるとリアルタイムでこれを読み出して処理を行うようにしている。しかし、撮像画像を一旦記録しておき、後に、車推定処理を行うようにしてもよい。
【0065】
CPU30は、取得した1フレームの撮像画像に含まれる車両を認識し、
図4Bに示すように、当該車両が内接されるバウンダリーボックス(矩形領域)を生成する(ステップS4)。この実施形態では、車両を認識してバウンダリーボックスを生成する処理のために学習済みの推論モデル(例えばディープラーニングによる機械学習のモデル)を用いている。
【0066】
この実施形態では、YOLO(You Only Look Onece)による物体検知のモデルを用いて、撮像画像から車両の位置と領域を認識し、バウンダリーボックスにて車両を囲って出力するようにしている。なお、YOLO以外のend-to-endメソッドを用いてもよい。また、スライディング・ウインドウ・アプローチやR-CNNなどの領域候補メソッド(Region Proposal Method)などの物体検知のモデルを用いてもよい。
【0067】
物体検知モデルの学習は、以下のようにして行う。なお、この実施形態においては、学習処理は、
図2のコンピュータを用いて行うようにしているが、他のコンピュータを用いてもよい(以下の他の機械学習モデルについても同様である)。
【0068】
学習処理において、まず、
図5Aに示すような車両の含まれる画像データを多数用意して、SSD36に記録する。できれば、いろいろな車種による画像が多数あることが好ましい。
【0069】
学習のための画像データを得るために車両を撮像する場所やアングルは、できるだけ実際に運用する場合の場所やアングルに近いものであることが好ましい。たとえば、
図4Aに示すようなアングルにて撮像して運用を行うのであれば、これに近いアングルであることが好ましい。
【0070】
一方、カメラの設置位置にかかわらない汎用的な物体検知モデルを構築するのであれば、様々なアングル、場所、背景による学習データを用意することが好ましい。
【0071】
それぞれの画像データ(オリジナル画像データ)を、ディスプレイ34に表示する。ユーザは、画像を見ながら、キーボード/マウス40を操作して、
図5Bに示すように車両部分を矩形(バウンダリーボックス)で囲う。
【0072】
これにより、
図5Cに示すように、バウンダリーボックスの左上座標、右下座標(二次元画像中の座標)が記録された解析データと、オリジナル画像データとが対応付けられてSSD36に記録される。
【0073】
上記の処理を、全てのオリジナル画像について行う。これにより、多数の学習データが、SSD36に記録されることになる。
【0074】
図6に、車両認識のために、物体検知モデル(YOLO)を学習する処理のフローチャートを示す。CPU30は、SSD36からオリジナル画像を取得する(ステップS52)。たとえば、
図5Aに示すようなオリジナル画像を読み出す。次に、CPU30は、オリジナル画像について、物体検知モデル(YOLO)により、車両認識を行って、認識した車両を囲むバウンダリーボックス(の座標)および推定した車種を出力する(ステップS54)。すなわち、クラス分けされた対象物の領域を出力する。
【0075】
次に、CPU30は、オリジナル画像に対応づけて記録されているバウンダリボックスの座標および車種情報である解析データ(
図5C)を読み出す(ステップS58)。続いて、CPU30は、
図5A、
図5Cの解析データを教師データとし、車両認識の結果に基づいて、ステップS54における認識のためのパラメータを学習する(ステップS60)。
【0076】
以上のようにして、学習済みの推論モデルである物体検知モデルが生成される。なお、最初は、未学習の推論モデルあるいは学習不足の推論モデルであるが、上記の処理を繰り返すことで、十分に学習済みの推論モデルを得ることができる。
【0077】
なお、上記では、車両を認識するだけでなくその車種(乗用車、トラック、バスなど)も推定するようにしている。この学習済の物体検知モデル(YOLO)にて、車種だけでなく大型車・小型車を推定させることも、理論的には不可能ではない。しかし、車種の推定と異なって、大型車・小型車の推定を精度よく行うことは、撮像画像に基づく推定では困難である。
【0078】
なお、この実施形態では、車両の前方からの写真だけでなく、後方や側面からの写真も学習データとして用いるようにしている。したがって、いずれの方向にて撮像された車両であっても推論を行うことができるような推論モデルを生成できる。運用時に前方など特定の方向からの車両だけを判断すればよいのであれば、前方のなど特定の方向だけからの写真に基づいて学習データを作成すればよい。
【0079】
図3のフローチャートに戻って、ステップS4において、CPU30は、上記のようにして学習された物体検知モデルを用いて、撮像された画像(
図4A)に写し出された車両を認識し、
図4Bに示すバウンダリーボックスおよび車種を算出する。
【0080】
なお、この実施形態では、カラー撮像画像に基づいて車両の認識を行っているが、グレースケール画像(白黒画像)に基づいて車両認識を行うようにしてもよい。
【0081】
図4Bに、車両が認識されバウンダリーボックスにて囲われた画像を示す。また、図示していないが、各バウンダリーボックスに対応付けて推定した車種が記録される(
図3Cのような形式にて記録される)。
【0082】
続いて、CPU30は、バウンダリーボックスに基づいて、それぞれの車両の画像を切り出す(ステップS8)。切り出した車両画像の例を、
図7に示す。
【0083】
CPU30は、切り出した車両画像に基づいて、夜昼変換処理を行う(ステップS10)。なお、車両との距離によって切り出した画像の大きさが異なっている。そこで、この実施形態では距離に応じて異なる大きさとなっている車両画像を、統一した大きさに変換(正規化)してから推定を行うようにしている。たとえば、車両画像の横幅(バウンダリーボックスの横幅)を定められた幅となるように、車両画像全体を均等に拡大縮小する。
【0084】
ここで、夜昼変換処理は、夜間に撮像した車両画像を昼間に撮像した車両画像であるかのように変換するための処理である。これにより、夜間に撮像した車両画像では大型車・小型車の判別が困難であったものを、可能にしている。なお、昼間に撮像した車両画像は、昼間の画像としてスタイル変換をせずに(スタイル変換をできるだけ抑えて)出力するようにしている。
【0085】
なお、夜昼変換処理により、車両の形状なども若干変形される可能性があるが、この装置の目的は大型車・小型車の判別にあるので、この推定結果に影響のない程度の変形は問題とする必要がない。
【0086】
この実施形態では、夜昼変換処理のために、学習済のスタイル変換モデルを用いている。この実施形態では、スタイル変換モデルとしてCycleGANを用いたが、GANなど他のモデルを用いてもよい。
【0087】
CycleGANによるスタイル変換モデルの構成を
図8に示す。昼夜変換モデル70は、与えられた昼車両画像(明るい車両画像)を夜車両画像(暗い車両画像)に変換するように学習されている。一方、夜昼変換モデル72は、与えられた夜車両画像を昼車両画像に変換するように学習されている。
【0088】
この実施形態では、学習済みの夜昼変換モデル72を夜昼変換処理に用いるようにしている。第1識別モデル74、第2識別モデル76、夜昼変換モデル70は、学習を行うために用いたものである。
【0089】
以下、
図8のスタイル変換モデルの学習について説明する。学習処理において、まず、
図9Aに示すような夜車両画像、
図9Bに示すような昼車両画像を多数用意して、SSD36に記録する。ここでは、用意する昼車両画像と夜車両画像は、同一車両の画像である必要はない。
【0090】
なお、CycleGANなどの敵対的生成ネットワークを用いずに、CNNなどによって夜昼変換処理を実現する場合には、同一の車両を同一の角度から昼と夜に撮像した対になる画像を用意し、夜車両画像を入力すれば昼画像車両を出力するように学習するとよい。
【0091】
この実施形態では、CycleGANをスタイル変換モデルとして用いるので、
図9に示すような対応関係の無い車両画像を用いることができる。
【0092】
図9の画像を用いた学習処理は以下のとおりである。
図8において、昼夜変換モデル70に、所定枚数の昼車両画像(
図9B)が与えられ、画像変換が行われて所定枚数の変換夜車両画像が生成される。この画像生成の際には、昼夜変換モデル70は学習されないようにしておく。
【0093】
次に、用意した
図9Aの夜車両画像から所定枚数を選択し、これらにオリジナルであるフラグ「1」を付ける。一方、上記生成した所定枚数の変換夜車両画像に、オリジナルではないフラグ「0」を付ける。このようにして得られた、夜車両画像と変換夜車両画像を、第2識別モデル76に与え、与えられた画像がオリジナルであるか否かを正しく判別できるように学習する。また、第2識別モデルによる識別の正答・誤答に応じて、夜昼変換モデル72を学習する。
【0094】
以上のようにして、第2識別モデルの識別能力(オリジナルとそうでない画像を見分ける能力)と、昼夜変換モデルの変換能力(昼画像を夜画像に変換する能力)が向上するように学習される。
【0095】
上記と同じようにして、夜昼変換モデル72、第1識別モデル74も学習される。
【0096】
この実施形態では、上記のようにして学習された夜昼変換モデル72を用いて、
図3、ステップS10の夜昼変換処理を行う。たとえば、切り出した車両画像が
図10Aのようなものである場合、
図10Bのような昼車両画像(変換昼車両画像)に変換する(夜昼変換)。
【0097】
なお、この実施形態では、カラーの車両画像を入力し、カラーの変換昼車両画像を得るようにしているが、グレースケール画像(白黒画像)を入力し、グレースケールの変換昼車両画像を得るようにしてもよい。
【0098】
なお、夜車両画像を与えて昼車両画像を生成するように学習された夜昼変換モデル72に、昼車両画像を与えると、ほぼ変化のない昼車両画像が変換画像(変換昼車両画像)として出力される(昼昼変換)。これは、昼車両画像には夜車両画像における夜画像の特徴が見当たらないため、変換すべき箇所が見当たらず、ほとんど変化されずに出力されるためと思われる。したがって、夜画像であるか昼画像であるかを区別せずに、全ての車両画像を夜昼変換モデル72に与えて、処理を行うことができる。
【0099】
次に、CPU30は、上記のようにして得られた変換昼車両画像(夜昼変換されたものだけでなく、昼昼変換されたものも含む)に基づいて、当該車両の各部位を推定し、部位ごとに塗り分けた部位推定車両画像を生成する(ステップS12)。
【0100】
この実施形態では、部位ごとに塗り分けた部位推定車両画像を生成するための部位推定モデルとして、セマンティック・セグメンテーション・モデルであるSegNetを用いるようにしている。なお、SegNetに代えてU-Netなど、他のセマンティック・セグメンテーション・モデルを用いるようにしてもよい。
【0101】
部位推定モデルの学習は、以下のようにして行う。学習処理において、まず、
図11A、
図11Bに示すような車両画像を多数用意して、SSD36に記録する。できれば、いろいろな車種、背景による画像が多数あることが好ましい。特に、小型車(乗用車や小型貨物車など)および大型車(バス、普通貨物車など)の双方がバランスよく含まれた画像であることが好ましい。
【0102】
学習のための画像データを得るために車両を撮像する場所やアングルは、できるだけ実際に運用する場合の場所やアングルに近いものであることが好ましい。たとえば、
図4Aに示すようなアングルにて撮像して運用を行うのであれば、これに近いアングルであることが好ましい。
【0103】
一方、カメラの設置位置にとらわれない汎用的なシステムを構築するのであれば、様々なアングルや角度による車両画像を学習データとして用いることが好ましい。
【0104】
学習データの作成において、
図11A、
図12Aの車両画像を、ディスプレイ34に表示する。ユーザは、画像を見ながら、キーボード/マウス40を操作して、前ナンバープレート、後ナンバープレート、前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、フロントガラス、左側面(側面ガラスを含む)、右側面(側面ガラスを含む)、背面、リアガラス、上面および背景(自動車以外の部分)を、それぞれ異なる色でラベル付けする。ラベル付けされた部位車両画像の例を
図11B、
図12Bに示す。この例では、正面を赤色、右側面をオレンジ色、左側面をピンク色、前ナンバープレートをグレー色というように、互いに区別できるように塗り分けている。
【0105】
生成された部位車両画像は、元の車両画像に対応付けて、ハードディスク36に記録される。なお、この実施形態では、ユーザによってカラーで色分けされたラベル画像を記録する際に、グレースケールで色分けして個々に区別可能にされた画像として記録するようにしている。
【0106】
以上のようにして、車両画像とこれに対応する部位車両画像が、多数、ハードディスク36に記録されることとなる。
【0107】
図13に、この実施形態において用いたSegNetモデルの概念構成図を示す。SegNetモデルは、入力された画像Iの各画素が、いずれのクラス(ここでは、正面、左タイヤなどのラベル)に属するかを示した画像Oを出力するように学習して使用するのに適したモデルである。
【0108】
畳み込み層、プーリング層によって画像の特徴を抽出するとともに、プーリングによって圧縮された画像を、アンプーリング層によって元の画像の解像度に戻すようにしている。この際、プーリングの際に用いたプーリング指数を、対応するアンプーリング層に伝達し、元の画像に含まれていた情報を復元するようにしている。
【0109】
用意した
図11、
図12の車両画像、部位車両画像に基づいて、
図13の部位推定モデルを学習する際のフローチャートを、
図15に示す。
【0110】
まず、CPU30は、SSD36から車両画像を取得する(ステップS62)。たとえば、
図11A、
図12Aのような車両画像を読みだす。次に、CPU30は、当該車両画像を部位推定モデル(SegNet)に与えその部位推定車両画像を得る(ステップS64)。なお、車両画像は、
図14に示すように、RGBの3チャンネルのデータとして与える。これに対して、得られる部位推定車両画像は1チャンネルのグレースケールデータである。
【0111】
続いて、CPU30は、当該車両画像に対応して用意されている部位車両画像を取得する(ステップS66)。CPU30は、部位推定車両画像が部位車両画像に合致するように(エラーが小さくなるように)、畳み込み層などのパラメータを学習する(ステップS68)。
【0112】
上記の処理を、所定数の車両画像について繰り返し、正しい部位推定画像が出力されるように学習する(ステップS60、S70)。この実施形態では、カラーの車両画像と、グレースケールの部位車両画像を用いて学習を行うようにしている。
【0113】
なお、上記実施形態では、車両一台ごとの画像に基づいて学習を行っている。しかし、複数の車両が撮像された画像およびこれに対応する部位車両画像に基づいて学習を行ってもよい。
【0114】
図3に戻って、ステップS12において、CPU30は、上記のようにして学習された部位推定モデルを用い、変換車両画像の部位領域を推定して、部位推定車両画像を生成する(ステップS12)。たとえば、
図16Aに示すような変換車両画像(カラー)に基づいて、
図16Bに示すような部位推定車両画像(グレースケール)を得ることができる。
図16Bでは、前面、前ナンバープレート、フロントガラス、左側面、上面、左前タイヤ、左後タイヤが認識されて、塗り分けられている。
【0115】
なお、この実施形態では、トラックについては、荷台を車体とし、その上に設けられているコンテナや装備などは車の部位として扱わない(背景とする)ようにしている(
図11Bの右から1枚目、
図12Bの右2枚参照)。これは、コンテナや装備を塗り分けて区別するほどこれらの車両の数が多くなく、また荷台の上に装備される物のバリエーションが多く(ゴミ収集車などの特装車、コンクリートミキサー車、クレーン車など多くのバリエーションがある)、適切な学習ができない可能性があるためである。
【0116】
なお、この実施形態では、ステップS10において、昼画像への変換を行った後に、部位推定処理を行っている。したがって、夜に撮像した画像であっても、精度よく部位推定車両画像を得ることができる。
【0117】
次に、CPU30は、上記の部位推定車両画像に基づいて、大小推定モデルにより、大型車であるか小型車であるかを推定する(ステップS14)。
【0118】
前述のように、この実施形態では、ステップS4において、乗用車、貨物車、バスなどの車種を得ている。しかし、貨物車の中には、小型貨物車(小型トラック)と普通貨物車(普通トラック)が含まれており、これらを区別するために、大型・小型の推定を行う。前者が小型であり、後者が大型である。
【0119】
また、乗用車の中には、ワゴン車やマイクロバスのように、その形状から大型車であるバスと誤って認識されることもある。そこで、この実施形態では、これらを区別するために、大型・小型の推定を行う。前者が小型であり、後者が大型である。
【0120】
以上のように、大型・小型の区別を行うことにより、ステップS4の判定結果とあわせて、道路交通センサスなどに用いられている分類である、乗用車(小型車)、小型貨物車(小型車)、バス(大型車)、普通貨物車(大型車)を得ることができる。
【0121】
この実施形態では、大型車・小型車を推定する大小推定モデルとして、畳み込みニューラルネットワークモデル(CNN)を用いている。大小推定モデルの学習は、以下のようにして行う。学習処理において、まず、大型車と小型車を区別するフラグが付された部位車両画像(部位推定車両画像でもよい)を多数用意し、SSD36に記録する。なお、部位車両画像は、車両画像に基づいて塗り分けたものであってもよいし、変換車両画像に基づいて塗り分けたものであってもよいし、両者を含むものであってもよい。
【0122】
図17に、学習処理のフローチャートを示す。まず、大型車と小型車のフラグが付された部位車両画像を多数用意し、SSD36に記録する。このような部位車両画像は、
図11B、
図12Bに示したものを用いることができる。
【0123】
学習データを用意する際、それぞれの部位車両画像を、ディスプレイ34に表示し、操作者が画像をみながら、キーボード/マウス40を操作して、大型車・小型車の区別を入力する。なお、部位車両画像だけでは判別が難しい場合があるので、元の車両画像も合わせて表示する。上述のように、乗用車(マイクロバス、ワゴン車を含む)や小型貨物車であれば小型車とし、バス、普通貨物車であれば大型車とする。この大型車・小型車の区別は、部位車両画像に対応付けて、SSD36に記録される。なお、
図11Bに示すものが小型車であり、
図12Bに示すものが大型車である。なお、大型車・小型車の区別は、部位推定車両画像を生成する際に、同時に入力しておくようにしてもよい。
【0124】
以上のようにして、大型車・小型車を区別するフラグの付された部位車両画像が、多数SSD36に記録されることとなる。
【0125】
学習処理において、CPU30は、SSD36から部位車両画像を取得する(ステップS82)。たとえば、
図11B、
図12Bのような部位車両画像を読みだす。次に、CPU30は、部位車両画像について、大小推定エンジンにより、大型・小型の推定を行う(ステップS84)。
【0126】
次に、CPU30は、部位車両画像に付されている大型・小型の区別を読みだす(ステップS86)。続いて、CPU30は、読み出した大型・小型の区別を教師データとし、ステップS84における推定結果に基づいて、CNNのパラメータを学習する(ステップS88)。
【0127】
所定数の部位車両画像に基づいて学習を行うと、CPU30は、学習処理を終了する(ステップS80、S90)。
【0128】
なお、この推定が機能している理由は、大型車と小型車とによって、外形形状が類似していたとしても、フロントガラスの占める割合や前後のタイヤ間隔などが異なるためであると思われる。
【0129】
なお、上記実施形態では、車両一台ごとの画像に基づいて学習を行っている。しかし、複数の車両が撮像された画像に基づいて学習を行ってもよい。
【0130】
図3のステップS14において、CPU30は、上記のようにして学習された大小推定モデルを用い、部位推定画像に基づいて大型・小型の推定を行う。次に、CPU30は、この大型・小型の推定結果に基づいて、ステップS4における車種推定を修正する(ステップS14)。
【0131】
ステップS4では、乗用車、貨物車、バスの車種推定を行っていた。この実施形態では、ステップS14において、
図18に示すように、大型・小型の推定に基づいて、車種推定を正確なものに修正している。
【0132】
CPU30は、当該車両画像の車両がはじめて撮像されたものであるかどうかを判断する(ステップS16)。はじめて撮像されたものであれば、当該車両に関し、上記車両推定の結果を記録する(ステップS20)。
【0133】
一方、動画中のこれまでのフレームにおいて撮像されたものであれば、すでに車両推定の結果が記録されているので、それに今回の推定結果を付け加える。なお、同じ車両であるかどうかは、車両画像の類似度によって判断することができる。
【0134】
以上のようにして、ステップS8において抽出した車両について、それが大型車であるか小型車であるかを含む車種推定を行うことができる。
【0135】
CPU30は、上記の推定を、車両画像の数だけ繰り返す(ステップS6、S22)。これにより、カメラによって撮像された画像に写し出された各車両について、車種の推定を行うことができる。
【0136】
次に、CPU30は、次の撮像画像を取り込み(ステップS202)、上記と同様にして、各車両の車種推定を行い、その結果を記録する(ステップS4~S22)。
【0137】
以上を繰り返すことで、各車両について、複数の車種推定結果を得ることができる。CPU30は、これらの車種推定結果を統合して、当該車両に対する最終的な車種推定結果として確定する(ステップS24)。たとえば、複数ある車種推定結果のうち、最も多い車種推定結果を、最終的な車種推定結果とする。
【0138】
以上のようにして、リアルタイムに撮像を行いながら正確に少なくとも大型車・小型車の判断を含む車種を判断することができる。
【0139】
1.4その他
(1)上記実施形態では、ステップS14において、部位推定画像に基づいて大型・小型の推定を行っている。しかし、ステップS10で生成した変換車両画像(またはステップS8で抽出した車両画像)も含めて推定に用いるようにしてもよい。バウンダリーボックスで囲われた変換車両画像(車両画像)には、撮像時の背景も含まれているので、背景画像による情報も大型・小型の推定に用いられ推定精度が向上する。
【0140】
この場合、大小推定モデルの学習は、部位車両画像および変換車両画像(車両画像)の双方を用いて行うことになる。部位車両画像としてグレースケールを用い、変換車両画像(車両画像)としてカラーを用いる場合には、大小推定モデルに与える画像データとしては、RGBの1~3チャンネルにて変換車両画像(車両画像)を与え、4チャンネルに部位車両画像(部位推定車両画像)を与えるようにすればよい。
【0141】
すなわち、
図19に示すように、カラーのRGBデータの対応する位置に、部位車両画像(部位推定車両画像)のグレースケールデータを4チャンネルとして付加すればよい。
【0142】
また、上記変形例では、学習・推定のために用いる車両画像をカラー画像としているが、グレースケール化した変換車両画像(車両画像)を、学習や推定に用いるようにしてもよい。グレースケール化することで、色に起因する誤推定を低減させることができる。
【0143】
(2)上記実施形態では、ステップS10において夜車両画像を昼車両画像に変換する際、昼車両画像も変換モデルに与えて、夜昼変換画像を得るようにしている。しかし、
図20のフローチャートに示すように、車両画像が夜画像であるか否かを判断し、夜画像である場合にのみ変換を行い、昼画像の場合には変換をせずに用いるようにしてもよい。
【0144】
なお、ステップS101における夜車両画像であるか否かの判断は、車両画像のダイナミックレンジの大きさ(夜画像はダイナミックレンジが小さい)や撮像時刻に基づいて判断することができる。
【0145】
(3)上記実施形態では、ステップS10において、夜昼変換を行うようにしている。しかし、これに代えて、あるいはこれに加えて、車体の色を変換する変換モデルを用いるようにしてもよい。
【0146】
たとえば、
図21Aに示すような青色の車体の車両画像を、
図21Bに示す白色の車体の車両画像に変換し、変換車両画像とする。
【0147】
この場合、
図8に示すようなCycleGANモデルを学習させて用いることができる。学習には、車体に色のある車両画像と、車体が白である車両画像を用いて、夜昼変換の場合と同じように学習させることができる。
【0148】
車体を白にすることで、部位推定車両画像の生成精度が向上する。また、白色の車体とすることで、これを大小推定に用いる場合に、色(あるいはグレースケール化したときの濃度)に起因した誤推定を排除することができる。また白色の車体に変換することで、結果として映り込みがなくなり、誤判定を起こしにくくなる。
【0149】
学習済の車体色変換モデルに、白色の車体の車両画像を入力すると、同じく白色の車両画像が出力される。したがって、車体の色にかかわらず車体色変換モデルによる変換を行って処理を行うことができる。
【0150】
また、夜昼変換の場合と同じように、車体の色が白色か否かを判断し、白色以外の色であれば車体色変換モデルによる変換を行い、それ以外の色の場合には車体色変換モデルによる変換を行わず、そのまま出力するようにしてもよい。
【0151】
なお、車体が白色であるか否かは、暫定的に部位推定を行い、側面や前面と判断された部位が白色であるか否かによって判断することができる。
【0152】
いずれの色に変換するのが好ましいかは、背景などとの関係において、部位推定を行いやすい、大小推定を行いやすいなどの要因を考慮して決定するとよい。
【0153】
また、模様のある車体を、模様のない一色の車体に変換するようにしてもよい。
【0154】
(4)上記実施形態では、ステップS10において、夜昼変換を行うようにしている。しかし、これに代えて、あるいはこれに加えて、車体やガラスへの映り込みをなくすように変換する変換モデルを用いるようにしてもよい。
【0155】
たとえば、
図22Aに示すような、フロントガラスや前面に映り込みのある画像を、
図22Bに示すような、映り込みのない画像に変換し、変換車両画像として出力することができる。
【0156】
この場合、
図8に示すようなCycleGANモデルを学習させて用いることができる。学習には、映り込みのある車両画像と、映り込みのない車両画像を用いて、夜昼変換の場合と同じように学習させることができる。
【0157】
映り込みのない車両画像にすることで、部位推定車両画像の生成精度が向上する。また、映り込みのない車両画像とすることで、これを大小推定に用いる場合に、映り込みに起因した誤推定を排除することができる。
【0158】
学習済の映り込み除去変換モデルに、映り込みのない車両画像を入力すると、同じく映り込みのない車両画像が出力される。したがって、映り込みの有無にかかわらず映り込み除去変換モデルによる変換を行って処理を行うことができる。
【0159】
また、夜昼変換の場合と同じように、映り込みがあるか否かを判断し、映り込みがあれば映り込み除去変換モデルによる変換を行い、映り込みがない場合には映り込み除去変換モデルによる変換を行わず、そのまま出力するようにしてもよい。なお、晴れた日の日中の所定の時間帯においては映り込みがあるものとして、当該時間帯に撮像した車両画像については映り込み除去変換モデルによる変換を行い、それ以外の場合には映り込み除去変換モデルによる変換を行わず、そのまま出力するようにしてもよい。
【0160】
なお、車体が白色であるか否かは、暫定的に部位推定を行い、側面や前面と判断された部位の濃度が一様でないことによって、判断することができる。
【0161】
(5)上記実施形態では、ステップS10において、夜昼変換を行うようにしている。しかし、これに代えて、あるいはこれに加えて、車体の一部が欠損している場合に、欠損箇所を補うように変換する変換モデルを用いるようにしてもよい。このような欠損は、カメラの撮像アングルの端に車両が来たときや、車両同士が重なった場合に生じる。
【0162】
たとえば、
図23Aに示すような、側面や上面が欠損した画像を、
図23Aに示すような欠損のない画像に変換し、変換車両画像として出力することができる。
【0163】
この場合、
図8に示すようなCycleGANモデルを学習させて用いることができる。学習には、欠損のある車両画像と、欠損のない車両画像を用いて、夜昼変換の場合と同じように学習させることができる。
【0164】
欠損のない車両画像にすることで、部位推定車両画像の生成精度が向上する。また、欠損のない車両画像とすることで、これを大小推定に用いる場合に、欠損に起因した誤推定を排除することができる。
【0165】
学習済の欠損補完変換モデルに、欠損のない車両画像を入力すると、同じく欠損のないのない車両画像が出力される。したがって、欠損の有無にかかわらず欠損補完変換モデルによる変換を行って処理を行うことができる。
【0166】
また、夜昼変換の場合と同じように、欠損があるか否かを判断し、欠損があれば欠損補完変換モデルによる変換を行い、欠損がない場合には欠損補完変換モデルによる変換を行わず、そのまま出力するようにしてもよい。
【0167】
なお、欠損があるか否かは、暫定的に部位推定を行い、いずれかの部位が所定長さ以上にわたって画像端部と接している場合には、欠損があると判断することができる。また、ステップS4において、バウンダリーボックスが重なっていれば、欠損があると判断することができる。
【0168】
また、上記に示した画像変換の各例は、互いに2以上を組み合わせて実施することが可能である。
【0169】
(6)上記実施形態では、車両画像の大きさを正規化した後、推定を行うようにしている。しかし、正規化せずに推定を行うようにしてもよい。
【0170】
(7)上記実施形態では、まず、車種を推定してから、大型・小型の推定を行って、修正し最終的な車種を得ている。しかし、ステップS4において、車両の部位推定画像を用いて、最終的な車種の推定を一度に行ってもよい。
【0171】
(8)上記実施形態では、リアルタイムに車種の推定を行っている。しかし、記録済みの撮像画像に基づいて上記の処理を行って、車種の推定を行うようにしてもよい。この場合、カメラ2によって撮像した画像を可搬性記録媒体に記録し、これをSSD36に読み込んで処理を行うようにしてもよい。
【0172】
(9)上記実施形態では、部位推定画像として、前面、前ナンバープレート、側面、タイヤ、フロントガラスなどの部位領域を明らかにしたものを用いている。しかし、大型車と小型車において、全体の大きさが分かる部位と、フロントガラスやタイヤ間隔やナンバープレートの大きさが分かるような部位を含む部位推定画像を用いることができる。たとえば、少なくとも、フロントガラスといずれかの側面を含む部位推定画像を用いてもよい。また、少なくとも、いずれかの前タイヤと後タイヤといずれかの側面を含む部位推定画像を用いてもよい。
【0173】
(10)上記実施形態では、全ての車両についての共通した学習済み推論モデルを構築して、大型車・小型車の推定をしている。しかし、ステップS4において推定した車種ごとに学習済み推論モデルを構築し、車種ごとに大型車・小型車の推定をしてもよい。また、車種の判定を行うようにしてもよい。
【0174】
(11)上記実施形態では部位推定画像に基づいて大型車・小型車の推論を行っている。しかし、これに代えて、あるいはこれに加えて、車両画像を正規化した時のバウンダリーボックス枠の大きさや車両が専有する面積などを推論の根拠として用いるようにしてもよい。
【0175】
(12)上記実施形態では、いろいろな方向に移動する車両を撮像している。しかし、カメラ設置の際に、一方にのみ移動する車(向かってくる車のみ等)だけが撮像されるように設定すれば、推定処理が容易となり精度も向上する。
【0176】
(13)上記実施形態では、同一の車両に対する複数の車両画像に基づいて、大型小型の判断を行っている。しかし、一枚の画像に基づいてこれを行うようにしてもよい。
【0177】
(14)上記実施形態では、
図1aに示すように、装置を構成している。しかし、
図1bに示すように、撮像画像全体について変換画像を生成し、当該変換画像に基づいて車両画像を抽出するようにしてもよい。
【0178】
また、撮像部2、変換画像生成手段6、車両画像抽出手段4(車種推定処理を含む)によって装置を構成してもよい。これにより、夜間の撮像画像などであっても、車種の推定を行うことが可能となる。この場合、変換画像生成手段6は、車両画像抽出手段4による処理に適した変換画像を生成する。
【0179】
(15)上記実施形態では、スタンドアローンの装置として構成したが、車両画像抽出手段4、変換画像生成手段6、部位推定車両画像生成手段8、大小推定手段10を備えたサーバ装置として構成してもよい。この場合、端末装置からサーバ装置に対して、撮像画像が送信されることになる。
【0180】
(16)上記実施形態およびその変形例は、その本質に反しない限り他の実施形態や変形例と組み合わせて実施可能である。
【0181】
2.第2の実施形態
2.1機能構成
図24aに、この発明の第2の実施形態による車推定装置の機能構成を示す。この実施形態では、大小推定に加えて、交通量の計測を行う装置として構成している。
【0182】
撮像部2、車両画像抽出手段4、変換画像生成手段6、部位推定車両画像生成手段8、大小推定手段10は、第1の実施形態と同様の構成である。
【0183】
車両通過判断手段54は、車両がバウンダリーボックス60にて囲われた撮像画像を、車両画像抽出手段4から取得する。車両通過判断手段54は、当該バウンダリーボックス60が、連続撮影画像において自動車の移動軌跡と交わるように設定された通過線62を跨ぐかどうかを判断し、車両が通過したかどうかを判断する。
【0184】
車両通過判断手段54によって通過した車両を判断し、その数を計数することで交通量の計測を行うことができる。通過線62とバウンダリーボックス60を用いて通過の有無を判断しているので、精度良く自動車の通過を判断することができる。
【0185】
また、大小推定手段10から、通過を判定した車両が大型車であるか小型車であるかの情報を得るので、その情報も含めて交通量の計測を行うことができる。
【0186】
2.2ハードウエア構成
ハードウエア構成は、第1の実施形態において示した
図2と同様である。
【0187】
3.3交通量計測処理
図25~
図27に、交通量計測処理機能を有する車推定プログラム46のフローチャートを示す。CPU30は、カメラ2による撮像画像を取得し、SSD36に記録する。この実施形態では、動画として撮像を行っている。
図4Aに、撮像画像の例を示す。この実施形態では、電柱や街頭の上にカメラ2を設けて、上方からの固定的なアングルにて撮像を行っている。
【0188】
CPU30は、SSD36に記録された撮像画像の1フレームを取得する(ステップS202)。この実施形態では、撮像画像が記録されるとリアルタイムでこれを読み出して処理を行うようにしている。しかし、撮像画像を一旦記録しておき、後に、交通量計測処理を行うようにしてもよい。
【0189】
CPU30は、取得した1フレームの撮像画像に含まれる車両を認識し、
図4Bに示すように、当該車両が内接されるバウンダリーボックス(矩形領域)を生成する(ステップS204)。この処理は、第1の実施形態と同じようにして、学習済の物体検知モデルを用いることができる。
【0190】
次に、CPU30は、
図4Bのように認識された各バウンダリーボックスに、車両IDを付与する(ステップS206~S216)。ここで、車両IDとは、撮像画像中に写し出された車両を特定するためのIDである。この実施形態では、異なるフレームの画像であっても、同一の車両に対しては同一の車両IDを付すようにしている。以下、車両IDの付与を詳細に説明する。
【0191】
CPU30は、撮像画像中の車両のバウンダリーボックスの一つを対象バウンダリーボックスとして選択する(ステップS208)。CPU30は、このバウンダリーボックスにおける車両と類似(たとえば画像特徴量に基づいて類似度を判断する)する車両が、前のフレームにおいて画面上の車両進行方向について逆(後)方向の位置にあったかどうかを判断する(ステップS210)。あれば、先のフレームにおいて当該車両に与えられている車両IDを引き継いで、今回のフレームの当該車両に与える(ステップS212)。なければ、当該車両は初めて撮像されたものであると判断し、当該車両に新たな車両IDを付す(ステップS214)。
【0192】
なお、ノイズ画像などにより、前のフレームにおいて登場しているにも拘わらず、類似している車両がないと判断されることがある。この場合に、新たな車両IDを付すことは妥当ではない。そこで、この実施形態では、
図4Aの線200を完全に超えたバウンダリーボックスについては、必ず前のフレームにおいて同一車両が登場しているものとして処理を行うようにしている。具体的には、1フレームの間に車両が移動する平均的距離を考慮して、前のフレームにおいて当該位置に存在する車両を同一の車両であるとする。
【0193】
CPU30は、一つのバウンダリーボックスについて以上の処理を行うと、次のバウンダリーボックスについて同様の処理を行う。これを、全てのバウンダリーボックスについて行うことで、1フレームの撮像画像のすべてのバウンダリーボックスについて車両IDを与えることができる。
【0194】
たとえば、
図28Aに示すように、1フレームの撮像画像の全てのバウンダリーボックス(車両画像は省略している)について車両ID(C1~C4)が与えられたものとする。
【0195】
CPU30は、このうちの一つのバウンダリーボックスに着目する(ステップS220)。たとえば、車両ID=C4のバウンダリーボックスに着目したとする。CPU30は、バウンダリーボックスC4の重心と底辺の中心点の位置の算出する(ステップS222)。図においては、これを点にて示している。
【0196】
CPU30は、このバウンダリーボックスC4が、第1通過線62aを通過したかどうかを判断する(ステップS224)。ここで、第1通過線62aは、操作者が撮像画像をディスプレイ34に表示しながら、キーボード/マウス40によって予め設定されたものである。第2通過線62bも同様である。
【0197】
第1通過線62aは、車両の通過方向において、第2通過線62bよりも上流に設けるようにしている。
【0198】
この実施形態では、CPU30は、1)バウンダリーボックスの重心が第1通過線62aよりも下流側にあること、および、2)1つ前のフレームにおいて、同じ車両IDのバウンダリーボックスの重心が第1通過線62aより上流側にあることの2つの条件が満たされた時、第1通過線62aを通過したと判断する。
【0199】
図28Aにおいて、バウンダリーボックスC4は、第1通過線62aより上流側にあるので、第1通過線62aを通過したとは判断されない。
【0200】
したがって、第1通過フラグは降りたままであるので(第1通過フラグは初期状態において降りている)、ステップS228を経て、バウンダリーボックスC4についての処理が終了する。
【0201】
CPU30は、上記と同じようにして、他のバウンダリーボックスC1、C2、C3についてもステップS218~S236の処理を行う。全ての対象車両IDについての処理を終えると、CPU30は、SSD36から次のフレームの撮像画像を取得する(ステップS202)。
【0202】
取得した撮像画像について車両を認識し、バウンダリーボックスを生成する(ステップS204)。さらに、これらのバウンダリーボックスに対して、車両IDを付す(ステップS206~S216)。この状態を
図28Bに示す。
【0203】
続いて、このフレーム中の各バウンダリーボックスに対し、第1通過線62a、第2通過線62bを通過したかどうかの判断を行う。たとえば、バウンダリーボックスC4は、その重心が第1通過線62aより下流側にあり、1フレーム前の画像(
図28A)では、第1通過線62aより上流側にあった。したがって、CPU30は、バウンダリーボックスC4が第1通過線62aを通過したと判断し、第1通過フラグ62aを立てる(ステップS226)。
【0204】
続いて、CPU30は、バウンダリーボックスC4の底辺中心点が第2通過線62bを通過したかどうか判断する(ステップS230)。CPU30は、1)バウンダリーボックスの底辺中心点が第2通過線62bよりも下流側にあること、および、2)1つ前のフレームにおいて、同じ車両IDのバウンダリーボックスの底辺中心点が第2通過線62bより上流側にあることの2つの条件が満たされた時、第2通過線62bを通過したと判断する。
【0205】
図28Bの状態においては、バウンダリーボックスC4の底辺中心点は、第2通過線62bより上流にあるので、第2通過線62bを通過していないと判断される。
【0206】
したがって、第2通過フラグは降りたままであるので(第2通過フラグは初期状態において降りている)、ステップS230を経て、バウンダリーボックスC4についての処理が終了する。
【0207】
CPU30は、上記と同じようにして、他のバウンダリーボックスC1、C2、C3についてもステップS218~S236の処理を行う。全ての対象車両IDについての処理を終えると、CPU30は、SSD36から次のフレームの撮像画像を取得する(ステップS202)。
【0208】
このようにして、
図28C、
図28D、
図28E、
図28Fのフレーム画像について、順次処理が行われる。バウンダリーボックスC4は、
図28Fのフレーム画像において、第2通過線62bを通過する。したがって、CPU30は、ステップS230からS232に進み、第2通過フラグを立てる。
【0209】
これにより、第1通過フラグ、第2通過フラグの双方が立ったので、CPU30は、バウンダリーボックスC4について、通過車両であると判断する(ステップS238)。そして、通過台数をインクリメントして計数し記録する。
【0210】
なお、このようにして通過が確認されて計数されたバウンダリーボックスC4の車両は、その後の処理対象とする必要はないので、ステップS218~S236の処理の対象となる処理対象車両から外す。
【0211】
なお、この実施形態では、反対車線の車両などで、第2通過線62bを先に通過し、第1通過線62aを後に通過した車両は、通過車両であると計数しないようにしている。
【0212】
以上のようにして、第1通過線62aを通過した後、第2通過線62bを通過した車両について、通過車両として計数を行うことができる。
【0213】
続いて、CPU30は、車両画像に基づいて大型小型を含む車種を推定する。そのフローチャートを
図27に示す。この処理は、第1の実施形態と同様である。ただし、この実施形態では、車両IDを付しているので、これを用いて推定結果を記録するようにしている。
【0214】
したがって、CPU30は、大型車・小型車の推定結果を用いて、大型小型の分類を含めて、交通量を計数することができる。たとえば、
図18に示すような車種ごとに、通過量を計数することができる。
【0215】
2.4その他
(1)上記実施形態においては、第1通過線62aを通過した後、第2通過線62bを通過した車両について、通過車両として計数を行うようにしている。しかし、第2通過線62bを通過した後、第1通過線62aを通過した車両について、反対方向の通過車両として計数を行うようにしてもよい。
【0216】
(2)上記実施形態では、第1通過線62aについては重心、第2通過線62bについては底辺中心点によって通過の有無を判断している。しかし、双方とも、重心または底辺中心点を用いて判断してもよい。
【0217】
撮像画像においてカメラより遠い側の通過線(
図28における線62a)においては、バウンダリーボックスの中心位置(重心、中心、中央近傍の点など)によって通過を判断することが好ましい。通過を確実に判断できるからである。
【0218】
また、撮像画像においてカメラに近い側の通過線(
図28における線62b)においては、バウンダリーボックスの底辺上の点(中心点には限らない)によって通過を判断することが好ましい。画面を有効に活用し、通過検出漏れを防ぐことができるからである。
【0219】
(3)上記実施形態では、2つの通過線を用いて通過を判断している。しかし、3つ以上の通過線を用い、これらを順に通過した場合に、通過したものと判断するようにしてもよい。また、1つの通過線のみを設け、この通過線を通過したことにより、車両が通過したものと判断するようにしてもよい。この場合、時系列のフレームにおける車両の位置から、いずれの方向に通過したかを判断するようにしてもよい。
【0220】
(4)上記実施形態では、一方向に車両が移動する車道についての交通量を計測している。しかし、
図29に示すように交差点を撮像画像とし、交差点の入口(出口)において通過線62a~62h(図では、各道路につき通過線を複数設けているが一本でもよい)を設け、通過方向も含めて計数すれば、交差点の通行量を詳細に把握することができる。
【0221】
これにより、
図29のIからIV、IからVI、IからVIII、IからII(Uターン)など(II以下についても同様)、いずれの方向から来ていずれの方向に進んだかを計数することができる。
【0222】
この計数データに基づいて、
図30に示すような信号制御システムを構築することができる。交通量計測装置にて計測した交差点の通行量(たとえば、30分前の通行量)に基づいて、信号制御装置が、信号の青の時間、赤の時間、青矢印の時間などを制御する。交通量計測装置が信号制御装置を兼ねていてもよい。
【0223】
たとえば、信号制御装置は、IからVIへの車両通過量とVからIIへの車両通量との合計値と、IIIからVIIIへの車両通過量とVIIからIVへの車両通過量との合計値を比較し、その比率に応じて、信号機250(256)の青の時間と信号機252(254)の青の時間の比率を制御する。また、IからVIへの車両通行量とIからIVへの車両通行量との比率に応じて、信号機250の青の時間と青矢印の時間の比率を制御する。
【0224】
また、交差点に入る手前の道路において通行量を計数して、将来の交差点における通過量を予測し、これに基づいて信号機を制御するようにしてもよい。
【0225】
(6)上記実施形態によって計数した車両通過量を、交差点における右折レーンの長さの設計のために用いることができる。たとえば、
図30の交差点において、IからIVへの車両通行量に基づいて、Iに設ける右折レーンの長さを算出することができる。
【0226】
たとえば、このような交差点における交通量情報をサーバ装置に記録しておき、端末装置にインストールされた道路設計ソフトウェアにてこの情報を取得し、これに基づいて右折レーンの長さを提案して設計者に提示するようにしてもよい。
【0227】
(7)上記実施形態によって計数した車両通行量に基づいて、累積の道路通行量がしきい値を超えたら、道路補修時期である旨のワーニングを出力するようにしてもよい。
【0228】
(8)上記実施形態においては、
図24aのように装置を構成している。しかし、第1の実施形態における変形例(
図1b参照)と同じように、撮像画像全体について変換画像を生成してから、車両画像を抽出するようにしてもよい。
【0229】
また、
図24bに示すように、大小推定を行わず、変換画像に基づいて車両画像を抽出し、車両の通過を判断するようにしてもよい。
【0230】
(9)上記実施形態においては、通過線62を用いて、車両の通過を判断するようにしている。しかし、その他の方法(バウンダリーボックス60が画面から消えたか否かなど)によって通過を判断するようにしてもよい。
【0231】
(10)上記実施形態では、スタンドアローンの装置として構成したが、車両画像抽出手段4、変換画像生成手段6、部位推定車両画像生成手段8、大小推定手段10、車両通過判断手段54を備えたサーバ装置として構成してもよい。この場合、端末装置からサーバ装置に対して、撮像画像が送信されることになる。
【0232】
(11)上記実施形態およびその変形例は、その本質に反しない限り他の実施形態や変形例と組み合わせて実施可能である。
【0233】
3.第3の実施形態
3.1機能構成
図31に、この発明の一実施形態による入場管理システムの機能ブロック図を示す。撮像部2は、たとえば、施設などの駐車場入口に設けられ、入口ゲートに近づく車両を撮像する。車種推定計数手段100は、たとえば、第2の実施形態にて説明した手法によって、撮像画像に基づいて車種を推定し、車種ごとに通過車両数を計数するものである。ゲート制御手段150は、当該推定された車種に基づいて、ゲートの開閉を制御するものである。たとえば、大型車と小型車によって、大型車のための駐車場へのゲート、小型車のための駐車場へのゲートを開けるかを制御する。
【0234】
3.2システム構成と動作
図32に、入場管理システムの入場ゲートの外観を示す。小型車用ゲート120と大型車用ゲート140が設けられている。カメラ2は、これらのゲートに進入しようとする車両を撮像する。
【0235】
図33に、ハードウエア構成を示す。コンピュータ160は、第1の実施形態における
図2の構成と同様のものである。ただし、CPU30は、ゲート120、140の開閉を制御するゲート制御部180に対して、指令を与えることができるようになっている。
【0236】
図34に、制御プログラムのフローチャートを示す。CPU30は、ステップS110において、カメラ2によって撮像した画像を取得する。撮像画像において車両が認識されなければ、ステップS110を繰り返す。
【0237】
車両が認識されると、CPU30は、第1の実施形態にて説明した処理により、車種(大型・小型)の推定を行う(ステップS114)。大型であると推定した場合、CPU30は、大型用ゲート140を開くようゲート制御部180に指示する(ステップS116)。また、小型であると推定した場合、CPU30は、小型用ゲート120を開くようゲート制御部180に指示する(ステップS116)。
【0238】
ゲートを開いた後、通過検出のセンサ(図示せず)からの出力を受けると、CPU30は、ゲートを閉じる(ステップS118)。
【0239】
以上のようにして、自動的に大型小型を判定して、行き先のゲートを選択して開閉することができる。また、入場した大型車、小型車の数を計数しているので、大型車用のエリアまたは小型車用のエリアが満車になったことを表示器(図示せず)によって表示することができる。
【0240】
3.3その他
(1)上記実施形態では、駐車場について説明したが、ドライブスルーサファリなどその他の施設についても同様に適用することができる。また、上記では、大型・小型の判断に基づいてゲートを選択的に開閉しているが、より細かい車種分けに応じてゲートを選択的に開閉するようにしてもよい。
【0241】
また、所定の車種に応じて(あるいは大型・小型に応じて)、ゲートを開けるかどうかを判断するようにしてもよい。たとえば、小型車専用の橋であれば、その入口で大型車に対してはゲートを開けないように制御することができる。
【0242】
(2)上記実施形態では、ゲートの開閉を制御する場合について説明した。しかし、車種推定(大型小型の推定を含む)に応じて、駐車料金や施設利用料金を算出するようにしてもよい。高速道路などの入り口において利用することができる。
【0243】
(3)上記実施形態およびその変形例は、その本質に反しない限り他の実施形態や変形例と組み合わせて実施可能である。