知財求人 - 知財ポータルサイト「IP Force」
▶ 田中 成典の特許一覧 ▶ 今井 龍一の特許一覧 ▶ 山本 雄平の特許一覧 ▶ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｔｙｌｅ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022163387
(43)【公開日】2022-10-26
(54)【発明の名称】車推定装置
(51)【国際特許分類】
G08G 1/015 20060101AFI20221019BHJP
G06T 7/00 20170101ALI20221019BHJP
【ＦＩ】
G08G1/015 A
G06T7/00 650B
G06T7/00 350B
【審査請求】未請求
【請求項の数】22
【出願形態】ＯＬ
(21)【出願番号】P 2021068265
(22)【出願日】2021-04-14
(71)【出願人】
【識別番号】500063228
【氏名又は名称】田中 成典
(71)【出願人】
【識別番号】511121768
【氏名又は名称】今井 龍一
(71)【出願人】
【識別番号】517305883
【氏名又は名称】山本 雄平
(71)【出願人】
【識別番号】519113745
【氏名又は名称】Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｔｙｌｅ株式会社
(74)【代理人】
【識別番号】100092956
【弁理士】
【氏名又は名称】古谷 栄男
(74)【代理人】
【識別番号】100101018
【弁理士】
【氏名又は名称】松下 正
(72)【発明者】
【氏名】田中 成典
(72)【発明者】
【氏名】今井 龍一
(72)【発明者】
【氏名】山本 雄平
(72)【発明者】
【氏名】中原 匡哉
(72)【発明者】
【氏名】中畑 光貴
(72)【発明者】
【氏名】高野 精久
(72)【発明者】
【氏名】山中 亮
(72)【発明者】
【氏名】大月 庄治
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA02
5H181AA03
5H181BB13
5H181BB20
5H181CC04
5H181DD01
5H181EE07
5H181EE10
5L096AA02
5L096AA06
5L096BA04
5L096CA04
5L096CA24
5L096DA01
5L096DA03
5L096EA13
5L096FA60
5L096FA62
5L096FA64
5L096FA69
5L096GA51
5L096HA11
5L096JA03
5L096JA22
5L096KA04
5L096MA07
(57)【要約】
【課題】 柔軟性の高い車判定を行うことのできる車推定装置を提供する。
【解決手段】 車両画像抽出手段４は、撮像画像に含まれる車両を認識し、当該車両をバウンダリーボックスで囲って出力する。変換画像生成手段６は、車両画像を、部位推定車両画像生成手段８によって部位推定を行うために好ましい変換車両画像に変換する。部位推定車両画像生成手段８は、変換車両画像について当該車両の各部位を塗り分けた部位推定車両画像を出力する。大小推定手段１０は、部位推定車両画像に基づいて、当該車両が大型車であるか小型車であるかを推定する。部位推定車両画像に基づいて大型車であるか小型車であるかを判断しているので、より正確な推定を行うことができる。また、変換画像生成手段６によって、部位推定のために好ましい変換車両画像を生成している。したがって、撮像された画像の品質が好ましくなくとも適切な推定を行うことができる。
【選択図】 図１ａ
【解決手段】 車両画像抽出手段４は、撮像画像に含まれる車両を認識し、当該車両をバウンダリーボックスで囲って出力する。変換画像生成手段６は、車両画像を、部位推定車両画像生成手段８によって部位推定を行うために好ましい変換車両画像に変換する。部位推定車両画像生成手段８は、変換車両画像について当該車両の各部位を塗り分けた部位推定車両画像を出力する。大小推定手段１０は、部位推定車両画像に基づいて、当該車両が大型車であるか小型車であるかを推定する。部位推定車両画像に基づいて大型車であるか小型車であるかを判断しているので、より正確な推定を行うことができる。また、変換画像生成手段６によって、部位推定のために好ましい変換車両画像を生成している。したがって、撮像された画像の品質が好ましくなくとも適切な推定を行うことができる。
【選択図】 図１ａ
【特許請求の範囲】
【請求項1】
走行する車両を撮像した撮像画像中の車両を認識し、当該車両を囲うバウンダリーボックスによって車両画像を抽出する車両画像抽出手段と、
車両画像に基づいて、当該車両の部位を抽出するために適した変換車両画像を出力する変換画像生成手段と、
変換車両画像に基づいて、当該車両の前後のタイヤ、側面を含む部位領域に塗り分けられた部位推定車両画像を出力する部位推定車両画像生成手段と、
部位推定車両画像に基づいて、当該車両が大型車か小型車かを推定する大小推定手段と、
を備えた車推定装置。
車両画像に基づいて、当該車両の部位を抽出するために適した変換車両画像を出力する変換画像生成手段と、
変換車両画像に基づいて、当該車両の前後のタイヤ、側面を含む部位領域に塗り分けられた部位推定車両画像を出力する部位推定車両画像生成手段と、
部位推定車両画像に基づいて、当該車両が大型車か小型車かを推定する大小推定手段と、
を備えた車推定装置。
【請求項2】
車推定装置をコンピュータによって実現するための車推定プログラムであって、コンピュータを、
走行する車両を撮像した撮像画像中の車両を認識し、当該車両を囲うバウンダリーボックスによって車両画像を抽出する車両画像抽出手段と、
車両画像に基づいて、当該車両の部位を抽出するために適した変換車両画像を出力する変換画像生成手段と、
変換車両画像に基づいて、当該車両の前後のタイヤ、側面を含む部位領域に塗り分けられた部位推定車両画像を出力する部位推定車両画像生成手段と、
部位推定車両画像に基づいて、当該車両が大型車か小型車かを推定する大小推定手段として機能させるための車推定プログラム。
走行する車両を撮像した撮像画像中の車両を認識し、当該車両を囲うバウンダリーボックスによって車両画像を抽出する車両画像抽出手段と、
車両画像に基づいて、当該車両の部位を抽出するために適した変換車両画像を出力する変換画像生成手段と、
変換車両画像に基づいて、当該車両の前後のタイヤ、側面を含む部位領域に塗り分けられた部位推定車両画像を出力する部位推定車両画像生成手段と、
部位推定車両画像に基づいて、当該車両が大型車か小型車かを推定する大小推定手段として機能させるための車推定プログラム。
【請求項3】
請求項１の装置または請求項２のプログラムにおいて、
前記車両画像抽出手段は、前記撮像画像に基づいて、当該撮像画像中の車両を認識して、当該車両を囲うバウンダリーボックスによって車両画像を抽出するよう学習された学習済変換モデルを用いて抽出処理を行い、または
前記変換画像生成手段は、前記車両画像に基づいて、当該車両の部位を抽出するために適した変換車両画像を生成するよう学習された学習済変換モデルを用いて生成処理を行い、または
前記部位推定車両画像生成手段は、前記変換車両画像に基づいて、当該車両の前後のタイヤ、側面を含む部位領域に塗り分けられた部位推定車両画像を生成するよう学習された学習済部位推定モデルを用いて生成処理を行い、または
大小推定手段は、前記部位推定車両画像に基づいて、当該車両が大型車か小型車かを推定するよう学習された学習済大小推定モデルを用いて推定処理を行うことを特徴とする装置またはプログラム。
前記車両画像抽出手段は、前記撮像画像に基づいて、当該撮像画像中の車両を認識して、当該車両を囲うバウンダリーボックスによって車両画像を抽出するよう学習された学習済変換モデルを用いて抽出処理を行い、または
前記変換画像生成手段は、前記車両画像に基づいて、当該車両の部位を抽出するために適した変換車両画像を生成するよう学習された学習済変換モデルを用いて生成処理を行い、または
前記部位推定車両画像生成手段は、前記変換車両画像に基づいて、当該車両の前後のタイヤ、側面を含む部位領域に塗り分けられた部位推定車両画像を生成するよう学習された学習済部位推定モデルを用いて生成処理を行い、または
大小推定手段は、前記部位推定車両画像に基づいて、当該車両が大型車か小型車かを推定するよう学習された学習済大小推定モデルを用いて推定処理を行うことを特徴とする装置またはプログラム。
【請求項4】
請求項１～３のプログラムにおいて、
前記変換画像生成手段は、少なくとも夜間に撮像された前記車両画像を受けて、昼間に撮像されたような変換車両画像を出力するよう学習された学習済変換モデルを用いることを特徴とする装置またはプログラム。
前記変換画像生成手段は、少なくとも夜間に撮像された前記車両画像を受けて、昼間に撮像されたような変換車両画像を出力するよう学習された学習済変換モデルを用いることを特徴とする装置またはプログラム。
【請求項5】
請求項４の装置またはプログラムにおいて、
前記変換画像生成手段は、前記車両画像が夜間に撮像されたものであるか否かを、当該車両画像の撮像時間または当該車両画像のデータ内容に基づいて判断し、夜間に撮像されたと判断された車両画像を前記学習済変換モデルを用いて変換車両画像とし、夜間に撮像されたと判断されなかった車両画像はそのまま変換車両画像として出力することを特徴とする装置またはプログラム。
前記変換画像生成手段は、前記車両画像が夜間に撮像されたものであるか否かを、当該車両画像の撮像時間または当該車両画像のデータ内容に基づいて判断し、夜間に撮像されたと判断された車両画像を前記学習済変換モデルを用いて変換車両画像とし、夜間に撮像されたと判断されなかった車両画像はそのまま変換車両画像として出力することを特徴とする装置またはプログラム。
【請求項6】
請求項１～５のいずれかの装置またはプログラムにおいて、
前記変換画像生成手段は、前記車両画像を受けて、車体ボディの色を変更した変換車両画像を出力するよう学習された学習済変換モデルを用いることを特徴とする装置またはプログラム。
前記変換画像生成手段は、前記車両画像を受けて、車体ボディの色を変更した変換車両画像を出力するよう学習された学習済変換モデルを用いることを特徴とする装置またはプログラム。
【請求項7】
請求項６の装置またはプログラムにおいて、
前記変換画像生成手段は、前記車両画像の車体ボディの色が変換後の車体ボディの色と異なるか否かを当該車両画像データに基づいて判断し、異なると判断された車両画像を前記学習済変換モデルを用いて変換車両画像とし、同一色であると判断された車両画像はそままま変換車両画像として出力することを特徴とする装置またはプログラム。
前記変換画像生成手段は、前記車両画像の車体ボディの色が変換後の車体ボディの色と異なるか否かを当該車両画像データに基づいて判断し、異なると判断された車両画像を前記学習済変換モデルを用いて変換車両画像とし、同一色であると判断された車両画像はそままま変換車両画像として出力することを特徴とする装置またはプログラム。
【請求項8】
請求項１～７のいずれかの装置またはプログラムにおいて、
前記変換画像生成手段は、前記車両画像を受けて、車体への映り込みが低減された変換車両画像を出力するように学習された学習済変換モデルを用いることを特徴とする装置またはプログラム。
前記変換画像生成手段は、前記車両画像を受けて、車体への映り込みが低減された変換車両画像を出力するように学習された学習済変換モデルを用いることを特徴とする装置またはプログラム。
【請求項9】
請求項８の装置またはプログラムにおいて、
前記変換画像生成手段は、前記車両画像において車体への映り込みがあるか否かを当該車両画像の撮像時間または当該車両画像データに基づいて判断し、あると判断された車両画像を前記学習済変換モデルを用いて変換車両画像とし、ないと判断された車両画像はそままま変換車両画像として出力することを特徴とする装置またはプログラム。
前記変換画像生成手段は、前記車両画像において車体への映り込みがあるか否かを当該車両画像の撮像時間または当該車両画像データに基づいて判断し、あると判断された車両画像を前記学習済変換モデルを用いて変換車両画像とし、ないと判断された車両画像はそままま変換車両画像として出力することを特徴とする装置またはプログラム。
【請求項10】
請求項１～９のいずれかの装置またはプログラムにおいて、
前記変換画像生成手段は、少なくとも欠損部分のある前記車両画像を受けて、欠損部分が補完された変換車両画像を出力するように学習された学習済変換モデルを用いることを特徴とする装置またはプログラム。
前記変換画像生成手段は、少なくとも欠損部分のある前記車両画像を受けて、欠損部分が補完された変換車両画像を出力するように学習された学習済変換モデルを用いることを特徴とする装置またはプログラム。
【請求項11】
請求項１０の装置またはプログラムにおいて、
前記変換画像生成手段は、前記車両画像に欠損部分があるか否かを判断し、欠損部分があると判断すれば前記学習済変換モデルを用いて変換車両画像を出力し、欠損部分がないと判断すれば当該車両画像をそのまま変換車両画像として出力することを特徴とする装置またはプログラム。
前記変換画像生成手段は、前記車両画像に欠損部分があるか否かを判断し、欠損部分があると判断すれば前記学習済変換モデルを用いて変換車両画像を出力し、欠損部分がないと判断すれば当該車両画像をそのまま変換車両画像として出力することを特徴とする装置またはプログラム。
【請求項12】
請求項１、３～１１のいずれかの装置おいて、
前記車両画像または前記変換車両画像をグレースケール化して、グレースケール車両画像またはグレースケール変換車両画像を出力するグレースケール化手段をさらに備え、
前記大小推定手段は、前記部位推定車両画像とグレースケール車両画像またはグレースケール変換車両画像とに基づいて、当該車両が大型車であるか小型車であるかを推定することを特徴とする装置。
前記車両画像または前記変換車両画像をグレースケール化して、グレースケール車両画像またはグレースケール変換車両画像を出力するグレースケール化手段をさらに備え、
前記大小推定手段は、前記部位推定車両画像とグレースケール車両画像またはグレースケール変換車両画像とに基づいて、当該車両が大型車であるか小型車であるかを推定することを特徴とする装置。
【請求項13】
請求項２～１１のいずれかのプログラムにおいて、
当該プログラムは、コンピュータを、さらに、前記車両画像または前記変換車両画像をグレースケール化して、グレースケール車両画像またはグレースケール変換車両画像を出力するグレースケール化手段として機能させるものであり、
前記大小推定手段は、前記部位推定車両画像とグレースケール車両画像またはグレースケール変換車両画像とに基づいて、当該車両が大型車であるか小型車であるかを推定することを特徴とするプログラム。
当該プログラムは、コンピュータを、さらに、前記車両画像または前記変換車両画像をグレースケール化して、グレースケール車両画像またはグレースケール変換車両画像を出力するグレースケール化手段として機能させるものであり、
前記大小推定手段は、前記部位推定車両画像とグレースケール車両画像またはグレースケール変換車両画像とに基づいて、当該車両が大型車であるか小型車であるかを推定することを特徴とするプログラム。
【請求項14】
請求項１～１３のいずれかの装置またはプログラムにおいて、
前記大小推定手段は、推定した大型車・小型車の区別を含む車種を出力することを特徴とする装置またはプログラム。
前記大小推定手段は、推定した大型車・小型車の区別を含む車種を出力することを特徴とする装置またはプログラム。
【請求項15】
請求項１、３～１４のいずれかの装置おいて、
前記所定のエリアの撮像画像において設定された通過線に基づいて、連続した前記撮像画像において、前記バウンダリーボックスが当該通過線を跨いだことを検出して車両の通過を判断する車両通過判断手段をさらに備えた装置。
前記所定のエリアの撮像画像において設定された通過線に基づいて、連続した前記撮像画像において、前記バウンダリーボックスが当該通過線を跨いだことを検出して車両の通過を判断する車両通過判断手段をさらに備えた装置。
【請求項16】
請求項２～１４のいずれかのプログラムおいて、
当該プログラムは、コンピュータを、さらに、前記所定のエリアの撮像画像において設定された通過線に基づいて、連続した前記撮像画像において、前記バウンダリーボックスが当該通過線を跨いだことを検出して車両の通過を判断する車両通過判断手段として機能させることを特徴とするプログラム。
当該プログラムは、コンピュータを、さらに、前記所定のエリアの撮像画像において設定された通過線に基づいて、連続した前記撮像画像において、前記バウンダリーボックスが当該通過線を跨いだことを検出して車両の通過を判断する車両通過判断手段として機能させることを特徴とするプログラム。
【請求項17】
請求項１５または１６の装置またはプログラムにおいて、
前記通過線は２つ設定されており、
前記車両通過判断手段は、バウンダリーボックスが前記２つの通過線の双方に交差したことにより、車両の通過であると判断することを特徴とする装置またはプログラム。
前記通過線は２つ設定されており、
前記車両通過判断手段は、バウンダリーボックスが前記２つの通過線の双方に交差したことにより、車両の通過であると判断することを特徴とする装置またはプログラム。
【請求項18】
請求項１５～１７のいずれかの装置またはプログラムにおいて、
前記通過線は、車両の移動方向の手前から第１通過線、第２通過線の２つ設定されており、
前記車両通過判断手段は、バウンダリーボックスが第１通過線に交差した後、第２通過線に交差した場合に、車両の通過であると判断することを特徴とする装置またはプログラム。
前記通過線は、車両の移動方向の手前から第１通過線、第２通過線の２つ設定されており、
前記車両通過判断手段は、バウンダリーボックスが第１通過線に交差した後、第２通過線に交差した場合に、車両の通過であると判断することを特徴とする装置またはプログラム。
【請求項19】
請求項１８の装置またはプログラムにおいて、
前記車両通過判断手段は、前記バウンダリーボックスの中心位置が、第１の通過線または第２の通過線のうち撮像画像においてカメラに対して遠い側にある通過線を通過したかどうかによって交差したかどうかを判断し、前記バウンダリーボックスの底辺の点が、第１の通過線または第２の通過線のうち撮像画像においてカメラより近い側にある通過線を通過したかどうかによって交差したかどうかを判断することを特徴とする装置またはプログラム。
前記車両通過判断手段は、前記バウンダリーボックスの中心位置が、第１の通過線または第２の通過線のうち撮像画像においてカメラに対して遠い側にある通過線を通過したかどうかによって交差したかどうかを判断し、前記バウンダリーボックスの底辺の点が、第１の通過線または第２の通過線のうち撮像画像においてカメラより近い側にある通過線を通過したかどうかによって交差したかどうかを判断することを特徴とする装置またはプログラム。
【請求項20】
請求項１～１９のいずれかの装置またはプログラムにおいて、
前記車推定装置は、サーバ装置として構築されていることを特徴とする装置またはプログラム。
前記車推定装置は、サーバ装置として構築されていることを特徴とする装置またはプログラム。
【請求項21】
走行する車両を撮像して撮像画像を出力する撮像部と、
撮像画像に基づいて、当該撮像画像中の車両を認識するために適した変換車両画像を出力する変換画像生成手段と、
前記変換撮像画像中の車両を認識し、当該車両を囲うバウンダリーボックスによって車両画像を抽出する車両画像抽出手段と、
前記所定のエリアの撮像画像において設定された通過線に基づいて、連続した前記撮像画像において、前記バウンダリーボックスが当該通過線を跨いだことを検出して車両の通過を判断する車両通過判断手段と、
を備えた車両通過検出装置。
撮像画像に基づいて、当該撮像画像中の車両を認識するために適した変換車両画像を出力する変換画像生成手段と、
前記変換撮像画像中の車両を認識し、当該車両を囲うバウンダリーボックスによって車両画像を抽出する車両画像抽出手段と、
前記所定のエリアの撮像画像において設定された通過線に基づいて、連続した前記撮像画像において、前記バウンダリーボックスが当該通過線を跨いだことを検出して車両の通過を判断する車両通過判断手段と、
を備えた車両通過検出装置。
【請求項22】
コンピュータによって車両通過検出装置を実現するための車両通過検出プログラムであって、コンピュータを、
走行する車両を撮像した撮像画像に基づいて、当該撮像画像中の車両を認識するために適した変換車両画像を出力する変換画像生成手段と、
前記変換撮像画像中の車両を認識し、当該車両を囲うバウンダリーボックスによって車両画像を抽出する車両画像抽出手段と、
前記所定のエリアの撮像画像において設定された通過線に基づいて、連続した前記撮像画像において、前記バウンダリーボックスが当該通過線を跨いだことを検出して車両の通過を判断する車両通過判断手段として機能させるための車両通過検出プロプログラム。
走行する車両を撮像した撮像画像に基づいて、当該撮像画像中の車両を認識するために適した変換車両画像を出力する変換画像生成手段と、
前記変換撮像画像中の車両を認識し、当該車両を囲うバウンダリーボックスによって車両画像を抽出する車両画像抽出手段と、
前記所定のエリアの撮像画像において設定された通過線に基づいて、連続した前記撮像画像において、前記バウンダリーボックスが当該通過線を跨いだことを検出して車両の通過を判断する車両通過判断手段として機能させるための車両通過検出プロプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、撮像した画像に基づいて、自動車が大型車か小型車かを推定する装置に関するものである。
【背景技術】
【0002】
交通量の調査や施設における管理のために、自動車が大型車であるか小型車であるかを判断する必要がある。たとえば、交通量の調査においては、交差点などで調査員が目視にて、通過する車両の種類や大型小型などの分類を行って、その分類ごとに交通量を計数している。
【0003】
近年、ディープラーニングを用いて撮像した物体の種類を判別することが行われている（たとえばYOLOモデル）。この物体検知モデルを種々の車両によって学習し、学習済モデルにて車両の種類を判別する装置を実現することができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１７－１４２５８７
【特許文献2】特開２００２－０４２１１３
【特許文献3】特開２０１３－２５７７２０
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記のような学習済モデルによる装置を交通量調査などに適用すると、自動車の種類は推定できたとしても、大型車であるか小型車であるかの推定まではできなかった。特に同一の種類の自動車（たとえばトラック）における、大型・小型（たとえば、大型トラック、小型トラック）の判定は困難であった。
【0006】
また、自動車のナンバープレートの文字を読み取り、当該文字から種類などを推定するシステムも提案されている（特許文献１）。このシステムによれば、自動車の種類だけでなく、ナンバープレートの文字に現れた大型車、小型車の区別を取得することができる。このようなナンバープレートの文字による推定を行えば、種類だけでなく大型・小型の区別も可能となる。
【0007】
しかしながら、撮像距離や位置、天候などによって、ナンバープレートの文字を読み取れない可能性がある。このため、交通量調査などに用いることには制限があった。
【0008】
また、特許文献２、３では、タイヤのホイールベースに基づいて、大型車であるか小型車であるかを判断している。
【0009】
しかしながら、タイヤのホイールべースのみの基づいて判断しているので、必ずしもその正確性が十分ではなかった。
【0010】
また、上記いずれの従来技術においても、撮像した画像が夜間のため鮮明でない、一部欠損しているなど不十分である場合には、大型車か小型車かの判断を行うことができなかった。
【0011】
この発明は上記のような問題点を解決して、柔軟性の高い車判定を行うことのできる車推定装置を提供することを目的とする。
【課題を解決するための手段】
【0012】
この発明の独立して適用可能な特徴を以下に列挙する。
【0013】
(1)(2)この発明に係る車推定装置は、走行する車両を撮像した撮像画像中の車両を認識し、当該車両を囲うバウンダリーボックスによって車両画像を抽出する車両画像抽出手段と、車両画像に基づいて、当該車両の部位を抽出するために適した変換車両画像を出力する変換画像生成手段と、変換車両画像に基づいて、当該車両の前後のタイヤ、側面を含む部位領域に塗り分けられた部位推定車両画像を出力する部位推定車両画像生成手段と、部位推定車両画像に基づいて、当該車両が大型車か小型車かを推定する大小推定手段とを備えている。
【0014】
車両画像を変換車両画像に変換した上で部位推定車両画像を生成し、これに基づいて大小推定を行うようにしている。したがって、精度よく大型車・小型車の推定を行うことができる。
【0015】
(3)この発明に係る車推定装置は、車両画像抽出手段は、前記撮像画像に基づいて、当該撮像画像中の車両を認識して、当該車両を囲うバウンダリーボックスによって車両画像を抽出するよう学習された学習済抽出モデルを用いて抽出処理を行い、または前記変換画像生成手段は、前記車両画像に基づいて、当該車両の部位を抽出するために適した変換車両画像を生成するよう学習された学習済生成モデルを用いて生成処理を行い、または前記部位推定車両画像生成手段は、前記変換車両画像に基づいて、当該車両の前後のタイヤ、側面を含む部位領域に塗り分けられた部位推定車両画像を生成するよう学習された学習済部位推定モデルを用いて生成処理を行い、または大小推定手段は、前記部位推定車両画像に基づいて、当該車両が大型車か小型車かを推定するよう学習された学習済大小推定モデルを用いて推定処理を行うことを特徴としている。
【0016】
したがって、これら手段を学習処理によって構築することができる。
【0017】
(4)この発明に係る車推定装置は、変換画像生成手段が、少なくとも夜間に撮像された前記車両画像を受けて、昼間に撮像されたような変換車両画像を出力するよう学習された学習済変換モデルを用いることを特徴としている。
【0018】
したがって、夜間に撮像した暗い画像であっても、大型車、小型車の推定を行うことができる。
【0019】
(5)この発明に係る車推定装置は、変換画像生成手段が、前記車両画像が夜間に撮像されたものであるか否かを、当該車両画像の撮像時間または当該車両画像のデータ内容に基づいて判断し、夜間に撮像されたと判断された車両画像を前記学習済変換モデルを用いて変換車両画像とし、夜間に撮像されたと判断されなかった車両画像はそのまま変換車両画像として出力することを特徴としている。
【0020】
したがって、夜間撮像の暗い画像についてのみ変換を行うことができる。
【0021】
(6)この発明に係る車推定装置は、変換画像生成手段が、前記車両画像を受けて、車体ボディの色を変更した変換車両画像を出力するよう学習された学習済変換モデルを用いることを特徴としている。
【0022】
したがって、背景などとの関係において、部位推定や対象推定の行いやすい車体ボディ色に変換することができる。
【0023】
(7)この発明に係る車推定装置は、変換画像生成手段が、前記車両画像の車体ボディの色が変換後の車体ボディの色と異なるか否かを当該車両画像データに基づいて判断し、異なると判断された車両画像を前記学習済変換モデルを用いて変換車両画像とし、同一色であると判断された車両画像はそのまま変換車両画像として出力することを特徴としている。
【0024】
したがって、変換の必要な車両画像についてのみ変換を行うことができる。
【0025】
(8)この発明に係る車推定装置は、変換画像生成手段が、前記車両画像を受けて、車体への映り込みが低減された変換車両画像を出力するように学習された学習済変換モデルを用いることを特徴としている。
【0026】
したがって、部位推定などを行いやすい映り込みの低減された車両画像に変換することができる。
【0027】
(9)この発明に係る車推定装置は、変換画像生成手段が、前記車両画像において車体への映り込みがあるか否かを、当該車両画像の撮像時間または当該車両画像データに基づいて判断し、あると判断された車両画像を前記学習済変換モデルを用いて変換車両画像とし、ないと判断された車両画像はそままま変換車両画像として出力することを特徴としている。
【0028】
したがって、映り込みのある車両画像についてのみ変換を行うことができる。
【0029】
(10)この発明に係る車推定装置は、変換画像生成手段が、少なくとも欠損部分のある前記車両画像を受けて、欠損部分が補完された変換車両画像を出力するように学習された学習済変換モデルを用いることを特徴としている。
【0030】
したがって、部位推定などを行いやすい欠損のない車両画像に変換することができる。
【0031】
(11)この発明に係る車推定装置は、変換画像生成手段が、前記車両画像に欠損部分があるか否かを判断し、欠損部分があると判断すれば前記学習済変換モデルを用いて変換車両画像を出力し、欠損部分がないと判断すれば当該車両画像をそのまま変換車両画像として出力することを特徴としている。
【0032】
したがって、欠損のある車両画像についてのみ変換を行うことができる。
【0033】
(12)(13)この発明に係る車推定装置は、前記車両画像または前記変換車両画像をグレースケール化して、グレースケール車両画像またはグレースケール変換車両画像を出力するグレースケール化手段をさらに備え、前記大小推定手段は、前記部位推定車両画像とグレースケール車両画像またはグレースケール変換車両画像とに基づいて、当該車両が大型車であるか小型車であるかを推定することを特徴としている。
【0034】
したがって、色の違いによる大小推定の誤判断を抑制しつつ、オリジナル画像に含まれる情報を考慮した大小推定を行うことができる。
【0035】
(14)この発明に係る車推定装置は、大小推定手段が、推定した大型車・小型車の区別を含む車種を出力することを特徴としている。
【0036】
したがって、大小推定を加味した車両判定を行うことができる。
【0037】
(15)(16)この発明に係る車推定装置は、所定のエリアの撮像画像において設定された通過線に基づいて、連続した前記撮像画像において、前記バウンダリーボックスが当該通過線を跨いだことを検出して車両の通過を判断する車両通過判断手段を備えている。
【0038】
したがって、車両の通過を計測することができる。
【0039】
(17)この発明に係る車推定装置は、通過線は２つ設定されており、車両通過判断手段は、バウンダリーボックスが前記２つの通過線の双方に交差したことにより、車両の通過であると判断することを特徴としている。
【0040】
したがって、より正確に車両の通過を判断することができる。
【0041】
(18)この発明に係る車推定装置は、通過線は、車両の移動方向の手前から第１通過線、第２通過線の２つ設定されており、車両通過判断手段は、バウンダリーボックスが第１通過線に交差した後、第２通過線に交差した場合に、車両の通過であると判断することを特徴としている。
【0042】
したがって、通過方向も判断することができる。
【0043】
(19)この発明に係る車推定装置は、車両通過判断手段が、前記バウンダリーボックスの中心位置が、第１の通過線または第２の通過線のうち撮像画像においてカメラに対して遠い側にある通過線を通過したかどうかによって交差したかどうかを判断し、前記バウンダリーボックスの底辺の点が、第１の通過線または第２の通過線のうち撮像画像においてカメラより近い側にある通過線を通過したかどうかによって交差したかどうかを判断することを特徴としている。
【0044】
したがって、画面を有効に活用して、大きな車両画像にて通過線の通過を判断することができる。
【0045】
(20)この発明に係る車推定装置は、車推定装置が、サーバ装置として構築されていることを特徴としている。
【0046】
したがって、端末装置から撮像画像を送信し、これを利用することができる。
【0047】
(21)(22)この発明に係る車両通過検出装置は、走行する車両を撮像して撮像画像を出力する撮像部と、撮像画像に基づいて、当該撮像画像中の車両を認識するために適した変換車両画像を出力する変換画像生成手段と、前記変換撮像画像中の車両を認識し、当該車両を囲うバウンダリーボックスによって車両画像を抽出する車両画像抽出手段と、前記所定のエリアの撮像画像において設定された通過線に基づいて、連続した前記撮像画像において、前記バウンダリーボックスが当該通過線を跨いだことを検出して車両の通過を判断する車両通過判断手段とを備えている。
【0048】
したがって、夜間撮像など車両抽出に適さない撮像画像であっても、車両の通過判断を行うことができる。
【0049】
「車両画像抽出手段」は、実施形態においては、ステップＳ４がこれに対応する。
【0050】
「変換画像生成手段」は、実施形態においては、ステップＳ１０がこれに対応する。
【0051】
「部位推定車両画像生成手段」は、実施形態においては、ステップＳ１２がこれに対応する。
【0052】
「大小推定手段」は、実施形態においては、ステップＳ１４がこれに対応する。
【0053】
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。
【図面の簡単な説明】
【0054】
【図1a】この発明の一実施形態による車推定装置の機能構成図である。
【図1b】他の実施形態による車推定装置の機能構成図である。
【図2】車推定装置のハードウエア構成である。
【図3】車推定プログラムのフローチャートである。
【図4】撮像画像およびバウンダリーボックスである。
【図5】車両認識モデルのための学習データの例である。
【図6】車両認識モデルの学習処理のフローチャートである。
【図7】バウンダリーボックスで囲われた車両画像の例である。
【図8】夜昼変換モデル７２を学習して生成するための処理を説明するための図である。
【図9】夜昼変換モデル７２を学習するための学習データを示す図である。
【図10】夜昼変換モデル７２によって、夜車両画像を昼車両画像に変換した例である。
【図11】部位推定モデルを学習するための学習データを示す図である。
【図12】部位推定モデルを学習するための学習データを示す図である。
【図13】部位推定モデルの構成を示す図である。
【図14】部位推定モデルに与える車両画像データの構造である。
【図15】部位推定モデルの学習処理のフローチャートである。
【図16】部位推定モデルに与える車両画像と、出力される部位推定車両画像を示す図である。
【図17】大小推定モデルの学習処理のフローチャートである。
【図18】大小推定を含む車種を示す図である。
【図19】大小推定モデルに与えるデータの構成を示す図である。
【図20】変形例による処理を示すフローチャートである。
【図21】車体の色変換を示す図である。
【図22】映り込みの削除変換を示す図である。
【図23】一部欠損を補完する変換を示す図である。
【図24a】第２の実施形態による車推定装置の機能構成図である。
【図24b】他のの実施形態による車推定装置の機能構成図である。
【図25】車推定プログラムのフローチャートである。
【図26】車推定プログラムのフローチャートである。
【図27】車推定プログラムのフローチャートである。
【図28】通過計数を説明するための図である。
【図29】交差点での通過車両判断を示す図である。
【図30】通過量計測を信号機の制御に用いたシステム例である。
【図31】第３の実施形態による交通量計測装置の機能構成である。
【図32】ゲートの外観を示す図である。
【図33】ハードウエア構成を示す図である。
【図34】制御プログラムのフローチャートである。
【発明を実施するための形態】
【0055】
１．第１の実施形態
1.1機能構成
図１に、この発明の一実施形態による車推定装置の機能構成を示す。撮像部２は、道路など自動車が通行する箇所を撮像するように設置され、撮像画像を出力する。車両画像抽出手段４は、撮像画像に含まれる車両を認識し、当該車両をバウンダリーボックスで囲って出力する。車両画像抽出手段４は、たとえば、撮像画像と当該撮像画像の車両部分をバウンダリーボックスで囲った画像とに基づいて学習させた推定モデルを用いることができる。
1.1機能構成
図１に、この発明の一実施形態による車推定装置の機能構成を示す。撮像部２は、道路など自動車が通行する箇所を撮像するように設置され、撮像画像を出力する。車両画像抽出手段４は、撮像画像に含まれる車両を認識し、当該車両をバウンダリーボックスで囲って出力する。車両画像抽出手段４は、たとえば、撮像画像と当該撮像画像の車両部分をバウンダリーボックスで囲った画像とに基づいて学習させた推定モデルを用いることができる。
【0056】
変換画像生成手段６は、車両画像を、部位推定車両画像生成手段８によって部位推定を行うために好ましい変換車両画像に変換する。この変換画像生成手段６は、たとえば、車両画像を変換車両画像に変換する生成器を用いることができる。この場合、生成された変換車両画像とこれに対応する本物の車両画像とを識別する識別器によって、生成器を学習するとよい。
【0057】
部位推定車両画像生成手段８は、変換車両画像について当該車両の各部位を塗り分けた部位推定車両画像を出力する。この部位推定車両画像生成手段８は、たとえば、変換車両画像と、変換車両画像を各部位に塗り分けた画像とに基づいて学習させた推定モデルを用いることができる。推定モデルとしては、セマンティックセグメンテーションが好ましい。
【0058】
大小推定手段１０は、部位推定車両画像に基づいて、当該車両が大型車であるか小型車であるかを推定する。この大小推定手段１０は、たとえば、部位推定車両画像と当該車両が大型車であるか小型車であるかのデータとに基づいて学習させた推定モデルを用いることができる。
【0059】
上記のように、この実施形態では、部位推定車両画像に基づいて大型車であるか小型車であるかを判断しているので、より正確な推定を行うことができる。また、変換画像生成手段６によって、部位推定のために好ましい変換車両画像を生成している。したがって、撮像された画像の品質が好ましくなくとも適切な推定を行うことができる。
【0060】
1.2ハードウエア構成
図２に、車推定装置のハードウエア構成を示す。ＣＰＵ３０には、メモリ３２、ディスプレイ３４、カメラ２、ＳＳＤ３６、ＤＶＤ－ＲＯＭドライブ３８、キーボード／マウス４０、通信回路４２が接続されている。
図２に、車推定装置のハードウエア構成を示す。ＣＰＵ３０には、メモリ３２、ディスプレイ３４、カメラ２、ＳＳＤ３６、ＤＶＤ－ＲＯＭドライブ３８、キーボード／マウス４０、通信回路４２が接続されている。
【0061】
通信回路４２は、インターネットに接続するためのものである。ＳＳＤ３６には、オペレーティングシステム４４、車推定プログラム４６が記録されている。車推定プログラム４６は、オペレーティングシステム４４と協働してその機能を発揮するものである。
【0062】
これらプログラムは、ＤＶＤ－ＲＯＭ４８に記録されていたものを、ＤＶＤ－ＲＯＭドライブ３８を介して、ＳＳＤ３６にインストールしたものである。
【0063】
1.3車推定処理
図３に、車推定プログラム４６のフローチャートを示す。ＣＰＵ３０は、カメラ２によるカラー撮像画像を取得し、ＳＳＤ３６に記録する。この実施形態では、動画として撮像を行っている。撮像された動画は、ＳＳＤ３６に記録される。図４Ａに、撮像画像の例を示す。この実施形態では、電柱や街頭の上にカメラ２を設けて、上方からの固定的なアングルにて撮像を行っている。
図３に、車推定プログラム４６のフローチャートを示す。ＣＰＵ３０は、カメラ２によるカラー撮像画像を取得し、ＳＳＤ３６に記録する。この実施形態では、動画として撮像を行っている。撮像された動画は、ＳＳＤ３６に記録される。図４Ａに、撮像画像の例を示す。この実施形態では、電柱や街頭の上にカメラ２を設けて、上方からの固定的なアングルにて撮像を行っている。
【0064】
ＣＰＵ３０は、ＳＳＤ３６に記録されたカラー撮像画像の１フレームを取得する（ステップＳ２）。この実施形態では、撮像画像が記録されるとリアルタイムでこれを読み出して処理を行うようにしている。しかし、撮像画像を一旦記録しておき、後に、車推定処理を行うようにしてもよい。
【0065】
ＣＰＵ３０は、取得した１フレームの撮像画像に含まれる車両を認識し、図４Ｂに示すように、当該車両が内接されるバウンダリーボックス（矩形領域）を生成する（ステップＳ４）。この実施形態では、車両を認識してバウンダリーボックスを生成する処理のために学習済みの推論モデル（例えばディープラーニングによる機械学習のモデル）を用いている。
【0066】
この実施形態では、YOLO(You Only Look Onece)による物体検知のモデルを用いて、撮像画像から車両の位置と領域を認識し、バウンダリーボックスにて車両を囲って出力するようにしている。なお、YOLO以外のend-to-endメソッドを用いてもよい。また、スライディング・ウインドウ・アプローチやR-CNNなどの領域候補メソッド(Region Proposal Method)などの物体検知のモデルを用いてもよい。
【0067】
物体検知モデルの学習は、以下のようにして行う。なお、この実施形態においては、学習処理は、図２のコンピュータを用いて行うようにしているが、他のコンピュータを用いてもよい（以下の他の機械学習モデルについても同様である）。
【0068】
学習処理において、まず、図５Ａに示すような車両の含まれる画像データを多数用意して、ＳＳＤ３６に記録する。できれば、いろいろな車種による画像が多数あることが好ましい。
【0069】
学習のための画像データを得るために車両を撮像する場所やアングルは、できるだけ実際に運用する場合の場所やアングルに近いものであることが好ましい。たとえば、図４Ａに示すようなアングルにて撮像して運用を行うのであれば、これに近いアングルであることが好ましい。
【0070】
一方、カメラの設置位置にかかわらない汎用的な物体検知モデルを構築するのであれば、様々なアングル、場所、背景による学習データを用意することが好ましい。
【0071】
それぞれの画像データ（オリジナル画像データ）を、ディスプレイ３４に表示する。ユーザは、画像を見ながら、キーボード／マウス４０を操作して、図５Ｂに示すように車両部分を矩形（バウンダリーボックス）で囲う。
【0072】
これにより、図５Ｃに示すように、バウンダリーボックスの左上座標、右下座標（二次元画像中の座標）が記録された解析データと、オリジナル画像データとが対応付けられてＳＳＤ３６に記録される。
【0073】
上記の処理を、全てのオリジナル画像について行う。これにより、多数の学習データが、ＳＳＤ３６に記録されることになる。
【0074】
図６に、車両認識のために、物体検知モデル（YOLO）を学習する処理のフローチャートを示す。ＣＰＵ３０は、ＳＳＤ３６からオリジナル画像を取得する（ステップＳ５２）。たとえば、図５Ａに示すようなオリジナル画像を読み出す。次に、ＣＰＵ３０は、オリジナル画像について、物体検知モデル（YOLO）により、車両認識を行って、認識した車両を囲むバウンダリーボックス（の座標）および推定した車種を出力する（ステップＳ５４）。すなわち、クラス分けされた対象物の領域を出力する。
【0075】
次に、ＣＰＵ３０は、オリジナル画像に対応づけて記録されているバウンダリボックスの座標および車種情報である解析データ（図５Ｃ）を読み出す（ステップＳ５８）。続いて、ＣＰＵ３０は、図５Ａ、図５Ｃの解析データを教師データとし、車両認識の結果に基づいて、ステップＳ５４における認識のためのパラメータを学習する（ステップＳ６０）。
【0076】
以上のようにして、学習済みの推論モデルである物体検知モデルが生成される。なお、最初は、未学習の推論モデルあるいは学習不足の推論モデルであるが、上記の処理を繰り返すことで、十分に学習済みの推論モデルを得ることができる。
【0077】
なお、上記では、車両を認識するだけでなくその車種（乗用車、トラック、バスなど）も推定するようにしている。この学習済の物体検知モデル（YOLO）にて、車種だけでなく大型車・小型車を推定させることも、理論的には不可能ではない。しかし、車種の推定と異なって、大型車・小型車の推定を精度よく行うことは、撮像画像に基づく推定では困難である。
【0078】
なお、この実施形態では、車両の前方からの写真だけでなく、後方や側面からの写真も学習データとして用いるようにしている。したがって、いずれの方向にて撮像された車両であっても推論を行うことができるような推論モデルを生成できる。運用時に前方など特定の方向からの車両だけを判断すればよいのであれば、前方のなど特定の方向だけからの写真に基づいて学習データを作成すればよい。
【0079】
図３のフローチャートに戻って、ステップＳ４において、ＣＰＵ３０は、上記のようにして学習された物体検知モデルを用いて、撮像された画像（図４Ａ）に写し出された車両を認識し、図４Ｂに示すバウンダリーボックスおよび車種を算出する。
【0080】
なお、この実施形態では、カラー撮像画像に基づいて車両の認識を行っているが、グレースケール画像（白黒画像）に基づいて車両認識を行うようにしてもよい。
【0081】
【0082】
続いて、ＣＰＵ３０は、バウンダリーボックスに基づいて、それぞれの車両の画像を切り出す（ステップＳ８）。切り出した車両画像の例を、図７に示す。
【0083】
ＣＰＵ３０は、切り出した車両画像に基づいて、夜昼変換処理を行う（ステップＳ１０）。なお、車両との距離によって切り出した画像の大きさが異なっている。そこで、この実施形態では距離に応じて異なる大きさとなっている車両画像を、統一した大きさに変換（正規化）してから推定を行うようにしている。たとえば、車両画像の横幅（バウンダリーボックスの横幅）を定められた幅となるように、車両画像全体を均等に拡大縮小する。
【0084】
ここで、夜昼変換処理は、夜間に撮像した車両画像を昼間に撮像した車両画像であるかのように変換するための処理である。これにより、夜間に撮像した車両画像では大型車・小型車の判別が困難であったものを、可能にしている。なお、昼間に撮像した車両画像は、昼間の画像としてスタイル変換をせずに（スタイル変換をできるだけ抑えて）出力するようにしている。
【0085】
なお、夜昼変換処理により、車両の形状なども若干変形される可能性があるが、この装置の目的は大型車・小型車の判別にあるので、この推定結果に影響のない程度の変形は問題とする必要がない。
【0086】
この実施形態では、夜昼変換処理のために、学習済のスタイル変換モデルを用いている。この実施形態では、スタイル変換モデルとしてCycleGANを用いたが、GANなど他のモデルを用いてもよい。
【0087】
CycleGANによるスタイル変換モデルの構成を図８に示す。昼夜変換モデル７０は、与えられた昼車両画像（明るい車両画像）を夜車両画像（暗い車両画像）に変換するように学習されている。一方、夜昼変換モデル７２は、与えられた夜車両画像を昼車両画像に変換するように学習されている。
【0088】
この実施形態では、学習済みの夜昼変換モデル７２を夜昼変換処理に用いるようにしている。第１識別モデル７４、第２識別モデル７６、夜昼変換モデル７０は、学習を行うために用いたものである。
【0089】
以下、図８のスタイル変換モデルの学習について説明する。学習処理において、まず、図９Ａに示すような夜車両画像、図９Ｂに示すような昼車両画像を多数用意して、ＳＳＤ３６に記録する。ここでは、用意する昼車両画像と夜車両画像は、同一車両の画像である必要はない。
【0090】
なお、CycleGANなどの敵対的生成ネットワークを用いずに、CNNなどによって夜昼変換処理を実現する場合には、同一の車両を同一の角度から昼と夜に撮像した対になる画像を用意し、夜車両画像を入力すれば昼画像車両を出力するように学習するとよい。
【0091】
この実施形態では、CycleGANをスタイル変換モデルとして用いるので、図９に示すような対応関係の無い車両画像を用いることができる。
【0092】
図９の画像を用いた学習処理は以下のとおりである。図８において、昼夜変換モデル７０に、所定枚数の昼車両画像（図９Ｂ）が与えられ、画像変換が行われて所定枚数の変換夜車両画像が生成される。この画像生成の際には、昼夜変換モデル７０は学習されないようにしておく。
【0093】
次に、用意した図９Ａの夜車両画像から所定枚数を選択し、これらにオリジナルであるフラグ「１」を付ける。一方、上記生成した所定枚数の変換夜車両画像に、オリジナルではないフラグ「０」を付ける。このようにして得られた、夜車両画像と変換夜車両画像を、第２識別モデル７６に与え、与えられた画像がオリジナルであるか否かを正しく判別できるように学習する。また、第２識別モデルによる識別の正答・誤答に応じて、夜昼変換モデル７２を学習する。
【0094】
以上のようにして、第２識別モデルの識別能力（オリジナルとそうでない画像を見分ける能力）と、昼夜変換モデルの変換能力（昼画像を夜画像に変換する能力）が向上するように学習される。
【0095】
上記と同じようにして、夜昼変換モデル７２、第１識別モデル７４も学習される。
【0096】
この実施形態では、上記のようにして学習された夜昼変換モデル７２を用いて、図３、ステップＳ１０の夜昼変換処理を行う。たとえば、切り出した車両画像が図１０Ａのようなものである場合、図１０Ｂのような昼車両画像（変換昼車両画像）に変換する（夜昼変換）。
【0097】
なお、この実施形態では、カラーの車両画像を入力し、カラーの変換昼車両画像を得るようにしているが、グレースケール画像（白黒画像）を入力し、グレースケールの変換昼車両画像を得るようにしてもよい。
【0098】
なお、夜車両画像を与えて昼車両画像を生成するように学習された夜昼変換モデル７２に、昼車両画像を与えると、ほぼ変化のない昼車両画像が変換画像（変換昼車両画像）として出力される（昼昼変換）。これは、昼車両画像には夜車両画像における夜画像の特徴が見当たらないため、変換すべき箇所が見当たらず、ほとんど変化されずに出力されるためと思われる。したがって、夜画像であるか昼画像であるかを区別せずに、全ての車両画像を夜昼変換モデル７２に与えて、処理を行うことができる。
【0099】
次に、ＣＰＵ３０は、上記のようにして得られた変換昼車両画像（夜昼変換されたものだけでなく、昼昼変換されたものも含む）に基づいて、当該車両の各部位を推定し、部位ごとに塗り分けた部位推定車両画像を生成する(ステップＳ１２)。
【0100】
この実施形態では、部位ごとに塗り分けた部位推定車両画像を生成するための部位推定モデルとして、セマンティック・セグメンテーション・モデルであるSegNetを用いるようにしている。なお、SegNetに代えてU-Netなど、他のセマンティック・セグメンテーション・モデルを用いるようにしてもよい。
【0101】
部位推定モデルの学習は、以下のようにして行う。学習処理において、まず、図１１Ａ、図１１Ｂに示すような車両画像を多数用意して、ＳＳＤ３６に記録する。できれば、いろいろな車種、背景による画像が多数あることが好ましい。特に、小型車（乗用車や小型貨物車など）および大型車（バス、普通貨物車など）の双方がバランスよく含まれた画像であることが好ましい。
【0102】
学習のための画像データを得るために車両を撮像する場所やアングルは、できるだけ実際に運用する場合の場所やアングルに近いものであることが好ましい。たとえば、図４Ａに示すようなアングルにて撮像して運用を行うのであれば、これに近いアングルであることが好ましい。
【0103】
一方、カメラの設置位置にとらわれない汎用的なシステムを構築するのであれば、様々なアングルや角度による車両画像を学習データとして用いることが好ましい。
【0104】
学習データの作成において、図１１Ａ、図１２Ａの車両画像を、ディスプレイ３４に表示する。ユーザは、画像を見ながら、キーボード／マウス４０を操作して、前ナンバープレート、後ナンバープレート、前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、フロントガラス、左側面（側面ガラスを含む）、右側面（側面ガラスを含む）、背面、リアガラス、上面および背景（自動車以外の部分）を、それぞれ異なる色でラベル付けする。ラベル付けされた部位車両画像の例を図１１Ｂ、図１２Ｂに示す。この例では、正面を赤色、右側面をオレンジ色、左側面をピンク色、前ナンバープレートをグレー色というように、互いに区別できるように塗り分けている。
【0105】
生成された部位車両画像は、元の車両画像に対応付けて、ハードディスク３６に記録される。なお、この実施形態では、ユーザによってカラーで色分けされたラベル画像を記録する際に、グレースケールで色分けして個々に区別可能にされた画像として記録するようにしている。
【0106】
以上のようにして、車両画像とこれに対応する部位車両画像が、多数、ハードディスク３６に記録されることとなる。
【0107】
図１３に、この実施形態において用いたSegNetモデルの概念構成図を示す。SegNetモデルは、入力された画像Ｉの各画素が、いずれのクラス（ここでは、正面、左タイヤなどのラベル）に属するかを示した画像Ｏを出力するように学習して使用するのに適したモデルである。
【0108】
畳み込み層、プーリング層によって画像の特徴を抽出するとともに、プーリングによって圧縮された画像を、アンプーリング層によって元の画像の解像度に戻すようにしている。この際、プーリングの際に用いたプーリング指数を、対応するアンプーリング層に伝達し、元の画像に含まれていた情報を復元するようにしている。
【0109】
【0110】
まず、ＣＰＵ３０は、ＳＳＤ３６から車両画像を取得する（ステップＳ６２）。たとえば、図１１Ａ、図１２Ａのような車両画像を読みだす。次に、ＣＰＵ３０は、当該車両画像を部位推定モデル(SegNet）に与えその部位推定車両画像を得る（ステップＳ６４）。なお、車両画像は、図１４に示すように、ＲＧＢの３チャンネルのデータとして与える。これに対して、得られる部位推定車両画像は１チャンネルのグレースケールデータである。
【0111】
続いて、ＣＰＵ３０は、当該車両画像に対応して用意されている部位車両画像を取得する（ステップＳ６６）。ＣＰＵ３０は、部位推定車両画像が部位車両画像に合致するように（エラーが小さくなるように）、畳み込み層などのパラメータを学習する（ステップＳ６８）。
【0112】
上記の処理を、所定数の車両画像について繰り返し、正しい部位推定画像が出力されるように学習する（ステップＳ６０、Ｓ７０）。この実施形態では、カラーの車両画像と、グレースケールの部位車両画像を用いて学習を行うようにしている。
【0113】
なお、上記実施形態では、車両一台ごとの画像に基づいて学習を行っている。しかし、複数の車両が撮像された画像およびこれに対応する部位車両画像に基づいて学習を行ってもよい。
【0114】
図３に戻って、ステップＳ１２において、ＣＰＵ３０は、上記のようにして学習された部位推定モデルを用い、変換車両画像の部位領域を推定して、部位推定車両画像を生成する（ステップＳ１２）。たとえば、図１６Ａに示すような変換車両画像（カラー）に基づいて、図１６Ｂに示すような部位推定車両画像（グレースケール）を得ることができる。図１６Ｂでは、前面、前ナンバープレート、フロントガラス、左側面、上面、左前タイヤ、左後タイヤが認識されて、塗り分けられている。
【0115】
なお、この実施形態では、トラックについては、荷台を車体とし、その上に設けられているコンテナや装備などは車の部位として扱わない（背景とする）ようにしている（図１１Ｂの右から１枚目、図１２Ｂの右２枚参照）。これは、コンテナや装備を塗り分けて区別するほどこれらの車両の数が多くなく、また荷台の上に装備される物のバリエーションが多く（ゴミ収集車などの特装車、コンクリートミキサー車、クレーン車など多くのバリエーションがある）、適切な学習ができない可能性があるためである。
【0116】
なお、この実施形態では、ステップＳ１０において、昼画像への変換を行った後に、部位推定処理を行っている。したがって、夜に撮像した画像であっても、精度よく部位推定車両画像を得ることができる。
【0117】
次に、ＣＰＵ３０は、上記の部位推定車両画像に基づいて、大小推定モデルにより、大型車であるか小型車であるかを推定する（ステップＳ１４）。
【0118】
前述のように、この実施形態では、ステップＳ４において、乗用車、貨物車、バスなどの車種を得ている。しかし、貨物車の中には、小型貨物車（小型トラック）と普通貨物車（普通トラック）が含まれており、これらを区別するために、大型・小型の推定を行う。前者が小型であり、後者が大型である。
【0119】
また、乗用車の中には、ワゴン車やマイクロバスのように、その形状から大型車であるバスと誤って認識されることもある。そこで、この実施形態では、これらを区別するために、大型・小型の推定を行う。前者が小型であり、後者が大型である。
【0120】
以上のように、大型・小型の区別を行うことにより、ステップＳ４の判定結果とあわせて、道路交通センサスなどに用いられている分類である、乗用車（小型車）、小型貨物車（小型車）、バス（大型車）、普通貨物車（大型車）を得ることができる。
【0121】
この実施形態では、大型車・小型車を推定する大小推定モデルとして、畳み込みニューラルネットワークモデル(CNN)を用いている。大小推定モデルの学習は、以下のようにして行う。学習処理において、まず、大型車と小型車を区別するフラグが付された部位車両画像（部位推定車両画像でもよい）を多数用意し、ＳＳＤ３６に記録する。なお、部位車両画像は、車両画像に基づいて塗り分けたものであってもよいし、変換車両画像に基づいて塗り分けたものであってもよいし、両者を含むものであってもよい。
【0122】
図１７に、学習処理のフローチャートを示す。まず、大型車と小型車のフラグが付された部位車両画像を多数用意し、ＳＳＤ３６に記録する。このような部位車両画像は、図１１Ｂ、図１２Ｂに示したものを用いることができる。
【0123】
学習データを用意する際、それぞれの部位車両画像を、ディスプレイ３４に表示し、操作者が画像をみながら、キーボード／マウス４０を操作して、大型車・小型車の区別を入力する。なお、部位車両画像だけでは判別が難しい場合があるので、元の車両画像も合わせて表示する。上述のように、乗用車（マイクロバス、ワゴン車を含む）や小型貨物車であれば小型車とし、バス、普通貨物車であれば大型車とする。この大型車・小型車の区別は、部位車両画像に対応付けて、ＳＳＤ３６に記録される。なお、図１１Ｂに示すものが小型車であり、図１２Ｂに示すものが大型車である。なお、大型車・小型車の区別は、部位推定車両画像を生成する際に、同時に入力しておくようにしてもよい。
【0124】
以上のようにして、大型車・小型車を区別するフラグの付された部位車両画像が、多数ＳＳＤ３６に記録されることとなる。
【0125】
学習処理において、ＣＰＵ３０は、ＳＳＤ３６から部位車両画像を取得する（ステップＳ８２）。たとえば、図１１Ｂ、図１２Ｂのような部位車両画像を読みだす。次に、ＣＰＵ３０は、部位車両画像について、大小推定エンジンにより、大型・小型の推定を行う（ステップＳ８４）。
【0126】
次に、ＣＰＵ３０は、部位車両画像に付されている大型・小型の区別を読みだす（ステップＳ８６）。続いて、ＣＰＵ３０は、読み出した大型・小型の区別を教師データとし、ステップＳ８４における推定結果に基づいて、ＣＮＮのパラメータを学習する（ステップＳ８８）。
【0127】
所定数の部位車両画像に基づいて学習を行うと、ＣＰＵ３０は、学習処理を終了する（ステップＳ８０、Ｓ９０）。
【0128】
なお、この推定が機能している理由は、大型車と小型車とによって、外形形状が類似していたとしても、フロントガラスの占める割合や前後のタイヤ間隔などが異なるためであると思われる。
【0129】
なお、上記実施形態では、車両一台ごとの画像に基づいて学習を行っている。しかし、複数の車両が撮像された画像に基づいて学習を行ってもよい。
【0130】
図３のステップＳ１４において、ＣＰＵ３０は、上記のようにして学習された大小推定モデルを用い、部位推定画像に基づいて大型・小型の推定を行う。次に、ＣＰＵ３０は、この大型・小型の推定結果に基づいて、ステップＳ４における車種推定を修正する（ステップＳ１４）。
【0131】
ステップＳ４では、乗用車、貨物車、バスの車種推定を行っていた。この実施形態では、ステップＳ１４において、図１８に示すように、大型・小型の推定に基づいて、車種推定を正確なものに修正している。
【0132】
ＣＰＵ３０は、当該車両画像の車両がはじめて撮像されたものであるかどうかを判断する（ステップＳ１６）。はじめて撮像されたものであれば、当該車両に関し、上記車両推定の結果を記録する（ステップＳ２０）。
【0133】
一方、動画中のこれまでのフレームにおいて撮像されたものであれば、すでに車両推定の結果が記録されているので、それに今回の推定結果を付け加える。なお、同じ車両であるかどうかは、車両画像の類似度によって判断することができる。
【0134】
以上のようにして、ステップＳ８において抽出した車両について、それが大型車であるか小型車であるかを含む車種推定を行うことができる。
【0135】
ＣＰＵ３０は、上記の推定を、車両画像の数だけ繰り返す（ステップＳ６、Ｓ２２）。これにより、カメラによって撮像された画像に写し出された各車両について、車種の推定を行うことができる。
【0136】
次に、ＣＰＵ３０は、次の撮像画像を取り込み（ステップＳ２０２）、上記と同様にして、各車両の車種推定を行い、その結果を記録する（ステップＳ４～Ｓ２２）。
【0137】
以上を繰り返すことで、各車両について、複数の車種推定結果を得ることができる。ＣＰＵ３０は、これらの車種推定結果を統合して、当該車両に対する最終的な車種推定結果として確定する（ステップＳ２４）。たとえば、複数ある車種推定結果のうち、最も多い車種推定結果を、最終的な車種推定結果とする。
【0138】
以上のようにして、リアルタイムに撮像を行いながら正確に少なくとも大型車・小型車の判断を含む車種を判断することができる。
【0139】
1.4その他
(1)上記実施形態では、ステップＳ１４において、部位推定画像に基づいて大型・小型の推定を行っている。しかし、ステップＳ１０で生成した変換車両画像（またはステップＳ８で抽出した車両画像）も含めて推定に用いるようにしてもよい。バウンダリーボックスで囲われた変換車両画像（車両画像）には、撮像時の背景も含まれているので、背景画像による情報も大型・小型の推定に用いられ推定精度が向上する。
(1)上記実施形態では、ステップＳ１４において、部位推定画像に基づいて大型・小型の推定を行っている。しかし、ステップＳ１０で生成した変換車両画像（またはステップＳ８で抽出した車両画像）も含めて推定に用いるようにしてもよい。バウンダリーボックスで囲われた変換車両画像（車両画像）には、撮像時の背景も含まれているので、背景画像による情報も大型・小型の推定に用いられ推定精度が向上する。
【0140】
この場合、大小推定モデルの学習は、部位車両画像および変換車両画像（車両画像）の双方を用いて行うことになる。部位車両画像としてグレースケールを用い、変換車両画像（車両画像）としてカラーを用いる場合には、大小推定モデルに与える画像データとしては、ＲＧＢの１～３チャンネルにて変換車両画像（車両画像）を与え、４チャンネルに部位車両画像（部位推定車両画像）を与えるようにすればよい。
【0141】
すなわち、図１９に示すように、カラーのＲＧＢデータの対応する位置に、部位車両画像（部位推定車両画像）のグレースケールデータを４チャンネルとして付加すればよい。
【0142】
また、上記変形例では、学習・推定のために用いる車両画像をカラー画像としているが、グレースケール化した変換車両画像（車両画像）を、学習や推定に用いるようにしてもよい。グレースケール化することで、色に起因する誤推定を低減させることができる。
【0143】
(2)上記実施形態では、ステップＳ１０において夜車両画像を昼車両画像に変換する際、昼車両画像も変換モデルに与えて、夜昼変換画像を得るようにしている。しかし、図２０のフローチャートに示すように、車両画像が夜画像であるか否かを判断し、夜画像である場合にのみ変換を行い、昼画像の場合には変換をせずに用いるようにしてもよい。
【0144】
なお、ステップＳ１０１における夜車両画像であるか否かの判断は、車両画像のダイナミックレンジの大きさ（夜画像はダイナミックレンジが小さい）や撮像時刻に基づいて判断することができる。
【0145】
(3)上記実施形態では、ステップＳ１０において、夜昼変換を行うようにしている。しかし、これに代えて、あるいはこれに加えて、車体の色を変換する変換モデルを用いるようにしてもよい。
【0146】
【0147】
この場合、図８に示すようなCycleGANモデルを学習させて用いることができる。学習には、車体に色のある車両画像と、車体が白である車両画像を用いて、夜昼変換の場合と同じように学習させることができる。
【0148】
車体を白にすることで、部位推定車両画像の生成精度が向上する。また、白色の車体とすることで、これを大小推定に用いる場合に、色（あるいはグレースケール化したときの濃度）に起因した誤推定を排除することができる。また白色の車体に変換することで、結果として映り込みがなくなり、誤判定を起こしにくくなる。
【0149】
学習済の車体色変換モデルに、白色の車体の車両画像を入力すると、同じく白色の車両画像が出力される。したがって、車体の色にかかわらず車体色変換モデルによる変換を行って処理を行うことができる。
【0150】
また、夜昼変換の場合と同じように、車体の色が白色か否かを判断し、白色以外の色であれば車体色変換モデルによる変換を行い、それ以外の色の場合には車体色変換モデルによる変換を行わず、そのまま出力するようにしてもよい。
【0151】
なお、車体が白色であるか否かは、暫定的に部位推定を行い、側面や前面と判断された部位が白色であるか否かによって判断することができる。
【0152】
いずれの色に変換するのが好ましいかは、背景などとの関係において、部位推定を行いやすい、大小推定を行いやすいなどの要因を考慮して決定するとよい。
【0153】
また、模様のある車体を、模様のない一色の車体に変換するようにしてもよい。
【0154】
(4)上記実施形態では、ステップＳ１０において、夜昼変換を行うようにしている。しかし、これに代えて、あるいはこれに加えて、車体やガラスへの映り込みをなくすように変換する変換モデルを用いるようにしてもよい。
【0155】
【0156】
この場合、図８に示すようなCycleGANモデルを学習させて用いることができる。学習には、映り込みのある車両画像と、映り込みのない車両画像を用いて、夜昼変換の場合と同じように学習させることができる。
【0157】
映り込みのない車両画像にすることで、部位推定車両画像の生成精度が向上する。また、映り込みのない車両画像とすることで、これを大小推定に用いる場合に、映り込みに起因した誤推定を排除することができる。
【0158】
学習済の映り込み除去変換モデルに、映り込みのない車両画像を入力すると、同じく映り込みのない車両画像が出力される。したがって、映り込みの有無にかかわらず映り込み除去変換モデルによる変換を行って処理を行うことができる。
【0159】
また、夜昼変換の場合と同じように、映り込みがあるか否かを判断し、映り込みがあれば映り込み除去変換モデルによる変換を行い、映り込みがない場合には映り込み除去変換モデルによる変換を行わず、そのまま出力するようにしてもよい。なお、晴れた日の日中の所定の時間帯においては映り込みがあるものとして、当該時間帯に撮像した車両画像については映り込み除去変換モデルによる変換を行い、それ以外の場合には映り込み除去変換モデルによる変換を行わず、そのまま出力するようにしてもよい。
【0160】
なお、車体が白色であるか否かは、暫定的に部位推定を行い、側面や前面と判断された部位の濃度が一様でないことによって、判断することができる。
【0161】
(5)上記実施形態では、ステップＳ１０において、夜昼変換を行うようにしている。しかし、これに代えて、あるいはこれに加えて、車体の一部が欠損している場合に、欠損箇所を補うように変換する変換モデルを用いるようにしてもよい。このような欠損は、カメラの撮像アングルの端に車両が来たときや、車両同士が重なった場合に生じる。
【0162】
【0163】
この場合、図８に示すようなCycleGANモデルを学習させて用いることができる。学習には、欠損のある車両画像と、欠損のない車両画像を用いて、夜昼変換の場合と同じように学習させることができる。
【0164】
欠損のない車両画像にすることで、部位推定車両画像の生成精度が向上する。また、欠損のない車両画像とすることで、これを大小推定に用いる場合に、欠損に起因した誤推定を排除することができる。
【0165】
学習済の欠損補完変換モデルに、欠損のない車両画像を入力すると、同じく欠損のないのない車両画像が出力される。したがって、欠損の有無にかかわらず欠損補完変換モデルによる変換を行って処理を行うことができる。
【0166】
また、夜昼変換の場合と同じように、欠損があるか否かを判断し、欠損があれば欠損補完変換モデルによる変換を行い、欠損がない場合には欠損補完変換モデルによる変換を行わず、そのまま出力するようにしてもよい。
【0167】
なお、欠損があるか否かは、暫定的に部位推定を行い、いずれかの部位が所定長さ以上にわたって画像端部と接している場合には、欠損があると判断することができる。また、ステップＳ４において、バウンダリーボックスが重なっていれば、欠損があると判断することができる。
【0168】
また、上記に示した画像変換の各例は、互いに２以上を組み合わせて実施することが可能である。
【0169】
(6)上記実施形態では、車両画像の大きさを正規化した後、推定を行うようにしている。しかし、正規化せずに推定を行うようにしてもよい。
【0170】
(7)上記実施形態では、まず、車種を推定してから、大型・小型の推定を行って、修正し最終的な車種を得ている。しかし、ステップＳ４において、車両の部位推定画像を用いて、最終的な車種の推定を一度に行ってもよい。
【0171】
(8)上記実施形態では、リアルタイムに車種の推定を行っている。しかし、記録済みの撮像画像に基づいて上記の処理を行って、車種の推定を行うようにしてもよい。この場合、カメラ２によって撮像した画像を可搬性記録媒体に記録し、これをＳＳＤ３６に読み込んで処理を行うようにしてもよい。
【0172】
(9)上記実施形態では、部位推定画像として、前面、前ナンバープレート、側面、タイヤ、フロントガラスなどの部位領域を明らかにしたものを用いている。しかし、大型車と小型車において、全体の大きさが分かる部位と、フロントガラスやタイヤ間隔やナンバープレートの大きさが分かるような部位を含む部位推定画像を用いることができる。たとえば、少なくとも、フロントガラスといずれかの側面を含む部位推定画像を用いてもよい。また、少なくとも、いずれかの前タイヤと後タイヤといずれかの側面を含む部位推定画像を用いてもよい。
【0173】
(10)上記実施形態では、全ての車両についての共通した学習済み推論モデルを構築して、大型車・小型車の推定をしている。しかし、ステップＳ４において推定した車種ごとに学習済み推論モデルを構築し、車種ごとに大型車・小型車の推定をしてもよい。また、車種の判定を行うようにしてもよい。
【0174】
(11)上記実施形態では部位推定画像に基づいて大型車・小型車の推論を行っている。しかし、これに代えて、あるいはこれに加えて、車両画像を正規化した時のバウンダリーボックス枠の大きさや車両が専有する面積などを推論の根拠として用いるようにしてもよい。
【0175】
(12)上記実施形態では、いろいろな方向に移動する車両を撮像している。しかし、カメラ設置の際に、一方にのみ移動する車（向かってくる車のみ等）だけが撮像されるように設定すれば、推定処理が容易となり精度も向上する。
【0176】
(13)上記実施形態では、同一の車両に対する複数の車両画像に基づいて、大型小型の判断を行っている。しかし、一枚の画像に基づいてこれを行うようにしてもよい。
【0177】
【0178】
また、撮像部２、変換画像生成手段６、車両画像抽出手段４（車種推定処理を含む）によって装置を構成してもよい。これにより、夜間の撮像画像などであっても、車種の推定を行うことが可能となる。この場合、変換画像生成手段６は、車両画像抽出手段４による処理に適した変換画像を生成する。
【0179】
(15)上記実施形態では、スタンドアローンの装置として構成したが、車両画像抽出手段４、変換画像生成手段６、部位推定車両画像生成手段８、大小推定手段１０を備えたサーバ装置として構成してもよい。この場合、端末装置からサーバ装置に対して、撮像画像が送信されることになる。
【0180】
(16)上記実施形態およびその変形例は、その本質に反しない限り他の実施形態や変形例と組み合わせて実施可能である。
【0181】
【0182】
撮像部２、車両画像抽出手段４、変換画像生成手段６、部位推定車両画像生成手段８、大小推定手段１０は、第１の実施形態と同様の構成である。
【0183】
車両通過判断手段５４は、車両がバウンダリーボックス６０にて囲われた撮像画像を、車両画像抽出手段４から取得する。車両通過判断手段５４は、当該バウンダリーボックス６０が、連続撮影画像において自動車の移動軌跡と交わるように設定された通過線６２を跨ぐかどうかを判断し、車両が通過したかどうかを判断する。
【0184】
車両通過判断手段５４によって通過した車両を判断し、その数を計数することで交通量の計測を行うことができる。通過線６２とバウンダリーボックス６０を用いて通過の有無を判断しているので、精度良く自動車の通過を判断することができる。
【0185】
また、大小推定手段１０から、通過を判定した車両が大型車であるか小型車であるかの情報を得るので、その情報も含めて交通量の計測を行うことができる。
【0186】
【0187】
3.3交通量計測処理
図２５～図２７に、交通量計測処理機能を有する車推定プログラム４６のフローチャートを示す。ＣＰＵ３０は、カメラ２による撮像画像を取得し、ＳＳＤ３６に記録する。この実施形態では、動画として撮像を行っている。図４Ａに、撮像画像の例を示す。この実施形態では、電柱や街頭の上にカメラ２を設けて、上方からの固定的なアングルにて撮像を行っている。
図２５～図２７に、交通量計測処理機能を有する車推定プログラム４６のフローチャートを示す。ＣＰＵ３０は、カメラ２による撮像画像を取得し、ＳＳＤ３６に記録する。この実施形態では、動画として撮像を行っている。図４Ａに、撮像画像の例を示す。この実施形態では、電柱や街頭の上にカメラ２を設けて、上方からの固定的なアングルにて撮像を行っている。
【0188】
ＣＰＵ３０は、ＳＳＤ３６に記録された撮像画像の１フレームを取得する（ステップＳ２０２）。この実施形態では、撮像画像が記録されるとリアルタイムでこれを読み出して処理を行うようにしている。しかし、撮像画像を一旦記録しておき、後に、交通量計測処理を行うようにしてもよい。
【0189】
ＣＰＵ３０は、取得した１フレームの撮像画像に含まれる車両を認識し、図４Ｂに示すように、当該車両が内接されるバウンダリーボックス（矩形領域）を生成する（ステップＳ２０４）。この処理は、第１の実施形態と同じようにして、学習済の物体検知モデルを用いることができる。
【0190】
次に、ＣＰＵ３０は、図４Ｂのように認識された各バウンダリーボックスに、車両ＩＤを付与する（ステップＳ２０６～Ｓ２１６）。ここで、車両ＩＤとは、撮像画像中に写し出された車両を特定するためのＩＤである。この実施形態では、異なるフレームの画像であっても、同一の車両に対しては同一の車両ＩＤを付すようにしている。以下、車両ＩＤの付与を詳細に説明する。
【0191】
ＣＰＵ３０は、撮像画像中の車両のバウンダリーボックスの一つを対象バウンダリーボックスとして選択する（ステップＳ２０８）。ＣＰＵ３０は、このバウンダリーボックスにおける車両と類似（たとえば画像特徴量に基づいて類似度を判断する）する車両が、前のフレームにおいて画面上の車両進行方向について逆（後）方向の位置にあったかどうかを判断する（ステップＳ２１０）。あれば、先のフレームにおいて当該車両に与えられている車両ＩＤを引き継いで、今回のフレームの当該車両に与える（ステップＳ２１２）。なければ、当該車両は初めて撮像されたものであると判断し、当該車両に新たな車両ＩＤを付す（ステップＳ２１４）。
【0192】
なお、ノイズ画像などにより、前のフレームにおいて登場しているにも拘わらず、類似している車両がないと判断されることがある。この場合に、新たな車両ＩＤを付すことは妥当ではない。そこで、この実施形態では、図４Ａの線２００を完全に超えたバウンダリーボックスについては、必ず前のフレームにおいて同一車両が登場しているものとして処理を行うようにしている。具体的には、１フレームの間に車両が移動する平均的距離を考慮して、前のフレームにおいて当該位置に存在する車両を同一の車両であるとする。
【0193】
ＣＰＵ３０は、一つのバウンダリーボックスについて以上の処理を行うと、次のバウンダリーボックスについて同様の処理を行う。これを、全てのバウンダリーボックスについて行うことで、１フレームの撮像画像のすべてのバウンダリーボックスについて車両ＩＤを与えることができる。
【0194】
たとえば、図２８Ａに示すように、１フレームの撮像画像の全てのバウンダリーボックス（車両画像は省略している）について車両ＩＤ（Ｃ１～Ｃ４）が与えられたものとする。
【0195】
ＣＰＵ３０は、このうちの一つのバウンダリーボックスに着目する（ステップＳ２２０）。たとえば、車両ＩＤ＝Ｃ４のバウンダリーボックスに着目したとする。ＣＰＵ３０は、バウンダリーボックスＣ４の重心と底辺の中心点の位置の算出する（ステップＳ２２２）。図においては、これを点にて示している。
【0196】
ＣＰＵ３０は、このバウンダリーボックスＣ４が、第１通過線６２ａを通過したかどうかを判断する（ステップＳ２２４）。ここで、第１通過線６２ａは、操作者が撮像画像をディスプレイ３４に表示しながら、キーボード／マウス４０によって予め設定されたものである。第２通過線６２ｂも同様である。
【0197】
第１通過線６２ａは、車両の通過方向において、第２通過線６２ｂよりも上流に設けるようにしている。
【0198】
この実施形態では、ＣＰＵ３０は、1)バウンダリーボックスの重心が第１通過線６２ａよりも下流側にあること、および、2)１つ前のフレームにおいて、同じ車両ＩＤのバウンダリーボックスの重心が第１通過線６２ａより上流側にあることの２つの条件が満たされた時、第１通過線６２ａを通過したと判断する。
【0199】
図２８Ａにおいて、バウンダリーボックスＣ４は、第１通過線６２ａより上流側にあるので、第１通過線６２ａを通過したとは判断されない。
【0200】
したがって、第１通過フラグは降りたままであるので（第１通過フラグは初期状態において降りている）、ステップＳ２２８を経て、バウンダリーボックスＣ４についての処理が終了する。
【0201】
ＣＰＵ３０は、上記と同じようにして、他のバウンダリーボックスＣ１、Ｃ２、Ｃ３についてもステップＳ２１８～Ｓ２３６の処理を行う。全ての対象車両ＩＤについての処理を終えると、ＣＰＵ３０は、ＳＳＤ３６から次のフレームの撮像画像を取得する（ステップＳ２０２）。
【0202】
取得した撮像画像について車両を認識し、バウンダリーボックスを生成する（ステップＳ２０４）。さらに、これらのバウンダリーボックスに対して、車両ＩＤを付す（ステップＳ２０６～Ｓ２１６）。この状態を図２８Ｂに示す。
【0203】
続いて、このフレーム中の各バウンダリーボックスに対し、第１通過線６２ａ、第２通過線６２ｂを通過したかどうかの判断を行う。たとえば、バウンダリーボックスＣ４は、その重心が第１通過線６２ａより下流側にあり、１フレーム前の画像（図２８Ａ）では、第１通過線６２ａより上流側にあった。したがって、ＣＰＵ３０は、バウンダリーボックスＣ４が第１通過線６２ａを通過したと判断し、第１通過フラグ６２ａを立てる（ステップＳ２２６）。
【0204】
続いて、ＣＰＵ３０は、バウンダリーボックスＣ４の底辺中心点が第２通過線６２ｂを通過したかどうか判断する（ステップＳ２３０）。ＣＰＵ３０は、1)バウンダリーボックスの底辺中心点が第２通過線６２ｂよりも下流側にあること、および、2)１つ前のフレームにおいて、同じ車両ＩＤのバウンダリーボックスの底辺中心点が第２通過線６２ｂより上流側にあることの２つの条件が満たされた時、第２通過線６２ｂを通過したと判断する。
【0205】
図２８Ｂの状態においては、バウンダリーボックスＣ４の底辺中心点は、第２通過線６２ｂより上流にあるので、第２通過線６２ｂを通過していないと判断される。
【0206】
したがって、第２通過フラグは降りたままであるので（第２通過フラグは初期状態において降りている）、ステップＳ２３０を経て、バウンダリーボックスＣ４についての処理が終了する。
【0207】
ＣＰＵ３０は、上記と同じようにして、他のバウンダリーボックスＣ１、Ｃ２、Ｃ３についてもステップＳ２１８～Ｓ２３６の処理を行う。全ての対象車両ＩＤについての処理を終えると、ＣＰＵ３０は、ＳＳＤ３６から次のフレームの撮像画像を取得する（ステップＳ２０２）。
【0208】
このようにして、図２８Ｃ、図２８Ｄ、図２８Ｅ、図２８Ｆのフレーム画像について、順次処理が行われる。バウンダリーボックスＣ４は、図２８Ｆのフレーム画像において、第２通過線６２ｂを通過する。したがって、ＣＰＵ３０は、ステップＳ２３０からＳ２３２に進み、第２通過フラグを立てる。
【0209】
これにより、第１通過フラグ、第２通過フラグの双方が立ったので、ＣＰＵ３０は、バウンダリーボックスＣ４について、通過車両であると判断する（ステップＳ２３８）。そして、通過台数をインクリメントして計数し記録する。
【0210】
なお、このようにして通過が確認されて計数されたバウンダリーボックスＣ４の車両は、その後の処理対象とする必要はないので、ステップＳ２１８～Ｓ２３６の処理の対象となる処理対象車両から外す。
【0211】
なお、この実施形態では、反対車線の車両などで、第２通過線６２ｂを先に通過し、第１通過線６２ａを後に通過した車両は、通過車両であると計数しないようにしている。
【0212】
以上のようにして、第１通過線６２ａを通過した後、第２通過線６２ｂを通過した車両について、通過車両として計数を行うことができる。
【0213】
続いて、ＣＰＵ３０は、車両画像に基づいて大型小型を含む車種を推定する。そのフローチャートを図２７に示す。この処理は、第１の実施形態と同様である。ただし、この実施形態では、車両ＩＤを付しているので、これを用いて推定結果を記録するようにしている。
【0214】
したがって、ＣＰＵ３０は、大型車・小型車の推定結果を用いて、大型小型の分類を含めて、交通量を計数することができる。たとえば、図１８に示すような車種ごとに、通過量を計数することができる。
【0215】
2.4その他
(1)上記実施形態においては、第１通過線６２ａを通過した後、第２通過線６２ｂを通過した車両について、通過車両として計数を行うようにしている。しかし、第２通過線６２ｂを通過した後、第１通過線６２ａを通過した車両について、反対方向の通過車両として計数を行うようにしてもよい。
(1)上記実施形態においては、第１通過線６２ａを通過した後、第２通過線６２ｂを通過した車両について、通過車両として計数を行うようにしている。しかし、第２通過線６２ｂを通過した後、第１通過線６２ａを通過した車両について、反対方向の通過車両として計数を行うようにしてもよい。
【0216】
(2)上記実施形態では、第１通過線６２ａについては重心、第２通過線６２ｂについては底辺中心点によって通過の有無を判断している。しかし、双方とも、重心または底辺中心点を用いて判断してもよい。
【0217】
撮像画像においてカメラより遠い側の通過線（図２８における線６２ａ）においては、バウンダリーボックスの中心位置（重心、中心、中央近傍の点など）によって通過を判断することが好ましい。通過を確実に判断できるからである。
【0218】
また、撮像画像においてカメラに近い側の通過線（図２８における線６２ｂ）においては、バウンダリーボックスの底辺上の点（中心点には限らない）によって通過を判断することが好ましい。画面を有効に活用し、通過検出漏れを防ぐことができるからである。
【0219】
(3)上記実施形態では、２つの通過線を用いて通過を判断している。しかし、３つ以上の通過線を用い、これらを順に通過した場合に、通過したものと判断するようにしてもよい。また、１つの通過線のみを設け、この通過線を通過したことにより、車両が通過したものと判断するようにしてもよい。この場合、時系列のフレームにおける車両の位置から、いずれの方向に通過したかを判断するようにしてもよい。
【0220】
(4)上記実施形態では、一方向に車両が移動する車道についての交通量を計測している。しかし、図２９に示すように交差点を撮像画像とし、交差点の入口（出口）において通過線６２ａ～６２ｈ（図では、各道路につき通過線を複数設けているが一本でもよい）を設け、通過方向も含めて計数すれば、交差点の通行量を詳細に把握することができる。
【0221】
これにより、図２９のIからIV、IからVI、IからVIII、IからII（Ｕターン）など（II以下についても同様）、いずれの方向から来ていずれの方向に進んだかを計数することができる。
【0222】
この計数データに基づいて、図３０に示すような信号制御システムを構築することができる。交通量計測装置にて計測した交差点の通行量（たとえば、３０分前の通行量）に基づいて、信号制御装置が、信号の青の時間、赤の時間、青矢印の時間などを制御する。交通量計測装置が信号制御装置を兼ねていてもよい。
【0223】
たとえば、信号制御装置は、IからVIへの車両通過量とVからIIへの車両通量との合計値と、IIIからVIIIへの車両通過量とVIIからIVへの車両通過量との合計値を比較し、その比率に応じて、信号機２５０（２５６）の青の時間と信号機２５２（２５４）の青の時間の比率を制御する。また、IからVIへの車両通行量とIからIVへの車両通行量との比率に応じて、信号機２５０の青の時間と青矢印の時間の比率を制御する。
【0224】
また、交差点に入る手前の道路において通行量を計数して、将来の交差点における通過量を予測し、これに基づいて信号機を制御するようにしてもよい。
【0225】
(6)上記実施形態によって計数した車両通過量を、交差点における右折レーンの長さの設計のために用いることができる。たとえば、図３０の交差点において、IからIVへの車両通行量に基づいて、Iに設ける右折レーンの長さを算出することができる。
【0226】
たとえば、このような交差点における交通量情報をサーバ装置に記録しておき、端末装置にインストールされた道路設計ソフトウェアにてこの情報を取得し、これに基づいて右折レーンの長さを提案して設計者に提示するようにしてもよい。
【0227】
(7)上記実施形態によって計数した車両通行量に基づいて、累積の道路通行量がしきい値を超えたら、道路補修時期である旨のワーニングを出力するようにしてもよい。
【0228】
(8)上記実施形態においては、図２４ａのように装置を構成している。しかし、第１の実施形態における変形例（図１ｂ参照）と同じように、撮像画像全体について変換画像を生成してから、車両画像を抽出するようにしてもよい。
【0229】
また、図２４ｂに示すように、大小推定を行わず、変換画像に基づいて車両画像を抽出し、車両の通過を判断するようにしてもよい。
【0230】
(9)上記実施形態においては、通過線６２を用いて、車両の通過を判断するようにしている。しかし、その他の方法（バウンダリーボックス６０が画面から消えたか否かなど）によって通過を判断するようにしてもよい。
【0231】
(10)上記実施形態では、スタンドアローンの装置として構成したが、車両画像抽出手段４、変換画像生成手段６、部位推定車両画像生成手段８、大小推定手段１０、車両通過判断手段５４を備えたサーバ装置として構成してもよい。この場合、端末装置からサーバ装置に対して、撮像画像が送信されることになる。
【0232】
(11)上記実施形態およびその変形例は、その本質に反しない限り他の実施形態や変形例と組み合わせて実施可能である。
【0233】
３．第３の実施形態
3.1機能構成
図３１に、この発明の一実施形態による入場管理システムの機能ブロック図を示す。撮像部２は、たとえば、施設などの駐車場入口に設けられ、入口ゲートに近づく車両を撮像する。車種推定計数手段１００は、たとえば、第２の実施形態にて説明した手法によって、撮像画像に基づいて車種を推定し、車種ごとに通過車両数を計数するものである。ゲート制御手段１５０は、当該推定された車種に基づいて、ゲートの開閉を制御するものである。たとえば、大型車と小型車によって、大型車のための駐車場へのゲート、小型車のための駐車場へのゲートを開けるかを制御する。
3.1機能構成
図３１に、この発明の一実施形態による入場管理システムの機能ブロック図を示す。撮像部２は、たとえば、施設などの駐車場入口に設けられ、入口ゲートに近づく車両を撮像する。車種推定計数手段１００は、たとえば、第２の実施形態にて説明した手法によって、撮像画像に基づいて車種を推定し、車種ごとに通過車両数を計数するものである。ゲート制御手段１５０は、当該推定された車種に基づいて、ゲートの開閉を制御するものである。たとえば、大型車と小型車によって、大型車のための駐車場へのゲート、小型車のための駐車場へのゲートを開けるかを制御する。
【0234】
3.2システム構成と動作
図３２に、入場管理システムの入場ゲートの外観を示す。小型車用ゲート１２０と大型車用ゲート１４０が設けられている。カメラ２は、これらのゲートに進入しようとする車両を撮像する。
図３２に、入場管理システムの入場ゲートの外観を示す。小型車用ゲート１２０と大型車用ゲート１４０が設けられている。カメラ２は、これらのゲートに進入しようとする車両を撮像する。
【0235】
図３３に、ハードウエア構成を示す。コンピュータ１６０は、第１の実施形態における図２の構成と同様のものである。ただし、ＣＰＵ３０は、ゲート１２０、１４０の開閉を制御するゲート制御部１８０に対して、指令を与えることができるようになっている。
【0236】
図３４に、制御プログラムのフローチャートを示す。ＣＰＵ３０は、ステップＳ１１０において、カメラ２によって撮像した画像を取得する。撮像画像において車両が認識されなければ、ステップＳ１１０を繰り返す。
【0237】
車両が認識されると、ＣＰＵ３０は、第１の実施形態にて説明した処理により、車種（大型・小型）の推定を行う（ステップＳ１１４）。大型であると推定した場合、ＣＰＵ３０は、大型用ゲート１４０を開くようゲート制御部１８０に指示する（ステップＳ１１６）。また、小型であると推定した場合、ＣＰＵ３０は、小型用ゲート１２０を開くようゲート制御部１８０に指示する（ステップＳ１１６）。
【0238】
ゲートを開いた後、通過検出のセンサ（図示せず）からの出力を受けると、ＣＰＵ３０は、ゲートを閉じる（ステップＳ１１８）。
【0239】
以上のようにして、自動的に大型小型を判定して、行き先のゲートを選択して開閉することができる。また、入場した大型車、小型車の数を計数しているので、大型車用のエリアまたは小型車用のエリアが満車になったことを表示器（図示せず）によって表示することができる。
【0240】
3.3その他
(1)上記実施形態では、駐車場について説明したが、ドライブスルーサファリなどその他の施設についても同様に適用することができる。また、上記では、大型・小型の判断に基づいてゲートを選択的に開閉しているが、より細かい車種分けに応じてゲートを選択的に開閉するようにしてもよい。
(1)上記実施形態では、駐車場について説明したが、ドライブスルーサファリなどその他の施設についても同様に適用することができる。また、上記では、大型・小型の判断に基づいてゲートを選択的に開閉しているが、より細かい車種分けに応じてゲートを選択的に開閉するようにしてもよい。
【0241】
また、所定の車種に応じて（あるいは大型・小型に応じて）、ゲートを開けるかどうかを判断するようにしてもよい。たとえば、小型車専用の橋であれば、その入口で大型車に対してはゲートを開けないように制御することができる。
【0242】
(2)上記実施形態では、ゲートの開閉を制御する場合について説明した。しかし、車種推定（大型小型の推定を含む）に応じて、駐車料金や施設利用料金を算出するようにしてもよい。高速道路などの入り口において利用することができる。
【0243】
(3)上記実施形態およびその変形例は、その本質に反しない限り他の実施形態や変形例と組み合わせて実施可能である。
【図1a】
【図1b】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24a】
【図24b】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
