特許 7277511 車推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-10

(45)【発行日】2023-05-19

(54)【発明の名称】車推定装置

(51)【国際特許分類】

   G08G 1/015 20060101AFI20230511BHJP

   G08G 1/04 20060101ALI20230511BHJP

   G08G 1/09 20060101ALI20230511BHJP

【ＦＩ】

G08G1/015 A

G08G1/04 A

G08G1/09 C

【請求項の数】 16

(21)【出願番号】P 2021099891

(22)【出願日】2021-06-16

(62)【分割の表示】P 2019195019の分割

【原出願日】2019-10-28

(65)【公開番号】P2021140824

(43)【公開日】2021-09-16

【審査請求日】2022-10-17

(73)【特許権者】

【識別番号】500063228

【氏名又は名称】田中 成典

(73)【特許権者】

【識別番号】511121768

【氏名又は名称】今井 龍一

(73)【特許権者】

【識別番号】517305883

【氏名又は名称】山本 雄平

(73)【特許権者】

【識別番号】519113745

【氏名又は名称】Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｔｙｌｅ株式会社

(74)【代理人】

【識別番号】100092956

【弁理士】

【氏名又は名称】古谷 栄男

(74)【代理人】

【識別番号】100101018

【弁理士】

【氏名又は名称】松下 正

(72)【発明者】

【氏名】今井 龍一

(72)【発明者】

【氏名】山本 雄平

(72)【発明者】

【氏名】田中 成典

(72)【発明者】

【氏名】中原 匡哉

(72)【発明者】

【氏名】中畑 光貴

(72)【発明者】

【氏名】高野 精久

(72)【発明者】

【氏名】山中 亮

(72)【発明者】

【氏名】大月 庄治

【審査官】白石 剛史

(56)【参考文献】

【文献】特開２０１３－２５７７２０（ＪＰ，Ａ）

【文献】特開２０１６－１６２３５４（ＪＰ，Ａ）

【文献】特開２００２－４２１１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／０１５

Ｇ０８Ｇ １／０４

Ｇ０８Ｇ １／０９

(57)【特許請求の範囲】

【請求項1】

車両を撮像して撮像画像を出力する撮像部と、
撮像画像に含まれる車両を認識する車両認識手段と、
車両認識手段によって認識された車両について、少なくとも当該車両の前後のタイヤ、側面を含む部位領域を抽出し、各部位領域を異なる色または濃度にて区別可能に塗り分けた部位推定車両画像を生成する部位推定手段と、
前記部位推定車両画像に基づいて、当該車両が大型車か小型車かを推定する大小推定手段と、
を備えた車推定装置において、
前記部位抽出手段は、車両の画像と、当該車両の少なくとも前後のタイヤ、側面を含む各部位領域を異なる色または濃度にて区別可能に塗り分けた部位車両画像に基づいて学習された学習済モデルを用いて、部位推定車両画像を生成するものであり、
前記大小推定手段は、前記部位推定車両画像と、大型車か小型車かの判断とに基づいて、大型車か小型車かを推定するよう学習された学習済モデルを用いて、大型車か小型車かを推定するよう構成されていることを特徴とする車推定装置。

【請求項2】

車推定装置をコンピュータによって実現するための車推定プログラムであって、コンピュータを、
車両を撮像した撮像画像に含まれる車両を認識する車両認識手段と、
車両認識手段によって認識された車両について、少なくとも当該車両の前後のタイヤ、側面を含む部位領域を抽出し、各部位領域を異なる色または濃度にて区別可能に塗り分けた部位推定車両画像を生成する部位推定手段と、
前記部位推定車両画像に基づいて、当該車両が大型車か小型車かを推定する大小推定手段として機能させる車推定プログラムにおいて、
前記部位抽出手段は、車両の画像と、当該車両の少なくとも前後のタイヤ、側面を含む各部位領域を異なる色または濃度にて区別可能に塗り分けた部位車両画像に基づいて学習された学習済モデルを用いて、部位推定車両画像を生成するものであり、
前記大小推定手段は、前記部位推定車両画像と、大型車か小型車かの判断とに基づいて、大型車か小型車かを推定するよう学習された学習済モデルを用いて、大型車か小型車かを推定するよう構成されていることを特徴とする車推定プログラム。

【請求項3】

請求項１の装置または請求項２のプログラムにおいて、
前記撮像部は、走行する車両を連続的に撮像して複数の撮像画像を出力するものであり、
大小推定手段は、複数の撮像画像についての大型車か小型車かの判断を統合して、最終的な大型車か小型車かの判断を行うことを特徴とする装置またはプログラム。

【請求項4】

請求項１～３のいずれかの装置またはプログラムにおいて、
前記部位推定手段は、車両の前後のタイヤと側面に加えて、フロントガラス、リアガラスまたはナンバープレートを含む部位領域も抽出することを特徴とする装置またはプログラム。

【請求項5】

請求項１～４のいずれかの装置またはプログラムにおいて、
前記大小推定手段は、前記抽出された車両を囲う枠をカメラからの距離に応じて正規化した時の枠の大きさも推定の根拠に用いることを特徴とする装置またはプログラム。

【請求項6】

請求項１～５のいずれかの装置またはプログラムにおいて、
前記大小推定手段は、前記抽出された車両をカメラからの距離に応じて正規化した時の車両の占める領域面積も推定の根拠に用いることを特徴とする装置またはプログラム。

【請求項7】

請求項１～６のいずれかの装置またはプログラムにおいて、
前記車両認識手段は、少なくとも乗用車、バス、トラックの車種を判断するものであり、
前記大小推定手段は、前記車種ごとに分けて大小推定を行うことを特徴とする装置またはプログラム。

【請求項8】

施設に入場しようとする車両を撮像して撮像画像を出力する撮像部と、
前記撮像画像に含まれる車両を認識する車両認識手段と、
車両認識手段によって認識された車両について、少なくとも当該車両の前後のタイヤ、側面を含む部位領域を抽出し、各部位領域を異なる色または濃度にて区別可能に塗り分けた部位推定車両画像を生成する部位推定手段と、
前記部位推定車両画像に基づいて、当該車両が大型車か小型車かを推定する大小推定手段と、
少なくとも前記推定結果が大型車であるか小型車であるかに基づいて、施設に入場するためのゲートの開閉を制御するゲート制御手段と、
を備えた入場管理装置において、
前記部位抽出手段は、車両の画像と、当該車両の少なくとも前後のタイヤ、側面を含む各部位領域を異なる色または濃度にて区別可能に塗り分けた部位車両画像に基づいて学習された学習済モデルを用いて、部位推定車両画像を生成するものであり、
前記大小推定手段は、前記部位推定車両画像と、大型車か小型車かの判断とに基づいて、大型車か小型車かを推定するよう学習された学習済モデルを用いて、大型車か小型車かを推定するよう構成されていることを特徴とする入場管理装置。

【請求項9】

入場管理装置をコンピュータによって実現するための入場管理プログラムであって、コンピュータを、
施設に入場しようとする車両を撮像した撮像画像に含まれる車両を認識する車両認識手段と、
車両認識手段によって認識された車両について、少なくとも当該車両の前後のタイヤ、側面を含む部位領域を抽出し、各部位領域を異なる色または濃度にて区別可能に塗り分けた部位推定車両画像を生成する部位推定手段と、
前記部位推定車両画像に基づいて、当該車両が大型車か小型車かを推定する大小推定手段と、
少なくとも前記推定結果が大型車であるか小型車であるかに基づいて、施設に入場するためのゲートの開閉を制御するゲート制御手段と、
を備えた入場管理装置において、
前記部位抽出手段は、車両の画像と、当該車両の少なくとも前後のタイヤ、側面を含む各部位領域を異なる色または濃度にて区別可能に塗り分けた部位車両画像に基づいて学習された学習済モデルを用いて、部位推定車両画像を生成するものであり、
前記大小推定手段は、前記部位推定車両画像と、大型車か小型車かの判断とに基づいて、大型車か小型車かを推定するよう学習された学習済モデルを用いて、大型車か小型車かを推定するよう構成されていることを特徴とする入場管理装置。

【請求項10】

施設に入場しようとする車両を撮像して撮像画像を出力する撮像部と、
前記撮像画像に含まれる車両を認識する車両認識手段と、
車両認識手段によって認識された車両について、少なくとも当該車両の前後のタイヤ、側面を含む部位領域を抽出し、各部位領域を異なる色または濃度にて区別可能に塗り分けた部位推定車両画像を生成する部位推定手段と、
前記部位推定車両画像に基づいて、当該車両が大型車か小型車かを推定する大小推定手段と、
少なくとも前記推定結果が大型車であるか小型車であるかに基づいて、施設利用料金を算出する料金算出手段と、
を備えた料金管理装置において、
前記部位抽出手段は、車両の画像と、当該車両の少なくとも前後のタイヤ、側面を含む各部位領域を異なる色または濃度にて区別可能に塗り分けた部位車両画像に基づいて学習された学習済モデルを用いて、部位推定車両画像を生成するものであり、
前記大小推定手段は、前記部位推定車両画像と、大型車か小型車かの判断とに基づいて、大型車か小型車かを推定するよう学習された学習済モデルを用いて、大型車か小型車かを推定するよう構成されていることを特徴とする料金管理装置。

【請求項11】

料金管理装置をコンピュータによって実現するための料金管理プログラムであって、コンピュータを、
施設に入場しようとする車両を撮像した撮像画像に含まれる車両を認識する車両認識手段と、
車両認識手段によって認識された車両について、少なくとも当該車両の前後のタイヤ、側面を含む部位領域を抽出し、各部位領域を異なる色または濃度にて区別可能に塗り分けた部位推定車両画像を生成する部位推定手段と、
前記部位推定車両画像に基づいて、当該車両が大型車か小型車かを推定する大小推定手段と、
少なくとも前記推定結果が大型車であるか小型車であるかに基づいて、施設利用料金を算出する料金算出手段と、
を備えた料金管理プログラムにおいて、
前記部位抽出手段は、車両の画像と、当該車両の少なくとも前後のタイヤ、側面を含む各部位領域を異なる色または濃度にて区別可能に塗り分けた部位車両画像に基づいて学習された学習済モデルを用いて、部位推定車両画像を生成するものであり、
前記大小推定手段は、前記部位推定車両画像と、大型車か小型車かの判断とに基づいて、大型車か小型車かを推定するよう学習された学習済モデルを用いて、大型車か小型車かを推定するよう構成されていることを特徴とする料金管理プログラム。

【請求項12】

請求項８～１１のいずれかのプログラムにおいて、
前記撮像部は、走行する車両を連続的に撮像して複数の撮像画像を出力するものであり、
大小推定手段は、複数の撮像画像についての大型車か小型車かの判断を統合して、最終的な大型車か小型車かの判断を行うことを特徴とする装置またはプログラム。

【請求項13】

請求項１０～１２のいずれかの装置またはプログラムにおいて、
前記部位抽出手段は、車両の前後のタイヤと側面に加えて、フロントガラス、リアガラスまたはナンバープレートを含む部位領域も抽出することを特徴する装置またはプログラム。

【請求項14】

請求項１０～１３のいずれかの装置またはプログラムにおいて、
前記大小推定手段は、前記抽出された車両を囲う枠をカメラからの距離に応じて正規化した時の車両画像の枠の大きさも推定の根拠に用いることを特徴とする装置またはプログラム。

【請求項15】

請求項１０～１４のいずれかの装置またはプログラムにおいて、
前記大小推定手段は、前記抽出された車両をカメラからの距離に応じて正規化した時の車両の占める領域面積も推定の根拠に用いることを特徴とする装置またはプログラム。

【請求項16】

請求項１０～１５のいずれかの装置またはプログラムにおいて、
前記車両認識手段は、少なくとも乗用車、バス、トラックの車種を判断するものであり、
前記大小推定手段は、前記車種ごとに分けて大小推定を行うことを特徴とする装置またはプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、撮像した画像から、自動車などの大型車、小型車を推定する装置に関するものである。

【背景技術】

【0002】

交通量の調査や施設における管理のために、自動車が大型車であるか小型車であるかを判断する必要がある。たとえば、交通量の調査においては、交差点などで調査員が目視にて、通過する車両の種類や大型小型などの分類を行って、その分類ごとに交通量を計数している。

【0003】

近年、撮像画像中から自動車の部分を抽出し、当該自動車の種類（乗用車、トラックなど）を推定するソフトウエア（たとえばYOLO）が実用化されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－１４２５８７

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記のようなソフトウエアを交通量調査などに適用すると、自動車の種類は推定できたとしても、大型車であるか小型車であるかの推定まではできなかった。同一の種類の自動車は、大型であっても小型であっても類似の形状をしているためである。

【0006】

また、自動車のナンバープレートの文字を読み取り、当該文字から種類などを推定するシステムも提案されている（特許文献１）。このシステムによれば、自動車の種類だけでなく、ナンバープレートの文字に現れた大型車、小型車の区別を取得することができる。

【0007】

このようなナンバープレートの文字による推定を行えば、種類だけでなく大型・小型の区別も可能となる。

【0008】

しかしながら、撮像距離や位置、天候などによって、ナンバープレートの文字を読み取れない可能性がある。このため、交通量調査などに用いることには制限があった。

【0009】

この発明は上記のような問題点を解決して、柔軟性の高い車判定を行うことのできる車判定装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

この発明の独立して適用可能な特徴を以下に列挙する。

【0011】

(1)(2)この発明に係る車推定装置は、車両を撮像して撮像画像を出力する撮像部と、撮像画像に含まれる車両を認識して出力する車両認識手段と、車両認識手段によって認識された車両の車両画像を抽出する車両画像抽出手段と、抽出された車両画像を受けて、当該画像中の車両の前後のタイヤ、側面を含む部位領域を抽出する部位抽出手段と、前記抽出された複数の部位領域の関係に基づいて、大型車か小型車かを推定する大小推定手段とを備えている。

【0012】

したがって、類似した外形の車両であっても大型車・小型車を区別して推定することができる。

【0013】

(3)この発明に係る車推定装置は、撮像部が、走行する車両を連続的に撮像して複数の撮像画像を出力するものであり、大小推定手段は、複数の撮像画像についての大型車か小型車かの判断を統合して、最終的な大型車か小型車かの判断を行うことを特徴としている。

【0014】

したがって、より正確に推定を行うことができる。

【0015】

(4)この発明に係る車推定装置は、部位抽出手段が、車両の前後のタイヤと側面に代えて、あるいは加えて、フロントガラス、リアガラスまたはナンバープレートを含む部位領域も抽出することを特徴としている。

【0016】

したがって、これら領域に基づいて、大型小型の推定を行うことができる。

【0017】

(5)この発明に係る車推定装置は、大小推定手段が、前記抽出された車両画像も推定の根拠に用いることを特徴としている。

【0018】

したがって、より正確に推定を行うことができる。

【0019】

(6)この発明に係る車推定装置は、大小推定手段が、前記抽出された車両画像の枠をカメラからの距離に応じて正規化した時の枠の大きさも推定の根拠に用いることを特徴としている。

【0020】

したがって、より正確に推定を行うことができる。

【0021】

(7)この発明に係る車推定装置は、大小推定手段が、前記抽出された車両画像をカメラからの距離に応じて正規化した時の車両画像における車両の占める領域面積も推定の根拠に用いることを特徴としている。

【0022】

したがって、より正確に推定を行うことができる。

【0023】

(8)この発明に係る車推定装置は、車両認識手段が、少なくとも乗用車、バス、トラックの車種を判断するものであり、大小推定手段は、前記車種ごとに分けて大小推定を行うことを特徴としている。

【0024】

したがって、より正確に推定を行うことができる。

【0025】

(9)(10)この発明に係る入場管理装置は、施設に入場しようとする車両を撮像して撮像画像を出力する撮像部と、前記撮像画像に含まれる車両を認識して出力する車両認識手段と、車両認識手段によって認識された車両の車両画像を抽出する車両画像抽出手段と、抽出された車両画像を受けて、当該画像中の車両の前後のタイヤ、側面を含む部位領域を抽出する抽出手段と、前記抽出された複数の部位領域の関係に基づいて、大型車か小型車かを推定する大小推定手段と、少なくとも前記推定結果が大型車であるか小型車であるかに基づいて、施設に入場するためのゲートの開閉を制御するゲート制御手段とを備えている。

【0026】

したがって、大型車が小型車かを推定し、これに対応してゲートの開閉を制御することができる。

【0027】

(11)(12)この発明に係る料金管理装置は、施設に入場しようとする車両を撮像して撮像画像を出力する撮像部と、前記撮像画像に含まれる車両を認識して出力する車両認識手段と、車両認識手段によって認識された車両の車両画像を抽出する車両画像抽出手段と、抽出された車両画像を受けて、当該画像中の車両の前後のタイヤ、側面を含む部位領域を抽出する抽出手段と、前記抽出された複数の部位領域の関係に基づいて、大型車か小型車かを推定する大小推定手段と、少なくとも前記推定結果が大型車であるか小型車であるかに基づいて、施設利用料金を算出する料金算出手段とを備えている。

【0028】

したがって、大型車が小型車かを推定し、これに対応して料金を算出することができる。

【0029】

(13)この発明に係る装置は、撮像部が、走行する車両を連続的に撮像して複数の撮像画像を出力するものであり、大小推定手段は、複数の撮像画像についての大型車か小型車かの判断を統合して、最終的な大型車か小型車かの判断を行うことを特徴としている。

【0030】

したがって、より正確に推定を行うことができる。

【0031】

(14)この発明に係る装置は、部位抽出手段が、車両の前後のタイヤと側面に代えて、あるいは加えて、フロントガラス、リアガラスまたはナンバープレートを含む部位領域も抽出することを特徴としている。

【0032】

したがって、これら領域に基づいて、大型小型の推定を行うことができる。

【0033】

(15)この発明に係る装置は、大小推定手段が、前記抽出された車両画像も推定の根拠に用いることを特徴としている。

【0034】

したがって、より正確に推定を行うことができる。

【0035】

(16)この発明に係る装置は、大小推定手段が、前記抽出された車両画像の枠をカメラからの距離に応じて正規化した時の枠の大きさも推定の根拠に用いることを特徴としている。

【0036】

したがって、より正確に推定を行うことができる。

【0037】

(17)この発明に係る装置は、大小推定手段が、前記抽出された車両画像をカメラからの距離に応じて正規化した時の車両画像における車両の占める領域面積も推定の根拠に用いることを特徴としている。

【0038】

したがって、より正確に推定を行うことができる。

【0039】

(18)この発明に係る装置は、車両認識手段が、少なくとも乗用車、バス、トラックの車種を判断するものであり、大小推定手段は、前記車種ごとに分けて大小推定を行うことを特徴としている。

【0040】

したがって、より正確に推定を行うことができる。

【0041】

「車両認識手段」は、実施形態においては、ステップＳ４がこれに対応する。

【0042】

「車両画像抽出手段」は、実施形態においては、ステップＳ８がこれに対応する。

【0043】

「部位抽出手段」は、実施形態においては、ステップＳ１０がこれに対応する。

【0044】

「大小推定手段」は、少なくとも大型車であるか小型車であるかの区別を行うものであり、車種の判断をおこなうものも含む概念である。実施形態においては、ステップＳ１２がこれに対応する。

【0045】

「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。

【図面の簡単な説明】

【0046】

【図1】この発明の一実施形態による車推定装置の機能構成図である。

【図2】車推定装置のハードウエア構成である。

【図3】車推定プログラムのフローチャートである。

【図4】撮像画像と車両認識画像と部位推定画像の例である。

【図5】車両認識のための学習処理のフローチャートである。

【図6】学習のためのデータを示す図である。

【図7】車両を切り出した画像の例である。

【図8】部位推定のための学習処理のフローチャートである。

【図9】部位推定のための学習データを示す図である。

【図10】大小推定のための学習処理のフローチャートである。

【図11】学習のためのデータを示す図である。

【図12】車種の修正のためのテーブルである。

【図13】第２の実施形態による入場管理装置の機能構成である。

【図14】ゲートの外観を示す図である。

【図15】ハードウエア構成を示す図である。

【図16】制御プログラムのフローチャートである。

【発明を実施するための形態】

【0047】

１．第１の実施形態
1.1機能構成
図１に、この発明の一実施形態による車推定装置の機能構成を示す。撮像部２は、自動車を撮像して撮像画像を出力する。車両認識手段４は、撮像画像に含まれる車両を認識して出力する。たとえば、車両をバウンダリーボックスで囲って出力する。車両認識手段４は、たとえば、車両の画像にて学習させた推論手段によって構築することができる。

【0048】

車両画像抽出手段６は、上記認識に基づいて車両部分の画像（車両画像）を抽出する。部位抽出手段８は、当該車両画像中の、前後のタイヤ、正面、側面、上面などの部位領域を抽出する。この部位抽出手段８は、部位を特定して学習させた推論手段によって構築することができる。

【0049】

大小推定手段１０は、上記抽出された複数の部位領域の関係に基づいて、大型車であるか小型車であるかを推定する。この大小推定手段１０は、大型車、小型車につき、複数の部位領域の関係を特定して学習させた推論手段によって構築することができる。

【0050】

以上のようにして大型車、小型車を推定することができる。

【0051】

1.2ハードウエア構成
図２に、車推定装置のハードウエア構成を示す。ＣＰＵ３０には、メモリ３２、ディスプレイ３４、カメラ２、ハードディスク３６、ＤＶＤ－ＲＯＭドライブ３８、キーボード／マウス４０、通信回路４２が接続されている。

【0052】

通信回路４２は、インターネットに接続するためのものである。ハードディスク３６には、オペレーティングシステム４４、車推定プログラム４６が記録されている。車推定プログラム４６は、オペレーティングシステム４４と協働してその機能を発揮するものである。

【0053】

これらプログラムは、ＤＶＤ－ＲＯＭ４８に記録されていたものを、ＤＶＤ－ＲＯＭドライブ３８を介して、ハードディスク３６にインストールしたものである。

【0054】

1.3車推定処理
図３に、車推定処理のフローチャートを示す。ＣＰＵ３０は、カメラ２による撮像画像を取得する（ステップＳ２）。この実施形態では、動画として撮像を行っている。図４Ａに、撮像画像の例を示す。この実施形態では、電柱や街頭の上にカメラ２を設けて、上方からのアングルにて撮像を行っている。

【0055】

ＣＰＵ３０は、この撮像画像に含まれる車両を認識し車種を推定する（ステップＳ４）。この実施形態では、かかる推定処理のために学習済みの推論モデル（例えばディープラーニングによる機械学習のモデル）を用いている。

【0056】

この実施形態においては、学習処理は、図２のコンピュータを用いて行うようにしている。もちろん、他のコンピュータを用いてもよい。

【0057】

まず、図６Ａに示すような車両の含まれる画像データを多数用意して、ハードディスク３６に記録する。できれば、いろいろな車種、背景による画像が多数あることが好ましい。

【0058】

この時、車両を撮像するアングルは、できるだけ実際に運用する場合のアングルに近いものであることが好ましい。たとえば、図４Ａに示すようなアングルにて撮像して運用を行うのであれば、これに近いアングルであることが好ましい。

【0059】

それぞれの画像データ（オリジナル画像データ）を、ディスプレイ３４に表示する。、ユーザは、画像を見ながら、キーボード／マウス４０を操作して、図６Ｂに示すように車両部分を矩形（バウンダリーボックス）で囲い、当該車両の車種を入力する
これにより、図６Ｃに示すように、バウンダリーボックスの左上座標、右下座標（二次元画像中の座標）および車種が記録された解析データと、オリジナル画像データとが対応付けられてハードディスク３６に記録される。この実施形態では、車種として、乗用車、貨物車、バスを区別するようにしている。上記の処理を、全てのオリジナル画像について行う。これにより、多数の学習データが、ハードディスク３６に記録されることになる。

【0060】

図５に、車両認識と車種推定のために、推定モデル（ディープラーニング）を学習する処理のフローチャートを示す。

【0061】

ＣＰＵ３０は、ハードディスク３６からオリジナル画像を取得する（ステップＳ５２）。たとえば、図６Ａに示すようなオリジナル画像を読み出す。次に、ＣＰＵ３０は、オリジナル画像について、学習済みの推定モデル（ディープラーニング）により、車両認識と車種推定を行う（ステップＳ５４、Ｓ５６）。

【0062】

次に、ＣＰＵ３０は、オリジナル画像に対応づけて記録されている解析データ（図６Ｃ）を読み出す（ステップＳ５８）。続いて、ＣＰＵ３０は、図６Ｃの解析データを教師データとし、車両認識と車両推定の結果に基づいて、ステップＳ５４、Ｓ５６における推定のためのパラメータを学習する（ステップＳ６０）。

【0063】

以上のようにして、学習済みの推論モデルが生成される。なお、最初は、未学習の推論モデルあるいは学習不足の推論モデルであるが、上記の処理を繰り返すことで、十分に学習済みの推論モデルを得ることができる。

【0064】

なお、この実施形態では、車両の前方からの写真だけでなく、後方や側面からの写真も学習データとして用いるようにしている。したがって、いずれの方向にて撮像された車両であっても推論を行うことができるような推論モデルを生成できる。運用時に前方など特定の方向からの車両だけを判断すればよいのであれば、前方のなど特定の方向だけからの写真に基づいて学習データを作成すればよい。

【0065】

なお、学習済みの推論モデルとして、YOLOなどのプログラムを用いてもよい。また、YOLOなどのプログラムを追加学習して用いるようにしてもよい。

【0066】

図３のステップＳ４においては、ＣＰＵ３０は、このようにして生成された推論モデルを用いて、撮像された画像（図４Ａ）に写し出された車両をバウンダリーボックスにて囲い、車種を推定する。

【0067】

図４Ｂに、車両が認識されバウンダリーボックスにて囲われた画像を示す。また、図示していないが、各バウンダリーボックスに対応付けて推定した車種が記録される（図６Ｂのような形式にて記録される）。

【0068】

続いて、ＣＰＵ３０は、バウンダリーボックスに基づいて、それぞれの車両の画像を切り出す（ステップＳ８）。切り出した車両画像の例を、図７に示す。

【0069】

ＣＰＵ３０は、車両画像に基づいて、当該車両の部位推定を行う（ステップＳ１０）。なお、車両との距離によって切り出した画像の大きさが異なっている。そこで、この実施形態では距離に応じて異なる大きさとなっている車両画像を、統一した大きさに変換（正規化）してから推定を行うようにしている。たとえば、車両画像の横幅（バウンダリーボックスの横幅）を定められた幅となるように、車両画像全体を均等に拡大縮小する。

【0070】

この実施形態では、かかる推定処理のために学習済みの推論モデル（例えばディープラーニングによる機械学習のモデル）を用いている。

【0071】

この実施形態においては、学習処理は、図２のコンピュータを用いて行うようにしている。もちろん、他のコンピュータを用いてもよい。

【0072】

図８に、学習処理のフローチャートを示す。この実施形態では、セマンティック・セグメンテーションによる推定処理を行うSegNet（https://qiita.com/uni-3/items/a62daa5a03a02f5fa46dにて入手可能）を、ディープラーニングのエンジンとして用いた。

【0073】

まず、図９Ａに示すような自動車の含まれる画像データを多数用意して、ハードディスク３６に記録する。できれば、いろいろな車種、いろいろな背景による画像が多数あることが好ましい。

【0074】

それぞれの画像データ（オリジナル画像データ）を、ディスプレイ３４に表示し、操作者が画像をみながら、マウス４０を操作して、前ナンバープレート、後ナンバープレート、前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、フロントガラス、左側面、右側面、背面、リアガラス、上面および背景（自動車以外の部分）を、それぞれ異なる色でラベル付けする。ラベル画像の例を図９Ｂに示す。生成されたラベル画像データは、オリジナルの画像データに対応付けて、ハードディスク３６に記録される。

【0075】

以上のようにして、オリジナル画像データとこれに対応するラベル画像データが、多数、ハードディスク３６に記録されることとなる。

【0076】

まず、ＣＰＵ３０は、ハードディスク３６からオリジナル画像データを取得する（ステップＳ６２）。たとえば、図９Ａのようなオリジナル画像を読みだす。次に、ＣＰＵ３０は、オリジナル画像について、学習済みのセマンティック・セグメンテーションにより、前ナンバープレート、後ナンバープレート、前タイヤ、後タイヤ、左タイヤ、右タイヤ、正面、フロントガラス、左側面、右側面、背面、リアガラス、上面の各部位を推定する（ステップＳ６４）。推定結果の画像を、図９Ｃに示す。図９Ｃに示すように、各部位ごとに異なる色が付された画像となっている。

【0077】

この実施形態では、オリジナル画像に対して、プーリングおよび畳み込みを繰り返し、さらに、アップサンプリングと畳み込みを繰り返すことで推定結果の画像を得るようにしている。

【0078】

次に、ＣＰＵ３０は、オリジナル画像に対応してハードディスク３６に記録されているラベル画像を読みだす（ステップＳ６６）。たとえば、図９Ｂのようなラベル画像が読みだされる。

【0079】

続いて、ＣＰＵ３０は、図９Ｂのラベル画像を教師データとし、図９Ｃの推定結果画像に基づいて、ステップＳ６４における推定のためのパラメータを学習する（ステップＳ６８）。

【0080】

全てのオリジナル画像・ラベル画像に基づいて学習を行うと、ＣＰＵ３０は、学習処理を終了する（ステップＳ６０、Ｓ７０）。なお、最初は、未学習の推論モデルあるいは学習不足の推論モデルであるが、上記の処理を繰り返すことで、十分に学習済みの推論モデルを得ることができる。

【0081】

なお、上記実施形態では、車両一台ごとの画像に基づいて学習を行っている。しかし、複数の車両が撮像された画像に基づいて学習を行ってもよい。

【0082】

図３のステップＳ１０において、ＣＰＵ３０は、上記のようにして学習された推定モデルを用い、一つの車両の部位領域を推定する（ステップＳ１０）。これにより、図４Ｃに示すように、自動車の各部位が推定される。この実施形態では、各部位ごとに領域分けされた（色彩、濃度などにより区別する）部位推定画像を出力するようにしている。

【0083】

図４Ｃに部位推定画像の例を示す。この例の場合、前面、前ナンバープレート、フロントガラス、左側面、上面、左前タイヤ、左後タイヤが認識されている。

【0084】

次に、ＣＰＵ３０は、上記の部位推定画像とステップＳ４にて推定した車種とに基づいて、大型車・小型車の推定を行う（ステップＳ１２）。

【0085】

前述のように、この実施形態では、ステップＳ３において、乗用車、貨物車、バスの車種を得ている。しかし、貨物車の中には、小型貨物車（小型トラック）と普通貨物車（普通トラック）が含まれており、これらを区別するために、大型・小型の推定を行う。前者が小型であり、後者が大型である。

【0086】

また、乗用車の中には、ワゴン車やマイクロバスのように、その形状から大型車であるバスと誤って認識されることもある。そこで、この実施形態では、これらを区別するために、大型・小型の推定を行う。前者が小型であり、後者が大型である。

【0087】

以上のように、大型・小型の区別を行うことにより、道路交通センサスなどに用いられている分類である、乗用車（小型車）、小型貨物車（小型車）、バス（大型車）、普通貨物車（大型車）を得ることができる。

【0088】

この実施形態では、大型・小型の推定処理のために学習済みの推論モデル（例えばディープラーニングによる機械学習のモデル）を用いている。

【0089】

この実施形態においては、学習処理は、図２のコンピュータを用いて行うようにしている。もちろん、他のコンピュータを用いてもよい。

【0090】

図１０に、学習処理のフローチャートを示す。まず、図１１Ａに示すような部位推定画像データを多数用意して、ハードディスク３６に記録する。できれば、いろいろな車種による画像が多数あることが好ましい。

【0091】

それぞれの部位推定画像を、ディスプレイ３４に表示し、操作者が画像をみながら、キーボード／マウス４０を操作して、大型車・小型車の区別を入力する。なお、部位推定画像だけでは判別が難しい場合があるので、オリジナル画像も合わせて表示する。上述のように、乗用車（マイクロバス、ワゴン車を含む）や小型貨物車であれば小型車とし、バス、普通貨物車であれば大型車とする。この大型車・小型車の区別は、部位推定画像に対応付けて、ハードディスク３６に記録される。

【0092】

以上のようにして、部位推定画像とこれに対応する大型車・小型車の区別が、多数ハードディスク３６に記録されることとなる。

【0093】

まず、ＣＰＵ３０は、ハードディスク３６から部位推定画像を取得する（ステップＳ８２）。たとえば、図１１Ａのような部位推定画像を読みだす。次に、ＣＰＵ３０は、部位推定画像について、学習済みの推定エンジンにより、大型・小型の推定を行う（ステップＳ８４）。

【0094】

次に、ＣＰＵ３０は、部位推定画像に対応してハードディスク３６に記録されている大型・小型の区別を読みだす（ステップＳ６６）。

【0095】

続いて、ＣＰＵ３０は、読み出した大型・小型の区別を教師データとし、ステップＳ８４における推定結果に基づいて、ステップＳ８４における推定のためのパラメータを学習する（ステップＳ８８）。

【0096】

全ての部位推定画像に基づいて学習を行うと、ＣＰＵ３０は、学習処理を終了する（ステップＳ８０、Ｓ９０）。なお、最初は、未学習の推論モデルあるいは学習不足の推論モデルであるが、上記の処理を繰り返すことで、十分に学習済みの推論モデルを得ることができる。

【0097】

なお、この推定が機能している理由は、大型車と小型車とによって、外形形状が類似していたとしても、フロントガラスの占める割合や前後のタイヤ間隔などが異なるためであると思われる。

【0098】

なお、上記実施形態では、車両一台ごとの画像に基づいて学習を行っている。しかし、複数の車両が撮像された画像に基づいて学習を行ってもよい。

【0099】

図３のステップＳ１２において、ＣＰＵ３０は、上記のようにして学習された推定モデルを用い、部位推定画像に基づいて大型・小型の推定を行う。次に、ＣＰＵ３０は、この大型・小型の推定結果に基づいて、ステップＳ４における車種推定を修正する（ステップＳ１４）。

【0100】

ステップＳ４では、乗用車、貨物車、バスの車種推定を行っていた。この実施形態では、ステップＳ１４において、図１２に示すように、大型・小型の推定に基づいて、車種推定を正確なものに修正している。

【0101】

次に、ＣＰＵ３０は、当該車両が連続して撮像されている動画の中で、最初に登場したかどうかを判断する。これは、類似形状の車両が初めて認識されたかどうかによって判断することができる。また、道路の進行方向との関係で、初めて登場したかどうかを判断する対象の車両を絞り込むことができる。たとえば、図４Ａの画像において、向かってくる車両であれば、ライン２００より上の部分にある車両のみを対象として判断することができる。他の方向に移動する車両についても同様である。

【0102】

初めて撮像された車両であれば、当該車両について新たなＩＤを生成し、当該車両に対応付けて修正した推定結果を記録する（ステップＳ２０）。また、既に認識済みの車両であれば、当該車両に対応付けて修正した推定結果を追加して記録する（ステップＳ１８）。

【0103】

ＣＰＵ３０は、上記の推定を、車両の数だけ繰り返す（ステップＳ６、Ｓ２２）。これにより、カメラによって撮像された画像に写し出された各車両について、車種の推定を行うことができる。

【0104】

次に、ＣＰＵ３０は、次の撮像画像を取り込み（ステップＳ２）、上記と同様にして、各車両の車種推定を行い、その結果を対応づけて記録する（ステップＳ４～Ｓ２２）。

【0105】

以上を繰り返すと、車両の移動により、撮像されなくなるものがでてくる。当該車両について、記録された修正された車種推定結果（複数個ある）を統合して、最終的な車種推定結果を得て、当該最終的な車種推定結果を当該車両（車両ＩＤ）に対応づけて記録する（ステップＳ２４）。たとえば、複数ある車種推定結果のうち、最も多い車種推定結果を、最終的な車種推定結果とする。

【0106】

以上のようにして、リアルタイムに撮像を行いながら正確に車種を判断することができる。たとえば、交通量調査などにおける車種判定などに用いることができる。

【0107】

1.4その他
(1)上記実施形態では、ステップＳ１４において、部位推定画像に基づいて大型・小型の推定を行っている。しかし、ステップＳ８で抽出した車両画像（正規化したものが好ましい）も含めて推定に用いるようにしてもよい。

【0108】

(2)上記実施形態では、車両画像の大きさを正規化した後、推定を行うようにしている。しかし、正規化せずに推定を行うようにしてもよい。

【0109】

(3)上記実施形態では、まず、車種を推定してから、大型・小型の推定を行って、修正し最終的な車種を得ている。しかし、ステップＳ４において、車両の部位推定画像を用いて、最終的な車種の推定を一度に行ってもよい。

【0110】

(4)上記実施形態では、リアルタイムに車種の推定を行っている。しかし、記録済みの撮像画像に基づいて上記の処理を行って、車種の推定を行うようにしてもよい。この場合、カメラ２によって撮像した画像を可搬性記録媒体に記録し、これをハードディスク３６に読み込んで処理を行うようにしてもよい。

【0111】

(5)上記実施形態では、部位推定画像として、前面、前ナンバープレート、側面、タイヤ、フロントガラスなどの部位領域を明らかにしたものを用いている。しかし、大型車と小型車において、全体の大きさが分かる部位と、フロントガラスやタイヤ間隔やナンバープレートの大きさが分かるような部位を含む部位推定画像を用いることができる。たとえば、少なくとも、フロントガラスといずれかの側面を含む部位推定画像を用いてもよい。また、少なくとも、いずれかの前タイヤと後タイヤといずれかの側面を含む部位推定画像を用いてもよい。

【0112】

(6)上記実施形態では、全ての車両についての共通した学習済み推論モデルを構築して、大型車・小型車の推定をしている。しかし、ステップＳ４において推定した車種ごとに学習済み推論モデルを構築し、車種ごとに大型車・小型車の推定をしてもよい。また、車種の判定を行うようにしてもよい。

【0113】

(7)上記実施形態では部位推定画像に基づいて大型車・小型車の推論を行っている。しかし、これに代えて、あるいはこれに加えて、車両画像を正規化した時のバウンダリーボックス枠の大きさや車両が専有する面積などを推論の根拠として用いるようにしてもよい。

【0114】

(8)上記実施形態では、いろいろな方向に移動する車両を撮像している。しかし、カメラ設置の際に、一方にのみ移動する車（向かってくる車のみ等）だけが撮像されるように設定すれば、推定処理が容易となり精度も向上する。

【0115】

(9)上記実施形態では、同一の車両に対する複数の車両画像に基づいて、大型小型の判断を行っている。しかし、一枚の画像に基づいてこれを行うようにしてもよい。

【0116】

(10)上記実施形態およびその変形例は、その本質に反しない限り他の実施形態変形例と組み合わせて実施可能である。

【0117】

２．第２の実施形態
2.1機能構成
図１３に、この発明の一実施形態による入場管理システムの機能ブロック図を示す。撮像部２は、たとえば、施設などの駐車場入口に設けられ、入口ゲートに近づく車両を撮像する。車種推定手段１００は、たとえば、第１の実施形態にて説明した手法によって、撮像画像に基づいて車種を推定するものである。ゲート制御手段１５０は、当該推定された車種に基づいて、ゲートの開閉を制御するものである。たとえば、大型車と小型車によって、大型車のための駐車場へのゲート、小型車のための駐車場へのゲートを開けるかを制御する。

【0118】

2.2システム構成と動作
図１４に、入場管理システムの入場ゲートの外観を示す。小型車用ゲート１２０と大型車用ゲート１４０が設けられている。カメラ２は、これらのゲートに進入しようとする車両を撮像する。

【0119】

図１５に、ハードウエア構成を示す。コンピュータ１６０は、第１の実施形態における図２の構成と同様のものである。ただし、ＣＰＵ３０は、ゲート１２０、１４０の開閉を制御するゲート制御部１８０に対して、指令を与えることができるようになっている。

【0120】

図１６に、制御プログラムのフローチャートを示す。ＣＰＵ３０は、ステップＳ１１０において、カメラ２によって撮像した画像を取得する。撮像画像において車両が認識されなければ、ステップＳ１１０を繰り返す。

【0121】

車両が認識されると、ＣＰＵ３０は、第１の実施形態にて説明した処理により、車種（大型・小型）の推定を行う（ステップＳ１１４）。大型であると推定した場合、ＣＰＵ３０は、大型用ゲート１４０を開くようゲート制御部１８０に指示する（ステップＳ１１６）。また、小型であると推定した場合、ＣＰＵ３０は、小型用ゲート１２０を開くようゲート制御部１８０に指示する（ステップＳ１１６）。

【0122】

ゲートを開いた後、通過検出のセンサ（図示せず）からの出力を受けると、ＣＰＵ３０は、ゲートを閉じる（ステップＳ１１８）。

【0123】

以上のようにして、自動的に大型小型を判定して、行き先のゲートを選択して開閉することができる。

【0124】

2.3その他
(1)上記実施形態では、駐車場について説明したが、ドライブスルーサファリなどその他の施設についても同様に適用することができる。また、上記では、大型・小型の判断に基づいてゲートを選択的に開閉しているが、より細かい車種分けに応じてゲートを選択的に開閉するようにしてもよい。

【0125】

また、所定の車種に応じて（あるいは大型・小型に応じて）、ゲートを開けるかどうかを判断するようにしてもよい。たとえば、小型車専用の橋であれば、その入口で大型車に対してはゲートを開けないように制御することができる。

【0126】

(2)上記実施形態では、ゲートの開閉を制御する場合について説明した。しかし、車種推定（大型小型の推定を含む）に応じて、駐車料金や施設利用料金を算出するようにしてもよい。高速道路などの入り口において利用することができる。

【0127】

(3)上記実施形態およびその変形例は、その本質に反しない限り他の実施形態や変形例と組み合わせて実施可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】