(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-29
(45)【発行日】2022-07-07
(54)【発明の名称】車両推定装置、学習装置、及び車両推定方法
(51)【国際特許分類】
G08G 1/015 20060101AFI20220630BHJP
G06T 7/00 20170101ALI20220630BHJP
G08G 1/017 20060101ALI20220630BHJP
【ＦＩ】
G08G1/015 A
G06T7/00 650B
G08G1/017
【請求項の数】
6
(21)【出願番号】P 2018075817
(22)【出願日】2018-04-11
(65)【公開番号】P2019185410
(43)【公開日】2019-10-24
【審査請求日】2021-02-15
(73)【特許権者】
【識別番号】000002299
【氏名又は名称】清水建設株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100161506
【弁理士】
【氏名又は名称】川渕 健一
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(72)【発明者】
【氏名】長谷川 実
【審査官】白石 剛史
(56)【参考文献】
【文献】特開平０７－０４４６８９（ＪＰ，Ａ）
【文献】特開２００４－２６０５２７（ＪＰ，Ａ）
【文献】特表２０１０－５１７１３９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／０１５
Ｇ０６Ｔ ７／００
Ｇ０８Ｇ １／０１７
(57)【特許請求の範囲】
【請求項1】
作業現場に入場する車両又は前記作業現場から退場する車両のうち少なくとも何れかの車両が撮像された画像の画像データを取得する画像データ取得部と、前記画像の前記画像データを、車両に関する属性情報を推定する学習済みモデルに入力することにより、前記画像における車両について当該車両に関する属性情報を推定する推定部
を備え、
前記学習済みモデルは、前記画像データから抽出された車両が撮像された画像に当該車両の車両種別を対応づけた学習データと、前記画像データから抽出された積載物が撮像された画像に当該車両の積載物の名称を対応づけた学習データと、を用いて深層学習を実行することにより作成されるものである
車両推定装置。
【請求項2】
前記推定部は、前記画像における車両の車両種別、又は前記画像における車両の積載物のうち少なくとも一方を推定する請求項１に記載の車両推定装置。
【請求項3】
前記画像は、作業現場に入場する車両又は前記作業現場から退場する車両のうち少なくとも何れかの車両を俯瞰する画像であって、前記車両の進行方向にみて前側となる前部が含まれる車両前部画像、前記前部の方向にある端部と前記車両の積載物の全部又は一部とが含まれる車両前方画像、前記車両の積載物の全部又は一部と前記車両の進行方向にみて後側となる後部の方向にある端部とが含まれる車両後方画像、前記車両の積載物の全部が含まれる荷姿画像、前記後部が含まれる車両後部画像のうち少なくとも一つを含む請求項１又は請求項２に記載の車両推定装置。
【請求項4】
車両と、当該車両に関する属性情報とを対応づけた学習データを用いて深層学習を実行することにより、作業現場において車両が入退場する領域を撮像領域として撮像された画像データにおける車両における前記属性情報を推定する推定モデルを作成するモデル作成部を備える学習装置であり、
前記推定モデルは、前記画像データから抽出された車両が撮像された画像に当該車両の車両種別を対応づけた学習データと、前記画像データから抽出された積載物が撮像された画像に当該車両の積載物の名称を対応づけた学習データと、を用いて深層学習を実行することにより作成されるものである
学習装置。
【請求項5】
前記学習データの各々を訓練データとテストデータとに振分ける振分け部と、前記モデル作成部により作成された推定モデルを評価する評価部
を更に備え、
前記モデル作成部は、前記振分け部により振分けられた前記訓練データを用いて深層学習を実行することにより推定モデルを作成し、
前記評価部は、前記推定モデルに前記テストデータに対応する画像を入力することにより、前記テストデータに対応する画像における車両について当該車両の属性情報を推定した推定結果を取得し、取得した推定結果と前記テストデータに対応する画像の属性情報とに基づいて、前記推定モデルを評価する
請求項４に記載の学習装置。
【請求項6】
画像データ取得部が、作業現場において車両が入退場する領域を撮像領域とする画像の画像データを取得し、推定部が、前記画像の前記画像データを、車両に関する属性情報を推定する学習済みモデルに入力することにより、前記画像における車両について当該車両に関する属性情報を推定し、
前記学習済みモデルは、車両に前記属性情報を対応させた学習データを用いて深層学習を実行することにより作成されるものであり、
前記学習済みモデルは、前記画像データから抽出された車両が撮像された画像に当該車両の車両種別を対応づけた学習データと、前記画像データから抽出された積載物が撮像された画像に当該車両の積載物の名称を対応づけた学習データと、を用いて深層学習を実行することにより作成されるものである
ことを特徴とする車両推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業現場において入退場する車両を管理するための車両推定装置、学習装置、及び車両推定方法に関する。
【背景技術】
【0002】
従来、建設現場などの作業現場においては、車両系の建設機器、建設資材を搬入する車両や産業廃棄物を搬出する車両等、様々な車両が頻繁に出入りする。特に、作業現場にコンクリートを打設する際にはコンクリートミキサー車（以下、生コン車という）が、作業現場から掘削土を搬出する際にはダンプ車が、それぞれ数分間隔でサイクリックに作業現場に入退場し、ピーク時は一日に入場又は退場（以下、入退場という）する車両の数がゲート当たり数百台程度にまで達する。
生コン車やダンプ車については、作業現場に入場した車両の台数による精算が行われる。このため、例えば、作業現場のガードマン等により、作業現場に入場した生コン車等の車両の台数が記録され、精算費用を確認するために用いられている。
また、作業現場に入場するために車両が作業現場付近に停車して待機する場合があり、周辺の道路が渋滞する一因となっている。
このため、要因となり得ることから、作業現場に入退場する車両の台数の報告を、行政から求められる場合もあった。例えば、このような入退場を行う車両を管理する方法として、駐車場に入出場する車両をカメラで撮像した画像を用いて車両のナンバプレートを認識する技術が開示されている（例えば、特許文献１）。
生コン車やダンプ車については、作業現場に入場した車両の台数による精算が行われる。このため、例えば、作業現場のガードマン等により、作業現場に入場した生コン車等の車両の台数が記録され、精算費用を確認するために用いられている。
また、作業現場に入場するために車両が作業現場付近に停車して待機する場合があり、周辺の道路が渋滞する一因となっている。
このため、要因となり得ることから、作業現場に入退場する車両の台数の報告を、行政から求められる場合もあった。例えば、このような入退場を行う車両を管理する方法として、駐車場に入出場する車両をカメラで撮像した画像を用いて車両のナンバプレートを認識する技術が開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１５－１９７７８０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来技術のようにナンバプレートや車両番号を認識させて車両を管理するためには、事前に車両番号を登録させておく必要があり、登録する作業に手間がかかる。また、作業現場に入退場する車両のうち、ダンプ車、生コン車、給油車、産廃収集車以外の車両においては、同一車両のリピート率が低く、一度登録した車両番号の車両が再度同じ作業現場に入場することが稀である。このため、事前に車両番号を登録する手間がかかる一方で、未登録の車両が次々に入場してくることになり、車両管理の運用を継続させることが困難であった。
また、比較的規模が小さい作業現場においては、車両が後進しながら作業現場に入場することが多くあり、車両のフロント部分に設けられたナンバプレートを認識することが前提である場合、車両の後部に設けられたナンバプレートを認識することが困難であった。
また、比較的規模が小さい作業現場においては、車両が後進しながら作業現場に入場することが多くあり、車両のフロント部分に設けられたナンバプレートを認識することが前提である場合、車両の後部に設けられたナンバプレートを認識することが困難であった。
【0005】
上述の課題を鑑み、本発明は、手間を増大させることなく、作業現場において入退場する車両を管理することができる車両推定装置、学習装置、及び車両推定方法を提供する。
【課題を解決するための手段】
【0006】
上述した課題を解決するために、本発明の一態様に係る車両推定装置は、作業現場に入場する車両又は前記作業現場から退場する車両のうち少なくとも何れかの車両が撮像された画像の画像データを取得する画像データ取得部と、前記画像の前記画像データを、車両に関する属性情報を推定する学習済みモデルに入力することにより、前記画像における車両について当該車両に関する属性情報を推定する推定部を備え、前記学習済みモデルは、前記画像データから抽出された車両が撮像された画像に当該車両の車両種別を対応づけた学習データと、前記画像データから抽出された積載物が撮像された画像に当該車両の積載物の名称を対応づけた学習データと、を用いて深層学習を実行することにより作成されるものである車両推定装置である。
【0007】
また、本発明に係る一態様は、上述した車両推定装置であって、前記推定部は、前記画像における車両の車両種別、又は前記画像における車両の積載物のうち少なくとも一方を推定する。
【0008】
また、本発明に係る一態様は、上述した車両推定装置であって、前記画像は、作業現場に入場する車両又は前記作業現場から退場する車両のうち少なくとも何れかの車両を俯瞰する画像であって、前記車両の進行方向にみて前側である前部が含まれる車両前部画像、前記前部の方向にある端部と前記車両の積載物の全部又は一部とが含まれる車両前方画像、前記車両の積載物の全部又は一部と前記車両の進行方向にみて後側である後部の方向にある端部とが含まれる車両後方画像、前記車両の積載物の全部が含まれる荷姿画像、前記後部が含まれる車両後部画像のうち少なくとも一つを含む。
【0009】
また、本発明にかかる一態様は、車両と、当該車両に関する属性情報とを対応づけた学習データを用いて深層学習を実行することにより、作業現場において車両が入退場する領域を撮像領域として撮像された画像データにおける車両における前記属性情報を推定する推定モデルを作成するモデル作成部を備える学習装置であり、前記推定モデルは、前記画像データから抽出された車両が撮像された画像に当該車両の車両種別を対応づけた学習データと、前記画像データから抽出された積載物が撮像された画像に当該車両の積載物の名称を対応づけた学習データと、を用いて深層学習を実行することにより作成されるものである学習装置である。
【0010】
また、本発明に係る一態様は、上述した学習装置であって、前記学習データの各々を訓練データとテストデータとに振分ける振分け部と、前記モデル作成部により作成された推定モデルを評価する評価部を更に備え、前記モデル作成部は、前記振分け部により振分けられた前記訓練データを用いて深層学習を実行することにより推定モデルを作成し、前記評価部は、前記推定モデルに前記テストデータに対応する画像を入力することにより、前記テストデータに対応する画像における車両について当該車両の属性情報を推定した推定結果を取得し、取得した推定結果と前記テストデータに対応する画像の属性情報とに基づいて、前記推定モデルを評価する。
【0011】
また、本発明に係る一態様は、上述した車両推定方法であって、画像データ取得部が、作業現場において車両が入退場する領域を撮像領域とする画像の画像データを取得し、推定部が、前記画像の前記画像データを、車両に関する属性情報を推定する学習済みモデルに入力することにより、前記画像における車両について当該車両に関する属性情報を推定し、前記学習済みモデルは、車両に前記属性情報を対応させた学習データを用いて深層学習を実行することにより作成されるものであり、前記学習済みモデルは、前記画像データから抽出された車両が撮像された画像に当該車両の車両種別を対応づけた学習データと、前記画像データから抽出された積載物が撮像された画像に当該車両の積載物の名称を対応づけた学習データと、を用いて深層学習を実行することにより作成されるものであることを特徴とする車両推定方法である。
【発明の効果】
【0012】
本発明によれば、作業現場を入退場する車両の車両種別や積載物等の属性情報を推定するので、手間を増大させることなく、作業現場において入退場する車両を管理することができる。
【図面の簡単な説明】
【0013】
【図1】実施形態の車両検知システム３０が作業現場１に適用された例を示す図である。
【図2】実施形態の車両推定装置４０の構成例を示すブロック図である。
【図3】実施形態の学習済みモデル記憶装置５０の構成例を示すブロック図である。
【図4】実施形態の学習装置６０の構成例を示すブロック図である。
【図5】実施形態の車両検知システム３０において用いられる画像の例を示す図である。
【図6】実施形態の学習装置６０の動作例を示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態について図面を参照しながら説明する。
図１は、実施形態の車両検知システム３０が作業現場１に適用された例を示す図である。図１に示すように、車両検知システム３０は作業現場１に適用される。作業現場１には、例えば、入退場ゲート１０及び撮像装置２０が設けられる。
図１は、実施形態の車両検知システム３０が作業現場１に適用された例を示す図である。図１に示すように、車両検知システム３０は作業現場１に適用される。作業現場１には、例えば、入退場ゲート１０及び撮像装置２０が設けられる。
【0015】
入退場ゲート１０は、作業現場１の出入口に設けられる。入退場ゲート１０の両端には、作業現場１を囲むように設けられたパネルゲート１１が設けられる。入退場ゲート１０は、例えば、出入口の左右に設けられる支柱１２（支柱１２ａ、１２ｂ）と、支柱１２の間の上側に架設した横架材１３により門（ゲート）の枠組みが形成される。例えば、このゲートの枠組みに沿うようにして、上端を横架材１３に吊架され、下端に設けられた車輪（キャスタ）を走行させることにより開閉可能なキャスタゲート１４が設けられる。
【0016】
撮像装置２０は、例えば、横架材１３の長さ方向における中央付近に設置される。撮像装置２０は、例えば、撮像方向が下側方向を向くように設置され、入退場ゲート１０を出入する車両１５（車両１５ａ、１５ｂ）を俯瞰した画像を撮像する。
撮像装置２０は、例えば、３６０度の画角で撮影できる全方位カメラである。撮像装置２０は、例えば、入退場ゲート１０を車両１５が通過する場合に、その通過する車両１５を俯瞰した画像を撮像する。なお、撮像装置２０は、静止画像を撮像してもよいし、動画像を撮像するようにしてもよい。また、撮像装置２０は、白黒画像を撮像してもよいし、カラー画像を撮像するようにしてもよい。
撮像装置２０は、撮像した画像の画像データを車両検知システム３０に送信する。
撮像装置２０は、例えば、３６０度の画角で撮影できる全方位カメラである。撮像装置２０は、例えば、入退場ゲート１０を車両１５が通過する場合に、その通過する車両１５を俯瞰した画像を撮像する。なお、撮像装置２０は、静止画像を撮像してもよいし、動画像を撮像するようにしてもよい。また、撮像装置２０は、白黒画像を撮像してもよいし、カラー画像を撮像するようにしてもよい。
撮像装置２０は、撮像した画像の画像データを車両検知システム３０に送信する。
【0017】
車両検知システム３０は、撮像装置２０により撮像された画像の画像データに基づいて、画像における車両１５の属性情報を検知する。ここで、車両１５の属性情報とは、車両に関する属性を示す情報であり、例えば、車両種別や積載物、及び動作等を示す情報である。ここでの動作は、車両１５が作業現場１に入場しているか、作業現場１から退場しているかを示す情報である。
【0018】
車両検知システム３０は、例えば、車両推定装置４０と、学習済みモデル記憶装置５０と、学習装置６０とを備える。
車両推定装置４０は、撮像装置２０により撮像された画像の画像データに基づいて、画像における車両の属性情報を推定する。車両推定装置４０は、車両の属性情報を推定する際に、学習済みモデル記憶装置５０に記憶された学習済みモデルを用いる。
ここでの学習済みモデルは、入力としての画像に撮像された車両と、出力としての車両の属性情報との対応関係を示す学習データを用いて深層学習を実行することにより作成されたモデルである。
車両推定装置４０は、撮像装置２０により撮像された画像の画像データに基づいて、画像における車両の属性情報を推定する。車両推定装置４０は、車両の属性情報を推定する際に、学習済みモデル記憶装置５０に記憶された学習済みモデルを用いる。
ここでの学習済みモデルは、入力としての画像に撮像された車両と、出力としての車両の属性情報との対応関係を示す学習データを用いて深層学習を実行することにより作成されたモデルである。
【0019】
ここで、深層学習について説明する。
まず、深層学習の基本となる機械学習とは、大量のデータから、そのデータ群に共通する規則性や関連性を見つけ出し、その規則性や関連性に基づいて、当該データに対する判断や予測を行う手法である。機械学習においては、データ群に対して着目すべき特徴（特徴量）を人間が指定する。このため、人間が、学習に用いるデータ（学習データ）の内容と、学習結果として用いる判断や予測との関係を十分に考慮した上で特徴量を適切に指定する必要がある。
これに対し、深層学習の場合は、人間が特徴量を指定する必要がない。深層学習においては、人間の脳神経回路をモデルにした多層構造アルゴリズム（ディープニューラルネットワーク、人工知能などともいう）を用いることにより、特徴量の設定や組み合わせを人工知能が自ら考えて決定するためである。例えば、車両が撮像された画像を学習データとして用いて、その車両種別を推定させようとした場合、機械学習の場合では、特徴量として、色や形状など、人間が考えられる様々な特徴量を指定しなければならず、どの特徴量が車両種別の推定に効果的かは、機械学習を実行しなければ判らない。一方、深層学習においては、車両種別の推定に効果的な特徴量を自ら考えて決定し、自らが自動的に学習を行う。但し、深層学習において、人工知能に推定に効果的な特徴量を決定させるためには、大量の学習データを読み込ませる（学習させる）必要がある。また、読み込ませる学習データの内容により学習の方向性も変化するため、慎重に学習データを選択する必要がある。
しかし、学習データの質を向上させるために学習データ用の画像を増やすには、現実的な問題として人件費などのコストがかかることから、やみくもに学習データ用の画像を増やすことは得策ではない。
そこで、本実施形態においては、学習データ用の画像をある程度（例えば、１００枚）用意し、用意した学習データを用いて深層学習を実行する。そして、深層学習を行う際に使用する変数を調整することにより推定モデルの方向性を定めた上で、その方向性に沿った学習データを増加させることにより、効率よく精度の高い推定モデルを作成する。
まず、深層学習の基本となる機械学習とは、大量のデータから、そのデータ群に共通する規則性や関連性を見つけ出し、その規則性や関連性に基づいて、当該データに対する判断や予測を行う手法である。機械学習においては、データ群に対して着目すべき特徴（特徴量）を人間が指定する。このため、人間が、学習に用いるデータ（学習データ）の内容と、学習結果として用いる判断や予測との関係を十分に考慮した上で特徴量を適切に指定する必要がある。
これに対し、深層学習の場合は、人間が特徴量を指定する必要がない。深層学習においては、人間の脳神経回路をモデルにした多層構造アルゴリズム（ディープニューラルネットワーク、人工知能などともいう）を用いることにより、特徴量の設定や組み合わせを人工知能が自ら考えて決定するためである。例えば、車両が撮像された画像を学習データとして用いて、その車両種別を推定させようとした場合、機械学習の場合では、特徴量として、色や形状など、人間が考えられる様々な特徴量を指定しなければならず、どの特徴量が車両種別の推定に効果的かは、機械学習を実行しなければ判らない。一方、深層学習においては、車両種別の推定に効果的な特徴量を自ら考えて決定し、自らが自動的に学習を行う。但し、深層学習において、人工知能に推定に効果的な特徴量を決定させるためには、大量の学習データを読み込ませる（学習させる）必要がある。また、読み込ませる学習データの内容により学習の方向性も変化するため、慎重に学習データを選択する必要がある。
しかし、学習データの質を向上させるために学習データ用の画像を増やすには、現実的な問題として人件費などのコストがかかることから、やみくもに学習データ用の画像を増やすことは得策ではない。
そこで、本実施形態においては、学習データ用の画像をある程度（例えば、１００枚）用意し、用意した学習データを用いて深層学習を実行する。そして、深層学習を行う際に使用する変数を調整することにより推定モデルの方向性を定めた上で、その方向性に沿った学習データを増加させることにより、効率よく精度の高い推定モデルを作成する。
【0020】
学習済みモデルは、例えば、学習済みの入力と同じ入力がなされた場合、その学習済みの入力に対応する出力を、推定される車両の属性情報として出力する。
学習済みモデル記憶装置５０は、学習済みモデルを記憶する。学習装置６０は、学習済みモデル記憶装置５０に記憶させる学習済みモデルを作成する。
学習済みモデル記憶装置５０は、学習済みモデルを記憶する。学習装置６０は、学習済みモデル記憶装置５０に記憶させる学習済みモデルを作成する。
【0021】
車両検知システム３０は、車両推定装置４０により推定された車両の属性情報を、検知結果とする。車両検知システム３０は、検知結果を、例えば、表示装置７０に出力する。
表示装置７０は、車両検知システム３０による検知結果を出力する。図１の例では、表示装置７０は、車両１５ａについて、車両種別（車両）がダンプ車であり、積載物（積荷）が掘削土であり、車両の動作が退場であることを示している。また、表示装置７０は、車両１５ｂについて、車両種別が生コン車であり、積載物が生コンクリート（生コン）であり、車両の動作が入場であることを示している。
表示装置７０は、車両検知システム３０による検知結果を出力する。図１の例では、表示装置７０は、車両１５ａについて、車両種別（車両）がダンプ車であり、積載物（積荷）が掘削土であり、車両の動作が退場であることを示している。また、表示装置７０は、車両１５ｂについて、車両種別が生コン車であり、積載物が生コンクリート（生コン）であり、車両の動作が入場であることを示している。
【0022】
図２は、実施形態の車両推定装置４０の構成例を示すブロック図である。車両推定装置４０は、例えば、画像データ取得部４１と、前処理部４２と、車両種別推定部４３と、積載物推定部４４と、推定結果出力部４５と、推定結果記憶部４６とを備える。ここで、車両種別推定部４３及び積載物推定部４４は、「推定部」の一例である。
【0023】
画像データ取得部４１は、撮像装置２０により撮像された画像の画像データを取得する。画像データ取得部４１は、取得した画像データを前処理部４２に出力する。
前処理部４２は、画像データ取得部４１により取得された画像データに対応する画像について前処理を行う。ここでの前処理とは、後述する車両種別推定部４３及び積載物推定部４４による処理が正しく行われるようにするために、画像を加工する処理である。
前処理部４２は、例えば、画像から画像に撮像された様々な物体を抽出する。前処理部４２は、例えば、エッジ検出を行うことにより画像に撮像された様々な物体を抽出する。前処理部４２は、エッジの外周における輝度の差分に基づいて物体を囲むエッジを検出する。具体的には、前処理部４２は、画像に様々な矩形の枠（セル）をあてはめ、枠の内部と外周との輝度を比較し、内部の輝度分布と比較して枠の外周の輝度分布に輝度の差分が少ない場合に、その枠内に物体があると判定し、その枠を抽出することで画像から物体を抽出する。
前処理部４２は、画像データ取得部４１により取得された画像データに対応する画像について前処理を行う。ここでの前処理とは、後述する車両種別推定部４３及び積載物推定部４４による処理が正しく行われるようにするために、画像を加工する処理である。
前処理部４２は、例えば、画像から画像に撮像された様々な物体を抽出する。前処理部４２は、例えば、エッジ検出を行うことにより画像に撮像された様々な物体を抽出する。前処理部４２は、エッジの外周における輝度の差分に基づいて物体を囲むエッジを検出する。具体的には、前処理部４２は、画像に様々な矩形の枠（セル）をあてはめ、枠の内部と外周との輝度を比較し、内部の輝度分布と比較して枠の外周の輝度分布に輝度の差分が少ない場合に、その枠内に物体があると判定し、その枠を抽出することで画像から物体を抽出する。
【0024】
前処理部４２は、例えば、画像を時系列に比較し、画像の各々から抽出した物体のうち、時系列に変化する物体を選択する。すでに述べたように、ここでの画像は、作業現場１を入退場する車両１５が撮像された画像である。このため、画像に時系列に変化する物体が撮像されている場合には、その変化する物体が入退場する車両１５であると考えられる。つまり、前処理部４２は、時系列に変化する物体を選択することにより、画像における推定対象である車両１５や、車両１５の積載物を選択する。
また、前処理部４２は、例えば、画像から抽出した車両１５や、車両１５の積載物の画像の各々が同じ大きさになるようにスケーリングする。
前処理部４２は、画像から抽出した車両１５や、車両１５の積載物の画像における画像データを車両種別推定部４３及び積載物推定部４４に出力する。
また、前処理部４２は、例えば、画像から抽出した車両１５や、車両１５の積載物の画像の各々が同じ大きさになるようにスケーリングする。
前処理部４２は、画像から抽出した車両１５や、車両１５の積載物の画像における画像データを車両種別推定部４３及び積載物推定部４４に出力する。
【0025】
車両種別推定部４３は、前処理部４２により車両が抽出された画像の画像データに基づいて、画像における車両の車両種別を推定する。車両種別推定部４３は、学習済みモデル記憶装置５０の車両種別学習済みモデル記憶部５１（図３参照）に記憶された学習済みモデルに画像データを入力することにより得られる出力を、画像における車両の車両種別と推定する。車両種別推定部４３は、推定結果を推定結果出力部４５に出力するとともに、推定結果記憶部４６に記憶させる。
【0026】
積載物推定部４４は、前処理部４２により積載物が抽出された画像の画像データに基づいて、画像における車両の積載物を推定する。積載物推定部４４は、学習済みモデル記憶装置５０の積載物学習済みモデル記憶部５２（図３参照）に記憶された学習済みモデルに画像データを入力することにより得られる出力を、画像における車両の積載物と推定する。積載物推定部４４は、推定結果を推定結果出力部４５に出力するとともに、推定結果記憶部４６に記憶させる。
【0027】
推定結果出力部４５は、車両種別推定部４３及び積載物推定部４４により推定された画像における車両の車両種別及び積載物を示す情報を、画像と対応づけて表示装置７０に出力する。
推定結果記憶部４６は、車両種別推定部４３及び積載物推定部４４により推定された画像における車両の車両種別及び積載物を画像と対応づけた情報を記憶する。
推定結果記憶部４６は、車両種別推定部４３及び積載物推定部４４により推定された画像における車両の車両種別及び積載物を画像と対応づけた情報を記憶する。
【0028】
図３は、実施形態の学習済みモデル記憶装置５０の構成例を示すブロック図である。学習済みモデル記憶装置５０は、例えば、車両種別学習済みモデル記憶部５１と、積載物学習済みモデル記憶部５２とを備える。
車両種別学習済みモデル記憶部５１は、画像に撮像された車両に基づいて車両種別を推定する学習済みモデルを記憶する。この学習済みモデルは、画像に撮像された車両に、車両種別を対応付けた学習データを用いて深層学習を実行することにより作成されたモデルである。
車両種別学習済みモデル記憶部５１は、画像に撮像された車両に基づいて車両種別を推定する学習済みモデルを記憶する。この学習済みモデルは、画像に撮像された車両に、車両種別を対応付けた学習データを用いて深層学習を実行することにより作成されたモデルである。
【0029】
積載物学習済みモデル記憶部５２は、画像に撮像された車両の積載物に基づいて積載物を推定する学習済みモデルを記憶する。この学習済みモデルは、画像に撮像された車両の積載物に、積載物の名称を対応付けた学習データを用いて深層学習を実行することにより作成されたモデルである。
上述した車両種別学習済みモデル記憶部５１及び積載物学習済みモデル記憶部５２の各々に記憶される学習済みモデルは、例えば、学習装置６０により作成される。
上述した車両種別学習済みモデル記憶部５１及び積載物学習済みモデル記憶部５２の各々に記憶される学習済みモデルは、例えば、学習装置６０により作成される。
【0030】
図４は、実施形態の学習装置６０の構成例を示すブロック図である。学習装置６０は、例えば、画像データ取得部６１と、領域画像抽出部６２と、車両種別学習データ作成部６３と、積載物学習データ作成部６４と、学習データ振分け部６５と、車両種別学習モデル作成部６６と、積載物学習モデル作成部６７と、学習モデル評価部６８とを備える。ここで、車両種別学習モデル作成部６６及び積載物学習モデル作成部６７は、「モデル作成部」の一例である。学習データ振分け部６５は、「振分け部」の一例である。学習モデル評価部６８は、「評価部」の一例である。
【0031】
画像データ取得部６１は、車両１５が撮像された画像の画像データを取得する。画像データ取得部６１は、撮像装置２０により撮像された作業現場１に入退場する車両１５画像のみならず、他の作業現場において撮像された画像を取得してもよい。画像データ取得部６１が、他の作業現場における画像を取得する場合、画像における撮像位置や画角が、作業現場１の撮像装置２０の撮像位置や画角と同等であることが好ましい。撮像位置や画角等の撮像条件が、撮像装置２０の撮像条件と同等であれば、撮像装置２０により撮像された画像に基づいて、車両１５の属性情報を精度よく推定させる学習済みモデルを作成することができるためである。画像データ取得部６１は、取得した画像データを領域画像抽出部６２に出力する。
【0032】
領域画像抽出部６２は、画像データ取得部４１により取得された画像データに対応する画像から、前処理部４２が行うエッジ検出等の手法を用いた物体検知により車両相当の大きさの物体を車両とみなして抽出することで、検知対象である車両が撮像された車両領域、及び積載物が撮像された積荷領域を抽出する。領域画像抽出部６２は、画像から抽出した物体から学習対象である車両や積載物を選択する。
領域画像抽出部６２は、車両領域を抽出した画像の画像データを車両種別学習データ作成部６３に出力する。また、領域画像抽出部６２は、積載物領域を抽出した画像の画像データを積載物学習データ作成部６４に出力する。
領域画像抽出部６２は、車両領域を抽出した画像の画像データを車両種別学習データ作成部６３に出力する。また、領域画像抽出部６２は、積載物領域を抽出した画像の画像データを積載物学習データ作成部６４に出力する。
【0033】
車両種別学習データ作成部６３は、領域画像抽出部６２により車両領域が抽出された画像に、車両種別を対応付けることにより、画像に撮像された車両と車両種別との対応関係を学習させる学習データを作成する。車両種別学習データ作成部６３は、例えば、作業者によるキーボードやマウス等の入力装置の操作等に基づいて、画像に撮像された車両と、その車両の車両種別とを対応付ける。この場合、車両種別学習データ作成部６３は、図示しない入力部に入力された作業者によるマウス等の操作を示す情報を取得し、画像に撮像された車両と、その車両種別とを対応付ける。車両種別学習データ作成部６３は、作成した学習データを、学習データ振分け部６５に出力する。
【0034】
積載物学習データ作成部６４は、領域画像抽出部６２により積載物領域が抽出された画像に、積載物の名称を対応付けることにより、画像に撮像された車両の積載物とその積載物の名称との対応関係を学習させる学習データを作成する。積載物学習データ作成部６４は、例えば、作業者によるキーボードやマウス等の入力装置の操作等に基づいて、画像に撮像された車両と、その車両の車両種別とを対応付ける。この場合、積載物学習データ作成部６４は、図示しない入力部に入力された作業者によるマウス等の操作を示す情報を取得し、画像に撮像された車両と、その車両の車両種別とを対応付ける。積載物学習データ作成部６４は、作成した学習データを、学習データ振分け部６５に出力する。
【0035】
学習データ振分け部６５は、車両種別学習データ作成部６３により作成された学習データを、訓練データとテストデータとに振分ける。また、学習データ振分け部６５は、積載物学習データ作成部６４により作成された学習データを、訓練データとテストデータとに振分ける。ここで訓練データは、後述する車両種別学習モデル作成部６６、及び積載物学習モデル作成部６７により学習済みモデルが作成される際に用いられるデータである。テストデータは、車両種別学習モデル作成部６６、及び積載物学習モデル作成部６７により作成された学習済みモデルを評価するために用いられるデータである。
【0036】
学習データ振分け部６５は、車両種別学習データ作成部６３により作成された学習データを、訓練データとテストデータとに二等分に振り分けてもよいし、所定の比率で振り分けてもよい。例えば、学習データ振分け部６５は、車両種別学習データ作成部６３により作成された学習データの画像に対応付けられた属性情報が訓練データとテストデータとの両方に同量含まれるように、振り分ける。具体的には、学習データに、画像に撮像された車両１５に、その属性情報として車両種別「生コン車」が対応付られた学習データが二つある場合、その学習データのうち一つは訓練データに、残りの一つはテストデータに振り分ける。
【0037】
学習データ振分け部６５は、車両種別学習データ作成部６３により作成された学習データから振分けた訓練データを車両種別学習モデル作成部６６に出力する。また、学習データ振分け部６５は、積載物学習データ作成部６４により作成された学習データから振分け訓練データを積載物学習モデル作成部６７に出力する。
学習データ振分け部６５は、車両種別学習データ作成部６３により作成された学習データから振分けたテストデータ、及び積載物学習データ作成部６４により作成された学習データから振分けたテストデータの各々を図示しない記憶部に記憶させる。
学習データ振分け部６５は、車両種別学習データ作成部６３により作成された学習データから振分けたテストデータ、及び積載物学習データ作成部６４により作成された学習データから振分けたテストデータの各々を図示しない記憶部に記憶させる。
【0038】
車両種別学習モデル作成部６６は、学習データ振分け部６５により出力された車両種別を学習するための訓練データを用いて深層学習を実行することにより、学習済みモデルを作成する。
積載物学習モデル作成部６７は、学習データ振分け部６５により出力された積載物を学習するための訓練データを用いて深層学習を実行することにより、学習済みモデルを作成する。
積載物学習モデル作成部６７は、学習データ振分け部６５により出力された積載物を学習するための訓練データを用いて深層学習を実行することにより、学習済みモデルを作成する。
【0039】
学習モデル評価部６８は、車両種別学習モデル作成部６６及び積載物学習モデル作成部６７の各々により作成された学習済みモデルを評価する。学習モデル評価部６８は、例えば、学習データ振分け部６５により振分けられたテストデータの画像を学習済みモデルに入力することにより得られた出力と、テストデータの画像に対応づけられた属性情報とを比較することにより、学習済みモデルを評価する。
【0040】
例えば、画像に撮像された車両の１５に、その属性情報として車両種別「生コン車」が対応付られたテストデータがある場合、学習モデル評価部６８は、そのテストデータの画像（車両１５が撮像された画像）を車両種別を推定する学習済みモデルに入力させる。この場合、学習済みモデルは、入力された画像に撮像された車両１５と、一致するか、又は似ている車両の画像について学習済みである場合には、その学習済みの画像に対応する車両種別を出力する。
【0041】
学習モデル評価部６８は、学習済みモデルから、そのテストデータの画像（車両１５が撮像された画像）に対応付られた車両種別「生コン車」が、車両種別の推定値として出力された場合、推定結果が正しいと評価する。一方、学習モデル評価部６８は、学習済みモデルから、そのテストデータの画像（車両１５が撮像された画像）に対応付られた車両種別「生コン車」とは異なる車両種別（例えば、「ダンプ車」）が、車両種別の推定値として出力された場合、推定結果が正しくないと評価する。
【0042】
ここでは、車両の属性情報について、説明する。
車両種別には、例えば、ダンプ車、生コン車、パラセメント車、トラック、ユニック、トレーラー、ポンプ車、ラフタークレーン、汚泥運搬車、産廃・ごみ収集車、給油車、バキューム車、貨物車、及び乗用車等がある。
積載物には、例えば、ＰＣａ柱、ＰＣａ梁、ＰＣａ外壁、鉄骨柱、鉄骨梁、鉄骨階段、鉄筋、型枠、デッキ、ＡＬＣ、ボード、ガラス／アルミ建具、空調設備、衛生設備、電気設備、仮設、掘削土等がある。
なお、上述した属性情報（車両種別及び積載物）は、あくまで一例であり、車両検知システム３０により検知する属性情報は、作業現場１の規模や状況に応じて任意に設定されてよい。
車両種別には、例えば、ダンプ車、生コン車、パラセメント車、トラック、ユニック、トレーラー、ポンプ車、ラフタークレーン、汚泥運搬車、産廃・ごみ収集車、給油車、バキューム車、貨物車、及び乗用車等がある。
積載物には、例えば、ＰＣａ柱、ＰＣａ梁、ＰＣａ外壁、鉄骨柱、鉄骨梁、鉄骨階段、鉄筋、型枠、デッキ、ＡＬＣ、ボード、ガラス／アルミ建具、空調設備、衛生設備、電気設備、仮設、掘削土等がある。
なお、上述した属性情報（車両種別及び積載物）は、あくまで一例であり、車両検知システム３０により検知する属性情報は、作業現場１の規模や状況に応じて任意に設定されてよい。
【0043】
ここでは、車両や積載物が撮像された画像について、図５を用いて説明する。
図５は、実施形態の車両検知システム３０において用いられる画像の例を示す図である。図５（ａ）は車両１５を俯瞰した平面図である。図５（ｂ）～（ｆ）は車両や積載物が所定の撮像領域Ｐに存在している場合の例を示す。図５（ｂ）～（ｆ）では、撮像領域Ｐの上側が作業現場１の内部側、撮像領域Ｐの下側が作業現場１の外部側を示す。つまり、図５（ｂ）～（ｆ）では、車両１５が作業現場１に入場する場合における撮像領域Ｐの時系列変化を示している。
図５は、実施形態の車両検知システム３０において用いられる画像の例を示す図である。図５（ａ）は車両１５を俯瞰した平面図である。図５（ｂ）～（ｆ）は車両や積載物が所定の撮像領域Ｐに存在している場合の例を示す。図５（ｂ）～（ｆ）では、撮像領域Ｐの上側が作業現場１の内部側、撮像領域Ｐの下側が作業現場１の外部側を示す。つまり、図５（ｂ）～（ｆ）では、車両１５が作業現場１に入場する場合における撮像領域Ｐの時系列変化を示している。
【0044】
すでに説明したように、実施形態の車両検知システム３０では、車両や積載物が撮像された画像に基づいて、車両の属性情報が検知される。このため、画像には車両や積載物が、検知可能に撮像されていることが好ましい。また、車両の属性情報の検知（推定）は、学習済みモデルに画像を入力させることにより実施されることから、学習に用いた画像と、推定させる画像とが、同じような撮像条件で同じような領域に推定対象である車両や積載物が撮像されていることが好ましい。このため、本実施形態では、図５（ｂ）～（ｆ）に示すような、撮像領域Ｐにおける所定の領域に車両１５の一部が撮像された画像を取得する。
【0045】
ここでは、撮像装置２０は、車両１５を俯瞰する位置から画像を撮像する場合を前提としている。また、撮像装置２０は、画像の画像中央の左右方向に、入退場ゲート１０が位置するようにして撮像を行う。
【0046】
また、撮像装置２０は、入退場ゲート１０を車両１５が通過する場合に、通過する車両１５の一部が所定の領域に進入したが否かを判定し、車両１５の一部が所定の領域に撮像されるようにして撮像を行う。具体的には、撮像装置２０は、例えば、図示しない撮像判定部を備える。撮像判定部は、例えば、図５（ｂ）～（ｆ）に示すような、撮像領域Ｐの中央の左右方向に境界線Ｓ、境界線Ｓより上側に所定の領域Ｅ１、及び境界線Ｓより下側に所定の領域Ｅ２を設定する。撮像判定部は、撮像領域Ｐを時系列に監視して領域Ｅ１又は領域Ｅ２に変化があるか否かを検知する。撮像判定部は、領域Ｅ１又は領域Ｅ２に所定の変化がある場合に、車両１５の入場又は退場があると判定し、車両１５の入場又は退場が行われる様子を時系列に撮像させる。
【0047】
図５（ａ）に示すように、車両１５を俯瞰して見た場合に、車両１５は、前端１５０と、前部１５１と、積載部１５２と、後部１５３と、後端１５４とに分類することができる。
図５（ｂ）では、撮像領域Ｐに、車両１５の進行方向にみて前側である前部１５１が入退場ゲート１０に進入する様子を示している。撮像判定部は、例えば、領域Ｅ１のうち、所定の割合（例えば、３０％）に変化があった場合に、車両１５が進入したと判定する。撮像判定部は、車両１５が入退場ゲート１０に進入したと判定した場合、その判定した時刻より所定時間（例えば、５秒）前の時刻に撮像された画像を撮像装置２０から車両検知システム３０に送信させる。この場合、撮像装置２０により送信された画像は、車両１５の前部１５１が撮像された、「車両前部画像」である。
図５（ｃ）では、撮像領域Ｐに車両１５の前端１５０が含まれている状態を示している。撮像判定部は、例えば、車両１５が入退場ゲート１０に進入したと判定した時刻から所定時間（例えば、１０秒）以内に、撮像領域Ｐの上端を含む領域に所定の変化があった場合に、その時刻に撮像された画像を撮像装置２０に撮像させる。この場合、撮像装置２０により撮像された画像は、車両１５の前部１５１の全部及び積載部１５２の一部が撮像された、「車両前方画像」である。
図５（ｄ）では、撮像領域Ｐに車両１５の進行方向にみて後側である後部１５３の端部となる後端１５４が含まれている状態を示している。撮像判定部は、例えば、車両１５が入退場ゲート１０に進入したと判定した時刻から所定時間（例えば、１０秒）以内に、撮像領域Ｐの下端を含む領域に、所定の変化が生じた後にその変化が生じなくなった場合、その時刻に撮像された画像を撮像装置２０から車両検知システム３０に送信させる。この場合、撮像装置２０により撮像された画像は、車両１５の後部１５３の全部及び積載部１５２の一部が撮像された、「車両後方画像」である。
図５（ｅ）では、撮像領域Ｐに、車両１５の積載部１５２の全体がきた様子を示している。撮像判定部は、例えば、車両１５が入退場ゲート１０に進入したと判定した時刻から所定時間（例えば、１０秒）以内に、撮像領域Ｐの上端に積載部１５２の矩形形状の上端がきた場合に、その時刻に撮像された画像を撮像装置２０から車両検知システム３０に送信させる。この場合、撮像装置２０により撮像された画像は、車両１５の積載部１５２の全部又は一部が撮像された、「車両荷姿画像」である。
図５（ｆ）では、撮像領域Ｐに、車両１５の後部１５３が退場する様子を示している。撮像判定部は、例えば、車両１５が入退場ゲート１０に進入したと判定した時刻から所定時間（例えば、１０秒）以内に、領域Ｅ２のうち、所定の割合（例えば、３０％）に変化が生じなくなった場合に、その時刻に撮像された画像を撮像装置２０から車両検知システム３０に送信させる。この場合、撮像装置２０により撮像された画像は、車両１５の後部１５３が撮像された、「車両後部画像」である。
図５（ｂ）では、撮像領域Ｐに、車両１５の進行方向にみて前側である前部１５１が入退場ゲート１０に進入する様子を示している。撮像判定部は、例えば、領域Ｅ１のうち、所定の割合（例えば、３０％）に変化があった場合に、車両１５が進入したと判定する。撮像判定部は、車両１５が入退場ゲート１０に進入したと判定した場合、その判定した時刻より所定時間（例えば、５秒）前の時刻に撮像された画像を撮像装置２０から車両検知システム３０に送信させる。この場合、撮像装置２０により送信された画像は、車両１５の前部１５１が撮像された、「車両前部画像」である。
図５（ｃ）では、撮像領域Ｐに車両１５の前端１５０が含まれている状態を示している。撮像判定部は、例えば、車両１５が入退場ゲート１０に進入したと判定した時刻から所定時間（例えば、１０秒）以内に、撮像領域Ｐの上端を含む領域に所定の変化があった場合に、その時刻に撮像された画像を撮像装置２０に撮像させる。この場合、撮像装置２０により撮像された画像は、車両１５の前部１５１の全部及び積載部１５２の一部が撮像された、「車両前方画像」である。
図５（ｄ）では、撮像領域Ｐに車両１５の進行方向にみて後側である後部１５３の端部となる後端１５４が含まれている状態を示している。撮像判定部は、例えば、車両１５が入退場ゲート１０に進入したと判定した時刻から所定時間（例えば、１０秒）以内に、撮像領域Ｐの下端を含む領域に、所定の変化が生じた後にその変化が生じなくなった場合、その時刻に撮像された画像を撮像装置２０から車両検知システム３０に送信させる。この場合、撮像装置２０により撮像された画像は、車両１５の後部１５３の全部及び積載部１５２の一部が撮像された、「車両後方画像」である。
図５（ｅ）では、撮像領域Ｐに、車両１５の積載部１５２の全体がきた様子を示している。撮像判定部は、例えば、車両１５が入退場ゲート１０に進入したと判定した時刻から所定時間（例えば、１０秒）以内に、撮像領域Ｐの上端に積載部１５２の矩形形状の上端がきた場合に、その時刻に撮像された画像を撮像装置２０から車両検知システム３０に送信させる。この場合、撮像装置２０により撮像された画像は、車両１５の積載部１５２の全部又は一部が撮像された、「車両荷姿画像」である。
図５（ｆ）では、撮像領域Ｐに、車両１５の後部１５３が退場する様子を示している。撮像判定部は、例えば、車両１５が入退場ゲート１０に進入したと判定した時刻から所定時間（例えば、１０秒）以内に、領域Ｅ２のうち、所定の割合（例えば、３０％）に変化が生じなくなった場合に、その時刻に撮像された画像を撮像装置２０から車両検知システム３０に送信させる。この場合、撮像装置２０により撮像された画像は、車両１５の後部１５３が撮像された、「車両後部画像」である。
【0048】
なお、上記では、撮像装置２０が撮像判定部を備える場合を例示して説明したが、これに限定されることはない。撮像判定部と同等の機能部が、車両推定装置４０、又は／及び学習装置６０に設けられていてもよい。
【0049】
図６は、実施形態の学習装置６０の動作例を示すフローチャートである。
本実施形態の学習装置６０においては、まず、車両や積載物が撮像された学習データ用の画像を用いて深層学習を行うことにより、画像から車両や積載物の推定する推定モデルを作成する。そして、深層学習のアルゴリズムに用いられるハイパーパラメータを調整することにより推定モデルが正しく推定する確率（以下、認識率という）を向上させる。ここでのハイパーパラメータとは、深層学習を行う際に予め決定しておく様々なパラメータのことであって、例えば、ニューラルネットワークの層の数、中間層のユニット（ノード、結束点などともいう）の数、正則化の係数などの変数である。
そして、所定のハイパーパラメータを設定して作成された推定モデルの認識率に基づいて、深層学習における学習の方向性を決定する。ここでの学習の方向性とは、ハイパーパラメータを調整（チューニング）することにより、何れのハイパーパラメータをどの程度変化させることにより、どのように認識率が変化していくかを把握すること、及び認識率を向上させるために、どのような学習データ（画像）を、どの位増加させればよいか等、具体的な方針を決定することである。これにより、認識率を向上させるために必要な学習データがどの様な画像であるかを把握することができるため、効率よく学習データ（画像）を用意することが可能となる。
本実施形態の学習装置６０においては、まず、車両や積載物が撮像された学習データ用の画像を用いて深層学習を行うことにより、画像から車両や積載物の推定する推定モデルを作成する。そして、深層学習のアルゴリズムに用いられるハイパーパラメータを調整することにより推定モデルが正しく推定する確率（以下、認識率という）を向上させる。ここでのハイパーパラメータとは、深層学習を行う際に予め決定しておく様々なパラメータのことであって、例えば、ニューラルネットワークの層の数、中間層のユニット（ノード、結束点などともいう）の数、正則化の係数などの変数である。
そして、所定のハイパーパラメータを設定して作成された推定モデルの認識率に基づいて、深層学習における学習の方向性を決定する。ここでの学習の方向性とは、ハイパーパラメータを調整（チューニング）することにより、何れのハイパーパラメータをどの程度変化させることにより、どのように認識率が変化していくかを把握すること、及び認識率を向上させるために、どのような学習データ（画像）を、どの位増加させればよいか等、具体的な方針を決定することである。これにより、認識率を向上させるために必要な学習データがどの様な画像であるかを把握することができるため、効率よく学習データ（画像）を用意することが可能となる。
【0050】
まず、学習装置６０は、画像データを取得する（ステップＳ１０）。画像データ取得部６１は、車両１５を俯瞰して撮像された画像、及び車両１５の積載物を俯瞰して撮像された画像の画像データを取得する。
次に、学習装置６０は、取得した画像データに基づいて、画像における車両１５と、その車両１５の積載物との各々が撮像された領域を抽出する（ステップＳ１１）。領域画像抽出部６２は、車両１５を俯瞰するようにして撮像された画像から車両１５が撮像された領域を抽出する。また、領域画像抽出部６２は、車両１５の積載物を俯瞰するようにして撮像された画像から車両１５の積載物が撮像された領域を抽出する。
次に、学習装置６０は、抽出した画像に基づいて、学習データを作成する（ステップＳ１２）。車両種別学習データ作成部６３は、車両１５が撮像された画像に、その車両１５の車両種別を対応付けた学習データを作成する。積載物学習データ作成部６４は、車両１５の積載物が撮像された画像に、その車両１５の積載物の名称を対応付けた学習データを作成する。
次に、学習装置６０は、作成した学習データを訓練データとテストデータとに振分ける（ステップＳ１３）。学習データ振分け部６５は、車両種別学習データ作成部６３及び積載物学習データ作成部６４の各々により作成された学習データを訓練データとテストデータとに振分ける。
次に、学習装置６０は、取得した画像データに基づいて、画像における車両１５と、その車両１５の積載物との各々が撮像された領域を抽出する（ステップＳ１１）。領域画像抽出部６２は、車両１５を俯瞰するようにして撮像された画像から車両１５が撮像された領域を抽出する。また、領域画像抽出部６２は、車両１５の積載物を俯瞰するようにして撮像された画像から車両１５の積載物が撮像された領域を抽出する。
次に、学習装置６０は、抽出した画像に基づいて、学習データを作成する（ステップＳ１２）。車両種別学習データ作成部６３は、車両１５が撮像された画像に、その車両１５の車両種別を対応付けた学習データを作成する。積載物学習データ作成部６４は、車両１５の積載物が撮像された画像に、その車両１５の積載物の名称を対応付けた学習データを作成する。
次に、学習装置６０は、作成した学習データを訓練データとテストデータとに振分ける（ステップＳ１３）。学習データ振分け部６５は、車両種別学習データ作成部６３及び積載物学習データ作成部６４の各々により作成された学習データを訓練データとテストデータとに振分ける。
【0051】
次に、学習装置６０は、訓練データとテストデータとを用いて深層学習を行う（ステップＳ１４）。車両種別学習モデル作成部６６は、例えば、車両種別学習データ作成部６３により作成され、尚且つ、学習データ振分け部６５により訓練データと振分けられたデータを用いて深層学習を実行することにより、推定モデルを作成する。そして、学習装置６０は、作成した推定モデルの認識率を、テストデータを用いて算出する。具体的には、学習モデル評価部６８は、車両種別学習モデル作成部６６が作成した推定モデルに、車両種別学習データ作成部６３により作成され、尚且つ、学習データ振分け部６５によりテストデータと振分けられたデータの画像を入力することにより出力される推定結果を取得する。学習モデル評価部６８は、取得した推定結果と、そのテストデータの画像に対応付られた車両種別とが一致する場合に正しい推定がなされたと判定する。一方、学習モデル評価部６８は、取得した推定結果と、そのテストデータの画像に対応付られた車両種別とが一致しない場合に正しくない推定がなされたと判定する。また、学習モデル評価部６８は、積載物学習モデル作成部６７が作成した推定モデルに、積載物学習データ作成部６４により作成され、尚且つ、学習データ振分け部６５によりテストデータと振分けられたデータの画像を入力することにより出力される推定結果を取得する。学習モデル評価部６８は、取得した推定結果と、そのテストデータの画像に対応付られた積載物の名称とが一致する場合に正しい推定がなされたと判定する。一方、学習モデル評価部６８は、取得した推定結果と、そのテストデータの画像に対応付られた積載物の名称とが一致しない場合に正しくない推定がなされたと判定する。学習モデル評価部６８は、テストデータの総数に対する、正しい推定がなされたテストデータの割合を認識率として算出する。
【0052】
次に、学習装置６０は、作成した推定モデルの認識率が所定の閾値以上に達したか否かを判定する（ステップＳ１５）。
そして、学習装置６０は、作成した推定モデルの認識率が所定の閾値以上である場合には、推定モデルを学習済みモデル記憶装置５０に記憶させる（ステップＳ１６）。
そして、学習装置６０は、作成した推定モデルの認識率が所定の閾値以上である場合には、推定モデルを学習済みモデル記憶装置５０に記憶させる（ステップＳ１６）。
【0053】
一方、学習装置６０は、作成した推定モデルの認識率が所定の閾値未満である場合には、学習データが不足しているか否かを判定する（ステップＳ１７）。学習装置６０は、例えば、テストデータの一部（例えば、テストデータの総数のうちの半数）を用いて算出した認識率が、テストデータの総数を用いてした認識率よりも低い認識率であった場合、学習データが不足していると判定する。一方、学習装置６０は、例えば、テストデータの一部を用いて算出した認識率と、テストデータの総数を用いてした認識率と同等の認識率であった場合、学習データが不足していないと判定する。
学習装置６０は、学習データが不足していると判定した場合、ステップＳ１０に示す処理に戻り、推定モデルを再度作成し直す。推定モデルを再度作成し直す場合、学習データの不足を補うために画像の枚数を増加させる。
学習装置６０は、学習データが不足していると判定した場合、ステップＳ１０に示す処理に戻り、推定モデルを再度作成し直す。推定モデルを再度作成し直す場合、学習データの不足を補うために画像の枚数を増加させる。
【0054】
また、学習装置６０は、学習データが不足していないと判定した場合、深層学習を実行する際のハイパーパラメータを調整する（ステップＳ１８）。ハイパーパラメータを調整した後、学習装置６０は、ステップＳ１４に示す処理に戻り、再度の深層学習を行う。
【0055】
以上説明したように、本実施形態の車両推定装置４０は、作業現場１に入場する車両１５又は作業現場１から退場する車両１５のうち少なくとも何れかの車両が撮像された画像の画像データを取得する画像データ取得部４１と、画像を、車両に関する属性情報を推定する学習済みモデル（例えば、車両種別学習済みモデル記憶部５１に記憶された学習済みモデル、又は積載物学習済みモデル記憶部５２に記憶された学習済みモデル）に入力することにより、画像における車両１５について当該車両１５に関する属性情報を推定する車両種別推定部４３及び積載物推定部４４を備え、学習済みモデルは、車両に属性情報を対応させた学習データを用いて深層学習を実行することにより作成されるモデルである。これにより、本実施形態の車両推定装置４０は、画像に撮像された車両１５について属性情報を推定することができる。このため、車両番号を登録したり照会したりして車両１５を特定する必要がなく、手間を増大させることなく、作業現場１において入退場する車両１５を管理することができる。
【0056】
上述した実施形態における車両推定装置４０、学習装置６０の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0057】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0058】
１…作業現場、１０…入退場ゲート、２０…撮像装置、３０…車両検知システム、４０…車両推定装置、５０…学習済みモデル記憶装置、６０…学習装置、４１…画像データ取得部、４３…車両種別推定部、４４…積載物推定部、６３…車両種別学習データ作成部、６４…積載物学習データ作成部、６５学習データ振分け部、６６…車両種別学習モデル作成部、６７…積載物学習モデル作成部、６８…学習モデル評価部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】