特許 7458812 混雑状況推定装置および学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-22

(45)【発行日】2024-04-01

(54)【発明の名称】混雑状況推定装置および学習方法

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20240325BHJP

   G06Q 10/04 20230101ALI20240325BHJP

【ＦＩ】

G06Q50/10

G06Q10/04

【請求項の数】 16

(21)【出願番号】P 2020023307

(22)【出願日】2020-02-14

(65)【公開番号】P2021128587

(43)【公開日】2021-09-02

【審査請求日】2023-01-10

(73)【特許権者】

【識別番号】501493358

【氏名又は名称】株式会社セック

(73)【特許権者】

【識別番号】000220963

【氏名又は名称】セフテック株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】杉江 卓哉

(72)【発明者】

【氏名】楯 充史

(72)【発明者】

【氏名】岡▲崎▼ 太一

(72)【発明者】

【氏名】戸津 貴弘

【審査官】深津 始

(56)【参考文献】

【文献】特開２０２０－０１３３８２（ＪＰ，Ａ）

【文献】特開２０１８－０８８１４４（ＪＰ，Ａ）

【文献】特開２０００－１８２１８７（ＪＰ，Ａ）

【文献】特開２０２０－１５４８４２（ＪＰ，Ａ）

【文献】国際公開第２０１９／１４６０９７（ＷＯ，Ａ１）

【文献】特開２０１３－２１０７０６（ＪＰ，Ａ）

【文献】山本和徳,石井一彦,関野公彦，なりすましを検知する遠隔試験不正防止システムの開発，ＮＴＴ ＤＯＣＯＭＯテクニカル・ジャーナル，一般社団法人電気通信協会，2018年01月31日，第25巻,第4号，第19-24ページ

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ －Ｇ０６Ｑ ９９／００

(57)【特許請求の範囲】

【請求項1】

駐車場を撮像した撮像画像を取得する取得手段と、
駐車場を撮像した撮像画像と、前記撮像画像における駐車場の混雑状況とを教師データとした機械学習によりあらかじめ生成された学習モデルと、
前記学習モデルを用いて、前記取得手段が取得した撮像画像に基づいて駐車場の混雑状況を推定する推定手段と、
を備え、
前記学習モデルによって出力される混雑状況は３段階以上であって、
前記推定手段は、前記学習モデルによって出力される混雑状況に所定の段階以上の変化があった場合は、前回の推定結果に基づく混雑状況を今回の推定結果として出力する、
ことを特徴とする混雑状況推定装置。

【請求項2】

前記推定手段は、前記学習モデルによって出力される混雑状況に所定の段階以上の変化があった場合は、前回の推定結果を出力する、
ことを特徴とする請求項１に記載の混雑状況推定装置。

【請求項3】

前記推定手段は、所定の回数以上連続して前記変化があった場合は、現在の前記撮像画像に基づいて得られる前記学習モデルによって出力される混雑状況を推定結果として出力する、
ことを特徴とする請求項２に記載の混雑状況推定装置。

【請求項4】

前記推定手段は、前記学習モデルによって出力される混雑状況に所定の段階以上の変化があった場合は、前回の推定結果の混雑状況と、前記学習モデルによって出力される混雑状況の間の段階の混雑状況を今回の推定結果として出力する、
ことを特徴とする請求項１に記載の混雑状況推定装置。

【請求項5】

前記混雑状況は、満車、混雑、空車のうちいずれかであって、
前記学習モデルによって出力される混雑状況に所定の段階以上の変化があった場合とは、前記学習モデルによって出力される混雑状況が満車から空車に変化した場合、または空
車から満車に変化した場合である、
ことを特徴とする請求項１から４のいずれか一項に記載の混雑状況推定装置。

【請求項6】

前記撮像画像が明瞭であるか否かを判定する判定手段を更に備え、
前記推定手段は、前記撮像画像が不明瞭であると判定された場合に、推定が不可能である旨を出力する、
ことを特徴とする請求項１から５のいずれか一項に記載の混雑状況推定装置。

【請求項7】

前記撮像画像は、１つの駐車場を１台の撮像装置によって撮像された撮像画像である、
ことを特徴とする請求項１から６のいずれか一項に記載の混雑状況推定装置。

【請求項8】

前記推定手段は、前記学習モデルによって出力される混雑状況の信頼度が所定の信頼度より低い場合は、前回の推定結果を出力する、
ことを特徴とする請求項１から７のいずれか一項に記載の混雑状況推定装置。

【請求項9】

駐車場を撮像した撮像画像を取得する取得手段と、
駐車場を撮像した撮像画像と、前記撮像画像における駐車場の混雑状況とを教師データとした機械学習によりあらかじめ生成された学習モデルと、
前記学習モデルを用いて、前記取得手段が取得した撮像画像に基づいて駐車場の混雑状況を推定する推定手段と、
前記撮像画像が明瞭であるか否かを判定する判定手段と、
を備え、
前記推定手段は、前記撮像画像が不明瞭であると判定された場合に、推定が不可能である旨を出力する、
ことを特徴とする混雑状況推定装置。

【請求項10】

駐車場を撮像した撮像画像を取得する取得手段と、
駐車場を撮像した撮像画像と、前記撮像画像における駐車場の混雑状況とを教師データとした機械学習によりあらかじめ生成された学習モデルと、
前記学習モデルを用いて、前記取得手段が取得した撮像画像に基づいて駐車場の混雑状況を推定する推定手段と、
を備え、
前記推定手段は、前記学習モデルによって出力される混雑状況の信頼度が所定の信頼度より低い場合は、前回の推定結果を出力する、
ことを特徴とする混雑状況推定装置。

【請求項11】

前記取得手段によって取得された撮像画像と、推定結果とを表示部に表示する表示制御手段をさらに備える、
ことを特徴とする請求項１から１０のいずれか一項に記載の混雑状況推定装置。

【請求項12】

前記表示制御手段は、前記推定結果を時系列のグラフとして表示する、
ことを特徴とする請求項１１に記載の混雑状況推定装置。

【請求項13】

コンピュータが実行する混雑状況推定方法であって、
前記コンピュータが、
駐車場を撮像した撮像画像を取得する取得ステップと、
駐車場を撮像した撮像画像と、前記撮像画像における駐車場の混雑状況とを教師データとした機械学習によりあらかじめ生成された学習モデルを用いて、前記取得ステップで取得された撮像画像に基づいて駐車場の混雑状況を推定する推定ステップと、
を実行し、
前記学習モデルによって出力される混雑状況は３段階以上であって、
前記推定ステップでは、前記学習モデルによって出力される混雑状況に所定の段階以上の変化があった場合は、前回の推定結果に基づく混雑状況を今回の推定結果として出力する、
ことを特徴とする混雑状況推定方法。

【請求項14】

コンピュータが実行する混雑状況推定方法であって、
前記コンピュータが、
駐車場を撮像した撮像画像を取得する取得ステップと、
前記撮像画像が明瞭であるか否かを判定する判定ステップと、
駐車場を撮像した撮像画像と、前記撮像画像における駐車場の混雑状況とを教師データとした機械学習によりあらかじめ生成された学習モデルを用いて、前記取得ステップで取得された撮像画像に基づいて駐車場の混雑状況を推定する推定ステップと、
を実行し、
前記推定ステップでは、前記撮像画像が不明瞭であると判定された場合に、推定が不可能である旨を出力する、
ことを特徴とする混雑状況推定方法。

【請求項15】

コンピュータが実行する混雑状況推定方法であって、
前記コンピュータが、
駐車場を撮像した撮像画像を取得する取得ステップと、
駐車場を撮像した撮像画像と、前記撮像画像における駐車場の混雑状況とを教師データとした機械学習によりあらかじめ生成された学習モデルを用いて、前記取得ステップで取得された撮像画像に基づいて駐車場の混雑状況を推定する推定ステップと、
を実行し、
前記推定ステップでは、前記学習モデルによって出力される混雑状況の信頼度が所定の信頼度より低い場合は、前回の推定結果を出力する、
ことを特徴とする混雑状況推定方法。

【請求項16】

請求項１３から１５のいずれか１項に記載の方法の各ステップをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、駐車場の混雑状況を推定する技術に関する。

【背景技術】

【0002】

駐車場の混雑状況を簡単に推定する技術が求められている。

【0003】

特許文献１では、数区画ごとに設けられた専用のカメラで駐車場を撮像し、車両を１台１台検出することで混雑状況を判断することが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】米国特許出願公開第２０１９／１１４９１６号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の技術では、数か所に専用のカメラを設置する必要があるため設置コストが大きい。また、車両を１台１台検出するため処理コストが大きい。

【0006】

そこで、本発明は、駐車場の混雑状況を容易に推定する技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本発明は駐車場を撮像した撮像画像を用いて、駐車場の混雑状況を推定する。

【0008】

本発明の一態様は、
駐車場を撮像した撮像画像を取得する取得手段と、
駐車場を撮像した撮像画像と、前記撮像画像における駐車場の混雑状況とを教師データとした機械学習によりあらかじめ生成された学習モデルと、
前記学習モデルを用いて、前記取得手段が取得した撮像画像に基づいて駐車場の混雑状況を推定する推定手段と、
を備えることを特徴とする混雑状況推定装置である。

【0009】

また、本発明の一態様は、
駐車場を撮像した撮像画像と、前記撮像画像における駐車場の混雑状況とを取得する取得手段と、
前記撮像画像と前記混雑状況とを教師データとして機械学習をして、駐車場を撮像した撮像画像に基づいて駐車場の混雑状況を推定する学習モデルを学習する学習手段と、
を備えることを特徴とする学習装置である。

【0010】

本態様によれば、駐車場を撮像した撮像画像に基づいて、当該駐車場の混雑状況を容易に推定することができる。

【0011】

また、学習モデルによって出力される混雑状況は３段階以上であって、前記推定手段は、前記学習モデルによって出力される混雑状況に所定の段階以上（例えば２段階以上）の変化があった場合は、前回の推定結果に基づく混雑状況を今回の推定結果として出力するとよい。前回の推定結果に基づく混雑状況とは、例えば、前回の推定結果の混雑状況、あ
るいは前回の推定結果の混雑状況と学習モデルによって出力される混雑状況の間の段階の混雑状況が例示できる。このように、混雑状況に急変が生じた場合は誤判定が行われたと判断して、前回の推定結果に基づいて調整した混雑状況を出力することで、誤判定が行われた場合でも適切な混雑状況を出力することができる。

【0012】

また、前記推定手段は、所定の回数以上連続して前記変化があった場合は、現在の前記撮像画像に基づいて得られる前記学習モデルによって出力される混雑状況を推定結果として出力するとよい。これにより、上記の急変が誤判定ではない場合に、適切な混雑状況を出力するようにすることができる。

【0013】

また、前記混雑状況は、満車、混雑、空車のうちいずれかである。また、前記学習モデルによって出力される混雑状況に所定の段階以上の変化があった場合とは、前記学習モデルによって出力される混雑状況が満車から空車に変化した場合、または空車から満車に変化した場合である。通常、駐車場の混雑状況の変化は、連続する時間において、「空車」から「混雑」、「混雑」から「満車」、「満車」から「混雑」、「混雑」から「空車」のいずれかの変化である。よって、「空車」から「満車」、「満車」から「空車」に変化することは、通常、考えられないので、このように急変が生じた場合は誤判定が行われたと判断することができる。

【0014】

また、本態様に係る混雑状況推定装置は、前記撮像画像が明瞭であるか否かを判定する判定手段を更に備え、前記推定部は、前記撮像画像が不明瞭であると判定された場合に、推定が不可能である旨を出力してもよい。撮像画像が明瞭であるか否かは、例えば、撮像画像に含まれるエッジの量に基づいて判定できる。霧や豪雨などの悪天候時や障害物がカメラを覆った場合には、駐車場を明瞭に撮影できず、このような画像に基づくと混雑状況の適切な判定は行えない。本構成によれば、誤った推定結果を提示することを防げる。

【0015】

また、前記撮像画像は、１つの駐車場を１台の撮像装置によって撮像された撮像画像であるとよい。これにより、撮像装置の設置コストを抑えることができる。

【0016】

また、前記推定手段は、前記学習モデルによって出力される混雑状況の信頼度が所定の信頼度より低い場合は、前回の推定結果を出力するとよい。これにより、誤判定が行われた場合でも適切な混雑状況を出力することができる。

【0017】

また、前記取得手段によって取得された撮像画像と、推定結果とを表示部に表示する表示制御手段をさらに備えるとよい。ここで、前記表示制御手段は、前記推定結果を時系列のグラフとして表示するとよい。

【0018】

また、学習装置において、前記撮像画像における駐車場のうち車室以外をマスクする処理を前記撮像画像に施す前処理手段をさらに備え、前記学種手段は、前処理後の画像を教師データとして用いるとよい。このような前処理を行うことで、例えば、走行路上の車を除外した撮像画像を用いて、より精度の高い学習モデルの学習を行うことができる。

【0019】

また、学習装置において、前記撮像画像に反転、平行移動、サイズ変更、ぼかし、ノイズ付与、色調変更または歪ませる処理の少なくともいずれかの処理を施す前処理手段をさらに備えるとよい。また、前記学習手段は、元の撮像画像と、前処理後の画像を教師データとして用いるとよい。このような前処理後の撮像画像を教師データとして用いることで、教師データにおける撮像画像の数を増加させることができ、より汎用的な学習モデルの学習を行うことができる。

【0020】

本発明の一態様は、
駐車場を撮像した撮像画像を取得する取得ステップと、
駐車場を撮像した撮像画像と、前記撮像画像における駐車場の混雑状況とを教師データとした機械学習によりあらかじめ生成された学習モデルを用いて、前記取得手段が取得した撮像画像に基づいて駐車場の混雑状況を推定する推定ステップと、
を有することを特徴とする混雑状況推定方法である。

【0021】

また、本発明の一態様は、
駐車場を撮像した撮像画像と、前記撮像画像における駐車場の混雑状況とを取得する取得ステップと、
前記撮像画像と前記混雑状況とを教師データとして機械学習をして、駐車場を撮像した撮像画像に基づいて駐車場の混雑状況を推定する学習モデルを学習する学習ステップと、
を有することを特徴とする学習方法である。

【0022】

本発明はまた、上記方法をコンピュータに実行させるためのプログラムとして捉えることができる。本発明はまた、上記方法を行うための学習済モデルとして捉えることができる。本発明はまた、当該プログラムまたは学習済モデルを記憶したコンピュータ可読記憶媒体として捉えることもできる。

【発明の効果】

【0023】

本発明によれば、駐車場の混雑状況を容易に推定できる。

【図面の簡単な説明】

【0024】

【図1】実施形態における混雑状況の種類を示す図である。

【図2】実施形態における学習装置および混雑状況推定装置の機能ブロック図である。

【図3】実施形態における前処理を説明する図である。

【図4】実施形態における前処理を説明する図である。

【図5】第１実施形態における推定処理を示すフローチャートである。

【図6】実施形態における推定処理を説明する図である。

【図7】実施形態における推定処理を説明する図である。

【図8】実施形態における推定結果の表示例を示す図である。

【図9】第２実施形態における推定処理を示すフローチャートである。

【発明を実施するための形態】

【0025】

以下では、図面を参照しながら、この発明を実施するための形態を説明するが、本発明はこれに限定されない。以下で説明する各実施形態の構成要素は、適宜組み合わせることができる。

【0026】

［第１実施形態］
本発明の第１実施形態は駐車場の混雑状況を推定するための学習モデルを学習する学習装置、およびこの学習モデルを用いた混雑状況推定装置である。

【0027】

本実施形態において混雑状況の推定の対象とする撮像画像は、駐車場に設けられた撮像装置によって取得された撮像画像である。本実施形態では、１つの駐車場に対して、１つの撮像装置を用いて撮像された１枚の撮像画像を元に混雑状況を推定する例について説明する。なお、１つの駐車場に対して、１つの撮像装置を用いて撮像された複数枚の撮像画像を元に混雑状況を推定してもよい。また、１つの駐車場に対して、複数の撮像装置を用いて撮像された複数枚の撮像画像を元に混雑状況を推定してもよい。また、本実施形態では、混雑状況推定装置は、駐車場に設けられた撮像装置からネットワークを介して撮像画像を取得する例について説明する。

【0028】

本実施形態において、混雑状況推定装置は、各地の駐車場に設けられた撮像装置からネットワークを介して、所定の間隔で（例えば、５分ごとに）撮像画像を取得する。そして、混雑状況推定装置は、取得した画像を混雑状況推定装置内またはクラウド上の記憶部に格納する。また、混雑状況推定装置は、取得した撮像画像に所定の前処理を施した画像を元に学習モデルを用いて混雑状況の推定を行い、推定結果を内部の表示部または外部の表示装置に表示する。

【0029】

本実施形態において推定する駐車場の混雑状況は、駐車場における車の混雑状況が３段階で示され、具体的には、「空車」、「混雑」、「満車」のいずれかである例について説明する。「空車」は、駐車場において、駐車可能な車室が十分にある状況であって、例えば、駐車可能な車室の割合が４割以上である状況を示す（図１Ａ）。「混雑」は、駐車場において、駐車可能な車室が存在するが、空きが少ない状況であって、例えば、駐車可能な車室の割合が１割以上４割未満である状況を示す（図１Ｂ）。「満車」は、駐車場において、駐車可能な車室がほとんど存在しない（空きがない）状況であって、例えば、駐車可能な車室の割合が１割未満である状況を示す（図１Ｃ）。ここで、本実施形態では、車室とは、駐車場における車を止めるためのスペースを示す。一般に、車室は、駐車場において白線で示される。なお、混雑状況が示す内容は上記に限定されず、段階分けの閾値は適宜決定してよい。例えば、「満車」は駐車可能な車室がない状況を示してもよい。なお、混雑状況は、２段階でもよく、４段階以上でもよい。４段階以上の場合は、例えば、上記の「混雑」を「混雑（少）」および「混雑（多）」のように混雑状況をより細かく示したり、上記の「混雑」を「混雑（空車→混雑）」および「混雑（満車→混雑）」のように混雑状況の推移を示すようにしてもよい。

【0030】

図２Ａは、本実施形態に係る学習装置１００の機能構成を示し、図２Ｂは本実施形態に係る混雑状況推定装置２００の機能構成を示す。学習装置１００および混雑状況推定装置２００は、いずれも、演算プロセッサ、記憶装置、入力装置、出力装置、通信装置等を含むコンピュータ（情報処理装置）であり、演算プロセッサがプログラムを実行することによってこれらの機能が実現される。

【0031】

学習装置１００の演算プロセッサがプログラムを実行することにより、取得部１０２、前処理部１０３、学習部１０４の機能が実現され、学習モデル１０５の学習が行われる。同様に、混雑状況推定装置２００の演算プロセッサがプログラムを実行することにより、取得部２０１、推定部２０３、表示制御部２０４の機能が実現される。そして、学習装置１００によって学習された学習モデル１０５を用いて駐車場の混雑状況の推定および推定結果の表示が行われる。

【0032】

＜学習装置１００＞
まず、学習装置１００が行う学習モデル１０５の学習方法について説明する。学習処理では、取得部１０２による教師データ１０１の取得処理、前処理部１０３による教師データの前処理、および、学習部１０４による学習処理がこの順番で実行される。

【0033】

取得部１０２は、教師データ１０１として、駐車場を撮像した撮像画像および当該駐車場の混雑状況を取得する。

【0034】

本実施形態では、駐車場を撮像した撮像画像として、様々な場所、時期、気象状態で撮像された撮像画像を採用する。これは、例えば、様々な場所の駐車場の撮像画像を教師データとして採用することにより、特定の駐車場に限定されず、駐車場自体の形状や、車室の形状およびサイズが異なる駐車場の撮像画像を対象に学習が行われる。そのため、汎用的な学習モデルの学習を行うことができるためである。ここで、駐車場を撮像した撮像画
像には、車室の他に、走行路（道路）や、建物、人、植物などの背景が含まれていてもよい。なお、教師データとして、学習のために新たに駐車場を撮像した撮像画像を用いてもよいし、既存の撮像画像を用いてもよい。

【0035】

本実施形態では、駐車場の混雑状況として、上述のように、「空車」、「混雑」、「満車」を採用する。撮像画僧と混雑状況とを対応付ける方法は特に限定されないが、人が撮像画像を見て混雑状況を判断してもよく、既存の種々の方法で撮像画像中の車を検出して、車室の数に対する車の台数の比率に応じて混雑状況を決定してもよい。

【0036】

前処理部１０３は、教師データ１０１に対して前処理を施す。前処理の一例として、元画像に画像処理を施して教師データの数を増やす処理（データ増強）が挙げられる。画像処理の例として、反転、歪め、平行移動、サイズ変更、ぼかし、セグメンテーション、エッジ先鋭化、エンボス加工、ノイズ付与、部分欠落、色（色調）の変更、明度の変更、グレースケール化等の処理が挙げられる。なお、前処理として、上記のうち１つのみを行ってもよく、任意の処理を組み合わせてもよい。

【0037】

図３Ａ～図３Ｆは、前処理を説明する図である。上記の画像処理の一例として、元の撮像画像（図３Ａ）を、それぞれ反転（図３Ｂ）、歪め（図３Ｃ）、サイズ変更（図３Ｄ）、ぼかし（図３Ｅ）、ノイズ付加（図３Ｆ）した結果を示す。このような前処理を行うことにより、多様な画像を教師データとして用いることができるため、より汎用的な学習モデルの学習（精度の高い学習）を行うことができる。また、教師データとして、元の撮像画像（図３Ａ）に加えて、前処理後の画像（図３Ｂ～図３Ｆ）を教師データとして用いることで、教師データにおける画像の数を増加させることができ、より汎用的な学習モデルの学習を行うことができる。なお、上記の前処理を行った場合でも、画像に対応する正解ラベルは変えないものとする。

【0038】

また、前処理の別の例として、画像のうち周辺景色や走行路部分（車室以外）をマスクする処理が挙げられる。

【0039】

図４Ａ、図４Ｂは、図３Ｂ～図３Ｇとは別の前処理を説明する図である。前処理の一例として、元の撮像画像（図４Ａ）のうち、周辺景色や走行路部分をマスクする処理を施した結果を示す（図４Ｂ）。上記のマスク処理は、駐車場のうち車室以外をマスクする処理、または車室を残す処理であると捉えることもできる。このマスク処理は既存の任意の処理によって行われてよく、例えば、画像中の白線に基づいて車室を抽出すればよい。このような前処理を行うことで、例えば、走行路上の車を除外した画像を用いて、より精度の高い学習モデルの学習を行うことができる。なお、上述のデータ増強と組み合わせて、マスク処理を行う場合は、画像処理後の画像に対してマスク処理を施して教師データとするとよい。

【0040】

学習部１０４は、本実施形態では、元の撮像画像と前処理部１０３による前処理後の画像とを教師データとして用いて、学習モデル１０５の学習処理を行う。学習モデル１０５は、駐車場の画像に基づいてその駐車場の混雑状況を回帰により推定する推定エンジンである。学習モデル１０５は、任意の教師あり学習アルゴリズムにより学習することができる。本実施形態では、学習アルゴリズムとして、ディープニューラルネットワークを採用するが、その他、サポート・ベクター・マシン（ＳＶＭ）、ニューラルネットワーク等の様々な学習アルゴリズムを採用することができる。また、これらの学習アルゴリズムの複数を組み合わせて一つの学習モデルを作成するアンサンブル学習も可能である。

【0041】

学習部１０４による学習処理の結果、駐車場の画像を入力として受け付け、当該駐車場の混雑状況を推定する学習モデル１０５が生成される。学習モデル１０５は、混雑状況と
ともに、その信頼度を出力するように構成されてもよい。

【0042】

＜混雑状況推定装置２００＞
図５を参照して、混雑状況推定装置２００が行う駐車場における混雑状況の推定処理について説明する。混雑状況を推定する処理では、取得部２０１による駐車場の撮像画像の取得処理、推定部２０３による推定処理、および、表示制御部２０４による表示制御処理がこの順番で実行される。

【0043】

ステップＳ１１において、取得部２０１は、駐車場の撮像画像を取得する。取得する撮像画像は、教師データにおける撮像画像と同様に一般的な駐車場において撮像装置を用いて取得された撮像画像である。また、取得部２０１が取得する撮像画像は、駐車場を撮像する撮像装置を所有する駐車場運営企業（組織）の他、当該駐車場運営企業とは別の組織であって、撮像画像の解析を含むソリューションの提供を行っている組織から取得するものであってもよい。なお、取得部によって、取得された撮像画像に対して前処理が行われてもよい。例えば、上述の車室以外をマスクする処理が行われてもよい。

【0044】

ステップＳ１２において、前処理部２０２は、取得部２０１が取得した駐車場の撮像画像に対して、前処理を施す。前処理部２０２は、上述した周辺景色や走行路部分をマスクする処理を行う。この処理は、前処理部１０３で説明した処理と同じである。なお、学習処理においてマスク処理の前処理を行わない場合には、推定処理においてもマスク処理は不要である。

【0045】

ステップＳ１３において、推定部２０３は、学習モデル１０５を用いて、前処理後の画像に基づいて混雑状況を推定する。学習モデル１０５は、学習装置１００によってあらかじめ生成された学習モデルである。推定部２０３は、画像を学習モデル１０５に入力し、その結果として得られる学習モデル１０５の出力に基づいて、駐車場の混雑状況を推定する。また、推定部２０３は、推定した混雑状況をメモリ等に保持しておき、次の推定処理で用いることができる。以下、推定処理について説明する。

【0046】

ステップＳ１４～Ｓ１７の処理によって、学習モデル１０５の出力結果および過去の推定結果に基づいて、駐車場の混雑状況の推定結果が決定される。具体的には、推定部２０３は、モデル出力結果の信頼度が低ければ（Ｓ１４－ＮＯ）、前回の推定結果を引き継いで今回の推定結果とする。また、推定部２０３は、モデル出力結果の信頼度が高く（Ｓ１４－ＹＥＳ）、推定される混雑状況に急変があるある場合（Ｓ１５－ＹＥＳ）には、過去の推定結果に基づいて今回の推定結果を調整する（Ｓ１６）。それ以外の場合には、モデル出力結果が推定結果となる。以下、図面を参照して具体的に説明する。

【0047】

図６は、ステップＳ１４の判定処理を説明する図である。また、図６は、１つの駐車場を撮像した撮像画像のうち連続する時刻ｔ１～ｔ３の撮像画像、学習モデルの出力結果、学習モデルの出力結果の信頼度、および、推定結果を示す。本実施形態では、推定部２０３は、学習モデルの出力結果の信頼度が所定の信頼度より高い場合（Ｓ１４－ＹＥＳ）に、当該出力結果に基づく推定結果を出力する。ここでは、出力結果をそのまま推定結果として出力する（Ｓ１５－ＮＯ）ものとしている。一方、学習モデルの出力結果の信頼度が所定の信頼度より低い場合（Ｓ１４－ＮＯ）に、過去の（前回の；直近の）推定結果を出力する（Ｓ１７）。なお、学習モデルの出力結果の信頼度が所定の信頼度より低い場合に、当該出力結果をそのまま出力してもよい。以降、所定の信頼度（閾値）は８０である例について説明するが、所定の信頼度は８０に限定されず、適宜設定および変更が可能であるものとする。具体的には、時刻ｔ１では、学習モデルの出力結果が「空車」、信頼度が９８％であって、信頼度が所定の信頼度より高いため、推定部２０３は、混雑状況の推定結果として「空き」を出力する。また、時刻ｔ２では、学習モデルの出力結果が「混雑」
、信頼度が８４％であって、信頼度が所定の信頼度より高いため、推定部２０３は、混雑状況の推定結果として「混雑」を出力する。ここで、時刻ｔ３では、学習モデルの出力結果が「満車」、信頼度が４８％であって、所定の信頼度より低いため、推定部２０３は、混雑状況の推定結果として、前回（時刻ｔ２）の推定結果である「混雑」を出力する。このように、学習モデルの出力結果の信頼度が低い場合には前回の推定結果を出力することで、誤判定が行われた場合でも適切な混雑状況を出力することができる。

【0048】

図７Ａ～図７Ｃは、ステップＳ１５～Ｓ１６の混雑状況の急変時の推定結果の調整処理の一例を示す図である。

【0049】

図７Ａは、連続する時刻ｔ１～ｔ６において、学習モデルの出力結果が、「空車」→「混雑」→「混雑」→「満車」→「混雑」→「空車」の順に変化した場合の推定結果を示す。図７Ｂは、連続する時刻ｔ１～ｔ６において、学習モデルの出力結果が、「空車」→「満車」→「混雑」→「満車」→「混雑」→「空車」の順に変化した場合の推定結果を示す。ここで、図７Ｂの時刻ｔ２では、時刻ｔ１の推定結果である「空車」から「満車」に混雑状況が急変したため、時刻ｔ２では前回（時刻ｔ１）の推定結果である「空車」を推定結果として出力されている。

【0050】

本実施形態では、推定部２０３は、学習モデル１０５の出力結果が前回の推定結果と比較して急変した場合（Ｓ１５－ＹＥＳ）に推定結果の調整を行う（Ｓ１６）。ここでは、推定部２０３は、前回の推定結果を今回の推定結果として出力する。一方、急変が生じていない場合（Ｓ１５－ＮＯ）には、推定部２０３は、学習モデル１０５の出力結果を最終的な推定結果として出力する。

【0051】

ここで、混雑状況が急変した場合とは、本実施形態では、混雑状況が３段階以上である場合に、所定の段階（例えば、２段階）以上の変化があった場合である。具体的には、混雑状況として、「空車」、「混雑」、「満車」の３段階が設けられている場合に、「空車」から「満車」に２段階の変化が生じたり、「満車」から「空車」に２段階の変化が生じた場合に、推定部２０３は、急変したと判断する。通常、駐車場の混雑状況の変化は、連続する時間において、「空車」から「混雑」、「混雑」から「満車」、「満車」から「混雑」、「混雑」から「空車」のいずれかの変化である。よって、「空車」から「満車」、「満車」から「空車」に変化することは、通常、考えられないので、推定部２０３は、このように急変が生じた場合は誤判定が行われたと判断して、前回の推定結果を出力する。

【0052】

図７Ｃは、連続する時刻ｔ１～ｔ６において、学習モデルの出力結果が、「空車」→「満車」→「満車」→「満車」→「混雑」→「空車」の順に変化した場合の推定結果を示す。ここで、図７Ｃの時刻ｔ２，ｔ３では、それぞれ前回の推定結果である「空車」から「満車」に混雑状況が急変したため、上述と同様に、時刻ｔ２，ｔ３では前回（時刻ｔ１，ｔ２）の推定結果である「空車」を出力されている。一方、図７Ｃのｔ４では、前回の推定結果である「空車」から「満車」に混雑状況が急変しているが、時刻ｔ４の推定結果として「満車」が出力されている。

【0053】

ここで、本実施形態の調整処理Ｓ１６では、推定部２０３は、所定の回数（例えば、３回）以上連続して、上記の急変（変化）が生じた場合は、学習モデルの出力結果をそのまま推定結果として出力する。これにより、上記の急変が誤判定ではない場合に、適切な混雑状況を出力することができる。

【0054】

図７Ｄを参照して、学習モデル１０５による出力結果が前回の推定結果と比較して急変した場合の、推定結果決定の他の方法について説明する。推定部２０３は、学習モデル１０５の出力結果が前回の推定結果と比較して急変した場合、すなわち所定の段階以上の変
化があった場合には、前回の推定結果と今回のモデル出力結果の間の混雑状況を、今回の推定結果として出力する。図７Ｄに示すように、時刻ｔ１～ｔ２の間で「空車」から「満車」に２段階の変化が生じているので、推定部２０３は、前回の推定結果である「空車」と今回のモデル出力結果である「満車」との間の「混雑」を推定結果として出力する。このようにすれば、混雑状況の急変が正しい場合に、上記よりも迅速に正しい推定結果を得ることができる。

【0055】

なお、混雑状況に３段階以上の変化があった場合に、推定部２０３は、前回の推定結果と今回のモデル出力結果の間のどの混雑状況を出力するかは適宜決定すればよい。例えば、推定部２０３は、前回の推定結果から今回のモデル出力結果の方向に、あらかじめ定められた所定数（１以上、急変と判断する段階数未満）段階だけ変化した混雑状況を出力するようにしてもよい。あるいは、推定部２０３は、今回のモデル出力結果の信頼度に応じた段階数だけ変化した混雑状況を出力するようにしてもよい。

【0056】

調整処理Ｓ１６の処理内容において、前回の推定結果を出力する手法（図７Ｂ）と、前回の推定結果と今回のモデル出力結果の途中の状態を出力する手法（図７Ｄ）のいずれを採用するかは、駐車場ごと、あるいは同じ駐車場であっても時間帯ごとに切り替え可能としてもよい。このようにすれば、例えば、混雑状況の急変が発生しやすい駐車場あるいは時間帯においては後者の方法を採用し、急変が発生しにくい駐車場あるいは時間帯においては前者の方法を採用するといった、より適切な処理が行える。なお、急変が発生しやすい駐車場あるいは時間帯は、手動で指定してもよいし、混雑状況推定装置２００が過去の推定結果を解析して自動的に決定してもよい。

【0057】

ステップＳ１７において、表示制御部２０４は、推定部２０３によって出力された推定結果を表示装置３００に表示する。本実施形態では、表示制御部２０４は、図５に示すように、取得部２０１によって取得された撮像画像に重ねて、推定部２０３によって出力された推定結果を表示装置３００に表示するものとする。この際、学習モデル３０５の出力信頼度が低い場合や急変が生じている場合などには、その旨を示す警告表示を合わせて表示してもよい。

【0058】

なお、表示制御部２０４は、上記の表示方法に限定されず、様々な表示方法で推定結果を表示装置３００に表示してもよい。例えば、図８に示すように、表示制御部２０４は、取得部２０１によって取得された撮像画像と並べて、推定部２０３によって出力された推定結果を帯グラフによって時系列で表示してもよい。図８の帯グラフにおいて、横軸は時刻を示し、当該時刻に対応する混雑状況として、領域８０１は「空車」、領域８０２は「混雑」、領域８０３は「満車」を示す。領域８０１～領域８０３と同様のハッチングが施された領域については、それぞれ領域８０１～領域８０３と同様の混雑状況を示すものとする。

【0059】

また、表示制御部２０４は、推定結果の表示方法の変形例として、上記の推定結果を所定の日数毎（数日毎、平日毎、休日毎、曜日毎など）に集計した結果を帯グラフにして表示してもよい。集計方法は特に限定されないが、例えば、所定の曜日ごとの推定結果を１時間単位で集計して、最も多い混雑状況を表示してもよい。

【0060】

表示装置３００は、液晶ディスプレイや有機ＥＬディスプレイ等の表示装置である。なお、混雑状況推定装置２００は、内部に表示部を有していてもよく、この場合、表示制御部２０４は、内部の表示部（不図示）に推定結果を表示すればよい。

【0061】

＜本実施形態の有利な効果＞
本実施形態によれば、駐車場を撮像した撮像画像に基づいて、当該駐車場の混雑状況を
容易に推定することができる。また、学習装置の前処理において、教師データである撮像画像に幾何変換等を施した画像処理（前処理）を生成しているため、より汎用的に駐車場の混雑状況を推定することができる。また、また、本実施形態によれば、学習モデルの出力結果に誤りがある場合でも、連続性を考慮した推定を行うことで、推定精度の向上や、推定結果の安定化が見込まれる。また、本実施形態によれば、専用の撮像装置や、特別なセンサを必要とせず、一般的な撮像装置１台（およびネットワーク）の設置のみで混雑状況の推測が行えるため、設置コストや保守コストを抑えることができる。

【0062】

［第２実施形態］
本発明の第２実施形態は、第１実施形態と比較して、撮像画像が明瞭であるか否かの判定する判定機能を推定部２０３が有する点と、入力画像が不明瞭である場合に混雑状況の推定が不可能な旨を出力する点である。

【0063】

本実施形態の混雑状況推定装置２００の構成は、第１実施形態（図２Ｂ）と基本的に同様であるため、繰り返しの説明は省略する。

【0064】

図９は、本実施形態における混雑状況推定装置２００が行う推定処理の流れを示すフローチャートである。本実施形態では、撮像画像が明瞭であるか否かを判定する処理Ｓ９１が追加される。

【0065】

例えば、霧や豪雨のような悪天候が影響で、駐車場を撮影した画像が不明瞭になる場合がある。また、水滴や雪がレンズに付着したり、あるいは鳥や虫などがカメラを覆ってしまったりして駐車場の画像が撮れない場合もある。このような画像からはどの程度の車両が駐車されているかが読み取れず、混雑状況の推定を正しく行えない。したがって、本実施形態では、ステップＳ９１において、入力画像が駐車場を明瞭に撮影した画像であるか否かを推定部２０３が判定する。

【0066】

明瞭な画像であるか否かの判定は、例えば、エッジ抽出により行えばよい。本実施形態では、前処理Ｓ１２によって駐車場以外の領域がマスクされた画像から、エッジ抽出を行い、得られるエッジ（線分）の量が閾値以上であれば明瞭な画像であると判定し、閾値未満であれば不明瞭な画像であると判定する。エッジ抽出は、ソーベルフィルタのような微分フィルタを用いるなど、既存の任意のアルゴリズムによって行える。判定閾値は、駐車場の領域（マスクされていない領域）の面積に応じて決定されるとよい。

【0067】

また、明瞭な画像であるか否かの判定は、例えば、入力画像をフーリエ変換して、高周波の空間周波数成分が閾値以上含まれるか否かによって判定してもよい。あるいはまた、画像が明瞭であるか否かを出力するようにあらかじめ機械学習された識別器を用いて、入力画像が明瞭であるか否かの判定を行ってもよい。

【0068】

ステップＳ９１において入力画像が不明瞭であると判定された場合（Ｓ９１－ＹＥＳ）は、ステップＳ９２に進んで、混雑状況の判定が不可能である旨を出力する。入力画像が明瞭であると判定された場合（Ｓ９２－ＮＯ）は、ステップＳ１３に進む。ステップＳ１３以降の処理は、第１実施形態と同様のため繰り返しの説明は省略する。

【0069】

本実施形態によれば、第１実施形態の効果に加えて、不適切な入力画像に基づく推定結果を提示することを防止できるという効果が得られる。

【0070】

＜変形例＞
上記の説明では、学習装置の前処理として、撮像画像に対して幾何変換を行ったり、車室以外をマスクする処理を行った画像を教師データとして用いる例について説明した。こ
こで、教師データにおける撮像画像のうち、建物の入り口からの距離に応じて、重み付けが行われてもよい。通常、駐車場のうち建物の入り口付近の車室から車が停められることが多く、このような場合に、「満車」は建物の入り口付近から遠い車室の状況をみることで判断できるためである。なお、建物の入り口付近からの距離ではなく、駐車場を撮像する撮像装置からの距離に応じて、重み付けを行ってもよい。

【符号の説明】

【0071】

１００：学習装置 １０１：教師データ １０２：取得部
１０３：前処理部 １０４：学習部 １０５：学習モデル
２００：混雑状況推定装置 ２０１：取得部 ２０２：前処理部
２０３：推定部 ２０４：表示制御部
３００：表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】