IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 西菱電機株式会社の特許一覧

<>
  • 特開-駐車場管理装置 図1
  • 特開-駐車場管理装置 図2
  • 特開-駐車場管理装置 図3
  • 特開-駐車場管理装置 図4
  • 特開-駐車場管理装置 図5
  • 特開-駐車場管理装置 図6
  • 特開-駐車場管理装置 図7
  • 特開-駐車場管理装置 図8
  • 特開-駐車場管理装置 図9
  • 特開-駐車場管理装置 図10
  • 特開-駐車場管理装置 図11
  • 特開-駐車場管理装置 図12
  • 特開-駐車場管理装置 図13
  • 特開-駐車場管理装置 図14
  • 特開-駐車場管理装置 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024028321
(43)【公開日】2024-03-04
(54)【発明の名称】駐車場管理装置
(51)【国際特許分類】
   G06V 20/54 20220101AFI20240226BHJP
   G06T 7/00 20170101ALI20240226BHJP
   G06V 10/82 20220101ALI20240226BHJP
   G08G 1/14 20060101ALI20240226BHJP
   H04N 7/18 20060101ALI20240226BHJP
【FI】
G06V20/54
G06T7/00 350C
G06V10/82
G08G1/14 A
H04N7/18 D
【審査請求】有
【請求項の数】2
【出願形態】OL
(21)【出願番号】P 2023218996
(22)【出願日】2023-12-26
(62)【分割の表示】P 2020218394の分割
【原出願日】2020-12-28
(71)【出願人】
【識別番号】596082770
【氏名又は名称】西菱電機株式会社
(74)【代理人】
【識別番号】110002941
【氏名又は名称】弁理士法人ぱるも特許事務所
(72)【発明者】
【氏名】鳥居 紀彦
(72)【発明者】
【氏名】吉村 修
(72)【発明者】
【氏名】尾嵜 憲司
(72)【発明者】
【氏名】山下 明輝
(57)【要約】
【課題】カメラの位置および数量の制約の影響を受けることの少ない駐車場管理装置を提供する。
【解決手段】駐車場管理装置において、駐車場の画像情報を取得する撮像装置と、車両を識別し得る車両の外観形状の情報を有し、撮像装置によって取得された画像情報に含まれている車両を識別する車両識別装置と、画像情報に含まれる駐車場の駐車枠の領域に座標を設定し、座標の情報と車両の外観形状の情報とによって画像情報の中の駐車枠を車両が使用していることを予測し、予測の信頼度に応じて駐車枠を車両が使用していると判定する情報処理装置と、を備える。
【選択図】図14
【特許請求の範囲】
【請求項1】
駐車場の画像情報を取得する撮像装置、車両を識別し得る前記車両の外観形状の情報を有し、前記撮像装置によって取得された前記画像情報に含まれている前記車両を識別する車両識別装置、および前記画像情報に含まれる駐車場の駐車枠の領域に座標を設定し、前記座標の情報と前記車両の外観形状の情報とによって前記画像情報の中の前記駐車枠を前記車両が使用していることを予測し、前記予測の信頼度に応じて前記駐車枠を前記車両が使用していると判定する情報処理装置を備えたことを特徴とする駐車場管理装置。
【請求項2】
前記車両が前記駐車枠を使用していることの予測をディープラーニングによる学習によって向上させるようにしたことを特徴とする請求項1に記載の駐車場管理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、駐車場管理装置に関するものである。
【背景技術】
【0002】
AI(Artificial Intelligence)の機械的学習(ディープラーニング)を使用して、予め定めた対象物を二次元の画像から抽出することが行われている。例えば、監視カメラによって撮影された駐車場の映像によって、駐車枠に車両が駐車しているか否かを判別するためにAIを使用することが提案されている。
【0003】
駐車場における駐車スペースの利用状況を検知するシステムとして、駐車場の監視ビデオカメラによる撮影画像から、駐車スペースの画像の検出を行い、駐車スペースの画像が空き駐車スペースの特徴を満足するかを判断することによって、空き駐車スペースを検出することが提案されている(特許文献1)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2017-84364号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に示されているように、対象物(空きスペース)を予め定めて、画像からその対象物の状態を判別するには、それぞれの駐車スペースに対応するカメラによって撮影された画像が必要である。そのため、高い位置にカメラを設置するか、数多くのカメラを設けることが必要である。
【0006】
本願は、カメラを必要とするが、カメラの位置および数量の制約の影響を受けることの少ない駐車場管理装置を提供することを目的としている。
【課題を解決するための手段】
【0007】
本願の駐車場管理装置は、駐車場の画像情報を取得する撮像装置、車両を識別し得る前記車両の外観形状の情報を有し、前記撮像装置によって取得された前記画像情報に含まれている前記車両を識別する車両識別装置、および前記画像情報に含まれる駐車場の駐車枠の領域に座標を設定し、前記座標の情報と前記車両の外観形状の情報とによって前記画像情報の中の前記駐車枠を前記車両が使用していることを予測し、前記予測の信頼度に応じて前記駐車枠を前記車両が使用していると判定する情報処理装置を備えたことを特徴とする。
【発明の効果】
【0008】
本願の駐車場管理装置によれば、カメラの位置および数量の制約を受けることの少ない駐車場の管理装置を得ることができる。
【図面の簡単な説明】
【0009】
図1】実施の形態1の物体識別装置を示す概略的な構成図である。
図2】実施の形態に係るブロック図を実現するハードウエア構成図である。
図3】実施の形態2のフローを示す説明図である。
図4】遮蔽物と識別対象物との関係を示す説明図である。
図5】遮蔽物によって、車両の存在が不明の場合の車両台数のカウントの処理手順を示すフロー図である。
図6】実施の形態3の駐車場管理装置のフローを示す説明図である。
図7】実施の形態4の駐車場管理装置のフローを示す説明図である。
図8】実施の形態5の駐車場管理装置のフローを示す説明図である。
図9】実施の形態7の駐車場管理装置のフローを示す説明図である。
図10】実施の形態8の駐車場管理装置のフローを示す説明図である。
図11】実施の形態9の駐車場管理装置のフローを示す説明図である。
図12】実施の形態10の駐車場管理装置のフローを示す説明図である。
図13】実施の形態11の駐車場管理装置のフローを示す説明図である。
図14】実施の形態12の駐車場管理装置のフローを示す説明図である。
図15】実施の形態13の車両管理装置のフローを示す説明図である。
【発明を実施するための形態】
【0010】
以下、本願に係る物体識別装置、それを用いた駐車場管理装置、および車両管理装置の実施の形態について図面を用いて説明する。なお、各図において同一または相当する部分については、各々同一符号を付して、重複する説明を省略する。
【0011】
実施の形態1.
図1は、本願の実施の形態1の物体識別装置を示す概略的な構成図である。
図1に示すように、実施の形態1の物体識別装置100は、画像情報を取得する撮像装置1、識別対象物の特徴部分の情報を記憶する第1の記憶装置2、撮像装置1によって取得された画像情報を蓄積する第2の記憶装置3、および第2の記憶装置3の画像情報を複数の領域に分割し、分割されたそれぞれの領域の画像情報と第1の記憶装置2に記憶されている識別対象物の特徴部分の情報とによって画像情報に識別対象物が含まれているかを判別する情報処理装置4を備えている。
【0012】
そして情報処理装置4による判別結果に基づいて撮像装置1によって取得された被写体が識別対象物であるかどうかを識別装置5において識別する。この識別装置5における識別結果は表示装置6において表示される。
識別対象物は、識別対象物設定部7において設定される。第1の記憶装置2に記憶されている識別対象物の特徴部分は、識別対象物の教師データを用いてディープラーニングの手法による画像認識によって生成される。すなわち、第1の記憶装置2に記憶されている特徴部分の情報は、教師データと類似物データとの比較の学習によって得られたもので、識別対象物設定部7において予め設定された識別対象物について、教師データ作成部8において、ディープラーニングに使用される教師データが作成され、類似物データが類似物データ作成部9において作成される。
【0013】
教師データは、識別対象物の正面図、側面図および三次元構造体の画像の描画パラメータを変化させて取得される識別対象物の外観形状の情報である。類似物データは、識別対象物の外観形状に類似する異なる構造体の外観形状の情報である。そして、教師データ作成部8において作成された教師データを、類似物データ作成部9において作成された類似物データによって、識別対象物が、他の類似物に対してどのようなところが類似しているのか、またどのようなところが識別できる特徴部分となるのかということを学習処理装置10において学習を重ねて習得する。学習処理装置10において習得した識別対象物の特徴部分の情報は第1の記憶装置2に記憶される。
【0014】
すなわち、学習処理手段11は、識別対象物設定部7、教師データ作成部8、類似物データ作成部9、および学習処理装置10を備えている。そして、対象物識別手段12は、第1の記憶装置2、第2の記憶装置3、情報処理装置4、および識別装置5を備えている。
【0015】
なお、学習処理手段11および対象物識別手段12は、ハードウエアの一例を図2に示すように、プロセッサ200と記憶装置201から構成される。記憶装置は図示していないが、ランダムアクセスメモリ等の揮発性記憶装置と、フラッシュメモリ等の不揮発性の補助記憶装置とを具備する。また、フラッシュメモリの代わりにハードディスクの補助記憶装置を具備してもよい。プロセッサ200は、記憶装置201から入力されたプログラムを実行する。この場合、補助記憶装置から揮発性記憶装置を介してプロセッサ200にプログラムが入力される。また、プロセッサ200は、演算結果等のデータを記憶装置201の揮発性記憶装置に出力してもよいし、揮発性記憶装置を介して補助記憶装置にデータを保存してもよい。
【0016】
ここで、識別対象物とは、カメラなどの撮像装置1によって取得される画像の中から識別したい物を意味している。識別対象物としては、特に制限されるものではなく、目的に応じて適宜設定することができる。例えば、駐車場の画像(映像)に含まれる小型車両、大型車両、特定の車種の車両、特定の地域名のナンバープレート、施設に流入する人物、男女、大人、子供、動物など、人間の視覚によって検知できる物体が挙げられる。
【0017】
教師データとは、教師ありディープラーニングにおいて用いられる「入力データ」と「正解ラベル」のペアである。ここで、入力データを多数のパラメータを有するニューラルネットワークに入力することでディープラーニング学習を実施し、推論ラベルと正解ラベルとの差の更新を繰り返すことによって、正解の頻度を高める。また、ここでは、識別対象物の全体像による判断ではなく、識別対象物の外観の一部を認識することによって画像の中に識別対象物が含まれていることを識別する。
【0018】
そのために、撮像装置1によって取得した画像情報を複数の領域に分割して、複数の分割されたそれぞれの領域の画像情報に識別対象物の特徴部分が含まれているかどうかを判定している。これは、例えば、駐車場において管理人が、目視して小型車両の台数を確認する場合のように、識別対象物が小型車両であって、ほんの僅か表れている車体の一部を確認して計数するのと同じ機能を画像認識によって果たすものである。
画像認識は、画像データの画像内容を分析して、その形状および外観を認識する技術である。ここでは、画像認識として、画像データから識別対象物と想定する輪郭を抽出して、画像の背景から分離した上で、その識別対象物と想定したものが何であるかを分析する。
【0019】
次に、ディープラーニングによる識別対象物の検出について説明する。
ここで使用するのは1段階の物体検出手法を用いるアルゴリズムである。このアルゴリズムによって物体を検出するステップは次のとおりである。まず、撮像装置1によって取得した画像を予め定めたサイズのグリッド(例えば等サイズのグリッド領域)に分割する。分割したグリッドの領域に、事前に定義した形状の、グリッドの中心を中心位置とするバウンディングボックスを、事前に設定した数だけ予測する。それぞれの予測には、クラス確立と物体信頼度(その領域に物体を含んでいるか、あるいは背景のみか)を関連付けする。
次に、高い物体信頼度およびクラス確率が関連付けられたバウンディングボックスを選択する。最も高いクラス確率を持つ物体クラスが、その物体のカテゴリー(クラス)となる。そして、スコアが高いデフォルトボックスのみを抽出する。次に、クラスごとにデフォルトボックスの重なり率を計算し、重なり率が高い場合には、スコアの低いデフォルトボックスを除去する。そして、物体の位置を表すバウンディングボックスを出力する。
【0020】
実施の形態2.
次に、物体識別装置を駐車場管理装置に適用する場合について説明する。
図3は、物体識別装置を用いた駐車場管理装置の構成とフローを示す説明図である。
図3に示すように、駐車場管理装置に使用する場合には、識別対象物として、複数種類の車両を設定する。例えば、普通自動車、トラック、バス、バイク、自転車等を識別対象物として設定する。そして、撮像装置1(カメラ)によって、予め定められた時間間隔で駐車場の撮影を行う(ステップS200)。エッジコンピュータ202によって、図1に示した学習処理手段11と対象物識別手段12との機能を果たす。
【0021】
すなわち、カメラ画像の取得(ステップS210)を行ない、物体検出のために、バウンディングボックスの予測を行う(ステップS220)。画像認識を行い、物体(普通自動車、トラック、バス、バイク、自転車)として識別の信頼度の高いもの選択する(ステップS230)。予め設定した閾値より高い信頼度の物体を処理対象とする(ステップS240)。そして、処理対象としての識別対象物の台数をカウントする(ステップS250)。ここでの車両の台数のカウントは、実施の形態1において説明しているように、物体識別装置による識別、すなわち第2の記憶装置に記憶された画像情報を複数の領域に分割し、分割されたそれぞれの前記領域の画像情報と第1の記憶装置に記憶されている識別対象物の特徴部分の情報とによって前記画像情報に前記識別対象物が含まれているかどうかを判別するものである。
【0022】
駐車場の状態として、満車、空車、混雑の判定を行う(ステップS260)。判定結果は、表示盤に満車、空車、混雑の表示を行う(ステップS270)。また、クラウドサーバによってホームページに満車、空車、混雑の表示を行う(ステップS280)。また、台数のカウント結果については、車種別、時間帯別の集計を行う(ステップS290)。
なお、ステップS240において、識別の信頼度の高いものを処理対象とするように示した。これは、管理人が駐車場の予め定められた場所(監視場所)に立って、駐車場を視認している状態と同じ様に、管理人と対象物との間に、別の車両が存在することによって対象物が全く確認できないことが生じる。すなわち、対象物(車両)と撮像装置との間にトラックが存在することによって対象物が存在するにも関わらず、カウントしない場合が生じる。
【0023】
このように遮蔽物が存在する場合、人間(管理人)が視認しているのであれば、その遮蔽物が移動するまで、隠れた対象物を見ることができない。しかし、実施の形態2の駐車場管理装置においては、撮像装置1によって、駐車場の予め定められた領域の画像を取得するように設定されているので、その駐車場の領域に遮蔽物が入ってきた場合には特別な管理を行う。
【0024】
すなわち、図4は、遮蔽物と識別対象物との関係を示す説明図である。図4(a)は、トラック20によって識別対象物の車両30が完全に隠されている状態を表している。図4(b)は、識別対象物の車両30が駐車している後に遮蔽物となるトラック20が駐車しようとしている状態を表している。図4(c)は、遮蔽物であるトラック20が駐車するときにはその遮蔽される領域には車両30が駐車されていない状態を表している。図4(d)は、遮蔽物とされるトラック20によって遮蔽されている領域に車両30を駐車しようとしている状態を表している。
【0025】
この図4(a)に示すように、識別対象物とされる車両30の一部分も確認できない場合がある。駐車場を確認した時点においては、遮蔽物となるトラック20が駐車しているため、遮蔽された領域に車両30が既に存在しているのか、車両30が存在していないのかは不明である。
【0026】
図4(a)に示すように遮蔽物によって識別対象物の存在が不明と判断される領域が存在する場合には、図5に示すように処理する。すなわち、図5は、遮蔽物によって、識別対象物である車両の存在が不明の場合の車両台数のカウントの処理手順を示すフロー図である。
駐車場の管理において、車両の出入りの状態は、画像情報として第2の記憶装置3に保存されているので、この保存されている画像情報を使用して、識別対象物としての車両の存在を確認する。
【0027】
まず、図5に示すように車両が完全に遮蔽されている可能性があるか否を判断する(ステップS10)。駐車場に駐車されている車両が何らかの方法で確認される場合(部分的に突出している等のように輪郭の一部が確認されるような場合)には、遮蔽されている領域が無いとして、確認した車両数で集計する(ステップS11)ことによって処理は完了する。車両が完全に遮蔽されている可能性がある場合には、遮蔽物によって隠れるよりも前の画像情報を確認する(ステップS12)。そして、遮蔽物が存在する以前に車両が駐車されていたかを確認する(ステップS13)。
【0028】
遮蔽物が入った後に既に存在していた車両が出て行った情報があるか否かを把握する。遮蔽物が存在するよりも前に駐車していない場合には、遮蔽物が存在した後に遮蔽物の後方(遮蔽物によって遮蔽されている領域)に駐車された車両があるのかを確認する(ステップS14)。要するに遮蔽されている領域に車両が駐車されたのであれば、車両数を加算する(ステップS15)。
そして遮蔽物の後方に車両が存在していないことが継続している場合には、車両数の増減は無いとする(ステップ16)。
【0029】
また、遮蔽物が存在する以前から遮蔽領域に車両が存在していたのであれば、隠れていた車両数を加算する(ステップS17)。さらに、車両が存在していたという画像情報よりも後に、遮蔽物の後方に存在していた車両が移動しているか否かを確認する(ステップS18)。そして、計数後に車両が移動しているのであれば、車両数を減算する(ステップS19)。さらに車両が移動した後に新たな車両が駐車したかについてはステップS14によって確認することになる。
以上の手順のように、遮蔽物が存在している場合であっても、駐車場を管理している時間の画像情報が第2の記憶装置に保管されるので、画像情報の時間を戻して再生することによって遮蔽物の後ろに車両が駐車されているか否かを正確に把握することができる。
【0030】
実施の形態2の駐車場管理装置においては、特徴部分の部分的な情報から識別対象物の存在を推定する。また、識別対象物の全体を遮蔽する遮蔽物が存在する場合には、遮蔽物の存在前後の画像情報によって確認することによって識別対象物の存在を確認することができる。すなわち、識別対象物が存在する可能性のある駐車場の監視対象の領域について、過去の画像情報を確認し、その確認状況の記録を残すことによって、人間の管理ではできなかった、管理情報を得ることができ、より確実な管理を実現することができる。
【0031】
さらに、この実施の形態2においては、日中だけでなく、夜、雪、雨などの天候の悪い状況でも車両の検出を可能にする。すなわち、クラスタリングによる車両検出技術では、日中の映像が鮮明な時間帯では車両の検出は安定しているが、夜、雪、雨など、天候の悪い状況では検出精度が安定しない。これに対して、ディープラーニングの物体検出技術を活用し、予め、夜、雪、雨時の画像でトレーニングする事によって車両の検出を安定して行うことができる。夜間、および雪、雨の悪天候時も安定して車両の検出を可能になることで、安定したサービスの提供が可能になる。
【0032】
実施の形態3.
次に、物体識別装置を駐車場管理装置に適用する場合であって、駐車場の利用者の属性を集計する場合について説明する。
図6は、物体識別装置を用いた駐車場管理装置の構成とフローを示す説明図である。
実施の形態2(図3)においては識別対象物を車両としていたが、この実施の形態3では、識別対象物を人およびペットとして、駐車場に設置している満車・空車を検知するための撮像装置の画像情報を使用して、施設に流入する人の属性を把握することによって、マーケティング、施設の混み具合の発信に活用するものである。ここでは、ディープラーニングによる物体認識技術を活用し、人を検出することにより、施設に流入する人数をカウントする。また、性別(男/女)、年齢、ペットを検出することもできる。さらに、人間の表情から、感情を読み取ることもできるものである。
【0033】
この実施の形態3では、ステップS330として、実施の形態2のスッテプS230の中に、識別する物体として、人を含めている。そして、画像の切り出しに「人」を設定(ステップS350)。そしてディープラーニングによる画像認識として、性別、年齢、表情の判別を実行して(ステップS351)、取得した性別、年齢、表情のデータをカウントする(ステップS352)。並行して、犬および猫の数量をカウントする(ステップS360)。そして、クラウドサーバにおいてデータを集計(ステップS370)し、ホームページに施設の混雑状況の表示を行う(ステップS380)。また、時間帯、曜日、祝祭日、天候等毎に情報を分類し、施設の利用者と販売実績との関係の分析を行う(ステップS390)。この分析結果に基づいて販売する商品構成に反映させることができる(ステップS391)。
【0034】
上述のように、時間帯、曜日、祝祭日、天候など毎に情報を分類し、販売実績を分析することにより、売店の品揃え、食堂のメニューを、訪れるお客さまに応じた商品構成にし、売上向上に役立てることができる。さらに、売店の混雑状況を表示することにより、混み具合を発信でき、サービスエリアの利用者の満足度向上につなげることができる。
【0035】
実施の形態4.
次に、物体識別装置を駐車場管理装置に適用する場合であって、ナンバープレートの地域名および車種から、需要予測を行う場合について説明する。
図7は、物体識別装置を用いた駐車場管理装置の構成とフローを示す説明図である。
この実施の形態4では、施設の利用者の車両のナンバープレートの地域名をディープラーニングの画像認識で読み取り集計する。また、ディープラーニングにより車種(普通車、トラック、バス)を認識し、地域名と車種の集計から客層を判断し、駐車場のある商業施設での需要予測を行う。
【0036】
実施の形態2(図3)においては識別対象物を車両としていたが、この実施の形態4では、識別対象物をナンバープレートとして、駐車場に設置している満車・空車を検知するための撮像装置の画像情報を使用して、施設に流入する車両のナンバープレートの持つデータ(地域名および車種)を集計することによって、商業施設の需要を予測し、販売する商品およびサービスを需要にあったものにすることで、売上向上とサービス向上につなげるものである。
【0037】
この実施の形態4では、ステップS430として、実施の形態2のスッテプS230の中に、識別する物体として、ナンバープレートを含めている。そして、画像の切り出しに「ナンバープレート」を設定(ステップS450)。そしてディープラーニングによる画像認識として、文字、数字の判別を実行して(ステップS451)、取得したナンバープレートのデータをカウントする(ステップS452)。そして、クラウドサーバにおいてデータを集計している(ステップS490)。
【0038】
実施の形態5.
次に、物体識別装置を駐車場管理装置に適用する場合であって、駐車場のレイアウト(車両の駐車スペースのレイアウト)に応じて満車・空車の情報の検出を可能にする場合について説明する。
図8は、物体識別装置を用いた駐車場管理装置の構成とフローを示す説明図である。
この実施の形態5では、大型車のスペースに普通車を複数台止めるなど運用の違いにより、台数だけでは駐車場の満車/空車の判断が出来ない場合に、ディープラーニングによる物体認識により普通車、大型車、二輪車を分類し、大型車の駐車スペースに普通車が止まっている場合でも、別の普通車を止めるスペースがある場合は、空車ありと判断することで、駐車スペースの効率的な利用を可能にするものである。
【0039】
同様に車両スペースに二輪車が複数止められることがあるため、大型車または普通車の駐車スペースに二輪車が止まっている場合も、普通車を止める空スペースがあるかで判断するようにする。また、駐車スペース外の場所に車両を駐車している場合は、空車のカウントを減らさないようにし、「駐車スペース外の駐車」としてカウントすることで、不適切な駐車スペースへの駐車があることを認識できるようにする。
さらに、駐車場所を複数のグループに分類する分類境界を作成し、任意に変更できるようにすることによって効率的な利用を可能にするものである。
【0040】
実施の形態2(図3)においては識別対象物を車両としていたが、この実施の形態5では、識別対象物を普通自動車、トラック、バス、バイク、自転車として、普通車、大型車、二輪車に分けて判定することによって、不適切な駐車を認識できるようにしている。
【0041】
この実施の形態5では、ステップS530として、実施の形態2のスッテプS230の中に、識別する物体として、普通自動車、トラック、バス、バイク、自転車というように区分して集計できるように構成している。そして、満車・空車・混雑の判定を行い、車種ごとの適正駐車位置が使用されているか否かを判断して、不適切なエリアに駐車している車両を認識する(ステップS550)。そして、その結果を、表示盤に表示することによって不適切な駐車に対する注意を喚起するようにしている(ステップS570)。また、クラウドサーバにおいて、ホームページに満車・空車・混雑の情報を表示するようにしている(ステップS580).また車両数のカウントに基づいて様々なデータを集計している(ステップS590)。
【0042】
実施の形態6.
次に、物体識別装置を駐車場管理装置に適用する場合であって、車両を車種ごとに認識することによって、パーキングエリアの駐車枠に限らずに、最適な車両割当てを算定する場合について説明する。
この構成とフローは、実施の形態5と同様である。この実施の形態6では、大型と普通車・小型車両の駐車エリアが分割されている駐車場で、小型・普通車のパーキングエリアが混雑しているが、大型車両のパーキングエリアが空いている時間帯に、大型車両のエリアに小型・普通車両を駐車させる場合の対応を示すものである。すなわち、大型車両の駐車エリアに小型車両を駐車する場合は、2台駐車が可能であるが、従来の車両検出方法では、大型車両エリアに小型車両が駐車しているかの判別が難しい。そこで、ディープラーニングによる車両検出を行うことにより、大型・普通車・小型・二輪を分けて認識を行うものである。
【0043】
これにより、大型車両の駐車エリアに何台の小型車両が駐車していて、あと何台駐車できるのかを判定することができる。さらに、時間帯、曜日、天候により、大型車両、普通車両、小型車両がどこに何台駐車していて、どれくらい混雑しているのか分析することにより、より効率的な駐車場の割合を算定することができる。
大型・普通車・小型・二輪などの車格毎の駐車場の占有場所をあらかじめ設定しておき、実際に停車されている車格と比較する事により、占有違反を検出して通報することが可能である。
大型/小型/普通/2輪を仕分けして判定することにより、駐車場混み具合をより高精度に実施する事を可能にする。さらに、時間帯、曜日、天候別の駐車場の利用状況を分析する事により、駐車場の改善計画の立案に有効である。
【0044】
実施の形態7.
次に、物体識別装置を駐車場管理装置に適用する場合であって、身障者用駐車帯の空き状況把握を可能にする場合について説明する。
図9は、物体識別装置を用いた駐車場管理装置の構成とフローを示す説明図である。この実施の形態7では、身障者用駐車帯の空き状況が駐車位置に行くまでわからないという問題に対応するものである。
【0045】
駐車場には、身障者用の駐車エリアがあるが、入退出カウント方式の駐車場満空監視システムでは、各車両の駐車位置が把握できていない。そこで、ディープラーニングによる車両検出を行うことにより、身体障害者用の駐車スペースが空いているのか満車なのかを判定することができる。それによって、駐車場入り口の表示盤またはWEBなどの配信手段を活用し、利用者、警備員、保守員に対して通知する事を実現することを可能にするものである。
【0046】
身障者用駐車スペースに駐車することが出来るか、あらかじめ判断することが出来るため、利便性が向上する。
この実施の形態7では、満車・空車・混雑の判定において、身障者用駐車エリアの満車・空車を判別する(ステップS351)ことによって、駐車場の表示盤に身障者用駐車エリアの満車・空車の状態を表示する(ステップS670)。
【0047】
実施の形態8.
次に、物体識別装置を駐車場管理装置に適用する場合であって、駐車場の混み具合を外部に配信するために画像加工をリアルタイムで実施する場合について説明する。
図10は、物体識別装置を用いた駐車場管理装置の構成とフローを示す説明図である。
この実施の形態8では、駐車場に関する情報を外部に配信する場合に、そこに含まれている個人情報および肖像権を尊重するための適切な処置を施す場合について説明する。
【0048】
駐車場の混み具合を確認する為には、インターネットを使用してリアルタイムで画像を確認する事が行われる。しかし、カメラで撮像した映像では、車両および車両ナンバー、人の顔の映像が鮮明に写ることにより個人情報および肖像権を尊重する必要がある。
そのため、映像をそのまま配信することはできない。これに対応するため、ディープラーニングによる物体検知により、車両のナンバープレート、映像中の人物の顔、特徴部分を検出し、その部分にのみ自動的にモザイクまたはぼかしを施すことによって不鮮明にする。
【0049】
または、人間を認識して画像から削除する処理をリアルタイムで実施することで、インターネット上に公開できる映像に加工する。
このため、予測したバウンディングボックスから、検知したい物体(人間、ナンバープレート)として信頼度の高いものを選択することで分類(ステップS730)し、表示に使用する情報の中の、人間、ナンバープレートへのモザイク処理を施す(ステップS750)。そして、クラウドサーバにおいて、モザイク処理された画像をインターネット上でリアルタイムに公開する(ステップS780)。
【0050】
実施の形態9.
次に、物体識別装置を駐車場管理装置に適用する場合であって、駐車場の指定位置以外での駐車車両および通路を逆走する車両を検出することによって事故を未然に防ぐものである。
図11は、物体識別装置を用いた駐車場管理装置の構成とフローを示す説明図である。
この実施の形態9では、駐車場内では、駐車場所でないところに車両を停止することおよび決められた方向に走行しない車両によって事故が発生する場合がある。
【0051】
この実施の形態9においては、ディープラーニングの物体検出技術によって、通行路及び、誘導路に停車している車両を検出することにより、車両が駐車場以外の通行路、誘導路に不正に停車していないかを検出することができる。さらに、あらかじめ設定しておいた通路および誘導路の進行方向と車両の進行方向とを比較する事により、逆走車の検出を行う場合について説明する。
【0052】
図11に示すようにエッジコンピュータ202内において駐車場内にある車両、出入りする車両について車両に走行方向の判定を行う(スッテプS850)。車両の走行方向と走行車線との関係から逆相を検知する(ステップS851)。そして、表示盤に逆走車両の情報を対象の車両および周辺の車両に通知する(ステップS870)。また、警備室においては、逆走車両の情報を保守・警備員に通知する(ステップS880)。これによって、不正駐車、逆走車両の情報を、対象車両、周辺車両、保守・警備員へ通知することで、事故を未然に防ぐ事ができる。
【0053】
実施の形態10.
次に、物体識別装置を駐車場管理装置に適用する場合であって、駐車場に入ろうとする車両の列を検出して、駐車場の外の車列の情報を提供するものである。
図12は、物体識別装置を用いた駐車場管理装置の構成とフローを示す説明図である。
この実施の形態10では、駐車場内だけでなく、駐車場外の車列をカメラで監視し、駐車場内が満車状態になったときに、駐車場外の車列監視用カメラの映像を外部配信し、インターネット上で閲覧できるようにしたものである。
【0054】
図12に示すように、撮像装置1(カメラ)は、入庫待ち車両を撮影する(ステップS900)。エッジコンピュータ202の内部においては、満車、空車、混雑の判定を行い、入庫末の車両の有無を表示する(ステップS950)。また、入庫待ちの車両をカウントする(ステップS960)。そして、表示盤において満車、空車、混雑状況を表示し、待ち車両の有無について表示する(ステップS970)。またクラウドサーバにおいて、ホームページに満車、空車、混雑の情報および待ち車両の有無について表示する(ステップS980)。またデータを収集する(ステップS980)。
これによって、駐車場に入ろうとする車両に駐車場の状況を伝えることができる。
【0055】
実施の形態11.
次に、物体識別装置を駐車場管理装置に適用する場合であって、駐車場が立体駐車場のように複数の領域に分かれている駐車場において、複数の駐車エリアのそれぞれについて満車状態、空車状態の程度を通知することによって、混雑の集中を防ぐものである。
図13は、物体識別装置を用いた駐車場管理装置の構成とフローを示す説明図である。
【0056】
この実施の形態11では、複数の駐車エリア(複数のフロア)毎の満車・空車・混雑の状態を判定する(ステップS1050)。フロアごとの車両数をカウント(ステップS1060)し、表示盤においてフロア毎の満車・空車・混雑の状態を表示(ステップS1070、クラウドサーバにおいて、ホームページにフロア毎の満車・空車・混雑の状態を表示(ステップS1080)する。また、フロア毎のデータを集計(ステップS1090)する。
これによって、表示盤の満車率を見ることで、駐車スペースに対して車両が少ないフロアおよび駐車場がわかるため、1つのフロアおよび駐車場が混雑することを解消させることができる。
【0057】
実施の形態12.
この実施の形態は、物体識別装置を駐車場管理装置に適用して、駐車場の利用状況の情報を得るという目的を達成するものである。
この実施の形態12では、駐車場の駐車枠の上に駐車している車両の画像情報に基づいて、車両が使用している駐車枠を判定する。この判定のために、物体識別装置では、実施の形態1において説明したように、ディープラーニングによって、車両を識別対象物として認識できる機能を持つ。また、併せて、駐車場の駐車枠の領域を細分化した座標を設定し、駐車枠内に収まっているのかあるいは駐車枠を出た状態で駐車されているのかの判断ができるように設定されている。この判断は、駐車枠を表す座標系と車両の外観情報による学習を繰り返すことによって、学習し、判断の信頼度を向上させることが可能である。
【0058】
図14は、物体認識装置を用いた駐車場管理装置の構成フローを示す説明図である。
図14に示すように、撮像装置1(カメラ)は、駐車場を撮影する。この撮影によって、駐車場の駐車枠および利用している車両を撮影する(ステップS200)。エッジコンピュータ202の内部においては、ディープラーニングによる駐車枠の使用の予測を重ねることによって、検知した車両が所定の駐車枠に駐車しているという信頼度を予測する(ステップS1000)。駐車枠を車両が使用しているとの予測の信頼度が、予め定めた閾値よりも高い場合に、駐車枠に車両が駐車されていると判定する(ステップS1010)。また、このエッジコンピュータ202では駐車枠に関係するデータを取得するために最適な撮像装置1(カメラ)の高さ、設置角度(俯角)を求める(ステップS1020)ことが行われる。
そして、表示盤において停止車両の有無を表示(ステップS1170)し、クラウドサーバにおいて、ホームページに停止車両の有無を表示する(ステップS1180)。また駐車場管理者に車両枠に停止している車両の情報を通知する(ステップS1030)。
【0059】
実施の形態13.
物体識別装置を車両管理装置に適用する場合であって、道路上の映像をディープラーニング(深層学習)の物体検出技術によって停止車両の有無を判定処理することで、人間が検出するよりも早く、停止車両を検出する事を可能にするものである。
図15は、物体識別装置を用いた車両管理装置の構成とフローを示す説明図である。
この実施の形態13では、道路上の状況をカメラで監視し、車両の外観あるいは輪郭の一部によって車両を検出するもので、実施の形態1のディープラーニングの技術によって停車中の車両を検出するものである。
【0060】
図15に示すように、撮像装置1(カメラ)は、道路上を撮影する(ステップS1100)。エッジコンピュータ202の内部においては、満車、空車、混雑の判定を行い、道路上を走行する車両の進行方向および速度を判定する(ステップS1150)。また、周辺車両との速度差を考慮して、停止している車両の有無を判定する(ステップS1160)。そして、表示盤において停止車両の有無を表示(ステップS1170)し、クラウドサーバにおいて、ホームページに停止車両の有無を表示する(ステップS1180)。また道路管理者に停止車両の情報を通知する(ステップS1190)。
これによって、停止車両発生から、道路管理者が駆け付けるまでの時間を短くすることで、追突事故発生を抑制することができる。
【0061】
本願は、様々な例示的な実施の形態及び実施例が記載されているが、1つ、または複数の実施の形態に記載された様々な特徴、態様、及び機能は特定の実施の形態の適用に限られるのではなく、単独で、または様々な組み合わせで実施の形態に適用可能である。
従って、例示されていない無数の変形例が、本願明細書に開示される技術の範囲内において想定される。例えば、少なくとも1つの構成要素を変形する場合、追加する場合または省略する場合、さらには、少なくとも1つの構成要素を抽出し、他の実施の形態の構成要素と組み合わせる場合が含まれるものとする。
【符号の説明】
【0062】
1 撮像装置、2 第1の記憶装置、3 第2の記憶装置、4 情報処理装置、5 識別装置、6 表示装置、7 識別対象物設定部、8 教師データ作成部、9 類似物データ作成部、10 学習処理装置、11 学習処理手段、12 対象物識別手段、20 トラック、30 車両、100 物体識別装置、200 プロセッサ、201 記憶装置、202 エッジコンピュータ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15