特許 6389976 車両施設監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6389976

(24)【登録日】2018年8月24日

(45)【発行日】2018年9月12日

(54)【発明の名称】車両施設監視システム

(51)【国際特許分類】

   G08G 1/14 20060101AFI20180903BHJP

【ＦＩ】

   G08G1/14 A

【請求項の数】10

【全頁数】19

(21)【出願番号】特願2018-53092(P2018-53092)

(22)【出願日】2018年3月20日

【審査請求日】2018年3月20日

【早期審査対象出願】

(73)【特許権者】

【識別番号】504378548

【氏名又は名称】株式会社プロロジス

(73)【特許権者】

【識別番号】399076312

【氏名又は名称】安川情報システム株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】大橋 治

(72)【発明者】

【氏名】菊田 和生

(72)【発明者】

【氏名】鬼丸 浩幸

(72)【発明者】

【氏名】西嶋 功

【審査官】 岩田 玲彦

(56)【参考文献】

【文献】 特開２００７−２９３６７４（ＪＰ，Ａ）

【文献】 特表２０１６−５３１４１１（ＪＰ，Ａ）

【文献】 長部大・飯塚祐介・東明浩，機械学習を活用した映像解析技術による社会課題解決ソリューション，ＦＵＪＩＴＳＵ 2016年11月号，日本，富士通株式会社，２０１６年１１月 １日，Ｖｏｌ．６７ Ｎｏ．６，pp.29-35

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／１４

(57)【特許請求の範囲】

【請求項1】

車両施設における所定の駐停車領域ごとに設けられ、前記駐停車領域をそれぞれ撮像するカメラと、
前記カメラによって撮像された正例となる撮像画像を用いた機械学習を実行することで、前記駐停車領域ごとの車両の許容台数が動的に変化する場合を含む前記駐停車領域の状態判別モデルを生成する生成部と、
前記カメラによって撮像された判別対象分となる前記撮像画像を前記状態判別モデルへ入力することによって得られる出力値に基づいて、前記駐停車領域の状態を判別する判別部と
を備え、
前記車両施設は、物流施設であり、
前記駐停車領域は、前記物流施設内の所定の区画であるスパンまたは前記物流施設の敷地内のトラックの待機場である
ことを特徴とする車両施設監視システム。

【請求項2】

前記判別部は、
前記出力値に基づいて前記駐停車領域に存在する物体を判別する
ことを特徴とする請求項１に記載の車両施設監視システム。

【請求項3】

前記判別部は、
前記出力値に基づいて前記駐停車領域における前記車両の満空状態を判別する
ことを特徴とする請求項２に記載の車両施設監視システム。

【請求項4】

前記判別部は、
前記出力値に基づいて前記駐停車領域における前記車両以外の物品を判別する
ことを特徴とする請求項２または３に記載の車両施設監視システム。

【請求項5】

前記判別部は、
前記出力値に基づいて前記駐停車領域に駐停車されたサイズの異なる複数の前記車両を判別する
ことを特徴とする請求項２、３または４に記載の車両施設監視システム。

【請求項6】

前記カメラの前記撮像画像を周期的に収集する収集部
をさらに備え、
前記判別部は、
前記収集部によって収集された前記判別対象分に基づいて前記駐停車領域の状態を判別する
ことを特徴とする請求項１〜５のいずれか一つに記載の車両施設監視システム。

【請求項7】

前記判別部によって判別された前記駐停車領域の状態を所定の監視画面へ表示させる監視部
をさらに備え、
前記監視部は、
少なくとも前記スパンごとの満空状態および前記スパンに具備されたシャッターの開閉状態を前記監視画面へ表示させることを特徴とする請求項１〜６のいずれか一つに記載の車両施設監視システム。

【請求項8】

前記監視部は、
前記カメラによる前記スパンまたは前記待機場の現在の前記撮像画像を前記監視画面へ表示させることを特徴とする請求項７に記載の車両施設監視システム。

【請求項9】

前記監視部は、
前記シャッターの開閉状態に基づいて前記物流施設をセキュリティ管理する
ことを特徴とする請求項７または８に記載の車両施設監視システム。

【請求項10】

前記監視部は、
前記判別部によって判別された前記駐停車領域の状態を蓄積および解析して前記駐停車領域の使用状況に関する情報を導出し、該使用状況に関する情報を提示する
ことを特徴とする請求項７、８または９に記載の車両施設監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実施形態は、車両施設監視システムに関する。

【背景技術】

【0002】

従来、駐車場のような所定の駐停車領域を有する車両施設において、車両の入出場を管理する管理システムが知られている。

【0003】

このような管理システムでは、たとえば入場ゲート機を通過する入場車両の台数と出場ゲート機を通過する出場車両の台数とを計数し、入場車両の総数から出場車両の総数を減算することによって現状の駐車台数を把握する。そして、かかる駐車台数が所定の最大駐車台数に達する場合は、車両の入場を制限し、最大駐車台数を下回っている場合は、車両の入場を許可するようにしている（たとえば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００３−１４１５８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した従来技術には、車両施設における所定の駐停車領域の状態を精度よく判別し、車両施設を効率よく運用するうえで、さらなる改善の余地がある。

【0006】

具体的には、上述した従来技術は、出場ゲート機において出場車両を検出するものであるため、たとえば、出場車両が発車して駐停車領域が空いたとしても、出場車両が出場ゲート機に到達するまでの間は、かかる駐停車領域は満車と判定されてしまう。このため、車両の入場が制限される時間が長くなってしまい、車両施設の稼働率を低下させてしまう。

【0007】

特に、車両施設がトラック輸送の物流拠点となる物流センターである場合、物流センターは、昨今のインターネットを利用した電子商取引などの飛躍的な普及に伴う物流需要の増加に応じて、施設の大型化や、輸送機会の多頻度化も進んできている。このような物流センターにおいては、荷捌き場ほか、トラックの駐停車領域の状態を精度よく判別し、運用の効率化を図ることが強く望まれている。

【0008】

実施形態の一態様は、上記に鑑みてなされたものであって、車両施設における所定の駐停車領域の状態を精度よく判別し、車両施設を効率よく運用することができる車両施設監視システムを提供することを目的とする。

【課題を解決するための手段】

【0009】

実施形態の一態様に係る車両施設監視システムは、カメラと、生成部と、判別部とを備える。前記カメラは、車両施設における所定の駐停車領域ごとに設けられ、前記駐停車領域をそれぞれ撮像する。前記生成部は、前記カメラによって撮像された正例となる撮像画像を用いた機械学習を実行することで、前記駐停車領域ごとの車両の許容台数が動的に変化する場合を含む前記駐停車領域の状態判別モデルを生成する。前記判別部は、前記カメラによって撮像された判別対象分となる前記撮像画像を前記状態判別モデルへ入力することによって得られる出力値に基づいて、前記駐停車領域の状態を判別する。また、前記車両施設は、物流施設であり、前記駐停車領域は、前記物流施設内の所定の区画であるスパンまたは前記物流施設の敷地内のトラックの待機場である。

【発明の効果】

【0010】

実施形態の一態様によれば、車両施設における所定の駐停車領域の状態を精度よく判別し、車両施設を効率よく運用することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施形態に係る車両施設監視システムの概要説明図である。

【図2】図２は、実施形態に係る車両施設監視システムのブロック図である。

【図3A】図３Ａは、状態判別モデルの一例を示す図（その１）である。

【図3B】図３Ｂは、状態判別モデルの一例を示す図（その２）である。

【図4A】図４Ａは、スパンの状態パターンの具体例を示す図（その１）である。

【図4B】図４Ｂは、スパンの状態パターンの具体例を示す図（その２）である。

【図4C】図４Ｃは、スパンの状態パターンの具体例を示す図（その３）である。

【図4D】図４Ｄは、スパンの状態パターンの具体例を示す図（その４）である。

【図4E】図４Ｅは、スパンの状態パターンの具体例を示す図（その５）である。

【図4F】図４Ｆは、スパンの状態パターンの具体例を示す図（その６）である。

【図4G】図４Ｇは、スパンの状態パターンの具体例を示す図（その７）である。

【図4H】図４Ｈは、スパンの状態パターンの具体例を示す図（その８）である。

【図4I】図４Ｉは、スパンの状態パターンの具体例を示す図（その９）である。

【図4J】図４Ｊは、スパンの状態パターンの具体例を示す図（その１０）である。

【図4K】図４Ｋは、スパンの状態パターンの具体例を示す図（その１１）である。

【図5A】図５Ａは、全体監視画面の具体例を示す図である。

【図5B】図５Ｂは、個別監視画面の具体例を示す図である。

【図5C】図５Ｃは、使用状況監視画面の具体例を示す図である。

【図5D】図５Ｄは、物流センターをセキュリティ管理する場合の具体例を示す図である。

【発明を実施するための形態】

【0012】

以下、添付図面を参照して、本願の開示する車両施設監視システムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0013】

また、以下では、車両施設が、トラック輸送の物流拠点となる物流センターである場合を例に挙げて説明を行うが、以下で「トラック」と言った場合、荷室を有し、かかる荷室へ輸送品を積載して、輸送品を物流センターへ搬入または物流センターから搬出することができる車両を広く含むものとする。

【0014】

まず、実施形態に係る車両施設監視システムの概要について、図１を参照して説明する。図１は、実施形態に係る車両施設監視システム１の概要説明図である。

【0015】

図１に示すように、実施形態に係る車両施設監視システム１は、物流センター２と、サーバ装置１０とを含む。物流センター２は、輸送品の入荷、保管、ピッキング、流通加工、検品、出荷といった物流に関する各種業務が行われる。

【0016】

たとえば、物流センター２は、トラックが進入可能な複数のフロアを有し、各フロアには、所定の区画であるスパン２１が設けられている。スパン２１は、物流センター２における所定の駐停車領域の一例であって、トラックの荷捌き場となる領域である。なお、本実施形態では、物流センター２が複数のフロアを有することとするが、物流センター２は単一のフロア、すなわち、平屋であってもよい。

【0017】

図１に示すように、スパン２１は、たとえば物流センター２内の柱と柱の間に形成されている。また、スパン２１は、複数のトラックを停めることができる寸法を有して形成されている。スパン２１内のトラックの停車箇所は、「バース」と呼ばれる。

【0018】

そして、図１に示すように、スパン２１は、「許容台数が動的に変化」するように複数のトラックを停車させることができる。言い換えれば、バースの数を動的に変化させることができる。

【0019】

本実施形態では、図中の「４０２」のスパン２１に示すように、１つのスパン２１には小型のトラックＴ２を３台停車させることができるものとする。また、たとえば、図中の「４０３」のスパン２１に示すように、１つのスパン２１には大型のトラックＴ１を２台停車させることができるものとする。

【0020】

なお、ここに言う「大型」、「小型」は、相対的なサイズの大小を指すものであって、車両寸法や最大積載量、車両総重量などによって分類される、「小型トラック」、「中型トラック」、「大型トラック」の規格を指すものではない。

【0021】

また、図中の「４０４」のスパン２１に示すように、スパン２１は、前述の柱と柱の間にシャッター２２を具備することができる。かかるシャッター２２を閉めることにより、スパン２１は戸締まりされた状態となる。なお、シャッター２２は、「巻き取り式」、「折りたたみ式」、「オーバースライダー式」など、収納方法の違いは問わない。

【0022】

また、物流センター２は、たとえば敷地内に、トラックＴ１，Ｔ２の待機場２３を有する。待機場２３は、物流センター２における所定の駐停車領域の一例であって、物流センター２内へ進入する前のトラックＴ１，Ｔ２を待機させておく場所である。

【0023】

そして、車両施設監視システム１は、カメラ２４を備える。カメラ２４は、物流センター２におけるスパン２１および待機場２３ごとに設けられ、各スパン２１および待機場２３をそれぞれ撮像する。

【0024】

なお、カメラ２４は、たとえば物流センター２内の柱などに、それぞれ特定のスパン２１をたとえば斜め前方などから撮像可能な向きで取り付けられる。また、カメラ２４は、たとえば物流センター２の敷地内の柱などに、待機場２３全体を斜め上方などから撮像可能な向きで取り付けられる。ただし、いずれもカメラ２４の取り付けられる向きを限定するものではない。

【0025】

また、カメラ２４は、無線カメラであっても、有線カメラであってもよい。無線カメラの場合、カメラ２４の配線を引き回す必要がなく、増設／変更等が容易であるというメリットが得られる。また、カメラ２４は、スチルカメラであってもムービーカメラであってもよい。本実施形態では、カメラ２４は、無線式のスチルカメラであるものとする。

【0026】

そして、本実施形態では、かかるカメラ２４によって撮像された正例となる撮像画像を用いた機械学習を実行することで、物流センター２における所定の駐停車領域ごとで許容台数が動的に変化する場合を含む駐停車領域の状態判別モデルを生成することとした。そして、カメラ２４によって撮像された判別対象分となる撮像画像を状態判別モデルへ入力することによって得られる出力値に基づいて、駐停車領域、たとえばスパン２１それぞれの状態を判別することとした。

【0027】

具体的には、図１に示すように、車両施設監視システム１は、物流センター２からは、インターネット等のネットワークＮを介して周期的に、各カメラ２４によって撮像された撮像画像を送信する（ステップＳ１）。

【0028】

そして、サーバ装置１０は、物流センター２から送信された各カメラ２４の撮像画像を収集する（ステップＳ２）。なお、サーバ装置１０は、たとえばクラウドコンピューティングにおけるクラウドサーバとして設けられる。

【0029】

そして、サーバ装置１０は、収集した撮像画像のうちの正例となる学習対象分を用いた機械学習により、状態判別モデルを生成する（ステップＳ３）。機械学習には、ディープラーニング等、公知のアルゴリズムを用いることができる。

【0030】

そして、サーバ装置１０は、生成した状態判別モデルにより、たとえば各スパン２１の状態判別を行う（ステップＳ４）。具体的には、サーバ装置１０は、収集した撮像画像のうちの判別対象分を状態判別モデルへ入力し、それによって得られる状態判別モデルからの出力値に基づいて、前述の「許容台数が動的に変化」する場合を含む各スパン２１の状態をリアルタイムに判別する。

【0031】

たとえばサーバ装置１０は、スパン２１に存在する物体を判別する。物体は、たとえばサイズの異なる車両である。また、サーバ装置１０は、たとえばスパン２１の満空状態を判別する。また、サーバ装置１０は、たとえばシャッター２２の開閉状態を判別する。本実施形態に係る車両施設監視システム１が判別可能な駐停車領域のこれら判別例については、図４Ａ〜図４Ｋを用いた説明で後述する。

【0032】

そして、サーバ装置１０は、判別された各スパン２１の状態を、たとえばサーバ装置１０が備えるディスプレイ等の監視画面へ表示させる。オペレータは、かかる監視画面を確認することによって各スパン２１の状態を把握し、たとえばあるスパン２１に空きが生じたならば、待機場２３に待機するトラックＴ１，Ｔ２をかかるスパン２１へ誘導する。

【0033】

監視画面の具体的な例については、図５Ａおよび図５Ｂを用いた説明で後述する。また、監視画面の表示先は、たとえばオペレータが携帯する携帯情報端末等であってもよい。

【0034】

このように、本実施形態に係る車両施設監視システム１は、カメラ２４の撮像画像に基づいて生成された状態判別モデルにより、所定の駐停車領域の各状態をリアルタイムに判別することとしたので、駐停車領域の状態を精度よく判別することができる。また、判別される各状態は、前述の「許容台数が動的に変化」する場合を含むので、たとえばスパン２１で空いたバースの大きさに応じたサイズのトラックＴ１，Ｔ２を誘導することが可能となり、物流センター２を効率よく運用することが可能となる。

【0035】

なお、状態判別モデルによる判別結果に基づいては、各スパン２１の使用状況に関する情報を導出し、これを監視画面へ表示させることができる。この点の具体例については、図５Ｃを用いて後述する。また、状態判別モデルにより判別されたシャッター２２の開閉状態に基づいては、物流センター２をセキュリティ管理することもできる。この点の具体例については、図５Ｄを用いて後述する。

【0036】

以下、上述した実施形態に係る車両施設監視システム１の構成例について、さらに具体的に説明する。

【0037】

図２は、実施形態に係る車両施設監視システム１のブロック図である。なお、図２では、本実施形態の特徴を説明するために必要な構成要素を機能ブロックで表しており、一般的な構成要素についての記載を省略している。

【0038】

換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。たとえば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

【0039】

なお、図２を用いた説明では、これまでに既に述べた構成要素については、説明を簡略化するか、省略する場合がある。

【0040】

図２に示すように、車両施設監視システム１は、物流センター２と、サーバ装置１０とを含む。物流センター２は、複数のスパン２１と、待機場２３と、中継装置２５と、ゲートウェイ装置２６とを有する。

【0041】

中継装置２５は、たとえば物流センター２の各フロアごとに設けられ、各スパン２１のカメラ２４の撮像画像を集約してたとえば同じく各フロアごとに設けられたゲートウェイ装置２６へ送信する。

【0042】

また、中継装置２５は、たとえば物流センター２の敷地内で、待機場２３のカメラ２４とゲートウェイ装置２６との間に設けられ、待機場２３のカメラ２４の撮像画像をゲートウェイ装置２６へ装置する。中継装置２５を設けることによって、物流センター２が大規模なものであったとしても、各スパン２１および待機場２３の撮像画像を集約して周期的に収集することが可能となる。

【0043】

ゲートウェイ装置２６は、物流センター２からネットワークＮへの中継装置であって、たとえばフィールドバスネットワークで中継装置２５と接続され、中継装置２５から受信した撮像画像をネットワークＮへ送信する。

【0044】

サーバ装置１０は、通信部１１と、制御部１２と、記憶部１３とを有する。制御部１２は、収集部１２ａと、抽出部１２ｂと、生成部１２ｃと、判別部１２ｄと、監視部１２ｅとを有する。

【0045】

通信部１１は、たとえば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１は、ネットワークＮと有線または無線で接続され、ネットワークＮを介して物流センター２からの各カメラ２４の撮像画像を受信し、制御部１２へ渡す。

【0046】

制御部１２は、コントローラ（controller）であり、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、サーバ装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭ（Random Access Memory）を作業領域として実行されることにより実現される。また、制御部１２は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

【0047】

記憶部１３は、たとえば、ＲＡＭ、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、図２の例では、撮像画像ＤＢ（データベース）１３ａと、学習対象分データセット１３ｂと、状態判別モデルとしての第１判別モデル１３ｃ，第２判別モデル１３ｄと、判別対象分データセット１３ｅと、判別結果ＤＢ１３ｆとを記憶する。

【0048】

制御部１２は、サーバ装置１０の全体制御を行う。収集部１２ａは、通信部１１を介し、物流センター２からの各カメラ２４の撮像画像を収集し、撮像画像ＤＢ１３ａへ格納する。

【0049】

抽出部１２ｂは、撮像画像ＤＢ１３ａから、機械学習に用いられる正例となる撮像画像、すなわち学習対象分を抽出し、学習対象分データセット１３ｂへ格納する。また、撮像画像ＤＢ１３ａから、物流センター２の運用中において判別対象となる撮像画像、すなわち判別対象分を抽出し、判別対象分データセット１３ｅへ格納する。

【0050】

生成部１２ｃは、学習対象分データセット１３ｂを取得し、これを用いた機械学習を実行して、状態判別モデルを生成する。

【0051】

ここで、状態判別モデルの一例について、図３Ａおよび図３Ｂを用いて説明する。図３Ａおよび図３Ｂは、状態判別モデルの一例を示す図（その１）および（その２）である。

【0052】

図３Ａに示すように、たとえば生成部１２ｃは、学習対象分としてスパン２１の完全空車状態の撮像画像を用いた機械学習を実行し（ステップＳ１１）、第１判別モデル１３ｃを生成する。

【0053】

一方で、図３Ｂに示すように、たとえば生成部１２ｃは、学習対象分としてスパン２１の各状態パターンの撮像画像を用いた機械学習を実行し（ステップＳ１２）、第２判別モデル１３ｄを生成する。

【0054】

ここで、「状態パターン」とは、物流センター２の運用においてスパン２１に対し起こりうる各状態を指し、たとえば「大型のトラック２台」や「小型のトラック３台以上」、「大型・小型が混在」、「シャッターが閉状態」といった各種パターンごとでクラスタリングされている。かかる各状態パターンの学習対象分に基づいて生成される第２判別モデル１３ｄにより、言わばスパン２１が完全空車状態でない場合の状態パターンをモデル化することができる。

【0055】

そして、図３Ａに戻り、後述する判別部１２ｄは、まず判別対象分の撮像画像を第１判別モデル１３ｃへ入力し、その結果、第１判別モデル１３ｃから得られる出力値に基づいて、学習済みクラスとの乖離度を算出する（ステップＳ１３）。この乖離度がたとえば所定の閾値以下であるならば、入力した撮像画像が示すスパン２１の状態は、完全空車状態であることを示す。また、乖離度が閾値を上回るならば、入力した撮像画像が示すスパン２１の状態は、完全空車状態ではないことを示す。

【0056】

そして、判別部１２ｄは、図３Ｂに示すように、乖離度が大きかった判別対象分の撮像画像を第２判別モデル１３ｄへ入力し、その結果得られる第２判別モデル１３ｄの出力値（たとえば図中の「カテゴリＩＤ」）に基づいて、各スパン２１の状態パターンを判別することとなる（ステップＳ１４）。

【0057】

なお、図３Ａおよび図３Ｂに示した状態判別モデル、および、これを用いた判別方法はあくまで一例であって、状態判別モデルを構成するモデルの数や、各モデルにおけるクラスタリング等を図３Ａおよび図３Ｂに示した例に限定するものではない。

【0058】

図２の説明に戻る。判別部１２ｄは、判別対象分データセット１３ｅを取得し、これを第１判別モデル１３ｃへ入力して、第１判別モデル１３ｃによる出力値を受け取る。そして、判別部１２ｄは、受け取った出力値に基づいて前述の乖離度を算出し、かかる乖離度が所定の閾値以下であれば、スパン２１を完全空車状態であると判別し、判別結果を判別結果ＤＢ１３ｆへ格納する。

【0059】

また、判別部１２ｄは、乖離度が閾値を上回るならば、該当する判別対象分の撮像画像を第２判別モデル１３ｄへ入力する。そして、判別部１２ｄは、その結果得られる第２判別モデル１３ｄの出力値に基づいて、各スパン２１の状態パターンを判別し、判別結果を判別結果ＤＢ１３ｆへ格納する。

【0060】

ここで、図４Ａ〜図４Ｋを用いて、判別部１２ｄが判別する状態パターンの各例について、さらに具体的に説明する。図４Ａ〜図４Ｋは、スパン２１の状態パターンの具体例を示す図（その１）〜（その１１）である。

【0061】

図４Ａには、スパン２１が完全空車状態である状態パターンを示している。なお、図４Ａに示すように、同じ完全空車状態でも、照度が異なる撮像画像を用いた機械学習を実行することによって、時間帯等による明暗の差がある場合であっても、スパン２１の状態を精度よく判別可能な状態判別モデルを生成することができる。かかる点は、図４Ｂ〜図４Ｋに示す状態パターンでも同様とする。

【0062】

次に、図４Ｂには、スパン２１に大型のトラックＴ１が２台停車している状態を示している。かかる場合、いずれか一方のトラックＴ１が「存在する場合／しない場合」をそれぞれ含めた機械学習を実行することによって、スパン２１にトラックＴ１が２台許容できる場合において、スパン２１が満車状態であるのか、または、一方のバースが空いているのかを判別することが可能となる。

【0063】

次に、図４Ｃには、スパン２１に小型のトラックＴ２が３台停車している状態を示している。かかる場合、いずれか１台または２台のトラックＴ２が「存在する場合／しない場合」をそれぞれ含めた機械学習を実行することによって、スパン２１にトラックＴ２が３台許容できる場合において、スパン２１が満車状態であるのか、または、バースに空きがあるのかを判別することが可能となる。

【0064】

次に、図４Ｄには、スパン２１に大型のトラックＴ１と小型のトラックＴ２とが混在している状態を示している。かかる場合、いずれか一方が「存在する場合／しない場合」をそれぞれ含めた機械学習を実行することによって、スパン２１にトラックＴ１，Ｔ２が混在できる場合において、スパン２１が満車状態であるのか、または、バースに空きがあるのかを判別することが可能となる。

【0065】

なお、このように混在するパターンの場合、スパン２１の寸法によっては、奥行き方向に小型のトラックＴ２を縦列停車させる状態パターンを想定することができる。このような場合に対応するため、平面模式図として表した図４Ｅに示すように、たとえばスパン２１の天井部などにカメラ２４を取り付けて、スパン２１を上方から撮像した撮像画像に基づき、機械学習を実行して、状態判別モデルを生成するようにしてもよい。

【0066】

そして、同じく平面模式図として表した図４Ｆに示すように、たとえば大型のトラックＴ１が停車し、その横に縦列停車する小型のトラックＴ２の一方または双方が「存在する場合／しない場合」をそれぞれ含めた機械学習を実行することによって、トラックＴ２の縦列停車を許容可能なスパン２１において、満車状態であるのか、または、バースに空きがあるのかを判別することが可能となる。

【0067】

また、これまでは主に、スパン２１内のトラックＴ１，Ｔ２のサイズの相対的な大小を例に挙げて説明してきたが、無論、車両寸法や最大積載量、車両総重量などによって分類される規格通りに「小型トラック」、「中型トラック」、「大型トラック」等をクラスタリングし、機械学習を実行するようにしてもよい。また、無論、メーカーや車種の異同に基づいて撮像画像をクラスタリングし、機械学習を実行するようにしてもよい。

【0068】

次に、図４Ｇには、スパン２１が具備するシャッター２２の閉状態を示している。かかるシャッター２２の閉状態を含めた機械学習を実行することによって、スパン２１が戸締まり状態であるのかを判別することが可能となる。

【0069】

なお、図４Ｈに示すように、シャッター２２の閉状態の程度が異なる場合を含めた機械学習を実行することによって生成された状態判別モデルを用いて、スパン２１の撮像画像の判定結果を時系列的に解析することによって、シャッター２２が閉状態から開状態となったのか、開状態から閉状態となったのか、その途中であるのか、あるいは途中で止まっているのか等を判別することも可能である。

【0070】

次に、図４Ｉには、車両以外の物体、たとえばコンテナＣが置かれている状態を示している。かかる場合、いずれか一方のコンテナＣが「存在する場合／しない場合」をそれぞれ含めた機械学習を実行することによって、スパン２１に車両以外の物体（ここでは、コンテナＣ）が存在していることを判別することが可能となる。また、かかる場合において、スパン２１がトラックＴ１，Ｔ２の進入できない状態であるのか、または、一方のバースが空いているのかを判別することが可能となる。

【0071】

次に、図４Ｊには、車両以外の物体、たとえば作業者等の人間Ｍが存在している状態を示している。かかる場合、人間Ｍが「存在する場合／しない場合」をそれぞれ含めた機械学習を実行することによって、スパン２１に人間Ｍが存在していることを判別することが可能となる。また、かかる場合において、スパン２１がトラックＴ１，Ｔ２の進入できない状態であるのか、または、進入できるが作業者がいるため注意を要するといった状態を判別することが可能となる。

【0072】

なお、図４Ｉまたは図４Ｊに示したのと同様に、スパン２１に存在する可能性のある、フォークリフトといった作業車両が存在する場合／しない場合をそれぞれ含めた機械学習を実行することによって、作業車両の存在に関する状態を判別することも可能である。

【0073】

次に、図４Ｋには、スパン２１に停車しているトラックＴ１，Ｔ２のナンバーを判別する場合の例を示している。たとえば、図４Ｋに示すように、スパン２１が満車状態であるものとする。かかる状態において、１つのスパン２１全体が撮像された撮像画像に基づき、機械学習を実行するとともに、かかる撮像画像のうち、ナンバーの位置Ｒ１，Ｒ２の範囲指定部分を機械学習することによって、ナンバーを読み取り、判別することが可能となる。

【0074】

なお、かかる場合における機械学習のアルゴリズムとしては、たとえば、ディープラーニングの一種である「ＣＮＮ（Convolutional Neural Network）」や、「ｆａｓｔｅｒ Ｒ−ＣＮＮ（Region-based Convolutional Neural Networks）」等を用いることができる。

【0075】

図２の説明に戻り、つづいて監視部１２ｅについて説明する。監視部１２ｅは、判別部１２ｄによって判別されたスパン２１の状態を判別結果ＤＢ１３ｆから取得し、所定の監視画面へ表示させる。監視画面は、たとえばサーバ装置１０に接続されたディスプレイ等である表示部３０へ表示される。

【0076】

また、監視部１２ｅは、少なくともスパン２１ごとの満空状態およびスパン２１のシャッター２２の開閉状態を監視画面へ表示させる。また、監視部１２ｅは、カメラ２４によるスパン２１または待機場２３の最新の撮像画像を監視画面へ表示させる。撮像画像は、たとえば判別結果に対応付けられて判別結果ＤＢ１３ｆへ格納されている。

【0077】

ここで、図５Ａおよび図５Ｂを用いて、監視画面の具体例について説明する。図５Ａは、全体監視画面の具体例を示す図である。また、図５Ｂは、個別監視画面の具体例を示す図である。

【0078】

図５Ａに示すように、物流センター２の全体を監視する全体監視画面は、たとえば少なくともスパン２１ごとの満空状態およびスパン２１のシャッター２２の開閉状態を表示する。なお、図５Ａには、１Ｆに「１０１」〜「１０５」、２Ｆに「２０１」〜「２０５」、３Ｆに「３０１」〜「３０５」、４Ｆに「４０１」〜「４０５」で示される各スパン２１の状態を表示した場合を示しているが、フロア数、スパン数を限定するものではない。

【0079】

具体的には、全体監視画面は、各フロアのスパン２１を、たとえばそれぞれアイコン表示する。そして、かかる各アイコンに、それぞれ「満」、「０／２」や「１／２」といった分数、「閉」、「ＮＧ」等の、状態を端的に示す文言を表示することによって、各スパン２１の状態をオペレータ等の視認者に視認させる。なお、たとえば「更新」ボタンを押すことによって、最新の状況を表示させることができる。「更新」ボタンは、「手動更新」および「自動更新」の切り替え機能を含んでいてもよい。

【0080】

たとえば「満」は、そのスパン２１が満車状態であることを示し、判別部１２ｄによって、該当のスパン２１が満車状態であると判別された場合に表示される。

【0081】

また、たとえば「０／２」や「１／２」、「２／３」といった分数は、そのスパン２１に空きバースがあることを示す。たとえば「０／２」は、判別部１２ｄによって、該当のスパン２１が大型のトラックＴ１を２台許容できる場合において、完全空車状態であると判別された場合に表示される。なお、トラックＴ１だけでなく、小型のトラックＴ２も許容できる場合には、「０／２」にあわせて「０／３」と表示されてもよい。

【0082】

また、たとえば「１／２」は、判別部１２ｄによって、該当のスパン２１が大型のトラックＴ１を２台許容できる場合において、空きバースが１つある状態であると判別された場合に表示される。

【0083】

また、たとえば「２／３」は、判別部１２ｄによって、該当のスパン２１が小型のトラックＴ２を３台許容できる場合において、空きバースが１つある状態であると判別された場合に表示される。

【0084】

また、たとえば「閉」は、そのスパン２１のシャッター２２が閉状態であることを示し、判別部１２ｄによって、該当のスパン２１のシャッター２２が閉状態であると判別された場合に表示される。図５Ａに示す例では、４Ｆはすべてのスパン２１が「閉」状態にあり、かかる場合において監視部１２ｅは、たとえば４Ｆのフロアをセキュリティ管理することができる。かかる例については、図５Ｄを用いて後述する。

【0085】

また、たとえば「ＮＧ」は、そのスパン２１のシャッター２２が異常状態であることを示し、判別部１２ｄによって、たとえば該当のスパン２１のシャッター２２が故障中であると判別された場合等に表示される。判別部１２ｄは、たとえばシャッター２２が途中で止まったままの状態で所定時間が経過した場合等に、かかるシャッター２２を故障中であると判別することができる。

【0086】

また、図５Ａに示すように、全体監視画面は、たとえば各フロアの空きバースの数を表示させることができる。このとき、「２Ｆ」の「５（うち１は小）」のように、空きバースの大きさが分かるような、言い換えれば停車可能なトラックＴ１，Ｔ２のサイズが分かるような表示を行ってもよい。

【0087】

また、図５Ａに示すように、全体監視画面は、待機場２３の最新の撮像画像を表示させることができる。なお、たとえば「撮影」ボタンを押すことによって、さらに最新の撮像画像を表示させることもできる。

【0088】

また、全体監視画面は、たとえば特定のスパン２１を指定する操作を行うことによって、かかるスパン２１の個別監視画面へと遷移することができる。ここで、１Ｆの「１０２」で示されるスパン２１が指定されたものとする。

【0089】

すると、図５Ｂに示すように、かかる「１０２」のスパン２１の個別監視画面へと表示を遷移させることができる。個別監視画面では、指定されたスパン２１におけるバースの満空情報と、たとえば駐車時刻とが表示される。なお、全体監視画面と同様に、たとえば「更新」ボタンを押すことによって、最新の状況を表示させることができる。

【0090】

また、図５Ｂに示すように、個別監視画面は、該当のスパン２１の最新の撮像画像を表示させることができる。また、たとえば「撮影」ボタンを押すことによって、さらに最新の撮像画像を表示させることもできる。

【0091】

物流センター２のオペレータは、かかる個別監視画面を視認することによって、該当のスパン２１の詳細な状況、たとえば「１０２」のスパン２１には、表示された駐車時刻からコンテナＣが置かれており、トラックＴ１，Ｔ２を進入させることは不可であることを、即座に確認することができる。

【0092】

そして、オペレータは、このような全体監視画面および個別監視画面を視認することによって、空きバースのあるスパン２１を特定し、かかるスパン２１へ停車可能なトラックＴ１，Ｔ２を待機場２３の最新画像を介して選定して、たとえば音声や誘導灯により、誘導することができる。なお、トラックＴ１，Ｔ２のドライバが携帯する携帯情報端末や、トラックＴ１，Ｔ２に搭載されたナビ等の車載装置へ、空きバースの情報を通知することによって誘導してもよい。

【0093】

図２の説明に戻る。また、監視部１２ｅは、判別部１２ｄによって判別されたスパン２１の状態を蓄積および解析してスパン２１の使用状況に関する情報を導出し、かかる使用状況に関する情報を提示する。また、監視部１２ｅは、シャッター２２の開閉状態に基づいて物流センター２をセキュリティ管理する。

【0094】

ここで、図５Ｃを用いて、監視部１２ｅが、スパン２１の使用状況に関する情報を提示する場合の例について説明する。また、図５Ｄを用いて、監視部１２ｅが、シャッター２２の開閉状態に基づいて物流センター２をセキュリティ管理する場合の例について説明する。

【0095】

図５Ｃは、使用状況監視画面の具体例を示す図である。また、図５Ｄは、物流センター２をセキュリティ管理する場合の具体例を示す図である。

【0096】

監視部１２ｅは、判別結果ＤＢ１３ｆに基づき、各スパン２１の使用状況に関する情報を導出し、図５Ｃに示すような使用状況監視画面へ表示させることができる。

【0097】

使用状況監視画面は、たとえばスパン２１やバースごとに、「稼働状態」や、「駐車開始」の日時、「経過時間」、「累計使用時間」、「使用率」、「メッセージ」等を表示することができる。

【0098】

「稼働状態」は、たとえば前述の各スパン２１の状態を端的に示す文言に対応する。「駐車開始」および「経過時間」は文字通り、駐車が開始された時間、および、駐車開始から経過した時間である。「累計使用時間」は、該当のスパン２１またはバースが、該当の運用日当日において使用された累計時間である。「使用率」は、該当の運用日当日における使用率（稼働率と言い換えてもよい）である。「メッセージ」は、システム上、報知されておくべき特記事項等が表示される。

【0099】

物流センター２のオペレータは、このような使用状況監視画面を視認することによって、たとえば空きバースのあるスパン２１のうち、使用率の低いバースへ優先的にトラックＴ１，Ｔ２を誘導することができる。したがって、物流センター２を効率よく運用することができる。

【0100】

また、図５Ａを用いた説明で既に述べたが、たとえば全体監視画面において、すべてのスパン２１が「閉」状態にあるフロアにつき、監視部１２ｅはセキュリティ管理することができる。また、各フロアのすべてのスパン２１が「閉」状態にあれば、監視部１２ｅは物流センター２の建物全体をセキュリティ管理することができる。

【0101】

ここでは、図５Ａと同様に、４Ｆのすべてのスパン２１が「閉」状態にある場合を例に挙げて説明する。図５Ｄに示すように、４Ｆのすべてのスパン２１が「閉」状態にあるものとする。

【0102】

かかる場合に、監視部１２ｅは、４Ｆのすべてのスパン２１が戸締まり状態にあることを判別し、４Ｆをセキュリティ管理状態へ移行させる。たとえば監視部１２ｅは、図５Ｄに示すように、４Ｆが「セキュリティ監視中」であることを表示させる。

【0103】

なお、物流センター２は、たとえば１フロアを特定のテナントが専用フロアとする場合もあるため、フロアごとにセキュリティ管理が必要な状況は起こりうる。

【0104】

そして、監視部１２ｅは、このようなセキュリティ管理状態においても、判別部１２ｄの判別結果に基づいて各スパン２１の状態を監視する。ここで、図５Ｄに示すように、判別部１２ｄが、「４０４」のスパン２１において「シャッター２２が閉状態から変化したことを判別」したものとする。

【0105】

すると、監視部１２ｅは、かかる判別結果に基づき、たとえば「４０４」のスパン２１のアイコン表示を点滅させたり、「セキュリティ異常発生」とのメッセージ表示を点滅させたりすることによって、オペレータへ異常事態を報知する。なお、音声によってかかる事態を報知してもよい。

【0106】

また、監視部１２ｅは、異常のあったスパン２１の最新の撮像画像を、あわせて表示させることができる。これにより、オペレータは、異常が発生したスパン２１に関する状況を即座に把握することが可能となる。なお、物流センター２の運用時間外等である場合、監視部１２ｅは、オペレータの携帯する携帯情報端末等に、異常事態を報知するようにしてもよい。

【0107】

このように、車両施設監視システム１は、物流センター２の運用時間の内外を問わず、言わば防犯設備としても利用することができる。

【0108】

上述してきたように、実施形態に係る車両施設監視システム１は、カメラ２４と、生成部１２ｃと、判別部１２ｄとを備える。カメラ２４は、物流センター２（「車両施設」の一例に相当）におけるスパン２１（「所定の駐停車領域」の一例に相当）ごとに設けられ、スパン２１をそれぞれ撮像する。生成部１２ｃは、カメラ２４によって撮像された正例となる撮像画像を用いた機械学習を実行することで、スパン２１ごとの車両の許容台数が動的に変化する場合を含むスパン２１の状態判別モデルを生成する。判別部１２ｄは、カメラ２４によって撮像された判別対象分となる撮像画像を状態判別モデルへ入力することによって得られる出力値に基づいて、スパン２１の状態を判別する。

【0109】

したがって、本実施形態に係る車両施設監視システム１によれば、物流センター２におけるスパン２１の状態を精度よく判別し、物流センター２を効率よく運用することができる。

【0110】

なお、上述した実施形態では、機械学習により、主にスパン２１の状態を判別する場合を例に挙げたが、無論、待機場２３の状態を判別するようにしてもよい。すなわち、待機場２３の撮像画像に基づいて機械学習を実行し、生成された状態判別モデルによって、たとえば待機場２３の各駐停車スペースの満空状態や、停車しているトラックＴ１，Ｔ２のサイズや、車種、ナンバー等を判別するようにしてもよい。

【0111】

このように、待機場２３の状態を判別可能とすることにより、たとえばあるスパン２１のバースが空いたと判別された場合に、かかるバースへ進入可能なサイズであり、かつ、より長く待機しているトラックＴ１，Ｔ２を自動的に選定して、音声や誘導灯により、システムが自動的に誘導することが可能となる。

【0112】

また、トラックＴ１，Ｔ２の誘導業務については、他の車両誘導システムが導入され、これにより運用されている場合に、車両施設監視システム１は、スパン２１および待機場２３の状態の判別結果を、かかる他の車両誘導システムへ連携させるようにしてもよい。

【0113】

これにより、物流センター２に複数のベンダによる複数のシステムが導入され、運用されている場合であっても、車両施設監視システム１の判別結果に基づいて、物流センター２を効率よく円滑に運用することが可能となる。

【0114】

また、上述した実施形態では、車両施設が物流センター２である場合を例に挙げたが、無論、車両施設を限定するものではない。たとえば、大型商業施設の駐車場などであってもよい。

【0115】

また、上述した実施形態では、サーバ装置１０が、収集部１２ａと、抽出部１２ｂと、生成部１２ｃと、判別部１２ｄと、監視部１２ｅとを有する場合を例に挙げたが、たとえば収集部１２ａや、生成部１２ｃ、監視部１２ｅが、それぞれの機能に特化した専用装置として構成されてもよい。

【0116】

また、上述した実施形態では、機械学習のアルゴリズムとしてディープラーニングを用いるものとしたが、用いるアルゴリズムを限定するものではない。したがって、ＳＶＭ（Support Vector Machine）のようなパターン識別器を用いたサポートベクタ回帰等の回帰分析手法により機械学習を実行し、状態判別モデルを生成してもよい。また、ここで、パターン識別器はＳＶＭに限らず、たとえばアダブースト（AdaBoost）などであってもよい。また、ランダムフォレストなどを用いてもよい。

【0117】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0118】

１ 車両施設監視システム
２ 物流センター
１０ サーバ装置
１２ａ 収集部
１２ｃ 生成部
１２ｄ 判別部
１２ｅ 監視部
１３ｂ 学習対象分データセット
１３ｃ 第１判別モデル
１３ｄ 第２判別モデル
１３ｅ 判別対象分データセット
２１ スパン
２２ シャッター
２３ 待機場
２４ カメラ

【要約】

【課題】車両施設における所定の駐停車領域の状態を精度よく判別し、車両施設を効率よく運用すること。
【解決手段】実施形態に係る車両施設監視システムは、カメラと、生成部と、判別部とを備える。カメラは、車両施設における所定の駐停車領域ごとに設けられ、駐停車領域をそれぞれ撮像する。生成部は、カメラによって撮像された正例となる撮像画像を用いた機械学習を実行することで、駐停車領域ごとの車両の許容台数が動的に変化する場合を含む駐停車領域の状態判別モデルを生成する。判別部は、カメラによって撮像された判別対象分となる撮像画像を状態判別モデルへ入力することによって得られる出力値に基づいて、駐停車領域の状態を判別する。
【選択図】図２

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図4F】

【図4G】

【図4H】

【図4I】

【図4J】

【図4K】

【図5A】

【図5B】

【図5C】

【図5D】