(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-28
(45)【発行日】2024-03-07
(54)【発明の名称】駐車場管制システム、駐車場管制方法、及びプログラム
(51)【国際特許分類】
G08G 1/14 20060101AFI20240229BHJP
G08G 1/00 20060101ALI20240229BHJP
B60W 30/06 20060101ALI20240229BHJP
B60W 40/04 20060101ALI20240229BHJP
B60W 40/06 20120101ALI20240229BHJP
H04N 7/18 20060101ALI20240229BHJP
G07B 15/00 20110101ALN20240229BHJP
【FI】
G08G1/14 A
G08G1/00 X
B60W30/06
B60W40/04
B60W40/06
H04N7/18 D
H04N7/18 G
G07B15/00 M
(21)【出願番号】P 2020011535
(22)【出願日】2020-01-28
【審査請求日】2022-10-31
(73)【特許権者】
【識別番号】000101617
【氏名又は名称】アマノ株式会社
(73)【特許権者】
【識別番号】000000011
【氏名又は名称】株式会社アイシン
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(74)【代理人】
【識別番号】100104215
【氏名又は名称】大森 純一
(74)【代理人】
【識別番号】100196575
【氏名又は名称】高橋 満
(74)【代理人】
【識別番号】100168181
【氏名又は名称】中村 哲平
(74)【代理人】
【識別番号】100160989
【氏名又は名称】関根 正好
(74)【代理人】
【識別番号】100117330
【氏名又は名称】折居 章
(74)【代理人】
【識別番号】100168745
【氏名又は名称】金子 彩子
(74)【代理人】
【識別番号】100176131
【氏名又は名称】金山 慎太郎
(74)【代理人】
【識別番号】100197398
【氏名又は名称】千葉 絢子
(74)【代理人】
【識別番号】100197619
【氏名又は名称】白鹿 智久
(72)【発明者】
【氏名】齊藤 弦
(72)【発明者】
【氏名】上山 浩行
(72)【発明者】
【氏名】原 昌広
(72)【発明者】
【氏名】田中 優
(72)【発明者】
【氏名】山本 陽香
【審査官】西畑 智道
(56)【参考文献】
【文献】特開2010-271876(JP,A)
【文献】特開平04-290199(JP,A)
【文献】特開2001-229488(JP,A)
【文献】米国特許出願公開第2013/0147954(US,A1)
【文献】特開2019-160086(JP,A)
【文献】特開平09-091591(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 1/00-99/00
G01C 21/00-21/36
G01C 23/00-25/00
B60W 30/06
B60W 40/04
B60W 40/06
H04N 7/18
G07B 15/00
(57)【特許請求の範囲】
【請求項1】
複数の管制カメラで撮影された駐車場内の非自動運転車両を含む対象物の撮影画像を取得する画像取得部と、
第1の管制カメラにより撮影された前記対象物の第1の撮影画像に基づいて、次に前記対象物が検出される第2の撮影画像を撮影する第2の管制カメラを推定する推定部と、
前記推定部での推定結果を用い、前記撮影画像に基づいて前記対象物の位置を監視する監視部と、
前記対象物が、前記第1の管制カメラによる画像取得が可能な第1の領域から前記第2の管制カメラによる画像取得が可能な第2の領域へ移動するまでの間に、前記管制カメラにより前記対象物を検出することが不可能な前記駐車場内の検出不可能領域に基づいて、前記検出不可能領域に前記非自動運転車両が進入することを禁止する警告情報を生成する警告情報生成部と
を具備する駐車場管制システム。
【請求項2】
請求項1に記載の駐車場管制システムであって、
前記検出不可能領域を設定する検出不可能領域設定部を更に具備する
駐車場管制システム。
【請求項3】
請求項1又は2に記載の駐車場管制システムであって、
前記検出不可能領域は、前記管制カメラの設置位置に起因して生じる死角領域と、前記管制カメラの故障による検出不可能領域と、撮影画像内に位置する障害物に起因する死角領域のうち少なくとも1つを含む
駐車場管制システム。
【請求項4】
請求項1~3のいずれか1項に記載の駐車場管制システムであって、
前記撮影画像に基づいて、前記駐車場内における前記対象物の位置座標を算出する座標算出部と、
前記検出不可能領域と前記対象物の位置を前記駐車場内の平面図にマッピングするマップ情報生成部を更に具備する
駐車場管制システム。
【請求項5】
請求項4に記載の駐車場管制システムであって、
前記対象物は
自動運転車両及び前記非自動運転車両を含む車両であって、
前記駐車場内での
前記自動運転車両による自動バレー運転を、前記
マップ情報生成部によりマッピングされた平面図データに基づいて制御するバレー運転制御部を更に具備する
駐車場管制システム。
【請求項6】
請求項5に記載の駐車場管制システムであって、
前記駐車場は前記車両が走行する通路を有し、
前記バレー運転制御部は、他の車両が前記通路の前記検出不可能領域に位置する場合には前記自動運転車両を前記検出不可能領域に進入させないように、前記自動バレー運転を制御する
駐車場管制システム。
【請求項7】
請求項5又は6に記載の駐車場管制システムであって、
前記駐車場は複数の駐車スペースを有し、
前記バレー運転制御部は、複数の前記駐車スペースのうち前記検出不可能領域を含む駐車スペースに前記自動運転車両を駐車させるように、前記自動バレー運転を制御する
駐車場管制システム。
【請求項8】
請求項1~7のいずれか1項に記載の駐車場管制システムであって、
前記監視部は、前記第1の管制カメラにより撮影された前記対象物が、所定時間、複数の前記管制カメラのいずれにも検出されない場合、前記第1の管制カメラにより撮影された前記対象物の撮影画像に基づいて前記対象物の位置を推定する
駐車場管制システム。
【請求項9】
情報処理装置の制御部が、
複数の管制カメラで撮影された駐車場内の非自動運転車両を含む対象物の撮影画像を取得し、
第1の管制カメラにより撮影された前記対象物の第1の撮影画像に基づいて、次に前記対象物が検出される第2の撮影画像を撮影する第2の管制カメラを推定し、
推定した前記第2の管制カメラを用い、前記撮影画像に基づいて前記対象物の位置を監視し、
前記対象物が、前記第1の管制カメラによる画像取得が可能な第1の領域から前記第2の管制カメラによる画像取得が可能な第2の領域へ移動するまでの間に、前記管制カメラにより前記対象物を検出することが不可能な前記駐車場内の検出不可能領域に、前記非自動運転車両が進入することを禁止する警告情報を生成する
駐車場管制方法。
【請求項10】
複数の管制カメラで撮影された駐車場内の非自動運転車両を含む対象物の撮影画像を取得するステップと、
第1の管制カメラにより撮影された前記対象物の第1の撮影画像に基づいて、次に前記対象物が検出される第2の撮影画像を撮影する第2の管制カメラを推定するステップと、
推定した前記第2の管制カメラを用い、前記撮影画像に基づいて前記対象物の位置を監視するステップと、
前記対象物が、前記第1の管制カメラによる画像取得が可能な第1の領域から前記第2の管制カメラによる画像取得が可能な第2の領域へ移動するまでの間に、前記管制カメラにより前記対象物を検出することが不可能な前記駐車場内の検出不可能領域に、前記非自動運転車両が進入することを禁止する警告情報を生成するステップ
をコンピュータシステムに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、駐車場管制システム、駐車場管制方法、及びプログラムに関する。
【背景技術】
【0002】
駐車場管制技術として、例えば特許文献1に記載の駐車場管理システムが知られている。当該駐車場管理システムでは、入庫ゲート時に取得された車両情報と一致する現在駐車のために移動中の車両を場内カメラにて追尾させ、その車両が停止した駐車位置情報を取得する。そして、この駐車位置情報に基づき、入庫する車両の運転手に空き駐車場スペースを提示する。また、車両情報には、車両ナンバー、車色、車種に紐づけられて運転手の顔情報が含まれており、自車の駐車位置情報を知りたい運転手に対して車両位置情報を提示することが可能となっている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の技術では、走行中の非自動運転車両がカメラの死角に入った場合、当該車両が他のカメラ画像に再び現れたとしても、車両ナンバーや運転者の顔画像が認識できない間は車両の継続した監視ができず、見失ってしまうという問題がある。
【0005】
以上のような事情に鑑み、本発明の目的は、カメラによる車両の検出が困難な場合においても、車両の監視性能を向上させることが可能な駐車場管制システム、駐車場管制方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一形態に係る駐車場管制システムは、画像取得部と、推定部と、監視部とを具備する。
前記画像取得部は、複数の管制カメラで撮影された駐車場内の対象物の撮影画像を取得する。
前記推定部は、第1の管制カメラにより撮影された前記対象物の第1の撮影画像に基づいて、次に前記対象物が検出される第2の撮影画像を撮影する第2の管制カメラを推定する。
前記監視部は、前記推定部での推定結果を用い、前記撮影画像に基づいて前記対象物の位置を監視する。
【0007】
前記駐車場内には、前記対象物が、前記第1の管制カメラによる画像取得が可能な第1の領域から前記第2の管制カメラによる画像取得が可能な第2の領域へ移動するまでの間に、前記管制カメラにより前記対象物を検出することが不可能な検出不可能領域が位置してもよい。
【0008】
前記駐車場管制システムは、前記駐車場における前記管制カメラにより前記対象物を撮影することが不可能な検出不可能領域を設定する検出不可能領域設定部を更に具備してもよい。
【0009】
前記検出不可能領域は、前記管制カメラの設置位置に起因して生じる死角領域と、前記管制カメラの故障による検出不可能領域と、撮影画像内に位置する障害物に起因する死角領域のうち少なくとも1つを含んでもよい。
【0010】
前記駐車場管制システムは、前記検出不可能領域に基づいて、前記検出不可能領域に前記対象物が進入することを禁止する警告情報を生成する警告情報生成部を更に具備してもよい。
【0011】
前記駐車場管制システムは、前記撮影画像に基づいて、前記駐車場内における前記対象物の位置座標を算出する座標算出部と、
前記検出不可能領域と前記対象物の位置を前記駐車場内の平面図にマッピングするマップ情報生成部を更に具備してもよい。
【0012】
前記対象物は車両であり、
前記駐車場管制システムは、前記駐車場内での自動運転車両による自動バレー運転を、前記マップ情報に基づいて制御するバレー運転制御部を更に具備してもよい。
【0013】
前記駐車場は前記車両が走行する通路を有し、
前記バレー運転制御部は、他の車両が前記通路の前記検出不可能領域に位置する場合には前記自動運転車両を前記検出不可能領域に進入させないように、前記自動バレー運転を制御してもよい。
【0014】
前記駐車場は複数の駐車スペースを有し、
前記バレー運転制御部は、複数の前記駐車スペースのうち前記検出不可能領域を含む駐車スペースに前記自動運転車両を駐車させるように、前記自動バレー運転を制御してもよい。
【0015】
前記監視部は、前記第1の管制カメラにより撮影された前記対象物が、所定時間、複数の前記管制カメラのいずれにも検出されない場合、前記第1の管制カメラにより撮影された前記対象物の撮影画像に基づいて前記対象物の位置を推定してもよい。
【0016】
前記車両は、自動運転車両と非自動運転車両を含んでもよい。
【0017】
本発明の一形態に係る駐車場管制方法は、複数の管制カメラで撮影された駐車場内の対象物の撮影画像を取得し、
第1の管制カメラにより撮影された前記対象物の第1の撮影画像に基づいて、次に前記対象物が検出される第2の撮影画像を撮影する第2の管制カメラを推定し、
前記推定結果を用い、前記撮影画像に基づいて前記対象物の位置を監視する。
【0018】
本発明の一形態に係るプログラムは、複数の管制カメラで撮影された駐車場内の対象物の撮影画像を取得するステップと、
第1の管制カメラにより撮影された前記対象物の第1の撮影画像に基づいて、次に前記対象物が検出される第2の撮影画像を撮影する第2の管制カメラを推定するステップと、
前記推定結果を用い、前記撮影画像に基づいて前記対象物の位置を監視するステップ
をコンピュータシステムに実行させる。
【発明の効果】
【0019】
本発明によれば、車両の監視性能が向上する。
【図面の簡単な説明】
【0020】
【
図1】本発明の一実施形態に係る駐車場管理システムの構成例を示す概略図である。
【
図2】自動バレー駐車サービス対応の駐車場の構成例を示す模式図である。
【
図3】駐車場管制システムの構成例を示すブロック図である。
【
図4】自動運転機能を有する車両の構成例を示す模式図である。
【
図5】駐車場管制装置の機能的な構成例を示すブロック図である。
【
図6】自動バレー管理装置の機能的な構成例を示すブロック図である。
【
図7】管制画面に表示される撮影画像の一例を示す模式図である。
【
図8】管制画面に表示される撮影画像の他の一例を示す模式図である。
【
図9】三次元枠画像に基づいて生成される車両の平面位置の一例を示す模式図である。
【
図10】二次元枠画像に基づいて生成される車両の平面位置の一例を示す模式図である。
【
図11】検出不可能領域の一例を説明する模式図である。
【
図12】カメラ設置位置に起因する検出不可能領域情報がマッピングされた駐車場の平面図データの一例を示す模式図である。
【
図13】検出不可能領域情報及び車両の平面位置情報がマッピングされた駐車場の平面図データの一例を示す模式図である。
【
図14】検出不可能領域と駐車場での車両の位置と走行危険度との関係を示すヒートマップの一例を示す模式図である。
【
図15】上記駐車場管制装置により実行される処理手順の一例を示すフローチャートである。
【
図16】上記駐車場管制装置により実行される処理手順の一例を示すフローチャートである。
【
図17】上記自動バレー管理装置により実行される処理手順の一例を示すフローチャートである。
【
図18】座標算出処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0021】
以下、図面を参照しながら、本発明の実施形態を説明する。
【0022】
[駐車場管理システムの構成]
図1は、本発明の一実施形態に係る駐車場管制システムの構成例を示す概略図である。
駐車場管理システム500は、駐車場を利用する利用者から申請される予約の管理、駐車状況の監視、及び駐車場の利用に関する種々の料金の算出等、駐車場に関する種々の処理を実行可能である。
【0023】
駐車場管理システム500は、駐車場管制装置5と、利用者端末6と、駐車場管理装置7と、管理機関端末8と、決済機関9が有する決済サーバ装置(図示せず)と、ETC(Electronic Toll Collection System)管理機関10が有するETC管理サーバ装置(図示せず)とを有する
これらの端末及び装置は、ネットワーク1を介して相互に通信可能に接続されている。ネットワーク1は、例えばインターネットや広域通信回線網等により構築される。
その他、任意のWAN(Wide Area Network)やLAN(Local Area Network)等が用いられてよく、ネットワーク1を構築するためのプロトコルは限定されない。
【0024】
駐車場管制装置5は、各駐車場11に設置される。後に説明するように、本実施形態では、駐車場管制装置5を中心として、本発明に係る駐車場管制システムが構築される。
駐車場管制装置5は、駐車場11内に設置される各装置の動作を包括的に制御することが可能である。
また、駐車場管制装置5は、駐車場11内に設置される各装置から種々の情報を集約し、駐車場管理装置7等に送信することが可能である。駐車場管制装置5は、駐車場管理装置7や管理機関端末8等から種々の情報を受信し、種々の動作を実行することが可能である。
【0025】
駐車場管制装置5は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)等のコンピュータの構成に必要なハードウェアを有する。
また駐車場管制装置5は、ネットワーク1を介して他の装置と通信するための通信部を有する。通信部としては、例えばWiFi等の無線LANモジュールや、モデムやルータ等の通信機器が用いられる。
駐車場管制装置5として、例えばPC(Personal Computer)等の任意のコンピュータが用いられる。
【0026】
図1に示す例では、各駐車場11にゲート装置28が設置されている。ゲート装置28は、車両の入場/出場を規制することが可能である。ゲート装置28に代えて、未精算での駐車スペースからの出庫を規制するフラップ装置(ロック装置)等が設置されてもよい。
なお、ゲート装置やフラップ装置が設置されない所謂フラップレス式駐車場に対しても、本発明を適用することが可能である。
【0027】
利用者端末6は、駐車場11を利用する利用者により使用される端末である。利用者端末6として、スマートフォン、タブレット端末、種々のPDA(Personal Digital Assistant)等の携帯端末や、ノートPC(Personal Computer)等の、任意のコンピュータが用いられてよい。
【0028】
駐車場管理装置7は、本実施形態に係る駐車場管理サービスをWebサービスとして提供可能である。本実施形態では、複数のサーバ装置12と、データベース(DB)13とにより駐車場管理装置7が構成される。
【0029】
各サーバ装置12は、CPU、ROM、RAM、HDD等のコンピュータの構成に必要なハードウェアを有する。
また各サーバ装置12は、ネットワーク1を介して他の装置と通信するための通信部を有する。通信部としては、例えばWiFi等の無線LANモジュールや、モデムやルータ等の通信機器が用いられる。
サーバ装置12として、例えばPC等の任意のコンピュータが用いられる。
【0030】
DB13は記憶部として機能し、本駐車場管理サービスに関する種々の情報を記憶する。
例えばDB13内には、会員登録DB、予約情報DB、在車DB、及び、超過情報DBが構築される。その他、例えば駐車場DB、提携店舗DB、割引DB、出庫情報DB、オーナー情報DB、種々の履歴DB、管理情報DB等の、種々のDBが構築されてもよい。
各種のDBは、駐車場管理装置7内のDBサーバにより包括的に管理され、例えば駐車場管理サービスを利用する利用者の会員登録及び退会、各利用者から受付けた予約情報の登録、変更及び削除、各駐車場11のオーナー情報の登録及び保管、運営収支情報の記録及び保管等が実行される。
【0031】
また駐車場管理装置7内のWebサーバにより、例えばWWW(World Wide Web)システムを用いて、本実施形態に係る駐車場管理サービスが提供される。例えばWebサーバは、HTML文書でなる種々のWebページを作成する。Webページには、他のWebページへのハイパーリンクや、種々の処理を実行するためのリンク情報(例えば実行ファイル名、URL等)が埋め込まれる。
また駐車場管理装置7内のWeb/APIサーバにより、種々のリクエストに応じた種々の処理が実行される。例えばWeb/APIサーバにより、各駐車場11の満空車情報の収集及び出力、管理機関端末8からの遠隔操作の中継等が実行される。
駐車場管理装置7内により生成されたWebページは、
図1に示す各装置に備えられるWebブラウザにより画面上に表示される。例えば駐車場11を利用する利用者は、利用者端末6を操作することで、種々のWebページを閲覧したり、種々のWebアプリケーションを利用したりすることが可能である。
【0032】
管理機関端末8は、駐車場オーナーから駐車場11の管理業務を委託された管理機関のオペレーターにより使用される。オペレーターにより、例えば日常の問い合わせ対応、ユーザ対応、駐車場管制装置5の故障時の保守メンテ作業の情報提供等が行われる。管理機関端末8としては、PCやタブレット端末等が用いられる。
なお駐車場11を所有するオーナー自身で、駐車場11の管理業務を行う場合もある。この場合、オーナーが所有する端末が管理機関端末8として機能し得る。また管理業務を委託された管理機関が駐車場管理装置7を保有し、本実施形態に係る駐車場管理サービスを提供することもあり得る。
【0033】
決済機関9は、例えば銀行や信販会社等であり、銀行振り込みやクレジットカード決済等により駐車料金の決済(精算)を実行する。駐車場管理装置7は、決済機関9の決済サーバ装置に対して、駐車料金の精算の指示や、精算が済んでいるか否か等の精算情報の問い合わせ等を実行する。
【0034】
ETC管理機関10は、ETCシステムを実現するための機関であり、ETCシステムを利用する利用者の情報、ETCカード情報、決済情報、及び車両情報等を管理する。例えば、車両に搭載されたETC車載器にETCカードを挿入する。これにより、ETCアンテナが設置されたETC対応の駐車場11に対して、ETC決済による駐車場11の利用が可能となる。
【0035】
[自動バレー駐車システム]
本発明は、自動バレー駐車システムが構築された駐車場11に対して適用可能である。自動バレー駐車システムは、自動運転機能(自律運転機能)を有する車両による自動バレー運転(自動バレー駐車すなわち自動バレー入庫運転と、自動バレー出庫運転)が実行可能なシステムである。自動バレー駐車システムが構築された駐車場11は、自動バレー駐車サービス対応の駐車場11とも言える。
【0036】
例えば利用者は、利用者端末6を操作して、自動バレー駐車サービスを提供するアプリケーションにアクセスする。そして必要な情報を入力して会員登録等を行うことで、自動バレー駐車サービスを利用することが可能となる。
本実施形態では、
図1に示す駐車場管理システム500に含まれるシステムとして、自動バレー駐車システムが構築される。すなわち駐車場管理装置7により提供される駐車場管理サービスに含まれるサービスとして、自動バレー駐車サービスが提供される。DB13には、自動バレー駐車システムに関する種々のDBが構築される。
これに限定されず、駐車場管理システム500とは別のシステムとして、自動バレー駐車システムが構築されてもよい。例えば、
図1には図示していない別の管理装置等により自動バレー駐車システムが構築され、駐車場11と個別に契約等が行われてもよい。
その他、自動バレー駐車システムを構築するための構成や方法等は限定されない。
【0037】
例えば利用者は、利用者端末6を操作して、自動バレー駐車の予約を行う。そして予約時間に合わせて、自動運転機能を有する車両を手動で運転(手動運転モード)して、駐車場11内に入場する。もちろん自動運転でも構わない。
利用者は、駐車場11内の所定の位置に設けられた自動バレー駐車サービス対応の駐車スペース(以下、自動バレー乗降スペースと記載する)に車両を駐車する。そして、車両から降りた利用者により、自動バレー駐車の実行が指示される。自動バレー駐車の実行の指示は、例えば利用者端末6を介して実行される。あるいは、駐車場11内に設定された専用の端末等が操作されてもよい。
当該指示に応じて、車両は無人による自動運転(自動運転モード)により、駐車場11内の所定の駐車スペースに移動し、車両を駐車させる(自動バレー入庫運転)。なお予約をすることなく、好きな時間に駐車場11内に入場して、自動バレー駐車を実行させることも可能である。
利用者が駐車場に戻ってくる際には、例えば何分後に駐車場内の自動バレー乗降スペースに、自動運転機能を有する車両を移動させる旨等の指示が入力される。当該指示に応じて、車両は無人による自動運転(自動運転モード)により、駐車スペースから自動バレー乗降スペースに車両を移動させ駐車させる(自動バレー出庫運転)。
以下、自動バレー駐車サービス対応の駐車場11を例に挙げて、本実施形態を説明する。
【0038】
[駐車場の構成例]
図2は、自動バレー駐車サービス対応の駐車場の構成例を示す模式図である。
駐車場11は、入場口15、出場口16、構内通路17、複数の駐車スペース18、自動バレー乗降スペース19、階段20、エレベータ21(エレベータホール)、事前精算機22、案内装置23、監視システム24、及びバンプ25を有する。
【0039】
入場口15から駐車場11の内部に向かって入場レーンが構成される。入場レーンには、入口ループコイル27a、入場ゲート装置28a、入口カメラ29a、及び入口スピーカ30aが設けられる。
入口ループコイル27aから出力される信号に基づいて、入場レーンへの車両3の進入が検出される。
入場ゲート装置28aにより、入場レーンから駐車場11内部への車両3の入場が適宜規制される。
入口カメラ29aにより、入場レーンに進入した車両3を撮影することが可能である。
入口スピーカ30aにより、入場レーンに進入した車両3を運転する運転手や同乗者に向かって、音声を通知することが可能である。
各デバイスの具体的な構成は限定されず、任意の構成が採用されてよい。
【0040】
駐車場11内部から出場口16に向かって出場レーンが構成される。出場レーンには、出口ループコイル27b、出場ゲート装置28b、出口カメラ29b、及び出口スピーカ30bが設けられる。
出口ループコイル27bから出力される信号に基づいて、出場レーンへの車両3の進入が検出される。
出口ゲート装置28bにより、出場レーンから駐車場11外部への車両3の出場が適宜規制される。
出口カメラ29bにより、出場レーンに進入した車両3を撮影することが可能である。
出口スピーカ30bにより、出場レーンに進入した車両3を運転する運転手や同乗者に向かって、音声を通知することが可能である。
各デバイスの具体的な構成は限定されず、任意の構成が採用されてよい。
【0041】
また図示は省略しているが、入場レーン及び出場レーンには、ETC車載器を搭載した車両3を検出する、ETCアンテナがそれぞれ設置されている。
【0042】
構内通路17は、駐車場11に入場した車両3が走行する通路である。また構内通路17は、駐車車両から降りた運転手等が歩行する通路である。以下、構内通路17を歩行する人物や、走る人物、立ち止まる人物等を、総称して歩行者4と記載する。すなわち歩行者4は、駐車場11内において車両3に乗っていない人物を意味する。
また本開示において、自動運転モードで走行している自動運転機能を有する車両3を、自動運転車両3aとする。一方、運転手が手動で運転している車両3を、非自動運転車両3bとする。例えば、手動運転モードで走行している自動運転機能を有する車両3も、非自動運転車両3bとなる。なお非自動運転車両3bは、手動運転車両とも言える。
図2では、頭部と肩の部分を表現する図により、歩行者4が図示されている。二重の略長方形状により、自動運転車両3aが図示されている。一重の略長方形状により、非自動運転車両3bが図示されている。
図2に示すように、構内通路17に対して、車両3の走行方向を規定する標識(矢印等)が設けられてもよい。また、歩行者4が歩くための通路が規定されてもよい。
【0043】
複数の駐車スペース18は、駐車場11内に設けられる。
図2に示す例では、スペースナンバーがA1~A9、B1~B9、C1~C9、D1~D9、E1~E9、F1~F9、G1~G9、H1~H9、J1~J15、K1~K24となる、複数の駐車スペース18が配置される。
駐車スペース18は、自動バレー駐車を実行する自動運転車両3a、及び非自動運転車両3bの両方が駐車可能なスペースである。すなわち本実施形態では、構内通路17を、自動運転車両3a、及び非自動運転車両3bの両方が、混在して走行することになる。
【0044】
自動バレー乗降スペース19は、自動バレー駐車サービス対応の駐車スペースである。すなわち自動バレー乗降スペース19は、運転手や同乗者が自動バレー駐車場を実行する車両3から降りたり、乗ったりするためのスペースである。
図2に示す例では、入場口15及び出場口16に近い位置に、スペースナンバーがV1及びV2となる2つの自動バレー乗降スペース19が設けられる。例えば、自動バレー駐車サービスを利用する利用者は、入場口15から駐車場11に入場した後、右折して自動バレー乗降スペース19に車両3を駐車させる。そして自動バレー乗降スペース19にて、車両3から降り、自動バレー駐車の実行を指示する。当該指示に応じて、自動運転車両3aが、自動バレー乗降スペース19から、いずれかの駐車スペース18に移動する。
自動運転車両3aが駐車される駐車スペース18は、予め決められていていてもよいし、その都度選択されてもよい。例えば、駐車場11内の最も隅にあり、あまり便がよくない駐車スペース18が優先的に自動バレー駐車のために割り当てられてもよい。
自動バレー駐車サービスを利用する利用者が駐車場11に戻ってきた場合には、そのタイミングに合わせて、駐車スペース18から自動バレー乗降スペース19に、自動運転車両3aが移動する。ユーザは、車両3に乗り込み、手動運転にて、出場口16から外部に車両3を出場させる。
【0045】
階段20、及びエレベータ21は、例えば駐車場11の利用者により利用される。階段20、及びエレベータ21の近辺のエリアは、歩行者4が通行する可能性が高いエリアとなる。
【0046】
事前精算機22は、駐車場11の利用者が駐車場11から車両3を出場させる前に事前精算を実行することが可能な装置である。例えば、タッチパネル等を有する装置が、事前精算機22として設置される。
案内装置23は、駐車場11及び本駐車場管理システム500(自動バレー駐車システムを含む)に関する種々の情報を案内するための装置である。例えばディスプレイ装置等を有し案内情報を表示可能な装置等が、案内装置23として用いられる。
【0047】
監視システム24は、駐車場11を監視可能なシステムである。
図2に示す例では、以下のデバイスが、監視システム24として設置される。
入口カメラ29a及び入口スピーカ30a
出口カメラ29b及び出口スピーカ30b
主に構内通路17を撮影する場内カメラ32(図中の白丸)
主に駐車スペース18を撮影する駐車スペースカメラ33(図中の黒丸)
構内に設けられた複数の場内スピーカ34
構内に設けられた複数の場内マイク35
【0048】
入口カメラ29a、出口カメラ29b、場内カメラ32及び駐車スペースカメラ33はそれぞれ、駐車場管制システムにおける複数の管制カメラ(以下、個別に説明する場合を除き、これらを総称してカメラともいう)として機能する。本開示にて説明する上述の各種カメラとして、例えばCMOS(Complementary Metal-Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等のイメージセンサを備える単眼デジタルカメラが用いられる。その他、赤外線カメラ等が用いられてもよい。
【0049】
監視システム24は、駐車場11の監視結果として、監視情報を出力することが可能である。本実施形態では、各種カメラにより撮影された撮影画像や、各種マイクにより取得された音声が監視情報として出力される。
なお本開示において、画像は、静止画像及び動画像(映像)の両方を含む。
場内カメラ32や駐車スペースカメラ33は、駐車場11の全体を極力カバーできるように配置される。すなわち可能な限り死角が存在しないように、複数の場内カメラ32及び複数の駐車スペースカメラ33が適宜配置される。
【0050】
バンプ25は、構内通路17の所定の位置に、複数設置される。バンプ25は、例えば比較的見通しの悪い通路の出口や、場内カメラ32の画角に入りにくい箇所の路面等に設置される。
バンプ25は、例えば構内通路17の進行方向を横断する方向に設置される単数か複数の凸稜部により構成され、本来の目的は一部を隆起させた路面を通過する車両に上下の振動を生じさせることで、運転車に減速を促すことである。典型的には、蒲鉾上の凸稜線形状であるが、短い凸部や半球状の凸部が一定間隔で並んでいてもよい。その場合は、車両3のタイヤ幅よりも狭い間隔であることが望ましい。また横断本数は、3本程度が良い。
またバンプ25は、通行速度を強制的に低減させるために視覚的に牽制効果のある奥行き幅の長く凸高さの高い大型のバンプと併用することで構成されてもよい。
またバンプ25は、それ自体が場内カメラ32で撮像した画像の中で像認識しやすいように、路面とのコントラストが大きい色で着色するのが良い。例えば、赤外線発光塗料で塗装されていると、運転者には視認しにくく、カメラ画像では認識しやすくなり、様々な応用性がある。
【0051】
バンプ25の近辺(例えば天井)には、監視システム24に含まれる複数の場内マイク35が設置される。複数の場内マイク35により、車両3(自動運転車両3a、非自動運転車両3b)がバンプ25を通過した際の音声を検出することが可能である。
例えば、車両3がバンプ25を通過する際のタイヤの上下音が「ガタンガタン」といった音声として検出可能である。
【0052】
[駐車場管制システム]
図3は、駐車場管制システム100の構成例を示すブロック図である。
駐車場管制システム100は、駐車場11に対して構築されるシステムである。
図3に例示する駐車場管制システム100は、駐車場管制装置5、監視システム24、事前精算機22、案内装置23、自動バレー管理装置37、及び駐車場DB38を有する。
図3に示す各ブロックは、例えば駐車場11の構内に設置された図示しない構内LANを介して、互いに通信可能に接続されている。その他、無線/有線を介した任意の通信技術が用いられてもよい。
【0053】
監視システム24は、
図2で例示した、入口カメラ29a、入口スピーカ30a、出口カメラ29b、出口スピーカ30b、場内カメラ32、駐車スペースカメラ33、場内スピーカ34、及び場内マイク35を含む。
図3に示す例では、これらのデバイスに加えて、複数の赤外線カメラ(サーモグラフィ)39も設置される。赤外線カメラ39は、赤外線画像を撮影可能である。本実施形態では、駐車スペースカメラ33と同じ画角となるように、赤外線カメラ39が設置される。従って、主に駐車スペース18に駐車された車両3や、車両3に乗降する歩行者4についての、赤外線画像を撮影することが可能である。
【0054】
監視システム24はさらに、管制画面40を備える。管制画面40は、典型的には、複数の管制カメラ(入口カメラ29a、出口カメラ29b、場内カメラ32及び駐車スペースカメラ33)に対応する数の複数の画面がマトリクス状に配列されてなり、各画面において各管制カメラで撮影された画像を個々に表示する。管制画面40は監視室に設置され、管制画面40を通じて監視員により駐車場内の車両3や歩行者4の往来等が監視される。
【0055】
自動バレー管理装置37は、自動バレー駐車システムを構築するための装置である。本実施形態では、自動バレー管理装置37が、駐車場管理装置7や駐車場管制装置5と協働することで、自動運転車両3aによる自動バレー運転が管理される。
例えば、自動バレー管理装置37により、自動運転車両3aによる自動運転動作が制御される。例えば、自動バレー乗降スペース19から所定の駐車スペース18への自動運転が指示される。あるいは、所定の駐車スペース18からの自動バレー乗降スペース19への自動運転が指示される。その他、自動バレー駐車場の予約管理等、種々の処理が実行される。詳細については後述する。
【0056】
駐車場DB38には、駐車場11に関する種々のデータが格納され、例えば在車DBや履歴DB等の任意のDBが構築される。もちろん
図1に示す駐車場管理装置7のDB13に格納されたデータが共有される場合もあり得る。
本実施形態では、各種車両の形状等の車種データに関する車両情報や、後に説明するヒートマップに関する情報が駐車場DB38に記憶され、駐車場管制装置5や自動バレー管理装置37により適宜参照される。また自動バレー駐車に関する種々の情報が駐車場DB38に記憶される。また駐車場内における管制カメラ及びスピーカの位置情報、後述する検出不可能領域情報が駐車場DB38に記憶される。なお、上述の車両情報等は、駐車場DB38ではなく、駐車場管理装置7のDB13に格納されてもよい。
【0057】
[自動運転車両]
図4は、自動運転機能を有する車両の構成例を示す模式図である。ここでは、自動運転モードが選択された状態である自動運転車両3aとして説明を行う。
自動運転車両3aは、通信部41と、車載カメラ42と、認識装置43と、ETCアンテナ44と、ETC車載器45と、制御部46とを有する。
通信部41は、他の装置と通信するためのデバイスである。本実施形態では、通信部41を介して、自動バレー管理装置37からの指示等を含む種々の情報が取得される。
通信部41としては、例えばWiFi等の無線LANモジュールや、モデムやルータ等の通信機器が用いられる。その他任意の通信デバイスが用いられてよい。
【0058】
車載カメラ42は、自動運転車両3aの周囲を撮影可能である。
車載カメラ42としては、CCDカメラ等のデジタルカメラが用いられる。その他、ToFカメラやステレオカメラ等の測距デバイスが用いられてもよい。また赤外線カメラ等が用いられてもよい。
認識装置43は、車載カメラ42により撮影された画像に基づいて、自動運転車両3aの周囲の状況を認識する。状況認識のためのアルゴリズムは限定されない。
ETCアンテナ44、及びETC車載器45により、ETC決済による駐車場11の利用が可能である。
【0059】
制御部46は、CPU、ROM、RAM、HDD等のコンピュータの構成に必要なハードウェアを有する。
図4に示す例では、制御部46により、ソフトウェアブロックとして、走行ルート決定部47、及び走行制御部48が実現される。
走行ルート決定部47は、自動バレー管理装置37からの指示、認識装置43による認識結果、駐車場11の地図情報等に基づいて、自動運転を行う走行ルートを決定する。
走行制御部48は、決定された走行ルートに沿った自動運転を実現するために、自動運転車両3aが備える駆動系(図示は省略)等を適宜制御する。
例えば
図4に例示するように、走行制御部48により、エンジン・モータ制御装置49、ブレーキ制御装置50、ヘッドライト制御装置51、ハザードランプ(ウィンカー)制御装置52、及びクラクション制御装置53等に制御信号が出力される。これにより走行ルートに沿った自動運転や、危機回避運動等が実現される。
その他、自動運転を実現するための周知の技術が適宜されてよい。
【0060】
本駐車場管制システム100では、後述するように、駐車場11内を通行する個々の車両を識別、捕捉、追尾することで、各車両の走行位置や駐車位置などを監視することが可能に構成される。
さらに、本駐車場管制システム100では、自動運転車両3aに、後に説明するヒートマップが送信される。制御部46は、受信したヒートマップを用いて、自動運転を自律的に制御することが可能である。例えば、ヒートマップに基づいた走行ルートの決定や、ヒートマップに基づいた走行制御等を実行することが可能である。
その他、自動運転車両3aは、ヒートマップに基づいた種々の車両制御(車速制限やルート変更等)を実行することが可能である。
【0061】
[駐車場管制装置]
図5は、駐車場管制装置5の機能的な構成例を示すブロック図である。
駐車場管制装置5は、画像取得部71、車両識別部72、枠画像生成部73、座標算出部74、表示制御部75、検出不可能領域設定部76、マップ情報生成部77、ヒートマップ生成部78、推定部79、監視部80、警告情報生成部81、及び、駐車場管制部82を有する。
これらのブロックは、駐車場管制装置5のCPUが所定のプログラムを実行し、装置内のハードウェア資源と協働することで構成され、本実施形態に係る駐車場管制方法及び車両監視方法が実現される。
駐車場管制装置5にプログラムをインストールする方法は限定されない。
【0062】
(画像取得部)
画像取得部71は、監視システム24により検出された監視情報を取得する。本実施形態では、
図3等に示す入口カメラ29a、出口カメラ29b、場内カメラ32、駐車スペースカメラ33、赤外線カメラ39により撮影された撮影画像が取得される。なお必要に応じて、場内マイク35により取得された音声が取得されてもよい。
【0063】
(車両識別部)
車両識別部72は、駐車場11内の個々の車両を識別し、識別した各車両に関する情報を駐車場DB38へ格納する。
車両識別部72は、典型的には、入口カメラ29aの撮影画像から入場する車両のナンバープレートを抽出し、画像処理技術を用いて当該ナンバープレートの情報(陸運支局名、分類番号、ひらがな、4桁の一連番号等)を読み出す。これらの情報は、当該車両の識別情報として駐車場DB38に格納され、後述する座標算出部において生成される車両の位置に関する情報に紐付けされる。また、識別情報として、車体色、車体形状、車名、メーカー等の情報が更に紐づけされてもよい。
また、車両識別部72は、入口カメラ29aだけでなく、場内カメラ32、駐車スペースカメラ33、出口カメラ29bの撮影画像から車両の識別情報を取得する。
【0064】
(枠画像生成部)
枠画像生成部73は、画像取得部71から取得された駐車場11内の撮影画像に基づいて、対象物Tである車両3の外形を表す三次元枠画像を生成する。枠画像生成部73は、各カメラの撮影画像について、後述する三次元枠画像の生成処理を実行する。
【0065】
図7は、場内カメラ32の1つにより撮影される撮影画像P1の一例を示す模式図である。
図7に示す撮影画像P1には、駐車スペース18に駐車している車両3や、構内通路17を走行中、あるいは、駐車スペース18を出入りする車両3が撮影されている。枠画像生成部73は、撮影画像P1から対象物Tの正面と側面を認識し、その外形を表す三次元枠画像F1を生成する。三次元枠画像F1は、典型的には、車両3の前後方向に長辺を有する直方体形状である。生成された三次元枠画像F1は、後述するように、表示制御部75によって撮影画像P1に重畳表示される。
【0066】
対象物Tは、典型的には、駐車場11内の車両3である。対象物Tには、駐車車両のような静止している車両に限られず、走行中の車両も含まれる。車両3以外にも歩行者4や、落下物等の物体が対象物Tとされてもよい。
対象物Tか否かの判定方法は特に限定されず、例えば、予め取得しておいた背景画像(対象物Tが存在しないときの撮影画像)を基準として、当該背景画像との差分から対象物Tを識別してもよい。当該背景画像は、複数の管制カメラごとに駐車場DB38に格納される。三次元枠画像F1の生成には、対象物の最大寸法または範囲を囲む最小のボックス(バウンディングボックス)を生成可能な公知の三次元物体認識アルゴリズムを用いることができる。
【0067】
対象物Tが車両の場合、対象物Tは、撮影画像P1に含まれるすべての車両等とする場合に限られず、走行中の車両、駐車スペース18に駐車していない車両など、挙動の監視の必要性が高い特定の状態の車両に限定されてもよい。例えば、現在駐車中の車両は、その所在(駐車位置)が判明しているため、出庫などの動きがない限り、継続して監視する必要性が比較的低いからである。
【0068】
枠画像生成部73は、撮影画像P1を画像処理して対象物である車両3のナンバープレート3pの枠形状および文字情報に基づいて、三次元枠画像F1の向きおよび大きさを決定する。
典型的には、ナンバープレート3pは車両の正面あるいは背面に向けて配置されるため、その形状からカメラの位置を基準とした当該車両の正面方向を判定できる。また、車両前後のナンバープレートは高さが異なる位置に設置される場合が多い。この場合は、駐車場DB38に蓄積された車両情報等を参照することで、ナンバープレート3pの高さから車両の前後の判定が可能である。さらに、ナンバープレート3pの2桁または3桁の分類番号から車種を特定し、その大きさを決定してもよい。枠画像生成部73は、これらの情報から対象物である車両3の車幅や車長を推定することで、三次元枠画像F1の縦横長さに反映させてもよい。
なお、三次元枠画像F1の生成には、ナンバープレート3pの形状や文字情報だけでなく、車両のヘッドライトの形状やドラミラーの位置など、車両のその他の特徴部分が参照されてもよい。これにより車種の特定、三次元枠画像F1の大きさや向きなどの精度を高めることができる。
【0069】
枠画像生成部73はさらに、監視情報取得部71から取得された駐車場11内の撮影画像に基づいて、対象物を囲む二次元枠画像を生成することが可能に構成される。
図8に、撮影画像P1に含まれる車両3を囲む二次元枠画像F2の一例を示す。二次元枠画像F2の生成には、対象物の最大寸法または範囲を囲む最小の矩形枠画像を生成可能な公知の二次元物体認識アルゴリズムを用いることができる。
【0070】
枠画像生成部73において生成された三次元枠画像F1および二次元枠画像F2は、入口カメラ29a等で取得された車両の識別情報に紐付けられて駐車場DB38へ格納される。典型的には、これらの枠画像F1,F2はそれらの所定の時間周期で生成される。三次元枠画像F1の生成周期と二次元枠画像F2の生成周期は異なっていてもよい。これらの枠画像F1,F2の経時変化や当該車両が映り込んでいる画像を撮影したカメラの位置などにより、車両3の位置や移動方向を判定することができる。
【0071】
(座標算出部)
座標算出部74は、枠画像生成部73で生成された三次元枠画像F1および二次元枠画像F2に基づいて対象物Tの平面位置座標を算出する。
平面位置座標とは、駐車場11の全体を天井から俯瞰した平面図上における座標である。駐車場11が多層階で構成される場合、典型的には、階層(駐車フロア)ごとに平面位置が算出される。車両3の平面位置は、枠画像F1,F2の生成周期に応じて更新されるので、車両3の平面位置の変化を監視することで、駐車場11内での個々の車両3を追尾することができる。
【0072】
三次元枠画像F1からの車両3の平面位置座標の決定方法は特に限定されず、典型的には、三次元画像を二次元画像に変換する射影変換技術を採用することができる。本実施形態では、車両の正面底辺と側面底辺の座標を射影変換することで、
図9に示すように、車両3を射影したエリア3c1および車両3の向き(図中矢印)を示す位置情報(以下、第1の位置情報ともいう)を生成する。
このとき、車両の正面のナンバープレート3pの直下が当該車両3の平面位置として算出される。これにより、カメラごとに車両が映り込む角度が変化しても車両の位置を正確に示すことができる。これ以外にも、三次元枠画像F1から当該三次元枠の重心位置を算出し、その重心位置の直下を車両3の平面位置としてもよい。
【0073】
二次元枠画像F2からの車両3の平面位置座標の決定方法も特に限定されず、典型的には、二次元枠画像F2の中心や底辺の中点の座標が平面位置座標とみなされる。二次元枠画像F2に基づく車両3の平面位置座標の算出処理では、
図10に示すように、車両3の二次元枠画像F2に対応する形状のエリア3c2を示す位置情報(以下、第2の位置情報ともいう)を生成する。
【0074】
生成された車両の平面位置座標は、入口カメラ29a等で取得された車両の識別情報に紐付けられて駐車場DB38へ格納される。車両の平面位置座標は、典型的には、車両の枠画像F1,F2の生成周期で生成される。平面位置座標の経時変化などにより、駐車場11内の複数の車両3を個別的に追尾することができる。
【0075】
なお、第2の位置情報は、第1の位置情報と比較して、処理に要する負荷が小さいため、比較的短時間で生成可能というメリットがある。その一方で、第2の位置情報は、車両がいずれの方向を向いているのか不明であるとともに、車両3の外形を捉えていないため撮影画像に映り込む車両の姿勢で平面位置が相違する。その結果、第2の位置情報は、第1の位置情報と比較して車両の位置の精度が低いというデメリットがある。
そこで本実施形態では、第2の位置情報により取得される車両の粗位置情報に基づく車両の追尾処理を優先的に実行し、第1の位置情報の取得後は、上記粗位置を当該第1の位置情報に基づき補正して、駐車場平面図にマッピングするように構成される。当該処理は、後述するマップ情報生成部77において実行される。
【0076】
また、座標算出部74は、車両3が検出不可能領域から画像に出現した時は、まず二次元枠画像F2を用いて第2の位置情報を生成し、これと同時に三次元枠画像F3を用いた処理を開始し、二次元枠画像F2を用いた算出結果から三次元枠画像F3の算出結果に移行する。これにより、検出不可能領域で車両3を見失うことが防止される。
【0077】
(表示制御部)
表示制御部75は、
図7に示すように、枠画像生成部73において生成された三次元枠画像F1を撮影画像P1に重畳して管制画面40へ表示させるための画像信号を生成する。
同様に、表示制御部75は、
図8に示すように、枠画像生成部73において生成された二次元枠画像F2を撮影画像P1に重畳して管制画面40へ表示させるための画像信号を生成するように構成される。
【0078】
管制画面40には、三次元枠画像F1及び二次元枠画像F2のうち一方が表示される。三次元枠画像F1と二次元枠画像F2との生成処理速度の違いから、まず二次元枠画像F2が表示され、その後に三次元枠画像F1に変更されてもよい。この場合、撮影画像に映り込んだ対象物を二次元枠画像F2で速やかに管制画面40上に表示し、監視員の注意を喚起させることができる。また、その後に表示される三次元枠画像F1の外形から車種や位置等を比較的容易に把握させることができる。
【0079】
三次元枠画像F1および二次元枠画像F2は、枠画像生成部73において実行された処理データが用いられてもよい。この場合、撮影画像P1に表示される枠画像F1,F2の画素データを用いて管制画面40(撮影画像P1を表示する表示部)に枠画像F1,F2を表示させることができる。
あるいは、座標算出部74により生成される車両の位置情報(第1の位置情報、第2の位置情報)に基づいて、三次元枠画像F1および二次元枠画像F2の表示位置が算出されてもよい。
【0080】
表示制御部75は、複数の対象物に関する三次元枠画像を相互に異なる態様で管制画面40へ表示させるように構成される。例えば、1つの撮影画像に映り込んだ複数の車両3について、それぞれ異なる色、線種、太さなどで各車両の外形を表す三次元枠画像F1を表示させる。各車両の特定は、各車両の識別情報を基に行うことができる。この場合、三次元枠画像F1の態様は、車両ごとに異なる設定とされ、各カメラの撮影画像に共通に用いられる。これにより、特定の車両に対する場内の監視を容易に行うことができる。
【0081】
(検出不可能領域設定部)
検出不可能領域設定部76は、駐車場11において管制カメラにより車両3や歩行者4等の対象物を撮影することが不可能な検出不可能領域を設定する。
検出不可能領域には、管制カメラの設置位置に起因して生じる死角領域と、管制カメラの故障による検出不可能領域と、撮影画像内に位置する障害物に起因する死角領域のうち少なくとも1つが含まれる。
【0082】
図11は、検出不可能領域の一例としての管制カメラの設置位置に起因して生じる死角領域を説明する模式図である。
図11に示す例では、駐車場11内に、第1のカメラとしての第1の駐車スペースカメラ331により画像取得が可能な第1の領域AR1と、第2のカメラとしての第2の駐車スペースカメラ332により画像取得が可能な第2の領域AR2とが位置する。更に、第1の領域AR1と第2の領域AR2との間には、カメラの設置位置に起因して生じる死角領域BS1が位置する。このように、検出不可能領域として、管制カメラの設置位置に起因する死角領域BS1が存在する場合がある。この検出不可能領域情報は予め設定され、駐車場11内における管制カメラ及びスピーカの位置情報とともに駐車場DB38に予め記憶される。第1の領域AR1及び第2の領域AR2は、対象物が検出可能な検出可能領域である。
図12は、管制カメラの設置位置に起因して生じる死角領域BS1を駐車場11の平面図データに当該死角領域をマッピングした一例である。
図12において、死角領域BS1をドットで示す。
本明細書において、駐車スペースカメラに符号331~335を付して個々の駐車スペースカメラを区別するときがあるが、区別する必要がない場合は符号33を用いて説明する。
【0083】
上記管制カメラの故障による検出不可能領域は、それまでカメラが正常に機能して撮影が可能であった領域が故障によって撮影が不可能となった領域である。
上記撮影画像内に位置する障害物に起因する死角領域の一例として、車高の高い大型の車両3が障害物となることがある。撮影画像において、手前に障害物として車高の高い大型の車両3が位置することにより、大型の車両3よりも奥側の領域が死角領域となる。この死角領域に他の車両3が位置していても、その車両3を撮影画像において検出することができない。
これらのような突発的に生じる検出不可能領域は、撮影画像に基づいて設定することができる。カメラの故障か否かの判定方法は特に限定されない。故障時のカメラの画像は黒等の一定の色の一様な画像であることが多いため、このような画像が所定時間を経過しても変化しない場合は、カメラの故障であると判定してもよい。また、撮影画像内に位置する物体が障害物か否かの判定方法は特に限定されず、例えば、予め取得しておいた背景画像(対象物Tが存在しないときの撮影画像)を基準として、当該背景画像との差分から障害物を識別してもよい。更に、駐車スペースに車両が駐車されているか否かの情報も加味して障害物を識別してもよい。カメラの撮影角度からみた撮影画像領域のうち障害物が位置する領域が検出不可能領域となる。
【0084】
検出不可能領域設定部76は、予め設定されているカメラの設置位置に起因して生じる検出不可能領域(死角領域BS1)に、突発的に生じる検出不可能領域を加えて、検出不可能領域を設定する。
【0085】
(マップ情報生成部)
マップ情報生成部77は、座標算出部74において算出された各車両の平面位置と検出不可能領域設定部76により設定された検出不可能領域を示す駐車場11の平面図データを生成する。マップ情報生成部77は、
図13に示すような駐車場11の平面図データ11Dを生成し、これに識別した各車両の位置及び検出不可能領域をマッピングする。
【0086】
図13には、複数台の車両3(V1~V9)および歩行者4(H1,H2)がマッピング表示され、更に、検出不可能領域がマッピング表示された様子を示す。本実施形態では、主として、枠画像生成部73において生成された車両3の三次元枠画像F1に基づいてその平面位置が算出され、平面図データ11Dへマッピングされる。したがって、同図に示すように、各車両3の位置だけでなく向き(姿勢)に関する情報も取得可能となり、各車両の正確な状態監視を行うことができる。
なお上述のように、枠画像生成部73において別途生成された二次元枠画像F2に基づいて車両および歩行者の平面位置を算出し、その後、当該平面位置を三次元枠画像F1に基づいて算出された平面位置に補正されてもよい。
【0087】
図13において、検出不可能領域をドットで示している。密のドットで示す領域は、予め設定されている管制カメラの設置位置に起因する検出不可能領域BS1である。疎のドットで示す領域は、突発的に生じる検出不可能領域BS2~4を示し、管制カメラの故障による検出不可能領域や撮影画像内に位置する障害物に起因する死角領域を示す。
図13では、駐車スペースJ13~J15を主に映す駐車スペースカメラ333と、駐車スペースE4~E6を主に映す駐車スペースカメラ334が故障して撮影不可能となっている場合を想定している。更に、
図13において、場内カメラ321からみて、駐車スペースJ14に駐車されている車高の高い大型の車両V9が障害物となり、車両V9の奥側に位置する駐車スペースJ13の一部が死角領域となる場合を想定している。
図13において、駐車スペースJ15は、場内カメラ321により部分的に画像取得が可能であるが、駐車スペースカメラ333の故障により、検出不可能領域BS2を含んでいる。また、駐車スペースJ13は、大型の車両V9に起因して生じる死角領域と駐車スペースカメラ333の故障による検出不可能領域とからなる検出不可能領域BS3を含んでいる。駐車スペースE4~E6及びその前の通路の一部は、駐車スペースカメラ334の故障により検出不可能領域BS4を含んでいる。
【0088】
車両3の位置及び検出不可能領域BSがマッピングされた平面図データ11Dは、例えば、駐車場11の混雑状況の把握に用いられる。車両3の走行及び駐車を制限する機器の制御に用いられてもよいし、自動運転車両3aの走行ルート決定に用いられてもよい。例えば、車両3の走行及び駐車を制限する機器として空き駐車場スペースへ車両を誘導させるための誘導灯が設置される場合には、当該誘導灯の点灯制御に用いられる。また、車両3の走行及び駐車を制限する機器として、走行や駐車の可否を文字や画像で表示して運転者に対して示すディスプレイを有する案内装置が設置される場合には、当該案内装置の表示制御に用いられる。構内通路での走行制限を出力する案内装置は、例えば、隣り合う2つのカメラそれぞれの撮影領域の境界やオーバーラップする位置に設けられる。或いは、スピーカ制御に用いられてもよく、走行や駐車の可否を音声で運転者に対して伝達することができる。また、車両3の走行及び駐車を制限する機器としてゲートバーが設置される場合には、当該ゲートバーの開閉制御に用いられる。
また、平面図データ11Dに対応する画像が管制画面40とは別に設置された専用の画面に表示されてもよい。これにより、駐車場11内の利用状況の一覧性を高めることができる。
【0089】
(ヒートマップ生成部)
ヒートマップ生成部78は、監視システム24から出力される駐車場11内の監視情報に基づいて、ヒートマップを生成する。本実施形態では、監視情報として、
図3等に示す入口カメラ29a、出口カメラ29b、場内カメラ32、駐車スペースカメラ33、赤外線カメラ39により撮影された撮影画像が取得される。また場内マイク35により取得された音声が取得される。
【0090】
ヒートマップ生成部78は、監視情報に基づいて、駐車場11内の状況に関する状況情報を生成する。
例えば、状況情報として、駐車場11内の自動運転車両3aに関する情報、駐車場11内の非自動運転車両3bに関する情報、又は駐車場11内の歩行者4に関する情報が生成される。また状況情報として、自動運転車両3a、非自動運転車両3b、及び歩行者4のいずれとも異なる他の物体に関する情報が生成される。その他、駐車場11の状況に関する任意の情報が、状況情報に含まれ得る。
【0091】
状況情報を生成するための技術は限定されず、画像解析技術、音声認識技術等、任意の技術(アルゴリズム)が用いられてよい。例えばDNN(Deep Neural Network:深層ニューラルネットワーク)等を用いた任意の機械学習アルゴリズムが用いられてもよい。例えばディープラーニング(深層学習)を行うAI(人工知能)等を用いることで、状況情報の生成精度を向上させることが可能となる。なお機械学習アルゴリズムの適用は、本開示内の他の任意の処理に対しても実行可能である。
【0092】
図14は、ヒートマップの一例を示す模式図である。
図14は、
図2に示す駐車場11内の状況に応じたヒートマップHMの一例である。
ヒートマップHMは、駐車場11内の位置と走行危険度とが関連付けられたマップ情報である。典型的には、駐車場11内の位置座標と、走行危険度とが関連付けられることで、ヒートマップHMが生成される。更に、ヒートマップHMには、検出不可能領域情報が含まれる。
ヒートマップHMを規定するデータとしては、例えば(位置、危険度)の組み合わせ、あるいは(領域、危険度)の組み合わせが挙げられる。もちろんこれに限定される訳ではない。なお、ヒートマップHMは、必ずしも可視化された情報である必要はない。
【0093】
走行危険度は、その位置を走行する際の危険度を表す。
例えば、車両3や歩行者4が存在する位置は、走行すると衝突してしまう可能性が非常に高いので、走行危険度は相対的に高くなる。構内通路17内の周囲に車両3や歩行者4等が存在しない位置は、走行しても衝突等が発生する可能性は低いので、走行危険度は相対的に低くなる。
例えば、走行危険度0(最低値)から走行危険度MAX(最高値)の間の数値となるように適宜正規化されて走行危険度が設定される。あるいは、走行危険度0レベル(最低レベル)から走行危険度MAXレベル(最高レベル)までの複数のレベルにより、段階的に走行危険度が設定されてもよい。その他、走行危険度の算出や設定については、任意の方法を採用することが可能である。
なお、走行危険度は、走行安全度を表すパラメータとも言える。すなわちヒートマップHMは、駐車場11内の位置と走行安全度とが関連付けられたマップ情報とも言える。例えば、算出された走行危険度の逆数により、走行安全度を算出することが可能である。もちろんこれに限定される訳ではない。
【0094】
ヒートマップ生成部78は、生成されたヒートマップHMを、駐車場管制装置5の外部に送信可能である。例えば、駐車場管制装置5が有する通信部を介して、
図1に示す駐車場管理装置7、
図2に示す自動運転車両3a、あるいは
図3に示す自動バレー管理装置37等に、ヒートマップHMを送信することが可能である。
本実施形態では、自動バレー管理装置37により、ヒートマップHMに基づいて、自動バレー運転(自動バレー駐車)が制御される。具体的には、自動バレー管理装置37から自動運転車両3aに、平面図データ11D、ヒートマップHM、走行及び駐車に関する指示が送信され、自動バレー駐車が実行される。
従って、自動バレー管理装置37により、駐車場管制システム100の外部の装置である自動運転車両3aに、平面図データ11D、ヒートマップHM、走行及び駐車に関する指示が送信される。
上記でも述べたが、自動運転車両3aは、受信したヒートマップに基づいた種々の車両制御(車速制限やルート変更等)を実行することが可能である。
【0095】
(推定部)
推定部79は、1つの管制カメラ(第1の管制カメラという。)で撮影された車両3の第1の撮影画像情報に基づいて車両3の移動情報を算出する。移動情報には移動方向、移動速度等が含まれる。推定部79は、算出された移動情報から、車両3が次にどの管制カメラ(第2の管制カメラという。)で撮影されるかを推定する。
具体的には、推定部79は、車両3が映っている第1の撮影画像に基づいて座標算出部74で生成された車両3の位置座標の経時変化、すなわち移動情報により進行方向を推定する。そして、推定部79は、座標算出部74で生成された車両3の位置情報及び駐車場DB38に記憶される各管制カメラの位置情報を用いて、進行方向前方に最初に位置する管制カメラを第2の管制カメラであると推定する。また、推定部79は、車両3の第1の撮影画像に基づいて当該車両3の速度を算出し、第2の管制カメラに車両3が映しだされる時間を推定してもよい。尚、駐車場内の構内通路の形状及び管制カメラの配置によっては、推定される第2の管制カメラは必ずしも1つではなく、複数の場合もある。
これにより、車両3の追尾にあたり、次に当該車両3が映しだされる管制カメラを絞りこむことができ、監視処理負荷が低減される。
【0096】
また、推定部79は、検出精度が高い状態で映っている車両3の撮影画像から算出した車両3の移動情報と経過時間を利用して、他のカメラの撮影画像から算出した現在の車両の移動情報を適宜補正し、車両3の移動を推定してもよい。
移動情報の補正は、駐車前(入庫時)と駐車後(出庫時)で異ならせてもよい。例えば、空いている駐車スペース18近傍を走行する車両3の移動を予測する際に、駐車前後で減速の予測フィルタを異ならせることができる。すなわち、車両3は、駐車前の状況では、空いている駐車スペース18の近傍で減速して走行する可能性がある。一方、駐車後の出庫時ではこのような減速を行わない可能性が高い。このため、出庫時の状況では、駐車前の状況よりも減速の予測フィルタを低く抑えて、車両3の移動を推定する。このように車両3のダイナミクス特性を考慮したフィルタを用いて補正することができる。フィルタには例えばカルマンフィルタを用いる。
【0097】
(監視部)
監視部80は、管制カメラで撮影された撮影画像及びこれに基づいて車両識別部72により取得された車両の識別情報を用いて、個々の車両を識別し、監視する。これにより、駐車場11内における車両3の追尾を個別に行うことができる。
【0098】
監視部80は、ある1台の車両3の追尾に際して、推定部79により次に車両3が撮影されると推定された第2の管制カメラで撮影された第2の撮影画像に映しだされる車両3が第1の撮影画像に映しだされていた追尾対象の車両3であるか否かを判定する。判定には車両の識別情報を用いる。
監視部80は、追尾対象の車両3であると判定すると、追尾対象の車両3を検出したとして、当該車両3の位置情報を更新し、当該車両3の移動情報を車両追尾処理して監視する。
一方、第2の撮影画像に追尾対象の車両3を検出しない場合、監視部80は、所定時間が経過するまでの間、追尾対象の車両3が検出されるまで、第2の管制カメラで撮影される第2の撮影画像での車両の検出処理を繰り返す。所定時間経過しても追尾対象の車両3が検出されない場合、監視部80は、直近で撮影された追尾対象の車両3の第1の撮影画像に基づいて、車両3の位置を推定する。
【0099】
図11を用いて車両3の位置推定の具体例について説明する。
図11に示すように、車両3が第1の領域AR1から死角領域BS1に進入すると、第1の駐車スペースカメラ331及び第2の駐車スペースカメラ332では車両3を検出することができず、車両3を見失ってしまう。
これに対し、本実施形態では、推定部79により、第1の駐車スペースカメラ331で撮影された車両3の第1の撮影画像情報に基づいて、車両3が次に撮影されるカメラが第2の駐車スペースカメラ332であることが推定されるので、監視部80は、第1の領域AR1と第2の領域AR2との間の死角領域BS1に車両3が位置すると判定することができる。
図11に示す例では第1の領域AR1及び第2の領域AR2は検出可能領域である。検出可能領域には、カメラによって画像取得が可能な領域であっても、ある対象物の追尾にあたり当該対象物が画像に映らない領域は含まれない。
【0100】
このように、管制カメラによって撮影することができず車両3の検出が不可能な検出不可能領域に車両3が進入した場合においても、直前で車両3が検出された撮影画像を用いて車両3の位置を推定することができ、追尾の継続が可能となり、車両の監視性能が向上する。
【0101】
(警告情報生成部)
警告情報生成部81は、検出不可能領域設定部76により設定された検出不可能領域情報に基づいて、検出不可能領域に車両3が進入することを禁止する警告情報を生成する。
検出不可能領域は、駐車スペース18である場合と、構内通路17である場合とがある。
【0102】
検出不可能領域を含む駐車スペース18に非自動運転車両3bが駐車すると、当該非自動運転車3bをカメラによって検出することができず、非自動運転車両3bの追尾が困難となる。
これに対して、本実施形態では、警告情報に基づいて、検出不可能領域を含む駐車スペース18への駐車を禁止する警告をすることができる。具体的には、警告情報に基づいて、駐車の可否を示す誘導灯の点灯制御や案内装置の表示制御が行なわれる。或いは、駐車禁止の警告音声を発するようにスピーカが制御されてもよいし、駐車スペース18に設けられたゲートバーの開閉が制御されてもよい。
これにより、非自動運転車両3bを、管制カメラによる検出が可能な駐車スペース18へと誘導することができ、車両3の監視性能が向上する。
【0103】
また、例えば、複数台の車両3が、構内通路17上の検出不可能領域に進入し、この検出不可能領域から再び管制カメラでの検出が可能な領域へ移動した場合、複数台の車両の車色や車種等が類似していると、この検出可能領域で検出される車両がどの車両であるかを識別することが難しく、車両の追尾が困難な場合がある。
これに対して、本実施形態では、警告情報に基づいて、構内通路17上の検出不可能領域に1台の車両3が既に存在すると推定される場合、他の車両3に対して、当該検出不可能領域への進入を禁止することができる。具体的には、検出不可能領域への進入の可否を表示するディスプレイ等が構内通路17上に設けられる場合、当該ディスプレイが表示制御されてもよい。また、警告情報に基づいて、検出不可能領域以外へ車両を誘導させるための誘導灯の点灯が制御されてもよい。
これにより、構内通路17上の検出不可能領域に位置する車両の数を1台以下となるように制御することができ、当該検出不可能領域を通過して再び検出可能領域に現れる車両3の識別が容易となり、車両3の監視性能が向上する。
【0104】
(駐車場管制部)
駐車場管制部82は、駐車場11の管制に関する種々の処理を実行する。
例えば、車両3の検知、ゲート装置28の制御、監視システム24に含まれる各デバイスの制御、事前精算機22の制御、案内装置23の制御、事前精算の確認、
図1に示すネットワーク1上の他の装置との通信、駐車場DB38への情報の書き込みや読出し、その他、駐車場11の管制に関する種々の処理を実行する。
【0105】
[自動バレー管理装置]
図6は、自動バレー管理装置37の機能的な構成を示すブロック図である。
自動バレー管理装置37は、通信部91とバレー運転制御部92を有する。
通信部91は、
図1に示すネットワーク1を介して他の装置と通信する。通信部91としては、例えばWiFi等の無線LANモジュールや、モデムやルータ等の通信機器が用いられる。
【0106】
バレー運転制御部92は、通信部91を介して受信した平面図データ11D及びヒートマップHMに基づいて、自動運転車両3aに対しての走行及び駐車に関する指示情報を生成する。バレー運転制御部92は、平面図データ11D、ヒートマップHM、走行及び駐車に関する指示を、自動運転車両3aに対して送信する。
【0107】
具体的には、バレー運転制御部92は、平面図データ11D、ヒートマップHMに含まれる検出不可能領域を含む駐車スペース18へ自動運転車両3aを優先的に駐車させる指示情報を生成する。
例えば
図14に示すヒートマップHMでは、検出不可能領域BS2~4を含む駐車スペースJ13、J15、E4~E6のいずれかに自動運転車両3aを駐車させる指示情報を生成する。更に、自動運転車両3aが検出不可能領域外に既に駐車されている場合、検出不可能領域を含む駐車スペース18に当該自動運転車両3aを移動する指示情報を生成してもよい。
これにより、非自動運転車両3bが、検出不可能領域を含む駐車スペースに駐車することを抑制することができる。すなわち、自動バレー管理された自動運転車両3aについては、検出不可能領域を含む駐車スペース18に駐車されていても、その駐車位置は予め管理されているため、車両の追尾は可能である。一方、非自動運転車両3bは、運転者により駐車位置が任意に選択される。したがって、検出不可能領域を含む駐車スペース18に優先的に自動運転車両3aを駐車させることによって、非自動運転車両3bがカメラによって検出可能な駐車スペース18に駐車する確率を高くすることができる。これにより、非自動運転車両3bの追尾の継続が可能となり、車両3の監視性能が向上する。
【0108】
また、バレー運転制御部92は、ある1台の自動運転車両3aの自動運転バレーの制御にあたり、ヒートマップHMに含まれる構内通路17の検出不可能領域内に他の車両3が存在する場合は、当該検出不可能領域へ自動運転車両3aを進入させない指示情報を生成する。
例えば
図14に示すヒートマップHMでは、車両V5は、ドットで示される検出不可能領域に位置している。
図14において、車両V5は図上、下から上に向かって走行し、車両V2は左折して車両V5が位置する構内通路17に進入しようとしており、車両V2は自動運転車両3aであると想定する。この場合、バレー運転制御部92は、自動運転車両3aである車両V2の自動運転バレーの制御にあたり、車両V5が検出不可能領域内に位置する間は、当該検出不可能領域へ進入しないように車両V2の自動バレー運転を制御する。
これにより、検出不可能領域に位置する車両の数を1台以下に制御することができ、当該検出不可能領域を通過して検出可能領域に現れる車両3の識別が容易となる。したがって、車両3の追尾の継続が可能となり、車両3の監視性能が向上する。
【0109】
自動バレー管理装置37は、例えば、CPU、ROM、RAM、HDD等のコンピュータの構成に必要なハードウェアを有する。
自動バレー管理装置37として、例えばPC等の任意のコンピュータが用いられる。
【0110】
[車両の位置監視方法]
次に、本実施形態の車両の位置監視方法について説明する。
図15は、駐車場管制装置5において実行される処理手順の一例を示すフローチャートである。ここでは、監視対象物として車両3を例に挙げて説明する。
【0111】
画像取得部71は、駐車場11内に設置された複数の管制カメラからの画像情報を取得する(ステップ101)。
本実施形態では、入口カメラ29a等の撮影画像から駐車場11へ入場する車両3のナンバープレートを読み取ることで、車両識別部72において当該車両の識別情報が取得される。さらに、複数の場内カメラ32や駐車スペースカメラ33などから駐車場11内を走行する車両が映り込んだ撮影画像がカメラごとに取得される。
ここでは、第1の管制カメラが、ある1台の車両3を識別可能に第1の撮影画像を撮影したものとする。当該車両3は追尾対象の車両である。また、車両の識別情報としてナンバープレートを用いる例にあげたが、これに限定されず、例えば車色、車種、車のメーカーを用いてもよい。例えば、駐車場11内に車色の全く異なる2台の車両しか存在しない場合、ナンバープレートによる車両の識別が困難な車両3が映り込んだ撮影画像であっても、車色によって車両3を同定することができ、追尾が可能となる。このように、駐車場11内の車両3の状況に応じて、車両の識別に用いる情報を適宜変更してもよい。
【0112】
続いて、推定部79は、第1の撮影画像に基づいて、当該車両3が次に撮影される第2のカメラを推定する(ステップ102)。尚、ここで、推定する第2のカメラが故障している場合、更にその次に撮影画像を撮影すると推定されるカメラを第2のカメラとして推定してもよい。
【0113】
続いて、監視部80は、推定部79により推定された第2のカメラで撮影される第2の撮影画像を取得し(ステップ103)、第2の撮影画像に追尾対象の車両3が映しだされているか否かを検出する(ステップ104)。
監視部80は、ステップ104で車両3を検出すると(YES)、車両3の位置を更新すし(ステップ105)、ステップ101に戻る。検出しないと(NO)、ステップ106に進む。
【0114】
ステップ106において、監視部80は、推定された第2のカメラが撮影する第2の撮影画像における追尾対象の車両3の検出処理開始から所定時間経過しているか否かを判定する。
所定時間経過していないと判定すると(NO)、ステップ103に戻り処理が繰り返される。
所定時間経過したと判定すると(YES)、監視部80は、第1のカメラにおける第1の検出可能領域と第2のカメラにおける第2の検出可能領域との間に、追尾対象の車両3が駐車或いは走行停止等して位置すると推定し(ステップ107)、当該位置を追尾対象の車両3の位置として更新する。車両3の位置は、第1の撮影画像、第1のカメラ及び第2のカメラの位置情報に基づいて推定することができる。
【0115】
以上の処理が繰り返し実行されることで、駐車場11内の車両3の動きがリアルタイムで監視可能になる。
【0116】
[駐車場管制方法]
続いて、本実施形態の駐車場管制方法について説明する。
図16は、駐車場管制装置5において実行される処理手順の一例を示すフローチャートである。ここでは、監視対象物として車両3を例に挙げて説明する。
【0117】
画像取得部71は、駐車場11内に設置された複数の管制カメラからの画像情報を取得する(ステップ201)。
【0118】
本実施形態では、入口カメラ29a等の撮影画像から駐車場11へ入場する車両3のナンバープレートを読み取ることで、車両識別部72において当該車両の識別情報が取得される。さらに、複数の場内カメラ32や駐車スペースカメラ33などから駐車場11内を走行する車両が映り込んだ撮影画像がカメラごとに取得される。
【0119】
続いて、検出不可能領域設定部76は、予め設定されている管制カメラの設置位置に起因して生じる死角領域情報に、各カメラからの撮影画像に基づいて検出した、カメラの故障による検出不可能領域情報と、撮影画像内に位置する障害物に起因する死角領域情報を加えて、検出不可能領域を設定する(ステップ202)。カメラの故障による検出不可能領域と撮影画像内に位置する障害物に起因する死角領域が検出されない場合、設定される検出不可能領域は、管制カメラの設置位置に起因して生じる死角領域のみとなる。
【0120】
続いて、枠画像生成部73は、各カメラからの撮影画像に基づいて、撮影画像内の車両を囲む枠画像(三次元枠画像F1、二次元枠画像F2)を生成する(ステップ203)。
生成された枠画像は、車両の識別情報に紐付けられて駐車場DB38へ格納される。この処理は、各カメラの撮影画像について個々に実行される。
【0121】
続いて、表示制御部75は、枠画像生成部73において生成された三次元枠画像F1を管制画面40へ表示させる表示信号を生成する(ステップ204)。
【0122】
三次元枠画像F1は、各カメラの撮影画像を表示する画面ごとに当該撮影画像に重畳して表示される(
図7参照)。異なるカメラで同一の車両が撮影されている場合には、各カメラの撮影画像において共通の態様(例えば、共通の色)の三次元枠画像が表示される。また、他の車両が同時に映り込んでいる場合には、車両ごとに異なる態様(例えば、色)の三次元枠画像が表示される。これにより、管制画面40上において各車両を視覚的に識別できるとともに、各車両の走行位置や走行方向を直感的に把握することができる。
【0123】
続いて、座標算出部74は、枠画像(三次元枠画像F1、二次元枠画像F2)に基づいて車両の平面位置座標を算出する(ステップ205)。
【0124】
座標算出部74は、算出された各車両3の平面座標及び検出不可能領域がマッピングされた駐車場11の平面図データ11Dを生成する。上述のように本実施形態では、二次元枠画像F2に基づいて各車両3の平面座標位置を粗く算出し、その後に三次元枠画像F1に基づいて各車両3の平面座標位置を高精度に算出する。これにより、走行中の車両3にあっては、二次元枠画像F1に基づく平面位置座標での追尾が可能となり、車両3をロストすることなく監視を続けることができる。また、三次元枠画像F3に基づく平面位置座標での位置の特定が可能となるため、後述するヒートマップ情報を高精度に生成することができる。
なお、車両3の平面位置座標の算出処理(ステップ205)は、枠画像の管制画面40への表示処理(ステップ204)の前に行われてもよいし、これと同時に行われてもよい。
【0125】
続いて、ヒートマップ生成部78は、検出不可能領域及び三次元枠画像F1に基づく各車両3の平面位置座標に基づいて、検出不可能領域情報を含み、駐車場11内の位置と走行危険度とが関連付けられたヒートマップHMを生成する(ステップ206)。生成された平面図データ11D及びヒートマップHMは、自動バレー管理装置37へ送信される(ステップ207)。
【0126】
これにより、自動運転車両3aの走行を直接的に制御することが可能となる。この結果、高い安全性を実現することが可能となる。もちろんヒートマップHMを受信した自動運転車両3aが、ヒートマップHMに付与された走行条件を必ず遵守しないといけない場合に限定されるわけではない。ヒートマップHMに付与された走行条件を参照しつつ、最も安全な走行方法等を自ら判定するといったことも可能である。
【0127】
以上の処理が繰り返し実行されることで、駐車場11内の車両3の動きがリアルタイムで監視可能になる。車両3だけでなく、歩行者4の動きや落下物等の物体の有無についても同様に監視可能である。更に、カメラによる対象物の検出が不可能な検出不可能領域も監視可能になる。
【0128】
以上のように、本実施形態によれば、自動運転車両3aと非自動運転車両3bの両方が混在して利用する駐車場等において、駐車場11内の複数の車両の挙動を素早く正確に監視することができる。また、これらの車両の正確な位置情報に基づいて、駐車場11の任意の位置と走行危険度との関係を表すマップ情報が生成可能となるため、自動運転車両3aの走行制御の安全性を高めることができる。更に、本実施形態によれば、カメラの検出不可能領域を表すマップ情報が生成可能となるため、車両3の監視性能が向上する。
【0129】
[自動バレー運転制御方法]
続いて、本実施形態の自動バレー運転制御方法について説明する。
図17は、自動バレー管理装置37において実行される処理手順の一例を示すフローチャートである。ここでは、監視対象物として車両3を例に挙げて説明する。
【0130】
バレー運転制御部92は、通信部91を介して駐車場管制装置5から受信した平面図データ11D及びヒートマップHMを取得する(ステップ301)。
バレー運転制御部92は、平面図データ11D及びヒートマップHMに基づいて、自動運転車両3aに対しての走行及び駐車に関する指示情報を生成する(ステップ302)。具体的には、バレー運転制御部92は、検出不可能領域を含む駐車スペース18へ自動運転車両3aを優先的に駐車させる指示情報を生成する。更に、構内通路17の検出不可能領域内に他の車両3が存在する場合は、当該検出不可能領域へ自動運転車両3aを進入させない指示情報を生成する。
続いて、バレー運転制御部92は、通信部91を介して、平面図データ11D、ヒートマップHM及び指示情報を自動運転車両3aに送信する(ステップ303)。
【0131】
これにより、自動運転車両3aの走行及び駐車が制御され、高い安全性を実現することが可能となる。
検出不可能領域を含む駐車スペース18に自動運転車両3aが優先的に駐車されるため、検出不可能領域を含む駐車スペース18に非自動運転車両3bが駐車する可能性が低減され、非自動運転車両3bの継続した追尾が可能となり、車両3の監視性能が向上する。
更に、構内通路17の検出不可能領域内に他の車両3が存在する場合は、当該検出不可能領域へ自動運転車両3aを進入させないように制御することにより、検出不可能領域内に複数台の車両3が存在する可能性が低減される。したがって、検出不可能領域から移動して検出可能領域に進入する車両の識別が容易となり、車両3の監視性能が向上する。
【0132】
(他の実施形態)
上記
図15のフローチャートを用いた車両の位置監視方法において、ステップ104で検出していないと判定した場合(NO)、所定時間経過しているか否かを判定するステップ106に進む例をあげたが、これに限定されず、例えば
図18に示すフローであってもよい。
図18において、
図15と同じステップについては同じステップ名を付し、説明を省略する。
【0133】
図18に示すように、監視部80は、ステップ104で車両3を検出すると(YES)、車両3の位置を更新する(ステップ105)。検出しないと(NO)、ステップ406に進む。
【0134】
ステップ406において、監視部80は、推定された第2のカメラ以外のカメラの撮影画像に追尾対象の車両3が映しだされているか否かを検出する。尚、ステップ406において、第2のカメラの次に撮影されると推定されるカメラの撮影画像を用いて検出処理をしてもよい。
監視部80は、ステップ406で車両3を検出すると(YES)、車両3の位置を更新する(ステップ407)。
監視部80は、ステップ406で車両3を検出しないと(NO)、ステップ408に進む。
【0135】
ステップ408において、監視部80は、推定された第2のカメラが撮影する第2の撮影画像における追尾対象の車両3の検出処理開始から所定時間経過しているか否かを判定する。
所定時間経過していないと判定すると(NO)、ステップ103に戻り処理が繰り返される。
所定時間経過したと判定すると(YES)、監視部80は、第1のカメラにおける第1の検出可能領域と第2のカメラにおける第2の検出可能領域との間に、追尾対象の車両3が駐車或いは走行停止等して位置すると推定し(ステップ409)、当該位置を追尾対象の車両3の位置として更新する。車両3の位置は、第1の撮影画像、第1のカメラ及び第2のカメラの位置情報に基づいて推定することができる。
【0136】
以上の処理が繰り返し実行されることで、駐車場11内の車両3の動きがリアルタイムで監視可能になる。
【産業上の利用可能性】
【0137】
本発明の技術は、自律走行機能を有する自動運転車両や、カーシェア等に利用される自動運転車両や、一般の車両に利用される駐車場を統合的に管制する駐車場管制システムにおいて、好適に利用できるものである。
【符号の説明】
【0138】
3…車両
3a…自動運転車両
3b…非自動運転車両
11…駐車場
17…構内通路
18…駐車スペース
29a…入口カメラ
29b…出口カメラ
32…場内カメラ
33…駐車スペースカメラ
71…画像取得部
74…座標算出部
77…マップ情報生成部
79…推定部
80…監視部
81…警告情報生成部
92…自動バレー運転制御部
100…駐車場管制システム
BR…検出不可能領域