ホーム > 特許ランキング > 東芝情報システム株式会社
特許7301715監視カメラ利用車両システムに適用される状態予測サーバおよび注意喚起装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-23
(45)【発行日】2023-07-03
(54)【発明の名称】監視カメラ利用車両システムに適用される状態予測サーバおよび注意喚起装置
(51)【国際特許分類】
G08G 1/00 20060101AFI20230626BHJP
G08G 1/14 20060101ALI20230626BHJP
G08G 1/01 20060101ALI20230626BHJP
G08G 1/09 20060101ALI20230626BHJP
【ＦＩ】
G08G1/00 A
G08G1/14 A
G08G1/01 D
G08G1/01 K
G08G1/09 F
G08G1/00 X
【請求項の数】
8
(21)【出願番号】P 2019196366
(22)【出願日】2019-10-29
(65)【公開番号】P2021071774
(43)【公開日】2021-05-06
【審査請求日】2021-08-06
(73)【特許権者】
【識別番号】391016358
【氏名又は名称】東芝情報システム株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(74)【代理人】
【識別番号】100162570
【弁理士】
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】明井 正治
【審査官】田中 将一
(56)【参考文献】
【文献】特開２０１９－１６８９５３（ＪＰ，Ａ）
【文献】特開２０１９－１２１０４０（ＪＰ，Ａ）
【文献】特開２００９－０６４２７６（ＪＰ，Ａ）
【文献】特開２０１５－２３０４７８（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０８Ｇ １／００ － ９９／００
(57)【特許請求の範囲】
【請求項1】
駐車場内における車両や人の状態を予測するためのサーバであって、前記駐車場内の人や車両の位置、移動方向、速さ、属性の内容、および、時刻情報からなる状況記録レコードを状況記録データベースに記録する状況記録処理部と、
前記状況記録レコードの時系列に基づいて搭乗可能性を推測し、前記搭乗可能性を含む状況記録レコードの内容と、車両情報とに基づいて、優先度決定ルールに従い、前記状況記録レコードごとに注意喚起に関する優先度を算出し、前記優先度が１より大きな値の対象物について、注意喚起のための説明および音声データである注意喚起情報データを生成する注意喚起作成処理部とを備え、
前記属性の内容は、車両固有の項目として、前記車両の搭乗者の有無、前記搭乗者の動作、ドアの開放の有無、および周辺作業の有無を含み、人固有の項目として、前記人の姿勢、年齢、歩行補助具の有無、および体の向きを含み、
前記優先度決定ルールは、車両の状態と、車両以外の状態と、車両と人および物との関連推定結果との３つに分類されて設けられている、状態予測サーバ。
【請求項2】
前記生成された注意喚起情報データを、前記駐車場内における各車両に送信する注意喚起情報送信処理部をさらに備えた、請求項１に記載の状態予測サーバ。
【請求項3】
前記車両情報は、前記駐車場内の車両の位置、移動経路、および移動の速さを含む、請求項１または２に記載の状態予測サーバ。
【請求項4】
前記状況記録処理部は、前記駐車場へ進入し、所定位置へ停車後に、ドアの開閉および周辺の歩行者が観測されていない車両に、搭乗者がいると判定し、判定結果である状況記録レコードを、前記状況記録データベースに記録する、請求項１乃至３のうち何れか１項に記載の状態予測サーバ。
【請求項5】
前記状況記録処理部は、前記駐車場に停車中の車両の近辺での歩行者の消失、およびこの車両のドアの開閉が観測された場合、この車両に搭乗者がいると判定し、判定結果である状況記録レコードを、前記状況記録データベースに記録する、請求項１乃至３のうち何れか１項に記載の状態予測サーバ。
【請求項6】
駐車場内における車両に注意喚起を行うために、前記車両に搭載された装置であって、前記車両に搭載されたＥＣＵから、当該車両に関する車両情報を収集する車両情報収集処理部と、
前記駐車場内における車両や人の将来の状態を予測するための状態予測サーバから、前記駐車場内の車両および人の位置、移動方向、速さ、属性の内容、および、時刻情報からなる状況記録レコードを受信する受信処理部と、
前記受信した状況記録レコードの時系列に基づいて搭乗可能性を推測し、前記搭乗可能性を含む状況記録レコードの内容と、車両情報とに基づいて、優先度決定ルールに従い、前記状況記録レコードごとに注意喚起に関する優先度を算出し、前記優先度が１より大きな値の対象物について、注意喚起のための説明および音声データである注意喚起情報データを生成する注意喚起作成処理部と、
前記注意喚起情報データに基づいて、テキスト表示または音声出力により、当該車両の運転者に、当該車両の周辺環境に関する注意を促す制御処理部と
を備え、
前記属性の内容は、車両固有の項目として、前記車両の搭乗者の有無、前記搭乗者の動作、ドアの開放の有無、および周辺作業の有無を含み、人固有の項目として、前記人の姿勢、年齢、歩行補助具の有無、および体の向きを含み、
前記優先度決定ルールは、車両の状態と、車両以外の状態と、車両と人および物との関連推定結果との３つに分類されて設けられている、注意喚起装置。
【請求項7】
前記車両情報は、当該車両の位置、移動経路、および移動の速さを含む、請求項６に記載の注意喚起装置。
【請求項8】
当該車両に、自動運転システムが搭載されている場合、前記制御処理部は、前記注意喚起情報データを、自動運転のための車両制御用情報として、前記自動運転システムへ出力する、請求項６または７に記載の注意喚起装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、監視カメラ利用車両システムに適用される状態予測サーバおよび注意喚起装置に関する。
【背景技術】
【0002】
車両の事故防止のために、車両の死角対策が重要である。
【0003】
車両の死角対策としては、当該車両に備えられた車載カメラを用いて、当該車両の周辺監視を行う車載装置が既に実用化され、市販されている。
【0004】
また、他の車両の死角や、建築物等による死角に対する対策として、例えば交差点では、カーブミラーの設置を前提として、特許文献１には、車載カメラによりカーブミラーを認識する技術が開示されている。
【0005】
また、カーブミラーに代わって、地上設置のカメラを用いて、車載側に映像等を送信することで、死角対策を行う技術が、特許文献２、特許文献３、特許文献４に開示されている。
【0006】
このうち、特許文献４では、地上設置のカメラの映像とは別に、車載カメラの映像を車両間で送受することで、車両自身の影になる部分を相互に補完する技術が開示されている。
【先行技術文献】
【特許文献】
【0007】
【文献】特開2006-199055号公報
【文献】特開2001-101566号公報
【文献】特許第2947947号明細書
【文献】特開平7-73400号公報
【非特許文献】
【0008】
【文献】Pham, Viet-Quoc, Tatsuo Kozakaya, and Ryuzo Okada. "DIET: Dynamic Integration of Extended Tracklets for Tracking Multiple Persons." ICPR. 2014.
【発明の概要】
【発明が解決しようとする課題】
【0009】
ところで、以上の記載は、何れも路上走行時における死角対策に関するものであり、駐車場内走行時における死角対策に関するものではない。
【0010】
駐車場内走行時には、路上走行時とは異なる事情がある。このため、下記の様な状況が、同時に複数発生することが想定される。
【0011】
駐車場内では、搭乗者の降車や、無統制な歩行者等の存在がある。また、駐車場内で停車している車両は、継続して停車することが期待され、停車状態からの走行開始は、ある時点で稀な頻度で発生するものとなる。さらには、荷卸しや清掃等、車両周辺での作業や、しゃがんで作業をする人等の存在も想定される。
【0012】
交差点では、車両が一時的に通過するので、運転者は、現状の映像／状況から、次に予測される状況を運転者自身が把握する必要がある。駐車場では、それに加えて、運転者は、運転操作および目視の周辺監視を行いつつ、前述したように同時に複数発生している状況の把握も要求される。
【0013】
このように、駐車場では、運転者は、多くの複雑な状況を一度に把握することが要求される。当然ながら、これは容易なことではなく、運転者の負担を増大させる。
【0014】
したがって、特に、駐車場内での事故を防止するために、車両の影等の死角からの歩行者の飛び出しや、運転者から見えない場所に停車している車両の移動に関する情報を、運転者へ通知することによって、運転者の負担を軽減する技術の提供が望まれている。
【0015】
本発明が解決しようとする課題は、駐車場内での事故の可能性を低減することができる監視カメラ利用車両システムに適用される状態予測サーバおよび注意喚起装置を提供することである。
【課題を解決するための手段】
【0016】
実施形態の状態予測サーバは、駐車場内の人や車両の位置、移動方向、速さ、属性の内容、および、時刻情報からなる状況記録レコードを状況記録データベースに記録する状況記録処理部と、状況記録レコードの時系列に基づいて搭乗可能性を推測し、搭乗可能性を含む状況記録レコードの内容と、車両情報とに基づいて、優先度決定ルールに従い、状況記録レコードごとに注意喚起に関する優先度を算出し、優先度が１より大きな値の対象物について、注意喚起のための説明および音声データである注意喚起情報データを生成する注意喚起作成処理部とを備え、属性の内容は、車両固有の項目として、車両の搭乗者の有無、搭乗者の動作、ドアの開放の有無、および周辺作業の有無を含み、人固有の項目として、人の姿勢、年齢、歩行補助具の有無、および体の向きを含み、優先度決定ルールは、車両の状態と、車両以外の状態と、車両と人および物との関連推定結果との３つに分類されて設けられている。
【0017】
実施形態の注意喚起装置は、車両に搭載されたＥＣＵから、当該車両に関する車両情報を収集する車両情報収集処理部と、駐車場内における車両や人の将来の状態を予測するため状態予測サーバから、駐車場内の車両および人の位置、移動方向、速さ、属性の内容、および、時刻情報からなる状況記録レコードを受信する受信処理部と、受信した状況記録レコードの時系列に基づいて搭乗可能性を推定し、搭乗可能性を含む状況記録レコードの内容と、車両情報とに基づいて、優先度決定ルールに従い、状況記録レコードごとに注意喚起に関する優先度を算出し、優先度が１より大きな値の対象物について、注意喚起のための説明および音声データである注意喚起情報データを生成する注意喚起情報作成処理部と、注意喚起情報データに基づいて、テキスト表示または音声出力により、当該車両の運転者に、当該車両の周辺環境に関する注意を促す制御処理部とを備え、属性の内容は、車両固有の項目として、車両の搭乗者の有無、搭乗者の動作、ドアの開放の有無、および周辺作業の有無を含み、人固有の項目として、人の姿勢、年齢、歩行補助具の有無、および体の向きを含み、優先度決定ルールは、車両の状態と、車両以外の状態と、車両と人および物との関連推定結果との３つに分類されて設けられている。
【図面の簡単な説明】
【0019】
【発明を実施するための形態】
【0020】
以下に、本発明の各実施形態を、図面を参照して説明する。
【0021】
なお、以下の実施形態の説明において、同一部分については、同一符号を用いて示し、重複説明を避ける。
【0022】
（監視カメラ利用車両システムの構成例）
図１は、本発明の実施形態の監視カメラ利用車両システムの一例を示すシステム構成図である。
図１は、本発明の実施形態の監視カメラ利用車両システムの一例を示すシステム構成図である。
【0023】
本発明の実施形態の監視カメラ利用車両システムは、駐車場Ｐに設置された１つまたは複数の監視カメラ２０と、駐車場Ｐに設置され、駐車場Ｐ内の車両を有効範囲とする１つまたは複数のビーコン発信機３０と、監視カメラ２０によって撮像された映像データを取得し、映像データに基づいて、将来の状態を予測するための所定の処理を行う状態予測サーバ４０と、車両Ｃに搭載された注意喚起装置５０とを備えている。注意喚起装置５０は、車両Ｃに搭載された表示器６０、スピーカ６２、および車載ＥＣＵ６４に接続されている。
【0024】
図２は、状態予測サーバおよび注意喚起装置の構成例を示す機能ブロック図である。
【0025】
ビーコン発信機３０は、状態予測サーバ４０へのアクセス情報ａを、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のＢＥＡＣＯＮとして、駐車場Ｐ内に存在する車両Ｃに搭載された注意喚起装置５０へ送信する。
【0026】
駐車場Ｐ内に存在する車両Ｃに搭載された注意喚起装置５０は、ビーコン受信処理部５１、車両情報収集処理部５２、車両情報送信処理部５３、注意喚起情報受信処理部５４、および表示制御処理部５５を備えている。
【0027】
ビーコン受信処理部５１は、ビーコン発信機３０から送信されたアクセス情報ａを受信し、車両情報送信処理部５３に出力する。
【0028】
車両情報収集処理部５２は、車両Ｃに搭載されたカーナビゲーションシステム等の車載ＥＣＵ６４から、駐車場Ｐ内の車両Ｃの位置ｂ、駐車場Ｐ内の車両Ｃの移動経路ｃ、駐車場Ｐ内の車両Ｃの移動の速さｄを取得し、車両情報送信処理部５３に出力する。
【0029】
図３は、駐車場のレイアウトの一例を示す平面図である。
【0030】
車両Ｃの位置（Ａ，Ｂ）は、図３に示すように、駐車場Ｐの入口を原点Ｏとし、東西方向をＸ軸、南北方向をＹ軸とする座標系で規定される。
【0031】
車両情報送信処理部５３は、車両情報収集処理部５２から出力された位置ｂ、移動経路ｃ、および移動の速さｄを取得する。そして、位置ｂ、移動経路ｃ、および移動の速さｄを、アクセス情報ａを用いて、無線ＬＡＮあるいは携帯通信網等の無線通信網７０を介して、状態予測サーバ４０へ送信する。
【0032】
なお、移動経路ｃは、特定の経路が分かっている場合には、特定の経路が考慮される一方、特定の経路が分かっていない場合は、利用可能な全ての経路が考慮されるものとする。
【0033】
注意喚起情報受信処理部５４は、表１に示すデータ構造を有する注意喚起情報データｅを、状態予測サーバ４０から受信し、表示制御処理部５５へ出力する。
【0034】
【表1】
【0035】
表示制御処理部５５は、注意喚起情報データｅから、表２に示すデータ構造の注意喚起情報レコードｆを取り出し、注意喚起情報レコードｆから文字情報ｆ１および音声情報ｆ２を作成し、表示器６０に文字情報ｆ１を、スピーカ６２に音声情報ｆ２を出力する。
【0036】
【表2】
【0037】
表示制御処理部５５は、表示器６０から、文字情報ｆ１を、優先度の高いものから順に、距離、方位に合わせて表示させることができる。表示制御処理部５５は、このようにして表示器６０から文字情報ｆ１を表示させることができることに加えて、文字情報ｆ１の内容に応じて、付加的な情報が重畳された映像を表示することもできる。
【0038】
図４は、表示器から表示される映像の表示例を示す模式図である。
【0039】
表示制御処理部５５は、文字情報ｆ１の内容に応じて、表示器６０から、図４（ａ）に例示するように、図中矢印で示すような進行方向に対する方位、距離、および種別を表示させ、さらに、色によりその優先度を表示させることができる。
【0040】
表示制御処理部５５はさらに、表示器６０から、図４（ｂ）に例示するように、図４（ａ）と同様の内容を、車両Ｃの前方のカメラ（図示せず）の映像に重畳する拡張現実（Argumented Reality）として表示させることができる。
【0041】
表示制御処理部５５はさらにまた、表示器６０から、図４（ｃ）に例示するように、自車（車両Ｃ）の位置を示した駐車場Ｐの平面図を表示させることもできる。
【0042】
表示制御処理部５５は、スピーカ６２から、音声情報ｆ２を再生出力させることができる。
【0043】
状態予測サーバ４０は、車両Ｃの外部に設置され、駐車場Ｐ内に設置された監視カメラ２０によって撮像された映像データｇを処理し、車両Ｃ向けの注意喚起情報を生成する部位であって、映像受信処理部４１、人・物検知処理部４２、状況記録処理部４３、状況記録データベース４４（以降、「状況記録ＤＢ４４」と称する）、車両情報受信処理部４５、注意喚起作成処理部４６、状態判定ルールデータベース４７（以降、「状態判定ルールＤＢ４７」と称する）、および注意喚起情報送信処理部４８を備えている。
【0044】
映像受信処理部４１は、１つまたは複数の監視カメラ２０からの映像データｇを受信し、人・物検知処理部４２に出力する。
【0045】
人・物検知処理部４２は、映像データｇから、駐車場Ｐ内の人や車両Ｃを識別し、その位置ｈ、移動方向ｉ、速さｊ、および表３に示すような属性の内容ｋを推定し、位置ｈ、移動方向ｉ、速さｊ、および属性の内容ｋを、状況記録処理部４３へ出力する。
【0046】
【表3】
【0047】
なお、表３における対象物ＩＤ（＃１）とは、検知された人・物に割り振られたＩＤであり、例えば、非特許文献１に示す方法等により、カメラ視界外の人・物についても同一性を確保しつつ、割り振ることができる。また、位置ｈにしたがって、駐車場Ｐ内における存在位置を、図４（ｃ）のように表示することができる。また、表３における周辺作業（＃９）とは、車両Ｃからの荷卸し等、車両周辺での作業を指す。周辺作業（＃９）が「有り」と推定された車両Ｗ１については、図４（ｃ）に示すように、車両Ｃの運転者が認識できるように、表示器６０から表示することができる。
【0048】
状況記録処理部４３は、人・物検知処理部４２から入力された位置ｈ、移動方向ｉ、速さｊ、内容ｋと、時刻情報ｍとからなる表４に示す状況記録レコードｎを、表５に示すようなデータ構造ｐを有する状況記録ＤＢ４４に記録する。
【0049】
【表4】
【0050】
【表5】
【0051】
なお、表５における搭乗者可能性（＃５）という項目の内容には、人・物検知処理部４２から入力された情報位置ｈ、移動方向ｉ、速さｊ、内容ｋの時系列に基づいて、例えば図５に示す状態遷移図に従って推測された結果である、搭乗者の可能性の大中小が記録される。
【0052】
図５は、状況記録処理部において行われる状態遷移推測の流れを示す状態遷移図である。
【0053】
状況記録処理部４３は、車両への乗車が確認された場合（Ｓ１１、Ｓ１２）、および車両の移動が開始された場合（Ｓ１３、Ｓ１４）は、搭乗者ありの可能性大（Ｓ１）と判定し、降車の確認または近辺での人物の検知がなされた場合（Ｓ２１）、およびドアの解放の確認または近辺での人物（歩行者）が見失われた場合（Ｓ２２）は、搭乗者ありの可能性中（Ｓ２）と判定し、搭乗者ありの可能性中（Ｓ２）の場合であっても、例えば１０分のように所定時間の経過が確認された場合（Ｓ３１）は、搭乗者ありの可能性小（Ｓ３）と判定する。
【0054】
また、状況記録処理部４３は、車両が駐車場Ｐへ進入し、所定位置へ停車後に、ドアの開閉および周辺の歩行者が観測されていない状況から、当該車両の搭乗者ありと判定することもできる。
【0055】
なお、本明細書において、人の動作とは、同一人物の位置の時間経過を追跡することで、移動速度が５ｋｍ／ｈ以上で、走っている、５ｋｍ／ｈ未満で、歩いているまたは止まっているとして判定したものであり、車両Ｃの動作とは、同一車両の位置の時間経過を追跡することで、駐車場Ｐ内の走行状態、駐車枠への駐車作業中等の特定位置周辺での停車以外の動作、停車状態のいずれであるかを判定したものである。
【0056】
車両情報受信処理部４５は、車両情報送信処理部５３からアクセス情報ａとともに送信された位置ｂ、移動経路ｃ、および移動の速さｄを受信し、位置ｂ、移動経路ｃ、および移動の速さｄをまとめて車両情報ｑとして、注意喚起作成処理部４６に出力する。
【0057】
注意喚起作成処理部４６は、状況記録ＤＢ４４に記録されたレコード（対象物）毎に、表６に示す優先度決定ルールｒに従い、注意喚起に関する優先度Ｆを算出する。優先度Ｆの算出方法は後述する通りである。
【0058】
【表6】
【0059】
注意喚起作成処理部４６は、表６（ａ）に示す優先度決定ルールｒａに従い、車両Ｃ以外の対象物（人、動物、物）の各属性の優先度を示す数値を求め、乗算し、結果Ｇを得る。なお、対象物が車両Ｃの場合、注意喚起作成処理部４６は、表６（ｂ）に示す優先度決定ルールｒｂに従い、は、各属性の優先度を示す数値を求め、乗算し、結果Ｇを得る。
【0060】
次に、車両と人・物との関連性を推定するために、注意喚起作成処理部４６は、表６（ｃ）に示す優先度決定ルールｒｃに従い、車両情報ｑと対象物の属性から、各優先度を求め、乗算し、結果Ｈを得る。なお、表６（ｃ）に示す優先度決定ルールｒｃにおける各項目の内容は、表７に示す通りである。
【0061】
【表7】
【0062】
注意喚起作成処理部４６はさらに、自車両Ｃの位置と、対象物位置の情報から距離Ｌを求め、下記式に示すように、結果Ｇおよび結果Ｈを使用することによって、対象物の優先度Ｆを算出する。下記式において、Ｆの値が大きいほど、優先度が高くなる。
【0063】
【数1】
【0064】
【数2】
【0065】
ここで、α、βは、駐車場Ｐの広さや、通行用道路の幅、利用頻度を勘案して予め与えられるパラメータである（例：α＝２、β＝１０）。
【0066】
上記式は、フェルミ統計分布を事故発生の度合い係数として使用したものである。安全性からの進路周辺注意の度合いを絶対温度に対応するものとして、正面方向のみに注意する場合をＴ＝０（α＝Ｋｂ＊Ｔ）とした場合、ある距離（β）以下では、飛び出しなどの条件が成立すれば必ず事故を起こす、周辺へ注意を払った場合は注意力が散逸するため、制動距離以降でも事故率が上がると仮定している。
【0067】
続いて、注意喚起作成処理部４６は、算出された対象物優先度Ｆが、１より大きな値の対象物について、注意喚起のための説明および音声データである、注意喚起情報データｅを生成する。表８は、注意喚起情報データｅの内容の一例を示している。
【0068】
【表8】
【0069】
注意喚起作成処理部４６は、このようにして作成した注意喚起情報データｅを、注意喚起情報送信処理部４８へ出力する。
【0070】
注意喚起情報送信処理部４８は、無線通信網７０を介して、注意喚起装置５０の注意喚起情報受信処理部５４へ注意喚起情報データｅを送信する。
【0071】
このような注意喚起情報データｅにしたがって、表示制御処理部５５では、例えば、以下のような文字情報ｆ１が生成され、表示器６０から表示されるとともに、以下のような文字情報ｆ１を音声として出力するための音声情報ｆ２が生成され、スピーカ６２から再生出力される。
【0072】
「前方の車両等の影にしゃがんだ大人か子供と思われる人物がいます。こちらを認識せずに突然立ち上がったり、飛び出してくる可能性があります。注意してください」。
【0073】
なお、この例における注意喚起情報データｅは、文字および音声を、同一内容としている。このように、文字情報ｆ１と音声情報ｆ２とは、同一内容であっても良いし、あるいは、文字表示／音声読み出しに応じて異なるものとしてもよい。あるいはまた、文字情報ｆ１および音声情報ｆ２は、予め登録された固定された情報を使用するようにしてもよい。
【0074】
（監視カメラ利用車両システムの変形例）
次に、本発明の実施形態の監視カメラ利用車両システムの変形例について説明する。
次に、本発明の実施形態の監視カメラ利用車両システムの変形例について説明する。
【0075】
図６は、変形例で適用される状態予測サーバおよび注意喚起装置の構成例を示す機能ブロック図である。
【0076】
本変形例では、状態予測サーバ４０の構成を、図６に示す様に、図２に示す車両情報受信処理部４５、注意喚起作成処理部４６、状態判定ルールＤＢ４７、および注意喚起情報送信処理部４８を省略し、状況送信処理部４９を付加した構成とする。また、注意喚起装置５０の構成を、図６に示す様に、図２に示す車両情報送信処理部５３、および注意喚起情報受信処理部５４を省略し、車両情報送信処理部５３の代わりに状況受信処理部５６を付加するとともに、状態予測サーバ４０から省略された注意喚起作成処理部４６、および状態判定ルールＤＢ４７を、注意喚起作成処理部４６が、状況受信処理部５６と状態判定ルールＤＢ４７と表示制御処理部５５との間に配置されるように付加した構成とする。
【0077】
このような構成の注意喚起装置５０、表示器６０、およびスピーカ６２を、図７に示すように、スマートフォン等の携帯端末６５で実現することもできる。
【0078】
図７は、注意喚起装置が携帯端末６５で実現された監視カメラ利用車両システムの一例を示すシステム構成図である。
【0079】
図７に示すように、注意喚起装置５０としてスマートフォン等の携帯端末６５で実現する場合、状態予測サーバ４０へのアクセス情報ａを、ビーコン発信機３０から取得することに代えて、ＱＲコード（登録商標）等から取得してもよく、表示器６０およびスピーカ６２を、携帯端末６５に装備された機能で代替利用することができる。なお、この場合、携帯端末６５では、車載ＥＣＵ６４から車両Ｃの位置ｂ、駐車場Ｐ内の車両Ｃの移動経路ｃ、および駐車場Ｐ内の車両Ｃの移動の速さｄを取得することが困難となるが、携帯端末６５に装備されたＧＰＳ機能およびナビゲーション機能を利用して、車載ＥＣＵ６４から車両Ｃの位置ｂ、駐車場Ｐ内の車両Ｃの移動経路ｃ、および駐車場Ｐ内の車両Ｃの移動の速さｄを取得することができる。
【0080】
上述したような構成を有する本発明の実施形態の監視カメラ利用車両システムの具体的な実施例について以下の通り説明する。なお、以下の各実施例の説明において、同一部分については、同一符号を用いて示し、重複説明を避ける。
【0081】
（実施例１）
実施例１では、図１に示すようなシステム構成において、ビーコン発信機３０としてＢｌｕｅｔｏｏｔｈ ＬＥ（登録商標）を用い、図２に示すような構成を有する状態予測サーバ４０への監視カメラ２０からの映像データｇの入力は、ＨＤＭＩ（登録商標）等の専用線により行い、状態予測サーバ４０と、図２に示すような構成を有する注意喚起装置５０との間の無線通信網７０は、駐車場Ｐ内を通信可能領域とするＷｉＦｉ通信、または携帯通信網により構築する。
実施例１では、図１に示すようなシステム構成において、ビーコン発信機３０としてＢｌｕｅｔｏｏｔｈ ＬＥ（登録商標）を用い、図２に示すような構成を有する状態予測サーバ４０への監視カメラ２０からの映像データｇの入力は、ＨＤＭＩ（登録商標）等の専用線により行い、状態予測サーバ４０と、図２に示すような構成を有する注意喚起装置５０との間の無線通信網７０は、駐車場Ｐ内を通信可能領域とするＷｉＦｉ通信、または携帯通信網により構築する。
【0082】
ビーコン発信機３０は、駐車場Ｐ内を通信可能領域とするように、複数設置する。
【0083】
状態予測サーバ４０は、図８に示すフローに従って、映像受信処理部４１において、駐車場Ｐ内の監視カメラ２０から映像データｇを取得し、人・物検知処理部４２を介して状況記録処理部４３において、駐車場Ｐ内の状況を把握し、把握した結果である状況記録レコードｎを、状況記録ＤＢ４４に記録する。
【0084】
駐車場Ｐ内へ進入してきた車両Ｃの注意喚起装置５０もまた、図８に示すフローに従って、ビーコン発信機３０から、アクセス情報ａとして、状態予測サーバ４０のアドレス（例えば、ＵＲＬ）を取得し、このアドレス（ＵＲＬ）を使って状態予測サーバ４０にアクセスし、状態予測サーバ４０の注意喚起情報送信処理部４８から、駐車場Ｐ内の状態に応じた注意喚起情報データｅを取得し、注意喚起情報データｅに基づいて、表示制御処理部５５が、表示器６０に対して文字情報ｆ１を表示させ、スピーカ６２に対して音声情報ｆ２を再生出力させることによって、車両Ｃの運転者に対して、注意を喚起することができる。
【0085】
図８は、実施例１における状態予測サーバおよび注意喚起装置の動作例を示すフローチャートである。
【0086】
先ず、１つまたは複数の監視カメラ２０からの映像データｇを、状態予測サーバ４０の映像受信処理部４１が収集し、人・物検知処理部４２に出力する（Ｓ４１）。
【0087】
次に、人・物検知処理部４２が、映像データｇから、人や物を検知し、検知した人や物の状態（例えば、位置ｈ、移動方向ｉ、速さｊ、および表３に示す項目に対する内容ｋ）を認識し、認識結果を状況記録処理部４３へ出力する（Ｓ４２）。
【0088】
これに応じて、状況記録処理部４３は、位置ｈ、移動方向ｉ、速さｊ、内容ｋと、時刻情報ｍとからなる表４に示す状況記録レコードｎを、表５に示すようなデータ構造ｐを有する状況記録ＤＢ４４に記録する（Ｓ４３）。
【0089】
このタイミングで、車両Ｃが駐車場Ｐに進入したとする（Ｓ４４）。
【0090】
すると、車両Ｃの注意喚起装置５０に備えられたビーコン受信処理部５１は、駐車場Ｐに設置されたビーコン発信機３０からのビーコンを受信し、これに応じて、車両情報送信処理部５３を起動する（Ｓ４５）。
【0091】
車両情報収集処理部５２は、車載ＥＣＵ６４から、駐車場Ｐ内の車両Ｃの位置ｂ、駐車場Ｐ内の車両Ｃの移動経路ｃ、駐車場Ｐ内の車両Ｃの移動の速さｄを取得し、車両情報送信処理部５３に出力する（Ｓ４７）。
【0092】
車両情報送信処理部５３は、車両情報収集処理部５２から出力された位置ｂ、移動経路ｃ、および移動の速さｄを状態予測サーバ４０へ送信する（Ｓ４８）。
【0093】
状態予測サーバ４０では、車両情報受信処理部４５が、車両情報送信処理部５３から送信された位置ｂ、移動経路ｃ、および移動の速さｄを、車両情報ｑとして、注意喚起作成処理部４６に出力する（Ｓ４９）。
【0094】
注意喚起作成処理部４６は、状況記録ＤＢ４４から、人・物の状態情報を取得し、現在時刻、車両情報ｑから、注意喚起情報データｅを作成し、注意喚起情報送信処理部４８へ出力する（Ｓ５０）。
【0095】
注意喚起情報送信処理部４８は、注意喚起装置５０の注意喚起情報受信処理部５４へ注意喚起情報データｅを送信する（Ｓ５１）。
【0096】
注意喚起情報受信処理部５４は、注意喚起情報データｅを、状態予測サーバ４０から受信し、表示制御処理部５５へ出力する（Ｓ５２）。
【0097】
表示制御処理部５５は、注意喚起情報データｅから、注意喚起情報レコードｆを取り出し、注意喚起情報レコードｆから文字情報ｆ１および音声情報ｆ２を作成し、表示器６０から文字情報ｆ１を表示させ、スピーカ６２から音声情報ｆ２を再生出力させる（Ｓ５３）。
【0098】
これによって、車両Ｃの運転者に対して、駐車場Ｐ内の状況に応じた注意を喚起することができる。
【0099】
ステップＳ５３の後は、エンジンが停止されれば図８に示す処理は終了し、エンジンの動作が継続している場合には、処理はステップＳ４６に戻る（Ｓ５４）。
【0100】
（実施例２）
実施例２では、車両Ｃとして、自動運転システムを搭載した車両を想定する。
実施例２では、車両Ｃとして、自動運転システムを搭載した車両を想定する。
【0101】
図９は、実施例２における状態予測サーバおよび注意喚起装置の構成例を示す機能ブロック図である。
【0102】
【0103】
このような構成によって、注意喚起作成処理部４６によって、表１に示すような注意喚起情報データｅが作成される。表示制御処理部５５は、表示器６０へ文字情報ｆ１を出力し、スピーカ６２へ音声情報ｆ２を出力する代わりに、表１に示すような注意喚起情報データｅを、自動運転システム８０へ出力する。
【0104】
このように、注意喚起情報データｅを、自動運転システム８０へ出力することによって、自動運転システム８０による安全確保を実現することができる。
【0105】
（実施例３）
実施例３では、駐車場Ｐにおいて、駐車中の車両の間を移動する歩行者がいる場合を想定する。
実施例３では、駐車場Ｐにおいて、駐車中の車両の間を移動する歩行者がいる場合を想定する。
【0106】
図１０は、実施例３の状況を例示するための駐車場Ｐの部分拡大平面図である。
【0107】
図１０に示す例では、駐車場Ｐに駐車されている車両Ｄ１と車両Ｄ２との間を歩いている子供Ｋがいることを想定する。子供Ｋは身長が小さいので、車両Ｄ１と車両Ｄ２との間に隠れてしまうために、駐車場Ｐを走行している車両Ｃからは、死角になって見えない。
【0108】
このような場合、図２に例示する構成を有する状態予測サーバ４０は、監視カメラ２０の映像データｇから、前述したような処理を行い、結果的に、注意喚起作成処理部４６において、表９に例示するような対象物情報を推定し、推定結果に基づいて、注意喚起情報データｅを作成する。
【0109】
【表9】
【0110】
これに応じて、図２に例示する構成を有する注意喚起装置５０は、表示制御処理部５５において、注意喚起情報データｅに基づいて、例えば、「前方に、こちらの経路を歩いて横切ろうとしている子供がいます。こちらからは車両等の影のため見えないと思われます。また、子供も横方向を向いているため、こちらを認識できていないと思われます。子供は、しゃがんでいるか、歩行補助具を使っている可能性があります。」といった文字情報ｆ１および音声情報ｆ２を作成し、文字情報ｆ１を表示器６０から表示させ、音声情報ｆ２をスピーカ６２から音声出力させる。これによって車両Ｃの運転者に対して注意喚起することができる。
【0111】
（実施例４）
実施例４では、駐車場Ｐにおいて、駐車していた車両が発進する場合を想定する。
実施例４では、駐車場Ｐにおいて、駐車していた車両が発進する場合を想定する。
【0112】
図１１は、実施例４の状況を説明するための駐車場Ｐの部分拡大平面図である。
【0113】
【0114】
図１２は、実施例４における状態予測サーバおよび注意喚起装置の動作例を示すフローチャートである。
【0115】
図１２では、図８のフローチャートにおける処理と同じ処理は、同じステップ番号で示されており、図８のフローチャートと異なる処理は、ステップＳ４４ａおよびステップＳ５４ａのみである。したがって、以下では、同じステップ番号で示される処理の説明は省略し、ステップＳ４４ａおよびステップＳ５４ａの処理および関連するステップの処理について説明する。
【0116】
ステップＳ４４ａでは、車両Ｄ３のエンジンが始動される。これに応じて、ステップＳ４５以降の処理が行われ、結果的に、ステップＳ５０において、注意喚起作成処理部４６において、表１０に例示するような対象物情報が推定され、推定結果に基づいて、注意喚起情報データｅが作成される。
【0117】
【表10】
【0118】
その後、ステップＳ５３では、表示制御処理部５５において、注意喚起情報データｅに基づいて、例えば、「前方に、こちらの経路を横切る方向に駐車作業中と思われる車両がいます。こちらからは車両等の影のため見えないと思われます。また、車両の進行方向が、こちらとは反対方向を向いているため、先方もこちらを認識できていないと思われます。」といった文字情報ｆ１および音声情報ｆ２が作成され、文字情報ｆ１が表示器６０から表示され、音声情報ｆ２がスピーカ６２から音声出力される。これによって車両Ｃの運転者に対して注意喚起することができる。
【0119】
その後、ステップＳ５４ａでは、車両Ｄ４が駐車場Ｐの外に移動すれば図１２に示す処理は終了し、車両Ｄ４がまだ駐車場Ｐ内にあれば、処理はステップＳ４６に戻る。
【0120】
（実施例５）
実施例５では、駐車場Ｐにおいて、車両Ｃの進行方向に、直前に他の車両が駐車し、搭乗者がまだ降車していない場合を想定する。
実施例５では、駐車場Ｐにおいて、車両Ｃの進行方向に、直前に他の車両が駐車し、搭乗者がまだ降車していない場合を想定する。
【0121】
図１３は、実施例５の状況を説明するための駐車場Ｐの部分拡大平面図であり、図１３（ａ）は、他の車両がまだ駐車していない１０分前の状態、図１３（ｂ）は、他の車両である車両Ｄ４が駐車入れしている５分前の状態、図１３（ｃ）は、車両Ｄ４が駐車入れを完了し、車両Ｄ４の搭乗者がまだ降車していない場合に、自車両Ｃが、車両Ｄ４に向かって走行している現在の状態を示す。
【0122】
このような場合も、監視カメラ２０の映像データｇから、図２に示すような構成を有する状態予測サーバ４０および注意喚起装置５０が、図８のフローのように動作することによって、結果的に、注意喚起作成処理部４６において、表１１に例示するような対象物情報を推定し、推定結果に基づいて、注意喚起情報データｅを作成する。
【0123】
【表11】
【0124】
これに応じて、注意喚起装置５０は、表示制御処理部５５において、注意喚起情報データｅに基づいて、例えば、「前方の停車中の車両は、先ほど駐車したばかりで、中に人が乗っている可能性があります。搭乗者が、ドアを開け、降りてくる可能性があります。ドアの開け閉めおよび降りてくる人に注意してください。」といった文字情報ｆ１および音声情報ｆ２を作成し、文字情報ｆ１を表示器６０から表示させ、音声情報ｆ２をスピーカ６２から音声出力させる。さらに、表示制御処理部５５は、表示器６０から、図１４（ａ）に示すように、進行方向に人がいることを示すＡＲ表示、図１４（ｂ）に示すように、進行方向に駐車中の車両内に人がいることを示すＡＲ表示、および図１４（ｃ）に示すように、駐車場Ｐの全体平面表示を行うことができる。これによって車両Ｃの運転者に対して、どの車両に人が乗っているのかを知らせることができ、効果的な注意喚起が可能となる。
【0125】
（実施例６）
実施例６では、駐車場Ｐにおいて、自車両Ｃの進行方向にある駐車中の車両に対して、人が接近し、駐車中の車両のドアが開閉されたものの、いまだにこの車両が停車中である場合を想定する。
実施例６では、駐車場Ｐにおいて、自車両Ｃの進行方向にある駐車中の車両に対して、人が接近し、駐車中の車両のドアが開閉されたものの、いまだにこの車両が停車中である場合を想定する。
【0126】
図１５は、実施例６の状況を説明するための駐車場Ｐの部分拡大平面図であり、図１５（ａ）は、駐車中の車両Ｄ５に対して人Ｋが接近している１０分前の状態、図１５（ｂ）は、人Ｋが車両Ｄ５のドアを開けて、車両Ｄ５に乗り込んだ５分前の状態、図１５（ｃ）は、人Ｋが車両Ｄ５のドアを閉めたが、車両Ｄ５はまだ発進しておらず、この車両Ｄ５に向かって自車両Ｃが接近している現在の状態を示す。
【0127】
このような場合も、監視カメラ２０の映像データｇから、図２に示すような構成を有する状態予測サーバ４０および注意喚起装置５０が、図８のフローのように動作することによって、結果的に、注意喚起作成処理部４６において、表１２に例示するような対象物情報を推定し、推定結果に基づいて、注意喚起情報データｅを作成する。
【0128】
【表12】
【0129】
これに応じて、注意喚起装置５０は、表示制御処理部５５において、注意喚起情報データｅに基づいて、例えば、「前方の停車中の車両は、先ほど中に人が乗車したと思われます。搭乗者は、こちらを見ていない可能性があり、車両の発進、ドアが開いて、人が降りてくる等の可能性があります。」といった文字情報ｆ１および音声情報ｆ２を作成し、文字情報ｆ１を表示器６０から表示させ、音声情報ｆ２をスピーカ６２から音声出力させる。さらに、表示制御処理部５５は、表示器６０から、図１４（ａ）に示すように、進行方向に人Ｋがいることを示すＡＲ表示、図１４（ｂ）に示すように、進行方向に駐車中の車両Ｄ内に人Ｋがいることを示すＡＲ表示、および図１４（ｃ）に示すように、駐車場Ｐの全体平面表示を行うことができる。これによって車両Ｃの運転者に対して、どの車両Ｄに人Ｋが乗っているのかを知らせることができ、効果的な注意喚起が可能となる。
【0130】
以上説明したように、本発明の実施形態の監視カメラ利用車両システムによれば、駐車場Ｐという特定の領域内で、監視カメラ２０からの映像データｇおよび時刻情報に基づいて、車両、搭乗者、および周辺等について、現在の状態のみならず、次に起きると推定される状態をも時系列的に考慮して、具体的かつ適切な注意喚起を運転者に対して行うことができる。また、推定される状態が複数ある場合には、事故発生の可能性および重大度に基づいて決定された優先度を考慮して、注意喚起の内容を決定することもできる。
【0131】
注意喚起の内容は、文字または音声によって、運転者に確実に通知されるので、運転者は、個人の力量や体調に依存する人間的な判断能力に依存することなく、注意すべき点を的確に把握できるようになり、事故につながるような事象を事前に回避することが可能となる。
【0132】
さらに、このような具体的かつ適切な注意喚起のおかげで、運転者の負担が大幅に軽減されるため、運転者は、運転操作および目視の周辺監視により集中できるようなり、駐車場内の安全性がより一層向上されることになる。
【0133】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0134】
２０・・監視カメラ、３０・・ビーコン発信機、４０・・状態予測サーバ、４１・・映像受信処理部、４２・・人・物検知処理部、４３・・状況記録処理部、４４・・状況記録データベース、４５・・車両情報受信処理部、４６・・注意喚起作成処理部、４７・・状態判定ルールデータベース、４８・・注意喚起情報送信処理部、４９・・状況送信処理部、５０・・注意喚起装置、５１・・ビーコン受信処理部、５２・・車両情報収集処理部、５３・・車両情報送信処理部、５４・・注意喚起情報受信処理部、５５・・表示制御処理部、５６・・状況受信処理部、６０・・表示器、６２・・スピーカ、６４・・車載ＥＣＵ、６５・・携帯端末、７０・・無線通信網、８０・・自動運転システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
