(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024110304
(43)【公開日】2024-08-15
(54)【発明の名称】情報提供システム、情報提供装置、及び情報提供方法
(51)【国際特許分類】
G08G 1/00 20060101AFI20240807BHJP
G08G 1/01 20060101ALI20240807BHJP
G08G 1/04 20060101ALI20240807BHJP
H04N 7/18 20060101ALI20240807BHJP
H04N 5/92 20060101ALI20240807BHJP
H04N 5/77 20060101ALI20240807BHJP
H04N 21/235 20110101ALI20240807BHJP
H04N 21/2743 20110101ALI20240807BHJP
【FI】
G08G1/00 D
G08G1/01 A
G08G1/04 D
H04N7/18 J
H04N7/18 U
H04N7/18 D
H04N5/92 010
H04N5/77
H04N21/235
H04N21/2743
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023014827
(22)【出願日】2023-02-02
(71)【出願人】
【識別番号】504050275
【氏名又は名称】株式会社 ミックウェア
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】三浦 成彦
【テーマコード(参考)】
5C053
5C054
5C164
5H181
【Fターム(参考)】
5C053GB06
5C053JA21
5C053LA01
5C053LA11
5C053LA14
5C054CA04
5C054CC02
5C054DA07
5C054EA01
5C054EA03
5C054EA07
5C054EC05
5C054FE12
5C054FF03
5C054GB01
5C054GB05
5C054HA28
5C164FA08
5C164SA25S
5C164SB06P
5C164SC11S
5C164SD12P
5C164YA21
5C164YA30
5H181AA01
5H181BB04
5H181BB13
5H181BB15
5H181CC04
5H181FF04
5H181FF10
5H181FF22
5H181FF33
5H181MC17
5H181MC19
(57)【要約】
【課題】適切な交通情報を、その交通情報を必要とするユーザへ適切に提供可能な情報提供システム、情報提供装置、及び情報提供方法を提供する。
【解決手段】情報提供装置は、事象が発生した場合、事象が発生した場所及び時刻のデータを含む事象データと、位置データ、時間データ及び進行方位を示すデータを含む車両データとに基づき、事象を捉えた映像を撮像した撮像部が搭載されている車両のうち、事象が発生した時刻と対応する時間データと前記事象が発生したレーンと同じ進行方位を示すデータとを含む車両データの送信元の車両を候補として決定し、決定した候補の車両の車載記憶部に記憶されている映像データを収集し、収集した映像データから事象を捉えた特定の画像データを抽出し、抽出された特定の画像データを含む前記事象に関するデータを、ユーザへ向けて送信する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
各車両に搭載されている車載装置と、前記各車両が走行中の道路及び道路周辺で発生した事象を捉えた映像をユーザへ向けて提供する情報提供装置とを含む情報提供システムであって、
前記車載装置は、
搭載されている自車両の周囲及び/又は内部の映像を撮像する撮像部と、
撮像した映像データを、撮像日時を含む撮像条件に関するメタデータと対応付けて記憶する車載記憶部と、
前記自車両の位置を示す位置データと、前記自車両が前記位置にいた時間を示す時間データと、前記自車両の進行方位を示すデータとを含む車両データを情報提供装置へ送信する処理を実行する車両データ送信部と
を備え、
前記情報提供装置は、
前記車両データを前記車載装置から取得する取得部と、
取得した前記車両データを送信元の車両の車両識別データと対応付けて記憶する記憶部と、
前記事象の発生通知を、前記事象が発生した場所及び時刻のデータ、並びに前記事象が発生した道路上のレーンを示すデータを含む事象データと共に取得する事象データ取得部と、
前記車両データ及び事象データに基づき、前記事象を捉えた映像を撮像した撮像部が搭載されている車両のうち、前記事象が発生した時刻と対応する時間データと前記事象が発生したレーンと同じ進行方位を示すデータとを含む前記車両データの送信元の車両を、候補として決定する決定部と、
決定した候補の車両の車載記憶部に記憶されている映像データを収集する映像収集部と、
収集した映像データから、前記事象を捉えた特定の画像データを抽出する抽出部と、
抽出された特定の画像データを含む前記事象に関するデータを、ユーザへ向けて送信する送信部と
を備える情報提供システム。
【請求項2】
各車両が走行中の道路及び道路周辺で発生した事象を捉えた映像をユーザへ向けて提供する情報提供装置であって、
前記車両の位置を示す位置データと、前記車両が前記位置にいた時間を示す時間データと、前記車両の進行方位を示すデータとを含む車両データを取得する車両データ取得部と、
取得した前記車両データを、送信車両の車両識別データと対応付けて記憶する記憶部と、
前記事象の発生通知を、前記事象が発生した場所及び時刻のデータ、並びに前記事象が発生した道路上のレーンを示すデータを含む事象データと共に取得する事象データ取得部と、
前記車両データ及び事象データに基づき、前記事象を捉えた映像を撮像する撮像部が搭載されている車両のうち、前記事象が発生した時刻と対応する時間データと前記事象が発生したレーンと同じ進行方位を示すデータとを含む前記車両データの送信元の車両を、候補として決定する決定部と、
決定した候補の車両の撮像部で撮像された映像データを収集する映像収集部と、
収集した映像データから、前記事象を捉えた特定の画像データを抽出する抽出部と、
抽出された特定の画像データを含む前記事象に関するデータを、ユーザへ向けて送信する特定画像データ送信部と
を備える情報提供装置。
【請求項3】
前記決定部は、
前記事象の種別に応じて、収集対象の範囲を決定し、
前記車両データに基づき、決定した収集対象の範囲に対応する位置を、前記事象が発生時刻に走行した車両を、前記候補として決定する
請求項2に記載の情報提供装置。
【請求項4】
前記決定部は、
前記事象の種別に応じて、収集対象の時間帯を決定し、
前記車両データに基づき、前記事象が発生した場所又は周辺を、決定した収集対象の時間帯に対応する時刻に走行した車両を、前記候補として決定する
請求項2に記載の情報提供装置。
【請求項5】
前記決定部は、前記抽出部によって抽出された映像データを記憶していた実績が記憶されていた車両を、前記候補として優先的に決定する
請求項2に記載の情報提供装置。
【請求項6】
前記映像データは、映像の解像度を示すデータと対応付けられており、
前記決定部は、所定の解像度を示すメタデータが対応付けられた映像データの送信元の車両を、前記候補として優先的に決定する
請求項2に記載の情報提供装置。
【請求項7】
コンピュータが、各車両が走行中の道路及び道路周辺で発生した事象を捉えた映像をユーザへ向けて提供する情報提供方法であって、
前記コンピュータは、
各車両の位置を示す位置データと、前記各車両が前記位置にいた時間を示す時間データと、前記各車両の進行方位を示すデータを含む車両データを取得し、
取得した前記車両データを、送信車両の車両識別データと対応付けて記憶部に記憶し、
前記事象の発生通知を、前記事象が発生した場所及び時刻のデータ、並びに前記事象が発生した道路上のレーンを示すデータを含む事象データと共に取得し、
前記車両データ及び事象データに基づき、前記事象を捉えた映像を撮像する撮像部が搭載されている車両のうち、前記事象が発生した時刻と対応する時間データと前記事象が発生したレーンと同じ進行方位を示すデータとを含む前記車両データの送信元の車両を、候補として決定し、
決定した候補の車両の前記撮像部で撮像された映像データを収集し、
収集した映像データから、前記事象を捉えた特定の画像データを抽出し、
抽出された特定の画像データを含む前記事象に関するデータを、ユーザへ向けて送信する
処理を実行する情報提供方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両に搭載されたドライブレコーダー等の撮像装置で得られる映像を利用した情報提供システム、情報提供装置、及び情報提供方法に関する。
【背景技術】
【0002】
車両が走行する道路で発生した災害、事故、渋滞等、交通に支障をきたすような事象(イベント)は、車両に搭載されているドライブレコーダーで撮像されている可能性がある。特許文献1には、交通情報提供に関するセンターが、渋滞が発生したエリアに存在する車両をその位置に基づいて特定し、その車両から撮像された映像をセンターへ送信するように指示し、受信した映像をエリア外へ提供することが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ドライブレコーダーを搭載した車両の数は増加している。渋滞が発生したエリアに存在する、という条件のみで抽出される車両は数多い。多くの車両から撮像された撮像画像が全て、事象の状況を理解できるような適切な映像であるとは限らない。また、撮像画像をそのままエリア外に提供するのではなく、事故に関係している車両の運転者の顔が特定できてしまう問題等、個人情報の点も配慮することも求められる。
【0005】
本発明は1つの側面において、適切な交通情報を、その交通情報を必要とするユーザへ適切に提供可能な情報提供システム、情報提供装置、及び情報提供方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一実施形態の情報提供システムは、各車両に搭載されている車載装置と、前記各車両が走行中の道路及び道路周辺で発生した事象を捉えた映像をユーザへ向けて提供する情報提供装置とを含む情報提供システムであって、前記車載装置は、搭載されている自車両の周囲及び/又は内部の映像を撮像する撮像部と、撮像した映像データを、撮像日時を含む撮像条件に関するメタデータと対応付けて記憶する車載記憶部と、前記自車両の位置を示す位置データと、前記自車両が前記位置にいた時間を示す時間データと、前記自車両の進行方位を示すデータとを含む車両データを情報提供装置へ送信する処理を実行する車両データ送信部とを備え、前記情報提供装置は、前記車両データを前記車載装置から取得する取得部と、取得した前記車両データを送信元の車両の車両識別データと対応付けて記憶する記憶部と、前記事象の発生通知を、前記事象が発生した場所及び時刻のデータ、並びに前記事象が発生した道路上のレーンを示すデータを含む事象データと共に取得する事象データ取得部と、前記車両データ及び事象データに基づき、前記事象を捉えた映像を撮像した撮像部が搭載されている車両のうち、前記事象が発生した時刻と対応する時間データと前記事象が発生したレーンと同じ進行方位を示すデータとを含む前記車両データの送信元の車両を、候補として決定する決定部と、決定した候補の車両の車載記憶部に記憶されている映像データを収集する映像収集部と、収集した映像データから、前記事象を捉えた特定の画像データを抽出する抽出部と、抽出された特定の画像データを含む前記事象に関するデータを、ユーザへ向けて送信する送信部とを備える。
【0007】
本開示の一実施形態の情報提供システムでは、情報提供装置は、撮像部を含む車載装置を搭載した車両に対し、発生した事象を捉えた映像を撮像している可能性が高い車両の候補を決定してから映像を収集し、適切な映像を抽出して提供する。車両の候補は、事象が発生したレーンと進行方位が同一か否かによって決定され、事象が発生した時刻と対応する時間データを含む車両データの送信元であるか否かで決定される。
【0008】
本開示の一実施形態の情報提供装置は、各車両が走行中の道路及び道路周辺で発生した事象を捉えた映像をユーザへ向けて提供する情報提供装置であって、前記車両の位置を示す位置データと、前記車両が前記位置にいた時間を示す時間データと、前記車両の進行方位を示すデータとを含む車両データを取得する車両データ取得部と、取得した前記車両データを、送信車両の車両識別データと対応付けて記憶する記憶部と、前記事象の発生通知を、前記事象が発生した場所及び時刻のデータ、並びに前記事象が発生した道路上のレーンを示すデータを含む事象データと共に取得する事象データ取得部と、前記車両データ及び事象データに基づき、前記事象を捉えた映像を撮像する撮像部が搭載されている車両のうち、前記事象が発生した時刻と対応する時間データと前記事象が発生したレーンと同じ進行方位を示すデータとを含む前記車両データの送信元の車両を、候補として決定する決定部と、決定した候補の車両の撮像部で撮像された映像データを収集する映像収集部と、収集した映像データから、前記事象を捉えた特定の画像データを抽出する抽出部と、抽出された特定の画像データを含む前記事象に関するデータを、ユーザへ向けて送信する特定画像データ送信部とを備える。
【0009】
本開示の一実施形態の情報提供装置では、車両の位置データ及び時間データを含む車両データは、直接的に車載装置から情報提供装置に送信されることに限られず、他のサーバ装置に記憶されたものを情報提供装置が取得してもよい。
【0010】
車両の候補は、事象が事故の場合と、事象が渋滞の場合とで、収集範囲が異なってもよい。車両の候補は、事象の種別に応じて、収集時間帯が異なってもよい。車両の候補は、実績がある車両が優先的に決定されてもよいし、より解像度が高い映像が撮像した可能性の高い車両が優先的に決定されてもよい。
【0011】
本開示の一実施形態の情報提供方法は、コンピュータが、各車両が走行中の道路及び道路周辺で発生した事象を捉えた映像をユーザへ向けて提供する情報提供方法であって、前記コンピュータは、各車両の位置を示す位置データと、前記各車両が前記位置にいた時間を示す時間データと、前記各車両の進行方位を示すデータを含む車両データを取得し、取得した前記車両データを、送信車両の車両識別データと対応付けて記憶部に記憶し、前記事象の発生通知を、前記事象が発生した場所及び時刻のデータ、並びに前記事象が発生した道路上のレーンを示すデータを含む事象データと共に取得し、前記車両データ及び事象データに基づき、前記事象を捉えた映像を撮像する撮像部が搭載されている車両のうち、前記事象が発生した時刻と対応する時間データと前記事象が発生したレーンと同じ進行方位を示すデータとを含む前記車両データの送信元の車両を、候補として決定し、決定した候補の車両の前記撮像部で撮像された映像データを収集し、収集した映像データから、前記事象を捉えた特定の画像データを抽出し、抽出された特定の画像データを含む前記事象に関するデータを、ユーザへ向けて送信する処理を実行する。
【発明の効果】
【0012】
本開示によれば、適切な交通情報が、必要なユーザへ適切に提供される。
【図面の簡単な説明】
【0013】
【
図2】情報提供システムに含まれる車載装置の構成を示すブロック図である。
【
図4】情報提供システムに含まれる情報提供装置の構成を示すブロック図である。
【
図6】情報提供装置による情報収集の手順の一例を示すフローチャートである。
【
図7】情報提供装置による情報提供の手順の一例を示すフローチャートである。
【
図8】情報提供装置による情報提供の手順の一例を示すフローチャートである。
【
図9】絞り込み手順の一例を示すフローチャートである。
【
図10】車載装置1における事象発生を通知する画面の一例を示す図である。
【発明を実施するための形態】
【0014】
本開示の情報提供システム、情報提供装置、及び情報提供方法について、以下図面を参照しながら、実施形態について説明する。なお、図面に表現された同一の構成部については同一の符号を付し、繰り返しの説明を省略する。
【0015】
図1は、情報提供システム100の概要図である。情報提供システム100は、複数の車両V(図中、V1~V7で個々に区別して示す)のうち、一部の車両V1,V2,V3,V4,V6に搭載された車載装置1を含む。車両V5、及び事故に係る車両V7は、本開示の情報提供システム100による情報提供サービスに加入しておらず、車載装置1を搭載していない。
【0016】
情報提供システム100は、各車載装置1から映像を取得し、車載装置1向けに映像を含む情報を提供する処理を実行する情報提供装置4を含む。情報提供システム100において、複数の車載装置1及び情報提供装置4は、ネットワーク2を介してデータの送受信が可能である。ネットワーク2は、所謂インターネット、イントラネット、無線LAN、移動通信網等を含む。ネットワーク2は、キャリアネットワーク、ETC(登録商標)(Electronic Toll Collection System )用のネットワーク、VICS(登録商標)(Vehicle Information and Communication System)用のネットワーク、情報提供システム100のサービス事業者、車載装置1のメーカ、車両Vのディーラの専用線を含む。
【0017】
情報提供システム100は、地図サーバ3からデータを取得可能である。地図サーバ3は、地図データを格納し、要求に応じて、要求された範囲の地図データを出力する。車載装置1はそれぞれ、例えば車載装置1の1つの機能であるナビゲーションシステムにおいて、車両Vの位置データが示す位置を含む所定範囲の地図データを地図サーバ3へ要求する。車載装置1は、地図サーバ3から地図データを取得し、表示できる。
【0018】
情報提供システム100は、交通センター5からデータを取得可能である。交通センター5は、路側設備、道路に設けられたカメラ、及び車載装置1等から交通網における状況を逐次収集し、災害、事故、渋滞等の事象の発生を検知し、必要に応じて各所へ通知する機関である。情報提供装置4は、交通センター5にて上述の事象が検知された場合、事象が発生した場所の位置データ及び時間データ、道路の識別データ、レーンデータを含む事象データを交通センター5から取得できる。
【0019】
本開示の情報提供システム100は、交通網で発生した事故等の事象に関する映像をサービス加入ユーザへ提供するサービスで使用される。ユーザが、所有車両に搭載する車載装置1に本サービス用のプログラムをインストール(ダウンロード)し、本サービスの利用設定(ユーザ登録)を行なうことで、車載装置1は、情報提供装置4から情報の提供を受けることができる。
【0020】
本開示の情報提供システム100では、道路で事故が発生した場合に、交通センター5にてこれを検知すると、情報提供装置4が事故発生場所の近傍に存在している車両V1,V2,V3,V6をそれらの位置データから抽出する。情報提供装置4は、各車両V1,V2,V3,V6で撮像された映像(静止画像を含む)を収集する。従来の交通情報の提供システムにおいても、同様に、事故の発生場所の近くの車両から映像の収集はしていたが、その中から適切な映像を選んで適切に提示することは実現できていない。本開示の情報提供システム100では、情報提供装置4が、各車両V1,V2,V3,V6の位置や、走行方向に基づき、提供に適切な映像を抽出する。情報提供装置4は、各車両V1,V2,V3,V6の情報提供実績等に基づき、提供に適切な映像を抽出してもよい。そして情報提供装置4は、事故が発生した場所を通過予定の車両V4を抽出すると、車両V4の車載装置1に向けて、決定した映像を含む事故発生の通知を行なう。
【0021】
図2は、情報提供システム100に含まれる車載装置1の構成を示すブロック図であり、
図3は、車載装置1の機能ブロック図である。車載装置1は、例えばマイクロコンピュータである。車載装置1は、車載制御部10と、車載記憶部11と、車載通信部12と、位置検出部13と、撮像部14と、UI(User Interface)部15とを含む。
【0022】
車載制御部10は、一又は複数のCPU(Central Processing Unit )、MPU(Micro-Processing Unit )、GPU(Graphics Processing Unit)、GPGPU(General-purpose computing on graphics processing units)、又は、TPU(Tensor Processing Unit)等のプロセッサである。車載制御部10は、図示しないRAM(Random Access Memory)等の非一時記憶媒体を用い、処理中に生成したデータを非一時記憶媒体に記憶しつつ、車載記憶部11に記憶されている車載プログラムP1に基づき、各機能を発揮する。
【0023】
車載記憶部11は、ハードディスク、SSD(Solid State Drive)、フラッシュメモリ等の不揮発性記憶媒体である。車載記憶部11は、車載制御部10が読み出す車載プログラムP1及び設定データ等を記憶する。車載プログラムP1は、装置外の非一時記憶媒体9に記憶された車載プログラムP9を、車載制御部10が読み出して複製したものであってもよい。車載プログラムP1は、遠隔のサーバ装置が配信するものを、車載制御部10が車載通信部12を介して取得し車載記憶部11に記憶したものであってもよい。
【0024】
車載記憶部11は、予め、車載装置1が搭載されている車両の車種データ117を記憶する。車種データ117は、撮像部14の設置高さの参考データとして記憶される。車載記憶部11は、車種データ117に代替して、撮像部14の高さデータを記憶してもよい。車載記憶部11は、車載制御部10が取得した車両Vの位置を示す位置データ111の履歴を記憶する。車載記憶部11は、車載制御部10が地図サーバ3から取得した地図データ311を記憶する。車載記憶部11は、車載制御部10が撮像部14から取得する映像データ141と、映像が撮像された日時や、カメラの解像度を含むカメラ情報、車種情報等の撮像条件を含むメタデータ142とを含む録画データ114を記憶する。映像データ141の動画形式は、例えばMP4である。MP4は、映像の他、音声、静止画、字幕データも格納することが可能である。動画形式は、MP4に限らない。車載記憶部11は、車載制御部10が交通センター5や情報提供装置4から取得する事象データ511を記憶する。車載記憶部11は、情報提供装置4から提供される情報を表示するための特定画像データ416を記憶する。
【0025】
車載通信部12は、ネットワーク2を介した通信を実現する通信デバイスである。車載通信部12は、ETC通信、キャリア基地局BSとの無線通信、Wi-Fi、 Bluetooth(登録商標)等の近距離無線通信、及びVICS通信等に対応する複数の通信モジュール又はアンテナの内の少なくとも1つを用いる。車載制御部10は、車載通信部12を介して情報提供装置4や、情報提供システム100外にあるサーバとの間でデータを送受信できる。
【0026】
位置検出部13は、車両Vの進行方位を検出する方位センサ、GPS(Global Positioning System)衛星からのGPS信号を検出するGPSセンサ等を含む。位置検出部13は、方位センサ及びGPSセンサからの出力に基づき、車両Vの位置データ111と、位置データ111が示す位置にいた日時を示す時間データ113と、進行方位を示すデータとを、逐次、車載制御部10へ出力する。位置データ111は例えば、少なくとも経度及び緯度を含むグローバル座標系で表現されるデータである。位置データ111は、グローバル座標系に変換可能なローカル座標系で表現されるデータであってもよいし、高度を含んでもよい。時間データ113は、例えば年月日時秒で表現される。時間データ113は、年月日時秒に変換可能な表現であれば、形式は問わない。位置データ111又は時間データ113は、例えば、所定の圧縮方式でデータサイズを圧縮した形式であってもよい。
【0027】
撮像部14は、筐体、レンズ、撮像素子を有するカメラである。撮像素子は、例えば、CCD(Charge-Coupled Device)、若しくはCMOS(Complementary Metal-Oxide-Semiconductor)が挙げられる。撮像部14の筐体は、レンズを通して自車両の前方向を撮像するように設置される。撮像部14は、所定の動画形式で複数のフレーム画像からなる映像データを出力する。映像データは、例えば所定時間毎に区切られる。所定時間は例えば、1分、5分、10分などでよく、所定時間の長さは、車両Vのユーザ(所有者)によって設定されてもよい。
【0028】
撮像部14は、車載装置1と別個の装置(所謂ドライブレコーダー)として搭載されていてもよい。この場合、撮像部(撮像装置)14は、プロセッサ及びメモリを内蔵し、プロセッサは、撮像素子から得られる映像データ141を、撮像日時を含むメタデータ142と共にメモリに随時記憶し、より古い映像データ141が記憶されている記憶領域に逐次上書きする。
【0029】
撮像部14は、自車両の前方向を撮像するカメラのみならず、自車両の後方を撮像するカメラを含んでもよい。撮像部14は、室内を撮像範囲とするカメラを含んでもよいし、前方向又は後方向のみならず、全方向を撮像するパノラマカメラを含んでもよい。
【0030】
UI部15は、ディスプレイ151と、入力部152と、オーディオデバイス153とを含む。ディスプレイ151は、有機EL又は液晶を用いたディスプレイであって、車載制御部10の処理によって地図画像や、車載記憶部11に記憶されている画像を表示する。ディスプレイ151は、車載制御部10の処理によってGUI(Graphic User Interface)を表示する。
【0031】
入力部152は、ディスプレイ151に内蔵されたタッチパネルである。入力部152は、ディスプレイ151近傍に設けられた物理ボタンを含んでもよい。車載制御部10は、入力部152によってユーザの操作を受け付け、ディスプレイ151に表示されている画面と、入力部152によって検知された操作内容とに基づき、入力されたデータを特定できる。
【0032】
オーディオデバイス153は、スピーカ及びマイクを含む。オーディオデバイス153は、車載制御部10から与えられた音データに応じてスピーカから音声や音楽を出力し、マイクで受信した音声の音データを作成可能である。オーディオデバイス153は、音声認識処理を実行する音声認識部を内蔵し、マイクで受信した音データをテキストデータへ変換できてもよい。車載制御部10は、オーディオデバイス153によってユーザからの入力を受け付けてもよい。
【0033】
このように構成される車載装置1では、車載制御部10が、車載記憶部11に記憶されている車載プログラムP1を読み出して実行することにより、位置データ取得部101、映像データ記憶部102、地図データ取得部103、レーン判別部104、車両データ送信部105、及び特定画像データ出力部106として機能する。
【0034】
車載制御部10は、車両Vがオン状態である間、位置検出部13から位置データ111を取得し、その位置に車両Vが存在した時刻を示す時間データ113と対応付けて車載記憶部11に逐次記憶する(位置データ取得部101)。位置データ111は、履歴として残されるが古いデータから順に消去(上書き)されてもよい。
【0035】
車載制御部10は、車両Vがオン状態である間(オフでも稼働してもよい)、撮像部14が出力する映像データ141を、撮像日時等を含むメタデータ142と共に車載記憶部11(又は車載制御部10内蔵RAMでもよい)に随時記憶する(映像データ記憶部102)。メタデータ142には、車種データ(又は撮像部14の高さデータ)が含まれてもよい。車載制御部10は、より古い映像データ141が記憶されている記憶領域に、新しく取得した映像データ141を逐次上書きする。
【0036】
車載制御部10は、車両Vがオン状態である間、位置データ111が示す位置を含む所定範囲の地図データ311の要求を車載通信部12経由で地図サーバ3へ送り、地図データ311を取得する(地図データ取得部103)。車載制御部10は、地図データ取得部103としての機能によって取得した地図データ311に基づく地図画像をディスプレイ151に出力する。
【0037】
車載制御部10は、撮像部14が出力する映像データを構成するフレーム画像に対する画像処理により、車線を検知して車載装置1が搭載されている車両Vの走行レーン(車線)を判別する機能を有する(レーン判別部104)。車載制御部10は、レーン判別部104として機能することにより、走行中のレーンを識別するデータ(センターラインから何レーン目か)を逐次RAMに記憶する。
【0038】
車載制御部10は、位置データ取得部101によって取得した位置データ111及び対応する時間データ113を含む車両データを、要求に応じて、又は、自律的に情報提供装置4へ車載通信部12から送信する(車両データ送信部105)。車載制御部10は、車両データに、レーン判別部104として判別したレーン識別データを含めて送信する。
【0039】
車載制御部10は、後述する情報提供装置4の処理によって得られる特定画像データ416を含む事象発生通知画面を、ディスプレイ151へ出力する(特定画像データ出力部106)。
【0040】
車載装置1の車載制御部10の各機能による処理の詳細は、フローチャートを参照して後述する。
【0041】
図4は、情報提供システム100に含まれる情報提供装置4の構成を示すブロック図であり、
図5は、情報提供装置4の機能ブロック図である。情報提供装置4は、サーバコンピュータを用いる。情報提供装置4は、1台のサーバコンピュータで構成されてもよいし、複数のコンピュータで処理の内容別、機能別、又は地域別に分散するように構成されてもよい。
【0042】
情報提供装置4は、制御部40、記憶部41、通信部42を備える。制御部40は、一又は複数のCPU、MPU、GPU、GPGPU、又は、TPU等のプロセッサを採用する。制御部40は、図示しないRAM等の非一時記憶媒体を用い、処理中に生成したデータを非一時記憶媒体に記憶しつつ、記憶部41に記憶されている情報提供プログラムP4に基づき、各機能を発揮する。
【0043】
記憶部41は、ハードディスク、SSD、フラッシュメモリ等の不揮発性記憶媒体である。記憶部41は、制御部40が読み出す情報提供プログラムP4と、制御部40が参照するデータ、制御部40が送受信するデータ等を記憶する。情報提供プログラムP4は、装置外の非一時記憶媒体8に記憶された情報提供プログラムP8を、制御部40が読み出して複製したものであってもよい。情報提供プログラムP4は、遠隔のサーバ装置が配信するものを、制御部40が通信部42を介して取得し、記憶部41に記憶したものであってもよい。
【0044】
記憶部41は、予め、情報提供システム100によって実現される情報提供サービスのサービス加入ユーザのユーザデータ411を記憶する。ユーザデータ411は、ユーザを識別するユーザIDと対応付けてられた、ユーザが乗る車両V(の車載装置1)を識別するデータを含む。車載装置1を識別するデータは、例えば車両番号であってもよいし、車載装置1のMACアドレスであってもよい。
【0045】
記憶部41は、車両データ取得部401の機能によって取得された各車両の位置データ111を含む車両データ412を記憶する。車両データ412には、車両Vを識別する車両識別データが対応付けられる。記憶部41は、制御部40が地図サーバ3から取得する地図データ311を記憶する。記憶部41は、制御部40が交通センター5からの事象発生の通知を受けた場合、その事象の場所、事象の種類、及び事象の発生日時(推測)を含む事象データ511を記憶する。記憶部41は、制御部40が車載装置1から取得する録画データ114から抽出した特定の画像の特定画像データ416を記憶する。
【0046】
通信部42は、ネットワーク2を介した通信を実現する通信デバイスである。通信部42は、複数の車載装置1との間でデータの送受信を実行するための通信デバイスと、地図サーバ3及び交通センター5からデータを取得するための通信デバイスとを含む。通信部42は、通信相手との通信規格に応じて複数の種類の通信デバイスを含んでよい。
【0047】
このように構成される情報提供装置4は、制御部40が、記憶部41に記憶されている情報提供プログラムP4を読み出して実行することにより、車両データ取得部401、事象データ取得部402、決定部403、映像収集部404、抽出部405、特定画像データ送信部として機能する。
【0048】
制御部40は、情報提供装置4が起動している間、所定の周期で車載装置1を搭載している車両Vへ向けて、各車両Vの位置を示す位置データ、及び車両Vの進行方位を示すデータを含む車両データ412の要求を送信する。制御部40は、車両データ412に含まれるべきデータとして、ナビゲーションシステムにて誘導中であれば、進行予定経路のデータを要求してもよい。制御部40は、車両データ412に含まれるべきデータとして、車種データ(又は撮像部14の高さデータ)117を要求してもよい。制御部40は、要求に応じて送信された車両データ412を、通信部42を介して取得し(車両データ取得部401)、車両データ412を車両Vの車両識別データと対応付けて記憶部41に記憶する。制御部40は、車両データ取得部401として、車載装置1から直接的に車両データを取得するのみならず、車載装置1から他の図示しない記憶装置へ、ネットワーク2を介して送信された車両データを、その記憶装置から取得してもよい。
【0049】
制御部40は、情報提供装置4が起動している間、逐次、交通センター5から事象の発生通知を受信し、事象の発生通知と共に送信される事象の内容を示す事象データ511を受信する(事象データ取得部402)。制御部40は、受信した事象データ511を記憶部41に記憶する。事象データ511には、事象を識別する事象識別データが対応付けられる。
【0050】
制御部40は、検知された事象を捉えた映像を撮像した可能性のある車両を、その事象が発生した場所及び周辺を、事象が発生した時刻及びその前後に走行した車両から決定する(決定部403)。制御部40は、決定した候補から、事象が発生した時刻及びその前後に撮像部14で撮像した録画データ114を収集する(映像収集部404)。制御部40は、収集した録画データ114から、その事象を捉えた映像として適切な映像を抽出し、その映像に含まれるフレーム画像から適切なフレーム画像を抽出する(抽出部405)。制御部40は、抽出部405の機能により、個人情報に関わる不適切な映像を除外したり、例えば渋滞の車列を捉えたフレーム画像を抽出したりする処理を実行する。制御部40は、学習済みモデルを用いて、その事象を把握するに足りる特定のフレーム画像を抽出してもよい。制御部40は、抽出された特定の画像の画像データを、事象が発生した場所へ向かおうとする車両Vの車載装置1へ送信する(特定画像データ送信部406)。
【0051】
情報提供装置4の制御部40の各機能による処理の詳細は、フローチャートを参照して後述する。
【0052】
図6は、情報提供装置4による情報収集の手順の一例を示すフローチャートである。情報提供装置4は、起動している間、以下の処理を継続して実行し続ける。なお、以後の説明に用いる各フローチャートに示す「S」は、ステップを示す。
【0053】
情報提供装置4の制御部40は、車載装置1が搭載されている車両Vへ、車両データ412を要求し(S101)、車両Vから送信される車両データ412及び車両識別データを受信し(S102)、記憶部41に記憶する(S103)。S102の処理は、車両データ取得部401に相当する。S101の車両データ412の要求を省略し、車両Vの車載装置1から自律的に車両データ412が所定周期で送信され、情報提供装置4が逐次受信して記憶する構成としてもよい。
【0054】
図7及び
図8は、情報提供装置4による情報提供の手順の一例を示すフローチャートである。情報提供装置4は、起動している間、
図6に示した処理手順とは独立して以下の処理を、事象の発生通知を交通センター5から受信する都度実行する。
【0055】
制御部40は、交通センター5から事象の発生通知を受信したか否かを判断する(S201)。受信していないと判断された場合(S201:NO)、制御部40は、処理をS201へ戻し、各車両Vの最新の位置を収集する処理を継続する。
【0056】
制御部40は、S201で事象の発生通知を受信したと判断した場合(S201:YES)、発生通知と共に受信する事象データ511が含む事象の種類、事象の発生日時(検知日時)、事象の発生場所を、事象識別データと対応付けて記憶する(S202)。S201及びS202は、事象データ取得部402に相当する。
【0057】
事象データ511は、事象の種別が渋滞である場合、渋滞が発生している場所(先頭及び末尾)の位置データ、渋滞が発生している道路の道路識別データ、及び、渋滞が発生しているレーン(上り下り、進行方位)を識別するレーンデータを含む。事象データ511は、事象の種別が交通事故である場合、交通事故が発生した場所の位置データ、及び、交通事故が発生した道路の道路識別データを含む。交通事故に関する事象データ511は、事故車両が存在するレーンを識別するレーンデータを含んでもよい。事象データ511は、事象の種別が災害である場合、災害が発生した場所の位置データ、及び、災害が発生した場所の近傍道路の道路識別データを含む。
【0058】
制御部40は、受信した事象データ511に基づき、事象の種別に応じて、事象が発生した場所の位置、レーン等に基づき、録画データ114の収集範囲を地図上から決定する(S203)。制御部40は例えば、事象が渋滞である場合、渋滞が発生している道路上の、渋滞発生場所から第1の所定距離(先頭から5m、末尾から5m等)以内であって、渋滞が発生している車線(レーン)を収集範囲と決定する。収集範囲に対向車線(レーン)が含まれてもよい。制御部40は、例えば、事象が交通事故である場合、交通事故が発生した場所から第2の所定距離(例えば20m)以内の、両方の車線を収集範囲と決定する。制御部40は、例えば、事象が災害である場合、災害発生した場所から第3の所定距離(例えば10m)以内の、両方の車線(レーン)を収集範囲と決定する。第1の所定距離、第2の所定距離、第3の所定距離は、記憶部41に記憶されている設定データに含まれる。
【0059】
制御部40は、受信した事象データ511に基づき、事象の種別に応じて録画データ114の収集時間帯を決定する(S204)。制御部40は、例えば事象が渋滞である場合、渋滞が検知された時刻以後の30分を収集時間帯と決定する。制御部40は、例えば事象が交通事故である場合、交通事故が検知された時刻以後の60分を収集時間帯と決定する。制御部40は、災害である場合、災害が検知された時刻以後の90分を収集時間帯と決定する。
【0060】
制御部40は、発生した事象を撮像部14で捉えている可能性がある車両Vの候補を決定する(S205)。制御部40は、S205において、決定した収集範囲を、決定した収集時間帯に位置データ111として含む車両データ412を、記憶部41に記憶した車両データ412から抽出し、収集対象候補車両として決定する。S203,S204,S205の処理は、決定部403に相当する。
【0061】
制御部40は、抽出した収集対象候補車両の車両識別データ(車両)を特定し(S206)、特定した車両識別データ(車両)を、収集対象候補車両の車両識別データとして一時的に記憶する(S207)。
【0062】
制御部40は、通知対象車両を抽出する(S208)。制御部40は、S208において、決定した収集範囲から所定の第4距離以内の位置の位置データ111を含み、決定した収集範囲が進行方位の先に該当する車両データ412を抽出する。制御部40は、S208で抽出した通知対象車両の車両識別データを特定し(S209)、S209で特定した車両識別データを、通知対象車両の識別データとして一時的に記憶する(S210)。制御部40は、S208において、決定した収集範囲が、進行予定経路に含まれる車両データ412を抽出してもよい。
【0063】
制御部40は、収集対象候補車両の車両識別データの数(=候補車両の数)が所定数以上であるか否かを判断する(S211)。所定数以上であると判断された場合(S211:YES)、制御部40は、収集対象候補車両を絞り込む処理を実行し(S212)、処理を次のS213へ進める。
【0064】
制御部40は、S211にて収集対象候補車両の数が所定数未満であると判断した場合(S211:NO)、処理をそのまま次のS213へ進める。S212の絞り込み処理は決定部403の処理に含まれる。
【0065】
制御部40は、収集対象候補車両へ向けて、事故発生時点から所定時間後までの録画データ114の要求を通信部42から送信する(S213)。制御部40は、要求に応じて送信された映像データ141及びメタデータ142を含む録画データ114を受信して収集する(S214)。S214の収集処理は映像収集部404に相当する。収集した録画データ114を、送信元の車両識別データと対応付けて一時的に記憶する(S215)。
【0066】
制御部40は、S201で受信した事象データ511の事象に関してS214で受信した録画データ114に含まれるフレーム画像をそれぞれ画像処理し、事象が写っているフレーム画像を1又は複数抽出する(S216)。S216の処理は、抽出部405に相当する。S216において制御部40は、フレーム画像に事象が写っているか否かを判断し、写っていると判断されたフレーム画像のみを抽出してもよい。制御部40は、事象が写っているか否かの判断を、予め学習済みの学習モデルを用いて判断してもよい。学習モデルは、1又は複数の画像が入力された場合に、その画像に事象が写っている確度と、その事象が写っている範囲を示すデータとを出力するように学習されている。学習モデルは、事象が写っている範囲をアノテーションした画像データを教師データとして学習されている。
【0067】
制御部40は、抽出したフレーム画像を、特定画像データ416として、対象の事象データの事象識別データに対応付けて記憶部41に記憶する(S217)。制御部40は、抽出した特定画像データ416を含む映像データの送信元の車両識別データを実績として記憶部41に記憶する(S218)。
【0068】
制御部40は、抽出した特定画像データ416を含む事象発生の通知画面の画面データを作成し(S219)、作成した画面データをS210で記憶した車両識別データの通知対象車両へ送信し(S220)、処理を終了する。S220は、特定画像データ送信部406に相当する。
【0069】
制御部40は、以後、記憶してある事象データが示す事象が発生した場所を範囲に含む地図データ311に関する情報の提供を求めてくる車載装置1に対し、その地図上の事象発生場所に特定画像データ416を表示するように情報を提供できる。制御部40は、当該情報提供を、発生した事象が解消するまで、実施する。解消した後、一定期間は、情報提供装置4は、履歴として事象データと特定画像データを記憶部41に保存しておくとよい。
【0070】
図9は、絞り込み手順の一例を示すフローチャートである。
図9に示す処理手順は、S212の処理の詳細に対応する。制御部40は、以下に示すような優先順位を付与し、映像データの収集対象の車両を絞り込む。制御部40は、S216の処理まで実行し、事象が写っていない場合に次の優先順位の車両へ映像データを要求し、S216の処理を再度繰り返してもよい。
【0071】
制御部40は、S204で決定した時間帯にS203で決定した収集範囲に含まれる位置を走行した車両(車両の車両識別データ)に対し、走行した位置が、事象が発生した場所に近いほどに高いポイントを付与する(S301)。ポイントは、後述のS306で優先順位を付与するためのポイントである。
【0072】
制御部40は、S203で決定した収集範囲に含まれる位置を、S204で決定した時間帯に走行した車両に対し、走行した時刻が、事象が発生した時刻に近いほどに優先順位のためのポイントを加算する(S302)。
【0073】
制御部40は、事象に応じて進行方位が、事象が発生したレーンに一致する車両、又は逆方位である車両に対し、優先順位のためのポイントを加算する(S303)。S303において制御部40は例えば、事象が渋滞である場合は、同一方位のレーンを走行した車両へポイントを加算し、事象が交通事故である場合には、反対車線の中央寄りのレーンを走行した車両へポイントを加算する。S203で同一方位のレーンを走行した車両を候補するように収集範囲を決定している場合、S303の処理は省略されてもよい。
【0074】
制御部40は、解像度がより高い撮像条件をメタデータ142に含む録画データ114を送信する車両に、より高いポイントを加算する(S304)。より明確に写っている可能性が高い画像を抽出できる可能性が高まる。
【0075】
制御部40は、事象の収集範囲に含まれる位置データ111又は時間データ113を含む車両データの連続数が多い車両に、より高いポイントを加算する(S305)。S305で制御部40は、事象が発生した場所に近い範囲を、事象が発生した時刻に近い時間に、より多くの映像データ141を撮像している可能性が高い車両を優先的に絞り込むことができる。
【0076】
制御部40は、過去に収集された録画データ114に対応付けられている車両識別データで識別される車両に、録画データ114の件数に応じてポイントを加算する(S306)。
【0077】
制御部40は、S301からS306までに与えられたポイントが高い順に、車両に対して優先順位を付与し(S307)、優先順位の上位、所定数の車両を絞り込み(S308)、絞り込み処理を終了する。S301からS306の処理は、一部が省略されてもよいし、全て実行されてもよい。
【0078】
図10は、車載装置1における事象発生を通知する画面500の一例を示す図である。画面500は、
図1において、車両V7の事故が発生したことを交通センター5が検知したことを契機に、情報提供装置4から車両V4の搭乗者であるユーザに向けて提供される情報を示す。画面500には、
図1中の車両V7の事故の発生時に、付近を走行した車両V1,V2,V3,V6の車載装置1で撮像された映像データから抽出された特定画像データ416に基づく画像が含まれている。画面500には、事象データ511に基づき、発生した事象の内容(事故、渋滞等)と、事象が発生した場所にアイコン501や範囲を示すグラフィック502が含まれている。
【0079】
図10に示すような画面を、事象が発生した場所へ向かう、また、その場所がルート上にある車両V4に搭載されているディスプレイ151に表示することにより、搭乗者であるユーザは、進行方向の先に事象が発生していることを視覚的に把握できる。事象を捉えた画像として、適切な画像が抽出され、情報を視認するユーザが納得する適切な情報が提示可能である。個人情報や、事象に当てはまらない画像が表示されることがなく、適切な情報提供がされる。
【0080】
画面500が表示される装置は、車載装置1に限らず、交通情報を検索するアプリケーションプログラムが動作している通信端末装置、例えばスマートフォンやタブレット、パーソナルコンピュータ等であってもよい。
【0081】
上述のように開示された実施の形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。
【符号の説明】
【0082】
100 情報提供システム
1 車載装置
10 車載制御部
11 車載記憶部
14 撮像部
15 UI部
151 ディスプレイ
4 情報提供装置
40 制御部
401 車両データ取得部
402 事象データ取得部
403 決定部
404 映像収集部
405 抽出部
406 特定画像データ送信部
41 記憶部
42 通信部
P1 車載プログラム
P4 情報提供プログラム