IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社 ミックウェアの特許一覧

特開2023-162007イベント映像提供システム、管理装置、イベント映像提供方法、プログラム
<>
  • 特開-イベント映像提供システム、管理装置、イベント映像提供方法、プログラム 図1
  • 特開-イベント映像提供システム、管理装置、イベント映像提供方法、プログラム 図2
  • 特開-イベント映像提供システム、管理装置、イベント映像提供方法、プログラム 図3
  • 特開-イベント映像提供システム、管理装置、イベント映像提供方法、プログラム 図4
  • 特開-イベント映像提供システム、管理装置、イベント映像提供方法、プログラム 図5
  • 特開-イベント映像提供システム、管理装置、イベント映像提供方法、プログラム 図6
  • 特開-イベント映像提供システム、管理装置、イベント映像提供方法、プログラム 図7
  • 特開-イベント映像提供システム、管理装置、イベント映像提供方法、プログラム 図8
  • 特開-イベント映像提供システム、管理装置、イベント映像提供方法、プログラム 図9
  • 特開-イベント映像提供システム、管理装置、イベント映像提供方法、プログラム 図10
  • 特開-イベント映像提供システム、管理装置、イベント映像提供方法、プログラム 図11
  • 特開-イベント映像提供システム、管理装置、イベント映像提供方法、プログラム 図12
  • 特開-イベント映像提供システム、管理装置、イベント映像提供方法、プログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023162007
(43)【公開日】2023-11-08
(54)【発明の名称】イベント映像提供システム、管理装置、イベント映像提供方法、プログラム
(51)【国際特許分類】
   G08G 1/04 20060101AFI20231031BHJP
   G08G 1/00 20060101ALI20231031BHJP
   H04N 7/18 20060101ALI20231031BHJP
   H04N 5/92 20060101ALI20231031BHJP
   H04N 5/77 20060101ALI20231031BHJP
   G16Y 40/20 20200101ALI20231031BHJP
   G16Y 20/20 20200101ALI20231031BHJP
   G16Y 10/40 20200101ALI20231031BHJP
   G08G 1/137 20060101ALI20231031BHJP
【FI】
G08G1/04 C
G08G1/00 J
H04N7/18 D
H04N5/92 010
H04N5/77
G16Y40/20
G16Y20/20
G16Y10/40
G08G1/137
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022072708
(22)【出願日】2022-04-26
(71)【出願人】
【識別番号】504050275
【氏名又は名称】株式会社 ミックウェア
(72)【発明者】
【氏名】三浦 成彦
【テーマコード(参考)】
5C053
5C054
5H181
【Fターム(参考)】
5C053GB06
5C053JA21
5C053LA01
5C053LA11
5C053LA14
5C054CA04
5C054CC02
5C054DA07
5C054EA01
5C054EA03
5C054EA05
5C054EA07
5C054FC12
5C054FD03
5C054FD07
5C054FE12
5C054FE16
5C054FF03
5C054GB01
5C054GB05
5C054GB18
5C054GD05
5C054GD09
5C054HA19
5C054HA30
5H181AA01
5H181BB04
5H181BB13
5H181CC04
5H181FF04
5H181FF10
5H181FF13
5H181FF22
5H181FF27
5H181FF32
5H181MC17
5H181MC19
(57)【要約】      (修正有)
【課題】イベント状況をより適切に伝える映像を抽出して利用者に提供する。
【解決手段】各車両が搭載する各車載装置1と、道路で発生したイベントに関するイベント映像を、提供すべき対象車両の車載装置1に送信する管理装置4とを含むイベント映像提供システムにおいて、管理装置4は、イベント発生位置及び日時から収集範囲を決定し、収集範囲に存在した特定車両と、イベント発生位置に向かう対象車両とを抽出し、特定車両から映像データに対応付けられているメタ情報を受信し、メタ情報を変換情報で評価点に変換し、評価点が最も高い高得点メタ情報と対応付けられている特定映像データを特定車両から受信して対象車両に提供する。
【選択図】図1
【特許請求の範囲】
【請求項1】
各車両が搭載する各車載装置と、前記車両が走行する道路で発生したイベントに関するイベント映像を、提供すべき対象車両の前記車載装置に送信する管理装置とを含むイベント映像提供システムであって、
各前記車載装置は、
搭載された自車両の位置と前記位置にいた時刻とを含む位置情報を逐次取得する位置情報取得部と、
前記管理装置に、自身を識別する識別情報と前記位置情報とを含む車両位置情報を逐次送信する車載通信部と、
前記自車両の周囲を撮像した映像を示す映像データを生成する撮像部と、
前記映像に関連する情報として、前記位置情報を含むメタ情報を生成するメタ情報生成部と、
前記映像データと前記メタ情報とを対応付けて記録する記録部とを備え、
前記管理装置は、
前記車両位置情報を逐次受信する管理通信部と、
前記イベントが発生した発生位置と発生日時を含むイベント情報を取得するイベント情報取得部と、
前記イベント情報に基いて、前記イベント映像の収集範囲として所定エリア及び時間を決定する収集範囲決定部と、
前記車両位置情報に基いて、前記車両のうち前記収集範囲に存在した特定車両と、前記収集範囲に存在せず、前記発生位置に向かって走行し、前記発生位置から所定範囲に存在する前記対象車両とを抽出する車両抽出部と、
前記特定車両の前記車載装置に対して、前記収集範囲において記録した前記映像データと対応付けている前記メタ情報を要求するメタ情報要求部と、
前記メタ情報を点数に変換する情報である変換情報を記憶する管理記憶部と、
前記管理通信部により前記車載装置から受信した複数の前記メタ情報を記憶し、前記変換情報を用いて前記点数に変換する評価部と、
複数の前記メタ情報のうち、前記点数が最も高い高得点メタ情報を送信した前記車載装置に対して、前記高得点メタ情報と対応付けている特定映像データを要求する特定映像データ要求部と、
前記イベント情報及び前記特定映像データを、前記対象車両の前記車載装置に提供する提供部と、を備え、
前記対象車両の前記車載装置は、更に、
少なくとも前記道路を含む地図を示す地図情報を取得する地図情報取得部と、
前記地図情報、前記位置情報、前記提供部から提供された前記イベント情報及び前記特定映像データに基いて、前記道路における前記対象車両の位置と、前記発生位置と前記イベント映像を前記地図に重畳して表示する表示部とを備える、
ことを特徴とするイベント映像提供システム。
【請求項2】
各前記車載装置は、更に、
前記映像を解析して前記映像に含まれる所定の対象物を検出する対象物検出部と、
前記映像における前記対象物の検出領域が含まれない割合を示す有用率を算出する算出部と、を備え、
前記メタ情報生成部は、前記有用率を含む前記メタ情報を生成する、
ことを特徴とする請求項1記載のイベント映像提供システム。
【請求項3】
前記イベント情報には、前記イベントが発生したレーンを示すイベント発生レーン情報が含まれ、
各前記車載装置は、更に、
前記映像を解析して前記映像に含まれる前記道路の区画線を検出する区画線検出部と、
前記位置情報に基いて、前記道路のレーン数を含む道路情報を取得する道路情報取得部と、
前記道路情報及び前記区画線の検出結果から、前記自車両が走行する走行レーンを判定するレーン判定部と、を備え、
前記メタ情報生成部は、前記走行レーンを示す走行レーン情報を含む前記メタ情報を生成する、
ことを特徴とする請求項1記載のイベント映像提供システム。
【請求項4】
各前記車載装置は、更に、
前記自車両の車種を示す車種情報を記憶する車載記憶部を備え、
前記メタ情報生成部は、前記車種情報を含む前記メタ情報を生成する、
ことを特徴とする請求項1記載のイベント映像提供システム。
【請求項5】
車両の周囲を撮像した映像の映像データと、前記映像に関するメタ情報とを対応付けて記録する各車載装置から、各前記車載装置自身を識別する識別情報と、各前記車載装置が搭載された前記車両の位置と、前記位置の日時とを含む車両位置情報を逐次受信する管理通信部と、
前記車両が走行する道路で発生したイベントの発生位置と発生日時を含むイベント情報を取得するイベント情報取得部と、
前記イベント情報に基いて、前記イベントに関するイベント映像の収集範囲として所定エリア及び時間を決定する収集範囲決定部と、
前記車両位置情報に基いて、前記車両のうち前記収集範囲に存在した特定車両と、前記収集範囲に存在せず、前記発生位置に向かって走行し、前記発生位置から所定範囲に存在する対象車両とを抽出する車両抽出部と、
前記特定車両の前記車載装置に対して、前記収集範囲において撮像した前記映像のメタ情報を要求するメタ情報要求部と、
前記メタ情報を点数に変換する情報である変換情報を記憶する管理記憶部と、
前記管理通信部により前記車載装置から受信した複数の前記メタ情報を記憶し、前記変換情報を用いて前記点数に変換する評価部と、
複数の前記メタ情報のうち、前記点数が最も高い高得点メタ情報を送信した前記車載装置に対して、前記高得点メタ情報と対応付けている特定映像データを要求する特定映像データ要求部と、
前記イベント情報及び前記特定映像データを、前記対象車両の前記車載装置に提供する提供部と、を備えることを特徴とする管理装置。
【請求項6】
イベントに関する映像を提供する管理装置に用いられるイベント映像提供方法において、
車両の周囲を撮像した映像の映像データと、前記映像に関するメタ情報とを対応付けて記録する各車載装置から、各前記車載装置自身を識別する識別情報と、各前記車載装置が搭載された前記車両の位置と、前記位置の日時とを含む車両位置情報を逐次受信し、
前記車両が走行する道路で発生した前記イベントの発生位置と発生日時を含むイベント情報を取得し、
前記イベント情報に基いて、前記イベントに関するイベント映像の収集範囲として所定エリア及び時間を決定し、
前記車両位置情報に基いて、前記車両のうち前記収集範囲に存在した特定車両と、前記収集範囲に存在せず、前記発生位置に向かって走行し、前記発生位置から所定範囲に存在する対象車両とを抽出し、
前記特定車両の前記車載装置に対して、前記収集範囲において撮像した前記映像のメタ情報を要求し、
前記車載装置から受信した複数の前記メタ情報を記憶し、変換情報を用いて、前記メタ情報を点数に変換し、
複数の前記メタ情報のうち、前記点数が最も高い高得点メタ情報を送信した前記車載装置に対して、前記高得点メタ情報と対応付けている特定映像データを要求し、
前記イベント情報及び前記特定映像データを、前記対象車両の前記車載装置に提供する、
イベント映像提供方法。
【請求項7】
イベントに関する映像を提供するコンピュータにイベント映像提供処理を実行させるプログラムであって、
前記イベント映像提供処理は、
車両の周囲を撮像した映像の映像データと、前記映像に関するメタ情報とを対応付けて記録する各車載装置から、各前記車載装置自身を識別する識別情報と、各前記車載装置が搭載された前記車両の位置と、前記位置の日時とを含む車両位置情報を逐次受信するステップと、
前記車両が走行する道路で発生した前記イベントの発生位置と発生日時を含むイベント情報を取得するステップと、
前記イベント情報に基いて、前記イベントに関するイベント映像の収集範囲として所定エリア及び時間を決定するステップと、
前記車両位置情報に基いて、前記車両のうち前記収集範囲に存在した特定車両と、前記収集範囲に存在せず、前記発生位置に向かって走行し、前記発生位置から所定範囲に存在する対象車両とを抽出するステップと、
前記特定車両の前記車載装置に対して、前記収集範囲において撮像した前記映像のメタ情報を要求するステップと、
前記車載装置から受信した複数の前記メタ情報を記憶し、変換情報を用いて、前記メタ情報を点数に変換するステップと、
複数の前記メタ情報のうち、前記点数が最も高い高得点メタ情報を送信した前記車載装置に対して、前記高得点メタ情報と対応付けている特定映像データを要求するステップと、
前記イベント情報及び前記特定映像データを、前記対象車両の前記車載装置に提供するステップと、
を含むプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両が走行する道路で発生した災害、事故、渋滞等(以下、単に「イベント」という。)の状況を撮像した映像を、必要とする利用者に提供する技術に関する。
【背景技術】
【0002】
下記の特許文献1には、渋滞が発生したエリアに存在する車両を特定して、当該車両に搭載された撮像機器が撮像した映像をセンターに送信するように指示し、渋滞発生エリア外にいる他の車両に映像を提供するシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006-221537号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、イベントが発生したエリアには、エリア内で撮像した映像を送信することが可能な車両が複数存在する場合がある。撮像されたすべての映像が、イベント状況を適切に伝えるものであれば、例えば、ランダムにいずれか1つの車両を選択して1つの映像を送信させる、という方法でも問題がない。
【0005】
しかしながら実際は、イベント状況を適切に伝えることができない映像が多数を占める。例えば、車両に搭載される撮像機器として、ドライブレコーダーが一例として挙げられるが、渋滞発生エリア内にいる車両のドライブレコーダーが撮像する映像の多くは、前方車両の後部が大きく映った映像である。特に前方車両が大型バスやトラックの場合、これらの車両の後部しか映っていない映像になる。
【0006】
渋滞状況を適切に伝える映像としては、例えば、渋滞を引き起こした原因となる事故車両や、車列が連なっている状況がわかる高い位置から撮像した映像が望ましい。
【0007】
このような事情から、本明細書は、イベント状況をより適切に伝える映像を抽出して利用者に提供するイベント映像提供システム、管理装置、映像提供方法及びプログラムを開示する。
【課題を解決するための手段】
【0008】
(1)本明細書が開示するイベント映像提供システムは、各車両が搭載する各車載装置と、車両が走行する道路で発生したイベントに関するイベント映像を、提供すべき対象車両の車載装置に送信する管理装置とを含む。
【0009】
各車載装置は、位置情報取得部と、車載通信部と、撮像部と、メタ情報生成部と、記録部とを備える。位置情報取得部は、搭載された自車両の位置と位置にいた時刻とを含む位置情報を逐次取得する。車載通信部は、管理装置に、自身を識別する識別情報と位置情報とを含む車両位置情報を逐次送信する。撮像部は、自車両の周囲を撮像した映像を示す映像データを生成する。メタ情報生成部は、映像に関連する情報として、位置情報を含むメタ情報を生成する。記録部は、映像データとメタ情報とを対応付けて記録する。
【0010】
管理装置は、管理通信部と、イベント情報取得部と、収集範囲決定部と、車両抽出部と、メタ情報要求部と、管理記憶部と、評価部と、特定映像データ要求部と、提供部とを備える。管理通信部は、車両位置情報を逐次受信する。イベント情報取得部は、イベントが発生した発生位置と発生日時を含むイベント情報を取得する。収集範囲決定部は、イベント情報に基いて、イベント映像の収集範囲として所定エリア及び時間を決定する。車両抽出部は、車両位置情報に基いて、車両のうち収集範囲に存在した特定車両と、収集範囲に存在せず、発生位置に向かって走行し、発生位置から所定範囲に存在する対象車両とを抽出する。メタ情報要求部は、特定車両の車載装置に対して、収集範囲において記録した映像データと対応付けているメタ情報を要求する。管理記憶部は、メタ情報を点数に変換する情報である変換情報を記憶する。評価部は、管理通信部により車載装置から受信した複数のメタ情報を記憶し、変換情報を用いて点数に変換する。特定映像データ要求部は、複数のメタ情報のうち、点数が最も高い高得点メタ情報を送信した車載装置に対して、高得点メタ情報と対応付けている特定映像データを要求する。提供部は、イベント情報及び特定映像データを、対象車両の車載装置に提供する。
【0011】
対象車両の車載装置は、更に、地図情報取得部と、表示部とを備える。地図情報取得部は、少なくとも道路を含む地図を示す地図情報を取得する。表示部は、地図情報、位置情報、提供部から提供されたイベント情報及び特定映像データに基いて、道路における対象車両の位置と、発生位置とイベント映像を地図に重畳して表示する。
【0012】
(2)上記(1)の各車載装置は、更に、対象物検出部と、算出部とを備える、としてもよい。対象物検出部は、映像を解析して映像に含まれる所定の対象物を検出する。算出部は、映像における対象物の検出領域が含まれない割合を示す有用率を算出する。メタ情報生成部は、有用率を含むメタ情報を生成する。
【0013】
(3)上記(1)のイベント情報には、イベントが発生したレーンを示すイベント発生レーン情報が含まれ、各車載装置は、更に、区画線検出部と、道路情報取得部と、レーン判定部とを備える、としてもよい。区画検出部は、映像を解析して映像に含まれる道路の区画線を検出する。道路情報取得部は、位置情報に基いて、道路のレーン数を含む道路情報を取得する。レーン判定部は、道路情報及び区画線の検出結果から、自車両が走行する走行レーンを判定する。メタ情報生成部は、走行レーンを示す走行レーン情報を含むメタ情報を生成する。
【0014】
(4)上記(1)の各車載装置は、更に、自車両の車種を示す車種情報を記憶する車載記憶部を備える、としてもよい。メタ情報生成部は、車種情報を含むメタ情報を生成する。
【0015】
(5)本明細書が開示する管理装置は、管理通信部と、イベント情報取得部と、収集範囲決定部と、車両抽出部と、メタ情報要求部と、管理記憶部と、評価部と、特定映像データ要求部と、提供部とを備える。管理通信部は、車両の周囲を撮像した映像の映像データと、映像に関するメタ情報とを対応付けて記録する各車載装置から、各車載装置自身を識別する識別情報と、各車載装置が搭載された車両の位置と、位置の日時とを含む車両位置情報を逐次受信する。イベント情報取得部は、車両が走行する道路で発生したイベントの発生位置と発生日時を含むイベント情報を取得する。収集範囲決定部は、イベント情報に基いて、イベントに関するイベント映像の収集範囲として所定エリア及び時間を決定する。車両抽出部は、車両位置情報に基いて、車両のうち収集範囲に存在した特定車両と、収集範囲に存在せず、発生位置に向かって走行し、発生位置から所定範囲に存在する対象車両とを抽出する。メタ情報要求部は、特定車両の車載装置に対して、収集範囲において撮像した映像のメタ情報を要求する。管理記憶部は、メタ情報を点数に変換する情報である変換情報を記憶する。評価部は、管理通信部により車載装置から受信した複数のメタ情報を記憶し、変換情報を用いて点数に変換する。特定映像データ要求部は、複数のメタ情報のうち、点数が最も高い高得点メタ情報を送信した車載装置に対して、高得点メタ情報と対応付けている特定映像データを要求する。提供部は、イベント情報及び特定映像データを、対象車両の車載装置に提供する。
【0016】
(6)本明細書が開示するイベントに関する映像を提供する管理装置に用いられるイベント映像提供方法である。イベント映像提供方法は、車両の周囲を撮像した映像の映像データと、映像に関するメタ情報とを対応付けて記録する各車載装置から、各車載装置自身を識別する識別情報と、各車載装置が搭載された車両の位置と、位置の日時とを含む車両位置情報を逐次受信し、車両が走行する道路で発生したイベントの発生位置と発生日時を含むイベント情報を取得し、イベント情報に基いて、イベントに関するイベント映像の収集範囲として所定エリア及び時間を決定し、車両位置情報に基いて、車両のうち収集範囲に存在した特定車両と、収集範囲に存在せず、発生位置に向かって走行し、発生位置から所定範囲に存在する対象車両とを抽出し、特定車両の車載装置に対して、収集範囲において撮像した映像のメタ情報を要求し、車載装置から受信した複数のメタ情報を記憶し、変換情報を用いて、メタ情報を点数に変換し、複数のメタ情報のうち、点数が最も高い高得点メタ情報を送信した車載装置に対して、高得点メタ情報と対応付けている特定映像データを要求し、イベント情報及び特定映像データを、対象車両の車載装置に提供する。
【0017】
(7)本明細書が開示するプログラムは、イベントに関する映像を提供するコンピュータにイベント映像提供処理を実行させるプログラムである。イベント映像提供処理は、車両の周囲を撮像した映像の映像データと、映像に関するメタ情報とを対応付けて記録する各車載装置から、各車載装置自身を識別する識別情報と、各車載装置が搭載された車両の位置と、位置の日時とを含む車両位置情報を逐次受信するステップと、車両が走行する道路で発生したイベントの発生位置と発生日時を含むイベント情報を取得するステップと、イベント情報に基いて、イベントに関するイベント映像の収集範囲として所定エリア及び時間を決定するステップと、車両位置情報に基いて、車両のうち収集範囲に存在した特定車両と、収集範囲に存在せず、発生位置に向かって走行し、発生位置から所定範囲に存在する対象車両とを抽出するステップと、特定車両の車載装置に対して、収集範囲において撮像した映像のメタ情報を要求するステップと、車載装置から受信した複数のメタ情報を記憶し、変換情報を用いて、メタ情報を点数に変換するステップと、複数のメタ情報のうち、点数が最も高い高得点メタ情報を送信した車載装置に対して、高得点メタ情報と対応付けている特定映像データを要求するステップと、イベント情報及び特定映像データを、対象車両の車載装置に提供するステップと、を含む。
【発明の効果】
【0018】
本開示の一態様であるイベント映像提供システムを用いれば、イベント状況を知らせる最適な映像を抽出して利用者に提供することができる。
【図面の簡単な説明】
【0019】
図1】イベント映像提供システム100の構成の一例を示す図である。
図2】車載装置1の構成の一例を示す図である。
図3】有用率の算出方法の一例を説明するための図である。
図4】車載装置1の車載記憶部25に記憶された録画ファイルの一例を示す図である。
図5】表示部241によるイベント映像の表示の一例を示す図である。
図6】管理装置4の構成の一例を示す図である。
図7】管理装置4が収集範囲の各特定車両に要求して受信したメタ情報一覧の一例を示す図である。
図8】変換情報の一例を示す図である。
図9】変換情報の一例を示す図である。
図10】変換情報の一例を示す図である。
図11】変換情報の一例を示す図である。
図12】メタ情報を点数に変換した一例を示す図である。
図13】管理装置4の動作フローの一例を示す図である。
【発明を実施するための形態】
【0020】
以下、図面を参照しながら、本発明の一実施形態について説明する。なお、図面に表現された同一の構成部については同じ符号を付し、繰り返しの説明は省略する。
【0021】
[イベント映像提供システム100の構成]
図1に示すように、イベント映像提供システム100は、車両11~14に搭載する各車載装置1、管理装置4を含む。イベント映像提供システム100は、ネットワーク2を介して通信接続されるネットワークシステムである。ネットワーク2は、インターネットやイントラネット、無線LAN、移動通信網等で構成される。
【0022】
地図サーバ3は、車載装置1で用いられる地図情報を格納し、車載装置1の要求に応じて所定領域の地図情報を車載装置1に送信する。交通センター5は、道路で発生した災害、事故、渋滞等のイベントを収集して把握する機関である。交通センター5は、イベントの内容と、イベントが発生した位置及び日時と、イベントが発生したレーン情報を含むイベント情報257を生成し、管理装置4に送信する。
【0023】
車載装置1は、車両の周囲を撮像して映像データ255を生成する撮像機能と、撮像した映像を地図に重畳して表示する表示機能を備える。車載装置1は、撮像した映像に関する情報であるメタ情報256を生成し、映像データ255と対応付けて記録する。車載装置1は、地図サーバ3から地図を表示するための地図情報を取得する。
【0024】
車両10は、事故を起こした車両である。車両15は、車載装置1を搭載しない車両である。車両10及び車両15は、後述するサービスに加入していない利用者の車両であるため、イベント映像提供システム100に含まれない。
【0025】
イベント映像提供システム100は、道路で発生したイベントに関する映像を利用者に提供するサービスに用いられるシステムである。利用者が、利用者の車両に搭載する車載装置1に本サービス専用のプログラムをインストールし、本サービスの利用設定をすることで、車載装置1は、管理装置4と通信接続して、イベント映像提供システム100に含まれる。
【0026】
図1は、イベント映像提供システム100が行うイベント映像の提供の一例を示している。ここで、簡単にイベント映像提供システム100の動作概要を説明する。
【0027】
各車載装置1は、搭載車両の位置及び日時を含む車両位置情報432を生成して管理装置4に逐次送信しており、管理装置4は各車載装置1の搭載車両のそれぞれの現在位置を把握する。車両10の事故により渋滞が発生し、渋滞に巻き込まれた車両11~13の各車載装置1は、渋滞の時間帯に撮像した映像255を記録している。管理装置4は、事故等のイベントが発生すると、交通センター5からイベント情報257を、ネットワーク2を介して受信する。
【0028】
管理装置4は、イベント情報257に基いて、映像データ255を収集する収集範囲を決定し、収集範囲に存在した特定車両(車両11~13)と、収集範囲に含まれず、イベントが発生した位置に向かって走行し、発生位置から所定範囲に存在する対象車両(車両14)とを抽出する。管理装置4は、特定車両から映像データ255と対応付けられているメタ情報256を受信し、メタ情報256を予め記憶している変換情報431に基いて評価点に変換する。
【0029】
管理装置4は、評価点が最も高い高得点メタ情報と対応付けられている映像データである特定映像データ258を特定車両(車両11)から受信して、対象車両(車両14)に送信する。対象車両(車両14)は、管理装置4から受信した特定映像データ258に基づくイベント映像を表示部に表示する。
【0030】
イベント映像提供システム100を用いることで、イベント状況を知らせる最適なイベント映像を抽出して利用者に提供することができる。以下、イベント映像提供システム100に含まれる車載装置1、管理装置4の構成について説明する。
【0031】
[車載装置1の構成]
図2に示すように、車載装置1は機能部として、撮像部20、車載通信部21、位置検出部22、車載制御部23、UI(User Interface)部24、車載記憶部25を備える。車載装置1は、ハードウェアとして、カメラ(撮像部20)、通信モジュール(車載通信部21)、各種センサ、CPU(Central Processing Unit)、メモリ、記憶媒体、ディスプレイ(表示部241)、タッチパネル(入力部242)を備える。
【0032】
撮像部20は筐体、レンズ、撮像素子を有するカメラである。撮像素子は、例えば、CCD(Charge-Coupled Device)、若しくはCMOS(Complementary Metal-Oxide-Semiconductor)が挙げられる。
【0033】
撮像部20の筐体は、レンズを通して自車両の前方向を撮像するように設置される。撮像部20は、所定の動画形式で複数のフレーム画像からなる映像データ255を生成する機能を有する。
【0034】
映像データ255の動画形式は、例えば、MP4である。MP4は、映像の他、音声、静止画、字幕データも格納することが可能である。なお、撮像部20は、MP4以外の他の形式を用いて映像データ255を生成してもよい。撮像部20は、自車両の前方向だけでなく、後方向、室内または室外を撮像範囲に含む撮像をすることが可能なものであってもよい。
【0035】
車載通信部21は、ネットワーク2を介して管理装置4と通信し、各種データを送受信する機能を有する。車載通信部21は、自身を識別する識別情報と、自身が搭載されている車両の位置情報を含む車両位置情報432を管理装置4に送信する。車載通信部21は、管理装置4から収集範囲のメタ情報256、または特定映像データ258の要求を受信すると、要求に応じたメタ情報256、または特定映像データ258を管理装置4に送信する。車載通信部21は、地図サーバ3からネットワーク2を介して最新の地図情報を受信することも可能である。
【0036】
位置検出部22は、車両の進行方位を検出する方位センサ、車速を検出する車速センサ、GPS(Global Positioning System)衛星からのGPS信号を検出するGPSセンサ等で構成される。位置検出部22、各センサが検出した現在位置及び日時を特定するためのセンサ情報を車載制御部23に逐次出力する。
【0037】
車載制御部23は、位置情報取得部231、対象物検出部232、算出部233、区画線検出部234、道路情報取得部235、レーン判定部236、メタ情報生成部237、記録部238、地図情報取得部239を備える。車載制御部23が備える各機能部は、CPUがプログラムを実行することにより実現する。
【0038】
位置情報取得部231は、位置検出部22が逐次出力するセンサ情報に基いて、車両の位置とその位置にいた日時を含む位置情報252を生成する機能を有する。位置情報252は、例えば、少なくとも経度情報及び緯度情報を含むグローバル座標系で表現される。
【0039】
なお、位置情報252は、グローバル座標系に変換可能なローカル座標系で表現してもよいし、高度情報を含むものであってもよい。日時は、例えば、年月日時秒で表現され、年月日時秒に変換可能な表現であれば、どのような形式であってもよい。例えば、所定の圧縮方式でデータサイズを圧縮した形式であってもよい。
【0040】
対象物検出部232は、撮像部20が撮像した映像を解析して、映像に含まれる所定の対象物を検出する機能を有する。映像に含まれる所定の対象物を検出する画像解析処理は、公知の画像認識技術を用いる。例えば、特開2018-163425号公報に開示されている画像認識技術を適用してもよいし、他の公知の画像認識技術を適用してもよい。
【0041】
図3は、撮像部20が撮像した映像を解析して、対象物を検出した一例を示す。同図には、映像全体の領域を示す映像領域31内に、対象物として車両を検出した領域を示す検出領域32が示される。
【0042】
算出部233は、映像における対象物の検出領域32が含まれない割合を示す有用率を算出する機能を有する。有用率は、例えば、有用率=(映像領域31-検出領域32)/映像領域31(%)で算出してもよい。映像領域31及び検出領域32は、例えば、ピクセル(画素)値でその大きさを表現してもよい。
【0043】
例えば、映像領域31が、幅1200ピクセル、高さ800ピクセルで、1200×800=960000ピクセルの大きさであって、映像領域31内に検出された検出領域32が、幅800ピクセル、高さ400ピクセルで、800×400=320000ピクセルの大きさである場合、有用率は、(960000-320000)/960000≒66.7%である。
【0044】
有用率は、映像領域31に対象物である車両等が含まれない割合を示すものであり、映像領域31における検出領域32の面積の割合が小さいと有用率は高くなる。有用率が高い映像は、車両が大きく映っていない映像ということで、比較的、周囲の状況がわかる映像である可能性が高い。
【0045】
区画線検出部234は、撮像部20が撮像した映像を解析して、映像に含まれる道路の区画線を検出する機能を有する。区画線を検出する画像解析処理は、公知の画像認識技術を用いる。例えば、特開2008-197905号公報に開示されている画像認識技術を適用してもよいし、他の公知の画像認識技術を適用してもよい。特開2008-197905号公報には、区画線の種類(実線、破線)、区画線の数を検出することが開示されている。
【0046】
道路情報取得部235は、取得した自車両の位置情報252に基いて、走行中の道路のレーン数を含む道路情報を取得する機能を有する。道路情報は、例えば、地図情報に含まれる道路情報であってもよい。道路情報は、道路探索に用いられるリンク情報であってもよい。リンク情報には、リンクと接続するノード情報、リンクの位置情報、レーン数等が含まれる。
【0047】
レーン判定部236は、取得した道路情報及び区画線の検出結果から、自車両が走行する走行レーンを判定する機能を有する。走行レーンを判定する方法は、例えば、上記の特開2008-197905号公報に開示されているレーン判定方法を適用してもよい。例えば、走行中の道路が、三車線(左からレーン1、レーン2、レーン3と呼ぶ)道路であって、区画線検出部234が、2本の破線の区画線を検出した場合、レーン2が自車両の走行レーンと判定する、としてもよい。
【0048】
メタ情報生成部237は、映像に関連する情報として、位置情報252を含むメタ情報256を生成する機能を有する。メタ情報256は、位置情報252、自車両の車種を示す車種情報251、算出部233が算出した有用率、レーン判定部が判定した走行レーン情報を含む。
【0049】
撮像部20は、映像データ255を所定時間毎に区切って生成する。映像データ255は、例えば、1分、5分、10分といった時間単位で区切ることを利用者が設定できるようにしてもよい。メタ情報生成部237は、映像データ255毎にメタ情報256を生成する。
【0050】
記録部238は、撮像部20が生成した各映像データ255と、メタ情報生成部237が生成した各メタ情報256とを対応付けた録画ファイル254を車載記憶部25に記録する機能を有する。図4に示すように、録画ファイル254は、録画ファイル254を識別する録画ファイルIDと、映像データ255と、メタ情報256とを対応付けている。
【0051】
地図情報取得部239は、地図サーバ3から、表示部241に表示する地図の地図情報253を取得する機能を有する。地図情報253は、例えば、車載装置1が搭載された自車両の現在位置周辺の地図を表す地図情報253である。
【0052】
UI部24は、利用者に対して情報を提示して利用者から指示を受け付けるために、表示部241、入力部242を有する。UI部24は、例えば、タッチパネルディスプレイである。
【0053】
表示部241は、取得した地図情報253に基いて地図を表示し、管理装置4から提供されたイベント情報257に基くイベント発生位置、位置情報取得部231が取得した自車両の位置、及び特定映像データ258に基くイベント映像を地図に重畳して表示する。なお、地図上にイベント発生位置及び自車両の位置をアイコン等で表示する技術自体は公知技術であるため、詳細な説明は省略する。
【0054】
入力部242は、表示部241に表示されたGUIボタンを利用者がタッチすることで、GUIボタンが示す指示の入力を受け付ける。入力部242は、例えば、表示している地図の拡大・縮小、渋滞情報の取得等の指示入力を受け付ける。なお、入力242は、車載装置1に設けられた物理ボタン(ハードウェアボタン)であってもよい。
【0055】
図5は、表示部241によるイベント映像の表示の一例である。表示部241は、地図情報253に基く地図33を表示し、イベント情報257に基くイベント発生位置を示すイベントアイコン34、自車両の位置を示す自車両アイコン35、特定映像データ258に基くイベント映像を示すポップアップウィンドウ36を地図に重畳して表示する。
【0056】
車載記憶部25は、車載装置1が備える各機能部を実現するために必要なプログラム及びデータを記憶する記憶媒体である。車載記憶部25のハードウェアは、例えば、HDD(Hard Disk Drive)、若しくはSSD(Solid State Drive)、フラッシュメモリ、DRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory)、ROM(Read On Memory)であってもよく、又はこれらの組み合わせでもよい。
【0057】
車載記憶部25は、車種情報251、位置情報252、地図情報253、録画ファイル254、映像データ255、メタ情報256、イベント情報257、特定映像データ258を記憶する。
【0058】
[管理装置4の構成]
図6に示すように、管理装置4は、管理通信部41、管理制御部42、管理記憶部43を備える。管理装置4は、コンピュータであり、CPUがプログラムを実行することにより、各種機能を実現する。
【0059】
管理装置4は、例えば、イベント映像提供システム100のシステム提供者の施設内に設置されたサーバコンピュータであってもよいし、クラウドサービスを提供する事業者が所有するサーバコンピュータであってもよい。
【0060】
イベント映像提供システム100のシステム提供者が、当該事業者から管理装置4を借り受けて後述のプログラムをインストールすることにより、管理装置4を用意することができる。この場合、イベント映像提供システム100のシステム提供者は、管理装置4を保有する必要はない。
【0061】
管理通信部41は、ネットワーク2を介して各車載装置1と通信し、各種データを送受信する機能を有する。例えば、管理通信部41は、各車載装置1から車両位置情報432を受信し、交通センター5からイベント情報257を受信する。
【0062】
管理制御部42は、イベント情報取得部421、収集範囲決定部422、車両抽出部423、メタ情報要求部424、評価部425、特定映像データ要求部426、提供部427を備える。管理制御部42が備える各機能部は、CPUがプログラムを実行することにより実現する。
【0063】
イベント情報取得部421は、交通センター5からイベント情報257を取得する機能を有する。取得したイベント情報257は、管理記憶部43に記憶する。
【0064】
収集範囲決定部422は、取得したイベント情報257に基いて、イベント映像の収集範囲として所定エリア及び時間を決定する機能を有する。収集範囲決定部422は、例えば、イベント情報257が示すイベント発生位置を中心とする300m半径の距離範囲と、イベントが発生した時刻から10分以内を収集範囲として決定してもよい。
【0065】
車両抽出部423は、各車載装置1から受信して記憶した車両位置情報432に基いて、決定した収集範囲に存在した特定車両と、収集範囲に存在せず、イベントの発生位置に向かって走行し、イベントの発生位置から所定範囲に存在する対象車両とを抽出する機能を有する。図1において、特定車両は、車両11~13であり、対象車両は、車両14である。特定車両及び対象車両は、車両位置情報432に含まれる識別情報により識別することができる。
【0066】
所定範囲は、例えば、収集範囲が、イベント発生位置を中心とする300m半径の距離範囲である場合、収集範囲を除く、イベント発生位置を中心とする1km半径の距離範囲としてもよいし、イベントが発生した道路に接続する所定数の道路までを所定範囲としてもよい。
【0067】
メタ情報要求部424は、特定車両の車載装置1に対して、収集範囲において記録した映像データ255と対応付けているメタ情報256を要求する機能を有する。管理通信部41は、車両位置情報432に含まれる識別情報により識別される車載装置1にメタ情報256の要求を送信する。
【0068】
評価部425は、管理通信部41により車載装置1から受信した複数のメタ情報256を記憶し、変換情報431を用いて点数に変換する機能を有する。図7は、管理装置4が特定車両に要求して受信したメタ情報の一例を示す。メタ情報は、車載装置ID及び録画ファイルIDと対応付けられている。図8乃至図11は、変換情報431の一例を示す。
【0069】
図8は、メタ情報256の一部である位置情報252が示す位置と、イベント発生位置との近さを点数に変換するための変換情報431の一例である。「近さ」は、位置情報252とイベント発生位置との差分である。変換情報431は、イベント発生位置から近い位置で撮像した映像であるほど点数が高くなるように設定している。なお、変換情報431は一例として、テーブル情報としているが、数式であってもよい。
【0070】
図9に示す変換情報431は、メタ情報256の一部である車種情報251から車高を特定し、車高が高いほど点数が高くなるように変換する。車高が高い車両から撮像した映像の方が、車高が低い車両から撮像した映像よりも、周囲の状況が映り易いためである。
【0071】
図10に示す変換情報431は、メタ情報256の一部である有用率を点数に変換する。図11に示す変換情報431は、メタ情報256の一部であるレーン情報の一致状況に応じて点数に変換する。なお、イベント情報257には、イベントが発生したレーンの情報が含まれているものとする。
【0072】
図11に示す変換の一例では、イベントが発生したレーンと、走行していたレーンが一致していれば、5点、隣接レーンであれば3点、それ以外であれば1点としているが、これ以外の点数に設定することも可能である。
【0073】
図12に示すように、評価部425が、メタ情報256の各要素を点数に変換し、録画ファイルID毎に合計点数を算出する。図12に示す一例では、録画ファイルID「F_05」が最も高い高得点メタ情報となる。
【0074】
特定映像データ要求部426は、上記の高得点メタ情報を送信した車載装置1を車載装置IDから特定し、当該車載装置1に対して、高得点メタ情報と対応付けている特定映像データ258を要求する機能を有する。要求を受けた車載装置1は、特定映像データ258を管理装置4に送信する。
【0075】
提供部427は、イベント情報257及び特定映像データ258を、対象車両の車載装置1に提供する機能を有する。提供部427は、管理通信部41により、対象車両の車載装置1にイベント情報257及び特定映像データ258を送信させる。
【0076】
管理記憶部43は、管理装置4が備える各機能部を実現するために必要なプログラム及びデータを記憶する記憶媒体である。管理記憶部43のハードウェアは、例えば、大容量のHDD、若しくはSSDで構成される。
【0077】
管理記憶部43は、イベント情報257、特定映像データ258、変換情報431、車両位置情報432、特定車両メタ情報433を記憶する。
【0078】
[管理装置4の動作]
ここで、図13に示す動作フローを用いて、管理装置4による対象車両へのイベント映像提供方法を説明する。図に示す記号「S」はステップを意味する。まず、管理装置4は各車載装置1から車両位置情報432を逐次受信する(S1)。
【0079】
管理装置4がイベント情報257を交通センター5から取得すると(S2:Yes)、収集範囲決定部422は、イベント情報257に基いて、イベント映像の収集範囲を決定する(S3)。管理装置4がイベント情報257を取得しなければ(S2:No)、S1に戻る。
【0080】
続いて、車両抽出部423は、決定した収集範囲に存在した特定車両と、収集範囲に存在せず、イベントの発生位置に向かって走行し、イベントの発生位置から所定範囲に存在する対象車両とを抽出する(S4)。
【0081】
メタ情報要求部424は、抽出した特定車両の車載装置1にメタ情報256を要求する(S5)。特定車両の車載装置1は、要求に応じて収集範囲で撮像した映像のメタ情報256を管理装置1に送信する。
【0082】
評価部425は、車載装置1から受信した複数のメタ情報256を記憶し、変換情報を用いて点数に変換する(S6)。
【0083】
特定映像データ要求部426は、高得点メタ情報を送信した車載装置1に対して、高得点メタ情報と対応付けている特定映像データ258を要求する(S7)。
【0084】
提供部427は、イベント情報257及び特定映像データ258を、対象車両の車載装置1に提供する(S8)。
【0085】
管理装置4から特定映像データ258を受信した対象車両の車載装置1は、イベント状況をより適切に伝える映像を利用者に提示することができる。
【0086】
以上、本発明の実施形態について説明をしたが、本発明は上記の実施形態に限定されるものではなく、上記の実施形態の各種変形形態および代替形態を包含するものとして理解されるべきである。例えば、本発明の趣旨および範囲を逸脱しない範囲で構成要素を変形して具体化したものや、上記の実施形態に開示されている複数の構成要素を適宜組み合わせた実施形態や、実施形態に示される全構成要素からいくつかの構成要素を削除して、または実施形態に示される構成要素にいくつかの構成要素を追加した実施形態も含まれる。
【0087】
上記の実施形態では、特定映像データ258は動画であったが、静止画を提供してもよい。静止画の方が動画よりもデータ量は小さくなるので、通信負荷を減らすことができる。
【0088】
車載装置1が行う画像解析は、様々な画像解析が想定される。例えば、車両が走行する道路に生じた亀裂、破損を検出するものであってもよいし、道路の冠水状態を検出するものであってもよい。画像解析は、機械学習モデルを用いるものであってもよい。
【0089】
本発明は、管理装置4が行うイベント映像提供方法であってもよく、提供するイベント映像の抽出処理をコンピュータに実行させるプログラム、係るプログラムを記憶した記憶媒体であってもよい。
【0090】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば、光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CDR/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。
【0091】
プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給してもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給することができる。
【符号の説明】
【0092】
1 車載装置
2 ネットワーク
3 地図サーバ
4 管理装置
10~15 車両
20 撮像部
21 車載通信部
22 位置検出部
23 車載制御部
24 UI部
25 車載記憶部
31 映像領域
32 検出領域
33 地図
34 イベントアイコン
35 自車両アイコン
36 ポップアップウィンドウ
41 管理通信部
42 管理制御部
43 管理記憶部
231 位置情報取得部
232 対象物検出部
233 算出部
234 区画線検出部
235 道路情報取得部
236 レーン判定部
237 メタ情報生成部
238 記録部
239 地図情報取得部
241 表示部
242 入力部
251 車種情報
252 位置情報
253 地図情報
254 録画ファイル
255 映像データ
256 メタ情報
257 イベント情報
258 特定映像データ
421 イベント情報取得部
422 収集範囲決定部
423 車両抽出部
424 メタ情報要求部
425 評価部
426 特定映像データ要求部
427 提供部
431 変換部
432 車両位置情報
433 特定車両メタ情報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13