(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023026181
(43)【公開日】2023-02-24
(54)【発明の名称】事故分析装置、事故分析方法及びプログラム
(51)【国際特許分類】
G08G 1/00 20060101AFI20230216BHJP
G07C 5/00 20060101ALI20230216BHJP
G10L 25/51 20130101ALI20230216BHJP
【FI】
G08G1/00 D
G07C5/00 Z
G10L25/51
【審査請求】有
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2021131930
(22)【出願日】2021-08-13
(11)【特許番号】
(45)【特許公報発行日】2022-03-18
(71)【出願人】
【識別番号】595140170
【氏名又は名称】東京海上日動火災保険株式会社
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100132883
【弁理士】
【氏名又は名称】森川 泰司
(74)【代理人】
【識別番号】100148633
【弁理士】
【氏名又は名称】桜田 圭
(74)【代理人】
【識別番号】100166442
【弁理士】
【氏名又は名称】鈴木 洋雅
(74)【代理人】
【識別番号】100209794
【弁理士】
【氏名又は名称】三瓶 真弘
(72)【発明者】
【氏名】村田 展章
(72)【発明者】
【氏名】那須 正教
(72)【発明者】
【氏名】佐々木 大樹
【テーマコード(参考)】
3E138
5H181
【Fターム(参考)】
3E138AA07
3E138MA02
3E138MB08
3E138MB09
3E138MD05
5H181AA01
5H181BB04
5H181CC04
5H181CC27
5H181FF10
(57)【要約】
【課題】事故状況の分析の精度を向上させた事故分析装置等を提供する。
【解決手段】事故分析装置は、衝突タイミング特定処理において、音声データに基づいて自車と衝突対象との衝突タイミングを特定する(S15)。事故分析装置は、上下方向の加速度に基づいて自車の転倒有無を判定する(S16)。自車が転倒したと判定した場合、転倒タイミング以降の加速度データを他の処理で無視するようにフィルタリングする(S18)。事故分析装置は、衝突タイミング前後における自車の衝突方向、周辺物の自車からの距離及び方向に基づいて衝突対象を特定する(S20)。
【選択図】
図6
【特許請求の範囲】
【請求項1】
車両が備えるセンサにより計測された車両データと該車両が備えるカメラで撮影された映像データとを取得する取得部と、
取得した前記車両データと前記映像データとに基づいて、前記車両が起こした事故の状況を分析する分析部と、を備え、
前記分析部は、前記映像データに含まれる音声データに基づいて、事故の発生タイミングを判定する
ことを特徴とする事故分析装置。
【請求項2】
前記分析部は、前記映像データに含まれる音声データから所定周波数を除外し、該所定周波数を除外した音声データに基づいて、事故の発生タイミングを判定する
ことを特徴とする請求項1に記載の事故分析装置。
【請求項3】
前記所定周波数は、人間の悲鳴相当の周波数である
ことを特徴とする請求項2に記載の事故分析装置。
【請求項4】
前記分析部は、
前記車両データに含まれる加速度データに基づいて、事故における前記車両の衝突方向を推定し、
判定した事故の発生タイミング前後の所定時間内の前記映像データに含まれる周辺物のうち、前記衝突方向にあり、かつ、前記車両への距離が減少している周辺物を衝突対象として特定する
ことを特徴とする請求項1から3のいずれか1項に記載の事故分析装置。
【請求項5】
前記分析部により分析された前記車両が起こした事故の状況と、事故の状況と過去の事故事例に関する情報とを対応づけた事故事例データとを比較することで、前記車両が起こした事故の状況に対応する過去の事故事例に関する情報を検索する検索部を備える
ことを特徴とする請求項1から4のいずれか1項に記載の事故分析装置。
【請求項6】
前記車両を地図データにマッピングすることで、前記車両が起こした事故の状況を示す画像を生成する生成部を備える
ことを特徴とする請求項1から5のいずれか1項に記載の事故分析装置。
【請求項7】
事故分析装置による事故分析方法であって、
車両が備えるセンサにより計測された車両データと該車両が備えるカメラで撮影された映像データとを取得する取得ステップと、
取得した前記車両データと前記映像データとに基づいて、前記車両が起こした事故の状況を分析する分析ステップと、を備え、
前記分析ステップでは、前記映像データに含まれる音声データに基づいて、事故の発生タイミングを判定する
ことを特徴とする事故分析方法。
【請求項8】
コンピュータを、
車両が備えるセンサにより計測された車両データと該車両が備えるカメラで撮影された映像データとを取得する取得部、
取得した前記車両データと前記映像データとに基づいて、前記車両が起こした事故の状況を分析する分析部、として機能させ、
前記分析部は、前記映像データに含まれる音声データに基づいて、事故の発生タイミングを判定する
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、事故分析装置、事故分析方法及びプログラムに関する。
【背景技術】
【0002】
事故車両が備えるセンサにより計測される車両データと事故車両が備えるカメラで撮影される映像データとを取得し、取得した車両データと映像データとに基づいて、事故車両が起こした事故の状況を分析する事故分析装置が提案されている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載のような事故分析装置において、事故状況の分析の精度の向上が望まれる。
【0005】
そこで、本発明は、事故状況の分析の精度を向上させた事故分析装置等を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の事故分析装置は、
車両が備えるセンサにより計測された車両データと該車両が備えるカメラで撮影された映像データとを取得する取得部と、
取得した前記車両データと前記映像データとに基づいて、前記車両が起こした事故の状況を分析する分析部と、を備え、
前記分析部は、前記映像データに含まれる音声データに基づいて、事故の発生タイミングを判定する。
【0007】
前記分析部は、前記映像データに含まれる音声データから所定周波数を除外し、該所定周波数を除外した音声データに基づいて、事故の発生タイミングを判定するようにしてもよい。
【0008】
前記所定周波数は、人間の悲鳴相当の周波数であるようにしてもよい。
【0009】
前記分析部は、
前記車両データに含まれる加速度データに基づいて、事故における前記車両の衝突方向を推定し、
判定した事故の発生タイミング前後の所定時間内の前記映像データに含まれる周辺物のうち、前記衝突方向にあり、かつ、前記車両への距離が減少している周辺物を衝突対象として特定するようにしてもよい。
【0010】
前記分析部により分析された前記車両が起こした事故の状況と、事故の状況と過去の事故事例に関する情報とを対応づけた事故事例データとを比較することで、前記車両が起こした事故の状況に対応する過去の事故事例に関する情報を検索する検索部を備えるようにしてもよい。
【0011】
前記車両を地図データにマッピングすることで、前記車両が起こした事故の状況を示す画像を生成する生成部を備えるようにしてもよい。
【0012】
また、本発明の事故分析方法は、
事故分析装置による事故分析方法であって、
車両が備えるセンサにより計測された車両データと該車両が備えるカメラで撮影された映像データとを取得する取得ステップと、
取得した前記車両データと前記映像データとに基づいて、前記車両が起こした事故の状況を分析する分析ステップと、を備え、
前記分析ステップでは、前記映像データに含まれる音声データに基づいて、事故の発生タイミングを判定する。
【0013】
また、本発明のプログラムは、
コンピュータを、
車両が備えるセンサにより計測された車両データと該車両が備えるカメラで撮影された映像データとを取得する取得部、
取得した前記車両データと前記映像データとに基づいて、前記車両が起こした事故の状況を分析する分析部、として機能させ、
前記分析部は、前記映像データに含まれる音声データに基づいて、事故の発生タイミングを判定する。
【発明の効果】
【0014】
本発明によれば、事故状況の分析の精度を向上させることができる。
【図面の簡単な説明】
【0015】
【
図1】本実施形態に係る事故分析システムの一例を示す図である。
【
図2】本実施の形態において車両内部から前方に向いた状態を示す模式図である。
【
図3】本実施の形態に係るドライブレコーダーの機能ブロック図である。
【
図4】本実施の形態に係る事故分析装置のハードウェア構成例を示す図である。
【
図5】本実施の形態に係る事故分析装置の機能ブロック図である。
【
図6】事故状況分析処理の一例を示すフローチャートである。
【
図7】衝突タイミング特定処理の一例を示すフローチャートである。
【
図8】衝突対象特定処理の一例を示すフローチャートである。
【
図9】(A)及び(B)は車両の転倒判定方法を示す図である。
【
図12】事故分析装置が出力する事故の状況を示す情報の一例を示す図である。
【
図13】事故分析装置が周辺物の検出及び座標特定を行う際の処理手順を説明するための図である。
【
図14】事故分析装置が車両と周辺物との相対的な位置関係を推定する際の処理手順を説明するための図である。
【
図15】事故分析装置が車両と周辺物との絶対位置を推定する際の処理手順を説明するための図である。
【
図16】車両の絶対位置を推定する処理を説明するための図である。
【
図17】事故分析装置が生成する画像の一例を示す図である。
【
図19】接触対象を判定する処理を説明するための図である。
【
図21】歩行者と横断歩道・安全地帯の位置関係を特定する処理を説明するための図である。
【
図22】車両及び他車の進行方向を説明するための図である。
【発明を実施するための形態】
【0016】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、図中同一または対応する部分には同一符号を付す。
【0017】
図1は、本実施の形態に係る事故分析システムの一例を示す図である。本実施の形態に係る事故分析システム1では、ドライブレコーダー1100(
図2参照)が保険契約者の車両1000に搭載されており、当該ドライブレコーダー1100は、無線通信にてネットワーク(公衆回線網などを含む)を介して、クラウドのストレージサーバ(図示省略)に接続されており、ドライブレコーダー1100により取得したデータ(映像データ及び車両データ)がクラウドのストレージサーバに格納される。また、ネットワークには、事故分析装置10と、端末20と、に接続されている。事故分析システム1は、少なくともドライブレコーダー1100と、事故分析装置10と、を含む。
【0018】
なお、本実施の形態では、ドライブレコーダー1100が無線通信にてネットワーク(公衆回線網などを含む)を介して、クラウドのストレージサーバ(図示省略)に接続する例を示しているが、例えば、同様の機能を有するミラー型の専用端末装置を用意して、ミラー1300の代わりに設置するようにしても良い。
【0019】
クラウドのストレージサーバには、本顧客サービス用のデータ格納領域が確保される。より具体的には、車両1000に搭載されているドライブレコーダー1100毎に、総合センタサーバ30等によってアクセス可能なデータ格納領域が確保される。
【0020】
事故分析装置10は、事故車両である車両1000(以下の説明において、便宜上「自車」と呼ぶことがある)またはドライブレコーダー1100が備えるセンサにより計測される車両データと、車両1000のドライブレコーダー1100が備えるカメラで撮影された映像データとを、クラウドのストレージサーバからネットワークを介して取得し、取得した車両データと映像データとに基づいて、車両1000が起こした事故の状況を分析する機能を有する。なお、この実施の形態では、車両データ及び映像データをクラウドのストレージサーバから取得する例について説明するが、車両データ及び映像データを直接車両から取得するようにしてもよい。
【0021】
また、事故分析装置10は、分析により得られた事故の状況と、過去に生じた事故の状況と過去の事故事例に関する情報(以下、「事故事例」と言う。)と、を対応づけた事故事例データベースとを比較することで、車両1000が起こした事故の状況に対応する事故事例を検索する機能を有する。また、事故分析装置10は、事故の状況を分析することで得られた車両1000の位置と他車の位置とを地図データ上にマッピングすることで、車両1000が起こした事故の状況を示す画像(再現図)を生成する機能を有する。車両1000が起こした事故の状況を示す画像はどのようなものであってもよいが、例えば俯瞰図であってもよいし、動画であってもよい。
【0022】
なお、事故分析装置10は、1又は複数の物理的な情報処理装置等から構成されていてもよいし、ハイパーバイザー(hypervisor)上で動作する仮想的な情報処理装置を用いて構成されていてもよいし、クラウドサーバを用いて構成されていてもよい。
【0023】
端末20は、例えば保険会社のオペレータ等が操作する端末であり、事故分析装置10が分析した事故の状況、事故の状態に対応する事故事例、及び事故分析装置10が生成した画像を表示する。端末20は、パーソナルコンピュータ(PC)、ノートPC、タブレット端末、スマートフォンなど、ディスプレイを備えた情報処理装置であればあらゆる情報処理装置を用いることができる。
【0024】
なお、ドライブレコーダー1100は、ネットワークを介して、ロードサービスや救急サービスを提供する総合センタのサーバに接続されていてもよい。この場合、例えば、総合センタのサーバは、1又は複数のコンピュータで構成され、総合センタに設置され且つ総合センタの各オペレータによって操作される端末装置(図示省略)に接続される。また、総合センタのオペレータは、車両1000に搭載されているドライブレコーダー1100、ロードサービス提供会社や救急機関(消防署や民間の救急サービス提供会社)などと、例えば端末装置に接続されたヘッドセットなどを用いて通話できるようになっていればよい。また、ネットワークには、ロードサービス提供会社システムおよび救急機関システムなども接続されており、それらも、総合センタのサーバからの要求に応じて、クラウドのストレージサーバにおいて指定されたデータ格納領域からデータを取得するようになっていればよい。
【0025】
図2に、車両1000内において車両1000の前方向を見た状態を示す。ドライブレコーダー1100にはカメラが含まれており、図示するように、少なくとも車両1000の進行方向の映像を撮影することができるよう、車両1000のフロント部分又はフロントガラスに取り付けられている。カメラは、車両1000の側面方向及び後方を撮影可能なものであってもよい。なお、
図2に示すように、車両1000の内部には、自動診断システム1400(例えば、OBD2(On-Board Diagnostic system -II)が搭載されており、当該自動診断システム1400は、ドライブレコーダー1100と接続するものとする。自動診断システム1400は、CAN(Controller Area Network)等を介して、車両1000の各部(エンジン、アクセル、ブレーキ、ウィンカー等)の制御部(例えばECU(Electronic Control Unit))と接続されており、各部の状態に関する情報(アクセルやブレーキ操作の有無、故障の有無、速度、エンジンの回転数等)を取得可能となっている。
【0026】
図3に、本実施の形態に係るドライブレコーダー1100の機能ブロック図を示す。車両1000に搭載されるドライブレコーダー1100は、第1通信部1110と、第2通信部1120と、測位部1130と、録画部1140と、録音部1150と、加速度測定部1160と、自動診断データ取得部1170と、制御部1180と、センサ部1190と、データ格納部1200とを有する。
【0027】
制御部1180は、CPU(Central Processing Unit)、GPU(Graphical processing unit)等のプロセッサから構成され、本顧客サービスに関連する処理を、各構成要素に対して実行させる。制御部1180は、ドライブレコーダー1100の各部による測定データ(車両データ及び映像データ)を、第2通信部1120を介して、クラウドのストレージサーバに送信する。これにより、ドライブレコーダー110により取得した車両1000の車両データ及び映像データがクラウドのストレージサーバに保存される。
【0028】
第1通信部1110は、例えばVoIP(Voice over Internet Protocol)などにより総合センタなどと通話するための通信部である。但し、一般的な携帯電話器の通話機能である場合もある。また、第2通信部1120は、例えば無線通信(公衆回線網)によりデータをクラウドのストレージサーバに送信する機能を有する。
【0029】
さらに、測位部1130は、制御部1180によって指示されると例えばGPS(Global Positioning System)などによって車両1000の絶対位置(例えば緯度経度)を取得し、データ格納部1200に格納する。
【0030】
録画部1140は、例えばドライブレコーダー1100に搭載されているカメラより撮影される動画像のデータ(映像データ)をデータ格納部1200に格納する。録音部1150は、マイクから入力される音のデータ(音声データ)をデータ格納部1200に格納する。録音部1150は、録画部1140と一体化されている場合もある。また、録画部1140は、例えば制御部1180によって作動を指示されると継続的に録画を行い、データ格納部1200に格納するものとする。制御部1180は、特定の時刻(事故の発生タイミング等)より前一定時間の映像データと当該特定の時刻以降一定時間の映像データとを併せて抽出できるものとする。録音部1150についても同様である。録画部1140は、車両1000外部の動画像と車両1000内部の動画像とを撮影可能である。この実施の形態では、映像データには音声データも含まれているものとして説明するが、映像データは、音声を含まない動画像のデータのことを指してもよい。
【0031】
加速度測定部1160は、例えば加速度センサにより加速度の値を測定し、制御部1180に出力する。自動診断データ取得部1170は、制御部1180によって指示されると、車両1000内部に搭載されている自動診断システム1400から自動診断データを取得する。自動診断データは、エンジン、バッテリ、燃料系などの各々について損傷の有無を表すデータを含む。また、自動診断データは、車両1000の各部位(アクセル、ブレーキ、ハンドル、ウィンカー)の制御情報、操作情報(車速、スロットル開度(アクセル開度)、ブレーキの操作情報、ハンドルの操作情報及びウィンカーの動作状況等)といった事故状況を再現に用いる車両データを含む。車両データには、少なくとも車両1000の位置情報、加速度情報が含まれる。また、この実施の形態では、車両データには、車両から取得した車速データを含む。また、車両データには、ブレーキの操作情報、ハンドルの操作情報といった運転者に関する情報を含んでいる。
【0032】
センサ部1190は、カメラ等から構成される運転者の視線センサ、運転者の呼気を検出する呼気センサ等を含む。視線センサは、運転者を撮影するカメラと画像処理装置等から構成され、運転者の視線(注視方向)を検出可能となっており、検出した運転者の視線(注視方向)情報を制御部1180に出力する。呼気センサは、運転者の呼気(または車内の空気)中のアルコール濃度(エタノール濃度)を検出し、検出したアルコール濃度情報を制御部1180に出力する。即ち、この実施の形態では、車両データには、運転者の視線(注視方向)、運転者の呼気(飲酒の有無)に関する情報といった運転者に関する情報を含んでいる。なお、この実施の形態では、ドライブレコーダー1100が、視線センサ、呼気センサ等を含むセンサ部1190を備える構成となっているが、車両1000が備える、または、車両1000に設置されたセンサ(視線センサ、呼気センサ等)から、ドライブレコーダー1100が、運転者の視線(注視方向)、運転者の呼気(飲酒の有無)に関する情報といった車両データを取得するようにしてもよい。
【0033】
なお、センサ部1190は、例えば、車速センサ、地磁気センサ、スロットルセンサ及び/又はウィンカー検出センサ等を含んでいてもよい。また、車両1000が備えるセンサにより計測される車両データとは、例えば、車両1000の車速、車両1000の向いている方向(例えば北を0度とした場合の角度)、スロットル開度(アクセル開度)及びウィンカーの動作状況等であってもよい。これらのうち少なくとも一部は、自動診断データ取得部1170が自動診断システム1400(車両1000が備えるセンサ)から取得するようにしてもよい。
【0034】
データ格納部1200は、メモリ、HDD(Hard Disk Drive)及び/又はSSD(Solid State Drive)等の記憶装置から構成され、予め機器データとして、企業名、組織名、車両登録番号、ドライバ識別子(ID)、電話番号等を格納しており、制御部1180による指示に応じて各構成要素が取得するデータも格納する。
【0035】
図4は、事故分析装置10のハードウェア構成例を示す図である。事故分析装置10は、CPU(Central Processing Unit)、GPU(Graphical processing unit)等のプロセッサ11、メモリ、HDD(Hard Disk Drive)及び/又はSSD(Solid State Drive)等の記憶装置12、有線又は無線通信を行う通信IF(Interface)13、入力操作を受け付ける入力デバイス14、及び情報の出力を行う出力デバイス15を有する。入力デバイス14は、例えば、キーボード、タッチパネル、マウス及び/又はマイク等である。出力デバイス15は、例えば、ディスプレイ及び/又はスピーカ等である。
【0036】
図5は、本実施の形態に係る事故分析装置10の機能ブロック図である。事故分析装置10は、記憶部100と、取得部101と、分析部102と、生成部103と、検索部104と、出力部105とを含む。記憶部100は、事故分析装置10が備える記憶装置12を用いて実現することができる。また、取得部101と、分析部102と、生成部103と、検索部104と、出力部105とは、事故分析装置10のプロセッサ11が、記憶装置12に記憶されたプログラムを実行することにより実現することができる。また、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体(Non-transitory computer readable medium)であってもよい。非一時的な記憶媒体は特に限定されないが、例えば、USB(Universal Serial Bus)メモリ又はCD-ROM等の記憶媒体であってもよい。
【0037】
記憶部100は、事故の状況と事故の事故事例とを対応づけた事故事例DB(database)と、地図データDBとを記憶する。事故事例DBには、過失割合を示す情報が含まれていてもよい。発生した事故の状況に対応する事故事例及び過失割合は、事故の状況を示す情報をキーとして検索可能であってもよい。地図データDBには、道路データ、道路幅、進行方向、道路種別、交通標識(一時停止、進入禁止等)、制限速度、信号機の位置、交差点における交差道路数等の各種データが含まれる。なお、記憶部100は、事故分析装置10と通信可能な外部のサーバで実現されることとしてもよい。なお、図示は省略しているが、記憶部100には、保険会社のオペレータについてのオペレータ情報が記憶されている。
【0038】
取得部101は、車両1000(事故車両)により計測、撮影される車両データと映像データとを、クラウドのストレージサーバから取得する機能を有する。
【0039】
分析部102は、取得部101が取得した車両データと映像データとに基づいて、車両1000が起こした事故の状況を分析する機能を有する。
【0040】
分析部102は、映像データに含まれる音声データに基づいて、事故の発生タイミングを判定する機能を有する。
【0041】
また、分析部102は、車両データに含まれる加速度データに基づいて、事故における車両の衝突方向を推定し、判定した事故の発生タイミング前後の所定時間内の映像データに含まれる周辺物のうち、衝突方向にあり、かつ、車両1000への距離が減少している周辺物を衝突対象として特定する機能を有する。
【0042】
また、分析部102は、車両データに含まれる上下方向の加速度データに基づいて、事故時の車両の転倒の有無を判定し、車両の転倒があったと判定した場合、転倒以降の加速度データを事故の状況の分析に使用しないようになっている。
【0043】
また、分析部102は、車両データに含まれる運転者に関する情報に基づいて、事故の状況として事故時の運転者の状況を分析する機能を有する。
【0044】
また、車両1000の車両データには、少なくとも測位部1130のGPSにより測定された車両1000の絶対位置を示す情報が含まれており、分析部102は、車両1000の絶対位置を示す情報(測位部1130が取得した位置データ)と、映像データに写っている他車の映像を解析することで得られる、車両1000と当該他車との相対的な位置関係を示す情報とに基づいて当該他車の絶対位置を推定するようにしてもよい。また、分析部102は、車両1000及び他車の絶対位置を時系列で推定するようにしてもよい。
【0045】
例えば、分析部102は、GPSにより測定された車両1000の絶対位置を示す情報と、映像データに含まれる各フレームの特徴点の動き、から車両1000の絶対位置及び向きの時系列を推定する。即ち、GPSにより測定された車両1000の絶対位置を示す情報と、映像データから取得した相対位置を示す情報と、を統合して車両1000の絶対位置及び向きの時系列を推定する。
【0046】
また、分析部102は、例えば、(1)「他車(対象)の深度=カメラの焦点距離×仮定した他車(対象)の実世界高さ/他車(対象)の画像上高さ」という式により「対象の深度=対象のカメラの真正面方向の奥行き」を推定する。(2)対象中心の画像座標(X,Y)を元に「深度」を「距離=カメラの光学的中心と対象との間の直線距離」に変換する。具体的には、カメラの光学的中心から対象の方向のベクトルを、(1)で求めた深度に達するまで伸ばし、そのベクトルの長さを求めることで距離を算出するようにしてもよい。
【0047】
また、分析部102は、ドライブレコーダー1100が備えるカメラの真正面方向と、カメラの光学的中心から他車(対象)の方向との間の角度を求め、カメラ座標系におけるカメラから他車(対象)方向のベクトルを、GPSによる世界座標系(緯度及び経度)に移して、事故の状況を分析するようにしてもよい。
【0048】
また、分析部102は、当該映像データを分析することで車両1000の絶対位置を推定し、映像データを分析することで推定した事故車両の絶対位置と、測位部1130により測定された車両1000の絶対位置とを所定の重みに基づいて平均した絶対位置を、車両1000の絶対位置とみなすことで、事故の状況を分析するようにしてもよい。
【0049】
また、分析部102は、映像データのうち他車が写っている箇所の画像サイズと、画像サイズと距離との対応関係を示すデータとを比較し、車両1000と他車との相対的な位置関係を示す情報の一つである、車両1000と当該他車との間の距離を推定することで、事故の状況を分析するようにしてもよい。
【0050】
また、分析部102は、映像データのうち他車が写っている箇所の座標と映像データの中心座標との差分と、座標と角度との対応関係を示すデータとを比較し、車両1000と他車との相対的な位置関係を示す情報の一つである、車両1000の進行方向と他車が存在する方向との角度差を推定することで、事故の状況を分析するようにしてもよい。
【0051】
分析部102が分析する事故の状況には、少なくとも、車両1000が交差点を通過する場合における信号の色、交差点を通過する際の優先関係、及び、車両1000の車速が制限速度を超えているか否かを含んでいてもよい。
【0052】
生成部103は、車両1000の絶対位置と他車の絶対位置とを地図データにマッピングすることで、車両1000が起こした事故の状況を示す画像(再現図)を生成する機能を有する。当該画像には、俯瞰図や動画を含んでいてもよい。例えば、生成部103は、事故の状況を示す画像を時系列順に並べた動画を生成するようにしてもよい。なお、事故の対象となる他車が無い場合は、生成部103は、少なくとも車両1000の絶対位置を地図データにマッピングすることで、車両1000が起こした事故の状況を示す画像を生成する。この場合、衝突対象の周辺物(人や電柱、ガードレール等)を地図データにマッピングするようにしてもよい。
【0053】
検索部104は、分析部102により分析された車両1000が起こした事故の状況と、事故の状況と過去の事故事例とを対応づけた事故事例DB(事故事例データ)とを比較することで、車両1000が起こした事故の状況に対応する事故事例を検索する機能を有する。また、検索部104は、車両1000が起こした事故の状況に対応する事故事例として、車両1000が起こした事故における車両1000の過失割合を検索するようにしてもよい。
【0054】
また、事故事例には、過失割合を修正する1以上の修正割合(修正情報)が含まれていてもよい。検索部104は、1以上の修正割合の中に、事故車両が起こした事故の状況に対応する修正割合が存在する場合、事故車両の過失割合を当該修正割合に従って修正するようにしてもよい。
【0055】
出力部105は、分析部102が分析した事故の状況を示す情報、検索部104が検索した事故の状態に対応する事故事例、及び、生成部103が生成した事故の状況を示す画像を端末20に出力する機能を有する。
【0056】
なお、事故分析装置10の機能については端末20と連携して実現する場合もあるので、端末20側に設けられる機能が存在する場合もある。また、事故分析装置10と端末20とが一体となった一の情報処理装置であってもよい。
【0057】
図6は、事故分析装置10が事故の状況を分析する事故状況分析処理の一例を示すフローチャートである。まず、事故分析装置10は、事故を起こした車両1000の事故時(事故前後の所定期間)の車両データと映像データとを取得する(S10、S11)。具体的に、事故分析装置10は、車両データ及び映像データを、クラウドのストレージサーバからネットワークを介して取得する。その他にも、例えば、車両1000又はドライブレコーダー1100が備える通信機能を用いて、無線信号により事故分析装置10に送信されるようにしてもよい。また、車両データ及び映像データが記憶された記憶媒体を事故分析装置10に接続することで車両データ及び映像データを事故分析装置10に取り込むようにしてもよい。
【0058】
続いて、事故分析装置10は、事故時の映像データをフレームごとに画像解析することで、フレームごとの画像に写っている車両1000の周囲に存在する1以上の周辺物(他の車両、人、標識、道路の構造物など)を特定し、更に、特定した周辺物が画像内に写っている位置を示す座標(画像における座標)を特定する(S12)。続いて、事故分析装置10は、特定した周辺物の座標(周辺物の深度)に基づいて、車両1000と車両1000の周辺に存在する周辺物との間の相対的な位置関係を、周辺物ごとに推定する(S13)。なお、ここでは「特定」と「推定」いう文言を用いており、より蓋然性が高い場合に「特定」を用いる場合があるが、必ずしも「特定」できるわけではなく、「推定」と大きな意味の差はない。この実施の形態について同様である。
【0059】
続いて、事故分析装置10は、測位部1130により取得された車両1000の位置情報及び/又は事故時の映像データを用いて車両1000の絶対位置を推定する。また、事故分析装置10は、推定した車両1000の絶対位置と、ステップS13の処理手順で推定した、車両1000と車両1000の周辺に存在する周辺物との間の相対的な位置関係とに基づいて、車両1000の周辺に存在する周辺物の絶対位置を推定する(S14)。
【0060】
ステップS10~S14の詳細については後述する。
【0061】
次に、事故分析装置10は、車両1000と衝突対象との衝突タイミングを特定(判定)するための衝突タイミング特定処理を実行する(S15)。
【0062】
図7は、衝突タイミング特定処理の一例を示すフローチャートである。衝突タイミング特定処理において、まず、事故分析装置10は、事故時の音声データを取得する(S101)。例えば、クラウドのストレージサーバから取得済みの映像データから、事故時(事故前後の所定期間)の音声データを抽出すればよい。
【0063】
続いて、事故分析装置10は、取得した音声データに高周波数除外フィルタを設定して、音声データから悲鳴相当の高周波数(所定周波数)の音声を除外する(S102)。よって、高周波数除外フィルタは、人間の悲鳴相当の周波数(例えば4kHz以上)の音声を除外できるものであればよい。なお、衝突前のブレーキ音や他の雑音に相当する所定周波数の音声を除外するフィルタを設定するようにしてもよい。このように、音声データから所定周波数の音声を除外するので、人間の悲鳴等を事故の衝突音として検出してしまうことを防止でき、好適に事故状況を分析、再現することができる。
【0064】
続いて、事故分析装置10は、高周波数を除外した音声データにおいて、音量が事故判定値より高いタイミングがあるか否かを判定する(S103)。事故判定値は、事故時に発生する音の音量の統計データ等から予め定められていればよい。
【0065】
音量が事故判定値より高いタイミングがある場合(S103;Yes)、該タイミングを衝突タイミング、即ち、事故の発生タイミングとして特定する(S104)。音量が事故判定値より高いタイミングがない場合(S103;No)、音量が最大のタイミングを衝突タイミングとして特定する(S105)。なお、音量が事故判定値より高いタイミングが複数ある場合、音量が最大のタイミングを衝突タイミングとして特定してもよいし、音量が事故判定値を超えた最初のタイミングを衝突タイミングとして特定してもよい。その後、衝突タイミング特定処理を終了して、
図6に戻る。
【0066】
この実施の形態では、音声データ(音量)に基づいて衝突タイミング(事故の発生タイミング)を特定するようになっているが、音声データ(音量)に基づいて事故の種類や事故の大きさを判定するようにしてもよい。例えば、音量が大事故判定値を超えている場合、大事故と判定するようにしてもよい。また、音量が事故判定値より高いタイミングがない場合、小事故と判定するようにしてもよい。
【0067】
このように、この実施の形態の事故分析装置10では、音声データに基づいて衝突タイミングを特定しているので、衝突タイミングの特定の精度の向上が図れる。特に、所定周波数の音声を除外した音声データを使用して衝突タイミングを特定しているので、衝突タイミングの特定の精度の向上が図れる。なお、この実施の形態では、音量に基づいて衝突タイミングを特定しているが、音の質や種類、周波数に基づいて衝突タイミングを特定してもよい。
【0068】
なお、音声データを正常に取得できなかった場合や、音量が事故判定値より高いタイミングがない場合等の衝突タイミングの特定が不確かな場合、車両データに含まれる加速度データに基づいて衝突タイミングを特定してもよい。また、音声データと加速度データとの両方に基づいて衝突タイミングを特定してもよい。
【0069】
衝突タイミング特定処理を実行した後、事故分析装置10は、車両データに含まれる上下方向の加速度データから車両1000の転倒の有無を判定する(S16)。
【0070】
図9は、この実施の形態の車両1000の転倒判定方法を示す図である。
図9(A)は、車両1000の事故前後時系列の上下方向の加速度データを示している。
図9(A)においては、加速度がプラス(上方向)となる山が2箇所あることを示している。2つ目の山(MAX)の方が、1つ目の山(2nd)より加速度が高い。
【0071】
図9(B)は、車両1000の事故前後時系列の上下方向の加速度積分値を示している。
図9(B)では、
図9(A)における加速度の2nd点から加速度積分値が上昇し、加速度のMAX点で加速度積分値が急増して振り切れている。この実施の形態では、加速度積分値が所定の転倒判定値を超えた場合、その時点で車両1000が転倒したと判定するようになっている。
図9(B)では、加速度のMAX点で加速度積分値が転倒判定値を超えていることから加速度のMAX点にて車両1000が転倒したと判定される。
【0072】
このように、車両1000の上下方向の加速度(積分値)に基づいて転倒を判定しているので、転倒判定の精度向上が図れる。なお、積分値ではなく上下方向の加速度の値に基づいて転倒を判定するようにしてもよい。
【0073】
上下方向の加速度が転倒判定値を超えたことにより、車両1000が転倒したと判定した場合(S17;Yes)、転倒タイミング以降の加速度データを他の処理や分析で使用しないようにフィルタリングする(S18)。
【0074】
これにより、転倒以降の加速度データに基づいて事故状況が分析、再現されてしまうことを防止できるので、事故状況の再現の精度を向上させることができる。例えば、加速度情報に基づいて車両1000の軌跡を推定して事故状況の再現図を作成する場合に、転倒以降の加速度に基づいて車両の軌跡が描かれてしまい、不適切な再現図や軌跡が描かれてしまうことを防止できる。
【0075】
車両1000が転倒していないと判定した場合(S17;No)、ステップS18をスキップする。
【0076】
続いて、事故分析装置10は、ステップS15にて特定した衝突タイミングにおける前後方向及び左右方向の加速度データに基づいて、車両1000が他の車両や障害物等に衝突した方向(例えば正面から衝突した等)を推定する(S19)。前後方向及び左右方向の加速度データは車両データに含まれる。ステップS19の詳細については後述する。
【0077】
次に、事故分析装置10は、検出した周辺物から衝突対象を特定するための衝突対象特定処理を実行する(S20)。
【0078】
図8は、衝突対象特定処理の一例を示すフローチャートである。衝突対象特定処理において、まず、事故分析装置10は、ステップS15の処理で特定した衝突タイミングの前後N秒間(例えば2秒間。Nは任意でよい。)において検出された周辺物を抽出する(S201)。ここで抽出した周辺物が衝突対象候補となる。
【0079】
そして、事故分析装置10は、抽出した周辺物から、ステップS19の処理で推定した衝突方向にない周辺物を除外する(S202)。ここでは、例えば、ステップS19の処理で推定した衝突方向のX度(例えば120度。Xは任意でよい。)範囲の延長線上内にはない周辺物は衝突対象となり得ないと判断して、該周辺物を衝突対象候補から除外する。
【0080】
続いて、事故分析装置10は、衝突タイミングの前後N秒間において、自車(車両1000)からの距離が増大している周辺物を、衝突対象となり得ないと判断して、該周辺物を衝突対象候補から除外する(S203)。
【0081】
次に、事故分析装置10は、衝突タイミングにおいて、自車(車両1000)からの距離がD以上(例えば10メートル以上)の周辺物を、衝突対象となり得ないと判断して、該周辺物を衝突対象候補から除外する(S204)。
【0082】
このように、衝突対象候補を絞った後、事故分析装置10は、衝突対象候補の周辺物が複数あるか否かを判定する(S205)。
【0083】
衝突対象候補の周辺物が複数なければ(S205;No)、残った衝突対象候補の周辺物を衝突対象として特定する(S206)。衝突対象候補の周辺物が複数ある場合(S205;Yes)、残った衝突対象候補のうち自車との距離が最小の周辺物を衝突対象として特定する(S207)。その後、衝突対象特定処理を終了して、
図6に戻る。
【0084】
このように、この実施の形態の事故分析装置10では、自車の衝突方向、周辺物の自車からの距離及び方向に基づいて衝突対象を特定するので、衝突対象の特定の精度の向上が図れる。
【0085】
なお、衝突対象の好適に特定できれば、この実施の形態の方法に限定されず、任意の方法を採用してもよい。
【0086】
図10、
図11は、衝突対象の特定例を示す図である。
図10に示すように、自車の衝突方向が概ね7時方向(左後ろ方向)である場合、衝突方向にはない右前方、右方向の周辺物は衝突し得ないとして衝突対象候補から除外される。なお、検出された加速度の方向(衝撃方向)の反対方向が衝突方向となる。また、衝撃方向にある周辺物であっても、自車からの距離が増大している周辺物(図中右下の車両)は、衝突し得ないとして衝突対象候補から除外される。その結果、衝突方向(左後ろ方向)近傍の車両が衝突対象として特定される。
【0087】
図11に示すように、自車の衝突方向が概ね3時方向(右方向)である場合、衝撃方向にある周辺物であっても、自車からの距離が増大している周辺物(図中右上の車両)は、衝突し得ないとして衝突対象候補から除外される。その結果、衝突方向近傍の車両が衝突対象として特定される。
【0088】
続いて、事故分析装置10は、算出した車両1000と車両1000の周辺に存在する周辺物との絶対位置を地図データにマッピングすることで、事故の状況を示す画像(俯瞰図や動画を含む事故状況の再現図)を生成する(S21)。
【0089】
続いて、事故分析装置10は、少なくとも、車両1000の車両データと、事故時の映像データと、ステップS14の処理で推定した車両1000及び車両1000の周辺に存在する周辺物の絶対位置と、ステップS15の処理で特定した衝突タイミングと、ステップS16にて判定した車両1000転倒の有無と、ステップS19の処理で推定した車両1000の衝突方向と、ステップS20の処理で特定した衝突対象と、地図データとを用いて、車両1000が起こした事故の状況を示す情報を出力する(S22)。事故の状況を示す情報には、その他、
図12に示す情報が含まれる。事故の状況を示す情報には、例えば、複数の項目(タグと称してもよい)が含まれており、各項目の組み合わせにより事故の状況が特定される。
【0090】
続いて、事故分析装置10は、各項目をキーに事故事例データベースを検索することで、車両1000が起こした事故の状況に対応する事故事例を取得する(S23)。以上で事故状況分析処理を終了する。
【0091】
ステップS21~S23の詳細については後述する。
【0092】
以上説明した処理手順の順序は、処理に矛盾が生じない限り任意に入れ替えることができる。例えば、ステップS12~S20の処理手順は、適宜入れ替えることができる。また、一部の処理(ステップS21やS23等)は別の処理として実行されるようにしてもよい。
【0093】
図12は、事故の状況を示す情報に含まれる項目の一例を示す図である。事故の状況を示す情報は、
図12に示すように複数の項目を含んでいる。
図12に示す「詳細」は各項目における特定内容となっている。
図12に示す「A:接触の対象(自動車、障害物等)」は、車両1000が接触(衝突)した対象物を示す情報である。「B:接触部位」は、車両1000が対象物と接触(衝突)した部位(例えば、正面、右側面、左前バンパー等)を示す。「C:道路種別」は、事故時に車両1000が走行していた道路の種別(直線、カーブ、交差点、丁字路、高速道路等)を示す。「D:自車及び他車の信号色」は、交差点における事故において、車両1000側の信号色及び相手方の信号色を示す。「E:歩行者と横断歩道・安全地帯の位置関係」は、歩行者が横断歩道又は安全地帯上で事故にあったのか、又は、歩行者が横断歩道又は安全地帯ではない場所で事故にあったのかを示す。
【0094】
「F:交差点における自車・他車進行方向」は、車両1000及び他車が、事故時において、直進していたのか、車線変更していたのか、左折していたのか、右折していたのか、早回り右折をしていたのか等を示す。「G:高速道路上の車線位置」は、高速道路で事故が生じた場合における車両1000が走行していた車線(本線、追い越し車線)を示す。「H:交差点における優先関係」は、交差点で事故が発生した場合に、車両1000及び他車のうちどちらが交差点を優先して通貨すべきであったのかを示す。「I:一時停止、信号無視違反の有無」は、車両1000及び他車が、一時停止違反又は信号無視をしていたか否かを示す。「J:制限速度違反の有無」は、車両1000及び他車が、事故直前に制限速度を守っていたか否かを示す。「K:自車・他車の衝突前速度」は、事故直前における車両1000及び他車の車速を示す。「L:道路上の障害物の有無」は、衝突時、車両1000が走行していた道路に障害物の有無を示す。「M:衝突対象のドアの開閉」は、衝突時に、相手車両のドアが開いたのか否かを示す。「N:衝突前のウィンカーの有無」は、衝突前に、車両1000がウィンカーを作動させていたか否かを示す。
【0095】
「前方不注意の検出の有無」は、衝突時、車両1000の運転者が前方を注視していたか否かを示す。「飲酒の検出の有無」は、衝突時、車両1000の運転者の飲酒が検出されたか否かを示す。「ブレーキのタイミング」は、衝突前のブレーキが操作されたタイミングが早いか通常か遅いか等を示す。「衝撃時のハンドル操作」は、衝突前のハンドル操作が有無や急ハンドルであったか等を示す。これらの情報は車両データに含まれる運転者に関する情報に基づいて判定、分析が行われる。なお、この実施の形態では、運転者に関する情報として、ブレーキの操作情報、ハンドルの操作情報、運転者の視線(注視方向)に関する情報、運転者の呼気(飲酒の有無)に関する情報に基づいて、事故状況を示す情報の分析が行われるが、他の運転者に関する情報に基づいて事故状況を示す情報の分析が行われるようにしてもよい。
【0096】
続いて、事故分析装置10が、車両1000が起こした事故状況を分析する際の処理手順(
図6のステップS10~S14、S19、S21~S23)を詳細に説明する。以下の説明においては、事故分析装置10は、事故を起こした車両1000から車両データ及び映像データを取得済みであるものとする。また、車両データ及び映像データには、それぞれ時刻情報又は同期情報が含まれているものとする。すなわち、本実施の形態では、ある時点における映像データを分析する際、当該時点に対応する車両データを用いて分析を行うことが可能である、逆に、ある時点における車両データを分析する際、当該時点に対応する映像データを用いて分析を行うことが可能である。
【0097】
(周辺物の検出及び座標特定)
図13は、事故分析装置10が周辺物の検出及び座標特定を行う際の処理手順を説明するための図である。当該処理手順は、
図6のステップS12の処理手順に対応する。
【0098】
分析部102は、映像データをフレームごとに分解することで得られた各画像を解析することで、画像内に写っている車両、人、自転車、交通標識、信号機(信号の色や矢印信号を含む)、道路周辺の構造物(電柱、街路灯、ガードレール等)、落下物、路面文字、横断歩道及び車線等を含む1以上の周辺物を特定する。また、分析部102は、特定した1以上の周辺物の各々について、画像内にて周辺物が写っている領域の座標を特定する。
【0099】
図13の例は、映像データをフレームごとに分解することで得られた各画像のうちXフレーム目の画像例を示している。X軸は、左端を0とする左右方向のピクセル数(X方向の座標)を示し、Y軸は、下端を0とする上下方向のピクセル数(Y方向の座標)を示している。
図13の例では、車両1000が走行している車線(左から2つ目の車線)の左側の車線の奥にトラックが写っており、車両1000が走行している車線の右側の車線に乗用車が写っている。分析部102は、認識対象(例えば他の車両、人、自転車、道路標識、信号機、道路周辺の構造物(電柱、街路灯、ガードレール等)、落下物及び車線等)を認識することが可能な能力を学習した学習済みモデルを備えており、当該学習済みモデルに画像を入力することで、画像内に写っている1以上の周辺物の種別及び周辺物の領域を特定するようにしてもよい。このような処理は、例えばYOLO(Your Only Look Once)、Mask R-CNN(Mask Regional Convolutional Neural Network)等の既存技術を利用することで実現することが可能である。
【0100】
図13のAの例では、分析部102は、領域C1(X=700及びY=300の点を左上とし、X=900及びY=300の点を右下とする長方形領域)にトラックが写っていることと、領域C2(X=1400及びY=250の点を左上とし、X=1750及びY=50の点を右下とする長方形領域)に乗用車が写っていることを特定している。また、同様に、領域C3~C6(座標は図示せず)には、電柱が写っていることを特定している。
【0101】
図13のBの例は、分析部102が、フレーム毎に周辺物を特定した結果の例を示している。
【0102】
また、分析部102は、フレームごとの画像の解析結果を突合することで、車両がウィンカーを点滅させているか否か、車両のドアが開閉したか否か及び人が立っているのか座っているのか又は倒れているのかを特定するようにしてもよい。例えば、分析部102は、ウィンカーの点滅有無を、各画像にて認識された車両のウィンカー部分の色が周期的に変化しているか否かを判定することで特定するようにしてもよい。
【0103】
また、分析部102は、車両のドアが開閉したか否かを、各画像にて認識された車両のドア部分の変化を判定することで特定するようにしてもよい。また、分析部102は、人が立っているのか座っているのか又は倒れているのかを、人が写っている領域の上下方向の長さと左右方向の長さの比率に基づいて特定するようにしてもよい。なお、人の姿勢の特定は、例えば、Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields等の従来技術を利用することができる。
【0104】
(自車と周辺物との相対的な位置関係の推定)
図14は、事故分析装置10が車両1000と周辺物との相対的な位置関係を推定する際の処理手順を説明するための図である。当該処理は、
図6のステップS13の処理手順に対応する。
【0105】
分析部102は、画像内で特定された1以上の周辺物が写っている領域に基づいて、車両1000と車両1000の周辺に存在する周辺物との間の相対的な位置関係を周辺物ごとに推定する。より詳細には、分析部102は、周辺物が写っている領域の大きさに基づいて、車両1000から当該周辺物までの距離(
図14のBにおけるd1及びd2)を推定する。また、分析部102は、周辺物が写っている領域の中心座標と画像の中心座標との左右方向の差分に基づいて、車両1000の進行方向(画像の中心方向)を基準(0度)とした場合における、当該周辺物が存在する左右方向の角度(
図14のBにおけるθ1及びθ2)を推定する。
【0106】
[周辺物までの距離の算出例]
図14のAを用いて具体例を示す。まず、分析部102には、ドライブレコーダー1100が備えるカメラを用いて1m先に、長さ1mの物体を垂直方向(又は水平方向)に置いて撮影した場合、画像内において何ピクセルを占めるのかを示すデータが格納済みであるものとする。当該データは、カメラの画角(レンズ角)によって異なることから、ドライブレコーダー1100が備えるカメラの機種ごとに対応づけられて格納されていてもよい。また、ドライブレコーダー1100が備えるカメラの機種によっては、広角レンズ又は魚眼レンズを利用していることが多い。そのため、分析部102は、ドライブレコーダー1100が備えるカメラで撮影された映像データについて、ドライブレコーダー1100が備えるカメラのレンズ特性に合わせて歪み補正を行った後で、以下に示す、周辺物までの距離の算出及び周辺物が存在する左右方向の角度の算出を行うようにしてもよい。歪み補正については、キュービック補間等の従来技術を利用することで実現可能である。
【0107】
図14のAの例では、1m先に長さ1mの物体を垂直方向に置いて撮影した場合、垂直方向に100ピクセルであると仮定する。同様に、10m先に、長さ1mの物体を垂直方向(又は水平方向)に置いて撮影した場合、画像内において何ピクセルを占めるのかを予め調べておく。
図14の例では、10m先に長さ1mの物体を垂直方向に置いて撮影した場合、垂直方向に10ピクセルであると仮定する。
【0108】
また、周辺物ごとに垂直方向(又は水平方向)の大きさを予め定めておく。例えば、トラックの場合、垂直方向の長さ(高さ)は2mであり、乗用車の場合は1.5mといったように定めてもよい。
【0109】
前述した通り、1m先にある長さ1mの物体の垂直方向のピクセル数が100ピクセルであり、10m先にある長さ1mの物体の垂直方向のピクセル数が10ピクセルであるとすると、高さ2mのトラックが1m先にある場合、垂直方向のピクセル数は200ピクセルであり、高さ2mのトラックが10m先にある場合、垂直方向のピクセル数は20ピクセルであると計算することができる。より具体的には、ピクセル数をXとし、距離をYとすると、以下の式が成立する。
Y=200÷X (式1)
【0110】
次に、分析部102は、式1を用いて、車両1000とトラックとの間の距離を算出する。
図14のAの例では、領域C1の垂直方向の長さは、50((400-300)÷2)=50ピクセルである。従って、式1によれば、Y=200÷50=4mであると算出することができる。
【0111】
なお、車両1000にドライブレコーダー1100が備えるカメラを取り付ける高さ(地面からの高さ)及びドライブレコーダー1100が備えるカメラを向けるべき方向が高精度で固定されている状況であれば、Y軸の値のみで周辺物までの距離を特定することが可能である。しかしながら、以上説明した処理手順によれば、ドライブレコーダーをレンタルする場合等のようにドライブレコーダー1100が備えるカメラの取り付け位置がドライバーによって異なる場合であっても、車両1000と周辺物との間の距離を特定することが可能になる。
【0112】
[周辺物が存在する左右方向の角度の算出例]
図14のAを用いて具体例を示す。まず、分析部102には、ドライブレコーダー1100が備えるカメラの画角(レンズ角)を示すデータを格納してあるものとする。当該データは、ドライブレコーダー1100が備えるカメラの機種によって異なることから、ドライブレコーダー1100が備えるカメラの機種ごとに対応づけられて格納されていてもよい。
【0113】
ここで、ドライブレコーダー1100が備えるカメラの画角を画面の左右方向のピクセル数で割ることで、1ピクセルが画角の何度に該当するのかが判明する。例えば画面の左右方向の全ピクセル数が2000ピクセルであり、ドライブレコーダー1100が備えるカメラの画角が80度である場合、200ピクセルは8度に該当する。つまり、画像において周辺物が写っている領域の中心位置と、画像の中心位置との水平方向におけるピクセル数の差分を計算することで、周辺物が、車両1000の進行方向を0度とした場合に、周辺物が存在する左右方向の角度(水平面における角度)を算出することができる。なお、画面中の位置により1ピクセルに対応する画角が増減する場合は、画像座標に基づいて、1ピクセル辺りの角度を補正するようにしてもよい。
【0114】
例えば、
図14のAにおいてトラックが写っている領域のX方向の中心位置は、X=800である。また、ドライブレコーダー1100が備えるカメラの画角は80度であり、画面の左右方向の全ピクセル数は2000ピクセルであるとする。また、画像の中心位置は、X=1000である。従って、トラックが写っている領域の中心位置と、画像の中心位置とは、200ピクセル(1000-800)離れている。前述した通り、200ピクセルは8度に該当することから、車両1000とトラックとの間の左右方向の角度(
図14のBのθ1)は8度であると算出することができる。
【0115】
なお、以上説明した計算方法では、周辺物が車両1000に極端に接近し、周辺物の一部が画像の外に出てしまった場合には距離及び角度の算出が不可能になる。しかしながら、周辺物の一部が画像の外に出ている場合は、周辺物と車両1000との距離は一定の距離以内であると推定することが可能である。また、前後のフレームの画像における周辺物の位置の変化に基づいて、画像から消えた周辺物の位置を推定することも可能である。
【0116】
例えば、あるフレームXの画像では周辺物の一部が画像の外に出ているが、1フレーム前であるフレームX-1の画像では、当該周辺物の全体が写っており、車両1000と当該周辺物との間の距離が10mであったと仮定する。また、更に1フレーム前であるフレームX-2の画像では、車両1000と当該周辺物との間の距離が11mであったと仮定する。この場合、フレームXの画像における車両1000と当該周辺物との間の距離は、9mの距離であると推定することができる。また、周辺物が車両である場合、車両全体を画像認識することで距離の推定を行うのではなく、車両の一部(例えばナンバープレートなど)に限定して画像認識するようにしてもよい。これにより、車両の一部が画像の外に出た場合であっても、ナンバープレートが画像に写っている限り、車両1000との間の距離及び角度を推定することが可能になる。
【0117】
(自車位置と周辺物の絶対位置を推定)
図15は、事故分析装置10が車両1000と周辺物との絶対位置を推定する際の処理手順を説明するための図である。当該処理は、
図6のステップS14の処理手順に対応する。
【0118】
まず、分析部102は、車両1000の絶対位置を推定する。分析部102は、車両1000の車両データに含まれる、ドライブレコーダー1100が備える測位部1130(GPS)により取得された車両1000の位置情報を用いて、車両1000の絶対位置を推定するようにしてもよい。又は、分析部102は、事故時の映像データを、例えばStructure From MotionまたはSimultaneous Localization and Mappingと呼ばれる従来技術(以下、便宜上「SFM」と言う)を用いて分析することで得られた車両1000の絶対位置と、測位部1130により推定された車両1000の絶対位置とを合成することで、より正確な車両1000の絶対位置を推定するようにしてもよい。
【0119】
[SFMに基づく車両1000の絶対位置の推定]
SFMを用いることで、映像データにおける各フレームの画像に含まれる特徴点を抽出し、抽出した特徴点から各フレームの画像における対応点(対応する特徴点)を特定し、更に特定した対応点の動きを追うことでカメラの動きを再現することができる。特徴点の抽出には、例えば、SIFT特徴量と呼ばれる従来技術を用いることで実現することができる。また、対応点の特定は、例えばFLANN(Fast Library for Approximate Nearest Neighbors)と呼ばれる従来技術を用いることで実現することができる。
【0120】
ここで、映像データを撮影したカメラは、車両1000に搭載されたドライブレコーダー1100が備えるカメラであることから、再現されたカメラの動きは、車両1000の動きであるとみなすことができる。また、車両1000の車両データには車速データが含まれていることから、当該車速データと映像データにおけるフレームレートとを突合することで、各フレーム間で車両1000が移動した距離を推定してもよい。例えば、車両1000が時速54kmで走行しており、映像データのフレームレートが1秒間に15フレームである場合、1フレームあたりの車両1000の移動距離は約1mになる。
【0121】
なお、並走している他の車両ではなく、周囲の環境に対する車両1000の動きを求めるために、分析部102は、特徴点を抽出する際、移動している周辺物の特徴点を除外し、固定的に設置されている周辺物を対象に特徴点を抽出する。例えば、分析部102は、交通標識、信号機及び道路周辺の構造物(電柱、街路灯、ガードレール等)を対象に特徴点を抽出するようにしてもよい。なお、周辺物の種別については、前述した学習済みモデルに識別させることで把握可能である。
【0122】
例えば、
図15のAは、フレームNにおける画像データであり、
図15のBは、フレームN+1における画像データを示している。
図15のAと
図15のBでは、固定的に設置されている周辺物に対応する領域C3~C6は車両1000の移動に従って後方に移動しているが、移動しているトラックの領域C1の位置は殆ど変化しておらず、対向車線を車両1000に向かって走行している乗用車の領域C2の位置は、大きく変化している。
【0123】
SFMを用いることで、分析部102は、例えば、2フレーム目の車両1000の位置は、1フレーム目と比較して2m前方かつ1m左に移動しており、3フレーム目の車両1000の位置は、2フレーム目と比較して2.5m前方かつ0.5m左に移動しているといったように、映像データの1フレーム目を基準とした車両1000の相対位置を示す情報を算出することができる。
【0124】
続いて、分析部102は、測位部1130により取得された車両1000の絶対位置を示す位置情報の中から、映像データの1フレーム目が撮影された時刻に該当する位置情報を選択する。測位部1130により取得された位置情報には時刻情報が含まれており、本実施形態における映像データにも録画された時刻を示す時刻情報が含まれている。従って、分析部102は、映像データに含まれる時刻と位置情報に含まれる時刻とを突合することで、映像データの1フレーム目に該当するGPSの位置情報を選択することができる。
【0125】
続いて、分析部102は、映像データの1フレーム目に該当するGPSの位置情報を用いて、映像データの2フレーム目以降における車両1000の絶対位置を特定する。前述した通り、分析部102は、フレーム間における相対的な移動を示す情報を算出している。また、本実施形態における車両データには、映像の正面方向がどの方角を向いているのかを示す方位データが含まれており、前方がどの方向を指しているのかを方位データより把握可能である。従って、分析部102は、選択したGPSの位置情報を1フレーム目における車両1000の絶対位置とすることで、2フレーム目の車両1000の相対位置(SFMにより求めた相対位置)に相当する車両1000の絶対位置(緯度及び経度)を算出することができる。例えば、測位部1130により取得された1フレーム目の緯度が134.45度であり、経度が32.85度である場合、当該緯度及び経度を起点として、北方向に2m前方かつ西方向に1m移動した位置に該当する緯度及び経度が、2フレーム目における車両1000の絶対位置になる。分析部102は、当該処理をフレームごとに繰り返すことで、SFMに基づく車両1000の絶対位置(緯度及び経度)を、全てのフレームについて算出する。
【0126】
[車両1000の絶対位置の推定]
図16に示すように、分析部102は、SFMに基づく車両1000の絶対位置と、GPSによる車両1000の絶対位置とを用いて、車両1000の絶対位置をフレームごとに推定する。
図16の左図に示す地点f11~f16は、それぞれ、映像データの1フレーム~6フレームを解析することで得られた車両1000の絶対位置であると仮定する。また、
図16の中央の図に示す地点f21~f26は、GPSにより得られた車両1000の絶対位置のうち、映像データの1フレーム~6フレームに対応する時刻における車両1000の絶対位置であると仮定する。
図16の右図に示す地点f31~f36は、推定された車両1000の絶対位置を示す。なお、前述した通り、映像データの1フレームに対応する車両1000の絶対位置を示す地点f11は、地点f21と同一地点である。
【0127】
分析部102は、SFMに基づく車両1000の絶対位置(地点f11~f16)と、GPSによる車両1000の絶対位置(地点f21~f26)と、が大きく剥離しないように最適化する。例えば、SFMに基づく車両1000の絶対位置と、GPSによる車両1000の絶対位置とを単純に平均した絶対位置を、車両1000の絶対位置として推定してもよい。例えば例えば、時速30km以上については、合計値を2で割った値を車両1000の絶対位置とするようにしてもよい。もし、地点f13及び地点f23における車両1000の車速が30km以上であった場合、車両1000の絶対位置(地点f33)のうち緯度は、(地点f13の緯度+地点f23の緯度)÷2で算出することができる。同様に、車両1000の絶対位置(地点f33)のうち経度は、(地点f13の経度+地点f23の経度)÷2で算出することができる。
【0128】
また、分析部102は、車両1000の車速に応じて、SFMに基づく車両1000の絶対位置と、GPSによる車両1000の絶対位置とを所定の重みで平均した絶対位置を、車両1000の絶対位置とするものであってもよい。例えば、時速30km未満(例えば5kmなど)については、SFMに基づく車両1000の絶対位置の方が精度が高いとみなして、SFMに基づく車両1000の絶対位置と、GPSによる車両1000の絶対位置とを、例えば4:1の割合で平均した絶対位置を、車両1000の絶対位置とするようにしてもよい。もし、地点f16及び地点f26における車両1000の車速が5km以上であった場合、車両1000の絶対位置(地点f36)のうち緯度は、(地点f16の緯度×4+地点f26の緯度×1)÷5で算出することができる。同様に、車両1000の絶対位置(地点f36)のうち経度は、(地点f16の経度×4+地点f26の経度×1)÷5で算出することができる。
【0129】
なお、分析部102は、ノイズ除去処理がなされたSFMに基づく車両1000の絶対位置と、ノイズ除去処理がなされたGPSによる車両1000の絶対位置と用いて、車両1000の絶対位置をフレームごとに推定するようにしてもよい。ノイズ除去には、例えばカルマンフィルタを利用することとしてもよい。SFMに基づく車両1000の絶対位置のノイズを除去するために使用するカルマンフィルタと、GPSによる車両1000の絶対位置のノイズを除去するために使用するカルマンフィルタとは、異なるカルマンフィルタであってもよい。推定する車両1000の絶対位置の精度をより向上させることが可能になる。
【0130】
[周辺物の絶対位置を推定]
分析部102は、推定したフレームごとの車両1000の絶対位置と、フレームごとの車両1000と周辺物との相対的な位置関係とに基づき、周辺物の絶対位置をフレームごとに算出する。前述した通り、車両1000と周辺物との相対的な位置関係は、
図14のBに示すように、車両1000と周辺物との間の距離と、車両1000の進行方向(画像の中心方向)を基準(0度)とした場合における、当該周辺物が存在する左右方向の角度で示される。分析部102は、フレームごとの車両1000の絶対位置についてフレーム間で差分を取ることで得られた車両1000の絶対位置の移動方向を車両1000の進行方向とし、推定した進行方向を基準として、周辺物の相対位置に対応する緯度及び経度を算出することで、周辺物の絶対位置(緯度、経度)を得ることができる。
【0131】
(事故状況を示す画像の生成)
生成部103は、以上説明した処理手順により推定した、フレームごとの車両1000の絶対位置と周辺物の絶対位置とを道路地図上にマッピングすることで事故状況を示す画像を生成する。当該処理は、
図6のステップS21の処理手順に対応する。
【0132】
図17は、事故分析装置10が生成する画像の一例を示す図である。
図17におけるY軸及びX軸は、それぞれ、緯度及び経度に対応する。
図17のA~Eに示す道路において、中央の線は中央分離帯を示している。また、右側2車線は下から上に向かって走行する車線であり、左側2車線は、上から下に向かって走行する車線である。
図17のA~Eは、それぞれ、フレームX、フレームX+1、フレームX+2、フレームX+3、フレームX+4に対応しているものと仮定するが、あくまで一例でありこれに限定されるものではない。フレームごとの車両1000の絶対位置と周辺物の絶対位置とを道路地図上にマッピングすることで、事故の状況を再現することができる。例えば
図17のAの時点では車両1000の対向車線から乗用車V2走ってきており、
図17のBの時点で車両1000と乗用車V2が接近しており衝突した様子が図示されている。なお、衝突の有無及び衝突部位の表示については、後述する「衝突位置の推定」に関する処理手順により推定した結果を利用することとしてもよい。
【0133】
なお、
図17のC~Eでは、乗用車V2が存在しない。これは、車両1000の後方に乗用車V2が移動したことで、ドライブレコーダー1100が備えるカメラに乗用車V2が写らなくなったためである。もし、ドライブレコーダー1100が備えるカメラが、車両の後方も撮影可能である場合、車両1000の後方を撮影した映像データを解析することで、衝突後における乗用車V2の動きを推定して事故状況を示す画像に反映させることが可能である。
【0134】
(衝突方向の推定)
分析部102は、衝突の瞬間に車両1000に発生した加速度に基づいて、車両1000が他の車両、障害物等に衝突した方向を推定する。当該処理は、
図6のステップS19の処理手順に対応する。
【0135】
より具体的には、分析部102は、衝突の瞬間に車両1000に発生した加速度パターンにより、衝突の方向判断を行う。衝突が発生すると、車両1000には、衝突対象が存在する方向にマイナスの加速度が発生するともに、衝突の反動によって、衝突方向とは反対向きにも加速度が発生する。つまり、車両1000には、衝突物のある方向と、当該方向と180度反対方向を結ぶ軸上で往復するように加速度が発生することが一般的である。
【0136】
そこで、分析部102は、衝突時点の時刻から所定の期間内における加速度測定部1160からの出力値を方向別に合計し、合計値が大きい方向を衝突方向と推定する。より詳細には、
図18のAに示すように、加速度の方向を、車両1000の正面方向を0度とした場合に、正面(D1:337.5度~22.5度)、右前方(D2:22.5度~67.5度)、右(D3方向:67.5度~112.5度)、右後方(D4:112.5度~157.5度)、後方(D5:157.5度~202.5度)、左後方(D6:202.5度~247.5度)、左(D7:247.5度~292.5度)、及び左前方(D8:292.5度~337.5度)の8方向別に合計し、合計値が大きい方向を衝突方向とみなす。なお、加速度測定部1160で計測される加速度は、慣性の法則に従った加速度である。従って、衝突の際、衝突方向に正の加速度が計測される。
【0137】
なお、分析部102は、加速度測定部1160が最も大きな加速度を検出した時点を衝突時点の時刻とみなすようにしてもよい。ドライブレコーダー1100が備えるカメラがドライブレコーダーである場合、分析部102は、ドライブレコーダーに記録された衝突時点の時刻を衝突時点の時刻とみなすようにしてもよい。
【0138】
図18のBに示すように、車両1000が車両Vと右前方で接触した場合、加速度センサからは、例えば、時刻1(45度方向、3.0G)、時刻2(47度方向、1.0G)、時刻3(225度方向、2.5G)、時刻4(227度方向、0.5G)、時刻5(40度方向、2.0G)という加速度データが時系列順に取得されたと仮定する。つまり、車両1000は、時刻1の時点で車両Vと衝突したことで、急激に減速し、その後、右前方及び左後方との間で往復するような加速度が生じている。
【0139】
この場合、右前方(D2)に該当する加速度の合計は、3.0G+1.0G+2.0G=6.0Gであり、左後方(D6)に該当する加速度の合計は、2.5G+0.5G=3.0Gである。従って、分析部102は、右前方(D2)方向を、衝突方向と推定する。
【0140】
また、分析部102は、映像データを分析することで、車両1000が歩行者に衝突した方向を推定するようにしてもよい。例えば、前述した周辺物の検出を行う処理において、画像において、歩行者が所定の大きさ以上に写った場合に、車両1000と歩行者とが、正面(D1)方向で衝突したと推定するようにしてもよい。車両1000と歩行者とが衝突する場合、加速度センサが検出する加速度は、他車と衝突する場合と比較して小さいこと、及び、車両1000と歩行者とが衝突する場合、正面衝突することが殆どである。従って、車両1000と歩行者との衝突を検出する場合、映像データを分析することが好ましい。
【0141】
(事故の状況を示す情報の出力)
分析部102は、車両1000が起こした事故の状況を示す情報を出力する。当該処理は、
図6のステップS22の処理手順に対応する。前述したように、分析部102は、事故の状況を示す情報として、
図12に示す各項目を出力する。以下、
図12に示す各項目を特定する際の処理手順を詳細に説明する。なお、以下の説明にて、「他車」とは車両1000が衝突した相手を意味する。
【0142】
「A:接触の対象(自動車、障害物等)」
分析部102は、
図8に示す衝突対象特定処理により、衝突(接触)した対象物を特定する。
図19を用いて具体例を説明する。
図19において、車両1000は右前方で周辺物と衝突したものと仮定する。
図19のAの場合、車両1000の右前方方向(衝突方向)に最も近い位置にある対象物は乗用車V1である。従って、分析部102は、車両1000は、乗用車V1と衝突したと特定する。同様に
図19のBの場合、車両1000の右前方方向(衝突方向)に最も近い位置にある対象物は乗用車V5である。従って、分析部102は、車両1000は、乗用車V5と衝突したと特定する。
【0143】
なお、車両1000の衝突方向が、ドライブレコーダー1100が備えるカメラで撮影していない方向である場合(つまり、車両1000の前方しか撮影していない場合)、その方向については周辺物の絶対値を推定することができないことから、接触した対象物を特定することができない。この場合、分析部102は、何らかの車が衝突したものとみなすようにしてもよい。
【0144】
「B:接触部位」
分析部102は、推定された車両1000の衝突方向に応じて、接触部位を特定する。具体的には、衝突方向が
図18の正面(D1)である場合、接触部位は、
図20に示す前バンパーであるとする。また、衝突方向が右前方(D2)である場合、接触部位は、
図20に示す右前バンパーであるとする。また、衝突方向が右(D3)である場合、接触部位は、
図20に示す右側面であるとする。また、衝突方向が右後方(D4)である場合、接触部位は、
図20に示す右後バンパーであるとする。また、衝突方向が後方(D5)である場合、接触部位は、
図20に示す後バンパーであるとする。また、衝突方向が左後方(D6)である場合、接触部位は、
図20に示す左後バンパーであるとする。また、衝突方向が左(D7)である場合、接触部位は、
図20に示す左側面であるとする。また、衝突方向が左前方(D8)である場合、接触部位は、
図20に示す左前バンパーであるとする。
【0145】
「C:道路種別」
分析部102は、車両1000が衝突した時刻における車両1000の絶対位置と、地図データとを突合することで、衝突時に車両1000が走行していた道路の道路種別を特定する。分析部102が特定する道路種別には、一般道、高速道路といった情報に加えて、直線道路、カーブ、交差点の中及び丁字路の中といった情報が含まれていてもよい。
【0146】
「D:自車及び他車の信号色」
分析部102は、映像データをフレームごとに画像解析することで特定した信号機の色や矢印信号を用いて、信号色を特定する。例えば、分析部102は、衝突時に車両1000が走行していた道路の道路種別が交差点の中である場合、映像データを解析することで特定された信号機の色のうち、衝突時の時刻に最も近い時刻のフレームの画像であって、かつ、車両1000が交差点に進入する前に特定された信号機の色を、車両1000側の信号色(青、黄、赤のいずれか)であると特定する。車両1000が交差点に進入する前か否かは、車両1000の絶対位置と地図データとを突合することで判定可能である。
【0147】
なお、交差点において交差する側の信号色は映像データには映らないか、又はごく短い時間しか映っておらず判定が困難であることが想定される。そこで、分析部102は、車両1000側の信号色が青である場合、交差する側の信号色は赤であると特定するようにしてもよい。もし、車両1000と衝突した他車が交差点を交差する側の道路を走行している場合、当該他車の側の信号は赤であった(つまり、他車は赤信号で交差点に進入した)と特定されることになる。同様に、分析部102は、車両1000側の信号色が赤である場合、交差する側の信号色は青であると特定するようにしてもよい。もし、車両1000と衝突した他車が交差点を交差する側の道路を走行している場合、当該他車の側の信号は青であった(つまり、他車は青信号で交差点に進入した)と特定されることになる。
【0148】
「E:歩行者と横断歩道・安全地帯の位置関係」
車両1000と接触した対象が歩行者である場合、分析部102は、映像データをフレームごとに画像解析することで特定した歩行者の絶対位置及び横断歩道(又は安全地帯)の絶対位置を用いて、歩行者と横断歩道・安全地帯の位置関係を特定する。なお、分析部102は、横断歩道の絶対位置については、地図データから取得するようにしてもよい。
【0149】
分析部102は、車両1000が歩行者と衝突した時刻よりも前のフレームの画像であって最後に横断歩道又は安全地帯が写っているフレームの画像を解析することで得られる車両1000の絶対位置と、接触した歩行者の絶対位置とを結んだ線が横断歩道又は安全地帯の領域のうち最も車両1000から遠い側とぶつかる点を算出する。続いて、分析部102は、人の絶対位置と当該点との距離が所定距離(例えば7m)以内である場合、事故に遭った歩行者は横断歩道又は安全地帯上にいたと特定する。また、分析部102は、人の絶対位置と当該点との距離が所定距離(例えば7m)を超える場合、事故に遭った歩行者は横断歩道又は安全地帯上にはいなかったと特定する。
【0150】
図21は、歩行者と横断歩道・安全地帯の位置関係を特定する処理を説明するための図である。例えば、
図21において、分析部102は、車両1000の絶対位置(車両1000の中心の絶対位置)P1と歩行者の絶対位置P3を結ぶ線Lが横断歩道のうち最も車両1000から遠い側とぶつかる点P2を算出し、歩行者の絶対位置P3と点P2との間の距離が所定距離である場合、歩行者Rは横断歩道上にいたものとみなす。
【0151】
図21のAの例では、歩行者は横断歩道上にいるが、
図21のBの例では、歩行者は横断歩道上にはいない。しかしながら、どちらの例も、分析部102は、歩行者の絶対値P3と点P2との距離が所定距離以内であれは、歩行者は横断歩道上にあるとみなす。これは、事故事例上、事故にあった歩行者が横断歩道上を確実に歩いていたのか否かはそれほど重要ではなく、横断歩道から多少はみ出ていたとしても横断歩道を歩いていたものと判断されることが多いためである。
【0152】
「F:交差点における自車・他車の走行軌跡」
分析部102は、事故が交差点付近で生じた場合(車両1000が衝突した時刻における車両1000の絶対位置が、交差点の中心位置から所定の範囲内である場合)、フレームごとの車両1000の絶対位置を交差点の地図データ上に並べることで、車両1000の走行軌跡を特定する。また、分析部102は、フレームごとの他車の絶対位置を交差点の地図データ上に並べることで、他車の走行軌跡を特定する。より具体的には、分析部102は、走行軌跡の曲率の大きさ及び方向に基づいて、車両1000及び他車が交差点を直進したのか、右折したのか、左折したのか、早回り右折をしたのかを特定する。
【0153】
図22は、車両1000及び他車の進行方向を説明するための図である。例えば、分析部102は、交差点を含む所定領域内の走行軌跡の曲率が所定の値未満である場合、車両1000又は他車は交差点を直進したと判定し、当該所定領域内の走行軌跡の曲率が所定の値以上である場合、車両1000又は他車は交差点を左折又は右折したと判定するようにしてもよい。また、分析部102は、右折をする自車及び他車の走行軌跡が交差点中心の内側を通っている場合、早回り右折と判定するようにしてもよい。また、分析部102は、所定時間(例えば2秒等)以内に曲率が逆方向になった場合、車両1000及び他車は車線変更をしたと判定するようにしてもよい。
【0154】
「G:高速道路上の車線位置」
分析部102は、事故が高速道路上で生じた場合(車両1000が衝突した時刻における車両1000の絶対位置が、高速道路上である場合)、映像データをフレームごとに分析することで、又は、車両1000の絶対位置と地図データとを突合することで、車両1000が、本線を走行していたのか追い越し車線を走行していたのかを特定する。例えば、一番右の車線を走行している場合は追い越し車線を走行していたと特定し、一番右以外の車線を走行している場合は本線を走行していたと特定する。
【0155】
「H:交差点における優先関係」
分析部102は、事故が交差点付近で生じた場合、地図データから、交差点における一時停止標識の有無及び道路幅を抽出することで、車両1000が優先的に交差点に進入可能な側であったのか否かを判定する。より具体的には、交差点を交差する道路のうち、一時停止標識が無い側を走行している車両を優先であると特定する。また、交差点を交差する道路幅に二倍以上の差異がある場合、広い方の道路を走行している車両を優先であると特定する。また、一時停止標識が存在せず、かつ、道路幅に差異がない場合は、優先関係がないと特定する。
【0156】
「I:一時停止、信号無視違反の有無」
分析部102は、フレームごとの車両1000及び他車の絶対位置を並べることで得られる車両1000の走行軌跡と地図データとを突合することで、車両1000及び他車が一時停止標識を停止せずに通過したか否かを特定する。また、分析部102は、車両1000又は他車が一時停止標識を停止せずに通過した場合、通過した時点における車両1000又は他車の車速が、一時停止標識の前後の所定区間(例えば前後3m等)において所定速度(例えば5km等)以上である場合、一時停止違反であると特定する。一方、分析部102は、通過した時点における車両1000又は他車の車速が所定速度未満である場合、一時停止違反をしていないと特定する。
【0157】
また、分析部102は、フレームごとの車両1000の絶対位置を並べることで得られる車両1000の走行軌跡と地図データとを突合することで、車両1000が信号を通過したか否かを検出する。信号を通過している場合、分析部102は、信号を通過した時刻よりも前のフレームの画像であって最後に信号機が写っているフレームの画像を解析することで得られる信号機の色を取得する。信号の色が赤であった場合、分析部102は、車両1000は、信号を通過する際に信号無視をしていたと特定する。
【0158】
「J:制限速度違反の有無」
分析部102は、フレームごとの車両1000の絶対位置を並べることで得られる車両1000の走行軌跡と地図データとを突合することで、車両1000が走行した道路に設定されている制限速度を特定する。また、分析部102は、車両1000の車両データに含まれる車速データのうち、車両1000が衝突した時刻より所定時間前(例えば5秒前)のタイミングの車速と制限速度とを突合する。当該車速が制限速度を上回っている場合、分析部102は、車両1000は速度違反をしていたと特定する。当該車速が制限速度以下である場合、分析部102は、車両1000は速度違反をしていなかったと特定する。
【0159】
「K:自車・他車の衝突前速度」
分析部102は、車両1000の車両データに含まれる車速データから、車両1000の衝突前の速度を特定する。また、分析部102は、他車の車速を、映像データのフレームごとに推定した他車の絶対位置の変化から算出する。例えば、1フレームあたりの他車の移動距離が1mであり、映像データのフレームレートが1秒間に15フレームである場合、他車は時速54km(1時間に15×60×60フレーム)で走行していたと特定することができる。
【0160】
「L:道路上の障害物の有無」
分析部102は、映像データをフレームごとに画像解析することで、道路上の障害物の有無を特定する。分析部102は、車両1000が走行している車線道路上に道路と判断できない対象物が存在し、当該対象物が人、車、自転車及びバイクのいずれでもなく、かつ、フレーム間で絶対位置が移動していない場合、障害物であるとみなすようにしてもよい。
【0161】
「M:衝突した他車のドアの開閉」
分析部102は、映像データをフレームごとに画像解析することで、他車のドアが開いていたのか閉していたのかを特定する。
【0162】
「N:衝突前のウィンカー動作の有無」
分析部102は、車両1000の車両データに含まれるウィンカー作動情報から、車両1000が衝突前にウィンカーを動作させていたのか否かを特定する。また、分析部102は、映像データをフレームごとに画像解析することで、衝突前にウィンカーを動作させていたのか否かを特定する。
【0163】
「前方不注意の検出の有無」
分析部102は、車両1000の車両データに含まれる運転者の視線(注視方向)に関する情報に基づいて前方不注意の有無を判定する。例えば、事故発生の所定時間前から事故発生時点までの運転者の視線が前方でなかった場合運転者の前方不注意があったと判定する。
【0164】
「飲酒の検出の有無」
分析部102は、車両1000の車両データに含まれる運転者の呼気(飲酒の有無)に関する情報に基づいて飲酒の検出(飲酒運転)の有無を判定する。例えば、運転者の呼気に関する情報が示すアルコール濃度が所定の基準値を超えている場合、飲酒を検出したと判定する。なお、同乗者がある場合、同乗者の飲酒を検出してしまう可能性があるため、この項目を除外するようにしてもよい。同乗者の有無は、車内の映像データから判定するようにしてもよい。
【0165】
「ブレーキのタイミング」
分析部102は、車両1000の車両データに含まれるブレーキの操作情報に基づいて、ブレーキのタイミングが早いか、通常であるか、遅い(急ブレーキ)であるかを判定する。例えば、事故時点からみたブレーキの操作タイミングを所定の基準値と比較することで、ブレーキのタイミングが早いか、通常であるか、遅い(急ブレーキ)であるか判定すればよい。
【0166】
「衝撃時のハンドル操作」
分析部102は、車両1000の車両データに含まれるハンドルの操作情報に基づいて、ハンドル操作の有無や、急ハンドルの有無を判定する。例えば、事故直前のハンドル操作速度が所定の基準値より早い場合、急ハンドルであったと判定すればよい。
【0167】
ここで挙げた事故状況を示す情報の項目は一例であり、これら以外の情報を含んでいてもよい。
【0168】
(対応する事故事例の検索)
分析部102は、分析した事故状況に対応する事故事例を検索して出力する。当該処理は、
図6のステップS23の処理手順に対応する。分析部102は、事故の状況と過去の事故事例とを対応づけた事故事例DB(事故事例データ)とを比較することで、車両1000が起こした事故の状況に対応する事故事例や過失割合を検索する。
図23は、事故事例DBの一例を示す図である。ステップS23では、
図23に示すような事後事例DBの画面が出力される。
図23に示すように、事故事例は、事故事例を検索するための「検索条件」と、事故の内容を示す「事故内容」と、基本の過失割合を示す「過失割合(基本)」と、過失割合の修正が必要になる条件である「修正要素」とを含む。
【0169】
図23の例では、車両1000が衝突した対象が車であり(項目Aにて「乗用車又はトラック」に該当)、交差点の中で車両1000と車が衝突した事故であり(項目Cにて「交差点の中」に該当)、直進車と右折車の事故であり(項目Fにて、車両1000が直進で他車が右折、又は、他車が直進で車両1000が右折に該当)、直進車は赤信号であり右折車は黄色である(項目Dにて、車両1000が赤で他車が黄色、又は、車両1000が黄色で他車が赤)である場合に、事故事例1に該当することと、直進車と右折車の過失割合は70対30であることが示されている。
【0170】
また、修正要素として、直進車が15km以上の速度違反である場合(項目J及びKにて15km以上の速度違反)には、直進車と右折車の過失割合は75対25になることが
示されている。同様に、直進車が30km以上の速度違反である場合(項目J及びKにて30km以上の速度違反)には、直進車と右折車の過失割合は80対20になることが示されている。また、右折車がウィンカーをつけずに右折した場合(項目Nにてウィンカー無し)には、直進車と右折車の過失割合は60対40になることが示されている。
【0171】
なお、修正要素には、過失割合のうち「その他の著しい過失」(例えば前方不注意、飲酒運転、急ハンドル、急ブレーキ等)など、事故分析装置10での判定が困難である修正要素も含まれていてもよい。
【0172】
検索部104は、事故の状況を示す情報の各項目について特定された内容と、事故事例DBとを突合することで、特定された内容と一致する事故事例を検索する。また、検索部104は、事故事例DBから、検索した事故事例に対応する過失割合を取得する。また、検索部104は、検索した事故事例の修正要素と、事故の状況を示す各項目とを突合することで、該当する修正要素の有無を検索する。該当する修正要素が存在する場合、検索部104は、該当した修正要素の修正割合に応じて過失割合を修正する。
【0173】
また、出力部105は、検索部104で検索された事故事例の事故内容と過失割合とを端末20に出力する。また、修正要素に、事故分析装置10での判定が困難である修正要素が含まれている場合、出力部105は、事故事例の番号と、判定した過失割合と、判定が困難な修正要素の文言とを端末20に出力するようにしてもよい。
【0174】
検索部104は、事故事例DBを検索する際、検索条件の全てに該当する事故事例に加えて、検索条件の一部に該当する事故事例も検索するようにしてもよい。また、検索部104は、検索条件の一部に該当する事故事例を検索する場合、一致しない項目の数に応じて、事故事例を順位付けし、出力部105は、順位順に事故内容を出力するようにしてもよい。
【0175】
また、事故事例には、更に、発生件数が多い順にランク付けされており、検索部104は、当該ランクが高い順に事故事例DBを検索するようにしてもよい。
【0176】
以上説明した実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施の形態で説明したフローチャート、シーケンス、実施の形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施の形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【符号の説明】
【0177】
1…事故分析システム、10…事故分析装置、11…プロセッサ、12…記憶装置、13…通信IF、14…入力デバイス、15…出力デバイス、20…端末、100…記憶部、101…取得部、102…分析部、103…生成部、104…検索部、105…出力部、1000…車両、1100…ドライブレコーダー、1110…第1通信部、1120…第2通信部、1130…測位部、1140…録画部、1150…録音部、1160…加速度測定部、1170…自動診断データ取得部、1180…制御部、1190…センサ部、1200…データ格納部、1300…ミラー、1400…自動診断システム
【手続補正書】
【提出日】2022-01-14
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
車両が備えるセンサにより計測された車両データと該車両が備えるカメラで撮影された映像データとを取得する取得部と、
取得した前記車両データと前記映像データとに基づいて、前記車両が起こした事故の状況を分析する分析部と、を備え、
前記分析部は、前記映像データに含まれる音声データから人間の悲鳴相当の周波数を除外し、該人間の悲鳴相当の周波数を除外した音声データに基づいて、事故の発生タイミングを判定する
ことを特徴とする事故分析装置。
【請求項2】
前記分析部は、
前記車両データに含まれる加速度データに基づいて、事故における前記車両の衝突方向を推定し、
判定した事故の発生タイミング前後の所定時間内の前記映像データに含まれる周辺物のうち、前記衝突方向にあり、かつ、前記車両への距離が減少している周辺物を衝突対象として特定する
ことを特徴とする請求項1に記載の事故分析装置。
【請求項3】
前記分析部により分析された前記車両が起こした事故の状況と、事故の状況と過去の事故事例に関する情報とを対応づけた事故事例データとを比較することで、前記車両が起こした事故の状況に対応する過去の事故事例に関する情報を検索する検索部を備える
ことを特徴とする請求項1または2に記載の事故分析装置。
【請求項4】
前記車両を地図データにマッピングすることで、前記車両が起こした事故の状況を示す画像を生成する生成部を備える
ことを特徴とする請求項1から3のいずれか1項に記載の事故分析装置。
【請求項5】
事故分析装置による事故分析方法であって、
車両が備えるセンサにより計測された車両データと該車両が備えるカメラで撮影された映像データとを取得する取得ステップと、
取得した前記車両データと前記映像データとに基づいて、前記車両が起こした事故の状況を分析する分析ステップと、を備え、
前記分析ステップでは、前記映像データに含まれる音声データから人間の悲鳴相当の周波数を除外し、該人間の悲鳴相当の周波数を除外した音声データに基づいて、事故の発生タイミングを判定する
ことを特徴とする事故分析方法。
【請求項6】
コンピュータを、
車両が備えるセンサにより計測された車両データと該車両が備えるカメラで撮影された映像データとを取得する取得部、
取得した前記車両データと前記映像データとに基づいて、前記車両が起こした事故の状況を分析する分析部、として機能させ、
前記分析部は、前記映像データに含まれる音声データから人間の悲鳴相当の周波数を除外し、該人間の悲鳴相当の周波数を除外した音声データに基づいて、事故の発生タイミングを判定する
ことを特徴とするプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0006
【補正方法】変更
【補正の内容】
【0006】
上記目的を達成するため、本発明の事故分析装置は、
車両が備えるセンサにより計測された車両データと該車両が備えるカメラで撮影された映像データとを取得する取得部と、
取得した前記車両データと前記映像データとに基づいて、前記車両が起こした事故の状況を分析する分析部と、を備え、
前記分析部は、前記映像データに含まれる音声データから人間の悲鳴相当の周波数を除外し、該人間の悲鳴相当の周波数を除外した音声データに基づいて、事故の発生タイミングを判定する。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】削除
【補正の内容】
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0008
【補正方法】削除
【補正の内容】
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0012
【補正方法】変更
【補正の内容】
【0012】
また、本発明の事故分析方法は、
事故分析装置による事故分析方法であって、
車両が備えるセンサにより計測された車両データと該車両が備えるカメラで撮影された映像データとを取得する取得ステップと、
取得した前記車両データと前記映像データとに基づいて、前記車両が起こした事故の状況を分析する分析ステップと、を備え、
前記分析ステップでは、前記映像データに含まれる音声データから人間の悲鳴相当の周波数を除外し、該人間の悲鳴相当の周波数を除外した音声データに基づいて、事故の発生タイミングを判定する。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0013
【補正方法】変更
【補正の内容】
【0013】
また、本発明のプログラムは、
コンピュータを、
車両が備えるセンサにより計測された車両データと該車両が備えるカメラで撮影された映像データとを取得する取得部、
取得した前記車両データと前記映像データとに基づいて、前記車両が起こした事故の状況を分析する分析部、として機能させ、
前記分析部は、前記映像データに含まれる音声データから人間の悲鳴相当の周波数を除外し、該人間の悲鳴相当の周波数を除外した音声データに基づいて、事故の発生タイミングを判定する。