特開 2023-55070 交通案内情報特定装置、交通案内情報特定方法、および交通案内情報特定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023055070

(43)【公開日】2023-04-17

(54)【発明の名称】交通案内情報特定装置、交通案内情報特定方法、および交通案内情報特定プログラム

(51)【国際特許分類】

   G08G 1/00 20060101AFI20230410BHJP

   G08G 1/054 20060101ALI20230410BHJP

   G07C 5/00 20060101ALI20230410BHJP

【ＦＩ】

G08G1/00 D

G08G1/054 A

G07C5/00 Z

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2021164177

(22)【出願日】2021-10-05

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】高橋 俊裕

【テーマコード（参考）】

3E138

5H181

【Ｆターム（参考）】

3E138AA07

3E138MA02

3E138MB03

3E138MB08

3E138MB09

3E138MB12

3E138MC03

3E138ME01

5H181AA01

5H181AA21

5H181AA25

5H181AA26

5H181BB04

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181CC27

5H181FF10

(57)【要約】

【課題】事故発生時に関わる交通案内情報を高精度に特定する。
【解決手段】交通案内情報特定装置１０の映像取得部１４Ａは、自車両１Ａに搭載された撮影部２２Ａで撮影された車外の映像情報３０を取得する。事故発生タイミング取得部１４Ｂは、自車両１Ａの事故発生タイミング６０を取得する。運動情報取得部１４Ｃは、自車両１Ａの運動情報５０を取得する。交通案内情報特定部１４Ｅは、運動情報５０に基づいて、映像情報３０に含まれる１以上の第１交通案内情報４１の内、事故発生タイミング６０以前の少なくとも自車両１Ａの直進区間５０Ａを含む抽出対象期間６２内に撮影された第１交通案内情報４１を、事故発生時に関わる第２交通案内情報４２として特定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

自車両に搭載された撮影部で撮影された車外の映像情報を取得する映像取得部と、
前記自車両の事故発生タイミングを取得する事故発生タイミング取得部と、
前記自車両の運動情報を取得する運動情報取得部と、
前記運動情報に基づいて、前記映像情報に含まれる１以上の第１交通案内情報の内、前記事故発生タイミング以前の少なくとも前記自車両の直進区間を含む抽出対象期間内に撮影された前記第１交通案内情報を、事故発生時に関わる第２交通案内情報として特定する交通案内情報特定部と、
を備える交通案内情報特定装置。

【請求項2】

前記交通案内情報特定部は、
前記事故発生タイミング以前の所定期間の時刻ごとの前記運動情報を、前記直進区間の前記運動情報と右左折区間の前記運動情報とに分類する分類部と、
前記直進区間の前記運動情報、前記右左折区間の前記運動情報、および前記事故発生タイミングに基づいて、前記事故発生タイミング以前の直前の前記直進区間の最終時刻から時系列方向の上流側および下流側の少なくとも一方に向かって所定期間を、前記抽出対象期間として特定する抽出対象期間特定部と、
を有する、請求項１に記載の交通案内情報特定装置。

【請求項3】

前記交通案内情報特定部は、
前記事故発生タイミング、前記抽出対象期間、前記第１交通案内情報、前記第２交通案内情報、前記自車両の前記運動情報、前記直進区間の前記運動情報、および前記右左折区間の前記運動情報の少なくとも１つを表示する表示制御部を更に有する、
請求項２に記載の交通案内情報特定装置。

【請求項4】

時系列に沿って撮影された複数の画像を含む前記映像情報から１つ以上の前記第１交通案内情報を取得する交通案内情報取得部を更に備え、
前記交通案内情報特定部は、
前記映像情報に含まれる前記抽出対象期間に撮影された前記画像から取得された前記第１交通案内情報によって表される、交通案内の種類、交通案内の前記画像上の位置、および交通案内の識別情報に基づいて、前記自車両の事故発生時に関わる前記第２交通案内情報を特定する第２交通案内情報特定部を更に有する、
請求項１～請求項３の何れか１項に記載の交通案内情報特定装置。

【請求項5】

前記交通案内情報取得部は、
前記映像情報から、交通案内の種類、前記映像情報に含まれる画像上における交通案内の位置、および交通案内の識別情報、の少なくとも１つを含む前記第１交通案内情報を取得する、
請求項４に記載の交通案内情報特定装置。

【請求項6】

前記運動情報取得部は、
内界センサおよび外界センサの少なくとも一方から、前記自車両の速度、角速度、実空間上の位置、走行方向、および加速度のうち少なくとも１つを前記自車両の前記運動情報として取得する、
請求項１～請求項５の何れか１項に記載の交通案内情報特定装置。

【請求項7】

前記事故発生タイミング取得部は、
前記自車両に搭載された内界センサおよび外界センサの少なくとも一方から得られる、加速度、角加速度、音量のうち少なくとも１つの変化に応じて、前記事故発生タイミングを取得する、
請求項１～請求項６の何れか１項に記載の交通案内情報特定装置。

【請求項8】

前記第１交通案内情報は、
信号機および交通標識の少なくとも一方を含む交通案内を表す情報であり、
前記信号機は、車両用信号機および歩行者用信号機の少なくとも一方を含み、
前記交通標識は、一時停止標識を含み、
前記第１交通案内情報は、前記信号機の灯色を表す灯色情報を含む、
請求項１～請求項７の何れか１項に記載の交通案内情報特定装置。

【請求項9】

前記自車両を含む移動体は、
交通案内による規制対象である、
請求項１～請求項８の何れか１項に記載の交通案内情報特定装置。

【請求項10】

自車両に搭載された撮影部で撮影された車外の映像情報を取得する映像取得ステップと、
前記自車両の事故発生タイミングを取得する事故発生タイミング取得ステップと、
前記自車両の運動情報を取得する運動情報取得ステップと、
前記運動情報に基づいて、前記映像情報に含まれる１以上の第１交通案内情報の内、前記事故発生タイミング以前の少なくとも前記自車両の直進区間を含む抽出対象期間内に撮影された前記第１交通案内情報を、事故発生時に関わる第２交通案内情報として特定する交通案内情報特定ステップと、
を含む交通案内情報特定方法。

【請求項11】

前記交通案内情報特定ステップは、
前記事故発生タイミング以前の所定期間の時刻ごとの前記運動情報を、前記直進区間の前記運動情報と右左折区間の前記運動情報とに分類する分類ステップと、
前記直進区間の前記運動情報、前記右左折区間の前記運動情報、および前記事故発生タイミングに基づいて、前記事故発生タイミング以前の直前の前記直進区間の最終時刻から時系列方向の上流側および下流側の少なくとも一方に向かって所定期間を、前記抽出対象期間として特定する抽出対象期間特定ステップと、
を含む、請求項１０に記載の交通案内情報特定方法。

【請求項12】

前記交通案内情報特定ステップは、
前記事故発生タイミング、前記抽出対象期間、前記第１交通案内情報、前記第２交通案内情報、前記自車両の前記運動情報、前記直進区間の前記運動情報、および前記右左折区間の前記運動情報の少なくとも１つを表示する表示制御ステップを更に含む、
請求項１１に記載の交通案内情報特定方法。

【請求項13】

時系列に沿って撮影された複数の画像を含む前記映像情報から１つ以上の前記第１交通案内情報を取得する交通案内情報取得ステップを更に含み、
前記交通案内情報特定ステップは、
前記映像情報に含まれる前記抽出対象期間に撮影された前記画像から取得された前記第１交通案内情報によって表される、交通案内の種類、交通案内の前記画像上の位置、および交通案内の識別情報に基づいて、前記自車両の事故発生時に関わる前記第２交通案内情報を特定する第２交通案内情報特定ステップを更に含む、
請求項１０～請求項１２の何れか１項に記載の交通案内情報特定方法。

【請求項14】

前記交通案内情報取得ステップは、
前記映像情報から、交通案内の種類、前記映像情報に含まれる画像上における交通案内の位置、および交通案内の識別情報、の少なくとも１つを含む前記第１交通案内情報を取得する、
請求項１３に記載の交通案内情報特定方法。

【請求項15】

前記運動情報取得ステップは、
内界センサおよび外界センサの少なくとも一方から、前記自車両の速度、角速度、実空間上の位置、走行方向、および加速度のうち少なくとも１つを前記自車両の前記運動情報として取得する、
請求項１０～請求項１４の何れか１項に記載の交通案内情報特定方法。

【請求項16】

前記事故発生タイミング取得ステップは、
前記自車両に搭載された内界センサおよび外界センサの少なくとも一方から得られる、加速度、角加速度、音量のうち少なくとも１つの変化に応じて、前記事故発生タイミングを取得する、
請求項１０～請求項１５の何れか１項に記載の交通案内情報特定方法。

【請求項17】

前記第１交通案内情報は、
信号機および交通標識の少なくとも一方を含む交通案内を表す情報であり、
前記信号機は、車両用信号機および歩行者用信号機の少なくとも一方を含み、
前記交通標識は、一時停止標識を含み、
前記第１交通案内情報は、前記信号機の灯色を表す灯色情報を含む、
請求項１０～請求項１６の何れか１項に記載の交通案内情報特定方法。

【請求項18】

前記自車両を含む移動体は、
交通案内による規制対象である、
請求項１０～請求項１７の何れか１項に記載の交通案内情報特定方法。

【請求項19】

自車両に搭載された撮影部で撮影された車外の映像情報を取得する映像取得ステップと、
前記自車両の事故発生タイミングを取得する事故発生タイミング取得ステップと、
前記自車両の運動情報を取得する運動情報取得ステップと、
前記運動情報に基づいて、前記映像情報に含まれる１以上の第１交通案内情報の内、前記事故発生タイミング以前の少なくとも前記自車両の直進区間を含む抽出対象期間内に撮影された前記第１交通案内情報を、事故発生時に関わる第２交通案内情報として特定する交通案内情報特定ステップと、
をコンピュータに実行させるための交通案内情報特定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、交通案内情報特定装置、交通案内情報特定方法、および交通案内情報特定プログラムに関する。

【背景技術】

【0002】

近年、車両に搭載されたカメラで撮影された映像情報を用いて、映像情報に含まれる信号機や標識などの交通案内情報を特定することが行われている。例えば、特許文献１には、撮影画像に基づいて信号機および標識の少なくとも一方を認識する技術が開示されている。特許文献１では、撮影画像上の自車両の走行方向の道路形状に応じた位置に存在する検出対象を、自車両に対して最も有効な信号機または標識として判定することが開示されている。

【0003】

ここで、事故発生時には、車両に搭載されたカメラで撮影された映像情報が活用される場合がある。しかし、従来技術では、車両の走行中に順次撮影される撮影画像から走行予定の道路形状を推定し、撮影画像上の道路形状に応じた位置に存在する信号機または標識などを自車両に対して有効な交通案内として判定していた。このため、従来技術では、走行車線に対して交差する交差車線上の他の移動体に対する信号機の映り込みや他車両による交通案内の遮蔽等が発生する状況では、道路形状の推定および交通案内の抽出が困難となる場合があった。すなわち、従来技術では、映像情報から事故発生時に関わる交通案内情報を特定することが困難となる場合があった。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７－２５７２９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、自車両の事故発生時に関わる交通案内情報を高精度に特定することができる、交通案内情報特定装置、交通案内情報特定方法、および交通案内情報特定プログラムを提供することである。

【課題を解決するための手段】

【0006】

実施形態の交通案内情報特定装置は、映像取得部と、事故発生タイミング取得部と、運動情報取得部と、交通案内情報特定部と、を備える。映像取得部は、自車両に搭載された撮影部で撮影された車外の映像情報を取得する。事故発生タイミング取得部は、前記自車両の事故発生タイミングを取得する。運動情報取得部は、前記自車両の運動情報を取得する。交通案内情報特定部１４Ｅは、前記運動情報に基づいて、前記映像情報に含まれる１以上の第１交通案内情報の内、前記事故発生タイミング以前の少なくとも前記自車両の直進区間を含む抽出対象期間内に撮影された前記第１交通案内情報を、事故発生時に関わる第２交通案内情報として特定する。

【図面の簡単な説明】

【0007】

【図1】交通案内情報特定装置を搭載した車両の模式図。

【図2A】映像情報の模式図。

【図2B】映像情報に含まれる画像の模式図。

【図3】事故発生タイミングの説明図。

【図4】交通案内情報特定部の機能構成を示すブロック図。

【図5】分類部および抽出対象期間特定部による処理の一例の説明図。

【図6A】実空間の自車両と交通案内との位置関係の模式図。

【図6B】画像の模式図。

【図7A】表示画面の模式図。

【図7B】表示画面の模式図。

【図8】情報処理の流れのフローチャート。

【図9】分類処理の流れのフローチャート。

【図10】交通案内取得処理のフローチャート。

【図11】ハードウェア構成図。

【発明を実施するための形態】

【0008】

以下に添付図面を参照して、交通案内情報特定装置、交通案内情報特定方法、および交通案内情報特定プログラムを詳細に説明する。

【0009】

図１は、本実施形態の交通案内情報特定装置１０を搭載した車両１の一例の模式図である。

【0010】

交通案内情報特定装置１０は、自車両１Ａの事故発生時に関わる交通案内情報を特定する装置である。交通案内情報の詳細は後述する。本実施形態では、交通案内情報特定装置１０が、車両１に搭載された形態を一例として説明する。また、本実施形態では、交通案内情報特定装置１０を搭載された車両１を、自車両１Ａと称して説明する。

【0011】

車両１は、移動体の一例である。移動体とは、交通案内による交通規制の対象であり、移動可能な対象である。移動体は、例えば、車両１、歩行者、ロボット、飛翔体、船舶、などである。車両１は、例えば、自動二輪車、自動四輪車、自転車などである。本実施形態では、車両１が自動四輪車である場合を一例として説明する。なお、車両１は、例えば、人による運転操作を介して走行する移動体、および、人による運転操作を介さずに自律走行可能な移動体の何れであってもよい。

【0012】

自車両１Ａは、交通案内情報特定装置１０と、出力部２０と、外界センサ２２と、内界センサ２４と、を備える。交通案内情報特定装置１０、出力部２０、外界センサ２２、および内界センサ２４は、バス２６などを介して通信可能に接続されている。

【0013】

出力部２０は、各種の情報を出力する。出力部２０は、通信部２０Ａ、表示部２０Ｂ、およびスピーカ２０Ｃなどを含む。

【0014】

通信部２０Ａは、情報を他の情報処理装置などとの間で送受信する。例えば、通信部２０Ａは、有線または無線により通信回線を介して情報を送受信する。表示部２０Ｂは、各種の情報を表示するディスプレイである。表示部２０Ｂは、投影装置であってもよい。スピーカ２０Ｃは、音を出力する。

【0015】

外界センサ２２および内界センサ２４は、車両１の環境を観測するセンサである。

【0016】

外界センサ２２は、車両１の外界の環境を観測する。外界センサ２２は、撮影部２２Ａ、位置センサ２２Ｂ、距離センサ、およびマイクを含む。距離センサは、例えば、ミリ波レーダ、レーザセンサ、距離画像センサなどである。

【0017】

撮影部２２Ａは、撮影によって映像情報を得る。本実施形態では、撮影部２２Ａは、少なくとも車両１の走行方向の前方の領域を撮影可能となるように、設置位置、撮影方向、および撮影画角が予め調整されているものとする。また、撮影部２２Ａの撮影方向は、前進走行する車両１の走行方向に略平行となるように予め調整されているものとする。

【0018】

位置センサ２２Ｂは、車両１の位置を検出する。位置センサ２２Ｂは、例えば、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などである。

【0019】

内界センサ２４は、車両１の内界の環境を観測する。内界センサ２４は、車両１の角速度、加速度、速度、姿勢、走行方向、などを観測する。内界センサ２４は、例えば、慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）、加速度センサ、速度センサ、ロータリエンコーダ、などである。ＩＭＵは、移動体の三軸加速度および三軸角速度を観測する。

【0020】

交通案内情報特定装置１０は、記憶部１２と、処理部１４と、を備える。記憶部１２、処理部１４、出力部２０、外界センサ２２、および内界センサ２４は、バス２６などを介して通信可能に接続されている。

【0021】

記憶部１２、通信部２０Ａ、表示部２０Ｂ、スピーカ２０Ｃ、撮影部２２Ａ、位置センサ２２Ｂ、および内界センサ２４は、有線または無線で処理部１４に通信可能に接続された構成であればよい。通信部２０Ａ、表示部２０Ｂ、スピーカ２０Ｃ、撮影部２２Ａ、位置センサ２２Ｂ、および内界センサ２４の少なくとも一つと、処理部１４とを、ネットワークを介して接続してもよい。

【0022】

記憶部１２は、各種のデータを記憶する。なお、記憶部１２は、交通案内情報特定装置１０の外部に設けられた記憶装置であってもよい。また、記憶部１２および処理部１４に含まれる１または複数の機能部の少なくとも１つを、ネットワークなどを介して交通案内情報特定装置１０に通信可能に接続された外部の情報処理装置に搭載した構成としてもよい。すなわち、記憶部１２および処理部１４に含まれる１または複数の機能部の少なくとも１つを、自車両１Ａに対して通信可能に接続された自車両１Ａの外部の情報処理装置などに搭載した形態であってもよい。

【0023】

処理部１４は、交通案内情報特定装置１０において情報処理を実行する。処理部１４は、映像取得部１４Ａと、事故発生タイミング取得部１４Ｂと、運動情報取得部１４Ｃと、交通案内情報取得部１４Ｄと、交通案内情報特定部１４Ｅと、を含む。

【0024】

映像取得部１４Ａ、事故発生タイミング取得部１４Ｂ、運動情報取得部１４Ｃ、交通案内情報取得部１４Ｄ、および交通案内情報特定部１４Ｅは、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣなどのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

【0025】

映像取得部１４Ａは、自車両１Ａに搭載された撮影部２２Ａで撮影された車外の映像情報を取得する。

【0026】

図２Ａは、映像情報３０の一例の模式図である。映像情報３０は、撮影部２２Ａによって時系列に沿って順次撮影された複数の画像Ｆから構成される。画像Ｆは、ある時刻に撮影された撮影画像またはフレームに相当する。

【0027】

図２Ｂは、映像情報３０に含まれる画像Ｆの一例の模式図である。

【0028】

画像Ｆには、例えば、１または複数の交通案内４０の像が含まれる場合がある。すなわち、撮影部２２Ａの撮影画角内に交通案内４０が含まれる撮影タイミングで撮影された画像Ｆには、交通案内４０の像が含まれる。

【0029】

交通案内４０とは、移動体の交通安全や円滑移動を図るために設けられた交通規制を表す設備である。交通案内４０には、例えば、信号機、交通標識、の少なくとも一方が含まれる。

【0030】

信号機は、移動体に通行権の規制を知らせるための機器であり、点灯された色によって交通規制の内容を表す。以下では、点灯された色を、灯色と称して説明する。信号機は、例えば、車両用信号機および歩行者用信号機の少なくとも一方を含む。

【0031】

交通標識は、交通規制を表すマークや文字などを表す設備である。交通標識は、例えば、一時停止を表す一時停止標識、車両１の侵入禁止を表す車両進入禁止標識、一方通行を表す一方通行標識、追い越し禁止を表す追い越し禁止標識、などである。なお、交通標識の種類は、これらに限定されない。

【0032】

図２Ｂには、交通案内４０の像として、信号機の像を一例として示す。例えば、画像Ｆには、像４０Ａ～像４０Ｅの複数の信号機の交通案内４０の像などが含まれる。

【0033】

図１に戻り説明を続ける。事故発生タイミング取得部１４Ｂは、自車両１Ａの事故発生タイミングを取得する。

【0034】

事故発生タイミングとは、自車両１Ａの事故発生のタイミングを意味する。事故発生タイミングは、事故発生の瞬間である１つの時刻、事故発生の期間を表す時系列に沿って連続する複数の時刻、の何れであってもよい。

【0035】

事故発生タイミング取得部１４Ｂは、外界センサ２２および内界センサ２４の少なくとも一方から得られる、加速度、角加速度、音量のうち少なくとも１つの変化に応じて、事故発生タイミングを取得する。

【0036】

交通事故発生時には、衝突や急ブレーキなどにより自車両１Ａには大きな加速度の変化が想定される。また、交通事故発生時には、急激な走行方向の変化や自車両１Ａへの衝撃や自車両１Ａの回転などが想定される。このため、交通事故発生時には、自車両１Ａに大きな角加速度の変化が想定される。また、交通事故発生時には、大きな音量の変化が想定される。

【0037】

そこで、事故発生タイミング取得部１４Ｂは、外界センサ２２および内界センサ２４の少なくとも一方で観測された、加速度、角加速度、および音量、の少なくとも１つが予め定めた閾値以上となるタイミングを含む期間を、事故発生タイミングとして取得する。閾値は、予め定めればよい。

【0038】

図３は、事故発生タイミングの一例の説明図である。図３中、横軸は時刻を表す。縦軸は加速度を表す。図３には、交通事故発生時の加速度の推移の一例を示す線図４４を表す。線図４４に示されるように、交通事故発生時には、加速度に変化が生じる。

【0039】

例えば、事故発生タイミング取得部１４Ｂは、加速度が閾値Ｇ１未満である状態が設定時間以上継続した状態から閾値Ｇ１を超えた状態へと推移した時刻Ａｓから、該時刻Ａｓから所定時間内に加速度が閾値Ｇ１を超えた後に該閾値Ｇ１未満の状態となる最も遅い時刻Ａｅまでの期間Ａを、事故発生タイミングとして特定する。所定時間には、交通事故発生時に加速度、角速度、および音量の少なくとも１つの変化が連続的または断続的に継続する最大の時間などを予め定めればよい。設定時間には、所定時間を超える長さであって、且つ事故未発生とみなすことの可能な時間を予め定めればよい。最も遅い時刻Ａｅとは、時刻Ａｓから所定時間内に加速度が閾値Ｇ１を超えた後に加速度が低下して該閾値Ｇ１に到達した時刻である。

【0040】

図１に戻り説明を続ける。

【0041】

運動情報取得部１４Ｃは、自車両１Ａの運動情報を取得する。

【0042】

運動情報とは、自車両１Ａの走行状態を表す情報である。運動情報は、例えば、自車両１Ａの速度、角速度、実空間上の位置、走行方向、および加速度の少なくとも１つを表す情報である。

【0043】

運動情報取得部１４Ｃは、外界センサ２２および内界センサ２４の少なくとも一方から、時系列に沿って順次観測される、自車両１Ａの速度、角速度、実空間上の位置、走行方向、および加速度のうち少なくとも１つを自車両１Ａの運動情報として取得する。すなわち、運動情報は、自車両１Ａの速度、角速度、実空間上の位置、走行方向、および加速度のうち少なくとも１つを含む情報である。運動情報取得部１４Ｃは、時刻ごとの運動情報を取得する。

【0044】

交通案内情報取得部１４Ｄは、映像情報３０から１つ以上の第１交通案内情報を取得する。

【0045】

図２Ｂを用いて説明する。第１交通案内情報４１とは、信号機および交通標識の少なくとも一方を含む交通案内４０を表す情報である。言い換えると、第１交通案内情報４１は、映像情報３０に含まれる交通案内４０を特定可能な交通案内情報である。詳細には、第１交通案内情報４１は、交通案内４０の種類、画像Ｆ上における交通案内４０の位置、および交通案内４０の識別情報、の少なくとも１つを含む。

【0046】

交通案内４０の種類とは、交通規則の提供形態ごとに交通案内４０を複数のグループに分類した、各グループのラベルを意味する。交通案内４０の種類は、例えば、信号機、交通標識、などであるが、これらに限定されない。交通案内４０の種類は、さらに細分化したものであってもよい。例えば、交通案内４０の種類は、信号機を更に細分化した、車両用信号機、および歩行者用信号機、などを含んでいてよい。また、交通案内４０の種類が信号機の場合には、第１交通案内情報４１は、信号機の灯色を表す灯色情報を更に含んでよい。

【0047】

画像Ｆ上における交通案内４０の位置とは、画像Ｆに含まれる交通案内４０の像の領域の位置を表す情報である。例えば、交通案内４０の像の領域として矩形領域を用いる場合を想定する。この場合、交通案内４０の位置は、例えば、画像Ｆ上における交通案内４０の像の矩形領域の外枠の左上頂点の座標（ｘｌ，ｙｌ）および右下頂点の座標（ｘｒ，ｙｒ）により表される。

【0048】

交通案内４０の識別情報とは、交通案内４０を一意に識別する情報である。言い換えると、交通案内４０の識別情報は、映像情報３０に含まれる時系列に連続して撮影された複数の画像Ｆ間で、同じ交通案内４０であることを識別する情報である。このため、同一の識別情報の交通案内４０は、実空間において同じ交通案内４０である。

【0049】

交通案内情報取得部１４Ｄは、映像情報３０から、交通案内４０の種類、画像Ｆ上における交通案内４０の位置、および交通案内４０の識別情報、の少なくとも１つを含む第１交通案内情報４１を取得する。詳細には、交通案内情報取得部１４Ｄは、映像情報３０に含まれる時系列に連続して撮影された複数の画像Ｆの各々ごとに、公知の画像処理などを用いて、含まれる交通案内４０の第１交通案内情報４１を取得する。このため、交通案内情報取得部１４Ｄは、時系列に撮影された複数の画像Ｆごと、すなわち画像Ｆの撮影された時刻ごとに、撮影部２２Ａで撮影された交通案内４０の第１交通案内情報４１を取得する。

【0050】

図１に戻り説明を続ける。

【0051】

交通案内情報特定部１４Ｅは、自車両１Ａの運動情報に基づいて、映像情報３０に含まれる１以上の第１交通案内情報４１の内、事故発生タイミング以前の少なくとも自車両１Ａの直進区間を含む抽出対象期間内に撮影された第１交通案内情報４１を、自車両１Ａの事故発生時に関わる第２交通案内情報として特定する。

【0052】

図４は、交通案内情報特定部１４Ｅの機能構成の一例を示すブロック図である。交通案内情報特定部１４Ｅは、分類部１４Ｆ、抽出対象期間特定部１４Ｇ、第２交通案内情報特定部１４Ｈ、および表示制御部１４Ｉを含む。

【0053】

分類部１４Ｆは、事故発生タイミング以前の所定期間の時刻ごとの運動情報を、直進区間の運動情報と右左折区間の運動情報とに分類する。

【0054】

図５は、分類部１４Ｆおよび後述する抽出対象期間特定部１４Ｇによる処理の一例の説明図である。

【0055】

上述したように、映像情報３０は、時系列に沿って撮影された複数の画像Ｆを含む。分類部１４Ｆは、事故発生タイミング取得部１４Ｂで取得した事故発生タイミング６０および運動情報取得部１４Ｃで取得した運動情報５０を用いて、複数の時刻ごとの運動情報５０を、直進区間５０Ａの運動情報５０と右左折区間５０Ｂの運動情報５０とに分類する。

【0056】

直進区間５０Ａとは、自車両１Ａが走行路に沿って直進走行する区間を意味する。右左折区間５０Ｂとは、自車両１Ａが右折または左折しながら走行する区間を意味する。右左折区間５０Ｂは、例えば、交差点を右折走行または左折走行する区間などである。

【0057】

上述したように、運動情報は、自車両１Ａの速度、角速度、実空間上の位置、走行方向、および加速度の少なくとも１つを含む情報である。例えば、事故発生タイミング取得部１４Ｂが、時刻Ａｓから時刻Ａｅまでの期間Ａを事故発生タイミング６０として取得した場合を想定して説明する。また、運動情報５０が、少なくとも自車両１Ａの角速度および自車両１Ａの実空間上の位置を少なくとも含む場合を想定して説明する。

【0058】

分類部１４Ｆは、運動情報取得部１４Ｃで取得した複数の時刻ごとの運動情報５０の内、事故発生タイミング６０以前の設定期間Ｓの運動情報５０の群を取得する。設定期間Ｓは、予め定めればよい。設定期間Ｓは、例えば、２０分、３０分などであるが、これらに限定されない。

【0059】

事故発生タイミング６０以前とは、期間Ａによって表される事故発生タイミング６０の任意の時刻以前を表す。例えば、事故発生タイミング６０以前とは、期間Ａによって表される事故発生タイミングの時系列方向の最上流側端部の時刻Ａｓ以前でもよく、時刻Ａｅ以前であってもよい。また、時刻Ａｓ～時刻Ａｅの中央の時刻以前でよく、加速度等の情報から事故発生の尤度を計算して、時刻Ａｓ～時刻Ａｅの間の尤もらしい任意の時刻以前であってもよい。

【0060】

分類部１４Ｆは、取得した事故発生タイミング６０以前の設定期間Ｓ内の運動情報５０の群を、小区間の走行距離分の運動情報５０の群ごとに区切る。小区間の走行距離は、予め定めればよい。例えば、小区間の走行距離は、１ｍ、５ｍなどであるが、この距離に限定されない。

【0061】

そして、分類部１４Ｆは、小区間の走行距離内に含まれる複数の運動情報５０の各々について、角速度が閾値Ｗｉ以上の運動情報５０を、右左折区間５０Ｂの運動情報の候補として記憶する。角速度の閾値Ｗｉには、例えば、車両１が右左折区間５０Ｂを走行するときの角速度の下限を予め定めればよい。角速度の閾値Ｗｉは、ユーザによる操作指示などに応じて適宜変更可能としてもよい。

【0062】

分類部１４Ｆは、小区間の走行距離内に含まれる、右左折区間５０Ｂの運動情報５０の候補数が閾値Ｃ以上である場合、該小区間の走行距離内の運動情報５０の群を、右左折区間５０Ｂの運動情報５０の群として記憶する。また、分類部１４Ｆは、小区間の走行距離内に含まれる、右左折区間５０Ｂの運動情報５０の候補数が閾値Ｃ未満である場合、該小区間の走行距離内の運動情報５０の群を、直進区間５０Ａの運動情報５０の群として記憶する。閾値Ｃには、右左折区間５０Ｂを走行中であると判別可能な最小値を予め定めればよい。また、閾値Ｃは、ユーザの操作指示などに応じて適宜変更可能としてもよい。

【0063】

これらの分類処理を小区間ごとに実行することにより、分類部１４Ｆは、事故発生タイミング６０以前の設定期間Ｓの運動情報５０の群を、直進区間５０Ａの運動情報５０と、右左折区間５０Ｂの運動情報５０と、に分類する。

【0064】

抽出対象期間特定部１４Ｇは、分類部１４Ｆで分類された直進区間５０Ａの運動情報５０および右左折区間５０Ｂの運動情報５０と、事故発生タイミング６０と、に基づいて、事故発生タイミング６０以前の直前の直進区間５０Ａの最終時刻Ｄから時系列方向の上流側および下流側の少なくとも一方に向かって所定期間Ｄ±ｄを、抽出対象期間として特定する。

【0065】

抽出対象期間特定部１４Ｇは、事故発生タイミング６０以前の直前の直進区間５０Ａの最終時刻Ｄを特定する。最終時刻Ｄは、事故発生タイミング６０以前の直前の直進区間５０Ａの時系列方向の下流側端部の時刻である。事故発生タイミング６０の時系列方向の上流側端部の時刻Ａｓが右左折区間５０Ｂ内である場合には、最終時刻Ｄは、該時刻Ａｓ以前の直前の直進区間５０Ａの最終時刻である。事故発生タイミング６０の時系列方向の上流側端部の時刻Ａｓが直進区間５０Ａ内である場合には、最終時刻Ｄは、該時刻Ａｓである。

【0066】

抽出対象期間特定部１４Ｇは、特定した最終時刻Ｄを含み、最終時刻Ｄから時系列方向の上流側および下流側の少なくとも一方に向かって所定期間Ｄ±ｄを、抽出対象期間６２として特定する。このため、抽出対象期間特定部１４Ｇは、最終時刻Ｄに対して±ｄの期間を抽出対象期間６２として特定する。

【0067】

所定期間ｄは予め定めればよい。例えば、所定期間ｄは、信号機の灯色の切り替わる最大間隔以上の値などを定めればよい。また、所定期間ｄは、ユーザによる操作指示などに応じて適宜変更可能としてもよい。また、最終時刻Ｄから時系列方向の上流側に向かう所定期間＋ｄと、最終時刻Ｄから時系列方向の下流側に向かう所定期間－ｄの絶対値とは、同じ値であってもよいし異なる値であってもよい。

【0068】

抽出対象期間６２の長さは、１または複数の画像Ｆが含まれる期間であればよい。本実施形態では、抽出対象期間６２の長さは、時系列に連続する複数の画像Ｆが含まれる期間である場合を一例として説明する。

【0069】

抽出対象期間特定部１４Ｇによる特定処理によって、事故発生タイミング６０以前の少なくとも自車両１Ａの直進区間５０Ａを含む期間が抽出対象期間６２として特定される。少なくとも自車両１Ａの直進区間５０Ａを含む期間とは、少なくとも直進区間５０Ａの１以上の時刻を含む期間を意味する。詳細には、抽出対象期間６２は、少なくとも最終時刻Ｄを含む期間である。このため、抽出対象期間６２は、事故発生タイミング６０以前の少なくとも自車両１Ａの直進区間５０Ａを含む期間である。

【0070】

図６Ａは、抽出対象期間６２における、実空間の自車両１Ａと交通案内４０との位置関係の一例を示す模式図である。図６Ｂは、自車両１Ａに搭載された撮影部２２Ａで抽出対象期間６２に撮影された画像Ｆの一例の模式図である。図６Ｂは、図６Ａにおける、直進区間５０Ａの最終時刻Ｄの位置の自車両１Ａの撮影部２２Ａで撮影された画像Ｆの一例を示す。

【0071】

抽出対象期間６２は、事故発生タイミング６０以前の少なくとも自車両１Ａの直進区間５０Ａを含む期間である。詳細には、抽出対象期間６２は、事故発生タイミング６０以前の直進区間５０Ａの最終時刻Ｄを少なくとも含む期間である。このため、抽出対象期間６２では、自車両１Ａに搭載された撮影部２２Ａの撮影方向（矢印Ｘ１方向参照）は、自車両１Ａに対する交通規制を表す交通案内４０（例えば、像４０Ａの交通案内４０）の交通規制の提示面に対して略垂直方向となる。言い換えると、抽出対象期間６２では、自車両１Ａに搭載された撮影部２２Ａは、自車両１Ａに対する交通規制を表す交通案内４０の提示面を、略正面方向から撮影することとなる。

【0072】

このため、抽出対象期間６２に撮影された画像Ｆには、自車両１Ａに対する交通規制を表す交通案内４０を該交通案内４０の提示面の略正面方向から撮影した像４０Ａが含まれる。

【0073】

また、自車両１Ａに対する交通規制を表す交通案内４０を提示面の略正面方向から撮影することで、抽出対象期間６２に撮影された画像Ｆには、他の移動体に対する交通規制を表す交通案内４０の像に比べて、自車両１Ａに対する交通案内４０の像が画像Ｆ内に大きく且つ鮮明に映り込む。すなわち、抽出対象期間６２に撮影された画像Ｆには、自車両１Ａに対する交通規制を表す交通案内４０の像が識別容易な状態で映り込んだ状態となる。

【0074】

なお、抽出対象期間特定部１４Ｇは、少なくとも最終時刻Ｄを含む期間を抽出対象期間６２として特定すればよいが、最終時刻Ｄから時系列方向の上流側に向かって所定期間ｄである期間Ｄ-ｄを含む期間を、抽出対象期間６２として特定することが好ましい。

【0075】

最終時刻Ｄに対して少なくとも－ｄの時刻までの期間を抽出対象期間６２として特定することで、事故発生タイミング６０以前の直進区間５０Ａを特に含む期間を抽出対象期間６２として特定することができる。この場合、抽出対象期間特定部１４Ｇは、直進区間５０Ａに限定して絞り込んだ期間を抽出対象期間６２として特定することができる。また、抽出対象期間特定部１４Ｇは、自車両１Ａ以外の他の移動体に対する交通規制を表す交通案内４０のみが撮影された画像Ｆを、後述する第２交通案内情報特定部１４Ｈで用いることを抑制することができる。

【0076】

また、抽出対象期間６２として特定する最終時刻Ｄから時系列方向の上流側に向かって所定期間ｄである期間Ｄ-ｄは、該-ｄの値の絶対値をより小さい値とすることが好ましい。-ｄの値の絶対値をより小さい値とすることで、抽出対象期間特定部１４Ｇは、他車両などにより遮蔽された交通案内４０の像が映り込んだ画像Ｆを含む可能性のより低い抽出対象期間６２を、特定することができる。他車両とは、自車両１Ａ以外の移動体である。また、抽出対象期間特定部１４Ｇは、事故発生に関わる自車両１Ａおよび自車両１Ａ以外の歩行者などの移動体に対する、事故発生時の交通案内４０の像が映り込む可能性の高い抽出対象期間６２を、特定することができる。

【0077】

図４に戻り説明を続ける。第２交通案内情報特定部１４Ｈは、映像情報３０に含まれる抽出対象期間６２に撮影された画像Ｆから取得された第１交通案内情報４１によって表される、交通案内４０の種類、交通案内４０の画像Ｆ上の位置、および交通案内４０の識別情報に基づいて、第２交通案内情報を特定する。

【0078】

第２交通案内情報とは、第１交通案内情報４１の内、自車両１Ａの事故発生時に関わる交通案内情報である。図６Ｂに示す例の場合、画像Ｆに含まれる複数の交通案内４０の像４０Ａ～像４０Ｅの内、例えば、像４０Ａおよび像４０Ｅの交通案内４０の第１交通案内情報４１が、自車両１Ａの第２交通案内情報４２に相当する。

【0079】

図４に戻り説明を続ける。第２交通案内情報特定部１４Ｈは、抽出対象期間６２に撮影された画像Ｆに含まれる交通案内４０の像の矩形領域のサイズが閾値以上である場合、該交通案内４０の第１交通案内情報４１を第２交通案内情報４２として特定する。また、第２交通案内情報特定部１４Ｈは、抽出対象期間６２に撮影された画像Ｆに含まれる矩形領域のサイズが閾値以上の交通案内４０の像の内の信号機を表す交通案内４０の像については、更に灯色に応じて第２交通案内情報４２を特定する。

【0080】

詳細には、第２交通案内情報特定部１４Ｈは、映像情報３０に含まれる複数の画像Ｆの内、抽出対象期間６２に撮影された複数の画像Ｆを特定する。そして、第２交通案内情報特定部１４Ｈは、特定した複数の画像Ｆの各々について、以下の交通案内取得処理を行う。

【0081】

図６Ｂを用いて説明する。例えば、第２交通案内情報特定部１４Ｈは、特定した複数の画像Ｆの各々について、画像Ｆ内の矩形領域Ｒａを特定する。矩形領域Ｒａには、画像Ｆにおける自車両１Ａに対する交通規制の交通案内４０の像の存在尤度が閾値以上の領域を予め定めればよい。図６Ｂには、左側通行を採用する国の走行路を走行中の車両１に搭載された撮影部２２Ａで撮影された画像Ｆに設定される矩形領域Ｒａの一例を示す。

【0082】

第２交通案内情報特定部１４Ｈは、画像Ｆから取得された１または複数の第１交通案内情報４１の各々について、矩形領域Ｒａ内に存在するか否かを判断する。そして、第２交通案内情報特定部１４Ｈは、矩形領域Ｒａ内に存在しないと判断した第１交通案内情報４１は、他車両への交通規制を表す第１交通案内情報４１として特定する。

【0083】

第２交通案内情報特定部１４Ｈは、第１交通案内情報４１に含まれる、画像Ｆ上における交通案内４０の位置が、矩形領域Ｒａ内の座標であるか否を判断すればよい。詳細には、第２交通案内情報特定部１４Ｈは、例えば、第１交通案内情報４１によって示される、画像Ｆ上における交通案内４０の像の矩形領域の外枠の左上頂点の座標（ｘｌ，ｙｌ）が矩形領域Ｒａ内に存在するか否かを判断する。

【0084】

第２交通案内情報特定部１４Ｈは、矩形領域Ｒａ内に存在すると判断した交通案内４０が信号機では無い場合、該交通案内４０の第１交通案内情報４１を、自車両１Ａへの交通規制を表す第２交通案内情報４２として特定する。信号機である場合、第２交通案内情報特定部１４Ｈは、更に以下の処理を行う。第２交通案内情報特定部１４Ｈは、第１交通案内情報４１に含まれる交通案内の種類が信号機であるか否かを判別することで、交通案内４０が信号機か否かを判別すればよい。

【0085】

第２交通案内情報特定部１４Ｈは、矩形領域Ｒａ内に存在すると判断した交通案内４０の像の領域のサイズが閾値Ｒｓ以上であるか否を判断する。閾値Ｒｓには、自車両１Ａに対する交通規制と判断可能な最小サイズを定めればよい。閾値Ｒｓは、ユーザによる操作指示などに応じて変更可能としてもよい。

【0086】

第２交通案内情報特定部１４Ｈは、矩形領域Ｒａ内に存在すると判断した交通案内４０の第１交通案内情報４１に含まれる画像Ｆ上における交通案内４０の位置を表す情報から、該交通案内４０のサイズを導出すればよい。上述したように、画像Ｆにおける交通案内４０の位置は、画像Ｆ上における交通案内４０の像の矩形領域の外枠の左上頂点の座標（ｘｌ，ｙｌ）と右下頂点の座標（ｘｒ，ｙｒ）により表される。このため、第２交通案内情報特定部１４Ｈは、これらの座標によって特定される領域（ｘｒ－ｘｌ）（ｙｒ，ｙｌ）を、該交通案内４０の画像Ｆ上のサイズとして用いればよい。

【0087】

第２交通案内情報特定部１４Ｈは、矩形領域Ｒａ内に存在すると判断した交通案内４０が信号機である場合、抽出対象期間６２に撮影された複数の画像Ｆの各々に含まれる同じ識別情報の交通案内４０の第１交通案内情報４１を特定する。第２交通案内情報特定部１４Ｈは、該複数の画像Ｆの各々に含まれる交通案内４０の識別情報が、処理対象の第１交通案内情報４１に含まれる識別情報と同じである第１交通案内情報４１を特定すればよい。

【0088】

そして、第２交通案内情報特定部１４Ｈは、矩形領域Ｒａ内に存在すると判断した交通案内４０の灯色が非灯色ではなく、且つ複数の画像Ｆ間で同じ灯色であるか否かを判断する。すなわち、第２交通案内情報特定部１４Ｈは、矩形領域Ｒａ内に存在すると判断した交通案内４０の灯色が、時系列に沿って撮影された複数の画像Ｆ間で、赤、青、黄の何れか１つの灯色を示し続けているか否かを判断する。第２交通案内情報特定部１４Ｈは、第１交通案内情報４１に含まれる灯色情報を用いて、該判断を行えばよい。

【0089】

さらに、第２交通案内情報特定部１４Ｈは、同じ画像Ｆに含まれる他の信号機である交通案内４０の灯色に、異なる灯色が含まれるか否かを判断する。例えば、矩形領域Ｒａ内に存在すると判断した交通案内４０の灯色が赤であった場面を想定する。この場合、第２交通案内情報特定部１４Ｈは、該交通案内４０と同じ画像Ｆに含まれる他の信号機の像に、赤以外の灯色を示す信号機が含まれるか否かを判断する。

【0090】

異なる灯色が含まれない場合、第２交通案内情報特定部１４Ｈは、矩形領域Ｒａ内に存在すると判断した交通案内４０の第１交通案内情報４１を、自車両１Ａへの交通規制を表す第２交通案内情報４２として特定する。

【0091】

異なる色が含まれる場合、第２交通案内情報特定部１４Ｈは、矩形領域Ｒａ内に存在すると判断した交通案内４０である信号機の像の灯色が、該交通案内４０を含む画像Ｆの中央位置に最も近い他の交通案内４０の信号機と同じ灯色か否かを判断する。

【0092】

例えば、第２交通案内情報特定部１４Ｈは、該画像Ｆから取得された複数の第１交通案内情報４１の内、種類が信号機である交通案内４０について、画像Ｆ上における交通案内４０の位置を表す情報を導出する。そして、第２交通案内情報特定部１４Ｈは、画像Ｆの中央位置に最も近い交通案内４０の信号機の灯色と、矩形領域Ｒａ内に存在すると判断した交通案内４０である信号機の灯色と、を比較する。この比較処理により、第２交通案内情報特定部１４Ｈは、同じ灯色か否かを判断する。

【0093】

同じ灯色である場合、第２交通案内情報特定部１４Ｈは、矩形領域Ｒａ内に存在すると判断した交通案内４０の第１交通案内情報４１を第２交通案内情報４２として特定する。

【0094】

第２交通案内情報特定部１４Ｈは、これらの交通案内取得処理を実行することで、映像情報３０に含まれる抽出対象期間６２に撮影された画像Ｆから取得された第１交通案内情報４１の内、自車両１Ａの事故発生時に関わる交通案内情報である第２交通案内情報４２を特定する。例えば、第２交通案内情報特定部１４Ｈによる交通案内取得処理によって、図６Ｂに示される画像Ｆに含まれる像４０Ａの交通案内４０の第１交通案内情報４１が、第２交通案内情報４２として特定される。

【0095】

図４に戻り説明を続ける。表示制御部１４Ｉは、事故発生タイミング６０、抽出対象期間６２、第１交通案内情報４１、第２交通案内情報４２、自車両１Ａの運動情報５０、直進区間５０Ａの運動情報５０、および右左折区間５０Ｂの運動情報５０の少なくとも１つを表示部２０Ｂに表示する。

【0096】

図７Ａおよび図７Ｂは、表示画面８０の一例の模式図である。

【0097】

図７Ａは、表示画面８０Ａの一例の模式図である。表示画面８０Ａは、表示画面８０の一例である。

【0098】

例えば、表示制御部１４Ｉは、時刻ごとの運動情報５０の群によって表される自車両１Ａの加速度および速度の推移を表す線図を表示画面８０Ａに表示する。また、表示制御部１４Ｉは、直進区間５０Ａの運動情報５０によって表される直進区間５０Ａおよび右左折区間５０Ｂの運動情報５０によって表される右左折区間５０Ｂを、走行軌跡として表示画面８０Ａに表示する。また、表示制御部１４Ｉは、事故発生タイミング６０および抽出対象期間６２を表示画面８０Ａに表示する。

【0099】

図７Ｂは、表示画面８０Ｂの他の一例の模式図である。表示画面８０Ｂは、表示画面８０の一例である。

【0100】

例えば、表示制御部１４Ｉは、抽出対象期間６２、第１交通案内情報４１、第２交通案内情報４２、自車両１Ａの運動情報５０、直進区間５０Ａの運動情報５０、および右左折区間５０Ｂの運動情報５０の少なくとも１つを表す文字情報を、対応する時刻ごとに表示画面８０Ｂに表示してもよい。図７Ｂには、時刻ごとに、直進区間５０Ａの運動情報５０または右左折区間５０Ｂの運動情報５０、第２交通案内情報４２、および事故発生タイミング６０を表す文字情報を表示する例を示す。

【0101】

このように、表示制御部１４Ｉは、事故発生タイミング６０、抽出対象期間６２、第１交通案内情報４１、第２交通案内情報４２、自車両１Ａの運動情報５０、直進区間５０Ａの運動情報５０、および右左折区間５０Ｂの運動情報５０の少なくとも１つを含む表示画面８０を表示部２０Ｂへ表示する。このため、表示画面８０を視認することで、ユーザは、事故発生タイミング６０、抽出対象期間６２、第１交通案内情報４１、第２交通案内情報４２、自車両１Ａの運動情報５０、直進区間５０Ａの運動情報５０、および右左折区間５０Ｂの運動情報５０の少なくとも一つを容易に確認することができる。

【0102】

なお、表示制御部１４Ｉは、事故発生タイミング６０、抽出対象期間６２、第１交通案内情報４１、第２交通案内情報４２、自車両１Ａの運動情報５０、直進区間５０Ａの運動情報５０、および右左折区間５０Ｂの運動情報５０の少なくとも１つを含む音声情報を、スピーカ２０Ｃから出力してもよい。

【0103】

また、表示制御部１４Ｉは、事故発生タイミング６０、抽出対象期間６２、第１交通案内情報４１、第２交通案内情報４２、自車両１Ａの運動情報５０、直進区間５０Ａの運動情報５０、および右左折区間５０Ｂの運動情報５０の少なくとも１つ含む情報を、通信部２０Ａおよびネットワークなどを介して外部の情報処理装置等に送信してもよい。

【0104】

次に、本実施形態の交通案内情報特定装置１０で実行する情報処理の流れの一例を説明する。

【0105】

図８は、本実施形態の交通案内情報特定装置１０が実行する情報処理の流れの一例を示すフローチャートである。

【0106】

映像取得部１４Ａは、撮影部２２Ａから映像情報３０を取得する（ステップＳ１００）。映像取得部１４Ａは、撮影部２２Ａで撮影され記憶部１２に記憶された映像情報３０を、記憶部１２から取得してもよい。

【0107】

事故発生タイミング取得部１４Ｂは、事故発生タイミング取得部１４Ｂは、自車両１Ａの事故発生タイミング６０を取得する（ステップＳ１０２）。事故発生タイミング取得部１４Ｂは、外界センサ２２および内界センサ２４の少なくとも一方から得られる、加速度、角加速度、音量のうち少なくとも１つの変化に応じて、事故発生タイミング６０を取得する。

【0108】

運動情報取得部１４Ｃは、自車両１Ａの運動情報を取得する（ステップＳ１０４）。運動情報取得部１４Ｃは、外界センサ２２および内界センサ２４の少なくとも一方から、時系列に沿って順次観測される、自車両１Ａの速度、角速度、実空間上の位置、走行方向、および加速度のうち少なくとも１つを自車両１Ａの運動情報として取得する。

【0109】

交通案内情報取得部１４Ｄは、ステップＳ１００で取得した映像情報３０から、交通案内４０の種類、画像Ｆ上における交通案内４０の位置、および交通案内４０の識別情報、の少なくとも１つを含む第１交通案内情報４１を取得する（ステップＳ１０６）。

【0110】

分類部１４Ｆは、ステップＳ１０４で取得した運動情報５０の内、ステップＳ１０２で取得した事故発生タイミング６０以前の所定期間の時刻ごとの運動情報５０を、直進区間５０Ａの運動情報５０と右左折区間５０Ｂの運動情報５０とに分類する分類処理を実行する。分類処理の詳細は後述する。

【0111】

抽出対象期間特定部１４Ｇは、ステップＳ１０８で分類された直進区間５０Ａの運動情報５０および右左折区間５０Ｂの運動情報５０と、事故発生タイミング６０と、に基づいて、事故発生タイミング６０以前の直前の直進区間５０Ａの最終時刻Ｄから時系列方向の上流側および下流側の少なくとも一方に向かって所定期間Ｄ±ｄを、抽出対象期間６２として特定する（ステップＳ１１０）。

【0112】

第２交通案内情報特定部１４Ｈは、交通案内取得処理を実行する（ステップＳ１１２）。交通案内取得処理は、ステップＳ１００で取得した映像情報３０に含まれる、ステップＳ１１０で特定された抽出対象期間６２に撮影された画像Ｆから取得された第１交通案内情報４１の内、自車両１Ａの事故発生時に関わる交通案内情報である第２交通案内情報４２を特定する処理である。交通案内取得処理の詳細は後述する。

【0113】

表示制御部１４Ｉは、事故発生タイミング６０、抽出対象期間６２、第１交通案内情報４１、第２交通案内情報４２、自車両１Ａの運動情報５０、直進区間５０Ａの運動情報５０、および右左折区間５０Ｂの運動情報５０の少なくとも１つを表示部２０Ｂに表示する（ステップＳ１１４）。そして、本ルーチンを終了する。

【0114】

次に、分類部１４Ｆが実行する分類処理の詳細を説明する。

【0115】

図９は、分類処理の流れの一例を示すフローチャートである。図９に示す分類処理は、図８中、ステップＳ１０８の分類処理に相当する。

【0116】

分類部１４Ｆは、運動情報取得部１４Ｃで取得した複数の時刻ごとの運動情報５０の内、事故発生タイミング６０以前の設定期間の運動情報５０の群を取得する（ステップＳ２００）。

【0117】

分類部１４Ｆは、ステップＳ２００で取得した事故発生タイミング６０以前の設定期間内の運動情報５０の群の内、ステップＳ２０４以降の処理を未処理の最古の時刻の運動情報５０を読取る（ステップＳ２０２）。

【0118】

分類部１４Ｆは、ステップＳ２０２で読取った運動情報５０に含まれる角速度が閾値Ｗｉ以上であるか否かを判断する（ステップＳ２０４）。ステップＳ２０４で否定判断すると（ステップＳ２０４：Ｎｏ）、上記ステップＳ２０２へ戻る。ステップＳ２０４で肯定判断すると（ステップＳ２０４：Ｙｅｓ）、ステップＳ２０６へ進む。

【0119】

ステップＳ２０６では、ステップＳ２０２で読取り、ステップＳ２０４で角速度が閾値Ｗｉ以上であると判断した運動情報５０を、右左折区間５０Ｂの運動情報５０の候補として記憶部１２へ記憶する（ステップＳ２０６）。

【0120】

次に、分類部１４Ｆは、１つの小区間の走行距離分の運動情報５０の群の処理が終了したか否かを判断する（ステップＳ２０８）。ステップＳ２０８で否定判断すると（ステップＳ２０８：Ｎｏ）、上記ステップＳ２０２へ戻る。ステップＳ２０８で肯定判断すると（ステップＳ２０８：Ｙｅｓ）、ステップＳ２１０へ進む。

【0121】

ステップＳ２０２～ステップＳ２０８の処理によって、記憶部１２には、小区間の走行距離内に観測された複数の運動情報５０ごとに、右左折区間５０Ｂの運動情報５０の候補とされた運動情報５０が記憶される。

【0122】

ステップＳ２１０では、分類部１４Ｆは、小区間の走行距離内に含まれる、右左折区間５０Ｂの運動情報５０の候補数が閾値Ｃ以上であるか否かを判断する（ステップＳ２１０）。ステップＳ２１０で肯定判断すると（ステップＳ２１０：Ｙｅｓ）、ステップＳ２１２へ進む。

【0123】

ステップＳ２１２では、分類部１４Ｆは、該小区間の走行距離内に含まれる複数の運動情報５０の全てを、右左折区間５０Ｂの運動情報５０として記憶部１２へ記憶する（ステップＳ２１２）。そして、ステップＳ２１６へ進む。

【0124】

一方、ステップＳ２１０で否定判断すると（ステップＳ２１０：Ｎｏ）、ステップＳ２１４へ進む。ステップＳ２１４では、該小区間の走行距離内に含まれる複数の運動情報５０の全てを、直進区間５０Ａの運動情報５０として記憶部１２へ記憶する（ステップＳ２１４）。そして、ステップＳ２１６へ進む。

【0125】

ステップＳ２１６では、分類部１４Ｆは、ステップＳ２００で取得した全ての運動情報５０について、上記ステップＳ２０２～ステップＳ２１４の処理を行ったか否かを判断する（ステップＳ２１６）。ステップＳ２１６で否定判断すると（ステップＳ２１６：Ｎｏ）、上記ステップＳ２０２へ戻る。ステップＳ２１６で肯定判断すると（ステップＳ２１６：Ｙｅｓ）、本ルーチンを終了する。

【0126】

次に、第２交通案内情報特定部１４Ｈによる交通案内取得処理の流れの一例を説明する。

【0127】

図１０は、第２交通案内情報特定部１４Ｈが実行する交通案内取得処理の流れの一例を示すフローチャートである。図１０に示す交通案内取得処理は、図８中、ステップＳ１１２の交通案内取得処理に相当する。

【0128】

第２交通案内情報特定部１４Ｈは、映像情報３０に含まれる複数の画像Ｆの内、抽出対象期間６２に撮影された複数の画像Ｆを特定する。そして、第２交通案内情報特定部１４Ｈは、抽出対象期間６２内に撮影された複数の画像Ｆの内、１つの画像Ｆから取得された第１交通案内情報４１を取得する（ステップＳ３００）。第２交通案内情報特定部１４Ｈは、抽出対象期間６２内に撮影された複数の画像Ｆの内、事故発生タイミング６０以前の直線の直進区間５０Ａの最終時刻Ｄに撮影された１つの画像Ｆから取得された、第１交通案内情報４１を取得することが好ましい。

【0129】

次に、第２交通案内情報特定部１４Ｈは、ステップＳ３００で第１交通案内情報４１を取得した画像Ｆに含まれる１または複数の第１交通案内情報４１の内、ステップＳ３０４以降の処理を未処理の第１交通案内情報４１を読取る（ステップＳ３０２）。

【0130】

次に、第２交通案内情報特定部１４Ｈは、ステップＳ３０２で読取った第１交通案内情報４１によって表される交通案内４０の像が、ステップＳ２００で特定した画像Ｆ内の矩形領域Ｒａ内に存在するか否かを判断する（ステップＳ３０４）。

【0131】

ステップＳ３０４で否定判断すると（ステップＳ３０４：Ｎｏ）、後述するステップＳ３２０へ進む。ステップＳ３０４で肯定判断すると（ステップＳ３０４：Ｙｅｓ）、ステップＳ３０６へ進む。

【0132】

ステップＳ３０６では、第２交通案内情報特定部１４Ｈは、ステップＳ３０２で読取った第１交通案内情報４１によって表される交通案内４０の像の領域のサイズが閾値Ｒｓ以上であるか否を判断する（ステップＳ３０６）。ステップＳ３０６で否定判断すると（ステップＳ３０６：Ｎｏ）、後述するステップＳ３２０へ進む。ステップＳ３０６で肯定判断すると（ステップＳ３０６：Ｙｅｓ）、ステップＳ３０８へ進む。

【0133】

ステップＳ３０８では、第２交通案内情報特定部１４Ｈは、ステップＳ３０２で読取った第１交通案内情報４１によって表される交通案内４０が信号機であるか否かを判断する（ステップＳ３０８）。第２交通案内情報特定部１４Ｈは、該第１交通案内情報４１に含まれる交通案内の種類を特定することで、交通案内４０が信号機であるか否かを判断する。

【0134】

ステップＳ３０８で否定判断すると（ステップＳ３０８：Ｎｏ）、後述するステップＳ３１８へ進む。ステップＳ３０８で肯定判断すると（ステップＳ３０８：Ｙｅｓ）、ステップＳ３１０へ進む。

【0135】

ステップＳ３１０では、第２交通案内情報特定部１４Ｈは、抽出対象期間６２に撮影された複数の画像Ｆの各々に含まれる、ステップＳ３０８で肯定判断した第１交通案内情報４１に含まれる交通案内４０の識別情報と同じ識別情報の、交通案内４０の第１交通案内情報４１を読取る（ステップＳ３１０）。

【0136】

次に、第２交通案内情報特定部１４Ｈは、ステップＳ３１０で読取った第１交通案内情報４１によって表される交通案内４０の灯色が非灯色ではなく、且つ抽出対象期間６２に撮影された複数の画像Ｆ間で同じ灯色であるか否かを判断する（ステップＳ３１２）。すなわち、第２交通案内情報特定部１４Ｈは、ステップＳ３１０で読取った第１交通案内情報４１によって表される交通案内４０の灯色が、抽出対象期間６２に含まれる時系列に沿って撮影された複数の画像Ｆ間で、赤、青、黄の何れか１つの灯色を示し続けているか否かを判断する。

【0137】

ステップＳ３１２で否定判断すると（ステップＳ３１２：Ｎｏ）、後述するステップＳ３２０へ進む。ステップＳ３１２で肯定判断すると（ステップＳ３１２：Ｙｅｓ）、ステップＳ３１４へ進む。

【0138】

ステップＳ３１４では、第２交通案内情報特定部１４Ｈは、ステップＳ３１２で肯定判断した第１交通案内情報４１によって表される交通案内４０を含む画像Ｆに含まれる、他の交通案内４０である信号機の灯色に、ステップＳ３１２で肯定判断した第１交通案内情報４１によって表される交通案内４０の信号機とは異なる灯色が含まれるか否かを判断する（ステップＳ３１４）。

【0139】

ステップＳ３１４で否定判断すると（ステップｓ３１４：Ｎｏ）、後述するステップＳ３１８へ進む。ステップＳ３１４で肯定判断すると（ステップＳ３１４：Ｙｅｓ）、ステップＳ３１６へ進む。

【0140】

ステップＳ３１６では、第２交通案内情報特定部１４Ｈは、ステップＳ３１４で肯定判断した第１交通案内情報４１によって表される交通案内４０の信号機の灯色が、該交通案内４０を含む画像Ｆの中央位置に最も近い信号機の灯色と同じであるか否かを判断する（ステップＳ３１６）。

【0141】

ステップＳ３１６で肯定判断すると（ステップＳ３１６：Ｙｅｓ）、ステップＳ３１８へ進む。

【0142】

ステップＳ３１８では、第２交通案内情報特定部１４Ｈは、第１交通案内情報４１を自車両１Ａへの交通規制を表す第２交通案内情報４２として特定する（ステップＳ３１８）。すなわち、第２交通案内情報特定部１４Ｈは、ステップＳ３０８で肯定判断（ステップＳ３０８：Ｙｅｓ）、ステップＳ３１４で肯定判断（ステップＳ３１４：Ｙｅｓ）、およびステップＳ３１６で肯定判断（ステップＳ３１６：Ｙｅｓ）した第１交通案内情報４１を、第２交通案内情報４２として特定する。そして、ステップＳ３２２へ進む。

【0143】

一方、ステップＳ３１６で肯定判断すると（ステップＳ３１６：Ｙｅｓ）、ステップＳ３２０へ進む。ステップＳ３２０では、第２交通案内情報特定部１４Ｈは、他車両への交通規制を表す第１交通案内情報４１として特定する（ステップＳ３２０）。すなわち、第２交通案内情報特定部１４Ｈは、ステップＳ３０６で否定判断（ステップＳ３０６：Ｎｏ）、ステップＳ３１２で否定判断（ステップＳ３１２：Ｎｏ）、およびステップＳ３１６で否定判断（ステップＳ３１６：Ｎｏ）した第１交通案内情報４１を、他車両への交通規制を表す第１交通案内情報４１として特定する。そして、ステップＳ３２２へ進む。

【0144】

ステップＳ３２２では、ステップＳ３００で第１交通案内情報４１を取得した画像Ｆに含まれる１または複数の第１交通案内情報４１の全てについてステップＳ３０２～ステップＳ３２０の処理を実行済か否かを判断する（ステップＳ３２２）。ステップＳ３２２で否定判断すると（ステップＳ３２２：Ｎｏ）、上記ステップＳ３０２へ戻る。ステップＳ３２２で肯定判断すると（ステップＳ３２２：Ｙｅｓ）本ルーチンを終了する。

【0145】

以上説明したように、本実施形態の交通案内情報特定装置１０は、映像取得部１４Ａと、事故発生タイミング取得部１４Ｂと、運動情報取得部１４Ｃと、交通案内情報特定部１４Ｅと、を備える。映像取得部１４Ａは、自車両１Ａに搭載された撮影部２２Ａで撮影された車外の映像情報３０を取得する。事故発生タイミング取得部１４Ｂは、自車両１Ａの事故発生タイミング６０を取得する。運動情報取得部１４Ｃは、自車両１Ａの運動情報５０を取得する。交通案内情報特定部１４Ｅは、運動情報５０に基づいて、映像情報３０に含まれる１以上の第１交通案内情報４１の内、事故発生タイミング６０以前の少なくとも自車両１Ａの直進区間５０Ａを含む抽出対象期間６２内に撮影された第１交通案内情報４１を、事故発生時に関わる第２交通案内情報４２として特定する。

【0146】

ここで、事故発生時には、車両１に搭載された撮影部２２Ａで撮影された映像情報３０が活用される場合がある。しかし、従来技術では、車両１の走行中に順次撮影される画像Ｆから走行予定の道路形状を推定し、画像Ｆ上の道路形状に応じた位置に存在する信号機または標識などを自車両１Ａに対して有効な交通案内４０として判定していた。このため、従来技術では、走行車線に対して交差する交差車線上の他の移動体に対する信号機の映り込みや他車両による交通案内の遮蔽などが発生する状況では、道路形状の推定および交通案内の抽出が困難となる場合があった。すなわち、従来技術では、映像情報３０から事故発生時に関わる交通案内情報を特定することが困難となる場合があった。

【0147】

一方、本実施形態の交通案内情報特定装置１０では、交通案内情報特定部１４Ｅが、運動情報５０に基づいて、映像情報３０に含まれる１以上の第１交通案内情報４１の内、事故発生タイミング６０以前の少なくとも自車両１Ａの直進区間５０Ａを含む抽出対象期間６２内に撮影された第１交通案内情報４１を事故発生時に関わる第２交通案内情報４２として特定する。

【0148】

このように、本実施形態の交通案内情報特定装置１０では、映像情報３０に含まれる第１交通案内情報４１の内、抽出対象期間６２内に撮影された第１交通案内情報４１を事故発生時に関わる第２交通案内情報４２として特定する。

【0149】

抽出対象期間６２は、事故発生タイミング６０以前の少なくとも自車両１Ａの直進区間５０Ａを含む期間である。このため、抽出対象期間６２内の少なくとも１つの時刻では、自車両１Ａに搭載された撮影部２２Ａの撮影方向は、自車両１Ａに対する交通規制を表す交通案内４０の交通規制の提示面に対して略垂直方向となる。言い換えると、抽出対象期間６２内の少なくとも１つの時刻では、自車両１Ａに搭載された撮影部２２Ａは、自車両１Ａに対する交通規制を表す交通案内４０の提示面を、略正面方向から撮影することとなる。

【0150】

このように、抽出対象期間６２に撮影された画像Ｆには、自車両１Ａに対する交通規制を表す交通案内４０を該交通案内４０の提示面の略正面方向から撮影した像が含まれる。また、自車両１Ａに対する交通規制を表す交通案内４０を提示面の略正面方向から撮影することで、抽出対象期間６２に撮影された画像Ｆには、他の移動体に対する交通規制を表す交通案内４０の像に比べて、自車両１Ａに対する交通案内４０の像が画像Ｆ内に大きく且つ鮮明に映り込む。すなわち、抽出対象期間６２に撮影された画像Ｆには、自車両１Ａに対する交通規制を表す交通案内４０の像が識別容易な状態で映り込んだ状態となる。

【0151】

そして、本実施形態の交通案内情報特定装置１０では、自車両１Ａに対する交通規制を表す交通案内４０の像が識別容易な状態で映り込む抽出対象期間６２内に撮影された交通案内４０の第１交通案内情報４１を、事故発生時に関わる第２交通案内情報４２として特定する。

【0152】

このため、本実施形態の交通案内情報特定装置１０は、自車両１Ａに対する交通規制を表す交通案内４０の像が識別容易な状態で映り込んだ交通案内４０の第１交通案内情報４１を、第２交通案内情報４２として特定することができる。

【0153】

従って、本実施形態の交通案内情報特定装置１０は、事故発生時に関わる交通案内情報を高精度に特定することができる。

【0154】

また、本実施形態の交通案内情報特定装置１０は、自車両１Ａの事故発生時の状況を高精度に解析可能な第２交通案内情報４２を特定することができる。

【0155】

また、本実施形態の交通案内情報特定装置１０は、自車両１Ａの運動情報５０に基づいて、抽出対象期間６２内に撮影された第１交通案内情報４１を第２交通案内情報４２として特定する。このため、摩耗や他車両の存在などの環境条件によって、画像Ｆから道路上の停止線や道路形状の推定が困難な状況であっても、高精度に第２交通案内情報４２を特定することができる。

【0156】

次に、上記実施形態の交通案内情報特定装置１０の、ハードウェア構成の一例を説明する。

【0157】

図１１は、上記実施形態の交通案内情報特定装置１０の一例のハードウェア構成図である。

【0158】

上記実施形態の交通案内情報特定装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０Ｄなどの制御装置と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０ＥやＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０ＦやＨＤＤ（ハードディスクドライブ）９０Ｇなどの記憶装置と、各種機器とのインターフェースであるＩ／Ｆ部９０Ｂと、出力情報などの各種情報を出力する出力部９０Ａと、ユーザによる操作を受付ける入力部９０Ｃと、各部を接続するバス９０Ｈとを備えており、通常のコンピュータを利用したハードウェア構成となっている。

【0159】

上記実施形態の交通案内情報特定装置１０では、ＣＰＵ９０Ｄが、ＲＯＭ９０ＥからプログラムをＲＡＭ９０Ｆ上に読み出して実行することにより、上記各部がコンピュータ上で実現される。

【0160】

なお、上記実施形態の交通案内情報特定装置１０で実行される上記各処理を実行するためのプログラムは、ＨＤＤ９０Ｇに記憶されていてもよい。また、上記実施形態の１０で実行される上記各処理を実行するためのプログラムは、ＲＯＭ９０Ｅに予め組み込まれて提供されていてもよい。

【0161】

また、上記実施形態の交通案内情報特定装置１０で実行される上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、上記実施形態の交通案内情報特定装置１０で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態の交通案内情報特定装置１０で実行される上記処理を実行するためのプログラムを、インターネットなどのネットワーク経由で提供または配布するようにしてもよい。

【0162】

なお、上記には、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0163】

１ 車両
１Ａ 自車両
１０ 交通案内情報特定装置
１４Ａ 映像取得部
１４Ｂ 事故発生タイミング取得部
１４Ｃ 運動情報取得部
１４Ｄ 交通案内情報取得部
１４Ｅ 交通案内情報特定部
１４Ｆ 分類部
１４Ｇ 抽出対象期間特定部
１４Ｈ 第２交通案内情報特定部
１４Ｉ 表示制御部
２２ 外界センサ
２２Ａ 撮影部
２４ 内界センサ

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】