特開 2024-144827 再現システム、再現方法、および再現プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024144827

(43)【公開日】2024-10-15

(54)【発明の名称】再現システム、再現方法、および再現プログラム

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241004BHJP

【ＦＩ】

G08G1/16 D

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023056964

(22)【出願日】2023-03-31

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】西野 智子

(72)【発明者】

【氏名】大門 雅広

(72)【発明者】

【氏名】宇賀神 美紀子

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB13

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181FF04

5H181FF10

5H181FF13

5H181FF33

5H181LL01

5H181LL02

5H181LL04

5H181LL15

5H181MC04

5H181MC19

5H181MC27

(57)【要約】

【課題】自車両の移動履歴を精度よく再現する。
【解決手段】再現システムは、特定交通区間における周辺環境に対する自車両の相対挙動に関わるパラメータを取得する取得部と、時系列パラメータデータとしてパラメータを時系列に記憶する時系列パラメータ記憶部と、特定交通区間における着目箇所を特定する着目箇所特定部と、時系列パラメータデータから着目箇所に関わる着目箇所パラメータ群を抽出する抽出部と、着目箇所パラメータ群を統計処理することによって着目箇所における特徴点を算出する算出部と、特徴点に基づいて特定交通区間における自車両の移動履歴を再現した動画を生成する動画生成部と、を有する再現動画生成部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

特定交通区間における、周辺環境に対する自車両の相対挙動に関わるパラメータを取得する取得部と、
時系列パラメータデータとして、前記特定交通区間における前記パラメータを時系列に記憶する時系列パラメータ記憶部と、
前記時系列パラメータデータに基づいて、前記特定交通区間における前記自車両の移動履歴を再現した動画を生成する再現動画生成部と、
前記動画を表示装置に表示させる表示制御部と、
を備え、
前記再現動画生成部は、
前記特定交通区間における、前記自車両の１以上の着目箇所を特定する着目箇所特定部と、
前記時系列パラメータ記憶部に記憶された前記時系列パラメータデータから、前記着目箇所に関わる着目箇所パラメータ群を抽出する抽出部と、
前記着目箇所パラメータ群を統計処理することによって、前記着目箇所における特徴点を算出する算出部と、
前記特徴点に基づいて、前記特定交通区間における前記自車両の移動履歴を再現した動画を生成する動画生成部と、
を有する、再現システム。

【請求項2】

前記特定交通区間において前記自車両の取り得る動きを少なくとも一つあるいは複数の動画データとして記憶する動画データ記憶部、をさらに備え、
前記再現動画生成部は、前記時系列パラメータ記憶部に記憶された前記時系列パラメータデータに基づいて、前記動画データ記憶部に記憶された前記少なくとも一つあるいは複数の動画データから生成動画データを選択する選択部、を有し、
前記動画生成部は、前記選択部にて選択された生成動画データと、前記特徴点と、に基づいて、前記特定交通区間における前記自車両の移動履歴を再現した動画を生成する、
請求項１に記載の再現システム。

【請求項3】

前記算出部は、前記着目箇所パラメータ群に対して平均化処理、またはフィルタ処理を行うことで、前記着目箇所パラメータ群を統計処理する、
請求項１または２に記載の再現システム。

【請求項4】

前記着目箇所特定部は、前記自車両の挙動の変化に基づき、前記１以上の着目箇所を特定する、
請求項１または２に記載の再現システム。

【請求項5】

前記着目箇所特定部は、前記特定交通区間における道路の属性に基づき、前記１以上の着目箇所を特定する、
請求項１または２に記載の再現システム。

【請求項6】

前記取得部は、前記自車両の外部情報を取得する外部検知部と、前記自車両の車両情報を取得する車両センサと、を有し、
前記時系列パラメータデータは、前記外部情報に基づいて生成された、前記自車両の外部の状況を時系列で示す外部時系列データと、前記車両情報に基づいて生成された、前記自車両の運転状況を時系列で示す車両時系列データと、を含む、
請求項１または２に記載の再現システム。

【請求項7】

前記外部検知部には、前記自車両の前方を撮影する画像センサが含まれ、
前記外部時系列データには、前記自車両が走行した道路における停止線および車両通行区分線の時系列での位置が含まれ、
前記車両時系列データは、前記自車両の車内通信ネットワークを通じて前記再現動画生成部に入力される、請求項６に記載の再現システム。

【請求項8】

前記再現動画生成部は、前記時系列パラメータデータに基づき、前記特定交通区間において前記自車両と進路が交差した他の交通参加者の移動履歴を、前記特定交通区間における前記自車両の移動履歴と共に再現した動画を生成する、
請求項１または２に記載の再現システム。

【請求項9】

前記再現動画生成部は、前記時系列パラメータデータに含まれる、前記他の交通参加者に関する情報を用いて、前記他の交通参加者に対応する抽象化された画像データを生成し、前記動画において前記画像データを前記他の交通参加者として表示する、請求項８に記載の再現システム。

【請求項10】

前記特定交通区間は交差点である、請求項１または２に記載の再現システム。

【請求項11】

特定交通区間における、周辺環境に対する自車両の相対挙動に関わるパラメータを取得する取得部、を備える再現システムのコンピュータが、
時系列パラメータデータとして、前記特定交通区間における前記パラメータを時系列に記憶し、
前記特定交通区間における、前記自車両の１以上の着目箇所を特定し、
前記時系列パラメータデータから、前記着目箇所に関わる着目箇所パラメータ群を抽出し、
前記着目箇所パラメータ群を統計処理することによって、前記着目箇所における特徴点を算出し、
前記特徴点に基づいて、前記特定交通区間における前記自車両の移動履歴を再現した動画を生成し、
前記動画を表示装置に表示させる、
再現方法。

【請求項12】

特定交通区間における、周辺環境に対する自車両の相対挙動に関わるパラメータを取得する取得部、を備える再現システムのコンピュータに、
時系列パラメータデータとして、前記特定交通区間における前記パラメータを時系列に記憶させ、
前記特定交通区間における、前記自車両の１以上の着目箇所を特定させ、
前記時系列パラメータデータから、前記着目箇所に関わる着目箇所パラメータ群を抽出させ、
前記着目箇所パラメータ群を統計処理することによって、前記着目箇所における特徴点を算出させ、
前記特徴点に基づいて、前記特定交通区間における前記自車両の移動履歴を再現した動画を生成させ、
前記動画を表示装置に表示させる、ことを行わせる、
再現プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、再現システム、再現方法、および再現プログラムに関する。

【背景技術】

【0002】

近年、交通参加者の中でも脆弱な立場にある人々にも配慮した持続可能な輸送システムへのアクセスを提供する取り組みが活発化している。この実現に向けて、運転支援技術に関する研究開発を通して交通の安全性や利便性をより一層改善する研究開発に注力している。

【0003】

特許文献１には、交通事故現場で車の進行経路の各点から撮影した画像を、見取り図と関連させて表示することで、交通事故の現場検証を効率的に行えるようにした画像表示システムが開示されている。このシステムでは、運転者から見えたであろう視野画像の変化を、動画として再現する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００１－１０９９８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、運転支援技術においては、特定交通区間における自車両の状況を、コンピュータグラフィックスによって生成された動画で再現することも考えられる。しかしながら、この場合、動画の生成に用いられるデータの欠落や自車両の振動などによるノイズの影響により、コンピュータグラフィックスによって生成された動画において自車両の移動履歴を精度よく再現することができない場合があった。

【0006】

本発明はこのような事情を考慮してなされ、自車両の移動履歴を精度よく再現することが可能な再現システム、再現方法、および再現プログラムを提供することを目的とする。そして、延いては持続可能な輸送システムの発展に寄与するものである。

【課題を解決するための手段】

【0007】

（１）：上記課題を解決するために、本発明の一態様に係る再現システムは、特定交通区間における、周辺環境に対する自車両の相対挙動に関わるパラメータを取得する取得部と、時系列パラメータデータとして、前記特定交通区間における前記パラメータを時系列に記憶する時系列パラメータ記憶部と、前記時系列パラメータデータに基づいて、前記特定交通区間における前記自車両の移動履歴を再現した動画を生成する再現動画生成部と、前記動画を表示装置に表示させる表示制御部と、を備え、前記再現動画生成部は、前記特定交通区間における、前記自車両の１以上の着目箇所を特定する着目箇所特定部と、前記時系列パラメータ記憶部に記憶された前記時系列パラメータデータから、前記着目箇所に関わる着目箇所パラメータ群を抽出する抽出部と、前記着目箇所パラメータ群を統計処理することによって、前記着目箇所における特徴点を算出する算出部と、前記特徴点に基づいて、前記特定交通区間における前記自車両の移動履歴を再現した動画を生成する動画生成部と、を有する。

【0008】

（２）：上記（１）の態様において、前記特定交通区間において前記自車両の取り得る動きを少なくとも一つあるいは複数の動画データとして記憶する動画データ記憶部、をさらに備え、前記再現動画生成部は、前記時系列パラメータ記憶部に記憶された前記時系列パラメータデータに基づいて、前記動画データ記憶部に記憶された前記少なくとも一つあるいは複数の動画データから生成動画データを選択する選択部、を有し、前記動画生成部は、前記選択部にて選択された生成動画データと、前記特徴点と、に基づいて、前記特定交通区間における前記自車両の移動履歴を再現した動画を生成してもよい。

【0009】

（３）：上記（１）または（２）の態様において、前記算出部は、前記着目箇所パラメータ群に対して平均化処理、またはフィルタ処理を行うことで、前記着目箇所パラメータ群を統計処理してもよい。

【0010】

（４）：上記（１）から（３）のいずれか一つの態様において、前記着目箇所特定部は、前記自車両の挙動の変化に基づき、前記１以上の着目箇所を特定してもよい。

【0011】

（５）：上記（１）から（３）のいずれか一つの態様において、前記着目箇所特定部は、前記特定交通区間における道路の属性に基づき、前記１以上の着目箇所を特定してもよい。

【0012】

（６）：上記（１）から（５）のいずれか一つの態様において、前記取得部は、前記自車両の外部情報を取得する外部検知部と、前記自車両の車両情報を取得する車両センサと、を有し、前記時系列パラメータデータは、前記外部情報に基づいて生成された、前記自車両の外部の状況を時系列で示す外部時系列データと、前記車両情報に基づいて生成された、前記自車両の運転状況を時系列で示す車両時系列データと、を含んでもよい。

【0013】

（７）：上記（６）の態様において、前記外部検知部には、前記自車両の前方を撮影する画像センサが含まれ、前記外部時系列データには、前記自車両が走行した道路における停止線および車両通行区分線の時系列での位置が含まれ、前記車両時系列データは、前記自車両の車内通信ネットワークを通じて前記再現動画生成部に入力されてもよい。

【0014】

（８）：上記（１）から（７）のいずれか一つの態様において、前記再現動画生成部は、前記時系列パラメータデータに基づき、前記特定交通区間において前記自車両と進路が交差した他の交通参加者の移動履歴を、前記特定交通区間における前記自車両の移動履歴と共に再現した動画を生成してもよい。

【0015】

（９）：上記（８）の態様において、前記再現動画生成部は、前記時系列パラメータデータに含まれる、前記他の交通参加者に関する情報を用いて、前記他の交通参加者に対応する抽象化された画像データを生成し、前記動画において前記画像データを前記他の交通参加者として表示してもよい。

【0016】

（１０）：上記（１）から（９）のいずれか一つの態様において、前記特定交通区間は交差点であってもよい。

【0017】

（１１）：本発明の一態様に係る再現方法は、特定交通区間における、周辺環境に対する自車両の相対挙動に関わるパラメータを取得する取得部、を備える再現システムのコンピュータが、時系列パラメータデータとして、前記特定交通区間における前記パラメータを時系列に記憶し、前記特定交通区間における、前記自車両の１以上の着目箇所を特定し、前記時系列パラメータデータから、前記着目箇所に関わる着目箇所パラメータ群を抽出し、前記着目箇所パラメータ群を統計処理することによって、前記着目箇所における特徴点を算出し、前記特徴点に基づいて、前記特定交通区間における前記自車両の移動履歴を再現した動画を生成し、前記動画を表示装置に表示させる。

【0018】

（１２）：本発明の一態様に係る再現プログラムは、特定交通区間における、周辺環境に対する自車両の相対挙動に関わるパラメータを取得する取得部、を備える再現システムのコンピュータに、時系列パラメータデータとして、前記特定交通区間における前記パラメータを時系列に記憶させ、前記特定交通区間における、前記自車両の１以上の着目箇所を特定させ、前記時系列パラメータデータから、前記着目箇所に関わる着目箇所パラメータ群を抽出させ、前記着目箇所パラメータ群を統計処理することによって、前記着目箇所における特徴点を算出させ、前記特徴点に基づいて、前記特定交通区間における前記自車両の移動履歴を再現した動画を生成させ、前記動画を表示装置に表示させる、ことを行わせる。

【発明の効果】

【0019】

本発明の上記態様によれば、自車両の移動履歴を精度よく再現することが可能な再現システム、再現方法、および再現プログラムを提供できる。

【図面の簡単な説明】

【0020】

【図1】本実施形態に係る再現システムの構成例を示すブロック図である。

【図2】本実施形態の再現システムが生成する、鳥目線の再現動画の一場面を例示した図である。

【図3】本実施形態の再現システムが生成する、相手目線の再現動画の一場面を例示した図である。

【図4】本実施形態の再現システムが生成する、自車目線の再現動画の一場面を例示した図である。

【図5】本実施形態の再現システムが実行する処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0021】

以下、本実施形態の再現システム、再現方法、および再現プログラムについて図面に基づいて説明する。図１は、実施形態に係る再現システム１の構成例を示すブロック図である。再現システム１は、複数の交通参加者が関与する区間（以下、特定交通区間という）における車両の運転履歴を再現する動画（以下、再現動画ともいう）を、コンピュータグラフィックスによって生成するように構成されている。また、再現システム１は、生成した再現動画を表示するように構成されている。

【0022】

再現システム１は、例えば、取得部２と、表示装置３０と、表示制御装置１００と、を備える。取得部２、表示装置３０、および表示制御装置１００は、自車両Ｍに搭載されてもよい。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続されてもよい。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

【0023】

自車両Ｍは、例えば、二輪や三輪、四輪等であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

【0024】

取得部２は、外部検知部１０および車両センサ２０を含む。取得部２は、周辺環境に対する自車両Ｍの相対挙動に関わるパラメータを取得する。

【0025】

外部検知部１０は、自車両Ｍの外部情報を取得するための各種デバイスである。「外部情報」には、例えば、他の交通参加者、路面に描画または貼付された道路区画線（以下、区画線と称する）や横断歩道、自転車横断帯、一時停止線等の路面標識、道路標識、交通信号機、踏切、縁石、中央分離帯、ガードレール、フェンス等についての、形状および位置（自車両Ｍから見た相対位置）に関する情報が含まれる。「他の交通参加者」には、例えば、車両（二輪車、四輪車等）、歩行者等が含まれる。図２等に示される動画の例では、「他の交通参加者」の一例として、対向車Ｘが表示されている。また、図２等に示される動画の例では、自車両Ｍが交差点において右折しており、対向車Ｘが直進している。したがって、自車両Ｍと対向車Ｘとで交差点において進路が交差している。

【0026】

外部検知部１０には、例えば、カメラ、ＬＩＤＡＲ（Light Detection and Ranging）、レーダー装置、センサフュージョン装置等が含まれる。カメラとしては、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラ、ステレオカメラ等を使用できる。外部検知部１０としてのカメラは、自車両Ｍの前方を撮像し、画像データとして出力する。

【0027】

車両センサ２０は、自車両Ｍの速度を検出する車速センサ、角速度を検出するジャイロセンサ、アクセルペダルの操作量あるいは操作の有無を検出するアクセルペダルセンサ、ブレーキペダルの操作量あるいは操作の有無を検出するブレーキペダルセンサ、加速度を検出する加速度センサ、自車両Ｍの向きを検出する方位センサ等を含む。ジャイロセンサには、例えば、鉛直軸回りの角速度を検出するヨーレートセンサが含まれる。

【0028】

表示制御装置１００は、例えば、表示制御部１１０と、認識部１２０と、再現動画生成部１３０と、記憶部１４０と、を備える。記憶部１４０は、抽象データ記憶部１４１と、時系列パラメータ記憶部１４２と、動画データ記憶部１４３と、を含む。表示制御部１１０、認識部１２０、および再現動画生成部１３０の機能は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶装置（不図示）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。また、表示制御部１１０、認識部１２０、および再現動画生成部１３０の一部または全部の機能が、同一のハードウェアによって実現されてもよい。

【0029】

認識部１２０は、外部検知部１０が出力する外部情報に基づいて、自車両Ｍの周辺にある物体の種類、位置等の状況を認識する。「物体」には、例えば、車両や自転車、歩行者などの移動体、道路区画線、段差、ガードレール、路肩、中央分離帯などの走路境界、道路標識や看板などの路上に設置された構造物、走路上に存在する（落ちている）落下物、等の一部または全部が含まれる。

【0030】

例えば、外部検知部１０のカメラが撮像した画像データが認識部１２０に入力されたとき、認識部１２０は、画像認識の結果を出力するように学習された学習済モデルに当該画像データを入力することで、外部状況を取得してもよい。物体の種類は、画像データにおける当該物体のサイズや、外部検知部１０のレーダー装置が受信する反射波の強度などに基づいて推定することもできる。認識部１２０は、例えば、レーダー装置がドップラーシフトなどを利用して検出した、他の交通参加者の移動速度を取得してもよい。

【0031】

物体の位置は、例えば、代表点（自車両Ｍの重心や駆動軸中心など）を原点とした相対座標上の位置（すなわち自車両Ｍに対する相対位置）として認識される。物体の位置には、例えば、他の交通参加者、左側の道路区画線、右側の道路区画線、左側の縁石、右側の縁石、停止線、交通信号機、等の、自車両Ｍから見た相対位置が含まれる。

【0032】

表示制御部１１０は、取得部２が取得したパラメータを時系列で示す時系列パラメータデータを生成する。具体的には、表示制御部１１０は、認識部１２０が出力する認識結果に基づいて、自車両Ｍの外部の状況を時系列で示す外部時系列データを生成する。また、表示制御部１１０は、車両センサ２０が出力する車両情報に基づいて、自車両Ｍの運転状況を時系列で示す車両時系列データを生成する。時系列パラメータデータは、外部時系列データおよび車両時系列データを含む。表示制御部１１０は、時系列パラメータデータを時系列パラメータ記憶部１４２に記憶させる。

【0033】

外部時系列データには、例えば自車両Ｍから左側の道路区画線までの距離、自車両Ｍから右側の道路区画線までの距離、自車両Ｍから左側の縁石までの距離、自車両Ｍから右側の縁石までの距離、自車両Ｍから停止線までの距離、自車両Ｍから交通信号機までの距離、他の交通参加者の種類および自車両Ｍから見た相対位置、等が、時系列として含まれる。

【0034】

車両時系列データには、例えばヨーレート、車速、アクセル操作情報、ブレーキ操作情報、ライト操作情報、ウインカー操作情報、ワイパー操作情報、ハザード操作情報、等が、時系列として含まれる。

【0035】

表示制御部１１０は、再現動画生成部１３０に再現動画を生成させるか否か、再現動画を表示装置３０に表示させるか否か、等の判定を行う。また、表示制御部１１０は、判定結果に基づく制御を実行する。例えば表示制御部１１０は、再現動画を表示装置３０に表示させる旨の判定を行った場合、当該再現動画を表示装置３０に表示させるための処理を行う。

【0036】

表示装置３０は、再現動画生成部１３０が生成した再現動画を表示する。表示装置３０が自車両Ｍに搭載される場合、表示装置３０は、再現動画の他に、自車両Ｍの運転者に対して提示する種々の情報を表す情報画像を表示してもよい。表示装置３０は、例えば、自車両Ｍのダッシュボードやインストルメントパネルに組み込まれたＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）などである。なお、表示装置３０は自車両Ｍに搭載されていなくてもよい。

【0037】

抽象データ記憶部１４１には、物体の種類に対応する、抽象化された画像データ（以下、抽象データという）が記憶されている。抽象データは、例えば物体の種類が車両である場合に、車両の種別（二輪車、四輪車、大型車等）ごとに用意されていてもよい。また、抽象データ記憶部１４１には、交通参加者以外の物体（例えば信号機、標識、建物等）に対応する抽象データが記憶されていてもよい。

【0038】

再現動画生成部１３０は、着目箇所特定部１３１と、抽出部１３２と、算出部１３３と、選択部１３４と、動画生成部１３５と、を有する。再現動画生成部１３０は、特定交通区間における再現動画を生成する。図２は、再現動画生成部１３０により生成され、表示装置３０に表示される再現動画の一例である。図２は、鳥目線での動画を示す。鳥目線とは、特定交通区間を上空から見下ろす目線である。再現動画には、特定交通区間（図の例では交差点）を示す背景画と、自車両Ｍの移動履歴と、他の交通参加者（図の例では対向車Ｘ）の移動履歴と、が含まれる。

【0039】

まず、再現動画生成部１３０による自車両Ｍの移動履歴を再現した動画の生成について説明する。動画データ記憶部１４３には、特定交通区間において自車両Ｍの取り得る動きが、複数の動画データとして予め記憶されている。例えば特定交通区間において自車両Ｍが右折する場合、複数の動画データは、図２に示される自車両Ｍの複数の想定軌跡ｌ１～ｌ３を含む。想定軌跡ｌ１は、右折をする自車両Ｍの理想的な軌跡を示す。想定軌跡ｌ２は、自車両Ｍが理想的な軌跡よりも外側を通った（大回りした）場合の自車両Ｍの軌跡を示す。想定軌跡ｌ３は、自車両Ｍが理想的な軌跡よりも内側を通った（ショートカットした）際の自車両Ｍの軌跡を示す。動画データ記憶部１４３に記憶される動画データは、特定交通区間の属性ごとに用意されている。特定交通区間が交差点である場合、特定交通区間の属性には、例えば、交差点の種類（十字路、偏差路、Ｙ字路など）、交差角度、車線の接続パターン、などが含まれる。

【0040】

再現動画生成部１３０は、時系列パラメータデータおよび複数の動画データに基づき、特定交通区間における自車両Ｍの移動履歴を、再現動画において動的に表示する。また、再現動画生成部１３０は、再現動画において、自車両Ｍの軌跡Ｌを表示する。

【0041】

着目箇所特定部１３１は、特定交通区間における、自車両Ｍの１以上の着目箇所（図２の例では、着目箇所Ｐ１～Ｐ４）を特定する。着目箇所特定部１３１は、自車両Ｍの挙動が変化した位置を、着目箇所として特定する。自車両Ｍの挙動が変化した位置とは、例えば、自車両Ｍの車速やヨーレートが変化した位置である。例えば特定交通区間において自車両Ｍが右折する場合、着目箇所特定部１３１は、以下のように着目箇所Ｐ１～Ｐ４を特定する。すなわち、自車両Ｍのアクセル操作が停止されて自車両Ｍが減速し始めたときの自車両Ｍの位置を、着目箇所Ｐ１とする。自車両Ｍのヨーレートが立ち上がるとき（すなわち、自車両Ｍが右に曲がり始めたとき）の自車両Ｍの位置を、着目箇所Ｐ２とする。自車両Ｍのヨーレートが立ち下がるとき（すなわち、自車両Ｍが曲がり終わったとき）の自車両Ｍの位置を、着目箇所Ｐ３とする。着目箇所Ｐ３から所定時間（例えば、１秒）が経過した後の自車両Ｍの位置を、着目箇所Ｐ４とする。

【0042】

なお、着目箇所特定部１３１は、特定交通区間において道路の属性が変化した位置を、着目箇所として特定してもよい。道路の属性が変化した位置とは、例えば、路面標識、道路標識、車線変更、等の位置である。これらの位置では、自車両Ｍの移動が規制され、自車両Ｍの挙動が変化する。また、道路の属性が変化した位置は、他の交通参加者の関与により自車両Ｍの挙動が変化する位置であってもよい。例えば特定交通区間において自車両Ｍが右折する場合、直進してくる対向車Ｘや道路を横断する歩行者の存在により自車両Ｍが一時停止し、自車両Ｍの挙動が変化する。

【0043】

抽出部１３２は、着目箇所Ｐ１～Ｐ４のそれぞれについて、時系列パラメータ記憶部１４２に記憶された時系列パラメータデータから、着目箇所Ｐ１～Ｐ４に関わる着目箇所パラメータ群を抽出する。具体的には、抽出部１３２は、時系列パラメータ記憶部１４２に記憶された時系列パラメータデータのうち、着目箇所Ｐ１～Ｐ４に対応する時刻の前後の所定の時間幅を含む着目区間Ｋ１～Ｋ４における時系列パラメータデータを、着目箇所パラメータ群として抽出する。着目区間Ｋ１～Ｋ４は、例えば、着目箇所Ｐ１～Ｐ４を含む前後数秒の区間である。

【0044】

算出部１３３は、着目箇所Ｐ１～Ｐ４のそれぞれについて、抽出部１３２により抽出された着目箇所パラメータ群を統計処理することによって、着目箇所Ｐ１～Ｐ４における特徴点を算出する。当該特徴点には、例えば周辺環境に対する自車両Ｍの相対位置、自車両Ｍのヨーレート、自車両Ｍの車速、等の情報が含まれる。周辺環境に対する自車両Ｍの相対位置には、例えば、自車両Ｍから左側の道路区画線までの距離、自車両Ｍから右側の道路区画線までの距離、自車両Ｍから左側の縁石までの距離、自車両Ｍから右側の縁石までの距離、自車両Ｍから停止線までの距離、自車両Ｍから交通信号機までの距離、等が含まれる。

【0045】

例えば、算出部１３３は、抽出部１３２により抽出された着目箇所パラメータ群に対して平均化処理を行うことで、着目箇所Ｐ１～Ｐ４における特徴点を算出する。すなわち、算出部１３３は、着目箇所Ｐ１～Ｐ４における特徴点として、着目箇所パラメータ群に含まれるパラメータの平均値を算出する。算出部１３３は、抽出部１３２により抽出された着目箇所パラメータ群に対してフィルタ処理を行い、着目箇所パラメータ群に含まれるノイズを除去することで、着目箇所Ｐ１～Ｐ４における特徴点を算出してもよい。

【0046】

選択部１３４は、時系列パラメータデータに基づいて、動画データ記憶部１４３に記憶された複数の動画データから、動画の生成に使用する生成動画データを選択する。例えば、選択部１３４は、時系列パラメータデータに含まれる自車両Ｍの相対位置、ヨーレート、車速、等に基づいて、自車両Ｍの想定軌跡ｌ１～ｌ３のうち、実際の自車両Ｍの軌跡に近い軌跡を推定し、当該軌跡に対応する動画データを生成動画データとして選択する。例えば、着目箇所Ｐ２における自車両Ｍの速度が、着目箇所Ｐ２における自車両Ｍの理想速度（自車両Ｍが理想的な軌跡ｌ１を取る場合の自車両Ｍの速度）よりも大きい場合には、自車両Ｍの実際の軌跡が想定軌跡ｌ２に近いと推定され、想定軌跡ｌ２に対応する動画データが選択される。例えば、着目箇所Ｐ２における自車両Ｍのヨーレートが、自車両Ｍの理想ヨーレート（自車両Ｍが理想的な軌跡ｌ１を取る場合の自車両Ｍのヨーレート）よりも大きい場合には、自車両Ｍの実際の軌跡が想定軌跡ｌ３に近いと推定され、想定軌跡ｌ３に対応する動画データが選択される。

【0047】

動画生成部１３５は、算出部１３３で算出された特徴点と、選択部１３４で選択された生成動画データとに基づいて、特定交通区間における自車両Ｍの移動履歴を再現した動画を生成する。具体的には、動画生成部１３５は、算出部１３３で算出された特徴点に基づき、着目箇所Ｐ１～Ｐ４における自車両Ｍの位置を設定する。着目箇所Ｐ１と着目箇所Ｐ２との間の区間について、動画生成部１３５は、着目箇所Ｐ１における自車両Ｍの位置と着目箇所Ｐ２における自車両Ｍの位置とを直線状に結ぶことで、自車両Ｍの軌跡を補間する。着目箇所Ｐ２と着目箇所Ｐ３との間の区間について、動画生成部１３５は、着目箇所Ｐ２、Ｐ３における自車両Ｍの位置および選択部１３４で選択された再生動画データに基づき、自車両Ｍの軌跡を補間する。着目箇所Ｐ３と着目箇所Ｐ４との間の区間について、動画生成部１３５は、着目箇所Ｐ３における自車両Ｍの位置と着目箇所Ｐ４における自車両Ｍの位置とを直線状に結ぶことで、自車両Ｍの軌跡を補間する。また、動画生成部１３５は、算出部１３３で算出された特徴点に基づき、着目箇所Ｐ１～Ｐ４における自車両Ｍの速度を設定する。着目箇所Ｐ１と着目箇所Ｐ２との間の区間について、動画生成部１３５は、着目箇所Ｐ１における自車両Ｍの速度と着目箇所Ｐ２における自車両Ｍの速度との差分から自車両Ｍの加速度を導出し、導出した加速度にて自車両Ｍが減速するよう、自車両Ｍの速度を補間する。着目箇所Ｐ２と着目箇所Ｐ３との間の区間について、動画生成部１３５は、着目箇所Ｐ２、Ｐ３における自車両Ｍの速度および選択部１３４で選択された再生動画データに基づき、自車両Ｍの速度を補間する。着目箇所Ｐ３と着目箇所Ｐ４との間の区間について、動画生成部１３５は、着目箇所Ｐ３における自車両Ｍの速度と着目箇所Ｐ４における自車両Ｍの速度との差分から自車両Ｍの加速度を導出し、導出した加速度にて自車両Ｍが加速するよう、自車両Ｍの速度を補間する。

【0048】

再現動画生成部１３０は、外部時系列データに基づき、自車両Ｍが走行した特定交通区間における背景画を生成する。背景画には、例えば、道路および周辺の構造物（建物、ガードレール、立体標識等）が含まれてもよい。背景画は、抽象データ記憶部１４１に記憶された抽象データに基づいて生成されてもよい。具体的には、再現動画生成部１３０は、抽象データ記憶部１４１から、認識部１２０により認識された物体の種類に対応する抽象データを読み出す。例えば、自車両Ｍの前方にある対向車の存在を認識部１２０が認識した場合は、その対向車の種類（二輪車、四輪車等）に対応する抽象データを読み出す。また、再現動画生成部１３０は、認識部１２０により認識された物体のサイズに基づき、再現動画に表示する抽象データの形状を調整する。例えば、認識部１２０が対向車の横幅寸法を認識した場合は、当該横幅寸法を用いて、対向車を表す抽象データの横幅を調整する。なお、道路区画線等の、道路上に標示される線に関しては、抽象データ記憶部１４１に記憶された抽象データに基づかずに、認識部１２０が認識した幾何データに基づいて、動画中にレンダリング（描画）されてもよい。

【0049】

再現動画生成部１３０は、外部時系列データに基づき、特定交通区間における他の交通参加者の移動履歴を、再現動画において動的に表示する。なお、自車両Ｍが特定交通区間を通過する際に他の交通参加者が静止していた場合は、再現動画において他の交通参加者の位置を静的に表示してもよい。

【0050】

なお、再現動画生成部１３０により生成され、表示装置３０に表示される再現動画は、図３に示すように、相手目線での動画であってもよく、図４に示すように、自車目線での動画であってもよい。相手目線とは、他の交通参加者側から自車両Ｍを見たときの目線である。なお、相手目線として、対向車Ｘの目線を例示したが、自車両Ｍをどの方向から見た動画でもよい。例えば、相手目線とは、自車両Ｍの斜め後方に位置する他の交通参加者（車両、歩行者等）が自車両Ｍを見た目線であってもよい。

【0051】

背景画は、静的に表示されてもよいし、動的に表示されてもよい。例えば、図２に示す鳥目線の動画では、背景画は静的に表示される。図３に示す相手目線または図４に示す自車目線の動画では、目線の移動（すなわち自車両Ｍまたは対向車Ｘの移動）に合わせて、背景画は動的に表示される。

【0052】

図２～図４に示すように、表示装置３０が表示する画像には、スイッチ表示領域Ａ１、交通情報表示領域Ａ２が含まれてもよい。スイッチ表示領域Ａ１には、動画の目線を変更するためのアイコンＩＣ１～ＩＣ３が含まれている。アイコンＩＣ１は、鳥目線の動画を選択するためのＧＵＩ（Graphical User Interface）スイッチである。アイコンＩＣ２は、自車目線の動画を選択するためのＧＵＩスイッチである。アイコンＩＣ３は、相手目線の動画を選択するためのＧＵＩスイッチである。また、表示装置３０が表示する画像には、動画をリプレイするためのＧＵＩスイッチであるアイコンＩＣ４が含まれてもよい。アイコンＩＣ４は、スイッチ表示領域Ａ１に含まれてもよい。

【0053】

表示制御部１１０は、ユーザによるアイコンＩＣ１～ＩＣ４の操作が行われたときに、それぞれに対応する制御を実行する。例えば図２に示すように、鳥目線の動画が表示されている場合において、アイコンＩＣ２（自車目線）が選択されたときは、表示制御部１１０は再現動画生成部１３０に対して自車目線の動画を出力させる動画出力指令を送信する。この動画出力指令を受け取った再現動画生成部１３０は、自車目線の動画を表示装置３０に表示させる。

【0054】

なお、再現動画生成部１３０は、動画出力指令を受信するたびに動画生成を実行し、生成した動画を表示装置３０に表示させてもよい。あるいは、再現動画生成部１３０は、生成した動画を記憶する記憶領域を保有し、動画出力指令を受信した際に、記憶領域に記憶された動画を呼び出して表示装置３０に出力してもよい。

【0055】

交通情報表示領域Ａ２には、特定交通区間（例えば交差点）における、自車両Ｍおよび他の交通参加者（例えば対向車Ｘ）の交通に関する情報が表示される。図２～図４の例では、交通情報表示領域Ａ２に、再現動画の時系列に対応した対向車車速（対向車Ｘの車速）、自車車速、対向車と自車両Ｍとの距離、が表示されている。なお、動画には交通情報表示領域Ａ２が表示されなくてもよい。交通情報表示領域Ａ２を表示するか否かが切り替え可能であってもよい。

【0056】

図５は、再現システム１によって行われる、自車両Ｍの移動履歴を再現した動画を生成する処理の一例を示すフローチャートである。なお、このフローチャートは一例であり、他のフローに沿って処理が行われてもよい。

【0057】

図５の例では、ステップＳ１において、着目箇所特定部１３１が、特定交通区間における自車両Ｍの着目箇所Ｐ１～Ｐ４を特定する。ステップＳ２において、抽出部１３２が、着目箇所Ｐ１～Ｐ４のそれぞれについて、時系列パラメータ記憶部１４２に記憶された時系列パラメータデータから、着目箇所Ｐ１～Ｐ４に関わる着目箇所パラメータ群を抽出する。ステップＳ３において、算出部１３３が、着目箇所Ｐ１～Ｐ４のそれぞれについて、抽出部１３２により抽出された着目箇所パラメータ群を統計処理することによって、着目箇所Ｐ１～Ｐ４における特徴点を算出する。ステップＳ４において、選択部１３４が、時系列パラメータデータに基づいて、動画データ記憶部１４３に記憶された複数の動画データから、動画の生成に使用する生成動画データを選択する。なお、ステップＳ４は、ステップＳ２、Ｓ３と並行して行われてもよい。ステップＳ５において、動画生成部１３５が、ステップＳ３で算出された特徴点と、ステップＳ４で選択された生成動画データとに基づいて、特定交通区間における自車両Ｍの移動履歴を再現した動画を生成する。

【0058】

以上説明したように、本実施形態の再現システム１は、特定交通区間における、周辺環境に対する自車両Ｍの相対挙動に関わるパラメータを取得する取得部２と、時系列パラメータデータとして、特定交通区間におけるパラメータを時系列に記憶する時系列パラメータ記憶部１４２と、時系列パラメータデータに基づいて、特定交通区間における自車両Ｍの移動履歴を再現した動画を生成する再現動画生成部１３０と、動画を表示装置３０に表示させる表示制御部１１０と、を備える。再現動画生成部１３０は、特定交通区間における、自車両Ｍの１以上の着目箇所Ｐ１～Ｐ４を特定する着目箇所特定部１３１と、時系列パラメータ記憶部１４２に記憶された時系列パラメータデータから、着目箇所Ｐ１～Ｐ４に関わる着目箇所パラメータ群を抽出する抽出部１３２と、着目箇所パラメータ群を統計処理することによって、着目箇所Ｐ１～Ｐ４における特徴点を算出する算出部１３３と、特徴点に基づいて、特定交通区間における自車両Ｍの移動履歴を再現した動画を生成する動画生成部１３５と、を有する。

【0059】

このような再現システム１によれば、特定交通区間における自車両Ｍの移動履歴を、コンピュータグラフィックスによって生成された動画で再現することができ、運転者に対して自車両Ｍの移動履歴を客観的に見せることができる。また、時系列パラメータ記憶部１４２に記憶された時系列パラメータデータから、着目箇所Ｐ１～Ｐ４に関わる着目箇所パラメータ群を抽出し、抽出された着目箇所パラメータ群を統計処理することによって、着目箇所Ｐ１～Ｐ４における特徴点を算出する。このように算出された特徴点に基づいて、特定交通区間における自車両Ｍの移動履歴を再現した動画を生成する。これにより、時系列パラメータデータに欠落やノイズが存在する場合であっても、その欠落やノイズを取り除いたデータを用いて、特定交通区間における自車両Ｍの移動履歴を精度よく再現することができる。

【0060】

また、再現システム１は、特定交通区間において自車両Ｍの取り得る動きを少なくとも一つあるいは複数の動画データとして記憶する動画データ記憶部１４３、をさらに備え、再現動画生成部１３０は、時系列パラメータ記憶部１４２に記憶された時系列パラメータデータに基づいて、動画データ記憶部１４３に記憶された少なくとも一つあるいは複数の動画データから生成動画データを選択する選択部１３４、を有し、動画生成部１３５は、選択部１３４にて選択された生成動画データと、特徴点と、に基づいて、特定交通区間における自車両Ｍの移動履歴を再現した動画を生成してもよい。この構成によれば、自車両Ｍの取り得る動きを示す少なくとも一つあるいは複数の動画データから、動画の生成に使用する生成動画データを選択し、選択された生成動画データと、特徴点と、に基づいて、特定交通区間における自車両Ｍの移動履歴を再現した動画を生成する。したがって、特定交通区間における自車両Ｍの移動履歴を、より精度よく再現することができる。

【0061】

また、算出部１３３は、着目箇所パラメータ群に対して平均化処理、またはフィルタ処理を行うことで、着目箇所パラメータ群を統計処理してもよい。この構成によれば、着目箇所パラメータ群に含まれるデータのバラつきを最小化することができ、シームレスな動画を生成することができる。したがって、ユーザのシステムに対する納得性、信頼性、受容性が高まる。

【0062】

また、着目箇所特定部１３１は、自車両Ｍの挙動の変化に基づき、１以上の着目箇所Ｐ１～Ｐ４を特定してもよい。この構成によれば、自車両Ｍの挙動が変化した位置における自車両Ｍの相対挙動に関わるパラメータに基づき、自車両Ｍの移動履歴を再現した動画を生成することができるため、自車両Ｍの実際の移動に即した動画を生成することができる。したがって、ユーザのシステムに対する納得性、信頼性、受容性が高まる。

【0063】

また、着目箇所特定部１３１は、特定交通区間における道路の属性に基づき、１以上の着目箇所Ｐ１～Ｐ４を特定してもよい。この構成によれば、特定交通区間において道路の属性が変化した位置における自車両Ｍの相対挙動に関わるパラメータに基づき、自車両Ｍの移動履歴を再現した動画を生成することができるため、自車両Ｍの実際の移動に即した動画を生成することができる。したがって、ユーザのシステムに対する納得性、信頼性、受容性が高まる。

【0064】

また、取得部２は、自車両Ｍの外部情報を取得する外部検知部１０と、自車両Ｍの車両情報を取得する車両センサ２０と、を有し、時系列パラメータデータは、外部情報に基づいて生成された、自車両Ｍの外部の状況を時系列で示す外部時系列データと、車両情報に基づいて生成された、自車両Ｍの運転状況を時系列で示す車両時系列データと、を含んでもよい。この構成によれば、特定交通区間における自車両Ｍの移動履歴をより精度よく再現することができる。

【0065】

また、外部検知部１０には、自車両Ｍの前方を撮影する画像センサが含まれ、外部時系列データには、自車両Ｍが走行した道路における停止線および車両通行区分線の時系列での位置が含まれ、車両時系列データは、自車両Ｍの車内通信ネットワーク（ＣＡＮ）を通じて再現動画生成部１３０に入力されてもよい。この構成によれば、車両に搭載されている既存のハードウェア資源を用いて、再現動画を生成することができる。

【0066】

また、再現動画生成部１３０は、時系列パラメータデータに基づき、特定交通区間において自車両Ｍと進路が交差した他の交通参加者の移動履歴を、特定交通区間における自車両Ｍの移動履歴と共に再現した動画を生成してもよい。これにより、自車両Ｍと他の交通参加者とが干渉した特定交通区間における状況を分かりやすく再現できる。

【0067】

また、再現動画生成部１３０は、時系列パラメータデータに含まれる、他の交通参加者に関する情報を用いて、他の交通参加者に対応する抽象化された画像データを生成し、動画において画像データを他の交通参加者として表示してもよい。このように、抽象化された画像データを用いることで、例えば他の交通参加者の実写データを再現動画に表示する場合と比較して、処理負荷を低減することができる。

【0068】

上記説明した実施形態は、以下のように表現することができる。
特定交通区間における、周辺環境に対する自車両の相対挙動に関わるパラメータを取得する取得部と、
コンピュータによって読み込み可能な命令を格納する記憶媒体と、
前記記憶媒体に接続されたプロセッサと、を備え、
前記プロセッサは、前記コンピュータによって読み込み可能な命令を実行することにより、
時系列パラメータデータとして、前記特定交通区間における前記パラメータを時系列に記憶し、
前記特定交通区間における、前記自車両の１以上の着目箇所を特定し、
前記時系列パラメータデータから、前記着目箇所に関わる着目箇所パラメータ群を抽出し、
前記着目箇所パラメータ群を統計処理することによって、前記着目箇所における特徴点を算出し、
前記特徴点に基づいて、前記特定交通区間における前記自車両の移動履歴を再現した動画を生成し、
前記動画を表示装置に表示させる、再現システム。

【0069】

なお、本発明の技術的範囲は前記実施形態に限定されず、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。

【0070】

例えば、再現システム１の一部（例えば表示装置３０、表示制御装置１００等）が、自車両Ｍに搭載されず、自車両Ｍと無線通信を行う機器（サーバ、パーソナルコンピュータ、スマートフォン、タブレット端末、等）に搭載されてもよい。つまり、動画の生成および再生は、自車両Ｍから離れた機器によって行われてもよい。

【0071】

具体例として、再現動画生成部１３０が生成した動画は、サーバ等が備える記憶部に記憶されてもよい。そして、サーバに接続された機器に対する操作に基づいて、再現動画が、当該機器が備える表示装置に表示されてもよい。この場合、運転者が自宅等で動画を視聴し、自らの運転操作について振り返ることができる。あるいは、自動車の教習所等において、再現動画を用いた教習を行うことも可能である。

【0072】

また、前記実施形態では、特定交通区間の例として交差点を挙げた。しかしながら、特定交通区間は交差点でなくてもよく、例えば駐車場内の一地点であってもよい。あるいは、特定交通区間は、駐車場等と道路との接続地点であってもよい。これらの場合も、運転者に対して自車両Ｍの移動履歴を客観的に見せることで、より安全な運転を促すことができる。

【0073】

その他、本発明の趣旨を逸脱しない範囲で、上記した実施形態における構成要素を周知の構成要素に置き換えることは適宜可能であり、また、上記した実施形態や変形例を適宜組み合わせてもよい。

【符号の説明】

【0074】

１ 再現システム
２ 取得部
１０ 外部検知部
２０ 車両センサ
３０ 表示装置
１１０ 表示制御部
１３０ 再現動画生成部
１３１ 着目箇所特定部
１３２ 抽出部
１３３ 算出部
１３４ 選択部
１３５ 動画生成部
１４２ 時系列パラメータ記憶部
１４３ 動画データ記憶部
Ｐ１～Ｐ４ 着目箇所
Ｋ１～Ｋ４ 着目区間
Ｍ 自車両

【図1】

【図2】

【図3】

【図4】

【図5】