特許 6376005 ダイジェスト映像生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6376005

(24)【登録日】2018年8月3日

(45)【発行日】2018年8月22日

(54)【発明の名称】ダイジェスト映像生成装置

(51)【国際特許分類】

   H04N 5/93 20060101AFI20180813BHJP

   H04N 5/91 20060101ALI20180813BHJP

   H04N 5/783 20060101ALI20180813BHJP

【ＦＩ】

   H04N5/93

   H04N5/91

   H04N5/783

【請求項の数】10

【全頁数】24

(21)【出願番号】特願2015-47506(P2015-47506)

(22)【出願日】2015年3月10日

(65)【公開番号】特開2016-167771(P2016-167771A)

(43)【公開日】2016年9月15日

【審査請求日】2017年9月14日

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(73)【特許権者】

【識別番号】593006630

【氏名又は名称】学校法人立命館

(74)【代理人】

【識別番号】100106149

【弁理士】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】竹中 一仁

(72)【発明者】

【氏名】坂東 誉司

(72)【発明者】

【氏名】谷口 忠大

【審査官】 松元 伸次

(56)【参考文献】

【文献】 特開２０１４−０２７４８１（ＪＰ，Ａ）

【文献】 特開２０１０−０１１４０９（ＪＰ，Ａ）

【文献】 特開２０１３−１２５５７１（ＪＰ，Ａ）

【文献】 特開２００５−２１９６３１（ＪＰ，Ａ）

【文献】 特開２０１４−２３５６０５（ＪＰ，Ａ）

【文献】 特開２０１２−２４４１９３（ＪＰ，Ａ）

【文献】 国際公開第２０１０／１５０３４８（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０７Ｃ１／００−１５／００

Ｇ０８Ｇ１／００−９９／００

Ｇ１０Ｋ１５／００−１５／１２

Ｇ１１Ｂ２７／００−２７／０６

Ｈ０４Ｎ５／９１−５／９５６

７／１０

７／１４−７／５６

２１／００−２１／８５８

(57)【特許請求の範囲】

【請求項1】

車両に搭載された映像撮影装置が撮影した映像を逐次取得する映像取得部（１０１）と、
前記映像取得部が取得した映像を記憶する映像記憶部（１０２）と、
前記映像撮影装置による撮影が開始してから終了するまでの前記車両の運転状況を示す車両情報を逐次取得する車両情報取得部（１０３）と、
前記車両情報取得部が収集した車両情報に基づいて、前記映像撮影装置による撮影が開始してから終了するまでの前記車両の一連の走行であるトリップを、複数の運転シーンに分割するシーン分割部（１０６）と、
前記運転シーンの長さに応じて、前記運転シーンに対応する時間帯に撮影された映像の再生速度を設定する再生速度設定部（１０８）と、
前記再生速度設定部が設定した前記運転シーン毎の再生速度に基づいて、前記映像記憶部が記憶している映像を要約したダイジェスト映像を生成するドライブ映像要約部（１１１）と、
前記ダイジェスト映像の各場面における前記車両の走行に関連する情報である走行関連情報を、ユーザの聴覚又は触覚を介してユーザに伝えるためのデータである伝達用データを生成する伝達用データ生成部（１０９）と、
前記ドライブ映像要約部が生成した前記ダイジェスト映像に、前記伝達用データ生成部が生成した前記伝達用データと付加した再生用データを生成する再生用データ生成部（１１２）と、を備えることを特徴とするダイジェスト映像生成装置。

【請求項2】

請求項１において、
前記伝達用データ生成部として、前記ダイジェスト映像の各場面に対応する前記走行関連情報に応じて変化する前記ダイジェスト映像のＢＧＭを生成するＢＧＭ生成部を備えることを特徴とするダイジェスト映像生成装置。

【請求項3】

請求項２において、
前記ＢＧＭ生成部は、前記ダイジェスト映像の各場面における前記車両の走行速度に対応してテンポが変化する前記ＢＧＭを生成することを特徴とするダイジェスト映像生成装置。

【請求項4】

請求項３において、
前記ＢＧＭ生成部は、前記車両の走行速度が大きいほど、その場面に対応する部分のテンポを速くすることを特徴とするダイジェスト映像生成装置。

【請求項5】

請求項４において、
前記ＢＧＭ生成部は、前記ＢＧＭにおけるテンポが変化するタイミングと、前記ダイジェスト映像において前記運転シーンが切り替わるタイミングとを同期させた前記ＢＧＭを生成することを特徴とするダイジェスト映像生成装置。

【請求項6】

請求項５において、
前記シーン分割部は、複数の連続する前記運転シーンのそれぞれが示す運転状況が類似している否かを判定し、類似していると判定した場合には、それら複数の前記運転シーンを１つのシーングループとして設定するものであって、
前記ＢＧＭ生成部は、前記ＢＧＭにおいて同一のシーングループに属する前記運転シーンに対応する部分のテンポは、そのシーングループにおける平均車速に応じた一定の値とすることを特徴とするダイジェスト映像生成装置。

【請求項7】

請求項５又は６において、
前記ＢＧＭ生成部は、前記ＢＧＭの小節の切れ目においてテンポを変化させることを特徴とするダイジェスト映像生成装置。

【請求項8】

請求項２から７の何れか１項において、
前記トリップ中において発生した前記車両の走行に関連する所定のイベントを検出するイベント検出部（１０７）を備え、
前記ＢＧＭ生成部は、前記ＢＧＭにおいて、前記イベント検出部が検出した前記イベントが生じている部分に、前記イベントに対応する効果音を付与するか、又は、前記イベントに対応するアレンジ処理を施すことを特徴とするダイジェスト映像生成装置。

【請求項9】

請求項８において、
前記車両の走行環境に関わる走行環境情報を収集する走行環境情報収集部（１０４）を備え、
前記イベント検出部は、前記走行環境情報収集部が取得した前記走行環境情報と、前記車両情報取得部が取得した前記車両情報の少なくとも何れか一方に基づいて前記イベントを検出することを特徴とするダイジェスト映像生成装置。

【請求項10】

請求項９において、
前記イベント検出部が検出した前記イベントの内容を表すテキストを生成するテキスト生成部（１１０）を備え、
前記再生用データ生成部は、前記ダイジェスト映像において前記イベントの発生したタイミングに対応する部分に前記テキストが重畳表示されるように、前記ダイジェスト映像に前記テキストを付与した前記再生用データを生成することを特徴とするダイジェスト映像生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両に搭載されたカメラが撮影したドライブ映像を要約したダイジェスト映像を生成するダイジェスト映像生成装置に関する。

【背景技術】

【0002】

従来、車両走行中の風景を撮影した映像（ドライブ映像とする）を視聴する楽しみが提案されている。また、ドライブ映像は、ドライバの運転操作や車両の挙動といった運転状況を記録したデータとして、例えば運転技能の教育などに用いられる場合もある。しかし、ドライブ映像は、そのままでは編集されていないため、当然ながら退屈なシーンや、運転技能の教育に有用ではないシーン等を多く含む。また、ドライブ映像を視聴するために、実際の走行時間と同じ時間を要するのは現実的ではない。

【0003】

そこで、特許文献１では、ドライブ映像の内容を短時間で把握するために、ドライブ映像を要約したダイジェスト映像を生成する装置（ダイジェスト映像生成装置とする）が提案されている。

【0004】

特許文献１に開示の技術によれば、運転状況を示す車両情報を解析し、走行の開始から目的地へ到着するまでの一連の走行（これをトリップとする）を、複数の運転シーンに離散化する。そして、一連のドライブ映像のうち、各運転シーンに対応する映像区間に対して各運転シーンの継続時間の長さに応じた再生速度を設定し、各運転シーンに対応する映像区間が、その設定された再生速度で再生されるように編集することでダイジェスト映像を生成する。

【0005】

なお、車両挙動を用いて、トリップを幾つかの運転シーンに離散化する技術としては、非特許文献１に開示の技術がある。非特許文献１に開示の技術よれば、予め運転シーンの定義を与えることなく、車両の挙動やドライバによる運転操作に基づいてトリップを運転シーンに分割し、さらには類似する運転シーンを１つのシーングループに統合する事ができる。また、非特許文献１によれば、車両挙動や付加情報、運転シーンの情報から運転に関するイベントを抽出することもできる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１４−２７４８１号公報

【非特許文献】

【0007】

【非特許文献1】Takashi Bando, Kazuhito Takenaka, Shogo Nagasaka, Tadahiro Taniguchi, "Generating Contextual Description from Driving Behavioral Data," IEEE Intelligent Vehicles Symposium (IV2014), 2014

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１のように、ドライブ映像の再生速度を運転シーン毎に変化させることでダイジェスト映像を生成した場合、ダイジェスト映像では、ユーザが認識できなくなってしまったり、或いはユーザが認識することが困難になってしまったりする情報がある。

【0009】

例えば、ドライブ映像では車両の走行速度がそのまま表現されている一方、ダイジェスト映像からユーザが感じる車両の速度感は再生速度の影響を受けるため、ダイジェスト映像では、実際の走行速度が分からなくなってしまう。また、加速度や減速度といった情報も、運転シーンの切り替わりに伴う再生速度の変化によるものと区別がつかなくなってしまう。

【0010】

そのような問題の解決策の１つとして、例えば走行速度や加速度、減速度といった、車両の走行に関連する情報のうち、ダイジェスト映像そのものでは認識が困難な種々の情報をダイジェスト映像上に重畳表示する構成（比較構成とする）も考えられる。

【0011】

しかし、そのような比較構成では、画面内の視覚情報を増加させることになる。ダイジェスト映像は、時間当たりの情報量を密にした映像であるため、画面内において注視点を追加することは、ダイジェスト映像内容を把握することを、より一層困難にしてしまう。例えば、走行速度を示すテキスト情報を見ている間に、ダイジェスト映像における重要な場面をユーザが見逃してしまう恐れが生じる。

【0012】

本発明は、この事情に基づいて成されたものであり、その目的とするところは、ダイジェスト映像における車両の走行に関連する情報をユーザが認識しやすい再生用データを生成するドライブ映像生成装置を提供することにある。

【課題を解決するための手段】

【0013】

その目的を達成するための本発明は、車両に搭載された車載カメラが撮影した映像を逐次取得する映像取得部（１０１）と、前記映像取得部が取得した映像を記憶する映像記憶部（１０２）と、前記車載カメラによる撮影が開始してから終了するまでの前記車両の運転状況を示す車両情報を逐次取得する車両情報取得部（１０３）と、前記車両情報取得部が収集した車両情報に基づいて、前記車載カメラによる撮影が開始してから終了するまでの前記車両の一連の走行であるトリップを、複数の運転シーンに分割するシーン分割部（１０６）と、前記運転シーンの長さに応じて、前記運転シーンに対応する時間帯に撮影された映像の再生速度を設定する再生速度設定部（１０８）と、前記再生速度設定部が設定した前記運転シーン毎の再生速度に基づいて、前記映像記憶部が記憶している映像を要約した映像であるダイジェスト映像を生成するドライブ映像要約部（１１１）と、前記ダイジェスト映像の各場面における前記車両の走行に関連する情報である走行関連情報を、ユーザの聴覚又は触覚を介してユーザに伝えるためのデータである伝達用データを生成する伝達用データ生成部（１０９）と、前記ドライブ映像要約部が生成した前記ダイジェスト映像に、前記伝達用データ生成部が生成した前記伝達用データと付加した再生用データを生成する再生用データ生成部（１１２）と、を備えることを特徴とする。

【0014】

以上の構成では、シーン分割部は、車両情報に基づいてトリップを複数の運転シーンに分割するとともに、再生速度設定部が、運転シーン毎の再生速度を設定する。そして、ドライブ映像要約部は、再生速度設定部が設定した運転シーン毎の再生速度に基づいて、トリップ中において車載カメラが撮影した映像（つまり、ドライブ映像）を要約した映像であるダイジェスト映像を生成する。

【0015】

また、伝達用データ生成部は、ダイジェスト映像の各場面における走行関連情報をユーザの聴覚又は触覚を介して伝えるための伝達用データを生成し、再生用データ生成部は、ダイジェスト映像にその伝達用データを付加した再生用データを生成する。

【0016】

以上の構成によって生成された再生用データを再生すれば、ダイジェスト映像が再生されるとともに、伝達用データによって再生中の場面に対応する、車両の走行に関連する情報が、音声情報や触覚情報で表現される。したがって、ユーザは、ダイジェスト映像とともに、聴覚又は触覚を介して、その再生中の場面における車両の走行に関する情報を認識することができる。

【0017】

なお、伝達用データとは、例えば、ダイジェスト映像に付与するＢＧＭのデータや、バイブレータに対して、所定の振動パターン、及び所定のタイミングで振動するように指示するデータなどが該当する。仮に伝達用データとしてＢＧＭデータを採用する場合には、例えばＢＧＭのテンポやＢＧＭとして用いる楽曲の種類を、走行関連情報（例えば走行速度）に応じて変更するによって、ダイジェスト映像の各場面における走行関連情報をユーザに伝えることができる。

【0018】

そして、以上の構成において車両の走行に関連する情報は、ユーザの聴覚や触覚を利用する媒体によって表現されるため、ダイジェスト映像が表示されている画面内の視覚情報は増加しない。つまり、画面内において注視点が増加することもないため、ダイジェスト映像に対応する車両の走行に関連する情報をより認識しやすい。

【0019】

なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

【図面の簡単な説明】

【0020】

【図1】ダイジェスト映像生成装置１００を含むシステムの構成を概略的に表すブロック図である。

【図2】ダイジェスト映像生成装置１００の概略的な構成を示すブロック図である。

【図3】運転シーン離散化部１０６の作動を説明するための図である。

【図4】イベント抽出部１０７が抽出するイベントと、シーングループとの関係を説明するための図である。

【図5】速度テンポ設定部１０８が実施する処理内容を表すフローチャートである。

【図6】運転シーンの継続時間と再生速度との関係を説明するための図である。

【図7】シーングループとＢＧＭのテンポの切り替わり点の関係を表した図である。

【図8】シーングループの平均車速からＢＧＭにおいてそのシーングループに対応する部分のテンポの範囲を決定するためのデータの一例を表した図である。

【図9】ＢＧＭのテンポと、シーングループとの関係を説明するための図である。

【図10】ＢＧＭ生成部１０９の作動を説明するための図である。

【発明を実施するための形態】

【0021】

以下、本発明の実施形態について図を用いて説明する。まず、図１を用いて本実施形態にかかるダイジェスト映像生成装置１００を含むシステムの構成について述べる。ダイジェスト映像生成装置１００は、図１に示すように車両内ネットワーク１０を介して、車載カメラ２０、車載センサ３０、ナビＥＣＵ４０、ディスプレイ５０、スピーカ６０、バイブレータ７０などと通信可能に接続されている。

【0022】

車載カメラ２０は、例えば車両の前方を撮影するように、フロントバンパや車室内のルームミラー付近やフロントガラスの上端などに設けられたカメラである。車載カメラ２０が撮影した映像信号は、ダイジェスト映像生成装置１００に逐次出力される。この車載カメラ２０が請求項に記載の映像撮影装置の一例に相当する。車載センサ３０は、車両に搭載され、運転者による運転操作に関する情報、その運転操作の結果として表れる車両の挙動に関する情報を検出するセンサである。

【0023】

図１では、車載センサ３０として、アクセルペダルの踏み込み量を検出するアクセルセンサ３１、ブレーキペダルの踏み込み量もしくはマスタシリンダが発生するブレーキ圧を検出するブレーキセンサ３２、ステアリングホイールの操舵角度を検出する操舵角センサ３３を例示している。もちろん、車載センサ３０に該当するセンサは、上述したセンサに限らない。例えば、トランスミッションのシフト位置を検出するポジションセンサや、車両に作用するヨーレートを検出するヨーレートセンサ、水平面に対する車体の傾斜角度を検出する傾斜センサ、方向指示器（ウインカー）を作動させるためのウインカースイッチなども車載センサ３０に該当する。

【0024】

ナビＥＣＵ４０は、周知のナビゲーション装置と同様の機能（ナビゲーション機能とする）を備える電子制御装置（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）である。ナビＥＣＵ４０は、現在位置を示す情報や、ユーザによって設定された目的地、走行経路の情報、車両周辺に存在する施設の情報（周囲環境情報とする）などをダイジェスト映像生成装置１００に提供する。

【0025】

ディスプレイ５０は、ダイジェスト映像再生装置２００からの指示に基づいた画像（テキストを含む）を表示する。ディスプレイ５０は、車両に搭載されたディスプレイでも良いし、携帯端末のディスプレイでもよい。なお、ディスプレイ５０はヘッドアップディスプレイでもよい。

【0026】

スピーカ６０は、ダイジェスト映像再生装置２００からの指示に基づいて、音声（単なる音や、音楽を含む）を出力する。バイブレータ７０は、ダイジェスト映像再生装置２００からの指示に基づいて、内蔵されたモータを動作させることで、振動を発生させる装置である。バイブレータ７０は、例えば、ステアリングやシートなど、ユーザの体に接する部分に設けられていればよい。

【0027】

ダイジェスト映像生成装置１００は、車載カメラ２０が撮影した映像（ドライブ映像とする）を、所定の規則に則って要約した映像（ダイジェスト映像とする）を生成する。また、ダイジェスト映像生成装置１００は、ダイジェスト映像に対して、ダイジェスト映像の各場面が表す車両の運転状況に応じたＢＧＭ（ｂａｃｋｇｒｏｕｎｄ ｍｕｓｉｃ）などを付加した再生用データを生成する。ＢＧＭのデータは、ダイジェスト映像の各画面における車両の運転状況を補足説明する役割を担う。このダイジェスト映像生成装置１００の詳細については後述する。

【0028】

ダイジェスト映像再生装置２００は、ダイジェスト映像生成装置１００が生成した再生用データ（後述）に基づいて、ダイジェスト映像をディスプレイに表示するとともに、ダイジェスト映像と同期したＢＧＭをスピーカ６０から出力する。また、変形例で述べるように、再生用データに、所定のタイミングでバイブレータ７０を振動させるように指示する振動指示データが含まれている場合には、その指示されたタイミングでバイブレータ７０を振動させる。なお、振動指示データには、バイブレータ７０を振動させるタイミングを示したスケジュール情報のほか、各タイミングで振動させる際の振動のパターンが定義されていてもよい。

【0029】

［ダイジェスト映像生成装置の構成］
以下、ダイジェスト映像生成装置１００の構成について述べる。ダイジェスト映像生成装置１００は、図２に示すように、ドライブ映像取得部１０１、ドライブ映像データベース（以降、ドライブ映像ＤＢ）１０２、車両情報収集部１０３、走行環境情報収集部１０４、運転シーンデータベース（以降、運転シーンＤＢ）１０５、運転シーン離散化部１０６、イベント抽出部１０７、速度テンポ設定部１０８、ＢＧＭ生成部１０９、テキスト生成部１１０、ドライブ映像要約部１１１、及び、再生用データ生成部１１２を備えている。

【0030】

このダイジェスト映像生成装置１００は、マイクロコンピュータ（以降、マイコン）によって実現され、ドライブ映像ＤＢ１０２及び運転シーンＤＢ１０５を除く各部は、マイコンが備える図示しないＣＰＵが所定のプログラムを実行することによって実現されるものである。つまり、ＣＰＵによって実現される各種機能を機能ブロック毎に分けて図示したものが図２である。但し、これら各部は必ずしもソフトウェアにて実現されている必要はなく、その全部または一部をロジック回路等のハードウェアにて実現してもよい。

【0031】

なお、ドライブ映像ＤＢ１０２は書き換え可能な周知の記憶媒体によって実現され、また、運転シーンＤＢ１０５は、不揮発性の記憶媒体によって実現されるものである。以下、各部の機能に付いて述べる。

【0032】

［ドライブ映像取得部］
ドライブ映像取得部１０１は、車載カメラ２０が撮影した映像信号を逐次取得し、所定のエンコード処理を施して、ドライブ映像ＤＢ１０２に逐次格納する。このドライブ映像取得部１０１が請求項に記載の映像取得部に相当し、ドライブ映像ＤＢ１０２が請求項に記載の映像記憶部に相当する。

【0033】

なお、逐次格納されるドライブ映像は、ドライブ映像取得部１０１がその映像信号を取得した時刻を示す時間情報、言い換えれば撮影時刻を示す時間情報と対応付けられて保存される。以降では、車載カメラ２０による撮影が開始してから撮影が終了するまでの車両の一連の走行（停車中も含む）を１つのトリップと称する。

【0034】

［車両情報収集部］
車両情報収集部１０３は、運転者による運転操作を表す運転データや、その運転操作の結果として表れる車両の挙動を表す挙動データを、車載センサ３０から逐次取得する。また、車両情報収集部１０３は、運転データや挙動データをそれぞれ微分した微分データを生成する。

【0035】

車両情報収集部１０３は、或る時点における運転データ、挙動データ、及び微分データを含む多次元データを、その時点における運転挙動データとしてまとめて取り扱う。また、車両情報収集部１０３は、運転挙動データに、その運転挙動データを取得した時点を示す時間情報を付与して、運転シーン離散化部１０６、イベント抽出部１０７、速度テンポ設定部１０８等の各部に提供する。運転挙動データが請求項に記載の車両情報に相当し、車両情報収集部１０３が請求項に記載の車両情報取得部に相当する。

【0036】

なお、運転データとしては、例えば、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操作量（操舵角）、方向指示器の操作状態、トランスミッションのシフト位置、ワイパーの動作状態などを用いることができる。また、挙動データとしては、例えば、車両の走行速度、ヨーレート、加速度、水平面に対する車体の傾斜角などを用いることができる。

【0037】

以降では、運転挙動データに含まれる種別毎の情報を、運転挙動データの要素とも称する。例えば運転挙動データがアクセルペダルの操作量、ブレーキペダルの操作量、走行速度を含む場合には、アクセルペダルの操作量、ブレーキペダルの操作量、走行速度のそれぞれが、運転挙動データの要素に該当する。

【0038】

［走行環境情報収集部］
走行環境情報収集部１０４は、ナビＥＣＵ４０や車載カメラ２０から、車両の走行に関連する環境の情報（走行環境情報とする）を逐次取得する。走行環境情報とは、例えば、車両の現在位置を示す現在位置情報や、現在位置情報から定まる走行軌跡情報、車両周囲の環境についての情報を表す周囲環境情報などが該当する。

【0039】

周囲環境情報には、車両の現在位置付近に存在する施設や、車両が走行している道路の名称、道路種別（例えば一般道路や高速道路など）などといった、周囲の地理的な情報を示す地理的環境情報が含まれる。

【0040】

また、トリップの目的地や経由地がナビＥＣＵ４０に設定されている場合には、目的地や経由地を示す情報や、案内経路情報なども走行環境情報に該当する。種々の走行環境情報は、例えばナビＥＣＵ４０から取得すれば良い。

【0041】

また、周囲環境情報としては、ナビＥＣＵ４０から提供される情報だけでなく、車載カメラ２０が撮影した映像に対して周知の画像認識処理を実施することによって、抽出された情報も採用することができる。車載カメラ２０の撮影した映像から抽出される情報とは、例えば信号のある交差点の通過等の地理的な情報のほか、特定のオブジェクト（車両や歩行者など）を認識することで得られる、先行車両や歩行者といった車両周辺に存在する移動体（又は固定物）と車両との位置関係についての情報である。つまり、周囲環境情報として、車両の周辺に存在する他の物体（車両や歩行者）との位置関係を示す動的環境情報を採用してもよい。

【0042】

走行環境情報収集部１０４は、取得した走行環境情報に、その取得時刻を示す時間情報を付加してイベント抽出部１０７に提供する。

【0043】

なお、走行環境情報には、その地域における天候や気温などの情報を含ませても良い。また種々の情報の取得元は、ナビＥＣＵ４０や車載カメラ２０に限らない。種々の走行環境情報の一部又は全部は、例えば、ダイジェスト映像生成装置１００と通信可能に接続されたスマートフォン等の携帯端末から取得してもよいし、ユーザによって入力されても良い。

【0044】

以上で述べたドライブ映像取得部１０１、車両情報収集部１０３、及び走行環境情報収集部１０４は、共通の（つまり、同期した）時間情報を用いており、各部は取得したデータにその取得時刻を示す時間情報を付与して、保存または他の機能部へ出力する。これによって、或る時点においてドライブ映像取得部１０１が取得したドライブ映像と、車両情報収集部１０３が取得した運転挙動データと、走行環境情報収集部１０４が取得した走行環境情報は、互いに対応付けられている。

【0045】

［運転シーンＤＢ］
運転シーンＤＢ１０５は、次に説明する運転シーン離散化部１０６が、車両情報収集部１０３から取得する運転挙動データに基づいて、一連のトリップを、運転状況の変化に対応する複数の区間（運転シーンとする）に分割（離散化）するために必要なデータを記憶している。一連のトリップを複数の運転シーンに離散化するために必要なデータとは、各運転状況の発生する確率を定義したデータや、或る運転状況から別の運転状況へと遷移する確率を定義したデータや、離散化された運転シーンがどのような運転状況を示しているかを特定するための複数の運転トピックを示すデータ等である。

【0046】

各運転トピックは、典型的な所定の運転状況における運転挙動データの各要素の分布パターン（基底特徴分布とする）を表したデータである。例えば、運転シーンＤＢ１０５には、発進、停止、定速走行、カーブにおける旋回、交差点の右折及び左折、右側車線及び左側車線への車線変更などに対応する運転トピックのデータが格納されている、
各運転トピックのデータは、種々の試験によって予め定義された基底特徴分布、及び、その運転シーンを説明するために予め用意された複数のタグの分布を表す基底タグ分布から構成されている。基底特徴分布及び基底タグ分布についての詳細は、非特許文献１、及び、参考文献としての特開２０１４−２３５６０５号公報に開示されているため、ここでの説明は省略する。

【0047】

なお、特許文献１や、非特許文献１、及び参考文献はいずれも、本ダイジェスト映像生成装置１００に関連する技術を開示した文献である。特許文献１、非特許文献１、及び参考文献をまとめて以降では関連文献と称する。

【0048】

［運転シーン離散化部］
運転シーン離散化部１０６は、車両情報収集部１０３から取得する運転挙動データと、運転シーンＤＢ１０５に格納されているデータを用いて、トリップを複数の運転シーンに離散化する。そして、各運転シーンがどういった状況を表しているのかを解析し、類似した状況を示す複数の連続した運転シーンを、１つのグループ（シーングループとする）に統合する。運転シーン離散化部１０６が請求項に記載のシーン分割部に相当する。

【0049】

この運転シーン離散化部１０６が実施する具体的な処理の内容、つまり、運転挙動データに基づいてトリップを複数の運転シーンに離散化し、さらに、複数の運転シーンをシーングループに統合する方法については、既に上述の関連文献に開示されている。そのため、ここではその詳細な説明については省略する。なお、概略的には次の通りである。

【0050】

まず、運転シーン離散化部１０６は、周知の二重分節解析器（ＤＡＡ：Ｄｏｕｂｌｅ Ａｒｔｉｃｕｌａｔｉｏｎ Ａｎａｌｙｚｅｒ）を利用して、図３に示すように、トリップ中に収集された運転挙動データを時系列に並べたデータ（時系列データ）を、複数の部分系列に分節化する。１つの部分系列が、１つの運転シーンに相当する。

【0051】

図３の運転挙動の欄は、運転挙動データに含まれる種々の要素の時間変化を示しており、図３の運転シーンの欄に示す矢印ブロック１つが、１つの運転シーンを表している。具体的には、９つの運転シーンＳｎ１〜Ｓｎ９を図示している。

【0052】

なお、図３では図の簡略化のため、運転挙動データの要素のうち、所定の４つの要素の時間変化を図示しているが、運転シーンを設定する上で用いられる運転挙動データの要素の数は４つに限らない。また、運転シーンを設定する上で、運転挙動データに含まれる全ての要素を用いる必要はない。ここでは一例として、運転挙動データに含まる要素のうち、アクセルペダル操作量、ブレーキペダル操作量、ステアリング操作量、走行速度、及び、これらの各々の微分データからなる８次元データに基づいて運転シーンを設定することとする。

【0053】

次に、運転シーン離散化部１０６は、運転シーン毎に、運転シーン中に現れる特徴量の分布を表す特徴量分布を生成し、その特徴量分布に、予め設定されている種々の運転トピックがどのような割合で含まれているかを表すトピック割合を算出する。トピック割合とは、運転シーンから生成された特徴量分布に対する、各運転トピックに対応する基底特徴分布の含有割合を表すものである。

【0054】

図３のトピック割合の欄は、運転シーン毎のトピック割合を表している。便宜上、ここでは１つの運転シーンを、４種類の運転トピック（運転トピックＡ、Ｂ、Ｃ、Ｄ）の混合によって表している。もちろん、１つの運転シーンを表すために用いられる運転トピックの種類は４つに限らない。例えば１０や１００等、５つ以上の運転トピックの混合によって表されてもよい。

【0055】

そして、運転シーン離散化部１０６は、複数の連続する運転シーンにおいて、トピック割合が類似しているかを判定し、トピック割合が類似している運転シーンを１つの運転グループにまとめる。

【0056】

或る運転シーンのトピック割合と、その次の運転シーンのトピック割合が類似しているか否かは、非特許文献１に開示の方法によって行えばよい。また、他の態様として、比較の対象とする複数の運転シーン毎のトピック割合において、運転トピック毎の比率の差の二乗の合計が所定の閾値以内となっている場合に、それらの運転シーンのトピック割合が類似していると判定してもよい。

【0057】

図３のシーングループの欄は、運転シーンＳｎ１〜Ｓｎ９を、それぞれのトピック割合に基づいて、シーングループにまとめた結果を表している。具体的には、トピック割合が類似していると判定した運転シーンＳｎ１〜Ｓｎ３をシーングループＧｒ１として統合している。また、運転シーンＳｎ４は前後の運転シーンＳｎ３、Ｓｎ５とは類似していないため、そのまま１つのシーングループＧｒ２となる。運転シーンＳｎ５〜Ｓｎ９は、トピック割合の類似性からシーングループＧｒ３としてまとめられる。

【0058】

なお、ここでは関連文献に開示に技術を援用することで、運転シーン離散化部１０６を実現する態様を例示したが、これに限らない。運転シーン離散化部１０６は、他の方法によって実現されても良い。例えば、特開２０１１−１２９０１０号公報に開示されているように、運転挙動データと運転シーンとの対応関係を予め定義しておき、逐次取得する運転挙動データから運転シーンを特定するとともに、トリップを複数の運転シーンに離散化する態様としてもよい。ただし、その場合、運転シーンと運転挙動データとの対応関係を示すデータを定義しておく必要があるとともに、さらに、運転シーンの類似性からシーングループにまとめるアルゴリズムも別途設計する必要がある。

【0059】

一方、本実施形態のように非特許文献１を援用すれば、運転シーンの定義を予め与えることなく、運転挙動データからトリップを複数の運転シーンに分割でき、さらには、類似性の高い運転シーンを１つのシーングループに統合することができる。

【0060】

以上のようにして設定された運転シーン、及びシーングループについての情報は、イベント抽出部１０７や、速度テンポ設定部１０８等の各部に提供される。なお、或る運転シーンについての情報（シーン情報）とは、その運転シーンの開始時点及び終了時点を示す時間情報、その運転シーンのトピック割合、その運転シーンが属するシーングループを表す情報などが該当する。

【0061】

シーングループについての情報（シーングループ情報）とは、運転シーン毎のシーン情報をシーングループ単位で管理する情報であって、各シーングループに属する運転シーンのシーン情報にアクセスするための情報（例えばポインタ）や、シーングループの開始時点及び終了時点を示す時間情報などを含む。

【0062】

もちろん、シーン情報やシーングループ情報が、上述した全ての情報を備えている必要はない。シーン情報やシーングループ情報が備えるべき情報の種類は適宜設計されればよい。なお、ここでは一例としてシーングループ情報を導入し、各運転シーンのシーン情報をシーングループ単位で管理可能な構成を例示しているが、これに限らない。シーングループ情報は無くても良い。

【0063】

［イベント抽出部］
イベント抽出部１０７は、車両情報収集部１０３が収集及び算出した運転挙動データの時系列データ、走行環境情報収集部１０４が収集した走行環境情報、及び、運転シーン離散化部１０６から提供されるシーン情報の少なくとも１つに基づいて、走行に関する種々のイベントを抽出する。

【0064】

走行に関するイベントとは例えば、高速走行、急加速操作、急ブレーキ操作、車線変更、観光名所などの所定のＰＯＩ（Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ）付近の通過や、目的地への到着、高速道路への進入、高速道路から一般道路への復帰などである。イベント抽出部１０７が請求項に記載のイベント検出部に相当する。

【0065】

本実施形態では一例としてイベント抽出部１０７は、関連文献の技術を援用し、シーン情報に含まれる運転シーンのトピック割合を解析することで、走行に関する種々のイベントを抽出する。

【0066】

具体的には、運転シーンのトピック割合と、各運転トピックの基底タグ分布に基づいて、その運転シーンがどのような運転状況を示しているかを表す情報（シーンラベルとする）を、その運転シーンと対応付ける。例えば、シーンラベルとしては、走行中であるか否か、アクセルペダルを踏み混んでいるか否か、旋回しているか否かといった運転状況を表すものがある。また、１つの運転シーンに複数のシーンラベルが付与される場合もある。

【0067】

このように関連文献に開示の技術を援用することによって、抽出すべき種々のイベントのそれぞれに対して予め定義を与えることなく、自動的にイベントを抽出することができる。例えば高速走行、急ブレーキ操作、車線変更などのイベントの発生（及び継続）を検出する。

【0068】

もちろん、イベント抽出部１０７は、車両情報収集部１０３が収集及び算出した運転挙動データや走行環境情報収集部１０４が収集した走行環境情報から、走行に関する種々のイベントを抽出してもよい。運転挙動データから抽出されるイベントとは、例えば、急ブレーキや、急加速、急ハンドルといった操作などである。走行環境情報から抽出されるイベントとは、例えば所定のＰＯＩの通過や、目的地への到着、高速道路への進入、高速道路から一般道路への復帰、先行車両の接近などが該当する。

【0069】

もちろん、イベント抽出部１０７は、他の方法によってイベントを抽出してもよい。例えば、車載カメラ２０が撮影した画像に対して周知の画像認識処理を実施して、所定の検出対象とするオブジェクトを検出した場合に、そのオブジェクトに対応するイベントが発生したと判定してもよい。

【0070】

ところで、イベント抽出部１０７が抽出するイベントの種類は大きくは、運転シーンの分割に寄与するイベントと、運転挙動データに含まれる要素のうち、運転シーンの設定には寄与しない要素に起因するイベントと、運転挙動データには表れない情報に由来するイベントの３つに分類される。

【0071】

運転挙動データに含まれる要素のうち、運転シーンの設定には寄与しない要素に起因するイベントとは、例えば、仮にウインカースイッチの操作情報が運転シーンの分割に用いられない場合には、ウインカースイッチの操作が該当する。運転挙動データに含まれない情報に由来するイベントとは、例えば、走行環境情報に由来するイベントであって、例えば前述の高速道路への進入／退出などが該当する。

【0072】

図４は、イベント抽出部１０７が抽出するイベントと、シーングループとの関係を示している。時刻Ｔ１０は、車両が高速道路の入口の通過というイベントを検出した時刻を表しており、Ｔ１１から時刻Ｔ１２までは、車両が高速走行状態となっているというイベントを検出している時間帯を表している。また、時刻Ｔ１３から時刻Ｔ１４までは、車線変更中であるといったイベントを検出している時間帯を表している。

【0073】

高速道路への進入といった走行環境情報に起因するイベントは、運転シーン離散化部１０６による運転シーンの設定には、直接的には影響しない。したがって、シーングループの途中において生じたイベントとして処理される。

【0074】

車両が高速走行している状態は、走行速度などの、運転シーンの設定に寄与する運転挙動データに表れるとともに、高速走行の前後には加速や減速といった、類似性の薄いトピック割合を発現させる運転操作が存在するため、１つのシーングループが１つのイベントとして抽出される。なお、高速走行中に生じた別のイベントによって、１つの高速走行状態が複数のシーングループに分割されることもある。高速走行しているといったイベントは、運転シーンのトピック割合を解析することで検出されても良いし、走行速度などに対して所定の条件を設定することで抽出されても良い。

【0075】

また、本実施形態においては一例としてウインカースイッチの操作といった情報は、運転シーンの設定には用いない態様としている。運転挙動データに含まれる要素であっても、運転シーンの離散化に直接的には影響しない要素に起因するイベントは、ＰＯＩの通過などと同様に、シーングループの途中において生じたイベントとして処理される。

【0076】

以上のようにしてイベント抽出部１０７が抽出した種々のイベントについての情報（イベント情報）は、イベント情報として、ＢＧＭ生成部１０９、テキスト生成部１１０等に提供される。イベント情報は、イベントの内容（種類）や、そのイベントが発生（及び終了）した時刻を示す時間情報、そのイベントが含まれる運転シーンを表す情報などが該当する。もちろん、イベント情報がこれらのすべての情報を備えている必要はない。イベント情報が備える情報は適宜設計されればよい。

【0077】

［速度テンポ設定部］
速度テンポ設定部１０８は、図５に示す３つのステップＳ１〜Ｓ３を実施することで、トリップ中に撮影された一連のドライブ映像のうち、各運転シーンに対応する区間の再生速度を設定するとともに、その運転シーンに対応する区間を再生している間において再生するＢＧＭのテンポを決定する。

【0078】

図５に示すフローは、所定のタイミングで実施されればよく、例えばユーザから再生用データの作成を指示する操作を受け付けた時や、トリップの終了時、シーングループの切れ目を検出した時等に実施されればよい。なお、以降において、トリップ中に撮影された一連のドライブ映像のうち、或る運転シーンに対応する区間のことを、運転シーンに対応する映像区間とも称する。この速度テンポ設定部１０８が請求項に記載の再生速度設定部に相当する。

【0079】

以下、各ステップの内容を説明する。まず、ステップＳ１において速度テンポ設定部１０８は、運転シーンが継続した時間の長さに応じて、その運転シーンに対応する映像区間の再生速度を仮設定する。

【0080】

継続時間が長い運転シーンに対応する映像区間は、略同一な運転状況が継続している状況において撮影されているため、運転状況についての単位時間当りの情報量が相対的に少ない。言い換えれば、継続時間が短い運転シーンに対応する映像区間は、継続時間が長い運転シーンに対応する映像区間よりも、運転状況に関する単位時間当りの情報量が多いといえる。

【0081】

そこで、速度テンポ設定部１０８は、継続時間が長い運転シーンに対応する映像区間の再生速度を、継続時間が短い運転シーンに対応する区間の再生速度よりも速くなるように、それぞれの区間の再生速度を算出する。継続時間が長い運転シーンに対応する映像区間ほど速い再生速度とすることで、運転シーン１つ当りの再生時間を均一化する。

【0082】

例えば、速度テンポ設定部１０８は、運転シーンの長さに所定の比例定数を乗じることにより得た乗算結果を、その運転シーンに対応する映像区間の再生速度として定める。ただし、算出された再生速度が、所定の最大速度（例えば１０倍速）を超えた場合には、その運転シーンの再生速度を最大速度に制限する。再生速度を過度に速めてしまうと、それを視聴した場合に、内容の理解が困難になる可能性が生じるためである。

【0083】

図６は、運転シーンの継続時間と、運転シーンに対応する映像区間の再生時間と、運転シーン毎に設定した再生速度との関係を示す概念図である。図６に示すように、速度テンポ設定部１０８は、継続時間が長い運転シーンに対応する映像区間ほど速い再生速度とすることによって、その区間の再生時間を短縮する。

【0084】

また、速度テンポ設定部１０８は、運転シーンの切り替わり部分については、再生速度を予め規定した速度（例えば２倍速）まで落とす。これによりシーンの遷移を強調する。運転シーンの切り替わり部分とは、運転シーンの切れ目の前後所定時間（例えば０．５秒）を指す。

【0085】

さらに、再生速度が瞬間的に変化させると、視聴者は非常に見難く感じたり、違和感を覚えたりする。そのため、速度テンポ設定部１０８は、急激な再生速度の変化を抑制すべく、再生速度を変更する場合には、徐々に変化するように再生速度を算出する。

【0086】

なお、本実施形態では、各運転シーンに対応するドライブ映像の再生速度の倍率は、基本的には所定の規定値（例えば２倍）以上とする一方、運転シーンの継続時間が所定の閾値以下となっている場合には、その運転シーンの再生速度の倍率は規定値以下の値（例えば１倍）とする。

【0087】

これは、非常に短い運転シーンのドライブ映像を、さらに短い時間で再生してしまうと、ユーザによる内容の理解が困難になってしまうためである。また、運転シーンの継続時間が短いということは、運転状況が細かく変化していることを示唆しており、重要な情報を含んでいる可能性が高い。そのような観点からも、運転シーンの継続時間が所定の閾値以下となっている場合には、その運転シーンの再生速度の倍率を規定値以下の値（ここでは１倍速）とすることが好ましい。

【0088】

なお、他の態様として、種々の運転シーンのうち、特に強調するべき運転シーンに対しては、再生速度の倍率を規定値以下の値（例えば１倍や、０．５倍）に落とすことで、強調してもよい。特に強調するべき運転シーンとする条件は適宜設計されればよく、例えば、イベント抽出部１０７で急ブレーキなどの危険な運転操作に対応するイベントが抽出された運転シーンとすればよい。これにより、トリップ中に撮影されたドライブ映像のうち、特にユーザが確認すべき部分をダイジェスト映像において強調して提示することができる。

【0089】

以上の処理が完了すると速度テンポ設定部１０８は、ダイジェスト映像において各運転シーンに対応する映像区間が開始される位置（時刻情報）を算出する。ダイジェスト映像における各運転シーンに対応する区間の再生時間は、その運転シーンに対してステップＳ１で仮設定した再生速度と、その運転シーンの継続時間とから算出すればよい。そして、各運転シーンに対応する区間ごとの再生時間を積み重ねることで、ダイジェスト映像における各運転シーンに対応する映像区間が開始される位置（時刻情報）を算出する。算出した運転シーン毎のダイジェスト映像における開始位置は、シーン情報に追加されればよい。

【0090】

このようにしてダイジェスト映像における運転シーン毎の開始位置が特定されることによって、ダイジェスト映像におけるシーングループが切り替わる時点を特定できるようになる。

【0091】

次のステップＳ２では、速度テンポ設定部１０８は、運転シーン離散化部１０６が生成したシーン情報と、車両情報収集部１０３が収集した運転挙動データに基づいて、ダイジェスト映像に付与するＢＧＭのテンポを変化させる時点（以降、テンポ変化点）を設定する。また、設定したテンポ変化点の間におけるＢＧＭのテンポとして採用しうる値の範囲（以降、テンポ範囲）を決定する。

【0092】

まず、速度テンポ設定部１０８は、運転シーン離散化部１０６が生成したシーン情報に基づいて、ダイジェスト映像においてシーングループが切り替わる時点を特定し、シーングループの切り替わり点をテンポ変化点に設定する。これにより、１つのシーングループが継続している間のＢＧＭのテンポは一定となる。

【0093】

次に、速度テンポ設定部１０８は、運転挙動データに基づいて、あるテンポ変化点から次のテンポ変化点までの間におけるテンポ範囲を決定する。ここでは、テンポ変化点間における車両の走行速度の平均値（つまり平均車速）に応じて、あるテンポ変化点から次のテンポ変化点までの間におけるテンポ範囲を決定することとする。なお、テンポ変化点とは、シーングループの切り替わり点であるため、あるテンポ変化点から次のテンポ変化点までの時間帯とは、或る１つのシーングループが継続している時間帯を意味している。

【0094】

具体的に、速度テンポ設定部１０８は、シーン情報と、走行速度の時系列データに基づいてシーングループ毎の平均車速を算出する。図７の走行速度の欄に示すグラフにおいて、実線はシーングループ毎の走行速度の時間変化を表しており、一点破線は、そのシーングループにおける平均車速を表している。平均車速の算出方法は周知の方法を援用すれば良い。

【0095】

そして、速度テンポ設定部１０８は、以上で求めたシーングループ毎の平均車速に基づいて、そのシーングループが継続している時間帯におけるテンポ範囲を決定する。例えば速度テンポ設定部１０８は、図８に示すような、平均車速とテンポ範囲との対応関係を定義したデータを参照し、シーングループの平均車速に対応するテンポ範囲を、そのシーングループに対応するテンポ範囲として採用する。

【0096】

なお、平均車速とテンポ範囲との対応関係を定義したデータは、平均車速が速いほど、速いテンポからなる範囲となるように設定されているものとする。これによって、速度テンポ設定部１０８は、シーングループの平均車速が速いほど、相対的に速いテンポからなる範囲を採用することとなる。例えば、平均車速が２０ｋｍ／ｈのシーングループには、そのテンポ範囲を６０〜９０ＢＰＭに設定し、平均車速が８０ｋｍ／ｈのシーングループには、そのテンポ範囲を１５０〜１８０ＢＰＭに設定する。

【0097】

なお、図８では平均車速とテンポ範囲との対応関係を示すデータをテーブル形式で表しているが、平均車速とテンポ範囲との対応関係は、その他、マップや関数によって表されていてもよい。

【0098】

そして、ステップＳ３では、ステップＳ１で仮設定した運転シーン毎の再生速度と、ステップＳ２で設定したシーングループ毎のテンポ範囲に基づいて、シーングループ毎のＢＧＭのテンポの値を決定するとともに、運転シーン毎の再生速度を必要に応じて調整する。

【0099】

具体的には、速度テンポ設定部１０８は、図９に示すように、テンポの変化点（シーングループの切り替わり点）が楽曲の切れ目となるように、テンポの値を、シーングループ毎に設定されたテンポ範囲内において調整する。ここでは、楽曲における４小節を１つのまとまり（１つのフレーズ）として扱い、ちょうど１つのフレーズが終わる瞬間を楽曲の切れ目とする。つまり、或るシーングループから別のシーングループに移った時には新しいフレーズが始まるとともに、各シーングループ内には、４小節からなる１つのフレーズが整数個含まれるようにテンポの値を設定する。

【0100】

一例として、速度テンポ設定部１０８は、次のように各シーングループにおけるテンポの値を決定すればよい。速度テンポ設定部１０８は、或るシーングループに対するテンポの値を決定する場合、例えばテンポ範囲の中央値を初期値として、そのシーングループの再生時間に対して適切なフレーズ数を算出する。

【0101】

そして、シーングループの再生時間に対して、算出されたフレーズ数に応じたＢＧＭの演奏時間が不足する場合には、テンポ値を中央値よりも遅くすることで、シーングループの切り替わり点が楽曲の切れ目となるように調整する。また、シーングループの再生時間に対して、算出されたフレーズ数に応じたＢＧＭの演奏時間が冗長となる場合には、テンポの値を中央値よりも速くすることで、シーングループの切り替わり点が楽曲の切れ目となるように調整する。なお、テンポを速くすれば、１フレーズを再生するために要する時間は短くなり、テンポを遅くすれば、１フレーズを再生するために要する時間は長くなる。

【0102】

また、速度テンポ設定部１０８は、上述した処理の結果、シーングループの切り替わり点と楽曲の切れ目とを一致させるためのテンポ値が、ステップＳ２で設定されたテンポ範囲を超えてしまう場合には、そのシーングループに対応するテンポ値を、ステップＳ２で設定されたテンポ範囲の限界値に設定する。そして、そのシーングループに属する運転シーン毎の再生速度を調整することで、シーングループの切り替わり点と、楽曲の切れ目とを一致させる。

【0103】

速度テンポ設定部１０８によって運転シーン毎の再生速度の調整が行われた場合には、その調整された再生速度を、その運転シーンの再生速度として決定する。また、再生速度の調整が行われなかった運転シーンについては、ステップＳ１で仮設定された再生速度を、その運転シーンの再生速度として採用する。なお、速度テンポ設定部１０８によって運転シーン毎の再生速度の調整が行われた場合には、各運転シーンのシーン情報に含まれているダイジェスト映像における開始位置を更新する。

【0104】

運転シーン毎に決定された再生速度の情報は、ＢＧＭ生成部１０９、及びドライブ映像要約部１１１に出力される。また、速度テンポ設定部１０８によって決定されたテンポ変化点、及びテンポ変化点後において設定されるべきテンポ値は、テンポ情報としてＢＧＭ生成部１０９に出力される。

【0105】

なお、ここでは運転シーン毎の再生速度を設定する処理と、シーングループ毎のＢＧＭのテンポを設定する処理を、１つの機能ブロック（つまり速度テンポ設定部１０８）が実施する態様とするがこれに限らない。例えば、速度テンポ設定部１０８は、運転シーン毎の再生速度を設定する処理を担当する再生速度設定部と、ＢＧＭのテンポの変化点や変化点後のテンポを決定する処理を担当するテンポ決定部といった、より細かい機能ブロックに分離していてもよい。

【0106】

［ＢＧＭ生成部］
ＢＧＭ生成部１０９は、速度テンポ設定部で設定したテンポ情報と、イベント抽出部１０７が抽出したイベント情報から、ダイジェスト映像に付与するＢＧＭのデータを生成する。具体的には、ＢＧＭとして予め準備している楽曲のＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）データに、テンポ変化点のタイミングでテンポチェンジを入れる。テンポチェンジの結果、設定されるテンポの値は、速度テンポ設定部１０８が設定した値である。

【0107】

また、ＢＧＭ生成部１０９は、イベント抽出部１０７が抽出したイベント情報に基づき、イベントが発生したタイミングで効果音をＢＧＭに付与したり、イベントが発生している時間帯に対応する小節にアレンジを入れる。

【0108】

例えば、図１０に示すように、急ブレーキや所定のＰＯＩ通過、高速道路のゲートの通過などの、発生時間が相対的に短いイベントに対しては、ＢＧＭに効果音を付与することで、イベントの発生を表現する。ＢＧＭに付与する効果音として複数種類用意されている場合には、イベントの種類に応じて異なる種類の効果音を付与してもよい。

【0109】

また、高速走行や車線変更など、イベントの継続時間が相対的に長いと想定されるものは、ＢＧＭにアレンジを加える。アレンジの種類としては、ドラムのパターンの変更や、演奏に用いる楽器の種類の変更、曲調の変更などが該当する。

【0110】

なお、ＢＧＭ生成部１０９が、イベントに対応する効果音を付与したり、アレンジを施すタイミングは、ダイジェスト映像においてそのイベントが表示されている時間帯とする。ダイジェスト映像における各イベントの発生及び終了のタイミングは、各運転シーンの継続時間、各運転シーンの再生速度、イベント情報とから特定されればよい。以上のようにして生成されたＢＧＭデータは、再生用データ生成部１１２に出力される。このＢＧＭ生成部１０９が請求項に記載の伝達用データ生成部の一例に相当する。また、ＢＧＭのデータが伝達用データの一例に相当する。

【0111】

［テキスト生成部］
テキスト生成部１１０は、イベント抽出部１０７から提供されるイベント情報に基づいて、イベントの内容を示すテキストを生成する。例えば、イベント抽出部１０７によって、高速道路の料金所を通過するためにアクセルペダルの踏込を緩めたといったイベントが抽出されている場合には、その旨を示すテキストデータを生成する。なお、テキスト生成部１１０は、全てのイベントに対してテキストデータを生成してもよいし、予め定められた種別のイベントに対してのみ、テキストデータを生成してもよい。

【0112】

テキスト生成部１１０によって生成されたテキストデータは、そのテキストを表示すべきタイミングを示す情報が付加されて、再生用データ生成部１１２に出力される。テキストを表示すべきタイミングとは、そのテキストに対応するイベントがダイジェスト映像において表示されている時間帯である。ダイジェスト映像における各イベントの発生及び終了のタイミングは、各運転シーンの継続時間、各運転シーンの再生速度、イベント情報とから特定されればよい。

【0113】

［ドライブ映像要約部］
ドライブ映像要約部１１１は、各運転シーンに対応するドライブ映像のデータを、速度テンポ設定部１０８によって設定された運転シーン毎の再生速度に基づいて間引くことにより、ドライブ映像を要約した動画（ダイジェスト映像とする）を作成する。元の映像を所定の再生速度で再生した映像とする動画編集技術は周知であるため、ここではその詳細な説明は省略する。作成したダイジェスト映像は、再生用データ生成部１１２に出力する。

【0114】

なお、ドライブ映像ＤＢ１０２に経時的に連続して記憶されるドライブ映像と、車両情報収集部１０３が取得した運転挙動データとは、同じ（同期した）時間情報を用いて、それらが得られた時刻が記録されている。従って、ドライブ映像要約部１１１は、トリップ中に撮影された一連のドライブ映像のうち、各運転シーンに対応する映像区間を特定することができる。それにより、各運転シーンに対応する映像区間をその運転シーンに設定された再生速度で再生した映像に編集することができる。

【0115】

［再生用データ生成部］
再生用データ生成部１１２は、ドライブ映像要約部１１１が生成したダイジェスト映像に、ＢＧＭ生成部１０９が生成したＢＧＭデータと、テキスト生成部１１０が生成したテキストデータを合成することで、再生用データを生成する。

【0116】

ダイジェスト映像へのテキストデータの合成とは、種々のイベントに対応するテキストを、そのイベントが表示されている時間帯に、キャプションとして表示されるように映像データ内に埋め込む処理を指す。映像にキャプションを追加する技術もまた、周知の方法を援用すれば良い。

【0117】

なお、一定時間当りに表示させるテキストの数の上限や、１つのテキストの表示を継続する時間の下限を設定しておき、再生用データ生成部１１２は、相対的に重要なイベントに対応するテキストが優先して表示するように、ダイジェスト映像に付加するテキストを取捨選択する態様としてもよい。イベントの重要度は、予めイベントの内容と重要度の対応関係を示すデータを用意しておき、そのデータに基づいて決定されれば良い。

【0118】

また、上述したようにして生成された再生用データにおいて、速度テンポ設定部１０８での再生速度及びテンポの調整により、ダイジェスト映像におけるシーングループの移り変わりとＢＧＭにおけるテンポチェンジは同期している。ＢＧＭ中に埋め込まれた効果音や、アレンジ処理が施された区間の時間帯も、ダイジェスト映像においてイベントが発生している場面と同期している。

【0119】

［本実施形態による効果］
以上の処理によって、ダイジェスト映像生成装置１００が生成した再生用データは、例えば、ダイジェスト映像再生装置２００に提供されて再生される。つまり、ダイジェスト映像再生装置２００は、再生用データに基づいて、ダイジェスト映像をディスプレイ５０に表示するとともに、ダイジェスト映像と同期したＢＧＭをスピーカ６０から出力する。

【0120】

ダイジェスト映像とともに出力されるＢＧＭのテンポは、ダイジェスト映像におけるその場面の平均車速を表している。具体的には、平均車速を高い場面ほどＢＧＭのテンポは速く、平均車速が遅い場面ほど、ＢＧＭのテンポは遅くなる。

【0121】

一般的に、ドライブ映像の各場面の再生速度を変えることでダイジェスト映像を作成した場合、ダイジェスト映像自体からは、その場面の走行速度を把握することが困難になってしまう。これは、ダイジェスト映像からユーザが感じる車両の速度感が、実際の走行速度によるものなのか、再生速度によるものなのかを、ユーザが識別することが困難となるからである。

【0122】

そのような課題に対し、比較構成として、ダイジェスト映像に、車両の走行速度をテキストやメータを模した画像（メータ画像とする）などで逐次表示することで、その場面における車両の走行速度をユーザに伝える構成も考えられる。

【0123】

しかしながら、走行速度を表すテキストやメータ画像をダイジェスト映像に重畳表示すると、ユーザの注視点が増え、ディスプレイ５０に表示される情報が過多となってしまう恐れがある。特に、走行速度は連続的に変化する情報なので、走行速度を表すテキストやメータ画像は常時表示されることになる。また、走行速度は連続的に変化する情報であるとともに、視聴者は動的に変化する部分を注視してしまう傾向があるため、走行速度を表すテキストやメータ画像を表示することで、ダイジェスト映像そのものが注視されにくくなる恐れがある。

【0124】

一方、本実施形態の構成によれば、車両の走行速度はＢＧＭのテンポとして表現されている。したがって、画面内への注視点を増やすことなく、ユーザに車両の走行速度といった、ダイジェスト映像だけでは伝えることが困難な情報を伝えることができる。車両の走行速度が請求項に記載の走行関連情報の一例に相当する。

【0125】

また、車両の加速度や減速度も、ダイジェスト映像においては、再生速度の変化に起因するものと混ざってしまい、分かりにくくなってしまう。本実施形態では、平均車速によってＢＧＭのテンポを決定しているため、車両の走行速度の変化は、テンポの変化となって表現される。

【0126】

したがって、ユーザはＢＧＭのテンポが変化したことから車両が加速したり減速したことをユーザに伝えることができる。具体的には、テンポが遅くなったことからユーザは、車両の走行速度が遅くなったことを直感的に認識でき、テンポが速くなったことからユーザは、車両の走行速度が速くなったことを直感的に認識できる。したがって、加速度や減速度もまた、請求項に記載の走行関連情報の一例に相当する。

【0127】

また、急な加速や減速といった瞬間的な（比較的短時間で終了する）イベントが生じた場合には、効果音が出力されるため、ユーザは効果音を聴くことで、何かイベントが発生したことを認識することができる。特に、効果音のパターン（メロディや音量等）を、イベントの内容に応じて使い分けることでユーザは、出力された効果音の種類から、その場面において発生したイベントの内容を認識することができる。

【0128】

さらに、高速走行や車線変更といった継続的なイベントが発生している間は、アレンジしたＢＧＭが音声出力される。したがって、ユーザは、ＢＧＭにアレンジが加わったことから、継続的なイベントが発生していることを認識することができる。また、アレンジが解除されたことから、そのイベントが終了したことも認識することができる。

【0129】

なお、効果音やアレンジの付与は、ＭＩＤＩデータにおける小節単位で実施するため、ユーザに違和感を与える恐れを低減することができる。特に、急な加減速といった瞬間的なイベントに対して、仮にイベント発生中のみに効果音を付与すると、発音時間が短いため、ユーザがその効果音を聞き逃す恐れがある。一方、本実施形態では小節単位で効果音を付与するため、ユーザによってイベントの発生を通知する効果音が聞き逃される恐れを低減することができる。

【0130】

また、以上の構成によれば、ＢＧＭのテンポが切り替わるタイミングと、運転シーン（及びシーングループ）が切り替わるタイミングとを同期させているため、ユーザがＢＧＭのテンポが切り替わったことから、運転シーン及びシーングループが切り替わったことを認識できる。運転シーン及びシーングループの切り替わりとは、運転状況の変化に相当する。つまり、上述した構成によれば、ユーザは、ＢＧＭのテンポの変化から運転状況の変化を認識することができる。

【0131】

また、以上の構成によれば、走行速度や加減速といった車両の挙動を音声情報によってユーザに伝えることができるため、ディスプレイ５０に表示する情報量を抑制することができる。それによって、画面内の空いたスペースに別の情報を表示できるようになる。

【0132】

例えば、上述したようにダイジェスト映像に、その再生されている場面を説明するテキストをキャプションとして表示しても、ユーザはその内容を認識しやすい。

【0133】

以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の変形例も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。

【0134】

＜変形例１＞
以上では、種々のイベントを効果音や、ＢＧＭのアレンジによってユーザに伝える態様を例示したが、これに限らない。種々のイベントを、バイブレータ７０を振動させることでユーザに伝えても良い。また、イベントの種類に応じて、バイブレータ７０の振動パターン（振動の強さや、振動の間隔など）を変更してもよい。

【0135】

バイブレータ７０を振動させることで、所定の情報をユーザに伝える態様とする場合、ダイジェスト映像生成装置１００は、所定のタイミング、及び所定の振動パターンでバイブレータ７０を振動させるように指示する振動指示データを生成する機能（振動指示情報生成部とする）を備える。

【0136】

振動指示データによってバイブレータ７０を振動させるタイミングとは、ＢＧＭ生成部１０９がＢＧＭに効果音やアレンジを加えるタイミングと同様に、ダイジェスト映像において所定のイベントに対応する場面が表示されるタイミングである。

【0137】

そして、再生用データ生成部１１２は、ダイジェスト映像等のデータと、振動指示生成部が生成した振動指示情報とをパッケージ化したデータを、再生用データとして生成すればよい。

【0138】

このような態様によれば、ユーザは、バイブレータ７０の振動を感じることで、イベントの発生を認識することができるとともに、その振動パターンからイベントの内容を認識できるようになる。つまり、この変形例１で示した態様によっても、ダイジェスト映像の各場面における車両の走行に関連する情報をユーザに伝えることができる。なお、振動指示データが請求項に記載の伝達用データに相当し、種々のイベント情報が、請求項に記載の走行関連情報の一例に相当する。

【0139】

なお、上述した実施形態とこの変形例１とを組み合わせても良い。つまり、バイブレータ７０の振動によるイベントの通知と、効果音や、ＢＧＭのアレンジによるイベントの通知とを併用したり、イベントの種類に応じて使い分けたりしてもよい。そのような態様によれば、ユーザの触覚と聴覚の両方を用いて、ダイジェスト映像の各場面における、車両の走行に関連する種々の情報をユーザに伝えることができる。

【0140】

例えば、車両挙動に関する瞬間的なイベントについては、効果音の付与及びバイブレータ７０の振動の両方を用いて表現し、高速走行といった継続的なイベントについては、音声情報（例えばＢＧＭのアレンジ）のみによって表現してもよい。

【0141】

＜変形例２＞
なお、ダイジェスト映像再生装置２００が車両に搭載されている態様とする場合には、車両に搭載されている車速メータやエンジン回転速度メータなどの指示値を、再生中のダイジェスト映像の場面と連動した値となるように制御してもよい。

【0142】

そのような場合、ダイジェスト映像生成装置１００は、種々のメータの指針をダイジェスト映像の場面と同期して動かすための制御データを生成する機能（制御データ生成部とする）を備える態様とすればよい。そして、再生用データ生成部１１２は、ダイジェスト映像等のデータと、制御データ生成部が生成した制御データとをパッケージ化したデータを、再生用データとして生成すればよい。

【0143】

また、ＢＧＭ生成部１０９は、ダイジェスト映像に対応する車両の挙動を表現する情報として、ダイジェスト映像に応じたエンジン音をスピーカ６０から出力するための音声データを生成してもよい。その場合、再生用データ生成部１１２は、ダイジェスト映像にエンジン音の音声データを合成した再生用データを生成すればよい。

【0144】

＜変形例３＞
ダイジェスト映像の各場面における走行関連情報を、ＢＧＭ等の音声情報や、振動などの触覚情報で表現するとともに、さらに、走行関連情報を示すテキストや画像をダイジェスト映像に重畳表示させる態様としてもよい。例えば、走行速度や加速度などのパラメータの時間変化を、メータ画像やグラフ、バーの伸縮等で表示してもよい。

【0145】

そのような場合であっても、ユーザは走行関連情報を聴覚や触覚を介して認識できるので、ディスプレイ５０に表示される走行関連情報を注視する恐れを低減でき、ダイジェスト映像に集中することができる。

【0146】

また、ユーザは必要に応じて、画面内において走行関連情報を表すテキストや画像が表示されている領域に視線を向けることで、その場面におけるより具体的な走行関連情報を、確認することができる。つまり、ユーザが種々の走行関連情報を認識するプロセスの多様性を向上させることができる。

【0147】

＜変形例４＞
以上では、ダイジェスト映像再生装置２００が車両に搭載されている態様としたが、これに限らない。スマートフォンなどの携帯端末などを、ダイジェスト映像再生装置２００として採用してもよい。その場合、ダイジェスト映像生成装置１００は、生成した再生用データを、所定の記憶媒体に保存する保存機能や、外部出力したりするための外部出力機能を備えていれば良い。

【0148】

＜変形例５＞
以上では、車両情報収集部１０３が運転挙動データを車両内ネットワーク１０を通じて車載センサ３０から取得する態様としたが、これに限らない。スマートフォンなどの携帯端末などを車両情報収集部１０３として採用しても良い。その場合、スマートフォンなどの携帯端末に搭載された加速度センサ等を車載センサ３０に相当する信号源として用い、アクセルペダルの操作量、ブレーキペダルの操作量といった操作量を直接取得するのではなく、携帯端末に搭載された加速度センサの値から車両挙動データを取得すればよい。

【0149】

また、走行環境情報収集部１０４も、ナビＥＣＵ４０か種々の情報を取得するのではなく、携帯端末に搭載されているＧＰＳ受信機等の出力に基づいて携帯端末自身が収集しても良い。これによって、車両内ネットワークに接続することなく、携帯端末のみを用いてダイジェスト映像を生成することができる。

【0150】

＜変形例６＞
ＢＧＭを生成するための元となるデータは、ＭＩＤＩデータに限らず、編曲可能な電子データであればよい。また、ＢＧＭとして、ユーザによって設定された音楽を採用してもよい。さらには、複数種類の楽曲の電子データを用意しておき、ＢＧＭ生成部１０９が運転状況に応じた楽曲の電子データを、ＢＧＭの元となるデータとして自動的に採用する態様としてもよい。

【0151】

ダイジェスト映像に付与するＢＧＭは、１種類の楽曲データに基づいて生成されるのではなく、複数種類の楽曲を併用して生成されてもよい。例えば、ダイジェスト映像における車両の走行速度に応じて、ＢＧＭとしての楽曲の種類を変更してもよい。そのような態様によれば、楽曲の種類によって走行速度の大きさが表現されるとともに、また、楽曲の種類の変更によって走行速度の変化が表現される。

【0152】

＜変形例７＞
また、ＢＧＭ生成部１０９は、ＢＧＭに効果音を付与するのではなく、音量の大小を変更したり、ノイズを付与することで、瞬間的なイベントを表現したりしてもよい。さらに、ＢＧＭ生成部１０９は、ＢＧＭの音域（周波数）を上げ下げすることで、車両の走行速度を表現してもよい。

【0153】

＜変形例８＞
また、以上では、請求項に記載の映像撮影装置として、光学式のカメラである車載カメラ２０を採用した態様を例示したがこれに限らない。映像撮影装置は、例えばレーザレーダを用いて物体までの距離を映像として撮影する装置（レーザレーダ撮像装置とする）を用いても良い。このような態様においても、車載カメラを用いる場合と同様に、レーザレーダ撮像装置によって得られたドライブ映像から車両情報を用いてダイジェスト映像を生成し、車両情報や走行環境情報を反映したＢＧＭやテキストを付与することができる。

【符号の説明】

【0154】

１００ ダイジェスト映像生成装置、１０１ ドライブ映像取得部（映像取得部）、１０２ ドライブ映像ＤＢ（映像記憶部）、１０３ 車両情報収集部（車両情報取得部）、１０４ 走行環境情報収集部、１０５ 運転シーンデータベース、１０６ 運転シーン離散化部（シーン分割部）、１０７ イベント抽出部（イベント検出部）、１０８ 速度テンポ設定部（再生速度設定部）、１０９ ＢＧＭ生成部、１１０ テキスト生成部、１１１ ドライブ映像要約部、１１２ 再生用データ生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】