特開 2023-179236 映像記録システム、ナビ機能付携帯端末及び車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023179236

(43)【公開日】2023-12-19

(54)【発明の名称】映像記録システム、ナビ機能付携帯端末及び車両

(51)【国際特許分類】

   G07C 5/00 20060101AFI20231212BHJP

   G08G 1/00 20060101ALI20231212BHJP

【ＦＩ】

G07C5/00 Z

G08G1/00 D

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2022092429

(22)【出願日】2022-06-07

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】周 中智

【テーマコード（参考）】

3E138

5H181

【Ｆターム（参考）】

3E138AA07

3E138MA01

3E138MB08

3E138MB09

3E138MB10

3E138MC17

3E138MD05

3E138ME04

5H181AA01

5H181BB04

5H181CC04

5H181CC11

5H181FF05

5H181FF10

5H181FF22

5H181FF32

(57)【要約】

【課題】思い出イベントの発生が予測できない場合でも思い出となる映像を確実に記録する。
【解決手段】車室内又は車外の映像を撮像する車載カメラ１１と、車載カメラ１１と接続され、位置情報を取得してナビゲーションを行う携帯端末２０と、を備える映像記録システム１００であって、携帯端末２０は、第１記憶部４１と、第２記憶部４２と、マイクロホン２３と、カメラ２４と、備え、車室内の音又は画像に基づいて思い出イベントの発生を検出し、思い出イベントの発生を検出した際に、思い出イベントの発生を検出した時刻の所定時間の映像データと位置情報とを第１、第２記憶部４１、４２から読み出し、第３記憶部４３に格納する。
【選択図】図２

【特許請求の範囲】

【請求項1】

車室内又は車外のいずれか一方又は両方の映像を撮像する撮像装置と、
前記撮像装置と接続され、位置情報を取得してナビゲーションを行う携帯端末と、を備える映像記録システムであって、
前記携帯端末は、前記撮像装置が撮像した映像データを格納する第１記憶部と、取得した位置情報を格納する第２記憶部と、マイクロホン又はカメラのいずれか一方又は両方と、を備え、
車室内の音又は画像に基づいて思い出イベントの発生を検出し、
前記思い出イベントの発生を検出した際に、前記思い出イベントの発生を検出した時刻の前後の所定時間の映像データを前記第１記憶部から読み出すとともに、前記所定時間の位置情報を前記第２記憶部から読み出し、読み出した映像データと読み出した位置情報とを関連づけて第３記憶部に格納すること、
を特徴とする映像記録システム。

【請求項2】

請求項１に記載の映像記録システムであって、
前記携帯端末は、前記マイクロホンを備え、前記マイクロホンで取得した音データから音声信号を抽出し、
抽出した前記音声信号に思い出を形成する会話音が含まれている場合には前記思い出イベントの発生を検出すること、
を特徴とする映像記録システム。

【請求項3】

請求項２に記載の映像記録システムであって、
前記携帯端末は、前記音声信号を格納する第４記憶部を含み、
前記思い出イベントの発生を検出した際に、前記第４記憶部から前記思い出イベントの発生を検出した時刻より前の前記音声信号を読み出して、前記会話音が含まれる一連の会話の会話開始時刻を抽出し、
前記思い出イベントの発生を検出した時刻より後のデータ格納終了時刻を設定し、
前記会話開始時刻から前記データ格納終了時刻までの映像データを前記第１記憶部から読み出すとともに、前記会話開始時刻から前記データ格納終了時刻までの位置情報を前記第２記憶部から読み出し、読み出した映像データと読み出した位置情報とを関連づけて前記第３記憶部に格納すること、
を特徴とする映像記録システム。

【請求項4】

請求項２に記載の映像記録システムであって、
前記携帯端末は、前記音声信号を格納する第４記憶部を含み、
前記思い出イベントの発生を検出した際に、前記第４記憶部から前記思い出イベントの発生を検出した時刻より前の前記音声信号を読み出して、前記会話音が含まれる一連の会話の会話開始時刻を抽出し、
抽出した前記音声信号に基づいて一連の会話の終了する会話終了時刻を検出し、
前記会話開始時刻から前記会話終了時刻までの映像データを前記第１記憶部から読み出すとともに、前記会話開始時刻から前記会話終了時刻までの位置情報を前記第２記憶部から読み出し、読み出した映像データと読み出した位置情報とを関連づけて前記第３記憶部に格納すること、
を特徴とする映像記録システム。

【請求項5】

請求項３又は４に記載の映像記録システムであって、
思い出を形成する前記会話音は、前記会話の中の笑い声であること、
を特徴とする映像記録システム。

【請求項6】

請求項１から４のいずれか１項に記載の映像記録システムであって、
前記携帯端末は、前記撮像装置で取得した映像データから乗員の顔画像を抽出し、抽出した顔画像が笑顔の場合には前記思い出イベントの発生を検出すること、
を特徴とする映像記録システム。

【請求項7】

請求項５に記載の映像記録システムであって、
前記携帯端末は、前記撮像装置で取得した映像データから乗員の顔画像を抽出し、抽出した顔画像が笑顔の場合には前記思い出イベントの発生を検出すること、
を特徴とする映像記録システム。

【請求項8】

請求項１から４のいずれか１項に記載の映像記録システムであって、
前記携帯端末は、前記カメラを備え、前記カメラで取得した画像中の乗員の顔画像を抽出し、抽出した顔画像が笑顔の場合には前記思い出イベントの発生を検出すること、
を特徴とする映像記録システム。

【請求項9】

請求項５に記載の映像記録システムであって
前記携帯端末は、前記カメラを備え、前記カメラで取得した画像中の乗員の顔画像を抽出し、抽出した顔画像が笑顔の場合には前記思い出イベントの発生を検出すること、
を特徴とする映像記録システム。

【請求項10】

車室内又は車外のいずれか一方又は両方の映像を撮像する撮像装置と接続され、位置情報を取得してナビゲーションを行うナビ機能付携帯端末であって、
前記撮像装置が撮像した映像データを格納する第１記憶部と、取得した位置情報を格納する第２記憶部と、マイクロホン又はカメラのいずれか一方又は両方と、を備え、
車室内の音又は画像に基づいて思い出イベントの発生を検出し、
前記思い出イベントの発生を検出した際に、前記思い出イベントの発生を検出した時刻の前後の所定時間の映像データを前記第１記憶部から読み出すとともに、前記所定時間の位置情報を前記第２記憶部から読み出し、読み出した映像データと読み出した位置情報とを関連づけて第３記憶部に格納すること、
を特徴とするナビ機能付携帯端末。

【請求項11】

請求項１０に記載のナビ機能付携帯端末であって、
前記マイクロホンを備え、前記マイクロホンで取得した音データから音声信号を抽出し、
抽出した前記音声信号に思い出を形成する会話音が含まれている場合には前記思い出イベントの発生を検出すること、
を特徴とするナビ機能付携帯端末。

【請求項12】

請求項１１に記載のナビ機能付携帯端末であって、
前記音声信号を格納する第４記憶部を含み、
前記思い出イベントの発生を検出した際に、前記第４記憶部から前記思い出イベントの発生を検出した時刻より前の前記音声信号を読み出して、前記会話音が含まれる一連の会話の会話開始時刻を抽出し、
前記思い出イベントの発生を検出した時刻より後のデータ格納終了時刻を設定し、
前記会話開始時刻から前記データ格納終了時刻までの映像データを前記第１記憶部から読み出すとともに、前記会話開始時刻から前記データ格納終了時刻までの位置情報を前記第２記憶部から読み出し、読み出した映像データと読み出した位置情報とを関連づけて前記第３記憶部に格納すること、
を特徴とするナビ機能付携帯端末。

【請求項13】

請求項１１に記載のナビ機能付携帯端末であって、
前記音声信号を格納する第４記憶部を含み、
前記思い出イベントの発生を検出した際に、前記第４記憶部から前記思い出イベントの発生を検出した時刻より前の前記音声信号を読み出して、前記会話音が含まれる一連の会話の会話開始時刻を抽出し、
抽出した前記音声信号に基づいて一連の会話の終了する会話終了時刻を検出し、
前記会話開始時刻から前記会話終了時刻までの映像データを前記第１記憶部から読み出すとともに、前記会話開始時刻から前記会話終了時刻までの位置情報を前記第２記憶部から読み出し、読み出した映像データと読み出した位置情報とを関連づけて前記第３記憶部に格納すること、
を特徴とするナビ機能付携帯端末。

【請求項14】

車室内又は車外のいずれか一方又は両方の映像を撮像する撮像装置と、
前記撮像装置と接続され、位置情報を取得してナビゲーションを行うナビゲーション装置と、を備える車両であって、
前記ナビゲーション装置は、前記撮像装置が撮像した映像データを格納する第１記憶部と、取得した位置情報を格納する第２記憶部と、マイクロホン又はカメラのいずれか一方又は両方と、を備え、
車室内の音又は画像に基づいて思い出イベントの発生を検出し、
前記思い出イベントの発生を検出した際に、前記思い出イベントの発生を検出した時刻の前後の所定時間の映像データを前記第１記憶部から読み出すとともに、前記所定時間の位置情報を前記第２記憶部から読み出し、読み出した映像データと読み出した位置情報とを関連づけて第３記憶部に格納すること、
を特徴とする車両。

【請求項15】

請求項１４に記載の車両であって、
前記ナビゲーション装置は、前記マイクロホンを備え、前記マイクロホンで取得した音データから音声信号を抽出し、
抽出した前記音声信号に思い出を形成する会話音が含まれている場合には前記思い出イベントの発生を検出すること、
を特徴とする車両。

【請求項16】

請求項１５に記載の車両であって、
前記ナビゲーション装置は、前記音声信号を格納する第４記憶部を含み、
前記思い出イベントの発生を検出した際に、前記第４記憶部から前記思い出イベントの発生を検出した時刻より前の前記音声信号を読み出して、前記会話音が含まれる一連の会話の会話開始時刻を抽出し、
前記思い出イベントの発生を検出した時刻より後のデータ格納終了時刻を設定し、
前記会話開始時刻から前記データ格納終了時刻までの映像データを前記第１記憶部から読み出すとともに、前記会話開始時刻から前記データ格納終了時刻までの位置情報を前記第２記憶部から読み出し、読み出した映像データと読み出した位置情報とを関連づけて前記第３記憶部に格納すること、
を特徴とする車両。

【請求項17】

請求項１５に記載の車両であって、
前記ナビゲーション装置は、前記音声信号を格納する第４記憶部を含み、
前記思い出イベントの発生を検出した際に、前記第４記憶部から前記思い出イベントの発生を検出した時刻より前の前記音声信号を読み出して、前記会話音が含まれる一連の会話の会話開始時刻を抽出し、
抽出した前記音声信号に基づいて一連の会話の終了する会話終了時刻を検出し、
前記会話開始時刻から前記会話終了時刻までの映像データを前記第１記憶部から読み出すとともに、前記会話開始時刻から前記会話終了時刻までの位置情報を前記第２記憶部から読み出し、読み出した映像データと読み出した位置情報とを関連づけて前記第３記憶部に格納すること、
を特徴とする車両。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、思い出イベントが発生した際の車室内又は車外の映像を記録するシステムに関する。

【背景技術】

【0002】

撮像場所や、撮像した画像データの時間の前後関係が直感的に把握できるように、撮像した画像データを地図の上に並べて表示する方法が用いられている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第４３６０３８１号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、ＳＮＳの普及により、携帯端末で撮像した思い出となる写真や映像を記録に残すことが増えてきている。この際、携帯端末のユーザが自分で撮影を開始或いは終了し、その映像を記録することが多い。一方、思い出となるイベントの発生は予測できない場合が多い、このため、思い出となる映像を記録できない場合がある。

【0005】

そこで、本発明は、思い出となるイベントの発生が予測できない場合でも思い出となる映像を確実に記録することを目的とする。

【課題を解決するための手段】

【0006】

車室内又は車外のいずれか一方又は両方の映像を撮像する撮像装置と、前記撮像装置と接続され、位置情報を取得してナビゲーションを行う携帯端末と、を備える映像記録システムであって、前記携帯端末は、前記撮像装置が撮像した映像データを格納する第１記憶部と、取得した位置情報を格納する第２記憶部と、マイクロホン又はカメラのいずれか一方又は両方と、を備え、車室内の音又は画像に基づいて思い出イベントの発生を検出し、前記思い出イベントの発生を検出した際に、前記思い出イベントの発生を検出した時刻の前後の所定時間の映像データを前記第１記憶部から読み出すとともに、前記所定時間の位置情報を前記第２記憶部から読み出し、読み出した映像データと読み出した位置情報とを関連づけて第３記憶部に格納すること、を特徴とする。

【0007】

このように、携帯端末が思い出イベントの発生を検出し、その前後における映像データと位置情報と時刻とを第３記憶部に格納するので、思い出となるイベントの発生が予測できない場合でも思い出となる映像を携帯端末に確実に記録することができる。

【0008】

本発明の映像記録システムにおいて、前記携帯端末は、前記マイクロホンを備え、前記マイクロホンで取得した音データから音声信号を抽出し、抽出した前記音声信号に思い出を形成する会話音が含まれている場合には前記思い出イベントの発生を検出してもよい。

【0009】

これにより、携帯端末によって思い出イベントの検出を行うことができる。

【0010】

本発明の映像記録システムにおいて、前記携帯端末は、前記音声信号を格納する第４記憶部を含み、前記思い出イベントの発生を検出した際に、前記第４記憶部から前記思い出イベントの発生を検出した時刻より前の前記音声信号を読み出して、前記会話音が含まれる一連の会話の会話開始時刻を抽出し、前記思い出イベントの発生を検出した時刻より後のデータ格納終了時刻を設定し、前記会話開始時刻から前記データ格納終了時刻までの映像データを前記第１記憶部から読み出すとともに、前記会話開始時刻から前記データ格納終了時刻までの位置情報を前記第２記憶部から読み出し、読み出した映像データと読み出した位置情報とを関連づけて前記第３記憶部に格納してもよい。

【0011】

本発明の映像記録システムにおいて、前記携帯端末は、前記音声信号を格納する第４記憶部を含み、前記思い出イベントの発生を検出した際に、前記第４記憶部から前記思い出イベントの発生を検出した時刻より前の前記音声信号を読み出して、前記会話音が含まれる一連の会話の前記開始時刻を抽出し、抽出した前記音声信号に基づいて一連の会話の終了する会話終了時刻を検出し、前記会話開始時刻から前記会話終了時刻までの映像データを前記第１記憶部から読み出すとともに、前記会話開始時刻から前記会話終了時刻までの位置情報を前記第２記憶部から読み出し、読み出した映像データと読み出した位置情報とを関連づけて前記第３記憶部に格納してもよい。

【0012】

これにより、音声に思い出を形成する会話音を含む一連の会話がされている際の映像と位置情報を記録することができるので、より思い出の深い記録を残すことができる。

【0013】

本発明の映像記録システムにおいて、思い出を形成する前記会話音は、前記会話の中の笑い声でもよい。

【0014】

これにより、楽しい思い出のシーンを記録することができる。

【0015】

本発明の映像記録システムにおいて、前記携帯端末は、前記撮像装置で取得した映像データから乗員の顔画像を抽出し、抽出した顔画像が笑顔の場合には前記思い出イベントの発生を検出してもよい。

【0016】

本発明の映像記録システムにおいて、前記携帯端末は、前記カメラを備え、前記カメラで取得した画像中の乗員の顔画像を抽出し、抽出した顔画像が笑顔の場合には前記思い出イベントの発生を検出してもよい。

【0017】

これにより、笑い顔の発生した際の映像データと位置情報を携帯端末に記録することができる。

【0018】

本発明のナビ機能付携帯端末は、車室内又は車外のいずれか一方又は両方の映像を撮像する撮像装置と接続され、位置情報を取得してナビゲーションを行うナビ機能付携帯端末であって、前記撮像装置が撮像した映像データを格納する第１記憶部と、取得した位置情報を格納する第２記憶部と、マイクロホン又はカメラのいずれか一方又は両方と、を備え、車室内の音又は画像に基づいて思い出イベントの発生を検出し、前記思い出イベントの発生を検出した際に、前記思い出イベントの発生を検出した時刻の前後の所定時間の映像データを前記第１記憶部から読み出すとともに、前記所定時間の位置情報を前記第２記憶部から読み出し、読み出した映像データと読み出した位置情報とを関連づけて第３記憶部に格納すること、を特徴とする。

【0019】

これにより、思い出となるイベントの発生が予測できない場合でも思い出となる映像を携帯端末に確実に記録することができる。

【0020】

本発明のナビ機能付携帯端末は、前記マイクロホンを備え、前記マイクロホンで取得した音データから音声信号を抽出し、抽出した前記音声信号に思い出を形成する会話音が含まれている場合には前記思い出イベントの発生を検出してもよい。

【0021】

本発明のナビ機能付携帯端末は、前記音声信号を格納する第４記憶部を含み、前記思い出イベントの発生を検出した際に、前記第４記憶部から前記思い出イベントの発生を検出した時刻より前の前記音声信号を読み出して、前記会話音が含まれる一連の会話の会話開始時刻を抽出し、前記思い出イベントの発生を検出した時刻より後のデータ格納終了時刻を設定し、前記会話開始時刻から前記データ格納終了時刻までの映像データを前記第１記憶部から読み出すとともに、前記会話開始時刻から前記データ格納終了時刻までの位置情報を前記第２記憶部から読み出し、読み出した映像データと読み出した位置情報とを関連づけて前記第３記憶部に格納してもよい。

【0022】

本発明のナビ機能付携帯端末は、前記音声信号を格納する第４記憶部を含み、前記思い出イベントの発生を検出した際に、前記第４記憶部から前記思い出イベントの発生を検出した時刻より前の前記音声信号を読み出して、前記会話音が含まれる一連の会話の会話開始時刻を抽出し、抽出した前記音声信号に基づいて一連の会話の終了する会話終了時刻を検出し、前記会話開始時刻から前記会話終了時刻までの映像データを前記第１記憶部から読み出すとともに、前記会話開始時刻から前記会話終了時刻までの位置情報を前記第２記憶部から読み出し、読み出した映像データと読み出した位置情報とを関連づけて前記第３記憶部に格納してもよい。

【0023】

これにより、音声に思い出を形成する会話音を含む一連の会話とその際の映像とを記録することができるので、より思い出の深い記録をナビ機能付携帯端末に格納することができる。

【0024】

本発明の車両は、車室内又は車外のいずれか一方又は両方の映像を撮像する撮像装置と、前記撮像装置と接続され、位置情報を取得してナビゲーションを行うナビゲーション装置と、を備える車両であって、前記ナビゲーション装置は、前記撮像装置が撮像した映像データを格納する第１記憶部と、取得した位置情報を格納する第２記憶部と、マイクロホン又はカメラのいずれか一方又は両方と、を備え、車室内の音又は画像に基づいて思い出イベントの発生を検出し、前記思い出イベントの発生を検出した際に、前記思い出イベントの発生を検出した時刻の前後の所定時間の映像データを前記第１記憶部から読み出すとともに、前記所定時間の位置情報を前記第２記憶部から読み出し、読み出した映像データと読み出した位置情報とを関連づけて第３記憶部に格納すること、を特徴とする。

【0025】

本発明の車両において、前記ナビゲーション装置は、前記マイクロホンを備え、前記マイクロホンで取得した音データから音声信号を抽出し、
抽出した前記音声信号に思い出を形成する会話音が含まれている場合には前記思い出イベントの発生を検出してもよい。

【0026】

本発明の車両において、前記ナビゲーション装置は、前記音声信号を格納する第４記憶部を含み、前記思い出イベントの発生を検出した際に、前記第４記憶部から前記思い出イベントの発生を検出した時刻より前の前記音声信号を読み出して、前記会話音が含まれる一連の会話の会話開始時刻を抽出し、前記思い出イベントの発生を検出した時刻より後のデータ格納終了時刻を設定し、前記会話開始時刻から前記データ格納終了時刻までの映像データを前記第１記憶部から読み出すとともに、前記会話開始時刻から前記データ格納終了時刻までの位置情報を前記第２記憶部から読み出し、読み出した映像データと読み出した位置情報とを関連づけて前記第３記憶部に格納してもよい。

【0027】

本発明の車両において、前記ナビゲーション装置は、前記音声信号を格納する第４記憶部を含み、前記思い出イベントの発生を検出した際に、前記第４記憶部から前記思い出イベントの発生を検出した時刻より前の前記音声信号を読み出して、前記会話音が含まれる一連の会話の会話開始時刻を抽出し、抽出した前記音声信号に基づいて一連の会話の終了する会話終了時刻を検出し、前記会話開始時刻から前記会話終了時刻までの映像データを前記第１記憶部から読み出すとともに、前記会話開始時刻から前記会話終了時刻までの位置情報を前記第２記憶部から読み出し、読み出した映像データと読み出した位置情報とを関連づけて前記第３記憶部に格納してもよい。

【発明の効果】

【0028】

本発明は、思い出となるイベントの発生が予測できない場合でも思い出となる映像を確実に記録できる。

【図面の簡単な説明】

【0029】

【図1】実施形態の映像記録システムの構成を示す系統図である。

【図2】図１に示す映像記録システムの機能ブロック図である。

【図3】図２に示す第１～第４記憶部のデータの格納時間を示す説明図である。

【図4】図２に示す音声認識部が認識した音声信号の変化を示すグラフである。

【図5】図２に示す顔認証部が認証した顔画像と顔画像の変化を示すグラフである。

【図6】実施形態の映像記録システムの動作を示すフローチャートである。

【図7】図６に示す動作の際の第１～第４記憶部のデータの格納時間と、音声信号抽出部が抽出した音声信号の時間変化を示すグラフとを示す説明図である。

【図8】実施形態の映像記録システムの他の動作を示すフローチャートである。

【図9】図８に示す他の動作の際の第１～第４記憶部のデータの格納時間と、音声信号抽出部が抽出した音声信号の時間変化とを示す説明図である。

【図10】図８に示す他の動作の変形例を示すフローチャートである。

【図11】実施形態の映像記録システムの他の動作を示すフローチャートである。

【図12】図１１に示す他の動作の際の第１～第３記憶部のデータの格納時間と、顔認証部が認証した表情の時間変化とを示す説明図である。

【図13】実施形態の映像記録システムの他の動作を示すフローチャートである。

【図14】図１３に示す他の動作の際の第１～第３記憶部のデータの格納時間と、雨滴感知センサが検出した雨滴量の時間変化とを示す説明図である。

【図15】他の実施形態の映像記録システムの構成を示す機能ブロック図である。

【図16】実施形態の車両の構成を示す系統図である。

【発明を実施するための形態】

【0030】

以下、図面を参照しながら実施形態の映像記録システム１００について説明する。図１に示すように、実施形態の映像記録システム１００は、車両１０に搭載された車載カメラ１１と、車両インターフェース１２と、車室ディスプレイ１３と、スマートウィンドウ１４と、雨滴感知センサ１５と、ハンドルスイッチ１６と、助手席スイッチ１７と、車両１０の車室内にユーザが持ち込んだ携帯端末２０と、で構成されている。

【0031】

車載カメラ１１は、車両前方の車室の天井に取り付けられ、車両前方に向いた前方カメラと車両後方に向いた後方カメラとが内蔵されている撮像装置である。前方カメラは、フロントウィンドウガラスを通して車両前方の車外の映像を撮像し、後方カメラは車室内、及びリアウィンドウガラスを通して車両後方の車外の映像を撮像する。車載カメラ１１は、前方カメラ或いは後方カメラによって撮像した映像データを出力する。映像データには撮像した時刻が含まれている。

【0032】

尚、車載カメラ１１は、車室内又は車外のいずれか一方又は両方の映像を撮像できれば、前方、後方のいずれか一方のカメラを内蔵したものでもよい。また、魚眼レンズ等を備えて車外と車室内とを同時な撮像できる１つのカメラを内蔵したものでもよい。

【0033】

車室ディスプレイ１３は、車室前方に取り付けられて映像、文字などを表示する表示装置である。

【0034】

スマートウィンドウ１４は、車両１０のフロントウィンドウガラスに取り付けられ、フロントウィンドウガラスの領域に映像を表示する表示装置である。尚、映像の表示を行わない場合には、スマートウィンドウ１４は透明なガラスとして機能する。

【0035】

雨滴感知センサ１５は、車両１０の前方のダッシュボードの上に取り付けられて、雨滴の検知を行うセンサである。雨滴感知センサ１５は、雨滴の検知と共に、雨滴量の検出を行い、検出した雨滴量を出力する。

【0036】

ハンドルスイッチ１６は、ハンドルの近傍に設けられて運転者が操作するスイッチであり、助手席スイッチ１７は、助手席の近傍に設けられて助手席の搭乗者が操作するスイッチである。ハンドルスイッチ１６、助手席スイッチ１７は、後で説明する思い出シーンデータの生成開始信号、或いは、生成終了信号を出力する。

【0037】

携帯端末２０は、例えば、スマートホンやタッチパッド式の通信端末である。携帯端末２０は、内部に情報処理を行うプロセッサであるＣＰＵ２１と、プログラムやデータを格納するメモリ２２とを備えるコンピュータである。携帯端末２０は、音データを取得するマイクロホン２３と、画像を取得するカメラ２４が内蔵されている。携帯端末２０は、ＧＰＳ衛星６１からの電波を受信して位置情報を取得可能であるとともに、外部の通信回線６０を介してクラウド６２のサーバに接続可能である。

【0038】

車両インターフェース１２は車両１０の内部ネットワークであり、車両１０に搭載されている車載カメラ１１、車室ディスプレイ１３、スマートウィンドウ１４、雨滴感知センサ１５、ハンドルスイッチ１６、助手席スイッチ１７がそれぞれ接続されている。また、携帯端末２０は、例えば、無線通信回線により車両インターフェース１２に接続されており、車両インターフェース１２を介して車両１０に搭載されている車載カメラ１１、車室ディスプレイ１３、スマートウィンドウ１４、雨滴感知センサ１５、ハンドルスイッチ１６、助手席スイッチ１７と接続され、これらの機器との間でデータの授受を行うことができる。

【0039】

次に、図２を参照しながら携帯端末２０の構成について説明する。図２に示すように、携帯端末２０は、映像データ取得部３１と、位置情報取得部３２と、音声信号抽出部３３と、顔画像抽出部３４と、思い出イベント発生検出部３５と、思い出シーンデータ生成部３６と、表示データ生成部３７と、ナビゲーション部３８と、第１～第４記憶部４１～４４と、地図情報格納部４５の機能ブロックを備えている。

【0040】

映像データ取得部３１は、車両インターフェース１２を介して接続された車載カメラ１１から時刻データを含む映像データを取得して第１記憶部４１に上書き保存していく。第１記憶部４１は、車載カメラ１１から取得した数時間、あるいは１日程度の映像データを格納可能な容量を有している。図３に示すように、映像データ取得部３１は、車載カメラ１１から取得した数時間、あるいは１日程度の映像データを順次更新しながら第１記憶部４１に格納する。例えば、映像データ取得部３１が１日分の映像データを第１記憶部４１に格納する場合、第１記憶部４１には現時点から１日前までの映像データが格納され、それ以前のデータは順次消去されていく。数日、一週間分のデータを第１記憶部４１に格納する場合も同様である。

【0041】

位置情報取得部３２は、図１に示すＧＰＳ衛星６１からの位置情報信号を受信し、時刻を含む位置情報として第２記憶部４２に上書き保存していく。第２記憶部４２は、第１記憶部４１と同様、数時間、あるいは１日程度の位置情報を格納可能な容量を有している。位置情報取得部３２は、映像データ取得部３１と同様、図３に示すように、数時間、あるいは１日程度の位置情報を順次更新しながら第２記憶部４２に格納する。

【0042】

音声信号抽出部３３は、マイクロホン２３から入力された音データを解析し、図４に示すような音声信号を抽出して思い出イベント発生検出部３５に出力する。また、音声信号抽出部３３は、音声信号を第４記憶部４４に上書き保存していく。音声信号抽出部３３は、映像データ取得部３１、位置情報取得部３２と同様、図３に示すように、数時間、あるいは１日程度の音声信号を順次更新しながら第４記憶部４４に格納する。ここで、音声信号は時間に対する周波数或いは音の大きさの変化を示す信号である。

【0043】

顔画像抽出部３４は、図５に示すように、カメラ２４から入力された画像５１を分析し、顔画像５３を抽出して思い出イベント発生検出部３５に出力する。例えば、携帯端末２０のカメラ２４で車両１０の搭乗者５２を含む画像５１を取得した場合、画像５１を分析し、画像５１の中から顔画像５３を抽出して思い出イベント発生検出部３５に出力する。

【0044】

思い出イベント発生検出部３５は、音声信号抽出部３３から入力された音声信号、顔画像抽出部３４から入力された顔画像５３、ハンドルスイッチ１６又は助手席スイッチ１７から入力された思い出シーンデータの生成開始信号、又は雨滴感知センサ１５から入力された雨滴量データに基づいて、思い出イベント発生時刻を出力する。また、思い出イベント発生検出部３５は、音声信号抽出部３３から入力された音声信号、或いはハンドルスイッチ１６又は助手席スイッチ１７から入力された思い出シーンデータの生成終了信号に基づいて、思い出イベント終了時刻を出力する。

【0045】

思い出シーンデータ生成部３６は、思い出イベント発生検出部３５から入力された思い出イベント発生時刻の前後の所定時間の映像データを第１記憶部４１から読み出すとともに、所定時間の位置情報を第２記憶部４２から読み出し、読み出した映像データと読み出した位置情報とを関連づけて思い出シーンデータとして第３記憶部４３に格納する。第３記憶部４３には、思い出イベント発生検出部３５から思い出イベント発生時刻が入力される毎に、思い出シーンデータが格納される。

【0046】

ここで、所定時間は、例えば、図３に示すように、思い出イベント発生時刻ｔ０の前の前設定時間ｔ１と後設定時間ｔ２との合計時間としてもよい。この場合、第３記憶部４３には、データ格納開始時刻（ｔ０－ｔ１）からデータ格納終了時刻（ｔ０＋ｔ２）までの合計時間（ｔ１＋ｔ２＝ｔ３）の思い出シーンデータが格納される。尚、思い出シーンデータ生成部３６は、図３に示す例以外のいろいろな方法で思い出シーンデータを第３記憶部４３に格納することができる。これについては、映像記録システム１００の動作の説明で詳細に説明する。

【0047】

表示データ生成部３７は、第３記憶部４３から思い出シーンデータを読み出し、思い出シーンデータに含まれる位置情報に基づいて地図情報格納部４５から地図情報を読み出し、読み出した地図の上に思い出シーンデータに含まれる映像を重ね合わせて表示データを生成する。表示データ生成部３７は、車両インターフェース１２を介して生成した表示データを車室ディスプレイ１３、或いはスマートウィンドウ１４に表示する。

【0048】

ナビゲーション部３８は、位置情報取得部３２から入力された位置情報と、地図情報格納部４５から入力された地図情報に基づいて、車両１０の走行ルートの案内、ナビゲーションを行う。

【0049】

映像データ取得部３１と、位置情報取得部３２と、音声信号抽出部３３と、顔画像抽出部３４と、思い出イベント発生検出部３５と、思い出シーンデータ生成部３６と、表示データ生成部３７と、ナビゲーション部３８の各機能ブロックの動作は、図１に示すプロセッサであるＣＰＵ２１がメモリ２２に格納したプログラムを実行することにより実現される。また、第１～第４記憶部４１～４４と、地図情報格納部４５とは、メモリ２２に映像データ、位置情報、思い出シーンデータ、音声信号、地図情報を格納することにより実現できる。

【0050】

次に図６、７を参照しながら実施形態の映像記録システム１００の動作例のうち、音声信号の中に思い出を形成する会話音として笑い声が含まれている場合に思い出イベントの発生を検出する場合について説明する。

【0051】

図６のステップＳ１０１に示すように、携帯端末２０のユーザが車両１０に搭乗し、無線通信回線で携帯端末２０を車両インターフェース１２に接続し、ユーザが携帯端末２０のメモリ２２に格納されているアプリを起動すると、携帯端末２０と車載カメラ１１のリンクが開始される。

【0052】

図６のステップＳ１０２に示すように、携帯端末２０の映像データ取得部３１は、車両インターフェース１２を介して車載カメラ１１が撮像した撮像時刻を含む映像データを取得し、図６のステップＳ１０３に示すように第１記憶部４１に上書き保存する。先に説明したように、第１記憶部４１には現時点から数時間前、或いは１日前までの映像データが格納される。

【0053】

同様に、携帯端末２０の位置情報取得部３２は、図６のステップＳ１０２でＧＰＳ衛星６１からの位置情報信号を受信し、図６のステップＳ１０３で時刻を含む位置情報として第２記憶部４２に上書き保存する。第１記憶部４１と同様、第２記憶部４２には現時点から数時間前、或いは１日前までの位置情報が格納される。

【0054】

携帯端末２０の音声信号抽出部３３は、図６のステップＳ１０４において、マイクロホン２３から取得した音データから音声信号を抽出して思い出イベント発生検出部３５に出力する。また、音声信号抽出部３３は、抽出した音声信号を第４記憶部４４に上書き保存する。第１、第２記憶部４１、４２と同様、第４記憶部４４には、現時点から数時間前、或いは１日前までの音声信号が格納される。

【0055】

図６のステップＳ１０５において、思い出イベント発生検出部３５は、音声信号抽出部３３から入力された音声信号に基づいて、思い出イベントの発生を検出する。図７に示すように、思い出イベント発生検出部３５は、入力された音声信号の時間変化に基づいて、音声信号中に笑い声に対応する音声信号が含まれているかどうかを判断する。そして、笑い声に対応する音声信号が含まれていない場合には、図６のステップＳ１０５を繰り返し実行する。

【0056】

思い出イベント発生検出部３５は、図６のステップＳ１０５で音声信号中に笑い声に対応する音声信号が含まれていると判断した場合には、思い出イベントである笑い声が発生したと判断して図６のステップＳ１０６に進み、図７に示すように笑い声が発生した時刻を思い出イベント発生時刻ｔ１０として思い出シーンデータ生成部３６に出力する。

【0057】

図６のステップＳ１０７において、思い出シーンデータ生成部３６は、第４記憶部４４から思い出イベント発生時刻ｔ１０より前の音声信号を読み出して、図７に示すように笑い声が含まれる一連の会話の会話開始時刻ｔ１１を抽出する。会話開始時刻ｔ１１の抽出はいろいろな方法があるが、例えば、思い出イベント発生時刻ｔ１０から前に音声信号がゼロとなる時刻を検出し、その時刻を会話開始時刻ｔ１１としてもよい。思い出シーンデータ生成部３６は、会話開始時刻ｔ１１を抽出したら、図６のステップＳ１０８に進む。

【0058】

思い出シーンデータ生成部３６は、図６のステップＳ１０８でデータ格納終了時刻ｔ１２を設定する。データ格納終了時刻ｔ１２は、思い出イベント発生時刻ｔ１０よりも後の時刻であればよく、例えば、思い出イベント発生時刻ｔ１０の５分後、或いは１０分後に設定してもよい。思い出シーンデータ生成部３６は、データ格納終了時刻ｔ１２を設定したら図６のステップＳ１０９に進む。

【0059】

思い出シーンデータ生成部３６は、図６のステップＳ１０９において、図７に示すように会話開始時刻ｔ１１からデータ格納終了時刻ｔ１２までの映像データを第１記憶部４１から読み出す。また、思い出シーンデータ生成部３６は、図６のステップＳ１１０において会話開始時刻ｔ１１からデータ格納終了時刻ｔ１２までの位置情報を第２記憶部４２から読み出す。そして、思い出シーンデータ生成部３６は、図６のステップＳ１１１において、読み出した映像データと位置情報とを関連付けた思い出シーンデータを生成してステップＳ１１２において第３記憶部４３に格納する。第３記憶部４３には、会話開始時刻ｔ１１からデータ格納終了時刻ｔ１２までの時間ｔ３の思い出シーンデータが格納される。

【0060】

図６のステップＳ１１３において、携帯端末２０のＣＰＵ２１は、車載カメラ１１とのリンクが解除されているかどうか判断し、車載カメラ１１とのリンクが保持されている場合には、図６のステップＳ１１３でＮＯと判断して図６のステップＳ１０５に戻り、ステップＳ１０５からステップＳ１１２の動作を繰り返し実行する。一方、ＣＰＵ２１は、図６のステップＳ１１３でＹＥＳと判断した場合には、アプリケーションの実行を終了する。

【0061】

以上説明した動作では、笑い声の発生により思い出イベントを検出し、思い出イベント発生時刻ｔ１０より前の会話開始時刻ｔ１１を抽出するとともに、思い出イベント発生時刻ｔ１０よりも後のデータ格納終了時刻ｔ１２を設定し、会話開始時刻ｔ１１とデータ格納終了時刻ｔ１２との間の映像データと位置情報とを関連付けた思い出シーンデータを生成して第３記憶部４３に格納するので、思い出イベントの発生が予測できない場合でも、楽しい思い出となる映像を位置情報とともに携帯端末２０に確実に記録することができる。

【0062】

次に図８、９を参照しながら実施形態の映像記録システム１００の他の動作について説明する。先に図６、７を参照して説明したのと同一のステップには同一のステップ番号を付して説明は省略する。

【0063】

本動作は、先に図６、７を参照して説明した動作におけるデータ格納終了時刻ｔ１２の設定に代えて、笑い声が含まれる一連の会話が終了する会話終了時刻ｔ１３を検出し、会話開始時刻ｔ１１から会話終了時刻ｔ１３までの映像データと位置情報とを関連付けて第３記憶部４３に格納する。

【0064】

図８のステップＳ１０１～Ｓ１０７の動作は、先に説明した図６のステップＳ１０１～Ｓ１０７と同一である。

【0065】

図８のステップＳ２０１において、思い出イベント発生検出部３５は、音声信号抽出部３３が抽出した音声信号に基づいて一連の会話の終了する会話終了時刻ｔ１３を検出し、図８のステップＳ２０２において、会話終了時刻ｔ１３を思い出シーンデータ生成部３６に出力する。会話終了時刻ｔ１３は、例えば、思い出イベント発生時刻ｔ１０よりも後に音声信号抽出部３３から入力される音声信号がゼロとなる時刻を検出し、その時刻を会話終了時刻ｔ１３としてもよい。

【0066】

思い出シーンデータ生成部３６は、図８のステップＳ２０３において、図９に示すように会話開始時刻ｔ１１から会話終了時刻ｔ１３までの映像データを第１記憶部４１から読み出す。また、思い出シーンデータ生成部３６は、図８のステップＳ２０４において会話開始時刻ｔ１１から会話終了時刻ｔ１３までの位置情報を第２記憶部４２から読み出す。そして、思い出シーンデータ生成部３６は、図８のステップＳ１１１において読み出した映像データと位置情報とを関連付けた思い出シーンデータを生成し、図８のステップＳ１１２において生成した思い出シーンデータを第３記憶部４３に格納する。第３記憶部４３には、会話開始時刻ｔ１１から会話終了時刻ｔ１３までの時間ｔ４の思い出シーンデータが格納される。

【0067】

本動作は、笑い声を含む一連の会話の会話開始時刻ｔ１１から会話終了時刻ｔ１３までの映像データと位置情報とを第３記憶部４３に格納するので、一連の会話に対応する全ての期間の映像データと位置情報とを記録する。これにより、より詳細な思い出シーンデータとすることができる。

【0068】

次に、図１０を参照しながら図９を参照して説明した動作の変形例について説明する。
先に、図８、９を参照して説明したのと同一のステップには同様のステップ番号を付して説明は省略する。

【0069】

図１０に示す動作は、図８に示す動作において会話終了時刻ｔ１３を検出してから映像データと位置情報とを読み出して思い出シーンデータとして第３記憶部４３に格納するのに代わって、会話開始時刻ｔ１１を抽出した時点で映像データと位置情報との読み出しを開始し、会話終了時刻ｔ１３を検出したら、その時点で映像データと位置情報との読み出しを停止し、思い出シーンデータを生成して第３記憶部４３に格納する。

【0070】

図１０のステップＳ１０１～Ｓ１０７は図６に示すステップＳ１０１～Ｓ１０７と同一であるから説明は省略する。

【0071】

図１０のステップＳ２０５、ステップＳ２０６において、思い出シーンデータ生成部３６は、第１記憶部４１と第２記憶部４２とから会話開始時刻ｔ１１以降の映像データと位置情報との読み出しを開始する。そして、現時点までの映像データと位置情報とを読み出したら、その後は、リアルタイムで第１記憶部４１と第２記憶部４２とから映像データと位置情報との読み出しを継続する。

【0072】

思い出イベント発生検出部３５は、図８のステップＳ２０１と同様、図１０のステップＳ２０７において、音声信号抽出部３３が抽出した音声信号に基づいて一連の会話の終了する会話終了時刻ｔ１３を検出し、図１０のステップＳ２０８において、会話終了時刻ｔ１３を思い出シーンデータ生成部３６に出力する。

【0073】

思い出シーンデータ生成部３６は、思い出イベント発生検出部３５から会話終了時刻ｔ１３が入力されたら、図１０のステップＳ２０９において、それまで継続していた第１記憶部４１と第２記憶部４２とからのリアルタイムでの映像データと位置情報との読み出しを終了する。

【0074】

そして、思い出シーンデータ生成部３６は、図１０のステップＳ１１１において読み出した映像データと位置情報とを関連付けた思い出シーンデータを生成し、図１０のステップＳ１１２において生成した思い出シーンデータを第３記憶部４３に格納する。

【0075】

以上、説明した動作は、図８、９を参照して説明した動作と同様の作用、効果を奏する。

【0076】

次に、図１１、１２を参照しながら、思い出イベントとして笑い顔の発生を検出して思い出シーンデータを生成して第３記憶部４３に格納する他の動作について説明する。先に、図６、７を参照して説明したと同一のステップには同一のステップ番号を付して説明は省略する。

【0077】

図１１のステップＳ１０１～ステップＳ１０３は、図６のステップＳ１０１～Ｓ１０３と同一であるから説明は省略する。

【0078】

図１１のステップＳ３０１において、顔画像抽出部３４は、カメラ２４から画像データを取得し、図５に示すように、カメラ２４から入力された画像５１を分析し、顔画像５３を抽出して思い出イベント発生検出部３５に出力する。

【0079】

思い出イベント発生検出部３５は、図１１のステップＳ３０２において、顔画像抽出部３４から入力された顔画像５３が笑顔かどうか判断し、笑顔であると判断した場合には、図１１のステップＳ３０３に進んで、図１２に示すように、笑顔の発生を検出した時刻を思い出イベント発生時刻ｔ２０として出力する。また、思い出イベント発生検出部３５は、図１１のステップＳ３０２においてＮＯと判断した場合には、図１１のステップＳ３０１に戻って画像データの取得と笑顔の発生の検出を継続する。

【0080】

思い出シーンデータ生成部３６は、思い出イベント発生検出部３５から思い出イベント発生時刻ｔ２０が入力されたら、図１２に示すように、思い出イベント発生時刻ｔ２０よりも前設定時間ｔ１だけ前の時刻をデータ格納開始時刻ｔ２１として設定し、思い出イベント発生時刻ｔ２０よりも後設定時間ｔ２だけ後の時刻をデータ格納終了時刻ｔ２２として設定する。そして、思い出シーンデータ生成部３６は、図１１のステップＳ３０４においてデータ格納開始時刻ｔ２１からデータ格納終了時刻ｔ２２までの映像データを第１記憶部４１から読み出し、図１１のステップＳ３０５においてデータ格納開始時刻ｔ２１からデータ格納終了時刻ｔ２２までの位置情報を第２記憶部４２から読み出す。

【0081】

そして、思い出シーンデータ生成部３６は、図１１のステップＳ１１１において読み出した映像データと位置情報とを関連付けた思い出シーンデータを生成し、図１１のステップＳ１１２において生成した思い出シーンデータを第３記憶部４３に格納する。

【0082】

従って、データ格納開始時刻ｔ２１からデータ格納終了時刻ｔ２２までの時間は、思い出イベント発生時刻ｔ２０の前後の所定時間ｔ５であり、前設定時間ｔ１と後設定時間ｔ２との合計時間である。第３記憶部４３には所定時間ｔ５の長さの思い出シーンデータが格納される。

【0083】

本動作は、笑い顔の発生した際の映像データと位置情報を思い出シーンデータとして携帯端末２０に記録することができる。

【0084】

次に図１３、１４を参照しながら思い出イベントとして雨滴量の急増を検出して思い出シーンデータを生成して第３記憶部４３に格納する他の動作について説明する。先に、図６、７を参照して説明したと同一のステップには同一のステップ番号を付して説明は省略する。

【0085】

図１３のステップＳ１０１からステップＳ１０３は図６のステップＳ１０１からＳ１０３と同一である。

【0086】

図１３のステップＳ４０１において、思い出イベント発生検出部３５は、車両インターフェース１２を介して雨滴感知センサ１５が検出した雨滴量データを取得する。

【0087】

思い出イベント発生検出部３５は、図１３のステップＳ４０２において、雨滴感知センサ１５から入力された雨滴量が急増しているか判断し、図１４に示すように急増していると判断した場合には、図１３のステップＳ４０３に進んで、雨滴量の急増した時刻を思い出イベント発生時刻ｔ３０として出力する。また、思い出イベント発生検出部３５は、図１３のステップＳ４０２においてＮＯと判断した場合には、図１３のステップＳ４０１に戻って雨滴量データの取得と雨滴量の急増の検出を継続する。

【0088】

思い出シーンデータ生成部３６は、思い出イベント発生検出部３５から思い出イベント発生時刻ｔ３０が入力されたら、図１４に示すように、思い出イベント発生時刻ｔ３０よりも前設定時間ｔ１だけ前の時刻をデータ格納開始時刻ｔ３１として設定する。そして、思い出シーンデータ生成部３６は、１３のステップＳ４０５、ステップＳ４０６において、第１記憶部４１と第２記憶部４２とからデータ格納開始時刻ｔ３１以降の映像データと位置情報との読み出しを開始する。そして、現時点までの映像データと位置情報とを読み出したら、その後は、リアルタイムで第１記憶部４１と第２記憶部４２とから映像データと位置情報との読み出しを継続する。

【0089】

思い出シーンデータ生成部３６は、図１３のステップＳ４０７において、ハンドルスイッチ１６又は助手席スイッチ１７から思い出シーンデータの生成終了信号が入力されるまで待機する。そして、思い出シーンデータの生成終了信号が入力されたら、図１３のステップＳ４０８に進んで、第１記憶部４１、第２記憶部４２からのデータの読み出しを終了して図１３のステップＳ１１１に進む。

【0090】

そして、思い出シーンデータ生成部３６は、図１３のステップＳ１１１において読み出した映像データと位置情報とを関連付けた思い出シーンデータを生成し、図１３のステップＳ１１２において生成した思い出シーンデータを第３記憶部４３に格納する。

【0091】

本動作は、雨滴量の急増が発生した際の映像データと位置情報を思い出シーンデータとして携帯端末２０に記録することができる。

【0092】

尚、以上の説明では、思い出イベント発生検出部３５は、笑い声、笑い顔、雨滴量の急増を検出し、その時刻を思い出イベント発生時刻として設定するとして説明したが、これに限らず、例えば、歓声や拍手等の発生を検出してその時刻を思い出イベント発生時刻として設定してもよい。

【0093】

尚、以上の説明では、顔画像抽出部３４は、携帯端末２０に内蔵されているカメラ２４で撮像した画像５１から顔画像５３を抽出して思い出イベント発生検出部３５に出力するとして説明したが、これに限らない。例えば、顔画像抽出部３４は、車載カメラ１１で撮像した映像データを取得し、取得した映像データを分析して顔画像５３を抽出して思い出イベント発生検出部３５に出力してもよい。これにより、携帯端末２０は、カメラ２４で車外の画像等を撮影している場合でも笑い顔の発生により思い出イベントの発生を検出することができる。

【0094】

また、思い出イベント発生検出部３５は、ハンドルスイッチ１６、助手席スイッチ１７から思い出シーンデータの生成開始信号が入力された時刻を思い出イベント発生時刻として設定してもよい。これにより、本実施形態の映像記録システム１００は携帯端末２０のユーザが望む際には、何時でも思い出となる映像を記録することができる。

【0095】

次の図１５を参照しながら、他の実施形態の映像記録システム２００について説明する。先に図１～図１４を参照して説明した映像記録システム１００と同一の部位には同一の符号を付して説明は省略する。

【0096】

映像記録システム２００は、携帯端末２０に代えてカメラ２４を備えない携帯端末２２０で構成される。携帯端末２２０の顔画像抽出部３４は、車載カメラ１１で撮像した映像データを取得し、取得した映像データを分析して顔画像５３を抽出して思い出イベント発生検出部３５に出力し、思い出イベント発生検出部３５は入力された顔画像５３が笑顔の場合に思い出イベントの発生を検出する点で携帯端末２０と異なっている。これ以外の点は、携帯端末２０と同一である。映像記録システム２００は、携帯端末２２０がカメラ２４を備えない場合でも、笑い顔の発生により思い出イベントの発生を検出することができる。

【0097】

以上、映像記録システム１００、２００について説明したが、携帯端末２０、２２０は、車室内又は車外の映像を撮像する車載カメラ１１と接続され、ＧＰＳ衛星６１から位置情報を取得してナビゲーションを行い、第１記憶部４１と、第２記憶部４２と、マイクロホン２３とを備え、車室内の音又は画像に基づいて思い出イベントの発生を検出し、思い出イベントの発生を検出した際に、思い出イベントの発生を検出した時刻の前後の所定時間の映像データと位置情報とを第１、第２記憶部４１、４２から読み出し、読み出した映像データと読み出した位置情報とを関連づけて思い出シーンデータとして第３記憶部４３に格納する。従って、携帯端末２０、２２０は、請求項に記載のナビ機能付携帯端末である。

【0098】

次に図１６を参照しながら実施形態の車両３００について説明する。図１６に示すように、車両３００は、先に図１を参照して説明した携帯端末２０と同一構造のナビゲーション装置７０を備えている。ナビゲーション装置７０は、内部に情報処理を行うプロセッサであるＣＰＵ７１と、プログラムやデータを格納するメモリ７２とを備えるコンピュータである。ナビゲーション装置７０は、音データを取得するマイクロホン７３と、画像を取得するカメラ７４が内蔵されている。ナビゲーション装置７０は、ＧＰＳ衛星６１からの電波を受信して位置情報を取得可能であるとともに、外部の通信回線６０を介してクラウド６２のサーバに接続可能である。

【0099】

ナビゲーション装置７０は、先に説明した携帯端末２０と同様、車室内又は車外の映像を撮像する車載カメラ１１と接続され、ＧＰＳ衛星６１から位置情報を取得してナビゲーションを行い、第１記憶部４１と、第２記憶部４２と、マイクロホン７３とを備え、車室内の音又は画像に基づいて思い出イベントの発生を検出し、思い出イベントの発生を検出した際に、思い出イベントの発生を検出した時刻の前後の所定時間の映像データと位置情報とを第１、第２記憶部４１、４２から読み出し、読み出した映像データと読み出した位置情報とを関連づけて思い出シーンデータとして第３記憶部４３に格納する。

【0100】

ナビゲーション装置７０の動作は先に説明した携帯端末２０の動作と同一である。従って、ナビゲーション装置７０を搭載した車両３００は、先に説明した映像記録システム１００と同様の効果を奏する。

【符号の説明】

【0101】

１０、３００ 車両、１１ 車載カメラ、１２ 車両インターフェース、１３ 車室ディスプレイ、１４ スマートウィンドウ、１５ 雨滴感知センサ、１６ ハンドルスイッチ、１７ 助手席スイッチ、２０、２２０ 携帯端末、２１、７１ ＣＰＵ、２２、７２ メモリ、２３、７３ マイクロホン、２４、７４ カメラ、３１ 映像データ取得部、３２ 位置情報取得部、３３ 音声信号抽出部、３４ 顔画像抽出部、３５ 思い出イベント発生検出部、３６ 思い出シーンデータ生成部、３７ 表示データ生成部、３８ ナビゲーション部、４１～４４ 第１～第４記憶部、４５ 地図情報格納部、５１ 画像、５２ 搭乗者、５３ 顔画像、６０ 通信回線、６１ ＧＰＳ衛星、６２ クラウド、７０ ナビゲーション装置、１００、２００ 映像記録システム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】