特開 2025-6245 動画生成システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025006245

(43)【公開日】2025-01-17

(54)【発明の名称】動画生成システム

(51)【国際特許分類】

   H04N 5/91 20060101AFI20250109BHJP

   H04N 23/60 20230101ALI20250109BHJP

   G10L 25/51 20130101ALI20250109BHJP

   G10L 25/57 20130101ALI20250109BHJP

   G07C 5/02 20060101ALI20250109BHJP

【ＦＩ】

H04N5/91

H04N23/60 500

G10L25/51 300

G10L25/57

G07C5/02

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023106916

(22)【出願日】2023-06-29

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】水野 裕子

(72)【発明者】

【氏名】松下 真人

(72)【発明者】

【氏名】水間 隼人

(72)【発明者】

【氏名】三輪 耕平

(72)【発明者】

【氏名】山田 直輝

【テーマコード（参考）】

3E138

5C122

【Ｆターム（参考）】

3E138AA07

3E138MA01

3E138MB08

3E138MB09

3E138MB10

3E138MB12

3E138MC12

3E138MD05

3E138MF03

5C122DA03

5C122DA14

5C122DA42

5C122EA55

5C122EA61

5C122FH11

5C122FH14

5C122FJ04

5C122FJ15

5C122GA31

5C122HB01

(57)【要約】

【課題】ロードトリップムービーの作成を容易とする。
【解決手段】動画生成サーバ２０は、車両１０に搭載されたドライブレコーダ１１によるロードトリップ中の撮影データを取得して、その撮影データの映像及び音響の解析を実施する。そして、動画生成サーバ２０は、映像及び音響の解析結果に基づき切り出し範囲を設定するとともに、撮影データから切り出し範囲の映像を切り出した動画をロードトリップムービーとして自動生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

ドライブレコーダの撮影データの解析結果に基づき切り出し範囲を設定するとともに、前記撮影データから前記切り出し範囲の映像を切り出した動画を自動生成する動画生成システム。

【請求項2】

前記撮影データに記録された車内の音に基づき前記切り出し範囲を設定する請求項１に記載の動画生成システム。

【請求項3】

前記撮影データの撮影中に車内で再生していた楽曲に基づき前記切り出し範囲を設定する請求項１に記載の動画生成システム。

【請求項4】

前記撮影データの撮影中に車内で再生していた楽曲を、前記動画の背景音楽に用いる請求項１に記載の動画生成システム。

【請求項5】

指定した人物が映像に含まれる範囲、又は映像中の人物が特定のジェスチャを行った時期に開始する範囲を、前記切り出し範囲として設定する請求項１に記載の動画生成システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画生成システムに関する。

【背景技術】

【0002】

特許文献１には、乗員の表情や発話の解析結果に基づき、車内外の映像や音響を自動的に記録することで、ロードトリップアルバムを自動生成する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１９４９５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記従来の技術では、走行中の車両において、乗員の表情や発話の解析をリアルタイムで実施する必要がある。そのため、処理能力の高い解析システムを車両に搭載する必要がある。

【課題を解決するための手段】

【0005】

上記課題を解決する動画生成システムは、ドライブレコーダの撮影データの解析結果に基づき切り出し範囲を設定するとともに、前記撮影データから前記切り出し範囲の映像を切り出した動画を自動生成するように構成されている。

【発明の効果】

【0006】

上記動画生成システムには、ロードトリップムービーの作成を容易とする効果がある。

【図面の簡単な説明】

【0007】

【図1】動画生成システムの一実施形態の構成を模式的に示す図である。

【図2】上記動画生成システムにおける動画生成手順を示すシーケンス図である。

【発明を実施するための形態】

【0008】

以下、動画生成システムの一実施形態を、図１及び図２を参照して詳細に説明する。
＜動画生成システムの構成について＞
まず、図１を参照して本実施形態の動画生成システムの構成を説明する。本実施形態の動画生成システムは、ドライブレコーダ１１で撮影したロードトリップ中の動画を自動的に編集して車両１０のユーザに提供する。

【0009】

図１に示すように、車両１０には、ドライブレコーダ１１が設置されている。ドライブレコーダ１１は、車内を撮影する車内カメラ１２、車外を撮影する車外カメラ１３、及び車内の音響を収録するためのマイクロフォン１４を備えている。また、車両１０には、ドライブレコーダ１１の車内カメラ１２、及び車外カメラ１３が撮影した映像、及びマイクロフォン１４が収録した音響のデータを記録するデータストレージ１５が設置されている。データストレージ１５は、ドライブレコーダ１１に内蔵されていてもよいし、ドライブレコーダ１１の外部に設置されていてもよい。

【0010】

さらに、車両１０には、ヒューマン・マシン・インターフェイス（ＨＭＩ）１６と通信モジュール１７とが設置されている。ＨＭＩ１６は、車両１０のシステムと乗員とを繋ぐインターフェイスである。ＨＭＩ１６の例としては、タッチパネル・ディスプレイが挙げられる。通信モジュール１７は、車外との無線通信を行うための電子部品である。ドライブレコーダ１１、データストレージ１５、ＨＭＩ１６、及び通信モジュール１７は、車内ネットワーク１８を介して互いに通信可能に接続されている。

【0011】

本実施形態の動画生成システムは、こうした車両１０のドライブレコーダ１１が撮影した映像を元に、ロードトリップムービーを動画として自動生成するシステムとして構成されている。動画生成システムは、動画生成用のサーバ装置である動画生成サーバ２０を備えている。動画生成サーバ２０は、動画生成のための各種処理を行うプロセッサ２１と、動画生成用のプログラムや動画生成に用いる各種データを記憶するストレージ２２と、を備えている。また、動画生成サーバ２０は、車両１０とのデータ通信を行うための通信モジュール２３を備えている。

【0012】

＜ロードトリップムービーの生成について＞
次に、図２を参照して、本実施形態におけるロードトリップムービーの自動生成について説明する。本実施形態の動画生成システムは、ロードトリップ中のドライブレコーダ１１の撮影データを元に、ロードトリップムービーを作成する。ドライブレコーダ１１の撮影データには、車内カメラ１２及び車外カメラ１３が撮影した映像と、マイクロフォン１４が収音した音響と、が含まれる。また、撮影データには、車載ＧＰＳ装置から取得した動画の撮影位置及び時間の情報が含まれる。

【0013】

ロードトリップムービーの作成に際して車両１０のユーザは、ＨＭＩ１６上で、動画設定を入力する（Ｓ１）。動画設定は、生成する動画の仕様である。動画設定の項目としては、動画の時間、動画の背景音楽として使用する楽曲の曲名、動画のタイトル等が挙げられる。他にも、動画設定では、生成する動画に含めたい人物、時期、及び地点を指定する。さらに、ユーザは、動画設定において、ロードトリップの日時を入力する。その後、ＨＭＩ１６上で車両１０のユーザが送信指示の操作を行うと（Ｓ２）、データストレージ１５に記憶されたロードトリップ中の撮影データと共に、Ｓ１でユーザが入力した動画設定の情報が動画生成サーバ２０に送信される（Ｓ３）。

【0014】

動画生成サーバ２０は、受信した撮影データの映像解析及び音響解析を実施するとともに（Ｓ４）、解析結果に基づいて動画の切り出し範囲を設定する（Ｓ５）。続いて、動画生成サーバ２０は、ロードトリップ中の撮影データから、切り出し範囲の動画を切り出して繋ぐように編集したものをロードトリップムービーの動画データとして生成する（Ｓ６）。その後、動画生成サーバ２０は、生成した動画データを車両１０に送信する（Ｓ７）。車両１０は、受信した動画データをデータストレージ１５に保存する（Ｓ８）。

【0015】

＜切り出し範囲の設定について＞
図２のＳ５において動画生成サーバ２０が実施する切り出し範囲の設定について説明する。動画生成サーバ２０は、映像、音響の解析結果に基づき、車両１０の乗員が高揚した気分にある期間を抽出して、その期間を切り出し範囲に設定する。乗員が高揚した気分にあるかどうかは、乗員の表情や音声を解析することで判定される。車内で再生中の楽曲を、乗員が高揚した気分にあるか否かの判断基準に用いるようにしてよい。具体的には、動画生成サーバ２０が、車内で再生中の楽曲の音量や曲調、或いは曲名を解析するとともにその解析結果を、乗員が高揚した気分にあるか否かの判定に使用する。

【0016】

これ以外にも、動画生成サーバ２０は、次のような動画の期間を、切り出し範囲に設定する。
・動画生成サーバ２０は、映像の解析結果から、乗員が予め定められたジェスチャを行っていることを確認すると、そのジェスチャを行った時期に開始する期間を、切り出し範囲として設定する。

【0017】

・動画生成サーバ２０は、動画設定においてユーザが指定した時期、地点の動画を切り出し範囲に設定する。上記時期としては、例えばロードトリップの出発時、目的地への到着時が挙げられる。動画生成サーバ２０は、動画データに含まれる撮影位置及び撮影時間の情報に基づき、こうした切り出し範囲の設定を行っている。

【0018】

・動画生成サーバ２０は、動画設定において指定した人物が映像に含まれる範囲を切り出し範囲に設定する。動画生成サーバ２０は、顔認識により映像中の人物を特定する。
なお、動画生成サーバ２０は、生成する動画の時間が、動画設定において設定された時間となるように、切り出し範囲を設定している。さらに、動画生成サーバ２０は、動画の生成に際して、動画設定においてユーザが指定した楽曲を背景音楽として挿入している。

【0019】

＜実施形態の作用効果＞
本実施形態の動画生成システムの作用を説明する。
本実施形態では、ロードトリップ中のドライブレコーダ１１の撮影データを車外の動画生成サーバ２０に送信している。そして、動画生成サーバ２０は、撮影データの映像、音響の解析結果に基づき切り出し範囲を設定するとともに、撮影データから切り出し範囲の映像を切り出した動画をロードトリップムービーとして生成している。

【0020】

こうした動画生成のための映像及び音響の解析を、ドライブレコーダ１１の撮影中にリアルタイムで行う場合には、高い処理能力を持った解析装置を車両１０に搭載する必要がある。本実施形態の場合、動画生成のための映像及び音響の解析を、撮影後、車外の動画生成サーバ２０で実施している。高い処理能力を持った解析装置を車両１０に搭載せずとも、ロードトリップムービーの自動生成が可能である。

【0021】

以上のように、本実施形態では、処理能力の高い解析装置を車両１０に搭載しなくても、ドライブレコーダ１１の撮影データを用いたロードトリップムービーの自動生成が可能となる。したがって、本実施形態の動画生成システムには、ロードトリップムービーの作成を容易とする効果がある。

【0022】

＜他の実施形態＞
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

【0023】

・撮影データの撮影中に車内で再生していた楽曲を、生成する動画の背景音楽に用いるようにしてもよい。この場合の動画生成サーバ２０は、撮影データの音響解析により、車内で再生中の楽曲を特定する。そして、動画生成サーバ２０は、特定した楽曲を背景音楽として生成する動画に挿入する。このとき、画像の盛り上がりの部分と楽曲のさびの部分とをシンクロさせるようにしてもよい。

【0024】

・図２のＳ１、Ｓ２における動画設定及び送信指示を、車外のユーザ端末（ＰＣ等）で行うようにしてもよい。この場合、ドライブレコーダ１１の撮影データは、メモリカード等を用いてユーザ端末に移動または複写した上で、ユーザ端末から動画生成サーバ２０に送信する。さらに、動画生成サーバ２０が行う処理を、ユーザ端末で行うようにしてもよい。この場合、ユーザ端末が、動画生成システムを構成する。

【0025】

・上記実施形態において動画生成サーバ２０が行っていた動画生成に係る処理を、車両１０において実施するようにしてもよい。この場合にも、動画生成のための映像、音響の解析をリアルタイムで実施する必要はない。そのため、動画生成のために車両１０に搭載する処理装置に要求される処理能力を低く抑えられる。

【符号の説明】

【0026】

１０ 車両
１１ ドライブレコーダ
１２ 車内カメラ
１３ 車外カメラ
１４ マイクロフォン
１５ データストレージ
１６ ヒューマン・マシン・インターフェイス（ＨＭＩ）
１７ 通信モジュール
１８ 車内ネットワーク
２０ 動画生成サーバ
２１ プロセッサ
２２ データストレージ
２３ 通信モジュール

【図1】

【図2】