知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-08
(45)【発行日】2024-05-16
(54)【発明の名称】映像処理装置、映像処理方法、訓練装置、及び、プログラム
(51)【国際特許分類】
H04N 5/91 20060101AFI20240509BHJP
H04N 5/92 20060101ALI20240509BHJP
【ＦＩ】
H04N5/91
H04N5/92 010
【請求項の数】
10
(21)【出願番号】P 2022527348
(86)(22)【出願日】2020-05-27
(86)【国際出願番号】 JP2020020867
(87)【国際公開番号】W WO2021240677
(87)【国際公開日】2021-12-02
【審査請求日】2022-11-16
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延
(74)【代理人】
【識別番号】100104765
【弁理士】
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100131015
【弁理士】
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】白石 壮馬
(72)【発明者】
【氏名】菊池 克
(72)【発明者】
【氏名】鍋藤 悠
(72)【発明者】
【氏名】渡辺 はるな
【審査官】川中 龍太
(56)【参考文献】
【文献】特開２０１２－０７０２８３（ＪＰ，Ａ）
【文献】特開２０１４－２２９０９２（ＪＰ，Ａ）
【文献】特開２００８－０２２１０３（ＪＰ，Ａ）
【文献】韓国公開特許第１０－２０１８－００９３５８２（ＫＲ，Ａ）
【文献】米国特許出願公開第２０２０／０１２６２４４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／７６ － ５／９５６
(57)【特許請求の範囲】
【請求項1】
素材映像を取得する映像取得手段と、複数のモデルを用いて、前記素材映像における重要度を算出する重要度算出手段と、
前記複数のモデルを用いて算出された重要度を統合する重要度統合手段と、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成する生成手段と、
を備え、
前記複数のモデルは、
前記素材映像のある時刻における重要度を、その時刻の映像に基づいて算出する基本モデルと、
前記素材映像のある時刻における重要度を、その時刻よりも所定時間前又は後の時刻の映像に基づいて算出する１又は複数のシフトモデルと、
を含む映像処理装置。
【請求項2】
素材映像を取得する映像取得手段と、複数のモデルを用いて、前記素材映像における重要度を算出する重要度算出手段と、
前記複数のモデルを用いて算出された重要度を統合する重要度統合手段と、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成する生成手段と、
を備え、
前記複数のモデルは、前記素材映像の重要度を、異なる時間幅の単位で算出するモデルを含む映像処理装置。
【請求項3】
コンピュータにより実行される映像処理方法であって、素材映像を取得し、
複数のモデルを用いて、前記素材映像における重要度を算出し、
前記複数のモデルを用いて算出された重要度を統合し、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成し、
前記複数のモデルは、
前記素材映像のある時刻における重要度を、その時刻の映像に基づいて算出する基本モデルと、
前記素材映像のある時刻における重要度を、その時刻よりも所定時間前又は後の時刻の映像に基づいて算出する１又は複数のシフトモデルと、
を含む映像処理方法。
【請求項4】
コンピュータにより実行される映像処理方法であって、素材映像を取得し、
複数のモデルを用いて、前記素材映像における重要度を算出し、
前記複数のモデルを用いて算出された重要度を統合し、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成し、
前記複数のモデルは、前記素材映像の重要度を、異なる時間幅の単位で算出するモデルを含む映像処理方法。
【請求項5】
素材映像を取得し、複数のモデルを用いて、前記素材映像における重要度を算出し、
前記複数のモデルを用いて算出された重要度を統合し、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成する処理をコンピュータに実行させ、
前記複数のモデルは、
前記素材映像のある時刻における重要度を、その時刻の映像に基づいて算出する基本モデルと、
前記素材映像のある時刻における重要度を、その時刻よりも所定時間前又は後の時刻の映像に基づいて算出する１又は複数のシフトモデルと、
を含むプログラム。
【請求項6】
素材映像を取得し、複数のモデルを用いて、前記素材映像における重要度を算出し、
前記複数のモデルを用いて算出された重要度を統合し、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成する処理をコンピュータに実行させ、
前記複数のモデルは、前記素材映像の重要度を、異なる時間幅の単位で算出するモデルを含むプログラム。
【請求項7】
訓練用素材映像を取得する映像取得手段と、前記訓練用素材映像における重要シーンに正解タグが付与された基本正解データを取得する正解データ取得手段と、
前記基本正解データにおける正解タグを所定時間前又は後にシフトして追加正解データを生成する正解データ生成手段と、
前記訓練用素材映像と、前記基本正解データと、前記追加正解データとを用いて、複数のモデルの訓練を行う訓練手段と、
を備える訓練装置。
【請求項8】
訓練用素材映像を取得する映像取得手段と、前記訓練用素材映像における重要シーンに正解タグが付与された基本正解データを取得する正解データ取得手段と、
前記基本正解データに基づいて、各々が異なる時間幅の正解タグを含む追加正解データを生成する正解データ生成手段と、
前記訓練用素材映像と、前記基本正解データと、前記追加正解データとを用いて、複数のモデルの訓練を行う訓練手段と、
を備える訓練装置。
【請求項9】
訓練用素材映像を取得し、前記訓練用素材映像における重要シーンに正解タグが付与された基本正解データを取得し、
前記基本正解データにおける正解タグを所定時間前又は後にシフトして追加正解データを生成し、
前記訓練用素材映像と、前記基本正解データと、前記追加正解データとを用いて、複数のモデルの訓練を行う処理をコンピュータに実行させるプログラム。
【請求項10】
訓練用素材映像を取得し、前記訓練用素材映像における重要シーンに正解タグが付与された基本正解データを取得し、
前記基本正解データに基づいて、各々が異なる時間幅の正解タグを含む追加正解データを生成し、
前記訓練用素材映像と、前記基本正解データと、前記追加正解データとを用いて、複数のモデルの訓練を行う処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像データの処理に関する。
【背景技術】
【0002】
動画像から映像ダイジェストを生成する技術が提案されている。特許文献１には、予め準備されたトレーニング動画像及びユーザが指定した重要シーン動画像から学習データファイルを作成し、当該学習データファイルに基づき、対象の動画像から重要シーンの検出を行うハイライト抽出装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００８－０２２１０３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
人間が編集したダイジェスト映像においては、重要シーンに加えて、その周辺のシーンが使用されることが多い。例えば、野球のホームランシーンについては、打者がホームランを打ったシーンに加えて、投手が投球したシーンや、打者がベースランするシーンなどもダイジェスト映像に含められることが多い。この点、機械学習を用いて重要シーンを自動抽出する方法では、重要シーンの周辺のシーンを適切にダイジェスト映像に含めることが難しい。
【0005】
本発明の１つの目的は、重要シーンについて、関連する周辺のシーンを含むダイジェスト映像を生成することが可能な映像処理装置を提供することにある。
【課題を解決するための手段】
【0006】
本発明の一つの観点では、映像処理装置は、
素材映像を取得する映像取得手段と、
複数のモデルを用いて、前記素材映像における重要度を算出する重要度算出手段と、
前記複数のモデルを用いて算出された重要度を統合する重要度統合手段と、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成する生成手段と、
を備え、
前記複数のモデルは、
前記素材映像のある時刻における重要度を、その時刻の映像に基づいて算出する基本モデルと、
前記素材映像のある時刻における重要度を、その時刻よりも所定時間前又は後の時刻の映像に基づいて算出する１又は複数のシフトモデルと、を含む。
本発明の他の観点では、映像処理装置は、
素材映像を取得する映像取得手段と、
複数のモデルを用いて、前記素材映像における重要度を算出する重要度算出手段と、
前記複数のモデルを用いて算出された重要度を統合する重要度統合手段と、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成する生成手段と、
を備え、
前記複数のモデルは、前記素材映像の重要度を、異なる時間幅の単位で算出するモデルを含む。
素材映像を取得する映像取得手段と、
複数のモデルを用いて、前記素材映像における重要度を算出する重要度算出手段と、
前記複数のモデルを用いて算出された重要度を統合する重要度統合手段と、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成する生成手段と、
を備え、
前記複数のモデルは、
前記素材映像のある時刻における重要度を、その時刻の映像に基づいて算出する基本モデルと、
前記素材映像のある時刻における重要度を、その時刻よりも所定時間前又は後の時刻の映像に基づいて算出する１又は複数のシフトモデルと、を含む。
本発明の他の観点では、映像処理装置は、
素材映像を取得する映像取得手段と、
複数のモデルを用いて、前記素材映像における重要度を算出する重要度算出手段と、
前記複数のモデルを用いて算出された重要度を統合する重要度統合手段と、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成する生成手段と、
を備え、
前記複数のモデルは、前記素材映像の重要度を、異なる時間幅の単位で算出するモデルを含む。
【0007】
本発明のさらに他の観点では、コンピュータにより実行される映像処理方法は、
素材映像を取得し、
複数のモデルを用いて、前記素材映像における重要度を算出し、
前記複数のモデルを用いて算出された重要度を統合し、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成し、
前記複数のモデルは、
前記素材映像のある時刻における重要度を、その時刻の映像に基づいて算出する基本モデルと、
前記素材映像のある時刻における重要度を、その時刻よりも所定時間前又は後の時刻の映像に基づいて算出する１又は複数のシフトモデルと、を含む。
本発明のさらに他の観点では、コンピュータにより実行される映像処理方法は、
素材映像を取得し、
複数のモデルを用いて、前記素材映像における重要度を算出し、
前記複数のモデルを用いて算出された重要度を統合し、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成し、
前記複数のモデルは、前記素材映像の重要度を、異なる時間幅の単位で算出するモデルを含む。
素材映像を取得し、
複数のモデルを用いて、前記素材映像における重要度を算出し、
前記複数のモデルを用いて算出された重要度を統合し、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成し、
前記複数のモデルは、
前記素材映像のある時刻における重要度を、その時刻の映像に基づいて算出する基本モデルと、
前記素材映像のある時刻における重要度を、その時刻よりも所定時間前又は後の時刻の映像に基づいて算出する１又は複数のシフトモデルと、を含む。
本発明のさらに他の観点では、コンピュータにより実行される映像処理方法は、
素材映像を取得し、
複数のモデルを用いて、前記素材映像における重要度を算出し、
前記複数のモデルを用いて算出された重要度を統合し、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成し、
前記複数のモデルは、前記素材映像の重要度を、異なる時間幅の単位で算出するモデルを含む。
【0008】
本発明のさらに他の観点では、プログラムは、
素材映像を取得し、
複数のモデルを用いて、前記素材映像における重要度を算出し、
前記複数のモデルを用いて算出された重要度を統合し、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成する処理をコンピュータに実行させ、
前記複数のモデルは、
前記素材映像のある時刻における重要度を、その時刻の映像に基づいて算出する基本モデルと、
前記素材映像のある時刻における重要度を、その時刻よりも所定時間前又は後の時刻の映像に基づいて算出する１又は複数のシフトモデルと、を含む。
本発明のさらに他の観点では、プログラムは、
素材映像を取得し、
複数のモデルを用いて、前記素材映像における重要度を算出し、
前記複数のモデルを用いて算出された重要度を統合し、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成する処理をコンピュータに実行させ、
前記複数のモデルは、前記素材映像の重要度を、異なる時間幅の単位で算出するモデルを含む。
素材映像を取得し、
複数のモデルを用いて、前記素材映像における重要度を算出し、
前記複数のモデルを用いて算出された重要度を統合し、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成する処理をコンピュータに実行させ、
前記複数のモデルは、
前記素材映像のある時刻における重要度を、その時刻の映像に基づいて算出する基本モデルと、
前記素材映像のある時刻における重要度を、その時刻よりも所定時間前又は後の時刻の映像に基づいて算出する１又は複数のシフトモデルと、を含む。
本発明のさらに他の観点では、プログラムは、
素材映像を取得し、
複数のモデルを用いて、前記素材映像における重要度を算出し、
前記複数のモデルを用いて算出された重要度を統合し、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成する処理をコンピュータに実行させ、
前記複数のモデルは、前記素材映像の重要度を、異なる時間幅の単位で算出するモデルを含む。
【0009】
本発明のさらに他の観点では、訓練装置は、
訓練用素材映像を取得する映像取得手段と、
前記訓練用素材映像における重要シーンに正解タグが付与された基本正解データを取得する正解データ取得手段と、
前記基本正解データにおける正解タグを所定時間前又は後にシフトして追加正解データを生成する正解データ生成手段と、
前記訓練用素材映像と、前記基本正解データと、前記追加正解データとを用いて、複数のモデルの訓練を行う訓練手段と、を備える。
本発明のさらに他の観点では、訓練装置は、
訓練用素材映像を取得する映像取得手段と、
前記訓練用素材映像における重要シーンに正解タグが付与された基本正解データを取得する正解データ取得手段と、
前記基本正解データに基づいて、各々が異なる時間幅の正解タグを含む追加正解データを生成する正解データ生成手段と、
前記訓練用素材映像と、前記基本正解データと、前記追加正解データとを用いて、複数のモデルの訓練を行う訓練手段と、を備える。
訓練用素材映像を取得する映像取得手段と、
前記訓練用素材映像における重要シーンに正解タグが付与された基本正解データを取得する正解データ取得手段と、
前記基本正解データにおける正解タグを所定時間前又は後にシフトして追加正解データを生成する正解データ生成手段と、
前記訓練用素材映像と、前記基本正解データと、前記追加正解データとを用いて、複数のモデルの訓練を行う訓練手段と、を備える。
本発明のさらに他の観点では、訓練装置は、
訓練用素材映像を取得する映像取得手段と、
前記訓練用素材映像における重要シーンに正解タグが付与された基本正解データを取得する正解データ取得手段と、
前記基本正解データに基づいて、各々が異なる時間幅の正解タグを含む追加正解データを生成する正解データ生成手段と、
前記訓練用素材映像と、前記基本正解データと、前記追加正解データとを用いて、複数のモデルの訓練を行う訓練手段と、を備える。
【0011】
本発明のさらに他の観点では、プログラムは、
訓練用素材映像を取得し、
前記訓練用素材映像における重要シーンに正解タグが付与された基本正解データを取得し、
前記基本正解データにおける正解タグを所定時間前又は後にシフトして追加正解データを生成し、
前記訓練用素材映像と、前記基本正解データと、前記追加正解データとを用いて、複数のモデルの訓練を行う処理をコンピュータに実行させる。
本発明のさらに他の観点では、プログラムは、
訓練用素材映像を取得し、
前記訓練用素材映像における重要シーンに正解タグが付与された基本正解データを取得し、
前記基本正解データに基づいて、各々が異なる時間幅の正解タグを含む追加正解データを生成し、
前記訓練用素材映像と、前記基本正解データと、前記追加正解データとを用いて、複数のモデルの訓練を行う処理をコンピュータに実行させる。
訓練用素材映像を取得し、
前記訓練用素材映像における重要シーンに正解タグが付与された基本正解データを取得し、
前記基本正解データにおける正解タグを所定時間前又は後にシフトして追加正解データを生成し、
前記訓練用素材映像と、前記基本正解データと、前記追加正解データとを用いて、複数のモデルの訓練を行う処理をコンピュータに実行させる。
本発明のさらに他の観点では、プログラムは、
訓練用素材映像を取得し、
前記訓練用素材映像における重要シーンに正解タグが付与された基本正解データを取得し、
前記基本正解データに基づいて、各々が異なる時間幅の正解タグを含む追加正解データを生成し、
前記訓練用素材映像と、前記基本正解データと、前記追加正解データとを用いて、複数のモデルの訓練を行う処理をコンピュータに実行させる。
【発明の効果】
【0012】
本発明によれば、重要シーンについて、関連する周辺のシーンを含むダイジェスト映像を生成することが可能なとなる。
【図面の簡単な説明】
【0013】
【図1】実施形態に係るダイジェスト生成装置の全体構成を示す。
【図2】ダイジェスト映像の例を示す。
【図3】ダイジェスト生成装置の訓練時及び推論時の構成を示す。
【図4】ダイジェスト生成装置のハードウェア構成を示すブロック図である。
【図5】第１実施形態で使用する複数の生成モデルの処理を模式的に示す。
【図6】第１実施形態において各モデルが算出した重要度を統合する例を示す。
【図7】第１実施形態に係る訓練装置１の機能構成を示すブロック図である。
【図8】第１実施形態の訓練装置による訓練処理のフローチャートである。
【図9】第１実施形態に係るダイジェスト生成装置の機能構成を示すブロック図である。
【図10】第１実施形態のダイジェスト生成処理のフローチャートである。
【図11】第２実施形態で使用する複数の生成モデルの処理を模式的に示す。
【図12】第２実施形態に係る訓練装置の機能構成を示すブロック図である。
【図13】第２実施形態の訓練処理のフローチャートである。
【図14】第２実施形態に係るダイジェスト生成装置の機能構成を示すブロック図である。
【図15】第２実施形態のダイジェスト生成処理のフローチャートである。
【図16】第３実施形態に係る映像処理装置及び訓練装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【0014】
以下、図面を参照して、本発明の好適な実施形態について説明する。
＜基本構成＞
まず、実施形態に係るダイジェスト生成装置の基本構成について説明する。
［全体構成］
図１は、実施形態に係るダイジェスト生成装置１００の全体構成を示す。ダイジェスト生成装置１００は、素材映像データベース（以下、「データベース」を「ＤＢ」とも記す。）２に接続されている。素材映像ＤＢ２は、各種の素材映像、即ち、動画像を記憶している。素材映像は、例えば放送局から放送されるテレビ番組などの映像でもよく、インターネットなどで配信されている映像でもよい。なお、素材映像は、音声を含んでいてもよく、含んでいなくてもよい。
＜基本構成＞
まず、実施形態に係るダイジェスト生成装置の基本構成について説明する。
［全体構成］
図１は、実施形態に係るダイジェスト生成装置１００の全体構成を示す。ダイジェスト生成装置１００は、素材映像データベース（以下、「データベース」を「ＤＢ」とも記す。）２に接続されている。素材映像ＤＢ２は、各種の素材映像、即ち、動画像を記憶している。素材映像は、例えば放送局から放送されるテレビ番組などの映像でもよく、インターネットなどで配信されている映像でもよい。なお、素材映像は、音声を含んでいてもよく、含んでいなくてもよい。
【0015】
ダイジェスト生成装置１００は、素材映像ＤＢ２に保存されている素材映像の一部を用いるダイジェスト映像を生成し、出力する。ダイジェスト映像は、素材映像における重要シーンを時系列につなげた映像である。ダイジェスト生成装置１００は、機械学習により訓練済みのダイジェスト生成モデル（以下、単に「生成モデル」とも呼ぶ。）を用いてダイジェスト映像を生成する。生成モデルとしては、例えば、ニューラルネットワークを用いたモデルを用いることができる。
【0016】
図２は、ダイジェスト映像の例を示す。図２の例では、ダイジェスト生成装置１００は、素材映像に含まれるシーンＡ～Ｄを重要シーンとして抽出し、これらを時系列につなげたダイジェスト映像を生成する。なお、素材映像から抽出された重要シーンは、その内容次第で、ダイジェスト映像中で繰り返し使用されてもよい。
【0017】
［機能構成］
図３（Ａ）は、ダイジェスト生成装置１００が使用する生成モデルを訓練するための構成を示すブロック図である。生成モデルの訓練には、予め用意された訓練データセットが使用される。訓練データセットは、訓練用素材映像と、訓練用素材映像に対する正解を示す正解データのペアである。正解データは、訓練用素材映像における重要シーンの位置に正解を示すタグ（以下、「正解タグ」と呼ぶ。）を付与したデータである。典型的には、正解データにおける正解タグの付与は、経験のある編集者などにより行われる。例えば野球中継の素材映像については、野球解説者などが試合中のハイライトシーンなどを選択し、正解タグを付与する。なお、編集者による正解タグの付与方法を機械学習などで学習し、正解タグを自動的に付与してもよい。
図３（Ａ）は、ダイジェスト生成装置１００が使用する生成モデルを訓練するための構成を示すブロック図である。生成モデルの訓練には、予め用意された訓練データセットが使用される。訓練データセットは、訓練用素材映像と、訓練用素材映像に対する正解を示す正解データのペアである。正解データは、訓練用素材映像における重要シーンの位置に正解を示すタグ（以下、「正解タグ」と呼ぶ。）を付与したデータである。典型的には、正解データにおける正解タグの付与は、経験のある編集者などにより行われる。例えば野球中継の素材映像については、野球解説者などが試合中のハイライトシーンなどを選択し、正解タグを付与する。なお、編集者による正解タグの付与方法を機械学習などで学習し、正解タグを自動的に付与してもよい。
【0018】
訓練時には、訓練用素材映像が生成モデルＭに入力される。生成モデルＭは、素材映像から重要シーンを抽出する。具体的には、生成モデルＭは、素材映像を構成する１枚又は複数のフレームの集合から特徴量を抽出し、抽出した特徴量に基づいて素材映像に対する重要度（重要度スコア）を算出する。そして、生成モデルＭは、重要度が予め決められた閾値以上である部分を重要シーンとして出力する。訓練部４は、生成モデルＭの出力と、正解データとを用いて、生成モデルＭを最適化する。具体的には、訓練部４は、生成モデルＭが出力した重要シーンと、正解データに含まれる正解タグが示すシーンとを比較し、その誤差（損失）を小さくするように生成モデルＭのパラメータを更新する。こうして得られた訓練済みの生成モデルＭは、編集者が正解タグを付与したシーンに近いシーンを素材映像から重要シーンとして抽出することができるようになる。
【0019】
図３（Ｂ）は、ダイジェスト生成装置１００による推論時の構成を示す。推論時には、ダイジェスト映像の生成の対象となる素材映像が訓練済みの生成モデルＭに入力される。生成モデルＭは、素材映像から重要度を算出し、重要度が予め決められた閾値以上である部分を重要シーンとして抽出し、ダイジェスト生成部５に出力する。ダイジェスト生成部５は、生成モデルＭが抽出した重要シーンをつなげてダイジェスト映像を生成し、出力する。こうして、ダイジェスト生成装置１００は、訓練済みの生成モデルＭを用いて、素材映像からダイジェスト映像を生成する。
【0020】
［ハードウェア構成］
図４は、ダイジェスト生成装置１００のハードウェア構成を示すブロック図である。図示のように、ダイジェスト生成装置１００は、インタフェース（ＩＦ）１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５とを備える。
図４は、ダイジェスト生成装置１００のハードウェア構成を示すブロック図である。図示のように、ダイジェスト生成装置１００は、インタフェース（ＩＦ）１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、データベース（ＤＢ）１５とを備える。
【0021】
ＩＦ１１は、外部装置との間でデータの入出力を行う。具体的に、素材映像ＤＢ２に保存されている素材映像はＩＦ１１を介してダイジェスト生成装置１００に入力される。また、ダイジェスト生成装置１００により生成されたダイジェスト映像は、ＩＦ１１を通じて外部装置へ出力される。
【0022】
プロセッサ１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、ダイジェスト生成装置１００の全体を制御する。具体的に、プロセッサ１２は、後述する訓練処理、及び、ダイジェスト生成処理を実行する。
【0023】
メモリ１３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される。メモリ１３は、プロセッサ１２による各種の処理の実行中に作業メモリとしても使用される。
【0024】
記録媒体１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、ダイジェスト生成装置１００に対して着脱可能に構成される。記録媒体１４は、プロセッサ１２が実行する各種のプログラムを記録している。ダイジェスト生成装置１００が各種の処理を実行する際には、記録媒体１４に記録されているプログラムがメモリ１３にロードされ、プロセッサ１２により実行される。
【0025】
データベース１５は、ＩＦ１１を通じて入力された素材映像、ダイジェスト生成装置１００が生成したダイジェスト映像などを一時的に記憶する。また、データベース１５は、ダイジェスト生成装置１００が使用する訓練済みの生成モデルの情報、及び、生成モデルの訓練に用いられる訓練データセットなどを記憶する。なお、ダイジェスト生成装置１００は、作成者が指示や入力を行うためのキーボード、マウスなどの入力部、及び、液晶ディスプレイなどの表示部を備えていてもよい。
【0026】
＜第１実施形態＞
次に、本発明の第１実施形態について説明する。
［原理説明］
第１実施形態は、正解タグの時間的な位置をシフトした正解データを用いて訓練した複数の生成モデルを用いて、重要シーンの周辺を含むダイジェスト映像を生成するものである。図５は、第１実施形態で使用する複数の生成モデルの処理を模式的に示す。前述のように、訓練用素材映像に対して正解タグＣＴが付与された正解データ（以下、「基本正解データ」と呼ぶ。）が用意される。基本の生成モデル（以下、「基本モデル」と呼ぶ。）は、基本正解データを用いて訓練され、グラフ８１に示す重要度を算出する。基本モデルは、基本正解データにおける正解タグＣＴに対応する位置で高い重要度を出力する。
次に、本発明の第１実施形態について説明する。
［原理説明］
第１実施形態は、正解タグの時間的な位置をシフトした正解データを用いて訓練した複数の生成モデルを用いて、重要シーンの周辺を含むダイジェスト映像を生成するものである。図５は、第１実施形態で使用する複数の生成モデルの処理を模式的に示す。前述のように、訓練用素材映像に対して正解タグＣＴが付与された正解データ（以下、「基本正解データ」と呼ぶ。）が用意される。基本の生成モデル（以下、「基本モデル」と呼ぶ。）は、基本正解データを用いて訓練され、グラフ８１に示す重要度を算出する。基本モデルは、基本正解データにおける正解タグＣＴに対応する位置で高い重要度を出力する。
【0027】
これに加えて、第１実施形態では、基本正解データにおける正解タグの位置を時間軸上で所定時間シフトした正解データ（以下、「追加正解データ」と呼ぶ。）を作り、それらを用いて別の生成モデル（以下、「シフトモデル」とも呼ぶ。）を訓練する。図５の例では、正解タグの位置を時間軸上で前に１秒にシフトした正解データを用いてシフトモデル（以下、「－１秒モデル」と呼ぶ。）を訓練する。こうすると、図５に示すように、－１秒モデルが算出する重要度スコア８２は、正解タグＣＴより時間的に前の位置で大きな値となる。即ち、－１秒モデルは、基本正解データにおける正解タグの位置より１秒前の部分を検出するように訓練され、重要シーンの１秒前を検出するモデルとなる。言い換えると、－１秒モデルが検出したシーンの１秒後に重要シーンが存在することになる。
【0028】
図５の例では、さらに正解タグの位置を時間軸上で後に１秒にシフトした正解データを用いて別のシフトモデル（以下、「＋１秒モデル」と呼ぶ。）を訓練する。こうすると、図５に示すように、＋１秒モデルが算出する重要度スコア８３は、正解タグＣＴより時間的に後の位置で大きな値となる。即ち、＋１秒モデルは、基本正解データにおける正解タグの位置より１秒後の部分を検出するように訓練され、重要シーンの１秒後を検出するモデルとなる。言い換えると、＋１秒モデルが検出したシーンの１秒後に重要シーンが存在することになる。
【0029】
このように、基本正解データにおける正解タグの位置を時間軸上で前後に所定時間（Ｎ秒）シフトした追加正解データを用いて別の生成モデルを訓練することにより、重要シーンから前後に所定時間ずれたシーンを抽出することができる。
【0030】
こうして複数のモデルを訓練した後、推論時においては、ダイジェスト生成装置１００は、各モデルが出力した重要度を統合して重要シーンを抽出する。具体的には、ダイジェスト生成装置１００は、基本モデルとシフトモデルが算出した重要度を加算する。その際、各シフトモデルが算出した重要度は、基本正解データにおける正解タグの位置に対応する重要度として加算される。図６は、各モデルが算出した重要度を統合する例を示す。基本モデルが算出した重要度８１は基準として用いられる。－１秒モデルが算出した重要度スコア８２は、破線８２ｘで示すように、時間軸上で後ろに１秒シフトした後、基本モデルが算出した重要度８１に加算される。また、＋１秒モデルが算出した重要度８３は、破線８３ｘで示すように、時間軸上で前に１秒シフトした後、基本モデルが算出した重要度８１に加算される。
【0031】
こうして、シフトモデルが高い重要度を算出すると、その重要度は、シフト前の正解タグの位置における重要度として加算される。これにより、重要シーンの周辺に関連するシーンがある場合、その関連シーンの重要度が重要シーンの重要度に加算され、図６に示すように、統合後の重要度が重要シーンの前後でも高くなる。その結果、重要シーンと、その周辺にある関連シーンを含む映像区間が重要シーンとして抽出されやすくなる。
【0032】
具体例として、訓練用素材映像が野球中継の映像であり、ホームランシーンを含むものとする。その素材映像は打者がホームランを打つシーン（以下、「ボールヒットシーン」と呼ぶ。）の前に投手の投球シーンを含んでいるものとする。基本正解データでは、ボールヒットシーンに正解タグが付与されているとする。この場合、基本モデルは、ボールヒットシーンで高い重要度を算出する。ここで、ボールヒットシーンの１秒前に投手の投球シーンがあると仮定すると、－１秒モデルは、投手の投球シーンを検出して高い重要度を算出する。この重要度は、基本モデルがボールヒットシーンで算出した重要度に加算される。同様に、ボールヒットシーンの１秒後に打者のベースランシーンがあると仮定すると、＋１秒モデルは、ベースランシーンを検出して高い重要度を算出する。この重要度は、基本モデルがボールヒットシーンで算出した重要度に加算される。このように、第１実施形態では、素材映像において、ボールヒットシーンの周辺に投球シーンやベースランシーンなどの関連シーンがあると、ボールヒットシーンの重要度スコアが増加し、その結果、周辺シーンも含めて重要シーンを抽出することが可能になる。
【0033】
［訓練装置］
（機能構成）
図７は、第１実施形態に係る訓練装置１１０の機能構成を示すブロック図である。訓練装置１１０は、基本モデル及びシフトモデルを訓練する装置であり、基本モデル２１ａと、複数のシフトモデル２１ｂ～２１ｎと、訓練部２２ａ～２２ｎと、正解生成部２３と、を備える。基本モデル２１ａは、前述のように基本正解データを用いて訓練される生成モデルであり、シフトモデル２１ｂ～２１ｎは、基本正解データを時間軸上で所定時間シフトした正解データを用いて訓練される生成モデルである。
（機能構成）
図７は、第１実施形態に係る訓練装置１１０の機能構成を示すブロック図である。訓練装置１１０は、基本モデル及びシフトモデルを訓練する装置であり、基本モデル２１ａと、複数のシフトモデル２１ｂ～２１ｎと、訓練部２２ａ～２２ｎと、正解生成部２３と、を備える。基本モデル２１ａは、前述のように基本正解データを用いて訓練される生成モデルであり、シフトモデル２１ｂ～２１ｎは、基本正解データを時間軸上で所定時間シフトした正解データを用いて訓練される生成モデルである。
【0034】
正解生成部２３は、予め用意された基本正解データをそのまま訓練部２２ａに出力する。また、正解生成部２３は、基本正解データを時間軸上で前又は後に所定時間シフトして追加正解データを生成し、シフトモデル２１ｂ～２１ｎへ出力する。例えば、シフトモデル２１ｂが前述の－１秒モデルである場合、正解生成部２３は、基本正解データを時間軸上で前に１秒シフトした追加正解データを生成し、訓練部２２ｂに出力する。また、シフトモデル２１ｃが前述の＋１秒モデルである場合、正解生成部２３は、基本正解データを時間軸上の後に１秒シフトした追加正解データを生成し、訓練部２２ｃに出力する。
【0035】
基本モデル２１ａ及びシフトモデル２１ｂ～２１ｎには、訓練用素材映像が入力される。基本モデル２１ａ及びシフトモデル２１ｂ～２１ｎは、入力された訓練用素材映像から重要度を算出し、訓練部２２ａ～２２ｎに出力する。訓練部２２ａは、基本モデル２１ａが出力した重要度と、基本正解データとを用いて、基本モデル２１ａを最適化する。具体的には、訓練部２２ａは、基本モデル２１ａが出力した重要度に基づいて重要シーンを抽出し、基本正解データに含まれる正解タグと比較して損失を算出し、損失が小さくなるように基本モデルの２１ａのパラメータを更新する。同様に、訓練部２２ｂ～２２ｎは、シフトモデル２１ｂ～２１ｎが出力した重要度と、正解生成部２３が生成した追加正解データとを用いて、シフトモデル２１ｂ～２１ｎを最適化する。具体的には、訓練部２２ｂ～２２ｎは、シフトモデル２１ｂ～２１ｎが出力した重要度に基づいて重要シーンを抽出し、正解生成部２３が生成した追加正解データに含まれる正解タグと比較して損失を算出し、損失が小さくなるようにシフトモデル２１ｂ～２１ｎのパラメータをそれぞれ更新する。こうして、基本モデル２１ａと、－１秒モデル、＋１秒モデルなどのシフトモデル２１ｂ～２１ｎが訓練される。
【0036】
上記の構成において、正解生成部２３は正解データ取得手段及び正解データ生成手段の一例であり、訓練部２２ａ～２２ｎは訓練手段の一例である。
【0037】
（訓練処理）
図８は、訓練装置１１０による訓練処理のフローチャートである。この処理は、実際には図４に示すプロセッサ１２が予め用意されたプログラムを実行し、図７に示す各要素として動作することにより実現される。まず、正解生成部２３は、基本正解データから各シフトモデル２１ｂ～２１ｎ用の追加正解データを生成する（ステップＳ１１）。次に、基本モデル２１ａ及び各シフトモデル２１ｂ～２１ｎは、訓練用素材映像から重要度を算出する（ステップＳ１２）。次に、訓練部２２ａ～２２ｎは、各モデルから出力された重要度と、正解生成部２３から入力された正解データとを用いて各モデルを最適化する（ステップＳ１３）。
図８は、訓練装置１１０による訓練処理のフローチャートである。この処理は、実際には図４に示すプロセッサ１２が予め用意されたプログラムを実行し、図７に示す各要素として動作することにより実現される。まず、正解生成部２３は、基本正解データから各シフトモデル２１ｂ～２１ｎ用の追加正解データを生成する（ステップＳ１１）。次に、基本モデル２１ａ及び各シフトモデル２１ｂ～２１ｎは、訓練用素材映像から重要度を算出する（ステップＳ１２）。次に、訓練部２２ａ～２２ｎは、各モデルから出力された重要度と、正解生成部２３から入力された正解データとを用いて各モデルを最適化する（ステップＳ１３）。
【0038】
次に、訓練装置１１０は、訓練終了条件が具備されたか否かを判定する（ステップＳ１４）。訓練終了条件とは、例えば予め用意された訓練データセットを全て使用したこと、訓練部２２ａ～２２ｎが算出する損失の値が所定範囲内に収束したことなどである。こうして訓練終了条件が具備されるまで、基本モデル２１ａ及びシフトモデル２１ｂ～２１ｎの訓練が行われ、訓練終了条件が具備されると、訓練処理は終了する。
【0039】
［ダイジェスト生成装置］
（機能構成）
図９は、第１実施形態に係るダイジェスト生成装置１２０の機能構成を示すブロック図である。ダイジェスト生成装置１２０は、基本モデル２１ａと、シフトモデル２１ｂ～２１ｎと、重要度統合部２４と、ダイジェスト生成部２５とを備える。なお、基本モデル２１ａと、シフトモデル２１ｂ～２１ｎは、上記の訓練装置１１０により訓練済みのモデルである。
（機能構成）
図９は、第１実施形態に係るダイジェスト生成装置１２０の機能構成を示すブロック図である。ダイジェスト生成装置１２０は、基本モデル２１ａと、シフトモデル２１ｂ～２１ｎと、重要度統合部２４と、ダイジェスト生成部２５とを備える。なお、基本モデル２１ａと、シフトモデル２１ｂ～２１ｎは、上記の訓練装置１１０により訓練済みのモデルである。
【0040】
基本モデル２１ａ及びシフトモデル２１ｂ～２１ｎには、ダイジェスト映像を生成する対象となる素材映像が入力される。基本モデル２１ａは、素材映像から重要度を算出し、重要度統合部２４に出力する。同様に、シフトモデル２１ｂ～２１ｎは、それぞれ素材映像から重要度を算出し、重要度統合部２４に出力する。
【0041】
重要度統合部２４は、各シフトモデル２１ｂ～２１ｎが算出した重要度を、基本正解データにおける時間軸に一致させて、基本モデル２１ａが算出した重要度に加算する。具体的に、重要度統合部２４は、－１秒モデルであるシフトモデル２１ｂが算出した重要度を、１秒遅らせて基本モデル２１ａが算出した重要度に加算する。同様に、重要度統合部２４は、＋１秒モデルであるシフトモデル２１ｃが算出した重要度を、１秒進めて基本モデル２１ａが算出した重要度に加算する。こうして、重要度統合部２４は、基本モデル２１ａ及びシフトモデル２１ｂ～２１ｎが算出した重要度を統合し、予め決められた閾値以上であるシーンを重要シーンとして抽出してダイジェスト生成部２５に出力する。
【0042】
ダイジェスト生成部２５は、重要度統合部２４が抽出した重要シーンを時系列につなげてダイジェスト映像を生成し、出力する。このように、第１実施形態のダイジェスト生成装置１２０では、重要シーンの周辺に存在する関連シーンがシフトモデルにより検出され、関連シーンを含む映像区間が重要シーンとして抽出されるので、重要シーンの前後に存在するシーンを含めたダイジェスト映像を生成することが可能となる。
【0043】
上記の構成において、基本モデル２１ａ及びシフトモデル２１ｂ～２１ｎは重要度算出手段の一例であり、重要度統合部２４は重要度統合手段の一例であり、重要度統合部２４及びダイジェスト生成部２５は生成手段の一例である。
【0044】
（ダイジェスト生成処理）
図１０は、ダイジェスト生成装置１２０によるダイジェスト生成処理のフローチャートである。この処理は、実際には図４に示すプロセッサ１２が予め用意されたプログラムを実行し、図９に示す各要素として動作することにより実現される。
図１０は、ダイジェスト生成装置１２０によるダイジェスト生成処理のフローチャートである。この処理は、実際には図４に示すプロセッサ１２が予め用意されたプログラムを実行し、図９に示す各要素として動作することにより実現される。
【0045】
まず、基本モデル２１ａ及び各シフトモデル２１ｂ～２１ｎは、素材映像から重要度を算出し、重要度統合部２４に出力する（ステップＳ２１）。重要度統合部２４は、基本モデル２１ａ及びシフトモデル２１ｂ～２１ｎから入力された重要度を統合し、所定の閾値以上であるシーンを重要シーンとして抽出する（ステップＳ２２）。次に、ダイジェスト生成部２５は、抽出された重要シーンを時系列につなげてダイジェスト映像を生成する（ステップＳ２３）。そして、処理は終了する。
【0046】
＜第２実施形態＞
次に、本発明の第２実施形態について説明する。
［原理説明］
第２実施形態は、素材映像を所定時間幅の映像区間の集合として構成するとともに、正解データにも同じ所定時間幅の単位で正解タグを付与する。そして、異なる時間幅の正解タグが付与された正解データを用いて複数の生成モデルを訓練する。図１１は、第２実施形態で使用する複数の生成モデルの処理を模式的に示す。図１１の例では、２秒幅モデルと、５秒幅モデルと、１０秒幅モデルが生成される。
次に、本発明の第２実施形態について説明する。
［原理説明］
第２実施形態は、素材映像を所定時間幅の映像区間の集合として構成するとともに、正解データにも同じ所定時間幅の単位で正解タグを付与する。そして、異なる時間幅の正解タグが付与された正解データを用いて複数の生成モデルを訓練する。図１１は、第２実施形態で使用する複数の生成モデルの処理を模式的に示す。図１１の例では、２秒幅モデルと、５秒幅モデルと、１０秒幅モデルが生成される。
【0047】
具体的には、まず前述のように、訓練用素材映像に対して正解タグＣＴが付与された基本正解データが用意される。次に、訓練用素材映像から、異なる時間幅の映像区間により構成される素材映像が生成される。図１１の例では、訓練用素材映像を２秒幅に区切り２秒幅の訓練用素材映像が生成される。同様に、５秒幅の訓練用素材映像と、１０秒幅の訓練用素材映像も生成される。次に、２秒幅の訓練素材映像に対して、基本正解データを参照して２秒幅の正解タグが付与された２秒幅の正解データが生成される。同様に、５秒幅の訓練素材映像に対して、基本正解データを参照して５秒幅の正解タグが付与された５秒幅の正解データが生成される。また、１０秒幅の訓練素材映像に対して、基本正解データを参照して１０秒幅の正解タグが付与された１０秒幅の正解データが生成される。
【0048】
こうして、各時間幅の訓練用素材映像及び正解データが生成されると、それらを用いて、各生成モデルの訓練が行われる。具体的に、２秒幅の訓練用素材映像と２秒幅の正解データとを用いて、２秒幅の生成モデル（以下、「２秒幅モデル」と呼ぶ。）が訓練される。同様に、５秒幅の生成モデル（以下、「５秒幅モデル」と呼ぶ。）、及び、１０秒幅の生成モデル（以下、「１０秒幅モデル」と呼ぶ。）も訓練される。こうして、時間幅の異なる複数の訓練済み生成モデルが得られる。こうして得られた２秒幅モデルは、素材映像に含まれる２秒程度のイベントを重要シーンとして抽出する能力を有するものとなる。同様に、５秒幅モデルは５秒程度のイベントを重要シーンとして抽出する能力を有し、１０秒幅モデルは、１０秒程度のイベントを重要シーンとして抽出する能力を有するものとなる。よって、時間幅の異なる複数の生成モデルを使用することにより、素材映像に含まれる時間幅の異なるイベントを重要シーンとして抽出することが可能となる。
【0049】
推論時、即ちダイジェスト映像の生成時には、図１１に示すように、対象となる素材映像から各生成モデルが重要度を算出し、それらを統合した重要度に基づいて重要シーンが抽出される。これにより、素材映像から２秒幅、５秒幅、１０秒幅などの異なる時間幅の重要シーンを抽出することが可能となる。例えば、前述のホームランシーンの例では、ボールヒットシーンに加えて、その周辺の投球シーンやベースランシーンも重要シーンとして抽出することが可能となる。
【0050】
［訓練装置］
（機能構成）
図１２は、第２実施形態に係る訓練装置１３０の機能構成を示すブロック図である。訓練装置１３０は、生成モデルを訓練する装置であり、映像調整部４０と、複数の生成モデル４１ａ～４１ｎと、訓練部４２ａ～４２ｎと、正解生成部４３と、を備える。なお、生成モデル４１ａは２秒幅モデルであり、生成モデル４１ｂは５秒幅モデルであり、生成モデル４１ｃは１０秒幅モデルであり、生成モデル４１ｎはＮ秒幅モデルであるとする。
（機能構成）
図１２は、第２実施形態に係る訓練装置１３０の機能構成を示すブロック図である。訓練装置１３０は、生成モデルを訓練する装置であり、映像調整部４０と、複数の生成モデル４１ａ～４１ｎと、訓練部４２ａ～４２ｎと、正解生成部４３と、を備える。なお、生成モデル４１ａは２秒幅モデルであり、生成モデル４１ｂは５秒幅モデルであり、生成モデル４１ｃは１０秒幅モデルであり、生成モデル４１ｎはＮ秒幅モデルであるとする。
【0051】
映像調整部４０は、訓練用素材映像を２秒の映像区間に区切って２秒幅の素材映像を生成し、生成モデル４１ａに出力する。同様に、映像調整部４０は、訓練用の素材映像から５秒幅、１０秒幅～Ｎ秒幅の素材映像を生成し、それぞれ生成モデル４１ｂ～４１ｎに出力する。
【0052】
正解生成部４３は、予め用意された基本正解データから、２秒幅の正解タグを付与した正解データを生成し、訓練部４２ａに出力する。同様に、正解生成部４３は、基本正解データから、５秒幅、１０秒幅～Ｎ秒幅の正解タグを付与した正解データを生成し、それぞれ訓練部４２ｂ～４２ｎに出力する。
【0053】
生成モデル４１ａ～４１ｎは、入力された訓練用素材映像からそれぞれ重要度を算出し、訓練部４２ａ～４２ｎに出力する。訓練部４２ａは、生成モデル４１ａが出力した重要度と、２秒幅の正解データとを用いて、生成モデル４１ａを最適化する。具体的には、訓練部４２ａは、生成モデル４１ａが出力した重要度に基づいて重要シーンを抽出し、２秒幅の正解データに含まれる正解タグと比較して損失を算出し、損失が小さくなるように生成モデル４１ａのパラメータを更新する。同様に、訓練部４２ｂ～４２ｎは、生成モデル４１ｂ～４１ｎが出力した重要度と、正解生成部４３が生成した各時間幅の正解データとを用いて、生成モデル４１ｂ～４１ｎを最適化する。具体的には、訓練部４２ｂ～４２ｎは、生成モデル４１ｂ～４１ｎが出力した重要度に基づいて重要シーンを抽出し、正解生成部２３が生成した各時間幅の正解データに含まれる正解タグと比較して損失を算出し、損失が小さくなるように生成モデル４１ｂ～４１ｎのパラメータを更新する。こうして、生成モデル４１ａ～４１ｎが訓練される。
【0054】
上記の構成において、正解生成部４３は、正解データ取得手段及び正解データ生成手段の一例であり、訓練部４２ａ～４２ｎは訓練手段の一例である。
【0055】
（訓練処理）
図１３は、訓練装置１３０による訓練処理のフローチャートである。この処理は、実際には図４に示すプロセッサ１２が予め用意されたプログラムを実行し、図１２に示す各要素として動作することにより実現される。まず、映像調整部４０は、訓練用素材映像から、生成モデル４１ａ～４１ｎのそれぞれに対応する時間幅の素材映像を生成し、生成モデル４１ａ～４１ｎに出力する（ステップＳ３１）。次に、正解生成部４３は、基本正解データから各生成モデル４１ａ～４１ｎ用の正解データを生成する（ステップＳ３２）。次に、生成モデル４１ａ～４１ｎは、入力された素材映像から重要度を算出する（ステップＳ３３）。次に、訓練部４２ａ～４２ｎは、各生成モデル４１ａ～４１ｎから出力された重要度と、正解生成部２３から入力された正解データとを用いて各生成モデル４１ａ～４１ｎを最適化する（ステップＳ３４）。
図１３は、訓練装置１３０による訓練処理のフローチャートである。この処理は、実際には図４に示すプロセッサ１２が予め用意されたプログラムを実行し、図１２に示す各要素として動作することにより実現される。まず、映像調整部４０は、訓練用素材映像から、生成モデル４１ａ～４１ｎのそれぞれに対応する時間幅の素材映像を生成し、生成モデル４１ａ～４１ｎに出力する（ステップＳ３１）。次に、正解生成部４３は、基本正解データから各生成モデル４１ａ～４１ｎ用の正解データを生成する（ステップＳ３２）。次に、生成モデル４１ａ～４１ｎは、入力された素材映像から重要度を算出する（ステップＳ３３）。次に、訓練部４２ａ～４２ｎは、各生成モデル４１ａ～４１ｎから出力された重要度と、正解生成部２３から入力された正解データとを用いて各生成モデル４１ａ～４１ｎを最適化する（ステップＳ３４）。
【0056】
次に、訓練装置１３０は、訓練終了条件が具備されたか否かを判定する（ステップＳ３５）。訓練終了条件とは、例えば予め用意された訓練データセットを全て使用したこと、訓練部４２ａ～４２ｎが算出する損失の値が所定範囲内に収束したことなどである。こうして訓練終了条件が具備されるまで、生成モデル４１ａ～４１ｎの訓練が行われ、訓練終了条件が具備されると、訓練処理は終了する。
【0057】
［ダイジェスト生成装置］
（機能構成）
図１４は、第２実施形態に係るダイジェスト生成装置１４０の機能構成を示すブロック図である。ダイジェスト生成装置１４０は、映像調整部４０と、生成モデル４１ａ～４１ｎと、重要度統合部４４と、ダイジェスト生成部４５とを備える。なお、生成モデル４１ａ～４１ｎは、上記の訓練装置１３０により訓練済みのモデルである。
（機能構成）
図１４は、第２実施形態に係るダイジェスト生成装置１４０の機能構成を示すブロック図である。ダイジェスト生成装置１４０は、映像調整部４０と、生成モデル４１ａ～４１ｎと、重要度統合部４４と、ダイジェスト生成部４５とを備える。なお、生成モデル４１ａ～４１ｎは、上記の訓練装置１３０により訓練済みのモデルである。
【0058】
映像調整部４０は、ダイジェスト映像の生成の対象となる素材映像から、２秒幅、５秒幅、１０秒幅～Ｎ秒幅の素材映像を生成し、それぞれ生成モデル４１ａ～４１ｎに出力する。生成モデル４１ａ～４１ｎは、入力された素材映像から重要度を算出し、重要度統合部４４に出力する。
【0059】
重要度統合部４４は、各生成モデル４１ａ～４１ｎが算出した重要度を統合する。具体的には、重要度統合部４４は、各生成モデル４１ａ～４１ｎが算出した重要度を加算し、加算により得られた重要度が予め決められた閾値以上であるシーンを重要シーンとして抽出してダイジェスト生成部４５に出力する。
【0060】
ダイジェスト生成部４５は、重要度統合部４４が抽出した重要シーンを時系列につなげてダイジェスト映像を生成し、出力する。第２実施形態のダイジェスト生成装置１４０では、素材映像に含まれる様々な時間幅のイベントが重要シーンとして抽出されるので、重要シーンの周辺に存在するシーンを含めたダイジェスト映像を生成することが可能となる。
【0061】
上記の構成において、生成モデル４１ａ～４１ｎは重要度算出手段の一例であり、重要度統合部４４は重要度統合手段の一例であり、重要度統合部４４及びダイジェスト生成部４５は生成手段の一例である。
【0062】
（ダイジェスト生成処理）
図１５は、ダイジェスト生成装置１４０によるダイジェスト生成処理のフローチャートである。この処理は、実際には図４に示すプロセッサ１２が予め用意されたプログラムを実行し、図１４に示す各要素として動作することにより実現される。
図１５は、ダイジェスト生成装置１４０によるダイジェスト生成処理のフローチャートである。この処理は、実際には図４に示すプロセッサ１２が予め用意されたプログラムを実行し、図１４に示す各要素として動作することにより実現される。
【0063】
まず、映像調整部４０は、対象となる素材映像から、生成モデル４１ａ～４１ｎのそれぞれに対応する時間幅の素材映像を生成し、生成モデル４１ａ～４１ｎに出力する（ステップＳ４１）。次に、生成モデル４１ａ～４１ｎは、入力された素材映像から重要度を算出し、重要度統合部４４に出力する（ステップＳ４２）。重要度統合部４４は、生成モデル４１ａ～４１ｎから入力された重要度を統合し、重要度が所定の閾値以上であるシーンを重要シーンとして抽出する（ステップＳ４３）。次に、ダイジェスト生成部４５は、抽出された重要シーンを時系列につなげてダイジェスト映像を生成する（ステップＳ４４）。そして、処理は終了する。
【0064】
＜第３実施形態＞
次に、本発明の第３実施形態について説明する。図１６（Ａ）は、第３実施形態に係る映像処理装置の機能構成を示すブロック図である。図示のように、映像処理装置６０は、映像取得手段６１と、重要度算出手段６２と、重要度統合手段６３と、生成手段６４とを備える。映像取得手段６１は、素材映像を取得する。重要度算出手段６２は、複数のモデルを用いて、素材映像における重要度を算出する。重要度統合手段６３は、複数のモデルを用いて算出された重要度を統合する。生成手段６４は、統合された重要度に基づいて素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成する。
次に、本発明の第３実施形態について説明する。図１６（Ａ）は、第３実施形態に係る映像処理装置の機能構成を示すブロック図である。図示のように、映像処理装置６０は、映像取得手段６１と、重要度算出手段６２と、重要度統合手段６３と、生成手段６４とを備える。映像取得手段６１は、素材映像を取得する。重要度算出手段６２は、複数のモデルを用いて、素材映像における重要度を算出する。重要度統合手段６３は、複数のモデルを用いて算出された重要度を統合する。生成手段６４は、統合された重要度に基づいて素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成する。
【0065】
図１６（Ｂ）は、第３実施形態に係る訓練装置の機能構成を示すブロック図である。図示のように、訓練装置７０は、映像取得手段７１と、正解データ取得手段７２と、正解データ生成手段７３と、訓練手段７４と、を備える。映像取得手段７１は、訓練用素材映像を取得する。正解データ取得手段７２は、訓練用素材映像における重要シーンに正解タグが付与された基本正解データを取得する。正解データ生成手段７３は、基本正解データから、異なるモデルの訓練に使用する追加正解データを生成する。訓練手段７４は、訓練用素材映像と、正解データとを用いて、前記複数のモデルの訓練を行う。
【0066】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0067】
（付記１）
素材映像を取得する映像取得手段と、
複数のモデルを用いて、前記素材映像における重要度を算出する重要度算出手段と、
前記複数のモデルを用いて算出された重要度を統合する重要度統合手段と、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成する生成手段と、
を備える映像処理装置。
素材映像を取得する映像取得手段と、
複数のモデルを用いて、前記素材映像における重要度を算出する重要度算出手段と、
前記複数のモデルを用いて算出された重要度を統合する重要度統合手段と、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成する生成手段と、
を備える映像処理装置。
【0068】
（付記２）
前記複数のモデルは、
前記素材映像のある時刻における重要度を、その時刻の映像に基づいて算出する基本モデルと、
前記素材映像のある時刻における重要度を、その時刻よりも所定時間前又は後の時刻の映像に基づいて算出する１又は複数のシフトモデルと、
を含む付記１に記載の映像処理装置。
前記複数のモデルは、
前記素材映像のある時刻における重要度を、その時刻の映像に基づいて算出する基本モデルと、
前記素材映像のある時刻における重要度を、その時刻よりも所定時間前又は後の時刻の映像に基づいて算出する１又は複数のシフトモデルと、
を含む付記１に記載の映像処理装置。
【0069】
（付記３）
前記基本モデルは、前記素材映像の重要シーンに正解タグが付与された基本正解データを用いて訓練された訓練済みモデルであり、
前記シフトモデルは、前記基本正解データにおける前記正解タグを所定時間前又は後にシフトしたシフト正解データを用いて訓練された訓練済みモデルである付記２に記載の映像処理装置。
前記基本モデルは、前記素材映像の重要シーンに正解タグが付与された基本正解データを用いて訓練された訓練済みモデルであり、
前記シフトモデルは、前記基本正解データにおける前記正解タグを所定時間前又は後にシフトしたシフト正解データを用いて訓練された訓練済みモデルである付記２に記載の映像処理装置。
【0070】
（付記４）
前記重要度統合手段は、前記シフトモデルが算出した重要度を、前記シフト正解データにおいて前記正解タグがシフトされた方向と逆方向に前記所定時間だけシフトして、前記基本モデルが算出した重要度に加算する付記３に記載の映像処理装置。
前記重要度統合手段は、前記シフトモデルが算出した重要度を、前記シフト正解データにおいて前記正解タグがシフトされた方向と逆方向に前記所定時間だけシフトして、前記基本モデルが算出した重要度に加算する付記３に記載の映像処理装置。
【0071】
（付記５）
前記複数のモデルは、前記素材映像の重要度を、異なる時間幅の単位で算出するモデルを含む付記１に記載の映像処理装置。
前記複数のモデルは、前記素材映像の重要度を、異なる時間幅の単位で算出するモデルを含む付記１に記載の映像処理装置。
【0072】
（付記６）
前記複数のモデルは、前記素材映像の重要シーンに異なる時間幅の単位で正解タグが付与された正解データを用いて訓練された訓練済みモデルである付記５に記載の映像処理装置。
前記複数のモデルは、前記素材映像の重要シーンに異なる時間幅の単位で正解タグが付与された正解データを用いて訓練された訓練済みモデルである付記５に記載の映像処理装置。
【0073】
（付記７）
前記重要度統合手段は、前記複数のモデルが算出した重要度を加算する付記５又は６に記載の映像処理装置。
前記重要度統合手段は、前記複数のモデルが算出した重要度を加算する付記５又は６に記載の映像処理装置。
【0074】
（付記８）
前記素材映像から、前記異なる時間幅の素材映像を生成して、対応する前記複数のモデルに出力する映像調整手段を備える付記５乃至７のいずれか一項に記載の映像処理装置。
前記素材映像から、前記異なる時間幅の素材映像を生成して、対応する前記複数のモデルに出力する映像調整手段を備える付記５乃至７のいずれか一項に記載の映像処理装置。
【0075】
（付記９）
素材映像を取得し、
複数のモデルを用いて、前記素材映像における重要度を算出し、
前記複数のモデルを用いて算出された重要度を統合し、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成する映像処理方法。
素材映像を取得し、
複数のモデルを用いて、前記素材映像における重要度を算出し、
前記複数のモデルを用いて算出された重要度を統合し、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成する映像処理方法。
【0076】
（付記１０）
素材映像を取得し、
複数のモデルを用いて、前記素材映像における重要度を算出し、
前記複数のモデルを用いて算出された重要度を統合し、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成する処理をコンピュータに実行させるプログラムを記録した記録媒体。
素材映像を取得し、
複数のモデルを用いて、前記素材映像における重要度を算出し、
前記複数のモデルを用いて算出された重要度を統合し、
統合された重要度に基づいて前記素材映像における重要シーンを抽出し、抽出された重要シーンを含むダイジェスト映像を生成する処理をコンピュータに実行させるプログラムを記録した記録媒体。
【0077】
（付記１１）
訓練用素材映像を取得する映像取得手段と、
前記訓練用素材映像における重要シーンに正解タグが付与された基本正解データを取得する正解データ取得手段と、
前記基本正解データから、異なるモデルの訓練に使用する追加正解データを生成する正解データ生成手段と、
前記訓練用素材映像と、前記正解データとを用いて、複数のモデルの訓練を行う訓練手段と、
を備える訓練装置。
訓練用素材映像を取得する映像取得手段と、
前記訓練用素材映像における重要シーンに正解タグが付与された基本正解データを取得する正解データ取得手段と、
前記基本正解データから、異なるモデルの訓練に使用する追加正解データを生成する正解データ生成手段と、
前記訓練用素材映像と、前記正解データとを用いて、複数のモデルの訓練を行う訓練手段と、
を備える訓練装置。
【0078】
（付記１２）
前記正解データ生成手段は、前記基本正解データにおける正解タグを所定時間前又は後にシフトして前記追加正解データを生成する付記１１に記載の訓練装置。
前記正解データ生成手段は、前記基本正解データにおける正解タグを所定時間前又は後にシフトして前記追加正解データを生成する付記１１に記載の訓練装置。
【0079】
（付記１３）
前記正解データ生成手段は、前記基本正解データに基づいて、各々が異なる時間幅の正解タグを含む前記追加正解データを生成する付記１１に記載の訓練装置。
前記正解データ生成手段は、前記基本正解データに基づいて、各々が異なる時間幅の正解タグを含む前記追加正解データを生成する付記１１に記載の訓練装置。
【0080】
（付記１４）
訓練用素材映像を取得し、
前記訓練用素材映像における重要シーンに正解タグが付与された基本正解データを取得し、
前記基本正解データから、異なるモデルの訓練に使用する追加正解データを生成し、
前記訓練用素材映像と、前記正解データとを用いて、複数のモデルの訓練を行う訓練方法。
訓練用素材映像を取得し、
前記訓練用素材映像における重要シーンに正解タグが付与された基本正解データを取得し、
前記基本正解データから、異なるモデルの訓練に使用する追加正解データを生成し、
前記訓練用素材映像と、前記正解データとを用いて、複数のモデルの訓練を行う訓練方法。
【0081】
（付記１５）
訓練用素材映像を取得し、
前記訓練用素材映像における重要シーンに正解タグが付与された基本正解データを取得し、
前記基本正解データから、異なるモデルの訓練に使用する追加正解データを生成し、
前記訓練用素材映像と、前記正解データとを用いて、複数のモデルの訓練を行う処理をコンピュータに実行させるプログラムを記録した記録媒体。
訓練用素材映像を取得し、
前記訓練用素材映像における重要シーンに正解タグが付与された基本正解データを取得し、
前記基本正解データから、異なるモデルの訓練に使用する追加正解データを生成し、
前記訓練用素材映像と、前記正解データとを用いて、複数のモデルの訓練を行う処理をコンピュータに実行させるプログラムを記録した記録媒体。
【0082】
以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0083】
２ 素材映像ＤＢ
３ 正解データ
４ 訓練部
５、２５ ダイジェスト生成部
１２ プロセッサ
２１ａ 基本モデル
２１ｂ～２１ｎ シフトモデル
２２ａ～２２ｎ、４２ａ～４２ｎ 訓練部
２３、４３ 正解生成部
２４、４４ 重要度統合部
４０ 映像調整部
４１ａ～４１ｎ 生成モデル
１００、１２０、１４０ ダイジェスト生成装置
１１０、１３０ 訓練装置
３ 正解データ
４ 訓練部
５、２５ ダイジェスト生成部
１２ プロセッサ
２１ａ 基本モデル
２１ｂ～２１ｎ シフトモデル
２２ａ～２２ｎ、４２ａ～４２ｎ 訓練部
２３、４３ 正解生成部
２４、４４ 重要度統合部
４０ 映像調整部
４１ａ～４１ｎ 生成モデル
１００、１２０、１４０ ダイジェスト生成装置
１１０、１３０ 訓練装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】