IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許7521579情報処理装置、映像配信システム、情報処理方法、及び、プログラム
<>
  • 特許-情報処理装置、映像配信システム、情報処理方法、及び、プログラム 図1
  • 特許-情報処理装置、映像配信システム、情報処理方法、及び、プログラム 図2
  • 特許-情報処理装置、映像配信システム、情報処理方法、及び、プログラム 図3
  • 特許-情報処理装置、映像配信システム、情報処理方法、及び、プログラム 図4
  • 特許-情報処理装置、映像配信システム、情報処理方法、及び、プログラム 図5
  • 特許-情報処理装置、映像配信システム、情報処理方法、及び、プログラム 図6
  • 特許-情報処理装置、映像配信システム、情報処理方法、及び、プログラム 図7
  • 特許-情報処理装置、映像配信システム、情報処理方法、及び、プログラム 図8
  • 特許-情報処理装置、映像配信システム、情報処理方法、及び、プログラム 図9
  • 特許-情報処理装置、映像配信システム、情報処理方法、及び、プログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-16
(45)【発行日】2024-07-24
(54)【発明の名称】情報処理装置、映像配信システム、情報処理方法、及び、プログラム
(51)【国際特許分類】
   H04N 5/91 20060101AFI20240717BHJP
   H04N 5/92 20060101ALI20240717BHJP
【FI】
H04N5/91
H04N5/92 010
【請求項の数】 10
(21)【出願番号】P 2022523760
(86)(22)【出願日】2020-05-18
(86)【国際出願番号】 JP2020019647
(87)【国際公開番号】W WO2021234779
(87)【国際公開日】2021-11-25
【審査請求日】2022-11-08
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延
(74)【代理人】
【識別番号】100104765
【弁理士】
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100131015
【弁理士】
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】菊池 克
(72)【発明者】
【氏名】渡辺 はるな
(72)【発明者】
【氏名】鍋藤 悠
(72)【発明者】
【氏名】白石 壮馬
【審査官】鈴木 順三
(56)【参考文献】
【文献】特開2013-175854(JP,A)
【文献】特開2005-107867(JP,A)
【文献】特開2006-005725(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/76 - 5/956
(57)【特許請求の範囲】
【請求項1】
素材映像を取得する映像取得手段と、
ダイジェスト映像を生成するための生成条件を作成者から取得する条件取得手段と、
前記生成条件に基づいて前記素材映像から生成されるダイジェスト映像の構造を示す構造情報を生成し、生成した構造情報と前記作成者に係る付属情報とをデータベースに記憶する生成手段と、
前記付属情報の一部を指定した前記構造情報の要求を受信すると、前記付属情報の一部に対応する構造情報を前記データベースから取得し、要求元へ取得した前記構造情報を送信する配信手段と、
を備える情報処理装置。
【請求項2】
前記生成条件は、前記作成者の属性、前記ダイジェスト映像の長さ、前記ダイジェスト映像に含めるべき対象物を特定する情報の少なくとも1つを含む請求項1に記載の情報処理装置。
【請求項3】
前記生成条件は、視聴者が前記ダイジェスト映像を視聴する時間帯、前記ダイジェスト映像の生成に使用する前記素材映像が生成された日時の少なくとも一方を含む請求項1又は2に記載の情報処理装置。
【請求項4】
前記生成手段は、前記生成条件に基づいて前記素材映像から複数の重要シーンを抽出し、
前記構造情報は、抽出された複数の重要シーンの映像を示す情報を含む請求項1乃至3のいずれか一項に記載の情報処理装置。
【請求項5】
前記生成手段は、前記素材映像に含まれる複数のシーン毎に特徴量を抽出し、前記生成条件に基づいて前記特徴量の重要度スコアを算出し、前記重要度スコアが所定の閾値より高いシーンを前記重要シーンとして抽出する請求項4に記載の情報処理装置。
【請求項6】
前記構造情報は、前記重要シーンに関連する関連映像を示す情報を含み、
前記関連映像は、前記重要シーンに関連する過去の映像、前記重要シーンに登場する対象物に関する映像、前記重要シーンに関連する解説映像の少なくとも1つを含む請求項4又は5に記載の情報処理装置。
【請求項7】
前記条件取得手段は、複数の作成者から生成条件を取得し、
前記生成手段は、前記複数の作成者から取得した生成条件に基づいて前記構造情報を生成する請求項1乃至6のいずれか一項に記載の情報処理装置。
【請求項8】
映像配信システムであって、
請求項1乃至7のいずれか一項に記載の情報処理装置と、
前記情報処理装置が生成した構造情報を記憶する構造情報データベースと、
前記素材映像を記憶する素材映像データベースと、
前記ダイジェスト映像を配信する配信装置と、を備え、
前記配信装置は、
再生装置から構造情報の要求を受信した場合に、要求された構造情報を前記構造情報データベースから取得して前記再生装置へ送信し、
前記再生装置から構造情報を指定して再生要求を受信した場合に、前記構造情報に含まれる重要シーンの映像を前記素材映像データベースから取得し、前記再生装置へ送信する映像配信システム。
【請求項9】
素材映像を取得し、
ダイジェスト映像を生成するための生成条件を作成者から取得し、
前記生成条件に基づいて前記素材映像から生成されるダイジェスト映像の構造を示す構造情報を生成し、生成した構造情報と前記作成者に係る付属情報とをデータベースに記憶し、
前記付属情報の一部を指定した前記構造情報の要求を受信すると、前記付属情報の一部に対応する構造情報を前記データベースから取得し、要求元へ取得した前記構造情報を送信する情報処理方法。
【請求項10】
素材映像を取得し、
ダイジェスト映像を生成するための生成条件を作成者から取得し、
前記生成条件に基づいて前記素材映像から生成されるダイジェスト映像の構造を示す構造情報を生成し、生成した構造情報と前記作成者に係る付属情報とをデータベースに記憶し、
前記付属情報の一部を指定した前記構造情報の要求を受信すると、前記付属情報の一部に対応する構造情報を前記データベースから取得し、要求元へ取得した前記構造情報を送信する処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像データの処理に関する。
【背景技術】
【0002】
放送局から放送される映像を自分の好みに応じて編集するための装置が知られている。例えば、特許文献1は、放送局から放送された映像のフレーム画像中でユーザが特定の被写体などを指定することにより、その映像の構図を自己の好みに合うように編集し、表示したり録画したりできるようにする映像編集装置を記載している。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2006-54512号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1の手法では、編集対象の映像を表示し、ユーザが関心のある被写体などを指定する操作が必要となり、編集作業には手間がかかる。
【0005】
本発明の1つの目的は、視聴者の属性や嗜好などに関する情報を与えることにより、視聴者の希望に合ったダイジェスト映像を生成することが可能な情報処理装置を提供することにある。
【課題を解決するための手段】
【0006】
本発明の一つの観点では、情報処理装置は、
素材映像を取得する映像取得手段と、
ダイジェスト映像を生成するための生成条件を作成者から取得する条件取得手段と、
前記生成条件に基づいて前記素材映像から生成されるダイジェスト映像の構造を示す構造情報を生成し、生成した構造情報と前記作成者に係る付属情報とをデータベースに記憶する生成手段と、
前記付属情報の一部を指定した前記構造情報の要求を受信すると、前記付属情報の一部に対応する構造情報を前記データベースから取得し、要求元へ取得した前記構造情報を送信する配信手段と、を備える。
【0007】
本発明の他の観点では、情報処理方法は、
素材映像を取得し、
ダイジェスト映像を生成するための生成条件を作成者から取得し、
前記生成条件に基づいて前記素材映像から生成されるダイジェスト映像の構造を示す構造情報を生成し、生成した構造情報と前記作成者に係る付属情報とをデータベースに記憶し、
前記付属情報の一部を指定した前記構造情報の要求を受信すると、前記付属情報の一部に対応する構造情報を前記データベースから取得し、要求元へ取得した前記構造情報を送信する。
【0008】
本発明の他の観点では、プログラムは、
素材映像を取得し、
ダイジェスト映像を生成するための生成条件を作成者から取得し、
前記生成条件に基づいて前記素材映像から生成されるダイジェスト映像の構造を示す構造情報を生成し、生成した構造情報と前記作成者に係る付属情報とをデータベースに記憶し、
前記付属情報の一部を指定した前記構造情報の要求を受信すると、前記付属情報の一部に対応する構造情報を前記データベースから取得し、要求元へ取得した前記構造情報を送信する処理をコンピュータに実行させる。
【発明の効果】
【0009】
本発明によれば、視聴者の属性や嗜好などに関する情報を与えることにより、視聴者の希望に合ったダイジェスト映像を生成することが可能となる。
【図面の簡単な説明】
【0010】
図1】第1実施形態に係るダイジェスト生成装置を示す。
図2】ダイジェスト生成装置のハードウェア構成を示すブロック図である。
図3】ダイジェスト生成装置の機能構成を示すブロック図である。
図4】素材映像から重要シーンを抽出する例を模式的に示す。
図5図4に示すダイジェスト映像の構造情報を示す。
図6】構造情報生成処理のフローチャートである。
図7】生成モデルの訓練を行う訓練装置の構成を示すブロック図である。
図8】生成モデルの訓練処理のフローチャートである。
図9】ダイジェスト映像の配信システムの概略構成を示すブロック図である。
図10】第2実施形態に係る情報処理装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して、本発明の好適な実施形態について説明する。
<第1実施形態>
[基本構成]
図1は、第1実施形態に係るダイジェスト生成装置100を示す。ダイジェスト生成装置100は、素材映像データベース(以下、「データベース」を「DB」とも記す。)2に接続されている。素材映像DB2は、各種の素材映像、即ち、動画像を記憶している。素材映像は、例えば放送局から放送されるテレビ番組などの映像でもよく、インターネットなどで配信されている映像でもよい。なお、素材映像は、音声を含んでいてもよく、含んでいなくてもよい。
【0012】
ダイジェスト生成装置100には、ダイジェスト映像を生成するための生成条件が入力される。生成条件は、作成者が希望するダイジェスト映像の特徴や傾向を示す情報である。具体的に、生成条件としては以下のものが挙げられる。
(1)作成者の属性
作成者の性別、年齢、居住地、国籍、家族構成、SNS(Social Network Service)のフォロー/フォロワーなど。
(2)作成者の注目する対象
作成者が関心を有する対象物。例えば、素材映像がスポーツの映像である場合、作成者が応援するチーム、選手など。素材映像がTVドラマや映画である場合、作成者が気に入っている俳優など。
(3)作成者がダイジェスト映像を見る時間帯
朝、昼、夕方、夜など。
(4)視聴時間幅(ダイジェスト映像の長さ)
5分、30分、60分など。
(5)使用する素材映像の期間
当日の素材映像、当日までの1週間の素材映像、2020年の素材映像、など。
【0013】
ダイジェスト生成装置100は、入力された生成条件に基づいて、素材映像DB2に保存されている素材映像の一部を用いるダイジェスト映像の構造を設計し、ダイジェスト映像の構造情報を出力する。詳細は後述するが、構造情報は、ダイジェスト映像に含まれる複数の映像を時系列で示す情報である。なお、ダイジェスト生成装置100は、個々のシーンの映像データを含むダイジェスト映像自体を出力するのではなく、ダイジェスト映像を再生するために必要な構造情報を出力する。ダイジェスト生成装置100は、機械学習により訓練済みのダイジェスト生成モデル(以下、単に「生成モデル」とも呼ぶ。)を用いてダイジェスト映像の構造情報を生成する。生成モデルは、例えば、ニューラルネットワークを用いたモデルである。
【0014】
[ハードウェア構成]
図2は、ダイジェスト生成装置100のハードウェア構成を示すブロック図である。図示のように、ダイジェスト生成装置100は、インタフェース(IF)11と、プロセッサ12と、メモリ13と、記録媒体14と、データベース(DB)15とを備える。
【0015】
IF11は、外部装置との間でデータの入出力を行う。具体的に、作成者によるダイジェスト映像の生成条件はIF11を介してダイジェスト生成装置100に入力される。素材映像DB2に保存されている素材映像もIF11を介してダイジェスト生成装置100に入力される。ダイジェスト生成装置100により生成された構造情報は、IF11を通じて外部装置へ出力される。
【0016】
プロセッサ12は、CPU(Central Processing Unit)などのコンピュータであり、予め用意されたプログラムを実行することにより、ダイジェスト生成装置100の全体を制御する。具体的に、プロセッサ12は、後述する構造情報生成処理、訓練処理を実行する。
【0017】
メモリ13は、ROM(Read Only Memory)、RAM(Random Access Memory)などにより構成される。メモリ13は、プロセッサ12による各種の処理の実行中に作業メモリとしても使用される。
【0018】
記録媒体14は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、ダイジェスト生成装置100に対して着脱可能に構成される。記録媒体14は、プロセッサ12が実行する各種のプログラムを記録している。ダイジェスト生成装置100が各種の処理を実行する際には、記録媒体14に記録されているプログラムがメモリ13にロードされ、プロセッサ12により実行される。
【0019】
データベース15は、IF11を通じて入力された生成条件及び素材映像、ダイジェスト生成装置100が生成した構造情報などを記憶する。また、データベース15は、ダイジェスト生成装置100が使用する訓練済みの生成モデルの情報、及び、生成モデルの訓練に用いられる訓練データなどを記憶する。なお、ダイジェスト生成装置100は、作成者が指示や入力を行うためのキーボード、マウスなどの入力部、及び、液晶ディスプレイなどの表示部を備えていてもよい。
【0020】
[機能構成]
図3は、ダイジェスト生成装置100の機能構成を示すブロック図である。ダイジェスト生成装置100は、特徴抽出部21と、重要シーン抽出部22と、構造情報生成部23とを備える。なお、実際には、ダイジェスト生成装置100は、これらの機能を有する生成モデルを用いて推論を行うことにより構造情報を生成する。
【0021】
特徴抽出部21は、素材映像DB2から取得した素材映像から特徴量を抽出する。この特徴量は、素材映像を構成する1枚のフレーム映像毎の特徴量の集合であってもよく、所定数のフレーム映像毎の特徴量の集合であってもよい。なお、映像からの特徴量の抽出手法としては種々の手法が存在するが、本実施形態における特徴量の抽出手法は特定の手法に限定されるものではなく、任意の手法を用いることができる。特徴抽出部21は、抽出した特徴量を重要シーン抽出部22に出力する。特徴抽出部21は映像取得手段の一例である。
【0022】
重要シーン抽出部22は、特徴抽出部21が抽出した特徴量に基づいて素材映像から複数のシーンを抽出して各シーンの重要度を判定し、重要度が高いシーンを重要シーンとして選択する。シーン毎の重要度は、例えば重要度スコアとして得られる。図4は、素材映像から重要シーンを抽出する例を模式的に示す。ある素材映像がある場合、重要シーン抽出部22は、素材映像中の複数のシーンにおける特徴量に基づき各シーンの重要度を判定し、重要度スコアが予め決められた閾値以上であるシーンを重要シーンとして抽出する。図4の例では、重要シーン抽出部22は、素材映像中のシーンA~Dを重要シーンとして抽出している。抽出された重要シーンA~Dは、ダイジェスト映像の一部として使用される。重要シーン抽出部22は条件取得手段の一例である。
【0023】
ここで、重要シーン抽出部22は、抽出した複数のシーンのうち、生成条件が示す項目との関連性が高いシーンを重要シーンとして抽出する。具体的には、重要シーン抽出部22は、生成条件が示す項目の観点で個々のシーンにおける特徴量を評価して重要度スコアを算出し、これを予め決められた閾値と比較して重要シーンを抽出する。例えば、重要シーン抽出部22は、生成条件に含まれる作成者の性別や年齢に基づき、同じ性別又は年齢の視聴者に関心の高い内容のシーンを重要シーンとして抽出する。また、重要シーン抽出部22は、作成者と同じ国籍の人物や作成者の居住地に近い地域が登場するシーンを重要シーンとして抽出したり、作成者の家族構成に子供が含まれる場合に子供が登場するシーンを重要シーンとして抽出したりする。また、素材映像がスポーツの試合である場合、重要シーン抽出部22は、作成者が応援するチームや選手が登場するシーンを重要シーンとして抽出する。このように、重要シーン抽出部22は、生成条件に基づいて、作成者の希望に近いシーンが含まれるように重要シーンを抽出する。重要シーン抽出部22は、抽出した重要シーンを示す重要シーン情報を構造情報生成部23に出力する。ここで、重要シーン情報は、素材映像を示すデータ名、及び、その素材映像における重要シーンのタイムコードなどの時間情報を含む。
【0024】
具体例として、重要シーン抽出部22は、素材映像がスポーツ中継の映像である場合、重要シーンとして、得点シーン、逆転シーン、野球の満塁やサッカーのゴール前など得点が期待されるシーン、野球でのデッドボールのシーン、サッカーでのキーパーのファインセーブのシーン、ハーフタイムショーのシーン、選手のインタビューのシーンなどを重要シーンとして抽出する。
【0025】
構造情報生成部23は、生成手段の一例であり、抽出された重要シーンにより構成されるダイジェスト映像の構造を示す構造情報を生成する。具体的に、構造情報生成部23は、重要シーン抽出部22から入力された複数の重要シーンの重要シーン情報を時系列につなげて構造情報を生成する。例えば、素材映像が野球中継である場合、構造情報生成部23は、「投手が構える」→「打者が構える」→「両者がにらみあう」→「投手が投げる」→「打者が打つ」→「投手が見上げる」→「打球がスタンドに入る」→「投手越しに打者がベースラン」などの一連のシーンをつなげたダイジェスト映像を設計し、その構造情報を生成する。
【0026】
また、構造情報生成部23は、重要シーンに関連する関連映像をダイジェスト映像に含めることができる。関連映像は、重要シーンに関連する過去の映像、重要シーンに登場する対象物に関する映像、重要シーンに関連する解説映像などを含む。例えば、素材映像がスポーツ中継である場合、重要シーンに関連する過去の映像とは、その素材映像と同一カードの過去の試合の映像などであり、重要シーンに登場する対象物に関する情報とは、その素材映像に登場する選手に関連するプロフィールや成績などの映像である。また、重要シーンに関連する解説映像とは、例えば、スポーツのルール解説の映像などである。さらに、構造情報生成部23は、ダイジェスト映像に含まれる各重要シーンや関連映像に対して、テキスト、テロップ、効果音などの加工用データを付加してもよい。
【0027】
図5は、構造情報の一例を示す。図5は、図4に示すダイジェスト映像の構造情報を示している。図4に示すダイジェスト映像は、素材映像のシーンA、シーンB、シーンC、シーンDをこの順に含んでおり、シーンAとシーンBの間にルール解説が挿入されている。図5はこのダイジェスト映像の構造情報を示す。「映像区間」は、ダイジェスト映像を構成する複数の映像区間に対して時系列に付与した番号である。映像区間1は素材映像のシーンAに対応し、映像区間2はルール解説に対応し、映像区間3は素材映像のシーンBに対応し、映像区間4は素材映像のシーンCに対応し、映像区間5は素材映像のシーンDに対応する。「使用データ」は、ダイジェスト映像を再生する際に使用される映像データを示し、本例では図4に示す素材映像のデータ名である。「時間情報」は、各映像区間において再生されるべき使用データの時間(タイムコード)を示す。例えば、ダイジェスト映像の映像区間1では、「素材映像1.dat」のタイムコード「00:03:26:12~00:04:12:23」の区間を再生することを示している。なお、使用データと時間情報は、重要シーン抽出部22が出力する重要シーン情報に含まれている。このように、構造情報生成部23は、重要シーン抽出部22により抽出された重要シーンと、必要に応じて付加された関連映像をと含むダイジェスト映像を設計し、その構造情報を出力する。なお、構造情報生成部23は、上記のようにダイジェスト映像の構成を示す情報であり、ダイジェスト映像に含まれる映像データは含まない。
【0028】
[構造情報生成処理]
図6は、ダイジェスト生成装置100が実行する構造情報生成処理のフローチャートである。この処理は、図2に示すプロセッサ12が、予め用意されたプログラムを実行することにより実現される。
【0029】
まず、ダイジェスト生成装置100は、作成者に関する生成条件を取得する(ステップS11)。具体的には、ダイジェスト生成装置100は、作成者が入力装置などを用いて入力した生成条件を取得してもよいし、作成者のIDなどの入力に基づき、予め記憶されている当該作成者の生成条件を読み出すなどしてもよい。次に、ダイジェスト生成装置100は、素材映像DB2から素材映像を取得する(ステップS12)。なお、典型的には、対象となる素材映像は作成者により指定され、ダイジェスト生成装置100は作成者が指定した素材映像を取得する。
【0030】
次に、ダイジェスト生成装置100の特徴抽出部21は素材映像から特徴量を抽出する(ステップS13)。次に、重要シーン抽出部22は、素材映像中の複数のシーンにおける特徴量に基づき、生成条件に含まれる項目を考慮して各シーンの重要度を判定し(ステップS14)、重要度スコアが所定の閾値値以上であるシーンを重要シーンとして抽出する(ステップS15)。そして、構造情報生成部23は、重要シーンを時系列につなげ、必要に応じて関連映像や加工用データを付加してダイジェスト映像を設計し、そのダイジェスト映像の構造情報を出力する(ステップS16)。こうして、構造情報生成処理は終了する。
【0031】
[生成モデルの訓練]
次に、ダイジェスト生成装置100が使用する生成モデルの訓練について説明する。図7は、生成モデルの訓練を行う訓練装置200の構成を示すブロック図である。訓練装置200は、生成モデル31と、最適化部32とを備える。なお、訓練装置200のハードウェア構成は、図2と同様である。
【0032】
生成モデル31の訓練時には、素材映像を記憶した素材映像DB2に加えて、正解データを記憶した正解DB3が用意される。正解データは、生成モデル31の訓練に用いられ、訓練用の素材映像(以下、「訓練用素材映像」と呼ぶ。)、及び、訓練用の生成条件(以下、「訓練用生成条件」と呼ぶ。)が入力された場合に生成モデル31が生成する構造情報の正解を示すデータである。正解データは、訓練用素材映像と訓練用生成条件の組み合わせに対して予め用意される。即ち、訓練に用いられる訓練データは、訓練用素材映像と、訓練用生成条件と、正解データとのセットとなる。例えば、訓練用素材映像として野球中継を使用し、訓練用生成条件として、その試合に出場するチームや選手の情報を用いる場合、その素材映像からそのチームやその選手が登場するシーンを抽出したダイジェスト映像の構造情報が正解データとして用意される。また、訓練用素材映像としてTVドラマを使用し、訓練用生成条件として主人公の俳優が指定された場合、その素材映像からその俳優が登場するシーンを抽出したダイジェスト映像の構造情報が正解データとして用意される。
【0033】
訓練時には、予め用意された正解データに対応する訓練用生成条件と訓練用素材映像が生成モデル31に入力される。生成モデル31は、訓練用生成条件に基づいて、訓練用素材映像から重要シーンを抽出してダイジェスト映像を設計し、その構造情報を最適化部32に出力する。最適化部32は、その訓練用生成条件と訓練用素材映像について用意されている正解データを正解DB3から取得し、生成モデル31から取得した構造情報と比較して損失を算出し、算出した損失に基づいて生成モデル31を最適化する。具体的には、最適化部32は、算出された損失が小さくなるように、生成モデルを構成するニューラルネットワークのパラメータを更新する。こうして訓練された生成モデル31は、素材映像から、生成条件に従って重要シーンを抽出して設計したダイジェスト映像の構造情報を出力できるようになる。
【0034】
図8は、訓練処理のフローチャートである。この処理は、図2に示すプロセッサ12が予め用意されたプログラムを実行することにより実現される。まず、訓練装置200は、訓練用生成条件を取得するとともに(ステップS21)、素材映像DB2から訓練用素材映像を取得する(ステップS22)。次に、生成モデル31は、訓練用素材映像から特徴量を抽出し(ステップS23)、訓練用生成条件に基づき特徴量の重要度を判定し(ステップS24)、重要シーンを抽出する(ステップS25)。
【0035】
次に、生成モデル31は、抽出された重要シーンをつなげてダイジェスト映像を設計し、そのダイジェスト映像の構造情報を最適化部32に出力する(ステップS26)。最適化部32は、入力された構造情報を正解DB3に記憶されている正解データと比較して損失を算出し、損失に基づいて生成モデル31を最適化する(ステップS27)。以上の処理が予め用意された訓練データの分だけ実行され、訓練処理は終了する。
【0036】
[構造情報の利用]
次に、ダイジェスト生成装置100が生成した構造情報の利用について説明する。図9は、構造情報に基づきダイジェスト映像を配信するシステム(以下、「配信システム」と呼ぶ。)300の概略構成を示すブロック図である。配信システム300は、ダイジェスト生成装置100と、素材映像DB2と、構造情報DB4と、配信装置5とを備える。配信システム300は、ネットワーク6を介して視聴者の再生装置400と接続されている。
【0037】
ダイジェスト生成装置100が生成した構造情報は、構造情報DB4に蓄積される。なお、構造情報DB4においては、各構造情報について、その構造情報の作成者のIDや、その作成者の属性、趣味、嗜好などの付属情報が記憶される。再生装置400は、構造情報DB4に蓄積されている構造情報を利用してダイジェスト映像を視聴する視聴者により使用される。
【0038】
具体的に、視聴者は、再生装置400を操作し、希望するダイジェスト映像の条件を指定して配信装置5に対して構造情報の要求を行う。配信装置5は、視聴者が指定した条件に合致する構造情報を再生装置400へ送信する。視聴者は、受信した構造情報に基づき配信装置5に再生指示を行う。配信装置5は、再生装置400から受信した再生指示に従い、対応する素材映像の対応する箇所を順に再生装置400へ配信する。この方法では、配信装置5は再生装置400へ構造情報を送信するが、素材映像自体を再生装置20に提供するわけではない。よってで、素材映像の頒布を防止し、素材映像の権利を保護することができる。
【0039】
例えば、ある視聴者が、特定の作成者により作成されたダイジェスト映像を視聴したいと考えた場合、視聴者は、その作成者のID、氏名、ハンドルネームなどを指定して構造情報の要求を行えばよい。これにより、視聴者は、例えば、野球の試合のダイジェスト映像を見る際、著名な野球解説者や野球ファンの有名人などが作成したダイジェスト映像を視聴することができる。また、視聴者は、自分の属性(年齢、性別、家族構成など)や趣味、嗜好などを指定することにより、自分と類似した環境にある人や、自分と趣味などが共通する人が作成したダイジェスト映像を見ることができる。
【0040】
また、上記の配信システムでは、異なる場所に存在する素材映像のシーンを含むように構造情報を構成することにより、異なる放送局の保有映像やアーカイブを利用するダイジェスト映像を実現することが可能となる。例えば、異なる放送局で放送された2つの試合の結果により優勝チームが決定するような場合に、それら2つの試合の重要シーンを組み合わせたダイジェスト映像を生成することが可能となる。
【0041】
[変形例]
(変形例1)
上記の例では、ダイジェスト生成装置100は、1人の作成者から取得した生成条件に基づいて構造情報を生成しているが、複数の作成者から取得した生成条件に基づいて構造情報を生成してもよい。例えば、ある野球チームの試合中継を素材映像とする場合に、そのチームのファンである複数の人物から取得した生成条件を組み合わせて使用し、ダイジェスト映像を設計して構造情報を生成してもよい。また、野球チームAとBが対戦する試合中継を素材映像とする場合に、野球チームAのファンと野球チームBのファンのそれぞれから取得した生成条件を組み合わせて使用し、構造情報を生成してもよい。
【0042】
(変形例2)
ダイジェスト生成装置100は、同一の素材映像を用いる構造情報が複数作成されている場合に、それらの構造情報を組み合わせて構造情報を再構成してもよい。これにより、同一のイベントに関する素材映像(例えば、花火大会の映像、運動会の映像など)について、大人と子供、男性と女性、カップルと家族など、様々な目線で抽出されたシーンを含むダイジェスト映像を作成することが可能となる。
【0043】
<第2実施形態>
次に、本発明の第2実施形態について説明する。図10は、第2実施形態に係る情報処理装置の機能構成を示すブロック図である。図示のように、情報処理装置70は、映像取得手段71と、条件取得手段72と、生成手段73とを備える。映像取得手段71は、素材映像を取得する。条件取得手段72は、ダイジェスト映像を生成するための生成条件を作成者から取得する。生成手段73は、生成条件に基づいて素材映像から生成されるダイジェスト映像の構造を示す構造情報を生成し、出力する。
【0044】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0045】
(付記1)
素材映像を取得する映像取得手段と、
ダイジェスト映像を生成するための生成条件を作成者から取得する条件取得手段と、
前記生成条件に基づいて前記素材映像から生成されるダイジェスト映像の構造を示す構造情報を生成し、出力する生成手段と、
を備える情報処理装置。
【0046】
(付記2)
前記生成条件は、前記作成者の属性、前記ダイジェスト映像の長さ、前記ダイジェスト映像に含めるべき対象物を特定する情報の少なくとも1つを含む付記1に記載の情報処理装置。
【0047】
(付記3)
前記生成条件は、視聴者が前記ダイジェスト映像を視聴する時間帯、前記ダイジェスト映像の生成に使用する前記素材映像が生成された日時の少なくとも一方を含む付記1又は2に記載の情報処理装置。
【0048】
(付記4)
前記生成手段は、前記生成条件に基づいて前記素材映像から複数の重要シーンを抽出し、
前記構造情報は、抽出された複数の重要シーンの映像を示す情報を含む付記1乃至3のいずれか一項に記載の情報処理装置。
【0049】
(付記5)
前記生成手段は、前記素材映像に含まれる複数のシーン毎に特徴量を抽出し、前記生成条件に基づいて前記特徴量の重要度スコアを算出し、前記重要度スコアが所定の閾値より高いシーンを前記重要シーンとして抽出する付記4に記載の情報処理装置。
【0050】
(付記6)
前記構造情報は、前記重要シーンに関連する関連映像を示す情報を含み、
前記関連映像は、前記重要シーンに関連する過去の映像、前記重要シーンに登場する対象物に関する映像、前記重要シーンに関連する解説映像の少なくとも1つを含む付記4又は5に記載の情報処理装置。
【0051】
(付記7)
前記条件取得手段は、複数の作成者から生成条件を取得し、
前記生成手段は、前記複数の作成者から取得した生成条件に基づいて前記構造情報を生成する付記1乃至6のいずれか一項に記載の情報処理装置。
【0052】
(付記8)
映像配信システムであって、
付記1乃至7のいずれか一項に記載の情報処理装置と、
前記情報処理装置が生成した構造情報を記憶する構造情報データベースと、
前記素材映像を記憶する素材映像データベースと、
前記ダイジェスト映像を配信する配信装置と、を備え、
前記配信装置は、
再生装置から構造情報の要求を受信した場合に、要求された構造情報を前記構造情報データベースから取得して前記再生装置へ送信し、
前記再生装置から構造情報を指定して再生要求を受信した場合に、前記構造情報に含まれる重要シーンの映像を前記素材映像データベースから取得し、前記再生装置へ送信する映像配信システム。
【0053】
(付記9)
素材映像を取得し、
ダイジェスト映像を生成するための生成条件を作成者から取得し、
前記生成条件に基づいて前記素材映像から生成されるダイジェスト映像の構造を示す構造情報を生成し、出力する情報処理方法。
【0054】
(付記10)
素材映像を取得し、
ダイジェスト映像を生成するための生成条件を作成者から取得し、
前記生成条件に基づいて前記素材映像から生成されるダイジェスト映像の構造を示す構造情報を生成し、出力する処理をコンピュータに実行させるプログラムを記録した記録媒体。
【0055】
以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0056】
2 素材映像DB
3 正解DB
4 構造情報DB
5 配信装置
12 プロセッサ
13 メモリ
15 データベース(DB)
21 特徴抽出部
22 重要シーン抽出部
23 構造情報生成部
31 生成モデル
32 最適化部
100 ダイジェスト生成装置
200 訓練装置
300 配信システム
400 再生装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10