(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-30
(45)【発行日】2023-11-08
(54)【発明の名称】情報処理装置、制御方法及び、プログラム
(51)【国際特許分類】
H04N 5/91 20060101AFI20231031BHJP
H04N 5/765 20060101ALI20231031BHJP
【ＦＩ】
H04N5/91
H04N5/765
【請求項の数】
10
(21)【出願番号】P 2022527327
(86)(22)【出願日】2020-05-26
(86)【国際出願番号】 JP2020020775
(87)【国際公開番号】W WO2021240654
(87)【国際公開日】2021-12-02
【審査請求日】2022-11-16
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延
(74)【代理人】
【識別番号】100104765
【弁理士】
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100131015
【弁理士】
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】鍋藤 悠
(72)【発明者】
【氏名】菊池 克
(72)【発明者】
【氏名】白石 壮馬
(72)【発明者】
【氏名】渡辺 はるな
【審査官】川中 龍太
(56)【参考文献】
【文献】特開２００８－３１２０６１（ＪＰ，Ａ）
【文献】特開２０１２－０７０２８３（ＪＰ，Ａ）
【文献】特開２０１４－１１２７８７（ＪＰ，Ａ）
【文献】特開２００７－１７４２６０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／７６ － ５／９５６
(57)【特許請求の範囲】
【請求項1】
第１カメラにより撮影された第１素材映像データのダイジェストの候補となる候補映像データに基づき、前記第１カメラとは異なる第２カメラの映像データを抽出する基準となる時刻又は時間帯である基準時間を決定する基準時間決定手段と、前記基準時間に基づき、前記第２カメラにより撮影された第２素材映像データの一部の映像データとなる他カメラショットを抽出する他カメラショット抽出手段と、
前記候補映像データと、前記他カメラショットと、に基づき、前記第１素材映像データ及び前記第２素材映像データに対するダイジェストの候補であるダイジェスト候補を生成するダイジェスト候補生成手段と、
を有する情報処理装置。
【請求項2】
前記他カメラショット抽出手段は、前記基準時間に基づき、前記第２素材映像データにおいて映像又は音の、変化又は切替が生じる切替点を検出し、当該切替点に基づき前記他カメラショットを抽出する、請求項１に記載の情報処理装置。
【請求項3】
前記他カメラショット抽出手段は、前記基準時間が時間帯を示す場合、前記時間帯の始点を基準として探索した前記第２素材映像データの第１切替点と、前記時間帯の終点を基準として探索した前記第２素材映像データの第２切替点と、に基づき、前記他カメラショットを抽出する、請求項２に記載の情報処理装置。
【請求項4】
前記他カメラショット抽出手段は、前記基準時間が示す時間帯に対応する前記第２素材映像データの映像データを、前記他カメラショットとして抽出する、請求項１に記載の情報処理装置。
【請求項5】
前記第１素材映像データに対する時系列の第１スコアに基づき、前記第１素材映像データから前記候補映像データを選定する候補映像データ選定手段をさらに有する、請求項１～４のいずれか一項に記載の情報処理装置。
【請求項6】
前記基準時間決定手段は、前記候補映像データに対する前記第１スコア又は前記第１スコアとは異なる第２スコアに基づき、前記基準時間の決定に用いる前記候補映像データである基準候補映像データを選定する、請求項５に記載の情報処理装置。
【請求項7】
前記候補映像データ選定手段は、入力された映像データに対して前記第１スコアを推論するように学習された第１推論器に対し、前記第１素材映像データの区間毎の区間映像データを入力することで得られる前記第１スコアに基づき、前記候補映像データを選定し、前記基準時間決定手段は、入力された映像データに対して前記第２スコアを推論するように学習された第２推論器に対し、前記候補映像データを入力することで得られる前記第２スコアに基づき、前記基準候補映像データを選定する、請求項６に記載の情報処理装置。
【請求項8】
前記第１推論器は、重要区間か否かに関するラベルが付された学習用素材映像データに基づき学習された推論器であり、前記第２推論器は、特定のイベントが発生しているか否かに関するラベルが付された学習用素材映像データに基づき学習された推論器である、請求項７に記載の情報処理装置。
【請求項9】
コンピュータにより、第１カメラにより撮影された第１素材映像データのダイジェストの候補となる候補映像データに基づき、前記第１カメラとは異なる第２カメラの映像データを抽出する基準となる時刻又は時間帯である基準時間を決定し、
前記基準時間に基づき、前記第２カメラにより撮影された第２素材映像データの一部の映像データとなる他カメラショットを抽出し、
前記候補映像データと、前記他カメラショットと、に基づき、前記第１素材映像データ及び前記第２素材映像データに対するダイジェストの候補であるダイジェスト候補を生成する、
制御方法。
【請求項10】
第１カメラにより撮影された第１素材映像データのダイジェストの候補となる候補映像データに基づき、前記第１カメラとは異なる第２カメラの映像データを抽出する基準となる時刻又は時間帯である基準時間を決定する基準時間決定手段と、前記基準時間に基づき、前記第２カメラにより撮影された第２素材映像データの一部の映像データとなる他カメラショットを抽出する他カメラショット抽出手段と、
前記候補映像データと、前記他カメラショットと、に基づき、前記第１素材映像データ及び前記第２素材映像データに対するダイジェストの候補であるダイジェスト候補を生成するダイジェスト候補生成手段
としてコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ダイジェストの生成に関する処理を行う情報処理装置、制御方法及び記憶媒体の技術分野に関する。
【背景技術】
【0002】
素材となる映像データを編集してダイジェストを生成する技術が存在する。例えば、特許文献１には、グランドでのスポーツイベントの映像ストリームからハイライトを確認して製作する方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特表２０１９－５２２９４８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
スポーツなどを対象とする撮影では、複数のカメラを用いて撮影を行うことが一般である。一方、特許文献１には、複数カメラにより夫々生成された映像データに基づきダイジェストを生成する方法については、何ら開示がない。
【0005】
本開示の目的は、上記の課題を勘案し、複数カメラの映像データに基づくダイジェスト候補を好適に生成することが可能な情報処理装置、制御方法及び記憶媒体を提供することである。
【課題を解決するための手段】
【0006】
情報処理装置の一の態様は、第１カメラにより撮影された第１素材映像データのダイジェストの候補となる候補映像データに基づき、前記第１カメラとは異なる第２カメラの映像データを抽出する基準となる時刻又は時間帯である基準時間を決定する基準時間決定手段と、前記基準時間に基づき、前記第２カメラにより撮影された第２素材映像データの一部の映像データとなる他カメラショットを抽出する他カメラショット抽出手段と、前記候補映像データと、前記他カメラショットと、に基づき、前記第１素材映像データ及び前記第２素材映像データに対するダイジェストの候補であるダイジェスト候補を生成するダイジェスト候補生成手段と、を有する情報処理装置である。
【0007】
制御方法の一の態様は、コンピュータにより、第１カメラにより撮影された第１素材映像データのダイジェストの候補となる候補映像データに基づき、前記第１カメラとは異なる第２カメラの映像データを抽出する基準となる時刻又は時間帯である基準時間を決定し、前記基準時間に基づき、前記第２カメラにより撮影された第２素材映像データの一部の映像データとなる他カメラショットを抽出し、前記候補映像データと、前記他カメラショットと、に基づき、前記第１素材映像データ及び前記第２素材映像データに対するダイジェストの候補であるダイジェスト候補を生成する、制御方法である。
【0008】
プログラムの一の態様は、第１カメラにより撮影された第１素材映像データのダイジェストの候補となる候補映像データに基づき、前記第１カメラとは異なる第２カメラの映像データを抽出する基準となる時刻又は時間帯である基準時間を決定する基準時間決定手段と、前記基準時間に基づき、前記第２カメラにより撮影された第２素材映像データの一部の映像データとなる他カメラショットを抽出する他カメラショット抽出手段と、前記候補映像データと、前記他カメラショットと、に基づき、前記第１素材映像データ及び前記第２素材映像データに対するダイジェストの候補であるダイジェスト候補を生成するダイジェスト候補生成手段としてコンピュータを機能させるプログラムである。
【発明の効果】
【0009】
本開示によれば、複数のカメラにより生成された映像データに基づくダイジェストの候補を好適に生成することができる。
【図面の簡単な説明】
【0010】
【図1】第１実施形態におけるダイジェスト候補選定システムの構成を示す。
【図2】情報処理装置のハードウェア構成を示す。
【図3】情報処理装置の機能ブロックの一例である。
【図4】（Ａ）第１素材映像データの再生時間長に応じた長さの帯グラフにより第１素材映像データを表した図である。（Ｂ）第１素材映像データの時系列での第１スコアを示す線グラフである。（Ｃ）第２素材映像データの再生時間長に応じた長さの帯グラフにより第２素材映像データを表した図である。（Ｄ）第２素材映像データの時系列での第１スコアを示す線グラフである。
【図5】（Ａ）第１素材映像データの帯グラフである。（Ｂ）他カメラショットを明示した第２素材映像データの帯グラフである。（Ｃ）第１素材映像データ及び第２素材映像データに基づき生成されるダイジェスト候補の帯グラフである。
【図6】（Ａ）第１素材映像データＤ１の帯グラフである。（Ｂ）他カメラショットを明示した第２素材映像データの帯グラフである。（Ｃ）第１素材映像データ及び第２素材映像データに基づき生成されるダイジェスト候補の帯グラフである。
【図7】第１推論器及び第２推論器の学習を行う学習システムの概略構成図である。
【図8】第１実施形態において情報処理装置が実行する処理の手順を示すフローチャートの一例である。
【図9】変形例１において情報処理装置が実行する処理の手順を示すフローチャートの一例である。
【図10】（Ａ）第１素材映像データの帯グラフを示す。（Ｂ）他カメラショットを明示した第２素材映像データの帯グラフを示す。（Ｃ）生成されたダイジェスト候補の帯グラフを示す。
【図11】変形例３において情報処理装置が実行する処理の手順を示すフローチャートの一例である。
【図12】第２実施形態における情報処理装置の機能ブロック図である。
【図13】第２実施形態において情報処理装置が実行するフローチャートの一例である。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら、情報処理装置、制御方法及び記憶媒体の実施形態について説明する。
【0012】
＜第１実施形態＞
（１）システム構成
図１は、第１実施形態に係るダイジェスト候補選定システム１００の構成を示す。ダイジェスト候補選定システム１００は、複数のカメラにより撮影された映像データからダイジェストの候補となる映像データ（「ダイジェスト候補Ｃｄ」とも呼ぶ。）を好適に選定する。ダイジェスト候補選定システム１００は、主に、情報処理装置１と、入力装置２と、出力装置３と、記憶装置４と、第１カメラ８ａと、第２カメラ８ｂと、を備える。以後において、映像データは、音データを含んでもよい。また、ダイジェスト候補Ｃｄの選定において素材となる映像データを「素材映像データ」と呼ぶ。
（１）システム構成
図１は、第１実施形態に係るダイジェスト候補選定システム１００の構成を示す。ダイジェスト候補選定システム１００は、複数のカメラにより撮影された映像データからダイジェストの候補となる映像データ（「ダイジェスト候補Ｃｄ」とも呼ぶ。）を好適に選定する。ダイジェスト候補選定システム１００は、主に、情報処理装置１と、入力装置２と、出力装置３と、記憶装置４と、第１カメラ８ａと、第２カメラ８ｂと、を備える。以後において、映像データは、音データを含んでもよい。また、ダイジェスト候補Ｃｄの選定において素材となる映像データを「素材映像データ」と呼ぶ。
【0013】
情報処理装置１は、通信網を介し、又は、無線若しくは有線による直接通信により、入力装置２、及び出力装置３とデータ通信を行う。情報処理装置１は、第１カメラ８ａ及び第２カメラ８ｂが撮影した各素材映像データに基づき、ダイジェスト候補Ｃｄを生成する。
【0014】
第１カメラ８ａ及び第２カメラ８ｂは、例えば、催し物の会場（例えばスポーツフィールド）において用いられるカメラであり、同一時間帯において異なる位置から催し物に関する撮影を行う。例えば、第１カメラ８ａは、ダイジェスト候補Ｃｄを生成する主な映像を生成するカメラであり、第２カメラ８ｂは、特定の重要場面においてダイジェスト候補Ｃｄの一部として採用される映像を生成するカメラである。例えば、球技の撮影では、第１カメラ８ａは、球技場の全体を撮影するカメラであり、第２カメラ８ｂは、球付近の選手を主に撮影するカメラであってもよい。
【0015】
入力装置２は、ユーザ入力を受け付ける任意のユーザインターフェースであり、例えば、ボタン、キーボード、マウス、タッチパネル、音声入力装置などが該当する。入力装置２は、ユーザ入力に基づき生成した入力信号「Ｓ１」を、情報処理装置１へ供給する。出力装置３は、例えば、ディスプレイ、プロジェクタ等の表示装置、及び、スピーカ等の音出力装置であり、情報処理装置１から供給される出力信号「Ｓ２」に基づき、所定の表示又は／及び音出力（ダイジェスト候補Ｃｄの再生などを含む）を行う。
【0016】
記憶装置４は、情報処理装置１の処理に必要な各種情報を記憶するメモリである。記憶装置４は、例えば、第１素材映像データＤ１と、第２素材映像データＤ２と、第１推論器情報Ｄ３と、第２推論器情報Ｄ４とを記憶する。
【0017】
第１素材映像データＤ１は、第１カメラ８ａが生成した映像データである。第２素材映像データＤ２は、第２カメラ８ｂが生成した映像データである。第１素材映像データＤ１及び第２素材映像データＤ２は、少なくとも一部が重複する時間帯に撮影された映像データとなる。また、第１素材映像データＤ１及び第２素材映像データＤ２には、撮影時刻を示すメタ情報が含まれている。
【0018】
なお、第１素材映像データＤ１及び第２素材映像データＤ２は、夫々、第１カメラ８ａ及び第２カメラ８ｂからデータ通信を介して記憶装置４に記憶されてもよく、持ち運び可能な記憶媒体を介して記憶装置４に記憶されてもよい。これらの場合、情報処理装置１は、第１カメラ８ａ及び第２カメラ８ｂからデータ通信又は記憶媒体を介して第１素材映像データＤ１及び第２素材映像データＤ２を受信した後、当該第１素材映像データＤ１及び第２素材映像データＤ２を記憶装置４に記憶してもよい。
【0019】
第１推論器情報Ｄ３は、入力された映像データに対する第１のスコア（「第１スコア」とも呼ぶ。）を推論する推論器である第１推論器に関する情報である。第１スコアは、例えば、入力された映像データの重要度を示すスコアであり、上述の重要度は、入力された映像データが重要区間であるか又は非重要区間であるか（即ちダイジェストの一区間として相応しいか否か）を判定するための基準となる指標である。
【0020】
第１推論器は、例えば、映像データを構成する所定枚数（１枚以上）の画像が入力された場合に、対象の映像データに対する第１スコアを推論するように予め学習され、第１推論器情報Ｄ３には、学習された第１推論器のパラメータが含まれる。本実施形態では、情報処理装置１は、第１素材映像データＤ１を所定の再生時間長の区間毎に第１素材映像データＤ１を分割した映像データ（「区間映像データ」とも呼ぶ。）を、第１推論器に順次入力する。なお、第１推論器は、対象となる映像データを構成する画像に加え、当該映像データに含まれる音データを入力として第１スコアを推論してもよい。この場合、第１推論器には、音データから算出した特徴量が入力されてもよい。
【0021】
第２推論器情報Ｄ４は、入力された映像データに対する第２のスコア（「第２スコア」とも呼ぶ。）を推論する推論器である第２推論器に関する情報である。第２スコアは、特定のイベントが発生しているか否かの確からしさを示すスコアである。上述の「特定のイベント」は、撮影対象の催し物において重要なイベントを指し、例えば、催し物において重要な特定の行動（例えば野球におけるホームラン）の発生又はその他の事象の発生（例えば得点を競う競技における得点の発生）などが該当する。
【0022】
第２推論器は、例えば、映像データを構成する所定枚数の画像が入力された場合に、対象の映像データに対する第２スコアを推論するように予め学習され、第２推論器情報Ｄ４には、学習された第２推論器のパラメータが含まれる。本実施形態では、情報処理装置１は、第１推論器が出力する第１スコアに基づき選定された区間映像データの各々を第２推論器に順次入力する。なお、第２推論器は、対象となる映像データを構成する画像に加え、当該映像データに含まれる音データを入力として第２スコアを推論してもよい。
【0023】
第１推論器及び第２推論器の学習モデルは、それぞれ、ニューラルネットワーク又はサポートベクターマシンなどの任意の機械学習に基づく学習モデルであってもよい。例えば、上述の第１推論器及び第２推論器のモデルが畳み込みニューラルネットワークなどのニューラルネットワークである場合、第１推論器情報Ｄ３及び第２推論器情報Ｄ４は、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの各種パラメータを含む。
【0024】
なお、記憶装置４は、情報処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶装置４は、情報処理装置１とデータ通信を行うサーバ装置であってもよい。また、記憶装置４は、複数の装置から構成されてもよい。この場合、記憶装置４は、第１推論器情報Ｄ３及び第２推論器情報Ｄ４を分散して記憶してもよい。
【0025】
以上において説明したダイジェスト候補選定システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、入力装置２及び出力装置３は、一体となって構成されてもよい。この場合、入力装置２及び出力装置３は、情報処理装置１と一体となるタブレット型端末として構成されてもよい。他の例では、ダイジェスト候補選定システム１００は、入力装置２又は出力装置３の少なくとも一方を備えなくともよい。さらに別の例では、情報処理装置１は、複数の装置から構成されてもよい。この場合、情報処理装置１を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、これらの複数の装置間において行う。
【0026】
（２）情報処理装置のハードウェア構成
図２は、情報処理装置１のハードウェア構成を示す。情報処理装置１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１９を介して接続されている。
図２は、情報処理装置１のハードウェア構成を示す。情報処理装置１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１９を介して接続されている。
【0027】
プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、量子プロセッサなどのプロセッサである。
【0028】
メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ１２には、情報処理装置１が実行するプログラムが記憶される。また、メモリ１２は、作業メモリとして使用され、記憶装置４から取得した情報等を一時的に記憶する。なお、メモリ１２は、記憶装置４として機能してもよい。同様に、記憶装置４は、情報処理装置１のメモリ１２として機能してもよい。なお、情報処理装置１が実行するプログラムは、メモリ１２以外の記憶媒体に記憶されてもよい。
【0029】
インターフェース１３は、情報処理装置１と他の装置とを電気的に接続するためのインターフェースである。例えば、情報処理装置１と他の装置とを接続するためのインターフェースは、プロセッサ１１の制御に基づき他の装置とデータの送受信を有線又は無線により行うためのネットワークアダプタなどの通信インターフェースであってもよい。他の例では、情報処理装置１と他の装置とはケーブル等により接続されてもよい。この場合、インターフェース１３は、他の装置とデータの授受を行うためのＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＳＡＴＡ（Ｓｅｒｉａｌ ＡＴ Ａｔｔａｃｈｍｅｎｔ）などに準拠したハードウェアインターフェースを含む。
【0030】
なお、情報処理装置１のハードウェア構成は、図２に示す構成に限定されない。例えば、情報処理装置１は、入力装置２又は出力装置３の少なくとも一方を含んでもよい。
【0031】
（３）機能ブロック
情報処理装置１は、ダイジェスト候補Ｃｄに含める区間映像データの候補（「候補映像データＣｄ１」とも呼ぶ。）に基づき、第２カメラの映像データを抽出する基準となる撮影時刻又は撮影時間帯（「基準時間Ｔｒｅｆ」とも呼ぶ。）を決定する。そして、情報処理装置１は、基準時間Ｔｒｅｆに基づき第２素材映像データＤ２から抽出した一まとまりの映像データ（「他カメラショットＳｈ」とも呼ぶ。）と、候補映像データＣｄ１とに基づき、ダイジェスト候補Ｃｄを生成する。以下では、上述の処理を実現するための情報処理装置１の機能ブロックについて説明する。
情報処理装置１は、ダイジェスト候補Ｃｄに含める区間映像データの候補（「候補映像データＣｄ１」とも呼ぶ。）に基づき、第２カメラの映像データを抽出する基準となる撮影時刻又は撮影時間帯（「基準時間Ｔｒｅｆ」とも呼ぶ。）を決定する。そして、情報処理装置１は、基準時間Ｔｒｅｆに基づき第２素材映像データＤ２から抽出した一まとまりの映像データ（「他カメラショットＳｈ」とも呼ぶ。）と、候補映像データＣｄ１とに基づき、ダイジェスト候補Ｃｄを生成する。以下では、上述の処理を実現するための情報処理装置１の機能ブロックについて説明する。
【0032】
情報処理装置１のプロセッサ１１は、機能的には、候補映像データ選定部１５と、基準時間決定部１６と、他カメラショット抽出部１７と、ダイジェスト候補生成部１８とを有する。なお、図３では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せは図３に限定されない。後述する他の機能ブロックの図においても同様である。
【0033】
候補映像データ選定部１５は、インターフェース１３を介して取得した第１素材映像データＤ１に対して区間毎に第１スコアを算出し、第１スコアに基づき候補映像データＣｄ１を区間映像データから選定する。そして、候補映像データ選定部１５は、選定した候補映像データＣｄ１を、基準時間決定部１６及びダイジェスト候補生成部１８に供給する。
【0034】
この場合、まず、候補映像データ選定部１５は、第１素材映像データＤ１を区間毎に分割した映像データである区間映像データを生成する。ここで、区間映像データは、例えば、第１素材映像データＤ１を単位時間長の区間により区切ったデータであり、所定枚数分の画像を含むデータとなる。そして、候補映像データ選定部１５は、第１推論器情報Ｄ３を参照することで第１推論器を構成し、区間映像データを第１推論器に順次入力することで、入力した区間映像データに対する第１スコアを算出する。これにより、候補映像データ選定部１５は、重要性が高い区間映像データほど高い値となる第１スコアを算出する。そして、候補映像データ選定部１５は、第１スコアが予め定めた所定の閾値（「閾値Ｔｈ１」とも呼ぶ。）以上となる区間映像データを、候補映像データＣｄ１として選定する。
【0035】
なお、候補映像データ選定部１５は、第１スコアが閾値Ｔｈ１以上となる区間映像データが時系列において連続する１つのシーンを構成する場合、連続する区間映像データを、１つのまとまった候補映像データＣｄ１とみなしてもよい。この場合、候補映像データＣｄ１は、少なくとも１つ以上の区間映像データを含み、再生時間長が夫々異なる可能性がある映像データとなる。
【0036】
基準時間決定部１６は、候補映像データＣｄ１に基づき、基準時間Ｔｒｅｆを決定する。そして、基準時間決定部１６は、決定した基準時間Ｔｒｅｆを他カメラショット抽出部１７に供給する。
【0037】
この場合、基準時間決定部１６は、第２推論器情報Ｄ４を参照することで第２推論器を構成し、当該第２推論器に候補映像データＣｄ１を順次入力することで、入力した候補映像データＣｄ１に対する第２スコアを算出する。ここで、第２スコアは、特定のイベントが発生している蓋然性が高いほど高い値を示す。そして、基準時間決定部１６は、第２スコアが予め定めた所定の閾値（「閾値Ｔｈ２」とも呼ぶ。）以上となる候補映像データＣｄ１を、基準時間Ｔｒｅｆを設ける対象となる候補映像データＣｄ１（「基準候補映像データＣｄ２」とも呼ぶ。）として選定する。そして、基準時間決定部１６は、基準候補映像データＣｄ２の撮影時間帯又は撮影時刻を、基準時間Ｔｒｅｆとして定める。この場合、第１の例では、基準時間決定部１６は、基準候補映像データＣｄ２の撮影時間帯を、そのまま基準時間Ｔｒｅｆとして設定する。第２の例では、基準時間決定部１６は、基準候補映像データＣｄ２の撮影時間帯の中心時刻（又はその他の代表的な時刻）を、基準時間Ｔｒｅｆとして設定する。このように設定された基準時間Ｔｒｅｆは、特定のイベントが発生している蓋然性が高い特徴的な撮影時刻又は撮影時間帯となる。
【0038】
他カメラショット抽出部１７は、基準時間Ｔｒｅｆに基づき、第２素材映像データＤ２から一まとまりの映像データである他カメラショットＳｈを抽出し、抽出した他カメラショットＳｈをダイジェスト候補生成部１８へ供給する。この場合、他カメラショット抽出部１７は、基準時間Ｔｒｅｆに基づき、第２素材映像データＤ２において映像又は音の変化又は切替が発生する時刻（「切替点」とも呼ぶ。）を２つ検出する。そして、他カメラショット抽出部１７は、検出した２つの切替点により定まる第２素材映像データＤ２の区間に対応する映像データを、他カメラショットＳｈとして抽出する。ここで、切替点は、第２素材映像データＤ２を構成する連続する画像間において撮影対象が切り替わった時点であってもよく、第２素材映像データＤ２に含まれる音のボリュームが大きく変化した時点であってもよい。以後では、他カメラショットＳｈの始点となる切替点を「第１切替点」と呼び、他カメラショットＳｈの終点となる切替点を「第２切替点」と呼ぶ。
【0039】
ダイジェスト候補生成部１８は、候補映像データ選定部１５から供給される候補映像データＣｄ１と、他カメラショット抽出部１７から供給される他カメラショットＳｈとに基づき、ダイジェスト候補Ｃｄを生成する。例えば、ダイジェスト候補生成部１８は、全ての候補映像データＣｄ１と、全ての他カメラショットＳｈとを結合した１つの映像データを、ダイジェスト候補Ｃｄとして生成する。この場合、ダイジェスト候補生成部１８は、例えば、シーンごとに時系列に候補映像データＣｄ１及び他カメラショットＳｈを並べて連結したダイジェスト候補Ｃｄを生成する。
【0040】
なお、ダイジェスト候補生成部１８は、ダイジェスト候補Ｃｄとして１つの映像データを生成する代わりに、候補映像データＣｄ１と他カメラショットＳｈとのリストを、ダイジェスト候補Ｃｄとして生成してもよい。この場合、ダイジェスト候補生成部１８は、ダイジェスト候補Ｃｄを出力装置３に表示させ、最終的なダイジェストに含める映像データを選択するユーザ入力などを入力装置２により受け付けてもよい。また、ダイジェスト候補生成部１８は、選定された候補映像データＣｄ１と他カメラショットＳｈとの一部のみを用いてダイジェスト候補Ｃｄを生成してもよい。
【0041】
ダイジェスト候補生成部１８は、生成したダイジェスト候補Ｃｄを、記憶装置４又はメモリ１２に記憶させてもよく、記憶装置４以外の外部装置に送信してもよい。また、ダイジェスト候補生成部１８は、ダイジェスト候補Ｃｄを再生するための出力信号Ｓ２を出力装置３に送信することで、ダイジェスト候補Ｃｄを出力装置３により再生してもよい。
【0042】
なお、図３において説明した候補映像データ選定部１５、基準時間決定部１６、他カメラショット抽出部１７及びダイジェスト候補生成部１８の各構成要素は、例えば、プロセッサ１１が記憶装置４又はメモリ１２に格納されたプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、これらの各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このように、各構成要素は、プロセッサ以外のハードウェアを含む任意のコントローラにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。
【0043】
【0044】
図４（Ａ）は、第１素材映像データＤ１の再生時間長（即ちフレーム数）に応じた長さの帯グラフにより第１素材映像データＤ１を表した図である。図４（Ｂ）は、第１素材映像データＤ１の時系列での第１スコアを示す線グラフである。図４（Ｃ）は、第２素材映像データＤ２の再生時間長に応じた長さの帯グラフにより第２素材映像データＤ２を表した図である。図４（Ｄ）は、第２素材映像データＤ２の時系列での第１スコアを示す線グラフである。
【0045】
図４（Ａ）及び図４（Ｂ）に示すように、候補映像データ選定部１５は、「シーンＡ１」及び「シーンＢ１」に該当する区間映像データの第１スコアが閾値Ｔｈ１以上となると判定し、これらの区間映像データを候補映像データＣｄ１として選定する。ここで、候補映像データ選定部１５は、第１スコアが閾値Ｔｈ１以上となる区間映像データのまとまり毎に、候補映像データＣｄ１を定める。図４（Ａ）の例では、シーンＡ１及びシーンＢ１は、夫々、第１スコアが閾値Ｔｈ１以上となる１又は複数の区間映像データが連続したシーンに相当する。よって、候補映像データ選定部１５は、第１素材映像データＤ１の再生時刻「ｔ１」から再生時刻「ｔ２」までの区間に対応するシーンＡ１と、再生時刻「ｔ３」から再生時刻「ｔ４」までの区間に対応するシーンＢ１とを、夫々候補映像データＣｄ１と定める。
【0046】
次に、基準時間決定部１６は、シーンＡ１及びシーンＢ１を構成する候補映像データＣｄ１に対して第２スコアを算出し、第２スコアが閾値Ｔｈ２以上となる候補映像データＣｄ１を、基準候補映像データＣｄ２とみなす。ここでは、基準時間決定部１６は、シーンＡ１に対応する候補映像データＣｄ１の第２スコアが閾値Ｔｈ２以上となり、シーンＢ１に対応する候補映像データＣｄ１の第２スコアが閾値Ｔｈ２未満であると判定する。よって、この場合、基準時間決定部１６は、シーンＡ１を基準候補映像データＣｄ２とみなし、基準時間Ｔｒｅｆを設定する。
【0047】
ここで、基準時間決定部１６は、第２推論器情報Ｄ４を参照して構成した第２推論器に候補映像データＣｄ１を入力することで、候補映像データＣｄ１毎に第２スコアを算出する。このとき、候補映像データＣｄ１が複数の区間映像データから構成される場合、基準時間決定部１６は、候補映像データＣｄ１を区間毎に分割して第２推論器に順次入力し、第２推論器の推論結果を平均化等の統計処理を行うことで、上述の第２スコアを算出してもよい。
【0048】
次に、基準時間Ｔｒｅｆとして時間帯を設定する場合のダイジェスト候補Ｃｄの生成例について説明する。
【0049】
図５（Ａ）は、図４（Ａ）と同一の第１素材映像データＤ１の帯グラフである。図５（Ｂ）は、他カメラショットＳｈを明示した第２素材映像データＤ２の帯グラフである。図５（Ｃ）は、図５（Ａ）に示す第１素材映像データＤ１及び図５（Ｂ）に示す第２素材映像データＤ２に基づき生成されるダイジェスト候補Ｃｄの帯グラフである。
【0050】
この場合、基準時間決定部１６は、基準候補映像データＣｄ２であると判定したシーンＡ１の撮影時間帯（即ち時刻ｔ１から時刻ｔ２までの時間帯）を、基準時間Ｔｒｅｆとして設定する。
【0051】
他カメラショット抽出部１７は、基準時間Ｔｒｅｆに基づき、第２素材映像データＤ２の「シーンＡ２」を、他カメラショットＳｈとして抽出する。この場合、他カメラショット抽出部１７は、基準時間Ｔｒｅｆの始点ｔ１を基準として他カメラショットＳｈの始点となる第１切替点を探索し、基準時間Ｔｒｅｆの終点ｔ２を基準として他カメラショットＳｈの終点となる第２切替点を探索する。そして、他カメラショット抽出部１７は、時刻ｔ１に最も近い第２素材映像データＤ２の切替点となる時刻「ｔ１１」を第１切替点として検出し、時刻ｔ２に最も近い第２素材映像データＤ２の切替点となる時刻「ｔ２１」を第２切替点として検出する。そして、他カメラショット抽出部１７は、第１切替点と第２切替点とにより特定されるシーンＡ２を、他カメラショットＳｈとして抽出する。
【0052】
次に、ダイジェスト候補生成部１８は、図５（Ｃ）に示すように、候補映像データＣｄ１であるシーンＡ１及びシーンＢ１と、他カメラショットＳｈであるシーンＡ２とを時系列により連結させたダイジェスト候補Ｃｄを生成する。この場合、ダイジェスト候補生成部１８は、同一の素材映像データから抽出された時系列で連続する映像データについては、分離させることなくまとめてダイジェスト候補Ｃｄに組み込む。図５（Ｃ）の例では、シーンＡ１、シーンＡ２、シーンＢ１は、夫々、時系列で連続する映像データに該当することから、ダイジェスト候補生成部１８は、これらのシーンを夫々一まとまりのシーンとしてダイジェスト候補Ｃｄに組み込んでいる。これにより、ダイジェスト候補生成部１８は、不自然なダイジェスト候補Ｃｄが生成されるのを抑制する。
【0053】
次に、基準時間Ｔｒｅｆとして時刻を設定する場合のダイジェスト候補Ｃｄの生成例について説明する。
【0054】
図６（Ａ）は、図４（Ａ）と同一の第１素材映像データＤ１の帯グラフである。図６（Ｂ）は、他カメラショットＳｈを明示した第２素材映像データＤ２の帯グラフである。図６（Ｃ）は、図６（Ａ）に示す第１素材映像データＤ１及び図６（Ｂ）に示す第２素材映像データＤ２に基づき生成されるダイジェスト候補Ｃｄの帯グラフである。
【0055】
この場合、基準時間決定部１６は、基準時間Ｔｒｅｆの設定が必要と判定したシーンＡ１の撮影時間帯の代表時刻「ｔ１０」を、基準時間Ｔｒｅｆとして設定する。ここでは、時刻ｔ１０は、撮影時間帯の開始時刻ｔ１と終了時刻ｔ２との中間時刻である。
【0056】
そして、他カメラショット抽出部１７は、基準時間Ｔｒｅｆに基づき、第２素材映像データＤ２の「シーンＡ３」を、他カメラショットＳｈとして抽出する。この場合、他カメラショット抽出部１７は、例えば、基準時間Ｔｒｅｆより前の時刻から第１切替点を探索すると共に、基準時間Ｔｒｅｆより後の時刻から第２切替点を探索する。そして、他カメラショット抽出部１７は、基準時間Ｔｒｅｆである時刻ｔ１０より前の時刻で最も近い切替点となる時刻「ｔ３１」を第１切替点として検出し、時刻ｔ１０より後の時刻で最も近い切替点となる時刻「ｔ４１」を第２切替点として検出する。そして、ダイジェスト候補生成部１８は、図６（Ｃ）に示すように、候補映像データＣｄ１であるシーンＡ１及びシーンＢ１と、他カメラショットＳｈであるシーンＡ３とを時系列により連結させたダイジェスト候補Ｃｄを生成する。
【0057】
ここで、図５（Ｃ）に示すダイジェスト候補Ｃｄに含まれる他カメラショットＳｈであるシーンＡ２と、図６（Ｃ）に示すダイジェスト候補Ｃｄに含まれる他カメラショットＳｈであるシーンＡ３とは、いずれも、第１スコアが閾値Ｔｈ１未満となる第２素材映像データＤ２の区間に対応する（図４（Ｄ）参照）。このように、情報処理装置１は、基準時間Ｔｒｅｆを時間帯又は時刻のいずれとする場合においても、第１スコアによらず、重要なシーンに該当する第２カメラの映像データを、ダイジェスト候補Ｃｄに好適に含めることができる。
【0058】
【0059】
他カメラショット抽出部１７は、例えば、第２素材映像データＤ２の連続する画像間又は所定枚数だけ間隔を空けた画像間の輝度の分布の差分に基づく指標値（例えば画素ごとの輝度差の合計値）を算出する。そして、他カメラショット抽出部１７は、算出した指標値が所定の閾値以上となる場合に、対象となる画像間の時刻を、切替点として検出する。他の例では、他カメラショット抽出部１７は、第２素材映像データＤ２の連続する画像間又は所定枚数だけ間隔を空けた画像間において、検出されるエッジ数の差分を算出する。そして、他カメラショット抽出部１７は、算出した差分が所定の閾値以上となる場合に、対象となる画像間の時刻を切替点として検出する。
【0060】
さらに別の例では、他カメラショット抽出部１７は、第１素材映像データＤ１の時系列での音ボリュームを算出し、音ボリュームの変化の度合が所定の閾値以上となる時刻を切替点として検出する。なお、他カメラショット抽出部１７は、切替点の検出方法を任意に組み合わせてもよい。この場合、他カメラショット抽出部１７は、例えば、採用する検出方法毎に算出した指標値を個々に用意した閾値と比較することで（又はこれらの総合指標値と単一の閾値とを比較することで）、切替点を検出する。
【0061】
（５）第１推論器及び第２推論器の学習
次に、第１推論器及び第２推論器の学習による第１推論器情報Ｄ３及び第２推論器情報Ｄ４の生成について説明する。図７は、第１推論器及び第２推論器の学習を行う学習システムの概略構成図である。上記学習システムは、学習データＤ５を参照可能な学習装置６を有する。
次に、第１推論器及び第２推論器の学習による第１推論器情報Ｄ３及び第２推論器情報Ｄ４の生成について説明する。図７は、第１推論器及び第２推論器の学習を行う学習システムの概略構成図である。上記学習システムは、学習データＤ５を参照可能な学習装置６を有する。
【0062】
学習装置６は、例えば図２に示す情報処理装置１の構成と同一構成を有し、主に、プロセッサ２１と、メモリ２２と、インターフェース２３とを有している。学習装置６は、情報処理装置１であってもよく、情報処理装置１以外の任意の装置であってもよい。
【0063】
学習データＤ５は、学習用の素材データである学習用素材データと、学習用素材データに対する第１スコアに関する正解ラベルである第１ラベルと、学習用素材データに対する第２スコアに関する正解ラベルである第２ラベルとを含んでいる。
【0064】
第１ラベルは、例えば、学習用素材データにおいて重要区間と非重要区間とを識別するための情報である。第２ラベルは、例えば、学習用素材データにおいて特定のイベントの発生区間を識別するための情報である。他の例では、第２ラベルは、第１ラベルと同様、学習用素材データにおいて重要区間と非重要区間とを識別するための情報であってもよい。なお、学習用素材データは、第１推論器の学習と第２推論器の学習とで夫々設けられてもよい。
【0065】
そして、学習装置６は、学習データＤ５を参照し、学習用素材データと、第１ラベルとに基づき、第１推論器の学習を行う。この場合、学習装置６は、学習用素材データから抽出した区間映像データを第１推論器に入力した場合の第１推論器の出力と、入力データに対応する第１ラベルが示す正解の第１スコアとの誤差（損失）が最小となるように、第１推論器のパラメータを決定する。損失を最小化するように上述のパラメータを決定するアルゴリズムは、勾配降下法や誤差逆伝播法などの機械学習において用いられる任意の学習アルゴリズムであってもよい。なお、学習装置６は、第１ラベルにより重要区間と指定された学習用素材データの区間映像データについては、正解の第１スコアを第１スコアの最大値とし、それ以外の区間映像データについては、正解の第１スコアを第１スコアの最低値としてもよい。
【0066】
同様に、学習装置６は、学習データＤ５を参照し、学習用素材データと、第２ラベルとに基づき、第２推論器の学習を行う。この場合、学習装置６は、学習用素材データから抽出した区間映像データを第２推論器に入力した場合の第２推論器の出力と、入力データに対応する第２ラベルが示す正解の第２スコアとの誤差（損失）が最小となるように、第２推論器のパラメータを決定する。
【0067】
そして、学習装置６は、学習により得られた第１推論器のパラメータを、第１推論器情報Ｄ３として生成し、学習により得られた第２推論器のパラメータを、第２推論器情報Ｄ４として生成する。なお、生成された第１推論器情報Ｄ３及び第２推論器情報Ｄ４は、記憶装置４と学習装置６とのデータ通信により直ちに記憶装置４に記憶されてもよく、着脱可能な記憶媒体を介して記憶装置４に記憶されてもよい。
【0068】
なお、第１推論器と第２推論器の学習は、夫々別の装置により行われてもよい。この場合、学習装置６は、第１推論器の学習と第２推論器の学習とを夫々行う複数の装置から構成される。また、第１推論器及び第２推論器は、学習用素材データの撮影対象となった催し物の種類ごとに学習が行われてもよい。
【0069】
（６）処理フロー
図８は、第１実施形態において情報処理装置１が実行する処理の手順を示すフローチャートの一例である。情報処理装置１は、図８に示すフローチャートの処理を、例えば、対象となる第１素材映像データＤ１及び第２素材映像データＤ２を指定して処理の開始を指示するユーザ入力を検知した場合等に実行する。
図８は、第１実施形態において情報処理装置１が実行する処理の手順を示すフローチャートの一例である。情報処理装置１は、図８に示すフローチャートの処理を、例えば、対象となる第１素材映像データＤ１及び第２素材映像データＤ２を指定して処理の開始を指示するユーザ入力を検知した場合等に実行する。
【0070】
まず、情報処理装置１は、第１素材映像データＤ１の終端であるか否か判定する（ステップＳ１１）。この場合、情報処理装置１は、対象となる第１素材映像データＤ１の全ての区間について、後述するステップＳ１２及びステップＳ１３の処理が終了した場合に、第１素材映像データＤ１の終端であると判定する。そして、情報処理装置１は、第１素材映像データＤ１の終端である場合（ステップＳ１１；Ｙｅｓ）、ステップＳ１４へ処理を進める。一方、情報処理装置１は、第１素材映像データＤ１の終端ではない場合（ステップＳ１１；Ｎｏ）、ステップＳ１２及びステップＳ１３の処理が行われていない第１素材映像データＤ１の区間映像データを対象として、ステップＳ１２及びステップＳ１３を実行する。
【0071】
ステップＳ１２では、情報処理装置１の候補映像データ選定部１５は、第１素材映像データＤ１の一区間に対応する区間映像データを取得する（ステップＳ１２）。例えば、候補映像データ選定部１５は、ステップＳ１２及びステップＳ１３の処理が行われていない第１素材映像データＤ１の区間映像データを、再生時刻が早い順に取得する。
【0072】
次に、候補映像データ選定部１５は、ステップＳ１２で取得した区間映像データに対して第１スコアを算出し、当該区間映像データが候補映像データＣｄ１であるか否か判定する（ステップＳ１３）。この場合、候補映像データ選定部１５は、第１推論器情報Ｄ３を参照して構成した第１推論器に区間映像データを入力することで算出した第１スコアが閾値Ｔｈ１以上の場合、当該区間映像データが候補映像データＣｄ１であるとみなす。一方、候補映像データ選定部１５は、区間映像データの第１スコアが閾値Ｔｈ１未満の場合、当該区間映像データは候補映像データＣｄ１でないとみなす。そして、情報処理装置１は、ステップＳ１１へ処理を戻し、ステップＳ１２及びステップＳ１３を第１素材映像データＤ１の終端に至るまで繰り返すことで、第１素材映像データＤ１を構成する全ての区間映像データの候補映像データＣｄ１への適否を判定する。
【0073】
ステップＳ１４では、基準時間決定部１６は、ステップＳ１３で選定した候補映像データＣｄ１に対する第２スコアに基づき、基準時間Ｔｒｅｆを決定する（ステップＳ１４）。この場合、基準時間決定部１６は、第２推論器情報Ｄ４を参照することで構成した第２推論器に候補映像データＣｄ１を入力することで第２スコアを算出する。そして、基準時間決定部１６は、第２スコアが閾値Ｔｈ２以上となる候補映像データＣｄ１を基準候補映像データＣｄ２とみなし、基準候補映像データＣｄ２の撮影時間帯又は代表的な時刻を基準時間Ｔｒｅｆとして定める。
【0074】
そして、他カメラショット抽出部１７は、ステップＳ１４で定めた基準時間Ｔｒｅｆに基づき、第２素材映像データＤ２から他カメラショットＳｈを抽出する（ステップＳ１５）。これにより、他カメラショット抽出部１７は、所定のイベントが発生した可能性が高い時間帯において第２カメラ８ｂから撮影された映像データを、他カメラショットＳｈとして好適に抽出することができる。
【0075】
そして、ダイジェスト候補生成部１８は、ステップＳ１３で選定された候補映像データＣｄ１と、ステップＳ１５で選定された他カメラショットＳｈとに基づき、ダイジェスト候補Ｃｄを生成する（ステップＳ１６）。この場合、例えば、ダイジェスト候補生成部１８は、候補映像データＣｄ１と、他カメラショットＳｈとを時系列により連結した映像データを、ダイジェスト候補Ｃｄとして生成する。他の例では、ダイジェスト候補生成部１８は、候補映像データＣｄ１と、他カメラショットＳｈとのリストを、ダイジェスト候補Ｃｄとして生成する。
【0076】
ここで、本実施形態による効果について補足説明する。
【0077】
スポーツ映像編集の時間短縮化とコンテンツ拡大の二つのニーズから、スポーツ映像の自動編集に対するニーズが高まっている。自動編集技術において、入力映像から重要なシーンを検出するとき、ある同じ時刻において片方のカメラに対しては重要と判定したが、別のカメラに対しては重要と判定しない場合がある。この場合、別カメラの重要シーンを逃してしまうことになり、重要なシーンに効果的な演出ができない場合があった。
【0078】
以上を勘案し、第１実施形態に係る情報処理装置１は、メインカメラである第１カメラ８ａにより撮影された重要シーンと同様の時間帯で撮影された第２カメラ８ｂの映像データについてもダイジェスト候補Ｃｄに含める。これにより、情報処理装置１は、重要なシーンに対し複数のカメラの映像データを使用したダイジェスト候補Ｃｄを好適に生成することができる。これにより、視聴者により印象付けられるダイジェスト映像を生成できるようになる。例えば、情報処理装置１は、全体を俯瞰して撮影する第１カメラ８ａ(サッカーの上カメラなど)で重要と判定されたシーンに対し、ボールを保持する選手を主に撮影する第２カメラ８ｂ(下カメラ)の、同時刻～数秒後までの映像データを、ダイジェスト候補Ｃｄに含めることができる。これにより、情報処理装置１は、別アングルでシュートが放たれたシーンと、ゴールパフォーマンスとを取り込んだダイジェスト候補Ｃｄを好適に生成することができる。
【0079】
（７）変形例
次に、上記実施形態に好適な各変形例について説明する。以下の変形例は任意に組み合わせて上述の実施形態に適用してもよい。
次に、上記実施形態に好適な各変形例について説明する。以下の変形例は任意に組み合わせて上述の実施形態に適用してもよい。
【0080】
（変形例１）
情報処理装置１は、第２推論器情報Ｄ４を参照することなく、第１推論器情報Ｄ３を参照して算出した第１スコアに基づいて、基準時間Ｔｒｅｆを設定する候補映像データＣｄ１の選定を行ってもよい。
情報処理装置１は、第２推論器情報Ｄ４を参照することなく、第１推論器情報Ｄ３を参照して算出した第１スコアに基づいて、基準時間Ｔｒｅｆを設定する候補映像データＣｄ１の選定を行ってもよい。
【0081】
図９は、変形例１において情報処理装置１が実行するフローチャートの一例である。図９のフローチャートでは、情報処理装置１は、第１スコアに対して２つの閾値（第１閾値Ｔｈ１１、第２閾値Ｔｈ１２）を設定することで、候補映像データＣｄ１の選定及び基準候補映像データＣｄ２の選定を行う。
【0082】
まず、情報処理装置１の候補映像データ選定部１５は、ステップＳ２１～ステップＳ２３を、図８のステップＳ１１～ステップＳ１３と同様に行うことで、候補映像データＣｄ１となる区間映像データの選定を行う。この場合、ステップＳ２３では、候補映像データ選定部１５は第１スコアが第１閾値Ｔｈ１１以上となる区間映像データを、候補映像データＣｄ１として選定する。
【0083】
その後、基準時間決定部１６は、第１スコアが第２閾値Ｔｈ１２以上となる基準候補映像データＣｄ２に基づき基準時間Ｔｒｅｆを決定する（ステップＳ２４）。この場合、第２閾値Ｔｈ１２は、第１閾値Ｔｈ１１よりも高い値に設定される。よって、この場合、基準時間決定部１６は、ステップＳ２３で選定した候補映像データＣｄ１のうち特に重要度が高い基準候補映像データＣｄ２を第２閾値Ｔｈ１２により選定し、選定した基準候補映像データＣｄ２に対して基準時間Ｔｒｅｆを設ける。
【0084】
その後、他カメラショット抽出部１７は、基準時間Ｔｒｅｆに基づき、第２素材映像データＤ２から他カメラショットＳｈを抽出する（ステップＳ２５）。そして、ダイジェスト候補生成部１８は、候補映像データＣｄ１と、他カメラショットＳｈとに基づき、ダイジェスト候補Ｃｄを生成する（ステップＳ２６）。
【0085】
本変形例によれば、情報処理装置１は、第１素材映像データＤ１において重要度が特に高いシーンに対応する第２素材映像データＤ２の他カメラショットＳｈを好適にダイジェスト候補Ｃｄに含めることができる。
【0086】
（変形例２）
情報処理装置１は、基準時間Ｔｒｅｆを設定する基準候補映像データＣｄ２と同一撮影時間帯の第２素材映像データＤ２の映像データを、他カメラショットＳｈとして抽出してもよい。
情報処理装置１は、基準時間Ｔｒｅｆを設定する基準候補映像データＣｄ２と同一撮影時間帯の第２素材映像データＤ２の映像データを、他カメラショットＳｈとして抽出してもよい。
【0087】
図１０（Ａ）は、図４（Ａ）及び図５（Ａ）と同一の第１素材映像データＤ１の帯グラフを示す。図１０（Ｂ）は、他カメラショットＳｈを明示した第２素材映像データＤ２の帯グラフを示す。図１０（Ｃ）は、生成されたダイジェスト候補Ｃｄの帯グラフを示す。
【0088】
この場合、基準時間決定部１６は、第１スコアが閾値Ｔｈ１以上となる候補映像データＣｄ１が連続するシーンＡ１の撮影時間帯（時刻ｔ１から時刻ｔ２までの時間帯）を、基準時間Ｔｒｅｆとして設定する。そして、他カメラショット抽出部１７は、基準時間Ｔｒｅｆに該当する時刻ｔ１から時刻ｔ２までの撮影時間帯となる第２素材映像データＤ２の「シーンＡ４」を、他カメラショットＳｈとして抽出する。そして、ダイジェスト候補生成部１８は、候補映像データＣｄ１であるシーンＡ１及びシーンＢ１と他カメラショットＳｈであるシーンＡ４とを時系列で結合したダイジェスト候補Ｃｄを生成する。この場合、他カメラショットＳｈであるシーンＡ４と、対応する候補映像データＣｄ１であるシーンＡ１とは同一撮影時間帯となる。
【0089】
このように、本変形例では、情報処理装置１は、切替点の検出を行うことなく他カメラショットＳｈを第２素材映像データＤ２から抽出する。そして、第１カメラ８ａで撮影された重要シーンと同一時間帯に第２カメラ８ｂで撮影されたシーンを、好適にダイジェスト候補Ｃｄに含めることができる。
【0090】
（変形例３）
情報処理装置１は、重要区間か否かを識別するためのラベルが予め付されている第１素材映像データＤ１に基づきダイジェスト候補Ｃｄを生成してもよい。この場合、情報処理装置１は、第１推論器情報Ｄ３を参照して候補映像データＣｄ１を選定する代わりに、上述のラベルを参照して候補映像データＣｄ１を選定する。
情報処理装置１は、重要区間か否かを識別するためのラベルが予め付されている第１素材映像データＤ１に基づきダイジェスト候補Ｃｄを生成してもよい。この場合、情報処理装置１は、第１推論器情報Ｄ３を参照して候補映像データＣｄ１を選定する代わりに、上述のラベルを参照して候補映像データＣｄ１を選定する。
【0091】
図１１は、変形例３において情報処理装置１が実行するフローチャートの一例である。まず、情報処理装置１の候補映像データ選定部１５は、重要区間か否かを識別するためのラベルが付された第１素材映像データＤ１を記憶装置４から取得する（ステップＳ３１）。
【0092】
そして、基準時間決定部１６は、第１素材映像データＤ１に付されたラベルに基づき選定された候補映像データＣｄ１に基づき、基準時間Ｔｒｅｆを設定する（ステップＳ３２）。この場合、候補映像データ選定部１５は、第１素材映像データＤ１に付されたラベルに基づき識別した重要区間の映像データを候補映像データＣｄ１とみなす。そして、基準時間決定部１６は、第２スコアに基づき候補映像データＣｄ１から基準候補映像データＣｄ２を選定し、基準候補映像データＣｄ２の撮影時間帯に応じた基準時間Ｔｒｅｆを設定する。なお、基準時間決定部１６は、後述する変形例５において述べるように、基準候補映像データＣｄ２の選定を行うことなく、全ての候補映像データＣｄ１の撮影時間帯に応じた基準時間Ｔｒｅｆを設定してもよい。
【0093】
その後、他カメラショット抽出部１７は、基準時間Ｔｒｅｆに基づき、第２素材映像データＤ２から他カメラショットＳｈを抽出する（ステップＳ３３）。そして、ダイジェスト候補生成部１８は、候補映像データＣｄ１と、他カメラショットＳｈとに基づき、ダイジェスト候補Ｃｄを生成する（ステップＳ３４）。
【0094】
このように、本変形例においても、情報処理装置１は、第２カメラ８ｂが生成した他カメラショットＳｈを含むダイジェスト候補Ｃｄを好適に生成することができる。また、本変形例では、情報処理装置１は、第１推論器情報Ｄ３を用いることなく、ダイジェスト候補Ｃｄを生成する。
【0095】
（変形例４）
情報処理装置１は、３台以上のカメラにより生成された映像データに基づき、ダイジェスト候補Ｃｄを生成してもよい。
情報処理装置１は、３台以上のカメラにより生成された映像データに基づき、ダイジェスト候補Ｃｄを生成してもよい。
【0096】
この場合、他カメラショット抽出部１７は、第２素材映像データＤ２から他カメラショットＳｈを抽出し、かつ、第１カメラ８ａ及び第２カメラ８ｂ以外のカメラで撮影された各素材映像データから他カメラショットＳｈを抽出する。この場合、他カメラショット抽出部１７は、例えば、基準時間Ｔｒｅｆに基づき各素材映像データの第１切替点及び第２切替点を夫々検出することで、各素材映像データに対する他カメラショットＳｈを抽出する。他の例では、他カメラショット抽出部１７は、変形例２に基づき、基準候補映像データＣｄ２と同一撮影時間帯の映像データを各素材映像データから他カメラショットＳｈとして抽出してもよい。そして、ダイジェスト候補生成部１８は、各素材映像データから抽出した他カメラショットＳｈと、候補映像データＣｄ１とに基づき、ダイジェスト候補Ｃｄを生成する。
【0097】
このように、情報処理装置１は、３台以上のカメラにより生成された映像データに基づいて、好適にダイジェスト候補Ｃｄを生成することができる。
【0098】
（変形例５）
情報処理装置１は、基準時間Ｔｒｅｆの設定のための候補映像データＣｄ１の選定を行わなくともよい。
情報処理装置１は、基準時間Ｔｒｅｆの設定のための候補映像データＣｄ１の選定を行わなくともよい。
【0099】
この場合、候補映像データＣｄ１の一部を基準候補映像データＣｄ２として選定する代わりに、候補映像データＣｄ１の全てを基準候補映像データＣｄ２とみなす。具体的には、基準時間決定部１６は、図８のステップＳ１４では、第２スコアを用いることなく、全ての候補映像データＣｄ１の撮影時間帯に基づき基準時間Ｔｒｅｆを設定する。これによっても、情報処理装置１は、第１素材映像データＤ１において重要度が高いシーンに対応する第２素材映像データＤ２の他カメラショットＳｈを、好適にダイジェスト候補Ｃｄに含めることができる。
【0100】
（変形例６）
情報処理装置１は、第２素材映像データＤ２に対しても第１素材映像データＤ１と同様に時系列の第１スコアを算出し、第１スコアが閾値Ｔｈ１以上となる第２素材映像データＤ２の区間の映像データ（シーン）を、ダイジェスト候補Ｃｄに含めてもよい。
情報処理装置１は、第２素材映像データＤ２に対しても第１素材映像データＤ１と同様に時系列の第１スコアを算出し、第１スコアが閾値Ｔｈ１以上となる第２素材映像データＤ２の区間の映像データ（シーン）を、ダイジェスト候補Ｃｄに含めてもよい。
【0101】
＜第２実施形態＞
図１２は、第２実施形態における情報処理装置１Ｘの機能ブロック図である。情報処理装置１Ｘは、主に、基準時間決定手段１６Ｘと、他カメラショット抽出手段１７Ｘと、ダイジェスト候補生成手段１８Ｘとを有する。
図１２は、第２実施形態における情報処理装置１Ｘの機能ブロック図である。情報処理装置１Ｘは、主に、基準時間決定手段１６Ｘと、他カメラショット抽出手段１７Ｘと、ダイジェスト候補生成手段１８Ｘとを有する。
【0102】
基準時間決定手段１６Ｘは、第１カメラにより撮影された第１素材映像データのダイジェストの候補となる候補映像データ「Ｃｄ１」に基づき、第１カメラとは異なる第２カメラの映像データを抽出する基準となる時刻又は時間帯である基準時間「Ｔｒｅｆ」を決定する。基準時間決定手段１６Ｘは、第１実施形態（変形例を含む、以下同じ）の基準時間決定部１６とすることができる。ここで、基準時間決定手段１６Ｘは、候補映像データＣｄ１の選定を行う情報処理装置１Ｘ内の他の構成要素から候補映像データＣｄ１を受信してもよく、候補映像データＣｄ１の選定を行う外部装置（即ち情報処理装置１Ｘ以外の装置）から候補映像データＣｄ１を受信してもよい。
【0103】
他カメラショット抽出手段１７Ｘは、基準時間Ｔｒｅｆに基づき、第２カメラにより撮影された第２素材映像データの一部の映像データとなる他カメラショット「Ｓｈ」を抽出する。他カメラショット抽出手段１７Ｘは、第１実施形態の他カメラショット抽出部１７とすることができる。
【0104】
ダイジェスト候補生成手段１８Ｘは、候補映像データＣｄ１と、他カメラショットＳｈと、に基づき、第１素材映像データ及び第２素材映像データに対するダイジェストの候補であるダイジェスト候補「Ｃｄ」を生成する。ここで、ダイジェスト候補生成手段１８Ｘは、第１実施形態のダイジェスト候補生成部１８とすることができる。例えば、ダイジェスト候補生成手段１８Ｘは、候補映像データＣｄ１と、他カメラショットＳｈとを結合した１つの映像データであるダイジェスト候補Ｃｄを生成する。他の例では、ダイジェスト候補生成手段１８Ｘは、候補映像データＣｄ１と、他カメラショットＳｈとのリストを、ダイジェスト候補Ｃｄとして生成してもよい。なお、ダイジェスト候補Ｃｄには、候補映像データＣｄ１及び他カメラショットＳｈ以外の映像データが含まれてもよい。
【0105】
図１３は、第２実施形態において情報処理装置１Ｘが実行するフローチャートの一例である。まず、基準時間決定手段１６Ｘは、第１カメラにより撮影された第１素材映像データのダイジェストの候補となる候補映像データＣｄ１に基づき、第２カメラの映像データを抽出する基準となる時刻又は時間帯である基準時間Ｔｒｅｆを決定する（ステップＳ４１）。次に、他カメラショット抽出手段１７Ｘは、基準時間Ｔｒｅｆに基づき、第２カメラにより撮影された第２素材映像データの一部の映像データとなる他カメラショットＳｈを抽出する（ステップＳ４２）。そして、ダイジェスト候補生成手段１８Ｘは、候補映像データＣｄ１と、他カメラショットＳｈと、に基づきダイジェスト候補Ｃｄを生成する（ステップＳ４３）。
【0106】
第２実施形態に係る情報処理装置１Ｘは、複数カメラから撮影された映像を含むダイジェスト候補を好適に生成することができる。
【0107】
なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0108】
その他、上記の各実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
【0109】
［付記１］
第１カメラにより撮影された第１素材映像データのダイジェストの候補となる候補映像データに基づき、前記第１カメラとは異なる第２カメラの映像データを抽出する基準となる時刻又は時間帯である基準時間を決定する基準時間決定手段と、
前記基準時間に基づき、前記第２カメラにより撮影された第２素材映像データの一部の映像データとなる他カメラショットを抽出する他カメラショット抽出手段と、
前記候補映像データと、前記他カメラショットと、に基づき、前記第１素材映像データ及び前記第２素材映像データに対する前記ダイジェストの候補であるダイジェスト候補を生成するダイジェスト候補生成手段と、
を有する情報処理装置。
第１カメラにより撮影された第１素材映像データのダイジェストの候補となる候補映像データに基づき、前記第１カメラとは異なる第２カメラの映像データを抽出する基準となる時刻又は時間帯である基準時間を決定する基準時間決定手段と、
前記基準時間に基づき、前記第２カメラにより撮影された第２素材映像データの一部の映像データとなる他カメラショットを抽出する他カメラショット抽出手段と、
前記候補映像データと、前記他カメラショットと、に基づき、前記第１素材映像データ及び前記第２素材映像データに対する前記ダイジェストの候補であるダイジェスト候補を生成するダイジェスト候補生成手段と、
を有する情報処理装置。
【0110】
［付記２］
前記他カメラショット抽出手段は、前記基準時間に基づき、前記第２素材映像データにおいて映像又は音の、変化又は切替が生じる切替点を検出し、当該切替点に基づき前記他カメラショットを抽出する、付記１に記載の情報処理装置。
前記他カメラショット抽出手段は、前記基準時間に基づき、前記第２素材映像データにおいて映像又は音の、変化又は切替が生じる切替点を検出し、当該切替点に基づき前記他カメラショットを抽出する、付記１に記載の情報処理装置。
【0111】
［付記３］
前記他カメラショット抽出手段は、前記基準時間が時間帯を示す場合、前記時間帯の始点を基準として探索した前記第２素材映像データの第１切替点と、前記時間帯の終点を基準として探索した前記第２素材映像データの第２切替点と、に基づき、前記他カメラショットを抽出する、付記２に記載の情報処理装置。
前記他カメラショット抽出手段は、前記基準時間が時間帯を示す場合、前記時間帯の始点を基準として探索した前記第２素材映像データの第１切替点と、前記時間帯の終点を基準として探索した前記第２素材映像データの第２切替点と、に基づき、前記他カメラショットを抽出する、付記２に記載の情報処理装置。
【0112】
［付記４］
前記他カメラショット抽出手段は、前記基準時間が示す時間帯に対応する前記第２素材映像データの映像データを、前記他カメラショットとして抽出する、付記１に記載の情報処理装置。
前記他カメラショット抽出手段は、前記基準時間が示す時間帯に対応する前記第２素材映像データの映像データを、前記他カメラショットとして抽出する、付記１に記載の情報処理装置。
【0113】
［付記５］
前記第１素材映像データに対する時系列の第１スコアに基づき、前記第１素材映像データから前記候補映像データを選定する候補映像データ選定手段をさらに有する、付記１～４のいずれか一項に記載の情報処理装置。
前記第１素材映像データに対する時系列の第１スコアに基づき、前記第１素材映像データから前記候補映像データを選定する候補映像データ選定手段をさらに有する、付記１～４のいずれか一項に記載の情報処理装置。
【0114】
［付記６］
前記基準時間決定手段は、前記候補映像データに対する前記第１スコア又は前記第１スコアとは異なる第２スコアに基づき、前記基準時間の決定に用いる前記候補映像データである基準候補映像データを選定する、付記５に記載の情報処理装置。
前記基準時間決定手段は、前記候補映像データに対する前記第１スコア又は前記第１スコアとは異なる第２スコアに基づき、前記基準時間の決定に用いる前記候補映像データである基準候補映像データを選定する、付記５に記載の情報処理装置。
【0115】
［付記７］
前記候補映像データ選定手段は、入力された映像データに対して前記第１スコアを推論するように学習された第１推論器に対し、前記第１素材映像データの区間毎の区間映像データを入力することで得られる前記第１スコアに基づき、前記候補映像データを選定し、
前記基準時間決定手段は、入力された映像データに対して前記第２スコアを推論するように学習された第２推論器に対し、前記候補映像データを入力することで得られる前記第２スコアに基づき、前記基準候補映像データを選定する、付記５または６に記載の情報処理装置。
前記候補映像データ選定手段は、入力された映像データに対して前記第１スコアを推論するように学習された第１推論器に対し、前記第１素材映像データの区間毎の区間映像データを入力することで得られる前記第１スコアに基づき、前記候補映像データを選定し、
前記基準時間決定手段は、入力された映像データに対して前記第２スコアを推論するように学習された第２推論器に対し、前記候補映像データを入力することで得られる前記第２スコアに基づき、前記基準候補映像データを選定する、付記５または６に記載の情報処理装置。
【0116】
［付記８］
前記第１推論器は、重要区間か否かに関するラベルが付された学習用素材映像データに基づき学習された推論器であり、
前記第２推論器は、特定のイベントが発生しているか否かに関するラベルが付された学習用素材映像データに基づき学習された推論器である、付記７に記載の情報処理装置。
前記第１推論器は、重要区間か否かに関するラベルが付された学習用素材映像データに基づき学習された推論器であり、
前記第２推論器は、特定のイベントが発生しているか否かに関するラベルが付された学習用素材映像データに基づき学習された推論器である、付記７に記載の情報処理装置。
【0117】
［付記９］
前記候補映像データ選定手段は、前記第１スコアを第１閾値と比較することで、前記第１素材映像データから前記候補映像データを選定し、
前記基準時間決定手段は、前記第１スコアを第１閾値よりも厳しい基準となる第２閾値と比較することで、前記基準候補映像データを選定する、付記６に記載の情報処理装置。
前記候補映像データ選定手段は、前記第１スコアを第１閾値と比較することで、前記第１素材映像データから前記候補映像データを選定し、
前記基準時間決定手段は、前記第１スコアを第１閾値よりも厳しい基準となる第２閾値と比較することで、前記基準候補映像データを選定する、付記６に記載の情報処理装置。
【0118】
［付記１０］
コンピュータにより、
第１カメラにより撮影された第１素材映像データのダイジェストの候補となる候補映像データに基づき、前記第１カメラとは異なる第２カメラの映像データを抽出する基準となる時刻又は時間帯である基準時間を決定し、
前記基準時間に基づき、前記第２カメラにより撮影された第２素材映像データの一部の映像データとなる他カメラショットを抽出し、
前記候補映像データと、前記他カメラショットと、に基づき、前記第１素材映像データ及び前記第２素材映像データに対するダイジェストの候補であるダイジェスト候補を生成する、
制御方法。
コンピュータにより、
第１カメラにより撮影された第１素材映像データのダイジェストの候補となる候補映像データに基づき、前記第１カメラとは異なる第２カメラの映像データを抽出する基準となる時刻又は時間帯である基準時間を決定し、
前記基準時間に基づき、前記第２カメラにより撮影された第２素材映像データの一部の映像データとなる他カメラショットを抽出し、
前記候補映像データと、前記他カメラショットと、に基づき、前記第１素材映像データ及び前記第２素材映像データに対するダイジェストの候補であるダイジェスト候補を生成する、
制御方法。
【0119】
［付記１１］
第１カメラにより撮影された第１素材映像データのダイジェストの候補となる候補映像データに基づき、前記第１カメラとは異なる第２カメラの映像データを抽出する基準となる時刻又は時間帯である基準時間を決定する基準時間決定手段と、
前記基準時間に基づき、前記第２カメラにより撮影された第２素材映像データの一部の映像データとなる他カメラショットを抽出する他カメラショット抽出手段と、
前記候補映像データと、前記他カメラショットと、に基づき、前記第１素材映像データ及び前記第２素材映像データに対するダイジェストの候補であるダイジェスト候補を生成するダイジェスト候補生成手段
としてコンピュータを機能させるプログラムが格納された記憶媒体。
第１カメラにより撮影された第１素材映像データのダイジェストの候補となる候補映像データに基づき、前記第１カメラとは異なる第２カメラの映像データを抽出する基準となる時刻又は時間帯である基準時間を決定する基準時間決定手段と、
前記基準時間に基づき、前記第２カメラにより撮影された第２素材映像データの一部の映像データとなる他カメラショットを抽出する他カメラショット抽出手段と、
前記候補映像データと、前記他カメラショットと、に基づき、前記第１素材映像データ及び前記第２素材映像データに対するダイジェストの候補であるダイジェスト候補を生成するダイジェスト候補生成手段
としてコンピュータを機能させるプログラムが格納された記憶媒体。
【0120】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
【符号の説明】
【0121】
１、１Ｘ 情報処理装置
２ 入力装置
３ 出力装置
４ 記憶装置
６ 学習装置
１００ ダイジェスト候補選定システム
２ 入力装置
３ 出力装置
４ 記憶装置
６ 学習装置
１００ ダイジェスト候補選定システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】