特許 7420243 情報処理装置、制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-15

(45)【発行日】2024-01-23

(54)【発明の名称】情報処理装置、制御方法及びプログラム

(51)【国際特許分類】

   H04N 5/91 20060101AFI20240116BHJP

【ＦＩ】

H04N5/91

【請求項の数】 10

(21)【出願番号】P 2022527325

(86)(22)【出願日】2020-05-26

(86)【国際出願番号】 JP2020020772

(87)【国際公開番号】W WO2021240652

(87)【国際公開日】2021-12-02

【審査請求日】2022-11-14

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】渡辺 はるな

(72)【発明者】

【氏名】菊池 克

(72)【発明者】

【氏名】白石 壮馬

(72)【発明者】

【氏名】鍋藤 悠

【審査官】川中 龍太

(56)【参考文献】

【文献】特開２０１９－００３５８５（ＪＰ，Ａ）

【文献】特開２００８－２８３４８６（ＪＰ，Ａ）

【文献】特開２０１３－０３１００８（ＪＰ，Ａ）

【文献】特開２０１５－０９９９５８（ＪＰ，Ａ）

【文献】特開２０１２－０６０２３８（ＪＰ，Ａ）

【文献】米国特許出願公開第２００７／０２４５２４２（ＵＳ，Ａ１）

【文献】特開２００６－２８７３１９（ＪＰ，Ａ）

【文献】特開２０１１－２２３２８７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／７６ － ５／９５６

(57)【特許請求の範囲】

【請求項1】

ダイジェストの生成において素材となり、映像データ又は音データの少なくとも一方を含む素材データを複数の区間に分割した場合の前記素材データの区間を構成する区間データの各々に対して算出した重要度に基づき、前記区間データからダイジェストの候補である第１ダイジェスト候補を選定する第１ダイジェスト候補選定手段と、
前記第１ダイジェスト候補のペアを決定するペア決定手段と、
前記ペアが同時に前記ダイジェストに含まれる蓋然性の度合いを示す関連度を算出する関連度算出手段と、
を有する情報処理装置。

【請求項2】

前記関連度に基づき、第２ダイジェスト候補となる前記区間データを選定する第２ダイジェスト候補選定手段をさらに有する、請求項１に記載の情報処理装置。

【請求項3】

前記第２ダイジェスト候補選定手段は、前記関連度に基づき、前記第２ダイジェスト候補となる前記第１ダイジェスト候補を選定する、請求項２に記載の情報処理装置。

【請求項4】

前記ペア決定手段は、再生時刻の差が所定時間差以内となる２つの前記区間データを、前記ペアとして決定する、請求項１～３のいずれか一項に記載の情報処理装置。

【請求項5】

前記ペア決定手段は、所定の時間間隔毎に前記素材データから抽出された前記区間データから前記ペアを決定する、請求項１～３のいずれか一項に記載の情報処理装置。

【請求項6】

前記ペア決定手段は、前記区間データに対してクラスタリングを行い、所定のクラスに属する前記区間データから前記ペアを決定する、請求項１～３のいずれか一項に記載の情報処理装置。

【請求項7】

前記関連度算出手段は、学習用素材データから作成された学習用ダイジェストの区間データ同士のペアを正例とし、当該正例となる前記ペア以外の前記学習用素材データの区間データ同士のペアを負例として学習した関連度推論器に基づき、前記関連度を算出する、請求項１～６のいずれか一項に記載の情報処理装置。

【請求項8】

前記関連度算出手段は、映像データ又は音データの少なくとも一方を含むデータのペアが入力された場合に、当該データのペアが同一の素材データから抽出されたと仮定した場合の当該データのペアの再生時刻の差分に相当する情報を出力するように学習された関連度推論器に基づき、前記関連度を算出する、請求項１～６のいずれか一項に記載の情報処理装置。

【請求項9】

コンピュータにより、
ダイジェストの生成において素材となり、映像データ又は音データの少なくとも一方を含む素材データを複数の区間に分割した場合の前記素材データの区間を構成する区間データの各々に対して算出した重要度に基づき、前記区間データからダイジェストの候補である第１ダイジェスト候補を選定し、
前記第１ダイジェスト候補のペアを決定し、
前記ペアが同時に前記ダイジェストに含まれる蓋然性の度合いを示す関連度を算出する、
制御方法。

【請求項10】

ダイジェストの生成において素材となり、映像データ又は音データの少なくとも一方を含む素材データを複数の区間に分割した場合の前記素材データの区間を構成する区間データの各々に対して算出した重要度に基づき、前記区間データからダイジェストの候補である第１ダイジェスト候補を選定する第１ダイジェスト候補選定手段と、
前記第１ダイジェスト候補のペアを決定するペア決定手段と、
前記ペアが同時に前記ダイジェストに含まれる蓋然性の度合いを示す関連度を算出する関連度算出手段
としてコンピュータを機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ダイジェストの生成に関する処理を行う情報処理装置、制御方法及び記憶媒体の技術分野に関する。

【背景技術】

【0002】

素材となる映像データを編集してダイジェストを生成する技術が存在する。例えば、特許文献１には、グランドでのスポーツイベントの映像ストリームからハイライトを確認して製作する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１９－５２２９４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

素材となる映像に対して重要度を算出し、その重要度に基づいてダイジェスト生成を自動生成する場合、関連性が低いシーン同士を組み合わせた結果、ストーリーの理解が困難なダイジェストが生成される可能性があった。

【0005】

本開示の目的は、上記の課題を勘案し、ダイジェスト生成に好適な情報を生成することが可能な情報処理装置、制御方法及び記憶媒体を提供することである。

【課題を解決するための手段】

【0006】

情報処理装置の一の態様は、ダイジェストの生成において素材となり、映像データ又は音データの少なくとも一方を含む素材データを複数の区間に分割した場合の前記素材データの区間を構成する区間データの各々に対して算出した重要度に基づき、前記区間データからダイジェストの候補である第１ダイジェスト候補を選定する第１ダイジェスト候補選定手段と、前記第１ダイジェスト候補のペアを決定するペア決定手段と、前記ペアが同時に前記ダイジェストに含まれる蓋然性の度合いを示す関連度を算出する関連度算出手段と、
を有する情報処理装置である。

【0007】

制御方法の一の態様は、コンピュータにより、ダイジェストの生成において素材となり、映像データ又は音データの少なくとも一方を含む素材データを複数の区間に分割した場合の前記素材データの区間を構成する区間データの各々に対して算出した重要度に基づき、前記区間データからダイジェストの候補である第１ダイジェスト候補を選定し、前記第１ダイジェスト候補のペアを決定し、前記ペアが同時に前記ダイジェストに含まれる蓋然性の度合いを示す関連度を算出する、制御方法である。

【0008】

プログラムの一の態様は、ダイジェストの生成において素材となり、映像データ又は音データの少なくとも一方を含む素材データを複数の区間に分割した場合の前記素材データの区間を構成する区間データの各々に対して算出した重要度に基づき、前記区間データからダイジェストの候補である第１ダイジェスト候補を選定する第１ダイジェスト候補選定手段と、前記第１ダイジェスト候補のペアを決定するペア決定手段と、前記ペアが同時に前記ダイジェストに含まれる蓋然性の度合いを示す関連度を算出する関連度算出手段としてコンピュータを機能させるプログラムである。

【発明の効果】

【0009】

本開示によれば、ダイジェスト生成に好適な情報を生成することができる。

【図面の簡単な説明】

【0010】

【図1】第１実施形態におけるダイジェスト候補選定システムの構成を示す。

【図2】情報処理装置のハードウェア構成を示す。

【図3】情報処理装置の機能ブロックの一例である。

【図4】第１選定例及び第２選定例に共通する第１ダイジェスト候補の選定処理の概要を示す図である。

【図5】第１ダイジェスト候補の選定後における第１選定例に係る第２ダイジェスト候補の選定処理の概要を示す図である。

【図6】第１ダイジェスト候補の選定後における第２選定例に係る第２ダイジェスト候補の選定処理の概要を示す図である。

【図7】関連度推論器情報を生成する学習システムの概略構成図である。

【図8】学習装置の機能ブロック構成の一例を示す。

【図9】第１実施形態において情報処理装置が実行する処理の手順を示すフローチャートの一例である。

【図10】第１実施形態において学習装置が実行する処理の手順を示すフローチャートの一例である。

【図11】変形例２に係る情報処理装置の機能ブロック図の一例である。

【図12】変形例２において情報処理装置が実行する処理の手順を示すフローチャートの一例である。

【図13】第２実施形態における情報処理装置の機能ブロック図である。

【図14】第２実施形態において情報処理装置が実行するフローチャートの一例である。

【発明を実施するための形態】

【0011】

以下、図面を参照しながら、情報処理装置、制御方法及び記憶媒体の実施形態について説明する。

【0012】

＜第１実施形態＞
（１）システム構成
図１は、第１実施形態に係るダイジェスト候補選定システム１００の構成を示す。ダイジェスト候補選定システム１００は、素材となる映像データ（「素材データ」とも呼ぶ。）からダイジェストの候補となる映像データを好適に選定する。ダイジェスト候補選定システム１００は、主に、情報処理装置１と、入力装置２と、出力装置３と、記憶装置４とを備える。

【0013】

情報処理装置１は、通信網を介し、又は、無線若しくは有線による直接通信により、入力装置２、及び出力装置３とデータ通信を行う。情報処理装置１は、記憶装置４に記憶された素材データＤ１から、同じく記憶装置４に記憶された関連度推論器情報Ｄ２及び重要度推論器情報Ｄ３を参照し、ダイジェストの候補となる映像データを選定する。そして、情報処理装置１は、上述の選定結果に関する出力信号「Ｓ１」を生成し、生成した出力信号Ｓ１を出力装置に供給する。

【0014】

入力装置２は、ユーザ入力を受け付ける任意のユーザインターフェースであり、例えば、ボタン、キーボード、マウス、タッチパネル、音声入力装置などが該当する。入力装置２は、ユーザ入力に基づき生成した入力信号「Ｓ２」を、情報処理装置１へ供給する。出力装置３は、例えば、ディスプレイ、プロジェクタ等の表示装置、及び、スピーカ等の音出力装置であり、情報処理装置１から供給される出力信号Ｓ１に基づき、所定の表示又は音出力を行う。

【0015】

記憶装置４は、情報処理装置１の処理に必要な各種情報を記憶するメモリである。記憶装置４は、例えば、素材データＤ１と、関連度推論器情報Ｄ２と、重要度推論器情報Ｄ３とを記憶する。

【0016】

素材データＤ１は、ダイジェストの生成において編集される対象となる映像データである。以後では、素材データＤ１から抽出される、所定の再生時間長の区間に対応する映像データを、「区間データ」とも呼ぶ。各区間データは、１枚以上となる所定枚数の時系列の画像を含む。第１実施形態では、情報処理装置１は、素材データＤ１を単位区間毎に分割した区間データを対象として、重要度の算出や関連度を算出するペアの生成を行う。

【0017】

関連度推論器情報Ｄ２は、区間データのペア（「推論対象ペアＰｔａｇ」とも呼ぶ。）に対して関連度を推論する推論器（「関連度推論器」とも呼ぶ。）に関する情報である。関連度は、推論対象ペアＰｔａｇが同時にダイジェストに含まれるか否かという観点での関連性を示す指標であり、言い換えると、推論対象ペアＰｔａｇが同時にダイジェストに含まれる蓋然性（又は妥当性）の度合いを示す指標である。関連度推論器は、区間データのペアに相当する所定枚数（１枚以上）の画像のペアが入力された場合に、これらの関連度を推論するように予め学習され、関連度推論器情報Ｄ２には、学習された関連度推論器のパラメータが含まれる。

【0018】

重要度推論器情報Ｄ３は、区間データに対して重要度を推論する推論器（「重要度推論器」とも呼ぶ。）に関する情報である。上述の重要度は、ダイジェストの生成において入力された映像データに該当する素材データＤ１における区間が重要区間であるか又は非重要区間であるかを判定するための基準となる指標である。重要度推論器は、区間データを構成する所定枚数（１枚以上）の画像が入力された場合に、対象の区間の重要度を推論するように予め学習され、重要度推論器情報Ｄ３には、学習された重要度推論器のパラメータが含まれる。

【0019】

関連度推論器及び重要度推論器の学習モデルは、それぞれ、ニューラルネットワーク又はサポートベクターマシンなどの任意の機械学習に基づく学習モデルであってもよい。例えば、上述の関連度推論器及び重要度推論器のモデルが畳み込みニューラルネットワークなどのニューラルネットワークである場合、関連度推論器情報Ｄ２及び重要度推論器情報Ｄ３は、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの各種パラメータを含む。

【0020】

なお、記憶装置４は、情報処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶装置４は、情報処理装置１とデータ通信を行うサーバ装置であってもよい。また、記憶装置４は、複数の装置から構成されてもよい。この場合、記憶装置４は、素材データＤ１、関連度推論器情報Ｄ２及び重要度推論器情報Ｄ３を分散して記憶してもよい。

【0021】

以上において説明したダイジェスト候補選定システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、入力装置２及び出力装置３は、一体となって構成されてもよい。この場合、入力装置２及び出力装置３は、情報処理装置１と一体となるタブレット型端末として構成されてもよい。また、情報処理装置１は、複数の装置から構成されてもよい。この場合、情報処理装置１を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、これらの複数の装置間において行う。

【0022】

（２）情報処理装置のハードウェア構成
図２は、情報処理装置１のハードウェア構成を示す。情報処理装置１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１９を介して接続されている。

【0023】

プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、量子プロセッサなどのプロセッサである。

【0024】

メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ１２には、情報処理装置１が実行するプログラムが記憶される。また、メモリ１２は、作業メモリとして使用され、記憶装置４から取得した情報等を一時的に記憶する。なお、メモリ１２は、記憶装置４として機能してもよい。同様に、記憶装置４は、情報処理装置１のメモリ１２として機能してもよい。なお、情報処理装置１が実行するプログラムは、メモリ１２以外の記憶媒体に記憶されてもよい。

【0025】

インターフェース１３は、情報処理装置１と他の装置とを電気的に接続するためのインターフェースである。例えば、情報処理装置１と他の装置とを接続するためのインターフェースは、プロセッサ１１の制御に基づき他の装置とデータの送受信を有線又は無線により行うためのネットワークアダプタなどの通信インターフェースであってもよい。他の例では、情報処理装置１と他の装置とはケーブル等により接続されてもよい。この場合、インターフェース１３は、他の装置とデータの授受を行うためのＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＳＡＴＡ（Ｓｅｒｉａｌ ＡＴ Ａｔｔａｃｈｍｅｎｔ）などに準拠したハードウェアインターフェースを含む。

【0026】

なお、情報処理装置１のハードウェア構成は、図２に示す構成に限定されない。例えば、情報処理装置１は、入力装置２又は出力装置３の少なくとも一方を含んでもよい。

【0027】

（３）機能ブロック
次に、情報処理装置１の機能ブロックについて説明する。ここでは、情報処理装置１は、素材データＤ１の区間データから暫定的なダイジェスト候補（「第１ダイジェスト候補」とも呼ぶ。）を選定し、第１ダイジェスト候補を基準として最終的に出力すべきダイジェスト候補（「第２ダイジェスト候補」とも呼ぶ。）を選定する。

【0028】

図３は、情報処理装置１のプロセッサ１１の機能ブロックの一例である。情報処理装置１のプロセッサ１１は、機能的には、第１ダイジェスト候補選定部１４と、ペア決定部１５と、関連度算出部１６と、第２ダイジェスト候補選定部１７と、出力制御部１８とを有する。なお、図３では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せは図３に限定されない。後述する他の機能ブロックの図においても同様である。

【0029】

第１ダイジェスト候補選定部１４は、素材データＤ１を構成する区間データの各々に対して重要度を算出し、算出した重要度に基づき、素材データＤ１を構成する区間データから第１ダイジェスト候補を選定する。ここで、区間データは、素材データＤ１を単位時間長の区間により区切ったデータであり、１枚以上の所定枚数分の画像を含むデータとなる。そして、第１ダイジェスト候補選定部１４は、例えば、重要度推論器情報Ｄ３を参照することで重要度推論器を構成し、素材データＤ１から抽出した区間データを重要度推論器に順次入力することで、全ての区間データにそれぞれ対応する重要度を取得する。そして、第１ダイジェスト候補選定部１４は、重要度が予め設定された閾値以上となる区間データを、第１ダイジェスト候補として選定する。以後では、第１ダイジェスト候補ではない区間データを、「非第１ダイジェスト候補」とも呼ぶ。第１ダイジェスト候補選定部１４は、第１ダイジェスト候補に関する情報（「第１ダイジェスト候補情報Ｉｄｃ１」とも呼ぶ。）をペア決定部１５に供給する。

【0030】

ペア決定部１５は、第１ダイジェスト候補選定部１４が決定した第１ダイジェスト候補情報Ｉｄｃ１に基づき、素材データＤ１から抽出された２つの区間データを組み合わせた複数の推論対象ペアＰｔａｇを決定する。この場合、第１の例では、ペア決定部１５は、第１ダイジェスト候補となる任意の２つの区間データを組み合わせた推論対象ペアＰｔａｇを決定する。第２の例では、ペア決定部１５は、第１ダイジェスト候補となる区間データと、非第１ダイジェスト候補となる区間データとを任意に組み合わせた推論対象ペアＰｔａｇを決定する。そして、ペア決定部１５は、決定した推論対象ペアＰｔａｇを関連度算出部１６に供給する。

【0031】

なお、ペア決定部１５は、情報処理装置１の全体の処理負荷低減のため、推論対象ペアＰｔａｇを以下に述べる方法により限定してもよい。例えば、ペア決定部１５は、対応する再生時刻の差が所定時間差以内となる２つの区間データを、推論対象ペアＰｔａｇとして決定してもよい。他の例では、ペア決定部１５は、所定の時間間隔毎に素材データＤ１から抽出された区間データのみを組み合わせの対象として、推論対象ペアＰｔａｇを決定してもよい。さらに別の例では、ペア決定部１５は、区間データに対して任意のクラスタリング手法を適用してクラス分けを行い、所定のクラスに属する区間データのみを組み合わせの対象として、推論対象ペアＰｔａｇを決定してもよい。

【0032】

関連度算出部１６は、ペア決定部１５から供給される推論対象ペアＰｔａｇの各々に対して関連度を算出する。この場合、関連度算出部１６は、関連度推論器情報Ｄ２を参照することで関連度推論器を構成し、ペア決定部１５から取得した推論対象ペアＰｔａｇを関連度推論器に順次入力することで、推論対象ペアＰｔａｇの各々に対する関連度を算出する。そして、関連度算出部１６は、算出した関連度を示す情報（「関連度情報Ｉａ」とも呼ぶ。）を、第２ダイジェスト候補選定部１７に供給する。

【0033】

第２ダイジェスト候補選定部１７は、関連度算出部１６から供給される関連度情報Ｉａに基づき、第２ダイジェスト候補を選定する。第２ダイジェスト候補選定部１７は、選定した第２ダイジェスト候補に関する情報（「第２ダイジェスト候補情報Ｉｄｃ２」とも呼ぶ。）を出力制御部１８へ供給する。ここで、第２ダイジェスト候補情報Ｉｄｃ２は、第２ダイジェスト候補となる区間データそのものであってもよく、第２ダイジェスト候補となる区間データの時間情報（素材データＤ１における再生時刻を示す情報）であってもよい。

【0034】

ここで、第１ダイジェスト候補から推論対象ペアＰｔａｇが選定された場合、第２ダイジェスト候補選定部１７は、関連度が予め定めた閾値以上となる推論対象ペアＰｔａｇを構成する第１ダイジェスト候補を、第２ダイジェスト候補として選定する。これにより、第２ダイジェスト候補選定部１７は、第１ダイジェスト候補から関連度に基づき絞り込んだ第２ダイジェスト候補を好適に決定することができる。一方、第１ダイジェスト候補と非第１ダイジェスト候補との組み合わせを推論対象ペアＰｔａｇとした場合、第２ダイジェスト候補選定部１７は、関連度が閾値以上となる推論対象ペアＰｔａｇの非第１ダイジェスト候補を、第２ダイジェスト候補に加える。この場合、第２ダイジェスト候補選定部１７は、第１ダイジェスト候補と関連度が高い非第１ダイジェスト候補を、第２ダイジェスト候補に好適に取り込むことができる。

【0035】

出力制御部１８は、第２ダイジェスト候補選定部１７から供給される第２ダイジェスト候補情報Ｉｄｃ２に基づく出力制御を行う。第１の例では、出力制御部１８は、第２ダイジェスト候補情報Ｉｄｃ２に関する出力信号Ｓ１を生成し、生成した出力信号Ｓ１を、インターフェース１３を介して出力装置３に送信する。この場合、出力制御部１８は、例えば、第２ダイジェスト候補となる区間データを再生するための出力信号Ｓ１を出力装置３に送信することで、第２ダイジェスト候補となる区間データを出力装置３に再生させてもよい。これにより、出力制御部１８は、第２ダイジェスト候補のダイジェストとしての適否を閲覧者に確認させることができる。第２の例では、出力制御部１８は、第２ダイジェスト候補情報Ｉｄｃ２を、インターフェース１３を介して記憶装置４に記憶する。第３の例では、出力制御部１８は、第２ダイジェスト候補情報Ｉｄｃ２を、最終的なダイジェストの生成処理を行う外部装置にインターフェース１３を介して送信する。

【0036】

なお、図３において説明した第１ダイジェスト候補選定部１４、ペア決定部１５、関連度算出部１６、第２ダイジェスト候補選定部１７及び出力制御部１８の各構成要素は、例えば、プロセッサ１１が記憶装置４又はメモリ１２に格納されたプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、これらの各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このように、各構成要素は、プロセッサ以外のハードウェアを含む任意のコントローラにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。

【0037】

（４）具体例
次に、第２ダイジェスト候補の選定に関する具体例について説明する。以後では、第１ダイジェスト候補から第２ダイジェスト候補を選定する第１選定例と、第１ダイジェスト候補に加えて第１ダイジェスト候補と関連が高い非第１ダイジェスト候補を第２ダイジェスト候補として選定する第２選定例について説明する。

【0038】

図４は、第１選定例及び第２選定例に共通する第１ダイジェスト候補の選定処理の概要を示す図である。

【0039】

まず、第１ダイジェスト候補選定部１４は、素材データＤ１から単位時間長の複数の区間データを抽出し、重要度推論器情報Ｄ３を参照することで構成した重要度推論器に対し、抽出した区間データを順次入力する。これにより、第１ダイジェスト候補選定部１４は、区間データの各々の重要度を算出する。そして、第１ダイジェスト候補選定部１４は、所定の閾値以上の重要度となる区間データを、第１ダイジェスト候補とみなし、当該閾値未満の重要度となる区間データを、非第１ダイジェスト候補とみなす。

【0040】

図５は、第１ダイジェスト候補の選定後における第１選定例に係る第２ダイジェスト候補の選定処理の概要を示す図である。

【0041】

第１選定例では、ペア決定部１５は、第１ダイジェスト候補となる区間データ同士を組み合わせた推論対象ペアＰｔａｇを決定する。この場合、ペア決定部１５は、第１ダイジェスト候補同士のペアの全組合せを推論対象ペアＰｔａｇとして決定してもよく、第１ダイジェスト候補同士のペアの一部を推論対象ペアＰｔａｇとして決定してもよい。

【0042】

そして、関連度算出部１６は、ペア決定部１５が決定した推論対象ペアＰｔａｇの各々を、関連度推論器情報Ｄ２を参照して構成した関連度推論器に入力する。これにより、関連度算出部１６は、推論対象ペアＰｔａｇの各々の関連度を算出する。そして、第２ダイジェスト候補選定部１７は、算出した関連度が所定の閾値以上となる推論対象ペアＰｔａｇを構成する区間データを、第２ダイジェスト候補として選定する。これにより、第２ダイジェスト候補選定部１７は、第１ダイジェスト候補となる区間データから、関連度が高い区間データのみを第２ダイジェスト候補として好適に絞り込むことができる。

【0043】

ここで、第１ダイジェスト候補同士のペアの一部を推論対象ペアＰｔａｇとして決定する方法について補足説明する。第１決定方法では、ペア決定部１５は、再生時刻が所定時間差以内となる第１ダイジェスト候補の区間データのペアのみを、推論対象ペアＰｔａｇとして選定する。第２決定方法では、ペア決定部１５は、一定の時間（例えば２秒）間隔により素材データＤ１から選定した区間データに該当する第１ダイジェスト候補のみを対象として推論対象ペアＰｔａｇを決定する。第３選定方法では、ペア決定部１５は、第１ダイジェスト候補となる区間データのクラスタリングを行い、特定のクラスに含まれる区間データのみを対象として推論対象ペアＰｔａｇを決定する。この場合、ペア決定部１５は、例えば、所定の特徴量抽出処理を各区間データに対して行い、抽出した特徴量に基づき、予め設定したクラスのうちいずれのクラスに属するかの判定（即ちクラスの識別）を行う。他の例では、ペア決定部１５は、入力装置２へのユーザ入力に基づきクラスタリングを行ってもよい。

【0044】

図６は、第１ダイジェスト候補の選定後における第２選定例に係る第２ダイジェスト候補の選定処理の概要を示す図である。

【0045】

第２選定例では、ペア決定部１５は、第１ダイジェスト候補と非第１ダイジェスト候補とから夫々１つ取り出して組み合わせた推論対象ペアＰｔａｇを決定する。この場合、ペア決定部１５は、第１ダイジェスト候補と非第１ダイジェスト候補のペアの全組合せを推論対象ペアＰｔａｇとして選定してもよく、これらの一部の組合せを推論対象ペアＰｔａｇとして選定してもよい。

【0046】

そして、関連度算出部１６は、ペア決定部１５が決定した推論対象ペアＰｔａｇの各々を、関連度推論器情報Ｄ２を参照して構成した関連度推論器に入力する。これにより、関連度算出部１６は、推論対象ペアＰｔａｇの各々の関連度を算出する。そして、第２ダイジェスト候補選定部１７は、算出した関連度が所定の閾値以上となる推論対象ペアＰｔａｇを構成する非第１ダイジェスト候補と、全ての第１ダイジェスト候補とを、第２ダイジェスト候補として選定する。この場合、第２ダイジェスト候補選定部１７は、第１ダイジェスト候補と関連度が高い非第１ダイジェスト候補を、第２ダイジェスト候補に取り込むことができる。これにより、ストーリー理解のために必要な重要シーンの周辺のシーンをダイジェスト候補に好適に取り込むことができる。

【0047】

ここで、第１ダイジェスト候補と非第１ダイジェスト候補とのペアの一部の組合せを推論対象ペアＰｔａｇとして選定する方法について補足説明する。第１選定方法では、ペア決定部１５は、再生時刻が所定時間差以内となる第１ダイジェスト候補と非第１ダイジェスト候補との区間データのペアのみを、推論対象ペアＰｔａｇとして選定する。第２選定方法では、ペア決定部１５は、一定の時間（例えば２秒）間隔により素材データＤ１から選定した区間データに該当する第１ダイジェスト候補及び非第１ダイジェスト候補のみを対象として推論対象ペアＰｔａｇを選定する。第３選定方法では、ペア決定部１５は、第１ダイジェスト候補及び非第１ダイジェスト候補のクラスタリングを行い、特定のクラスに含まれる第１ダイジェスト候補及び非第１ダイジェスト候補のみを対象として推論対象ペアＰｔａｇを選定する。

【0048】

（５）関連度推論器の学習
次に、関連度推論器の学習による関連度推論器情報Ｄ２の生成について説明する。図７は、関連度推論器情報Ｄ２を生成する学習システムの概略構成図である。上記学習システムは、学習データＤ４を参照可能な学習装置６を有する。

【0049】

学習装置６は、例えば図２に示す情報処理装置１の構成と同一構成を有し、主に、プロセッサ２１と、メモリ２２と、インターフェース２３とを有している。学習装置６は、情報処理装置１であってもよく、情報処理装置１以外の任意の装置であってもよい。

【0050】

学習データＤ４は、学習用の素材データである学習用素材データと、単位区間ごとに学習用素材データが重要か非重要かを示すラベルとを含む。ここでは、学習用素材データからダイジェスト（学習用ダイジェスト）を人手の作業により予め生成し、ダイジェストとして採用された学習用素材データの区間データには重要のラベルが付され、ダイジェスト以外の区間データには非重要のラベルが付されている。以後では、重要のラベルが付された学習用素材データ（即ち学習用ダイジェスト）の区間データを「重要データ」と呼び、非重要のラベルが付された学習用素材データの区間データを「非重要データ」と呼ぶ。

【0051】

図８は、学習装置６の機能ブロック構成の一例を示す。学習装置６は、機能的には、主に、ペア決定部６１と、学習部６２とを有する。ペア決定部６１及び学習部６２は、例えば、プロセッサ２１により実現される。

【0052】

ペア決定部６１は、学習データＤ４を参照し、学習用素材データの区間データから学習用の推論対象ペアＰｔａｇを決定し、これらのペアに対する正解ラベルを生成する。ペア決定部６１の処理の具体例については後述する。

【0053】

学習部６２は、ペア決定部６１が決定した学習用の推論対象ペアＰｔａｇと、正解ラベルとの組合せに基づき、関連度推論器の学習を行う。この場合、学習装置６は、学習用の推論対象ペアＰｔａｇを関連度推論器に入力した場合の関連度推論器の出力と、入力された学習用の推論対象ペアＰｔａｇに対応する正解ラベルとの誤差（損失）が最小となるように、関連度推論器のパラメータを決定する。損失を最小化するように上述のパラメータを決定するアルゴリズムは、勾配降下法や誤差逆伝播法などの機械学習において用いられる任意の学習アルゴリズムであってもよい。なお、学習部６２は、学習データＤ４を参照して重要度推論器の学習を行い、重要度推論器情報Ｄ３を生成する処理をさらに行ってもよい。

【0054】

次に、ペア決定部６１の処理の具体例（第１学習例及び第２学習例）について説明する。

【0055】

第１学習例では、ペア決定部６１は、学習用素材データを構成する重要データ及び非重要データの全ての２つの組合せを学習用の推論対象ペアＰｔａｇとして決定する。そして、ペア決定部６１は、重要データ同士のペアとなる学習用の推論対象ペアＰｔａｇに対し、正例であることを示す正解ラベルを付し、その他のペアとなる学習用の推論対象ペアＰｔａｇに対し、負例であることを示す正解ラベルを付す。なお、「その他のペア」とは、非重要データ同士のペア、及び、重要データと非重要データのペアを指す。その後、学習部６２は、例えば、負例であることを示す正解ラベルの場合には正解となる関連度が最低値であるとみなし、正例であることを示す正解ラベルの場合には正解となる関連度が最大値であるとみなし、関連度推論器の学習を行う。

【0056】

第１学習例によれば、学習装置６は、入力される区間データのペアが同時にダイジェストに含まれる蓋然性が高いほど高い関連度を出力するように関連度推論器を好適に学習することができる。

【0057】

第２学習例では、ペア決定部６１は、学習用素材データの任意の２つの区間データ（重要データ及び非重要データを含む）を学習用の推論対象ペアＰｔａｇとして決定する。そして、学習部６２は、学習用の推論対象ペアＰｔａｇを構成する２つの区間データの再生時刻の差に応じた値を、対象の学習用の推論対象ペアＰｔａｇに対する正解ラベルとして決定する。「再生時刻の差に応じた値」は、例えば、２つの区間データの再生時刻が近いほど１（例えば関連度の最大値）に近い数字となり、遠いほど０（例えば関連度の最低値）に近い数字となるように、関連度の値域に応じて正規化された値となる。

【0058】

第２学習例によれば、学習装置６は、ストーリーとして繋がりが深い区間データのペアほど高い関連度を出力するように関連度推論器を好適に学習することができる。

【0059】

なお、情報処理装置１は、第２学習例で学習された関連度推論器を、例えば図７に示した第２選定例に適用することで、第１ダイジェスト候補に時間的に近い非第１ダイジェスト候補を、第２ダイジェスト候補として好適に取り込むことができる。これにより、情報処理装置１は、重要シーンの周辺シーンを好適に第２ダイジェスト候補として選定し、ストーリーの理解がしやすいダイジェストの生成を好適に支援することができる。

【0060】

（６）処理フロー
図９は、第１実施形態において情報処理装置１が実行する処理の手順を示すフローチャートの一例である。情報処理装置１は、図９に示すフローチャートの処理を、例えば、処理の開始を指示するユーザ入力を検知した場合等に実行する。

【0061】

まず、情報処理装置１の第１ダイジェスト候補選定部１４は、インターフェース１３を介して素材データＤ１を記憶装置４から取得する（ステップＳ１１）。なお、記憶装置４に複数のコンテンツに相当する素材データＤ１が記憶されている場合には、第１ダイジェスト候補選定部１４は、ユーザ入力等により指定されたコンテンツに対応する素材データＤ１を取得する。

【0062】

次に、第１ダイジェスト候補選定部１４は、素材データを構成する区間データから第１ダイジェスト候補を選定する（ステップＳ１２）。この場合、第１ダイジェスト候補選定部１４は、重要度推論器情報Ｄ３を参照して構成した重要度推論器に区間データを入力することで、各区間データの重要度を算出し、算出した重要度に基づいて、第１ダイジェスト候補となる区間データを選定する。

【0063】

次に、ペア決定部１５は、第１ダイジェスト候補を含む推論対象ペアＰｔａｇを生成する（ステップＳ１３）。この場合、ペア決定部１５は、上述した第１選定例に従い、第１ダイジェスト候補同士をペアとする推論対象ペアＰｔａｇを生成してもよく、第２選定例に従い、第１ダイジェスト候補と非第１ダイジェスト候補とをペアとする推論対象ペアＰｔａｇを生成してもよい。

【0064】

次に、関連度算出部１６は、ステップＳ１３で生成された推論対象ペアＰｔａｇの各々の関連度を算出する（ステップＳ１４）。この場合、関連度算出部１６は、関連度推論器情報Ｄ２を参照することで構成した関連度推論器に推論対象ペアＰｔａｇを順次入力することで、推論対象ペアＰｔａｇの各々の関連度を算出する。

【0065】

次に、第２ダイジェスト候補選定部１７は、第２ダイジェスト候補の選定を行う（ステップＳ１５）。この場合、第２ダイジェスト候補選定部１７は、例えば、上述した第１選定例に従い、第１ダイジェスト候補のうち関連度が高い推論対象ペアＰｔａｇとなる第１ダイジェスト候補を第２ダイジェスト候補として選定する。他の例では、第２ダイジェスト候補選定部１７は、第２選定例に従い、第１ダイジェスト候補と関連度が高い非第１ダイジェスト候補を、第１ダイジェスト候補と共に第２ダイジェスト候補として選定する。

【0066】

次に、出力制御部１８は、第２ダイジェスト候補に関する情報の出力を行う（ステップＳ１６）。この場合、出力制御部１８は、上述したように、第２ダイジェスト候補に関する情報を記憶装置４などの外部装置に供給してもよく、出力装置３に出力させてもよい。

【0067】

図１０は、第１実施形態において学習装置６が実行する処理の手順を示すフローチャートの一例である。学習装置６は、図１０に示すフローチャートの処理を、例えば、処理の開始を指示するユーザ入力を検知した場合等に実行する。

【0068】

まず、学習装置６のペア決定部６１は、学習データＤ４から学習用素材データを取得する（ステップＳ２１）。なお、学習データＤ４に複数のコンテンツに相当する学習用素材データが含まれている場合には、ペア決定部６１は、ユーザ入力等により指定されたコンテンツに対応する学習用素材データを取得する。

【0069】

次に、ペア決定部６１は、学習用の推論対象ペアＰｔａｇを生成する（ステップＳ２２）。この場合、ペア決定部６１は、例えば、上述した第１学習例又は第２学習例のいずれかに従い、学習用素材データから抽出した区間データのペアを、推論対象ペアＰｔａｇとして生成する。

【0070】

さらに、ペア決定部６１は、ステップＳ２２で生成された学習用の推論対象ペアＰｔａｇに対する正解ラベルを決定する（ステップＳ２３）。この場合、ペア決定部６１は、第１学習例に従い、重要データ同士のペアか否かに基づき正解ラベルを決定してもよく、第２学習例に従い、学習用の推論対象ペアＰｔａｇとなる区間データ同士の再生時刻の差に応じた値を、正解ラベルとして決定してもよい。

【0071】

そして、学習部６２は、学習用の推論対象ペアＰｔａｇと、正解ラベルとに基づき、関連度推論器の学習を行う（ステップＳ２４）。そして、学習装置６は、学習により得られた関連度推論器のパラメータを、関連度推論器情報Ｄ２として生成する。なお、生成された関連度推論器情報Ｄ２は、記憶装置４と学習装置６とのデータ通信により直ちに記憶装置４に記憶されてもよく、着脱可能な記憶媒体を介して記憶装置４に記憶されてもよい。

【0072】

（７）変形例
次に、上記実施形態に好適な各変形例について説明する。以下の変形例は任意に組み合わせて上述の実施形態に適用してもよい。

【0073】

（変形例１）
ペア決定部１５は、同一の素材データから抽出した２つの区間データを推論対象ペアＰｔａｇとして組み合わせる代わりに、異なる素材データから夫々抽出した区間データを推論対象ペアＰｔａｇとして組み合わせてもよい。

【0074】

例えば、この場合、第１ダイジェスト候補選定部１４は、素材データＤ１とは異なる第２素材データから第１ダイジェスト候補を選定する。この場合、素材データＤ１と第２素材データとは、例えば、同一の場所（例えばスポーツ会場）を同一の時間帯において異なるカメラにより撮影したデータであってもよい。なお、第２素材データには、重要区間と非重要区間とを識別するラベルが予め付されていてもよい。この場合、第１ダイジェスト候補選定部１４は、重要区間のラベルが付された区間データを、第１ダイジェスト候補として選定する。

【0075】

そして、ペア決定部１５は、第２素材データから抽出された第１ダイジェスト候補と、素材データＤ１から抽出した区間データとの組を推論対象ペアＰｔａｇとして決定する。この場合、第２ダイジェスト候補選定部１７は、例えば、関連度が所定値以上となった推論対象ペアＰｔａｇを構成する素材データＤ１の区間データと、第２素材データから抽出された第１ダイジェスト候補とを、第２ダイジェスト候補として選定する。この態様によれば、情報処理装置１は、複数の素材データからダイジェスト候補を好適に選定することができる。

【0076】

（変形例２）
情報処理装置１は、ユーザ入力により指定された推論対象ペアＰｔａｇに対する関連度の算出及び出力を行ってもよい。

【0077】

図１１は、変形例２に係る情報処理装置１Ａの機能ブロック図の一例である。情報処理装置１Ａのプロセッサ１１は、ペア決定部１５Ａと、関連度算出部１６Ａと、出力制御部１８Ａとを有する。以後では、上述した実施形態と同一構成要素については適宜同一の符号を付し、その説明を省略する。

【0078】

ペア決定部１５Ａは、インターフェース１３を介して入力装置２から受信する入力信号Ｓ２に基づき、推論対象ペアＰｔａｇを決定する。例えば、ペア決定部１５Ａは、入力信号Ｓ２に基づき指定された素材データＤ１の２つの区間データを推論対象ペアＰｔａｇとして決定する。

【0079】

この場合、例えば、情報処理装置１Ａのユーザは、推論対象ペアＰｔａｇの一方の区間データとして、ダイジェスト候補となる区間データを指定し、他方の区間データとして、ダイジェスト候補として相応しいか否かの判定対象となる区間データを指定する。なお、ペア決定部１５は、異なる素材データから夫々推論対象ペアＰｔａｇとする区間データを指定する入力を受け付け、これらの区間データを推論対象ペアＰｔａｇとして決定してもよい。また、ペア決定部１５Ａは、入力信号Ｓ２に基づき複数の推論対象ペアＰｔａｇを決定してもよい。

【0080】

そして、関連度算出部１６Ａは、関連度推論器情報Ｄ２を参照することで構成した関連度推論器に基づき、ペア決定部１５Ａが決定した推論対象ペアＰｔａｇの関連度を算出し、算出した関連度に関する関連度情報Ｉａを出力制御部１８Ａへ供給する。そして、出力制御部１８Ａは、関連度情報Ｉａに基づく出力を行う。この場合、例えば、出力制御部１８Ａは、出力装置３に、推論対象ペアＰｔａｇの関連度を表示するための出力信号Ｓ１を供給する。

【0081】

なお、出力制御部１８Ａは、推論対象ペアＰｔａｇが複数個存在する場合には、最も関連度が高い上位所定個数分の推論対象ペアＰｔａｇの関連度に関する情報のみを出力してもよく、関連度が所定の閾値以上となる推論対象ペアＰｔａｇの関連度に関する情報のみを出力してもよい。上述の所定個数は、１以上の任意の数に設定されてもよい。

【0082】

図１２は、変形例２において情報処理装置１Ａが実行するフローチャートの一例である。まず、情報処理装置１Ａのペア決定部１５Ａは、推論対象ペアＰｔａｇを指定するユーザ入力を受け付ける（ステップＳ３１）。この場合、ペア決定部１５Ａは、例えば、シークバーなどを含む素材データＤ１の再生画面を表示し、任意の再生時刻に対応する区間データを推論対象ペアＰｔａｇとして指定させてもよい。次に、関連度算出部１６Ａは、ステップＳ３１で指定された推論対象ペアＰｔａｇの関連度を算出する（ステップＳ３２）。そして、出力制御部１８Ａは、ステップＳ３２で算出された関連度に基づく出力を行う（ステップＳ３３）。

【0083】

このように、変形例２に係る情報処理装置１Ａは、ユーザ入力により指定された推論対象ペアＰｔａｇに対する関連度の算出及び出力を好適に行うことができる。

【0084】

（変形例３）
素材データＤ１に映像データに加えて音データが含まれている場合、関連度算出部１６は、音データを用いて関連度の算出を行ってもよい。

【0085】

この場合、第１の例では、関連度算出部１６は、推論対象ペアＰｔａｇを構成する２つの区間データの映像データ及び音データに基づき、関連度推論器情報Ｄ２を参照して関連度を算出する。この場合、映像データ及び音データを含む区間データのペアが入力された場合に関連度を出力されるように予め学習された関連度推論器のパラメータが関連度推論器情報Ｄ２として予め記憶装置４に記憶されている。なお、関連度推論器には、音データが直接入力される代わりに音データの特徴量が入力されてもよい。この場合、音データに対して所定の特徴量抽出処理などが行われた後、抽出された特徴量が関連度推論器に入力される。また、素材データＤ１の各区間データの重要度を算出する場合も同様に、第１ダイジェスト候補選定部１４は、映像データに加えて音データを用いて各区間データの重要度を算出してもよい。

【0086】

第２の例では、関連度算出部１６は、推論対象ペアＰｔａｇを構成する２つの区間データに含まれる音データのみに基づき、関連度推論器情報Ｄ２を参照して関連度を算出してもよい。この場合、音データのペアが入力された場合に関連度を出力されるように予め学習された関連度推論器のパラメータが関連度推論器情報Ｄ２として予め記憶装置４に記憶されている。

【0087】

このように、情報処理装置１は、映像データ又は音データの少なくとも一方を用い、推論対象ペアＰｔａｇの関連度を好適に算出することができる。

【0088】

（変形例４）
図３の機能ブロックにおいて、情報処理装置１は、第１ダイジェスト候補選定部１４又は第２ダイジェスト候補選定部１７の少なくも一方を備えなくともよい。

【0089】

例えば、重要区間と非重要区間とを識別するラベルが予め素材データＤ１に付加されている場合には、ペア決定部１５は、重要区間の区間データを第１ダイジェスト候補とみなし、推論対象ペアＰｔａｇを決定してもよい。他の例では、出力制御部１８は、関連度算出部１６が出力する関連度情報Ｉａに基づき所定の出力を行ってもよい。この場合、出力制御部１８Ａは、最も関連度が高い上位所定個数分の推論対象ペアＰｔａｇに関する情報を出力してもよく、関連度が所定の閾値以上となる推論対象ペアＰｔａｇに関する情報のみを出力してもよい。上述の所定個数は、１以上の任意の数に設定されてもよい。上述の「推論対象ペアＰｔａｇに関する情報」は、推論対象ペアＰｔａｇを構成する区間データそのものであってもよく、推論対象ペアＰｔａｇを構成する区間データの時間情報（素材データＤ１における再生時刻を示す情報）であってもよい。

【0090】

＜第２実施形態＞
図１３は、第２実施形態における情報処理装置１Ｘの機能ブロック図である。情報処理装置１Ｘは、主に、ペア決定手段１５Ｘと、関連度算出手段１６Ｘとを有する。

【0091】

ペア決定手段１５Ｘは、映像データ又は音データの少なくとも一方を含むデータのペアであって、少なくとも一方のデータがダイジェストの候補である第１ダイジェスト候補となるペアを決定する。ここで、「映像データ」は、１枚の画像から構成されてもよく、複数枚の画像を含んでもよい。上記の「データ」及び「ペア」は、夫々、第１実施形態（変形例を含む、以下同じ）における「区間データ」及び「推論対象ペアＰｔａｇ」とすることができる。また、ペア決定手段１５Ｘは、第１実施形態におけるペア決定部１５又はペア決定部１５Ａとすることができる。

【0092】

関連度算出手段１６Ｘは、ペア決定手段１５Ｘが決定したペアが同時にダイジェストに含まれる蓋然性の度合いを示す関連度を算出する。関連度算出手段１６Ｘは、第１実施形態における関連度算出部１６又は関連度算出部１６Ａとすることができる。

【0093】

図１４は、第２実施形態において情報処理装置１Ｘが実行するフローチャートの一例である。まず、ペア決定手段１５Ｘは、映像データ又は音データの少なくとも一方を含むデータのペアであって、少なくとも一方のデータがダイジェストの候補である第１ダイジェスト候補となるペアを決定する（ステップＳ４１）。関連度算出手段１６Ｘは、ペア決定手段１５Ｘが決定したペアが同時にダイジェストに含まれる蓋然性の度合いを示す関連度を算出する（ステップＳ４２）。

【0094】

第２実施形態に係る情報処理装置１Ｘは、ペアとなるデータが同時にダイジェストに含まれるべきか否か判定するための指標となる関連度を好適に算出することができる。

【0095】

なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0096】

その他、上記の各実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。

【0097】

［付記１］
映像データ又は音データの少なくとも一方を含むデータのペアであって、少なくとも一方のデータがダイジェストの候補である第１ダイジェスト候補となる前記ペアを決定するペア決定手段と、
前記ペアが同時に前記ダイジェストに含まれる蓋然性の度合いを示す関連度を算出する関連度算出手段と、
を有する情報処理装置。

【0098】

［付記２］
前記ペア決定手段は、前記ダイジェストの生成において素材となる素材データを複数の区間に分割した場合の前記素材データの区間を構成する区間データに基づき、前記ペアを決定する、付記１に記載の情報処理装置。

【0099】

［付記３］
前記関連度に基づき、第２ダイジェスト候補となる前記区間データを選定する第２ダイジェスト候補選定手段をさらに有する、付記２に記載の情報処理装置。

【0100】

［付記４］
前記ペア決定手段は、前記第１ダイジェスト候補となる２つの前記区間データを前記ペアとして決定し、
前記第２ダイジェスト候補選定手段は、前記関連度に基づき、前記第２ダイジェスト候補となる前記第１ダイジェスト候補を選定する、付記３に記載の情報処理装置。

【0101】

［付記５］
前記ペア決定手段は、前記第１ダイジェスト候補と、前記第１ダイジェスト候補ではない前記区間データである非第１ダイジェスト候補とを前記ペアとして決定し、
前記第２ダイジェスト候補選定手段は、前記関連度に基づき、前記第２ダイジェスト候補となる前記非第１ダイジェスト候補を選定する、付記３に記載の情報処理装置。

【0102】

［付記６］
前記区間データの各々に対して算出した重要度に基づき、前記区間データから前記第１ダイジェスト候補を選定する第１ダイジェスト候補選定手段をさらに有する、付記２～５のいずれか一項に記載の情報処理装置。

【0103】

［付記７］
前記ペア決定手段は、再生時刻の差が所定時間差以内となる２つの前記区間データを、前記ペアとして決定する、付記２～６のいずれか一項に記載の情報処理装置。

【0104】

［付記８］
前記ペア決定手段は、所定の時間間隔毎に前記素材データから抽出された前記区間データから前記ペアを決定する、付記２～６のいずれか一項に記載の情報処理装置。

【0105】

［付記９］
前記ペア決定手段は、前記区間データに対してクラスタリングを行い、所定のクラスに属する前記区間データから前記ペアを決定する、付記２～６のいずれか一項に記載の情報処理装置。

【0106】

［付記１０］
前記関連度算出手段は、学習用素材データから作成された学習用ダイジェストの区間データ同士のペアを正例とし、当該正例となる前記ペア以外の前記学習用素材データの区間データ同士のペアを負例として学習した関連度推論器に基づき、前記関連度を算出する、付記１～９のいずれか一項に記載の情報処理装置。

【0107】

［付記１１］
前記関連度算出手段は、映像データ又は音データの少なくとも一方を含むデータのペアが入力された場合に、当該データのペアが同一の素材データから抽出されたと仮定した場合の当該データのペアの再生時刻の差分に相当する情報を出力するように学習された関連度推論器に基づき、前記関連度を算出する、付記１～９のいずれか一項に記載の情報処理装置。

【0108】

［付記１２］
前記関連度に関する情報、又は、前記関連度に基づき選定された第２ダイジェスト候補に関する情報を出力する出力制御手段をさらに有する、付記１～１１のいずれか一項に記載の情報処理装置。

【0109】

［付記１３］
コンピュータにより、
映像データ又は音データの少なくとも一方を含むデータのペアであって、少なくとも一方のデータがダイジェストの候補である第１ダイジェスト候補となる前記ペアを決定し、
前記ペアが同時に前記ダイジェストに含まれる蓋然性の度合いを示す関連度を算出する、
制御方法。

【0110】

［付記１４］
映像データ又は音データの少なくとも一方を含むデータのペアであって、少なくとも一方のデータがダイジェストの候補である第１ダイジェスト候補となる前記ペアを決定するペア決定手段と、
前記ペアが同時に前記ダイジェストに含まれる蓋然性の度合いを示す関連度を算出する関連度算出手段
としてコンピュータを機能させるプログラムが格納された記憶媒体。

【0111】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

【符号の説明】

【0112】

１、１Ａ、１Ｂ、１Ｘ 情報処理装置
２ 入力装置
３ 出力装置
４ 記憶装置
６ 学習装置
８ 端末装置
１００、１００Ｂ ダイジェスト候補選定システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】