特許 7420242 情報処理装置、制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-15

(45)【発行日】2024-01-23

(54)【発明の名称】情報処理装置、制御方法及びプログラム

(51)【国際特許分類】

   H04N 5/91 20060101AFI20240116BHJP

   H04N 5/92 20060101ALI20240116BHJP

【ＦＩ】

H04N5/91

H04N5/92 010

【請求項の数】 9

(21)【出願番号】P 2022527324

(86)(22)【出願日】2020-05-26

(86)【国際出願番号】 JP2020020770

(87)【国際公開番号】W WO2021240651

(87)【国際公開日】2021-12-02

【審査請求日】2022-11-14

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】渡辺 はるな

(72)【発明者】

【氏名】菊池 克

(72)【発明者】

【氏名】白石 壮馬

(72)【発明者】

【氏名】鍋藤 悠

【審査官】川中 龍太

(56)【参考文献】

【文献】特開２０１２－０７０２８３（ＪＰ，Ａ）

【文献】特開２０２０－０３５０９５（ＪＰ，Ａ）

【文献】特開平０６－２６６３９８（ＪＰ，Ａ）

【文献】国際公開第２０１５／１７８０７８（ＷＯ，Ａ１）

【文献】特開２０１６－２１９８７９（ＪＰ，Ａ）

【文献】特開２０１４－０３３４１７（ＪＰ，Ａ）

【文献】特開２００２－１２５１９９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／００７５８７７（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１０７９８７５２（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／９１ － ５／９５６

(57)【特許請求の範囲】

【請求項1】

映像データ又は音データの少なくとも一方を含む入力データを取得する入力データ取得手段と、
前記入力データの重要度を算出する重要度算出手段と、
前記重要度の算出を評価する対象として指定された区間に対応する前記重要度の算出における前記入力データの注目箇所を特定する注目箇所特定手段と、
前記区間に対応する入力データを、前記注目箇所を強調した態様により表示装置に表示させる表示制御手段と、
を有する情報処理装置。

【請求項2】

前記重要度算出手段は、映像データ又は音データの少なくとも一方を含むデータが入力された場合に当該データの重要度を推論するように学習された推論器に基づき、前記入力データの重要度を算出する、請求項１に記載の情報処理装置。

【請求項3】

前記推論器は、多層構造を有し、
前記注目箇所特定手段は、前記推論器の中間層の出力に基づき、前記注目箇所を特定する、請求項２に記載の情報処理装置。

【請求項4】

前記入力データは、前記映像データを含み、
前記注目箇所特定手段は、前記注目箇所として、前記重要度の算出における注目領域を、前記映像データを構成する画像内において特定する、請求項１～３のいずれか一項に記載の情報処理装置。

【請求項5】

前記入力データは、前記映像データを含み、
前記注目箇所特定手段は、前記注目箇所として、前記重要度の算出における注目画像を、前記映像データを構成する画像から特定する、請求項１～３のいずれか一項に記載の情報処理装置。

【請求項6】

前記入力データは、前記音データを含み、
前記注目箇所特定手段は、前記重要度の算出において注目した前記音データの区間又は周波数を特定する、請求項１～３のいずれか一項に記載の情報処理装置。

【請求項7】

前記入力データは、前記映像データ及び前記音データの両方を含み、
前記注目箇所特定手段は、前記重要度の算出における、前記映像データと前記音データとの夫々の注目の度合を特定する、請求項１～６のいずれか一項に記載の情報処理装置。

【請求項8】

コンピュータにより、
映像データ又は音データの少なくとも一方を含む入力データを取得し、
前記入力データの重要度を算出し、
前記重要度の算出を評価する対象として指定された区間に対応する前記重要度の算出における前記入力データの注目箇所を特定し、
前記区間に対応する入力データを、前記注目箇所を強調した態様により表示装置に表示させる、
制御方法。

【請求項9】

映像データ又は音データの少なくとも一方を含む入力データを取得する入力データ取得手段と、
前記入力データの重要度を算出する重要度算出手段と、
前記重要度の算出を評価する対象として指定された区間に対応する前記重要度の算出における前記入力データの注目箇所を特定する注目箇所特定手段と、
前記区間に対応する入力データを、前記注目箇所を強調した態様により表示装置に表示させる表示制御手段
としてコンピュータを機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ダイジェストの生成に関する処理を行う情報処理装置、制御方法及び記憶媒体の技術分野に関する。

【背景技術】

【0002】

素材となる映像データを編集してダイジェストを生成する技術が存在する。例えば、特許文献１には、グランドでのスポーツイベントの映像ストリームからハイライトを確認して製作する方法が開示されている。また、非特許文献１は、畳み込みニューラルネットワークの判断根拠の可視化技術であるＧｒａｄ－ＣＡＭ（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ）に関する情報を開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２０１９－５２２９４８号公報

【非特許文献】

【0004】

【文献】Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, Dhruv Batra, Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization, ［令和２年４月２７日検索］, インターネット＜URL: https://arxiv.org/pdf/1610.02391.pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0005】

素材となる映像に対して重要度を算出し、その重要度に基づいてダイジェスト生成を行う場合、重要度を算出するモデルの精度が十分に高いことが要求される。よって、このような場合では、重要度を算出するモデルが十分な精度を有しているか適切に評価することが必要となる。

【0006】

本開示の目的は、ダイジェスト生成において用いられる重要度の算出モデルの評価に好適な情報を取得することが可能な情報処理装置、制御方法及び記憶媒体を提供することである。

【課題を解決するための手段】

【0007】

情報処理装置の一の態様は、映像データ又は音データの少なくとも一方を含む入力データを取得する入力データ取得手段と、前記入力データの重要度を算出する重要度算出手段と、前記重要度の算出を評価する対象として指定された区間に対応する前記重要度の算出における前記入力データの注目箇所を特定する注目箇所特定手段と、前記区間に対応する入力データを、前記注目箇所を強調した態様により表示装置に表示させる表示制御手段と、
を有する情報処理装置である。

【0008】

制御方法の一の態様は、コンピュータにより、映像データ又は音データの少なくとも一方を含む入力データを取得し、前記入力データの重要度を算出し、前記重要度の算出を評価する対象として指定された区間に対応する前記重要度の算出における前記入力データの注目箇所を特定し、前記区間に対応する入力データを、前記注目箇所を強調した態様により表示装置に表示させる、制御方法である。

【0009】

プログラムの一の態様は、映像データ又は音データの少なくとも一方を含む入力データを取得する入力データ取得手段と、前記入力データの重要度を算出する重要度算出手段と、前記重要度の算出を評価する対象として指定された区間に対応する前記重要度の算出における前記入力データの注目箇所を特定する注目箇所特定手段と、前記区間に対応する入力データを、前記注目箇所を強調した態様により表示装置に表示させる表示制御手段としてコンピュータを機能させるプログラムである。

【発明の効果】

【0010】

本開示によれば、ダイジェスト生成において用いられる重要度の算出において注目された箇所を好適に特定することができる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態における注目箇所可視化システムの構成を示す。

【図2】情報処理装置のハードウェア構成を示す。

【図3】情報処理装置の機能ブロックの一例である。

【図4】（Ａ）重要度推論器に１回毎に入力されるサンプルデータが１枚の画像から構成される場合の注目箇所を示す図である。（Ｂ）重要度推論器に１回毎に入力されるサンプルデータが複数の画像から構成される場合の注目箇所を示す第１の例である。（Ｃ）重要度推論器に１回毎に入力されるサンプルデータが複数の画像から構成される場合の注目箇所を示す第２の例である。

【図5】重要度推論器情報を生成するシステムの概略構成図である。

【図6】学習精度評価画面の第１表示例である。

【図7】学習精度評価画面の第２表示例である。

【図8】第１実施形態において情報処理装置が実行する注目箇所可視化処理の手順を示すフローチャートの一例である。

【図9】変形例における情報処理装置の機能ブロック図の一例を示す。

【図10】学習精度評価画面の第３表示例である。

【図11】学習精度評価画面の第４表示例である。

【図12】学習精度評価画面の第５表示例である。

【図13】変形例における注目箇所可視化システムの構成を示す。

【図14】第２実施形態における情報処理装置の機能ブロック図である。

【図15】第２実施形態において情報処理装置が実行するフローチャートの一例である。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら、情報処理装置、制御方法及び記憶媒体の実施形態について説明する。

【0013】

＜第１実施形態＞
（１）システム構成
図１は、第１実施形態に係る注目箇所可視化システム１００の構成を示す。注目箇所可視化システム１００は、映像データ（音データを含んでもよい。以下同じ。）を編集した編集データ（所謂、ダイジェスト）の生成において注目された箇所（単に「注目箇所」とも呼ぶ。）の可視化を行うシステムである。注目箇所可視化システム１００は、主に、情報処理装置１と、入力装置２と、表示装置３と、記憶装置４とを備える。以後では、ダイジェストの生成において編集される対象となるデータを「素材データ」とも呼ぶ。

【0014】

情報処理装置１は、通信網を介し、又は、無線若しくは有線による直接通信により、入力装置２、及び表示装置３とデータ通信を行う。また、情報処理装置１は、注目箇所の可視化の対象となる素材データ（「入力データＤｉ」とも呼ぶ。）が入力された場合に、入力データＤｉのダイジェスト生成における注目箇所を特定する。なお、入力データＤｉは、記憶装置４に記憶された任意の素材データであってもよく、記憶装置４以外の外部装置から情報処理装置１に供給される素材データであってもよい。そして、情報処理装置１は、特定した注目箇所に関する情報を表示装置３に表示させる。この場合、情報処理装置１は、特定した注目箇所に関する情報を表示するための表示信号「Ｓ１」を生成し、生成した表示信号Ｓ１を表示装置３に供給する。

【0015】

入力装置２は、ユーザ入力を受け付ける任意のユーザインターフェースであり、例えば、ボタン、キーボード、マウス、タッチパネル、音声入力装置などが該当する。入力装置２は、ユーザ入力に基づき生成した入力信号「Ｓ２」を、情報処理装置１へ供給する。表示装置３は、例えば、ディスプレイ、プロジェクタ等であり、情報処理装置１から供給される表示信号Ｓ１に基づき、所定の表示を行う。

【0016】

記憶装置４は、情報処理装置１の処理に必要な各種情報を記憶するメモリである。記憶装置４は、例えば、重要度推論器情報Ｄ１を記憶する。重要度推論器情報Ｄ１は、映像データが入力された場合に当該映像データの重要度を推論するように学習された推論器（「重要度推論器」とも呼ぶ。）のパラメータを含む。上述の重要度は、ダイジェストの生成において入力データＤｉを構成する各区間が重要区間であるか又は非重要区間であるかを判定するための基準となる指標である。なお、重要度推論器の学習モデルは、ニューラルネットワーク又はサポートベクターマシンなどの任意の機械学習に基づく学習モデルであってもよい。例えば、上述の重要度推論器のモデルが畳み込みニューラルネットワークなどのニューラルネットワークである場合、重要度推論器情報Ｄ１は、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの各種パラメータを含む。また、記憶装置４には、入力データＤｉの候補となるダイジェスト生成の素材データが記憶されてもよい。

【0017】

なお、記憶装置４は、情報処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶装置４は、情報処理装置１とデータ通信を行うサーバ装置であってもよい。また、記憶装置４は、複数の装置から構成されてもよい。

【0018】

なお、図１に示す注目箇所可視化システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、入力装置２及び表示装置３は、一体となって構成されてもよい。この場合、入力装置２及び表示装置３は、情報処理装置１と一体となるタブレット型端末として構成されてもよい。また、情報処理装置１は、複数の装置から構成されてもよい。この場合、情報処理装置１を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、これらの複数の装置間において行う。

【0019】

（２）情報処理装置のハードウェア構成
図２は、情報処理装置１のハードウェア構成を示す。情報処理装置１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１９を介して接続されている。

【0020】

プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、量子プロセッサなどのプロセッサである。

【0021】

メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ１２には、情報処理装置１が実行するプログラムが記憶される。また、メモリ１２は、作業メモリとして使用され、記憶装置４から取得した情報等を一時的に記憶する。なお、メモリ１２は、記憶装置４として機能してもよい。同様に、記憶装置４は、情報処理装置１のメモリ１２として機能してもよい。なお、情報処理装置１が実行するプログラムは、メモリ１２以外の記憶媒体に記憶されてもよい。

【0022】

インターフェース１３は、情報処理装置１と他の装置とを電気的に接続するためのインターフェースである。例えば、情報処理装置１と他の装置とを接続するためのインターフェースは、プロセッサ１１の制御に基づき他の装置とデータの送受信を有線又は無線により行うためのネットワークアダプタなどの通信インターフェースであってもよい。他の例では、情報処理装置１と他の装置とはケーブル等により接続されてもよい。この場合、インターフェース１３は、他の装置とデータの授受を行うためのＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＳＡＴＡ（Ｓｅｒｉａｌ ＡＴ Ａｔｔａｃｈｍｅｎｔ）などに準拠したハードウェアインターフェースを含む。

【0023】

なお、情報処理装置１のハードウェア構成は、図２に示す構成に限定されない。例えば、情報処理装置１は、入力装置２又は表示装置３の少なくとも一方を含んでもよい。また、情報処理装置１は、スピーカなどの音出力装置と接続又は内蔵してもよい。

【0024】

（３）機能ブロック
図３は、情報処理装置１のプロセッサ１１の機能ブロックの一例である。情報処理装置１のプロセッサ１１は、機能的には、入力データ取得部１４と、重要度算出部１５と、注目箇所特定部１６と、出力制御部１７とを有する。なお、図３では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せは図３に限定されない。後述する他の機能ブロックの図においても同様である。

【0025】

入力データ取得部１４は、入力データＤｉを取得し、取得した入力データＤｉを重要度算出部１５及び出力制御部１７へ供給する。この場合、例えば、入力データ取得部１４は、外部装置からインターフェース１３を介して受信した映像データを、入力データＤｉとして取得する。他の例では、入力データ取得部１４は、記憶装置４又はメモリ１２に記憶された映像データのうち入力装置２へのユーザ入力に基づく入力信号Ｓ２により指定された映像データを、入力データＤｉとして取得する。

【0026】

重要度算出部１５は、入力データ取得部１４から供給された入力データＤｉに基づき、入力データＤｉの時系列での重要度を算出する。そして、重要度算出部１５は、算出した時系列での重要度を示す情報（「重要度情報Ｉｉ」とも呼ぶ。）を出力制御部１７へ供給する。この場合、重要度算出部１５は、重要度推論器情報Ｄ１を参照することで重要度推論器を構成し、入力データＤｉを重要度推論器に入力することで重要度情報Ｉｉを生成する。例えば、重要度推論器には、入力データＤｉを所定の時間長に相当する単位区間ごとに区切ったデータ（「サンプルデータ」とも呼ぶ。）が入力される。ここで、重要度推論器は、サンプルデータが入力された場合に、入力されたサンプルデータに対する区間での重要度を推論するように学習された学習モデルである。この場合、重要度算出部１５は、例えば、入力データＤｉを単位区間ごとに区切った全てのサンプルデータを重要度推論器に順次入力することで、入力データＤｉの時系列の重要度を取得する。

【0027】

また、重要度算出部１５は、重要度の算出過程において生成される中間の算出結果を示す情報（「中間算出情報Ｉｍ」とも呼ぶ。）を注目箇所特定部１６に供給する。この場合、例えば、重要度推論器は３層以上の多層構造を有し、重要度算出部１５は、上述のサンプルデータが入力された場合の重要度推論器の中間層の出力値（例えば予測クラスの出力に対する勾配）を、中間算出情報Ｉｍとして注目箇所特定部１６に供給する。この場合、中間算出情報Ｉｍは、例えば、サンプルデータを構成する１又は複数の画像（フレーム）の各々に対するピクセル又はサブピクセル毎の注目度（注目の度合）を示すマップ情報であってもよく、サンプルデータを構成する複数の画像に対する画像毎の注目度を示す情報であってもよい。なお、重要度算出部１５は、例えば、畳み込みニューラルネットワークの判断根拠の可視化技術であるＧｒａｄ－ＣＡＭ又はその発展手法に準じた手法を用いることで、上述の中間算出情報Ｉｍを生成することができる。

【0028】

注目箇所特定部１６は、重要度算出部１５から供給される中間算出情報Ｉｍに基づき、入力データＤｉにおける注目箇所を特定し、特定した注目箇所を示す情報（「注目箇所情報Ｉｎ」とも呼ぶ。）を出力制御部１７に供給する。注目箇所特定部１６の処理の詳細については後述する。

【0029】

出力制御部１７は、入力データ取得部１４から供給される入力データＤｉと、重要度算出部１５から供給される重要度情報Ｉｉと、注目箇所特定部１６から供給される注目箇所情報Ｉｎとに基づき、注目箇所を明示するための表示信号Ｓ１を生成する。そして、出力制御部１７は、生成した表示信号Ｓ１を、インターフェース１３を介して表示装置３へ供給する。出力制御部１７による表示例については後述する。なお、出力制御部１７は、表示装置３に加えて、音を出力するための音出力装置の制御をさらに行ってもよい。例えば、出力制御部１７は、注目箇所に関するガイダンス音声などを音出力装置に出力させてもよい。

【0030】

なお、図３において説明した入力データ取得部１４、重要度算出部１５、注目箇所特定部１６及び出力制御部１７の各構成要素は、例えば、プロセッサ１１が記憶装置４又はメモリ１２に格納されたプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、これらの各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このように、各構成要素は、プロセッサ以外のハードウェアを含む任意のコントローラにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。

【0031】

（４）注目箇所の特定
次に、図３で説明した注目箇所特定部１６による注目箇所の特定の具体例について、図４（Ａ）～図４（Ｃ）を参照して説明する。

【0032】

図４（Ａ）は、重要度推論器に１回毎に入力されるサンプルデータが１枚の画像から構成される場合に注目箇所特定部１６が特定した画像内の注目箇所を示す図である。

【0033】

この場合、重要度算出部１５は、サンプルデータとして画像８を重要度推論器に入力し、画像８に対応する中間算出情報Ｉｍを注目箇所特定部１６に供給する。この場合、例えば、中間算出情報Ｉｍは、画像８内でのピクセル又はサブピクセル単位での注目度のマップ情報である。そして、注目箇所特定部１６は、重要度算出部１５から供給される中間算出情報Ｉｍに基づき、枠９に囲まれた画像８の領域を、注目箇所に相当する領域（「注目領域」とも呼ぶ。）として特定する。ここでは、注目箇所特定部１６は、上述のマップ情報における注目度が所定の閾値以上となる箇所を全て又は所定割合（例えば９割）以上含む最小の矩形領域を、注目領域として特定している。なお、注目箇所特定部１６は、矩形領域を注目領域として特定する代わりに、任意の形状の領域を注目領域として特定してもよい。この場合、注目箇所特定部１６は、注目度が所定の閾値以上となる箇所（部分領域）をそのまま注目領域として特定してもよい。

【0034】

図４（Ｂ）は、重要度推論器に１回毎に入力されるサンプルデータが複数の画像から構成される場合に注目箇所特定部１６が特定した注目箇所を示す第１の例である。

【0035】

この場合、重要度算出部１５は、サンプルデータとして３枚の画像８ａ～８ｃを重要度推論器に入力し、重要度推論器の中間算出結果を示す中間算出情報Ｉｍを注目箇所特定部１６に供給する。この場合、中間算出情報Ｉｍは、例えば、画像８ａ～８ｃの各々に対するピクセル又はサブピクセル単位での注目度のマップ情報となっている。そして、注目箇所特定部１６は、重要度算出部１５から供給された上述のマップ情報に基づき、枠９ａに囲まれた画像８ａの部分領域、枠９ｂに囲まれた画像８ｂの部分領域、及び枠９ｃに囲まれた画像８ｃの部分領域を、注目箇所に相当する注目領域として特定する。

【0036】

このように、サンプルデータを構成する画像が複数である場合、注目箇所特定部１６は、サンプルデータを構成する画像の各々における注目領域を、注目箇所として特定してもよい。なお、図４（Ａ）の例と同様、注目領域は、矩形領域に限らず、任意の形状の領域であってもよい。

【0037】

図４（Ｃ）は、重要度推論器に１回毎に入力されるサンプルデータが複数の画像である場合に注目箇所特定部１６が特定した注目箇所を示す第２の例である。

【0038】

この場合、重要度算出部１５は、サンプルデータとして３枚の画像８ａ～８ｃを重要度推論器に入力し、重要度推論器の中間算出結果を示す中間算出情報Ｉｍを注目箇所特定部１６に供給する。この場合、中間算出情報Ｉｍは、サンプルデータを構成する画像８ａ～８ｃの各々に対する画像単位での注目度を示す情報となっている。そして、注目箇所特定部１６は、中間算出情報Ｉｍに基づき、注目箇所に相当する画像（「注目画像」とも呼ぶ。）を特定する。この場合、注目箇所特定部１６は、例えば、最も注目度が高い画像、又は、注目度が所定の閾値以上となる画像を、注目画像として特定する。図４（Ｃ）の例では、注目箇所特定部１６は、画像８ｂを注目画像として特定している。

【0039】

このように、サンプルデータを構成する画像が複数である場合、注目箇所特定部１６は、画像単位により注目箇所を特定してもよい。

【0040】

（５）重要度推論器の学習
次に、重要度推論器情報Ｄ１の生成について説明する。図５は、重要度推論器情報Ｄ１を生成する学習システムの概略構成図である。上記学習システムは、学習データＤ２を参照可能な学習装置６を有する。

【0041】

学習装置６は、例えば図２に示す情報処理装置１の構成と同一構成を有し、主に、プロセッサ２１と、メモリ２２と、インターフェース２３とを有している。学習装置６は、情報処理装置１であってもよく、情報処理装置１以外の任意の装置であってもよい。

【0042】

学習データＤ２は、重要度推論器の入力データとなる映像データと、重要か非重要かを示す正解ラベルとの複数の組み合わせを含む学習データセットである。学習データＤ２には、非重要であることを示す正解ラベルと関連付けられた映像データ（非重要データ）と、重要であることを示す正解ラベルと関連付けられた映像データ（重要データ）との両方が含まれている。なお、重要度推論器の入力データとなる映像データは、１枚以上の画像を含むデータとなる。

【0043】

学習装置６は、学習データＤ２を用い、映像データを入力データとした場合に、対応する正解ラベルが示す重要度を出力するような重要度推論器の学習を行う。この場合、学習装置６は、例えば、非重要であることを示す正解ラベルの場合には重要度が最低値であるとみなし、重要であることを示す正解ラベルの場合には重要度が最大値であるとみなしてもよい。そして、学習装置６は、学習データＤ２に含まれる映像データを重要度推論器に入力した場合の重要度推論器の出力と、入力された映像データに対応する正解ラベルとの誤差（損失）が最小となるように、重要度推論器のパラメータを決定する。損失を最小化するように上述のパラメータを決定するアルゴリズムは、勾配降下法や誤差逆伝播法などの機械学習において用いられる任意の学習アルゴリズムであってもよい。

【0044】

そして、学習装置６は、学習により得られた重要度推論器のパラメータを、重要度推論器情報Ｄ１として生成する。なお、生成された重要度推論器情報Ｄ１は、記憶装置４と学習装置６とのデータ通信により直ちに記憶装置４に記憶されてもよく、着脱可能な記憶媒体を介して記憶装置４に記憶されてもよい。

【0045】

（６）表示例
次に、出力制御部１７が表示装置３に表示させる画面の表示例について説明する。概略的には、出力制御部１７は、入力データＤｉに対応する任意の区間が指定された場合に、指定された区間に対応する重要度の算出において注目された注目箇所を、当該区間に対応するサンプルデータと関連付けて表示装置３に表示させる。これにより、出力制御部１７は、注目箇所に関する情報を画面上で閲覧者に好適に確認させる。この場合、閲覧者は、重要度推論器が正しい箇所を注目箇所として捉えて重要度の算出を行っているか否かを判定し、重要度推論器の学習精度の評価を行う。以後では、出力制御部１７が表示装置３に表示させる画面を、「学習精度評価画面」とも呼ぶ。

【0046】

図６は、学習精度評価画面の第１表示例である。第１表示例では、出力制御部１７は、ユーザが指定した区間に対応する入力データＤｉの画像を並べて表示し、かつ、当該画像において注目箇所を強調表示する学習精度評価画面を表示装置３に表示させる。この場合、出力制御部１７は、入力データＤｉ、重要度情報Ｉｉ及び注目箇所情報Ｉｎに基づき表示信号Ｓ１を生成し、生成した表示信号Ｓ１を表示装置３に供給することで、表示装置３に学習精度評価画面を表示させている。

【0047】

出力制御部１７は、第１表示例に係る学習精度評価画面上に、ユーザが指定した区間に対応するサンプルデータ及び注目箇所を表示する注目箇所表示領域３０と、注目箇所を可視化する区間を指定するシークバー３８とを設けている。

【0048】

ここで、シークバー３８は、入力データＤｉの再生時間長（ここでは４０分）を明示したバーであり、注目箇所を可視化する対象となる区間（ここでは１２分３０秒に対応する区間）を指定するスライド３９が設けられている。ここで、出力制御部１７は、入力装置２が生成する入力信号Ｓ２に基づき、ユーザが指定した位置にスライド３９をシークバー３８上で移動させる。

【0049】

出力制御部１７は、スライド３９により指定された区間に対応するサンプルデータを入力データＤｉから抽出し、抽出したサンプルデータを構成する画像に関連付けて、対応する注目箇所を注目箇所表示領域３０上において表示する。図６の例では、出力制御部１７は、１２分３０秒に対応する区間に対応するサンプルデータを構成する画像３１ａ～３１ｃを並べて表示すると共に、各画像の注目領域を示す矩形枠３２ａ～３２ｃを画像３１Ａａ上に表示する。

【0050】

このように、第１表示例では、出力制御部１７は、ユーザが指定した区間に対応するサンプルデータに対して注目箇所特定部１６が特定した注目箇所を、好適に閲覧者に提示することができる。これにより、閲覧者は、重要度推論器が正しい箇所を注目箇所として捉えて重要度の算出を行っているか否か確認し、重要度推論器の学習精度の評価を行うことが可能となる。なお、出力制御部１７は、サンプルデータが１枚の画像からなる場合には、当該画像内の注目箇所となる部分領域を図４（Ａ）と同様に表示する学習精度評価画面を表示装置３に表示させる。なお、出力制御部１７は、学習精度評価画面上において、ユーザが指定した区間に対して算出された重要度をさらに表示してもよい。

【0051】

図７は、学習精度評価画面の第２表示例である。第２表示例では、出力制御部１７は、ユーザが指定した区間に対応する入力データＤｉの画像を並べて表示し、かつ、これらの画像のうち注目画像を強調表示する学習精度評価画面を表示装置３に表示させている。出力制御部１７は、第２表示例に係る学習精度評価画面上に、第１表示例と同様、注目箇所表示領域３０と、シークバー３８とを設けている。

【0052】

第２表示例では、注目箇所特定部１６は、注目箇所としてサンプルデータ毎に注目画像を特定し、注目画像を示す注目箇所情報Ｉｎを出力制御部１７に供給する。そして、出力制御部１７は、シークバー３８により指定された区間に対応するサンプルデータを入力データＤｉから抽出し、抽出したサンプルデータを構成する画像３１ａ～３１ｃを注目箇所表示領域３０上に表示する。このとき、出力制御部１７は、注目箇所情報Ｉｎに基づき、注目画像として特定された画像３１ｂを、縁取り効果により強調表示する。

【0053】

このように、第２表示例では、出力制御部１７は、ユーザが指定した区間に対応するサンプルデータに対して注目箇所特定部１６が特定した注目画像を閲覧者に提示し、重要度推論器の学習精度の評価を好適に閲覧者に実行させる。なお、出力制御部１７は、中間算出情報Ｉｍに基づき、サンプルデータを構成する各画像（図７では画像３１ａ～３１ｃ）の注目度を特定し、特定した画像毎の注目度を各画像に対応付けてさらに表示してもよい。

【0054】

（７）処理フロー
図８は、第１実施形態において情報処理装置１が実行する注目箇所可視化処理の手順を示すフローチャートの一例である。情報処理装置１は、図８に示すフローチャートの処理を、例えば、入力データＤｉを指定するユーザ入力を検知した場合、又は、入力データＤｉを外部装置から受信した場合等に実行する。

【0055】

まず、情報処理装置１の入力データ取得部１４は、入力データＤｉを取得する（ステップＳ１１）。次に、情報処理装置１の重要度算出部１５は、重要度推論器に入力可能な１サンプル分のデータであるサンプルデータを入力データＤｉから抽出する（ステップＳ１２）。この場合、重要度算出部１５は、例えば、入力データＤｉにおいて未抽出の区間に対応するサンプルデータを、再生時刻が早い区間から順に抽出する。

【0056】

そして、重要度算出部１５は、ステップＳ１２で抽出されたサンプルデータに対する重要度を算出する（ステップＳ１３）。この場合、重要度算出部１５は、重要度推論器情報Ｄ１を参照することで重要度推論器を構成し、当該重要度推論器に上述のサンプルデータを入力することで、重要度を算出する。

【0057】

また、情報処理装置１の注目箇所特定部１６は、ステップＳ１２で抽出されたサンプルデータについて、重要度算出における注目箇所を特定する（ステップＳ１４）。この場合、注目箇所特定部１６は、重要度算出部１５から供給される中間算出情報Ｉｍに基づき、サンプルデータを構成する各画像内における注目領域、又は、サンプルデータを構成する画像間での注目画像を、注目箇所として特定する。

【0058】

次に、情報処理装置１は、入力データＤｉの全体に対してステップＳ１２～ステップＳ１４の処理が実行済みであるか否か判定する（ステップＳ１５）。そして、情報処理装置１は、入力データＤｉの全体に対してステップＳ１２～ステップＳ１４の処理が実行済みでない場合（ステップＳ１５；Ｎｏ）、ステップＳ１２へ処理を戻す。この場合、情報処理装置１は、入力データＤｉのうち未抽出の区間に対応するサンプルデータを対象として、ステップＳ１２～ステップＳ１４の処理を実行する。

【0059】

一方、入力データＤｉの全体に対してステップＳ１２～ステップＳ１４の処理が実行済みである場合（ステップＳ１５；Ｙｅｓ）、情報処理装置１の出力制御部１７は、注目箇所に関する情報の出力制御を行う（ステップＳ１６）。この場合、出力制御部１７は、入力データ取得部１４から供給される入力データＤｉ、重要度算出部１５から供給される重要度情報Ｉｉ、及び注目箇所特定部１６から供給される注目箇所情報Ｉｎに基づき、図６及び図７に例示される学習精度評価画面の表示信号Ｓ１を生成し、表示信号Ｓ１を表示装置３へ供給する。

【0060】

（８）変形例
次に、上記実施形態に好適な各変形例について説明する。以下の変形例は任意に組み合わせて上述の実施形態に適用してもよい。

【0061】

（変形例１）
情報処理装置１は、学習精度評価画面において注目箇所の正誤に関する情報を指定するユーザ入力があった場合、ユーザ入力により指定された正誤に関する情報に基づき、重要度推論器の学習を行ってもよい。

【0062】

図９は、本変形例における情報処理装置１Ａのプロセッサ１１の機能ブロック図の一例を示す。本変形例に係るプロセッサ１１は、入力データ取得部１４と、重要度算出部１５と、注目箇所特定部１６と、出力制御部１７と、学習部１８とを有する。なお、図９では、図３に示す情報処理装置１と同一構成要素について同一の符号を付し、以後においてその説明を省略する。

【0063】

学習部１８は、学習精度評価画面において注目箇所の正誤又は正しい注目箇所の少なくとも一方を指定する入力信号Ｓ２に基づき、重要度推論器の学習を行うことで、重要度推論器情報Ｄ１を更新する。例えば、学習部１８は、入力信号Ｓ２に基づき、学習精度評価画面において示した注目箇所の正誤が指定されたことを検知した場合、提示したサンプルデータ及び注目箇所と、指定された正誤とに基づき、中間算出情報Ｉｍを出力する重要度推論器の学習を行う。例えば、注目箇所が正しいことを入力信号Ｓ２が示す場合、学習部１８は、学習精度評価画面において示したサンプルデータ及び注目箇所の組み合わせを正例とみなして重要度推論器の学習を行う。また、学習部１８は、学習精度評価画面において正しい注目箇所がユーザ入力により指定された場合には、重要度推論器に入力したサンプルデータと、ユーザ入力により指定された注目箇所との組合せを用いて、中間算出情報Ｉｍを出力する重要度推論器の学習を行う。

【0064】

図１０は、学習精度評価画面の第３表示例を示す。第３表示例では、出力制御部１７は、注目箇所をサンプルデータと関連付けて表示すると共に、表示した注目箇所の正誤の指定及び誤りの場合の正しい注目箇所の指定に関する入力を受け付ける学習精度評価画面を表示装置３に表示させている。なお、一例として、第３表示例では、サンプルデータは、１枚の画像から構成されるものとする。

【0065】

この場合、出力制御部１７は、シークバー３８により指定された区間（ここでは、２５分３９秒に対応する区間）に対応するサンプルデータを入力データＤｉから抽出し、抽出したサンプルデータである画像３１を、注目領域を示す矩形枠３２と共に注目箇所表示領域３０上に表示する。また、出力制御部１７は、学習精度評価画面上において、注目箇所表示領域３０に提示した注目箇所（ここでは注目領域）が妥当であるか又は不適であるかを選択するためのボタンであるラジオボタン３３を表示する。

【0066】

さらに、出力制御部１７は、注目箇所が不適となる場合に、正解となる注目箇所を画像上で指定すべき旨のメッセージを表示し、画像３１上において、正解となる注目箇所の指定を受け付ける。図１０の例では、出力制御部１７は、ポインタのドラッグアンドドロップ操作により指定された破線の矩形枠３５を、画像３１上に表示している。

【0067】

そして、決定ボタン３４が選択された場合、出力制御部１７は、ラジオボタン３３の選択結果及び画像３１上での矩形枠３５の位置の指定に関する情報を、学習部１８に供給する。そして、学習部１８は、出力制御部１７から供給された情報に基づき、注目箇所の決定に用いた中間算出情報Ｉｍを出力する重要度推論器の学習を行う。

【0068】

このように、本変形例によれば、ユーザによるフィードバックを受け付けて重要度推論器の精度を向上させることも可能となる。なお、情報処理装置１Ａは、注目画像を注目箇所表示領域３０上において提示する場合には、サンプルデータとなる複数の画像から正しい注目画像を指定するユーザ入力を、学習精度評価画面上で受け付ける。

【0069】

（変形例２）
情報処理装置１は、入力データＤｉに音データが含まれる場合に、音データを勘案した重要度の算出及び当該重要度における注目箇所の特定を行ってもよい。

【0070】

図１１は、学習精度評価画面の第４表示例を示す。第４表示例では、入力データＤｉは、映像データと音データとの両方を含み、重要度算出部１５は、映像データと音データの両方に基づいて重要度を算出する。この場合、重要度推論器は、映像データ及び音データを含むサンプルデータを入力データとし、当該サンプルデータに対する重要度を推論するように学習されている。

【0071】

出力制御部１７は、注目箇所表示領域３０上では、シークバー３８により指定された区間に対応する画像３１を表示すると共に、画像３１に対応する音データを再生するための音再生アイコン３７を表示する。ここでは、一例として、１つのサンプルデータには、学習精度評価画面の第３表示例と同様、１枚の画像が含まれているものとする。また、出力制御部１７は、音再生アイコン３７が選択されたことを検知した場合、サンプルデータに対応する音データの再生を行う。

【0072】

さらに、出力制御部１７は、注目箇所表示領域３０上において、映像データ（ここでは画像）と音データとの重要度算出における注目の度合を明示している。この場合、例えば、重要度算出部１５は、映像データと音データとの夫々の注目度を少なくとも示す中間算出情報Ｉｍを注目箇所特定部１６に供給する。そして、注目箇所特定部１６は、重要度算出部１５から供給された中間算出情報Ｉｍに基づき、映像データと音データとの注目度の比を少なくとも示す注目箇所情報Ｉｎを、出力制御部１７に供給する。そして、出力制御部１７は、注目箇所情報Ｉｎに基づき、映像データと音データとの重要度算出における注目の割合（ここでは８：２）を認識し、上記割合を夫々に対する注目の度合として注目箇所情報Ｉｎ上に表示する。

【0073】

なお、サンプルデータが複数枚の画像を含む場合には、出力制御部１７は、例えば、当該複数枚の画像を並べて注目箇所表示領域３０上に表示し、かつ、当該複数枚の画像からなる映像データと音データとの注目の度合を夫々表示する。

【0074】

このように、変形例２に係る情報処理装置１は、映像データ及び音データの両方に基づき重要度を算出する場合であっても、重要度算出における注目箇所を好適に可視化することができる。

【0075】

（変形例３）
情報処理装置１は、音データのみに基づいて入力データＤｉの重要度を算出してもよい。この場合、情報処理装置１は、音データにおける注目箇所を特定し、当該注目箇所に関する情報を表示してもよい。

【0076】

図１２は、学習精度評価画面の第５表示例を示す。第５表示例に係る学習精度評価画面は、音データに基づくダイジェスト生成における重要度を算出する重要度推論器の学習精度を評価する画面であって、シークバー３８と、音波形表示領域４１と、音スペクトログラム表示領域４２と、を有する。

【0077】

この場合、出力制御部１７は、シークバー３８により指定された区間（ここでは、７分１３秒）に対応する、音データからなるサンプルデータを入力データＤｉから抽出する。そして、出力制御部１７は、抽出した音データの波形を音波形表示領域４１に表示し、当該音データの周波数スペクトルの算出結果に相当する画像を音スペクトログラム表示領域４２に表示する。

【0078】

また、出力制御部１７は、注目箇所特定部１６から供給される注目箇所情報Ｉｎに基づき、注目箇所に相当する周波数領域を特定し、特定した周波数領域を音スペクトログラム表示領域４２上において強調表示している。ここでは、一例として、重要度算出部１５は、周波数ごとの注目度を示す中間算出情報Ｉｍを注目箇所特定部１６に供給する。そして、注目箇所特定部１６は、中間算出情報Ｉｍに基づき、注目度が高い周波数領域を注目箇所として特定し、特定した周波数領域を示す注目箇所情報Ｉｎを出力制御部１７に供給している。なお、注目箇所特定部１６は、サンプルデータにおける所定の周波数領域を注目箇所として特定する代わりに、サンプルデータに対応する区間において特に注目度が高い区間（サブ区間）を注目箇所として特定してもよい。この場合、出力制御部１７は、注目箇所特定部１６から供給される注目箇所情報Ｉｎが示すサブ区間を音波形表示領域４１又は音スペクトログラム表示領域４２上で強調表示してもよい。

【0079】

このように、情報処理装置１は、音データに基づきダイジェスト生成に必要な指標である重要度を算出する場合であっても、重要度算出における注目箇所を好適に可視化することができる。

【0080】

（変形例４）
注目箇所可視化システム１００は、サーバクライアントモデルであってもよい。

【0081】

図１３は、変形例４における注目箇所可視化システム１００Ｂの構成を示す。図１３に示すように、注目箇所可視化システム１００Ｂは、主に、サーバとして機能する情報処理装置１Ｂと、注目箇所可視化に必要な情報を記憶する記憶装置４と、クライアントとして機能する端末装置５とを有する。情報処理装置１Ｂと端末装置５とは、ネットワーク７を介してデータ通信を行う。

【0082】

端末装置５は、入力機能、表示機能、及び通信機能を有する端末であり、図１に示される入力装置２及び表示装置３として機能する。端末装置５は、例えば、パーソナルコンピュータ、タブレット型端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）などであってもよい。端末装置５は、図示しないユーザ入力に基づく情報などを、情報処理装置１Ａに送信する。

【0083】

情報処理装置１Ａは、図１に示す情報処理装置１と同一構成を有し、図８に示す注目箇所可視化処理を実行する。ここで、ステップＳ１６の出力制御では、注目箇所に関する情報を示す表示信号を、ネットワーク７を介して端末装置５へ送信する。これにより、情報処理装置１Ａは、重要度算出において注目された注目箇所に関する情報を、端末装置５の閲覧者に好適に提示することができる。

【0084】

＜第２実施形態＞
図１４は、第２実施形態における情報処理装置１Ｘの機能ブロック図である。情報処理装置１Ｘは、主に、入力データ取得手段１４Ｘと、重要度算出手段１５Ｘと、注目箇所特定手段１６Ｘとを有する。

【0085】

入力データ取得手段１４Ｘは、映像データ又は音データの少なくとも一方を含む入力データ「Ｄｉ」を取得する。映像データは、少なくとも１枚の画像から構成されるデータである。入力データ取得手段１４Ｘは、第１実施形態における入力データ取得部１４とすることができる。

【0086】

重要度算出手段１５Ｘは、入力データＤｉの重要度を算出する。この場合、重要度算出手段１５Ｘは、入力データＤｉを所定時間長の単位区間ごとに区切り、区切った区間ごとに重要度を算出してもよい。この場合、重要度算出手段１５Ｘは、入力データＤｉに対する時系列での重要度を算出する。重要度算出手段１５Ｘは、第１実施形態における重要度算出部１５とすることができる。

【0087】

注目箇所特定手段１６Ｘは、重要度の算出における入力データＤｉの注目箇所を特定する。なお、重要度算出手段１５Ｘが入力データＤｉに対する時系列での重要度を算出する場合には、注目箇所特定手段１６Ｘは、少なくともいずれかの重要度に対する注目箇所を特定してもよい。注目箇所特定手段１６Ｘは、第１実施形態における注目箇所特定部１６とすることができる。

【0088】

図１５は、第２実施形態において情報処理装置１Ｘが実行するフローチャートの一例である。まず、入力データ取得手段１４Ｘは、映像データ又は音データの少なくとも一方を含む入力データＤｉを取得する（ステップＳ２１）。重要度算出手段１５Ｘは、入力データＤｉの重要度を算出する（ステップＳ２２）。注目箇所特定手段１６Ｘは、重要度の算出における入力データＤｉの注目箇所を特定する（ステップＳ２３）。

【0089】

第２実施形態に係る情報処理装置１Ｘは、映像データ又は音データの少なくもいずれか一方を含む入力データに対する重要度算出における注目箇所を好適に特定することができる。

【0090】

なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0091】

その他、上記の各実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。

【0092】

［付記１］
映像データ又は音データの少なくとも一方を含む入力データを取得する入力データ取得手段と、
前記入力データの重要度を算出する重要度算出手段と、
前記重要度の算出における前記入力データの注目箇所を特定する注目箇所特定手段と、
を有する情報処理装置。

【0093】

［付記２］
前記重要度算出手段は、映像データ又は音データの少なくとも一方を含むデータが入力された場合に当該データの重要度を推論するように学習された推論器に基づき、前記入力データの重要度を算出する、付記１に記載の情報処理装置。上記の「映像データ」は、１枚の画像データから構成されてもよい。

【0094】

［付記３］
前記推論器は、多層構造を有し、
前記注目箇所特定手段は、前記推論器の中間層の出力に基づき、前記注目箇所を特定する、付記２に記載の情報処理装置。

【0095】

［付記４］
前記入力データは、前記映像データを含み、
前記注目箇所特定手段は、前記注目箇所として、前記重要度の算出における注目領域を、前記映像データを構成する画像内において特定する、付記１～３のいずれか一項に記載の情報処理装置。

【0096】

［付記５］
前記入力データは、前記映像データを含み、
前記注目箇所特定手段は、前記注目箇所として、前記重要度の算出における注目画像を、前記映像データを構成する画像から特定する、付記１～３のいずれか一項に記載の情報処理装置。

【0097】

［付記６］
前記入力データは、前記音データを含み、
前記注目箇所特定手段は、前記重要度の算出において注目した前記音データの区間又は周波数を特定する、付記１～３のいずれか一項に記載の情報処理装置。

【0098】

［付記７］
前記入力データは、前記映像データ及び前記音データの両方を含み、
前記注目箇所特定手段は、前記重要度の算出における、前記映像データと前記音データとの夫々の注目の度合を特定する、付記１～６のいずれか一項に記載の情報処理装置。

【0099】

［付記８］
前記注目箇所に関する情報を表示装置に表示させる出力制御手段をさらに有する付記１～７のいずれか一項に記載の情報処理装置。

【0100】

［付記９］
前記出力制御手段は、前記入力データに対応する任意の区間が指定された場合に、指定された区間に対応する前記重要度の算出において注目された前記注目箇所を、前記区間に対応する前記入力データと関連付けて前記表示装置に表示させる、付記８に記載の情報処理装置。

【0101】

［付記１０］
前記注目箇所の正誤又は正しい注目箇所の少なくとも一方の指定を受け付ける正誤指定手段と、
前記指定に基づき、前記重要度の算出に用いる推論器の学習を行う学習手段と、
をさらに有する、付記１～９のいずれか一項に記載の情報処理装置。

【0102】

［付記１１］
前記重要度は、前記入力データのダイジェストの生成において基準となる指標である、付記１～１０のいずれか一項に記載の情報処理装置。

【0103】

［付記１２］
コンピュータにより、
映像データ又は音データの少なくとも一方を含む入力データを取得し、
前記入力データの重要度を算出し、
前記重要度の算出における前記入力データの注目箇所を特定する、
制御方法。

【0104】

［付記１３］
映像データ又は音データの少なくとも一方を含む入力データを取得する入力データ取得手段と、
前記入力データの重要度を算出する重要度算出手段と、
前記重要度の算出における前記入力データの注目箇所を特定する注目箇所特定手段
としてコンピュータを機能させるプログラムが格納された記憶媒体。

【0105】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

【符号の説明】

【0106】

１、１Ａ、１Ｂ、１Ｘ 情報処理装置
２ 入力装置
３ 表示装置
４ 記憶装置
５ 端末装置
６ 学習装置
１００、１００Ｂ 注目箇所可視化システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】