IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許7452641情報処理装置、制御方法、及び、プログラム
<>
  • 特許-情報処理装置、制御方法、及び、プログラム 図1
  • 特許-情報処理装置、制御方法、及び、プログラム 図2
  • 特許-情報処理装置、制御方法、及び、プログラム 図3
  • 特許-情報処理装置、制御方法、及び、プログラム 図4
  • 特許-情報処理装置、制御方法、及び、プログラム 図5
  • 特許-情報処理装置、制御方法、及び、プログラム 図6
  • 特許-情報処理装置、制御方法、及び、プログラム 図7
  • 特許-情報処理装置、制御方法、及び、プログラム 図8
  • 特許-情報処理装置、制御方法、及び、プログラム 図9
  • 特許-情報処理装置、制御方法、及び、プログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-11
(45)【発行日】2024-03-19
(54)【発明の名称】情報処理装置、制御方法、及び、プログラム
(51)【国際特許分類】
   H04N 5/91 20060101AFI20240312BHJP
【FI】
H04N5/91
【請求項の数】 10
(21)【出願番号】P 2022527400
(86)(22)【出願日】2020-05-28
(86)【国際出願番号】 JP2020021146
(87)【国際公開番号】W WO2021240732
(87)【国際公開日】2021-12-02
【審査請求日】2022-11-16
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100107331
【弁理士】
【氏名又は名称】中村 聡延
(74)【代理人】
【識別番号】100104765
【弁理士】
【氏名又は名称】江上 達夫
(74)【代理人】
【識別番号】100131015
【弁理士】
【氏名又は名称】三輪 浩誉
(72)【発明者】
【氏名】鍋藤 悠
(72)【発明者】
【氏名】菊池 克
(72)【発明者】
【氏名】白石 壮馬
(72)【発明者】
【氏名】渡辺 はるな
【審査官】川中 龍太
(56)【参考文献】
【文献】特開2012-044390(JP,A)
【文献】米国特許出願公開第2017/0109584(US,A1)
【文献】特開2014-229092(JP,A)
【文献】特開2019-186689(JP,A)
【文献】特開2013-031009(JP,A)
【文献】中国特許出願公開第110933519(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/76 - 5/956
G11B 27/00 - 27/34
(57)【特許請求の範囲】
【請求項1】
入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの前記推論器毎の推論結果を取得する推論手段と、
前記推論器毎の推論結果に関するパラメータを指定する入力を受け付け、前記パラメータは前記推論器毎の推論結果を統合した総合スコアに対する閾値に関する情報を含み、前記映像データ対して指定された再生時刻に応じて画像を表示する入力受付手段と、
前記画像が表示された画面に備えられた決定ボタンの選択に応じて、前記パラメータと、前記推論器毎の推論結果とに基づき、前記素材映像データのダイジェストの候補であるダイジェスト候補を生成するダイジェスト候補生成手段と、
を有する情報処理装置。
【請求項2】
前記パラメータは、前記推論器毎の推論結果に対する重みに関する情報を少なくとも含み、
前記ダイジェスト候補生成手段は、前記重みと、前記推論器毎の推論結果とに基づき、前記素材映像データから前記ダイジェスト候補を抽出する、請求項1に記載の情報処理装置。
【請求項3】
記ダイジェスト候補生成手段は、前記閾値と、前記総合スコアとに基づき、前記素材映像データから前記ダイジェスト候補を抽出する、請求項1または2に記載の情報処理装置。
【請求項4】
前記入力受付手段は、前記閾値の現在の設定値を明示した前記総合スコアのグラフの表示を行う、請求項3に記載の情報処理装置。
【請求項5】
前記入力受付手段は、前記総合スコアに対する前記推論器毎の推論結果の寄与分を明示した前記総合スコアのグラフの表示を行う、請求項3または4に記載の情報処理装置。
【請求項6】
前記入力受付手段は、前記パラメータの現在の設定値に基づき前記ダイジェスト候補が生成された場合の前記ダイジェスト候補の時間長に関する情報の表示を行う、請求項1~5のいずれか一項に記載の情報処理装置。
【請求項7】
前記入力受付手段は、前記ダイジェスト候補の希望時間長を指定する入力を少なくも受け付け、前記ダイジェスト候補の時間長を前記希望時間長にするための前記パラメータの推奨設定値の表示を行う、請求項1~6のいずれか一項に記載の情報処理装置。
【請求項8】
前記入力受付手段は、表示装置に表示信号を送信することで、前記表示装置に前記表示を実行させる、請求項4~7のいずれか一項に記載の情報処理装置。
【請求項9】
コンピュータにより、
入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの前記推論器毎の推論結果を取得し、
前記推論器毎の推論結果に関するパラメータを指定する入力を受け付け、前記パラメータは前記推論器毎の推論結果を統合した総合スコアに対する閾値に関する情報を含み、前記映像データ対して指定された再生時刻に応じて画像を表示し
前記画像が表示された画面に備えられた決定ボタンの選択に応じて、前記パラメータと、前記推論器毎の推論結果とに基づき、前記素材映像データのダイジェストの候補であるダイジェスト候補を生成する、制御方法。
【請求項10】
入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの前記推論器毎の推論結果を取得する推論手段と、
前記推論器毎の推論結果に関するパラメータを指定する入力を受け付け、前記パラメータは前記推論器毎の推論結果を統合した総合スコアに対する閾値に関する情報を含み、前記映像データ対して指定された再生時刻に応じて画像を表示する入力受付手段と、
前記画像が表示された画面に備えられた決定ボタンの選択に応じて、前記パラメータと、前記推論器毎の推論結果とに基づき、前記素材映像データのダイジェストの候補であるダイジェスト候補を生成するダイジェスト候補生成手段としてコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ダイジェストの生成に関する処理を行う情報処理装置、制御方法及び記憶媒体の技術分野に関する。
【背景技術】
【0002】
素材となる映像データを編集してダイジェストを生成する技術が存在する。例えば、特許文献1には、グランドでのスポーツイベントの映像ストリームからハイライトを確認して製作する方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特表2019-522948号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
映像編集の時間短縮化とコンテンツ拡大の二つのニーズから、映像の自動編集に対するニーズが高まっている。このような自動編集では、複数の推論器を用いることで多角的な観点により重要区間を判定することが可能となる一方で、複数の推論器の推論結果を適切に組み合わせることが困難であった。
【0005】
本開示の目的は、上記の課題を勘案し、ダイジェスト候補を好適に生成することが可能な情報処理装置、制御方法及び記憶媒体を提供することである。
【課題を解決するための手段】
【0006】
情報処理装置の一の態様は、
入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの前記推論器毎の推論結果を取得する推論手段と、
前記推論器毎の推論結果に関するパラメータを指定する入力を受け付け、前記パラメータは前記推論器毎の推論結果を統合した総合スコアに対する閾値に関する情報を含み、前記映像データ対して指定された再生時刻に応じて画像を表示する入力受付手段と、
前記画像が表示された画面に備えられた決定ボタンの選択に応じて、前記パラメータと、前記推論器毎の推論結果とに基づき、前記素材映像データのダイジェストの候補であるダイジェスト候補を生成するダイジェスト候補生成手段と、
を有する情報処理装置である。
【0007】
制御方法の一の態様は、
コンピュータにより、
入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの前記推論器毎の推論結果を取得し、
前記推論器毎の推論結果に関するパラメータを指定する入力を受け付け、前記パラメータは前記推論器毎の推論結果を統合した総合スコアに対する閾値に関する情報を含み、前記映像データ対して指定された再生時刻に応じて画像を表示し
前記画像が表示された画面に備えられた決定ボタンの選択に応じて、前記パラメータと、前記推論器毎の推論結果とに基づき、前記素材映像データのダイジェストの候補であるダイジェスト候補を生成する、制御方法である。
【0008】
プログラムの一の態様は、
入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの前記推論器毎の推論結果を取得する推論手段と、
前記推論器毎の推論結果に関するパラメータを指定する入力を受け付け、前記パラメータは前記推論器毎の推論結果を統合した総合スコアに対する閾値に関する情報を含み、前記映像データ対して指定された再生時刻に応じて画像を表示する入力受付手段と、
前記画像が表示された画面に備えられた決定ボタンの選択に応じて、前記パラメータと、前記推論器毎の推論結果とに基づき、前記素材映像データのダイジェストの候補であるダイジェスト候補を生成するダイジェスト候補生成手段としてコンピュータを機能させるプログラムである。
【発明の効果】
【0009】
本開示によれば、複数の推論器を用いてダイジェスト候補を好適に生成することができる。
【図面の簡単な説明】
【0010】
図1】第1実施形態におけるダイジェスト生成支援システムの構成を示す。
図2】情報処理装置のハードウェア構成を示す。
図3】情報処理装置の機能ブロックの一例である。
図4】ダイジェスト生成支援画面の第1表示例である。
図5】ダイジェスト生成支援画面の第2表示例である。
図6】第1実施形態において情報処理装置が実行する処理の手順を示すフローチャートの一例である。
図7】ダイジェスト生成支援画面の第3表示例である。
図8】変形例におけるダイジェスト生成支援システムの構成を示す。
図9】第2実施形態における情報処理装置の機能ブロック図である。
図10】第2実施形態において情報処理装置が実行するフローチャートの一例である。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら、情報処理装置、制御方法及び記憶媒体の実施形態について説明する。
【0012】
<第1実施形態>
(1)システム構成
図1は、第1実施形態に係るダイジェスト生成支援システム100の構成を示す。ダイジェスト生成支援システム100は、素材となる映像データのダイジェストの候補となる映像データ(「ダイジェスト候補Cd」とも呼ぶ。)の生成を好適に支援する。ダイジェスト生成支援システム100は、主に、情報処理装置1と、入力装置2と、出力装置3と、記憶装置4とを備える。以後において、映像データは、音データを含んでもよい。
【0013】
情報処理装置1は、通信網を介し、又は、無線若しくは有線による直接通信により、入力装置2、及び出力装置3とデータ通信を行う。情報処理装置1は、記憶装置4に記憶された素材映像データD1に対して重要区間の映像データを抽出することで、素材映像データD1のダイジェスト候補Cdを生成する。
【0014】
入力装置2は、ユーザ入力を受け付ける任意のユーザインターフェースであり、例えば、ボタン、キーボード、マウス、タッチパネル、音声入力装置などが該当する。入力装置2は、ユーザ入力に基づき生成した入力信号「S1」を、情報処理装置1へ供給する。出力装置3は、例えば、ディスプレイ、プロジェクタ等の表示装置、及び、スピーカ等の音出力装置であり、情報処理装置1から供給される出力信号「S2」に基づき、所定の表示又は/及び音出力(ダイジェスト候補Cdの再生などを含む)を行う。
【0015】
記憶装置4は、情報処理装置1の処理に必要な各種情報を記憶するメモリである。記憶装置4は、例えば、素材映像データD1と、推論器情報D2とを記憶する。
【0016】
素材映像データD1は、ダイジェスト候補Cdを生成する対象となる映像データである。なお、素材映像データD1として複数の映像データが記憶装置4に記憶されている場合には、例えば、入力装置2によりユーザが指定した映像データに対するダイジェスト候補Cdが生成される。
【0017】
推論器情報D2は、入力された映像データに対するスコアを推論する複数の推論器に関する情報である。上述のスコアは、入力された映像データの重要度を示すスコアであり、上述の重要度は、入力された映像データが重要区間であるか又は非重要区間であるか(即ちダイジェストの一区間として相応しいか否か)を判定するための基準となる指標である。また、複数の推論器は、夫々、入力された映像データに対して異なる着目点によりスコアを夫々推論するモデルである。
【0018】
ここで、複数の推論器は、例えば、入力された映像データを構成する画像に基づきスコアを推論する推論器と、入力された映像データに含まれる音データに基づきスコアを推論する推論器とを含む。また、前者の推論器は、入力された映像データを構成する画像の全体領域に基づきスコアを推論する推論器と、入力された映像データを構成する画像において特定箇所(例えば人の顔)を示す領域に基づきスコアを推論する推論器とを含んでもよい。なお、画像において特定箇所を示す領域に基づきスコアを推論する推論器は、例えば、画像から特定箇所に関する特徴量を抽出する前段部と、抽出した特徴量から重要度に関するスコアを推論する後段部とを有してもよい。他の推論器も同様に、対象となる着目点に関する特徴量を抽出する処理部と、抽出された特徴量からスコアを評価する処理部とを有してもよい。
【0019】
これらの推論器は予め学習され、推論器情報D2には、学習された各推論器のパラメータが含まれる。推論器の学習モデルは、それぞれ、ニューラルネットワーク又はサポートベクターマシンなどの任意の機械学習に基づく学習モデルであってもよい。例えば、上述の第1推論器及び第2推論器のモデルが畳み込みニューラルネットワークなどのニューラルネットワークである場合、推論器情報D2は、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの各種パラメータを含む。
【0020】
なお、記憶装置4は、情報処理装置1に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶装置4は、情報処理装置1とデータ通信を行うサーバ装置であってもよい。また、記憶装置4は、複数の装置から構成されてもよい。この場合、記憶装置4は、素材映像データD1及び推論器情報D2を分散して記憶してもよい。
【0021】
以上において説明したダイジェスト生成支援システム100の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、入力装置2及び出力装置3は、一体となって構成されてもよい。この場合、入力装置2及び出力装置3は、情報処理装置1と一体となるタブレット型端末として構成されてもよい。他の例では、情報処理装置1は、複数の装置から構成されてもよい。この場合、情報処理装置1を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、これらの複数の装置間において行う。
【0022】
(2)情報処理装置のハードウェア構成
図2は、情報処理装置1のハードウェア構成を示す。情報処理装置1は、ハードウェアとして、プロセッサ11と、メモリ12と、インターフェース13とを含む。プロセッサ11、メモリ12及びインターフェース13は、データバス19を介して接続されている。
【0023】
プロセッサ11は、メモリ12に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ11は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、量子プロセッサなどのプロセッサである。
【0024】
メモリ12は、RAM(Random Access Memory)、ROM(Read Only Memory)などの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ12には、情報処理装置1が実行するプログラムが記憶される。また、メモリ12は、作業メモリとして使用され、記憶装置4から取得した情報等を一時的に記憶する。なお、メモリ12は、記憶装置4として機能してもよい。同様に、記憶装置4は、情報処理装置1のメモリ12として機能してもよい。なお、情報処理装置1が実行するプログラムは、メモリ12以外の記憶媒体に記憶されてもよい。
【0025】
インターフェース13は、情報処理装置1と他の装置とを電気的に接続するためのインターフェースである。例えば、情報処理装置1と他の装置とを接続するためのインターフェースは、プロセッサ11の制御に基づき他の装置とデータの送受信を有線又は無線により行うためのネットワークアダプタなどの通信インターフェースであってもよい。他の例では、情報処理装置1と他の装置とはケーブル等により接続されてもよい。この場合、インターフェース13は、他の装置とデータの授受を行うためのUSB(Universal Serial Bus)、SATA(Serial AT Attachment)などに準拠したハードウェアインターフェースを含む。
【0026】
なお、情報処理装置1のハードウェア構成は、図2に示す構成に限定されない。例えば、情報処理装置1は、入力装置2又は出力装置3の少なくとも一方を含んでもよい。
【0027】
(3)機能ブロック
情報処理装置1は、複数の推論器の推論結果Reに関するパラメータ(「パラメータPd」とも呼ぶ。)を指定するユーザ入力を受け付け、パラメータPdに基づきダイジェスト候補Cdを生成する。ここで、パラメータPdは、複数の推論器の推論結果Reからダイジェスト候補Cdを生成するために必要なパラメータである。以下では、上述の処理を実現するための情報処理装置1の機能ブロックについて説明する。
【0028】
情報処理装置1のプロセッサ11は、機能的には、推論部15と、入力受付部16と、ダイジェスト候補生成部17と、を有する。なお、図3では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せは図3に限定されない。後述する他の機能ブロックの図においても同様である。
【0029】
推論部15は、素材映像データD1に対し、推論器情報D2により構成される推論器による推論器毎の推論結果「Re」を生成する。ここで、推論結果Reは、素材映像データD1に対して推論器毎に推論されたスコア(「個別スコアSi」とも呼ぶ。)の時系列データを示す。この場合、推論部15は、推論器情報D2を参照することで構成した複数の推論器の各々に対し、素材映像データD1を区間毎に分割した映像データである区間映像データを順次入力することで、入力した区間映像データに対する推論器毎の時系列の個別スコアSiを算出する。ここで、個別スコアSiは、対象の推論器が対象とする観点において重要性が高いと判定される区間映像データほど高い値となる。そして、推論部15は、生成した推論結果Reを、入力受付部16及びダイジェスト候補生成部17へ供給する。
【0030】
入力受付部16は、素材映像データD1及び複数の推論器の推論結果Reに基づき、ダイジェスト候補Cdを選定するために必要なパラメータPdを指定するユーザ入力を受け付ける。具体的には、入力受付部16は、ダイジェスト候補Cdの生成を支援する画面(「ダイジェスト生成支援画面」とも呼ぶ。)を表示するための出力信号S1を、インターフェース13を介して出力装置3に送信する。ダイジェスト生成支援画面は、ユーザがパラメータPdを指定するための入力画面であり、具体例については後述する。そして、入力受付部16は、ダイジェスト生成支援画面において指定されたパラメータPdに関する入力信号S2を、インターフェース13を介して入力装置2から受信する。そして、入力受付部16は、入力信号S2に基づき特定したパラメータPdを、ダイジェスト候補生成部17に供給する。
【0031】
パラメータPdは、例えば、推論器毎の個別スコアSiを統合したスコア(「総合スコアSt」とも呼ぶ。)を算出するために推論器毎に設定する重み(「重みW」とも呼ぶ。)に関する情報を含む。他の例では、パラメータPdは、総合スコアStに基づき素材映像データD1の重要区間(即ちダイジェスト候補Cdとする区間)を判定するための閾値(「重要判定閾値Th」とも呼ぶ。)に関する情報を含む。パラメータPdの設定値の初期値は、メモリ12又は記憶装置4に予め記憶されている。入力受付部16は、入力信号S2に基づきパラメータPdの設定値を更新し、最新のパラメータPdの設定値をメモリ12又は記憶装置4に記憶する。
【0032】
ダイジェスト候補生成部17は、推論器毎の推論結果Reと、パラメータPdとに基づき、ダイジェスト候補Cdを生成する。例えば、ダイジェスト候補生成部17は、総合スコアStが重要判定閾値Th以上となる素材映像データD1の区間の映像データを抽出し、抽出した映像データを時系列に従い並べて結合した映像データを、ダイジェスト候補Cdとして生成する。
【0033】
なお、ダイジェスト候補生成部17は、ダイジェスト候補Cdとして1つの映像データを生成する代わりに、重要区間に該当すると判定した映像データのリストを、ダイジェスト候補Cdとして生成してもよい。この場合、ダイジェスト候補生成部17は、ダイジェスト候補Cdを出力装置3に表示させ、最終的なダイジェストに含める映像データを選択するユーザ入力などを入力装置2により受け付けてもよい。
【0034】
情報処理装置1は、ダイジェスト候補生成部17が生成したダイジェスト候補Cdを、最終的なダイジェストとしてもよく、ダイジェスト候補Cdに対してさらに追加の処理を行うことで、最終的なダイジェストを生成してもよい。後者の場合、例えば、情報処理装置1は、重要区間と判定した映像データと関連性が高い非重要区間を含むシーンが最終的なダイジェストに含まれるように追加の処理を行ってもよい。
【0035】
図3において説明した推論部15、入力受付部16、ダイジェスト候補生成部17の各構成要素は、例えば、プロセッサ11が記憶装置4又はメモリ12に格納されたプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、これらの各構成要素は、例えばFPGA(field-programmable gate array)又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このように、各構成要素は、プロセッサ以外のハードウェアを含む任意のコントローラにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。
【0036】
(4)ダイジェスト生成支援画面
次に、入力受付部16が実行する具体的な処理について、ダイジェスト生成支援画面の表示例(第1表示例及び第2表示例)と共に説明する。
【0037】
図4は、ダイジェスト生成支援画面の第1表示例である。入力受付部16は、重みW及び重要判定閾値Thの変更を指定可能なダイジェスト生成支援画面を、出力装置3に表示させている。この場合、入力受付部16は、出力信号S1を出力装置3に供給することで、上述のダイジェスト生成支援画面を出力装置3に表示させている。
【0038】
入力受付部16は、ダイジェスト生成支援画面上において、画像表示領域31と、シークバー32と、総合スコア表示領域33と、重み調整領域34と、推定時間長表示領域36と、決定ボタン40とを設けている。
【0039】
入力受付部16は、画像表示領域31において、シークバー32において指定された再生時刻に対応する素材映像データD1の画像を表示する。ここで、シークバー32は、素材映像データD1の再生時間長(ここでは35分)を明示したバーであり、画像表示領域31において表示する画像(ここでは25分3秒に対応する画像)を指定するスライド37が設けられている。入力受付部16は、スライド37の位置に応じて入力装置2が生成する入力信号S2に基づき、画像表示領域31に表示する画像を決定する。
【0040】
また、入力受付部16は、総合スコア表示領域33上において、素材映像データD1に対する時系列の総合スコアStを示す線グラフを表示している。この場合、入力受付部16は、推論器毎の推論結果Reと、重みWとに基づき、素材映像データD1の全区間に対する時系列の総合スコアStを算出し、時系列の総合スコアStを示す線グラフを、総合スコア表示領域33上に表示する。また、入力受付部16は、現在の重要判定閾値Thの設定値を示す閾値ライン38を、上述の線グラフと共に総合スコア表示領域33上に表示している。
【0041】
さらに、入力受付部16は、重要判定閾値Thの設定値の変更をユーザが入力可能なユーザインターフェースである閾値変更ボタン39を、総合スコア表示領域33に設けている。ここでは、一例として、入力受付部16は、重要判定閾値Thの設定値を所定値毎に増減可能な2つのボタンから構成される閾値変更ボタン39を表示している。そして、入力受付部16は、閾値変更ボタン39に対する入力を入力信号S2に基づき検知した場合、重要判定閾値Thの設定値を変更し、変更した重要判定閾値Thの設定値に応じて閾値ライン38を移動させる。なお、入力受付部16は、ダイジェスト生成支援画面の表示開始時点では、記憶装置4又はメモリ12に予め記憶された重要判定閾値Thの初期値に基づき、閾値ライン38を表示する。
【0042】
入力受付部16は、重み調整領域34上において、ダイジェスト候補Cdの生成に使用する推論器に対する重みWを調整可能なユーザインターフェースを表示する。ここでは、一例として、推論器情報D2には、第1推論器と、第2推論器と、第3推論器との夫々を構成するために必要なパラメータが含まれるものとする。ここで、第1推論器は、素材映像データD1を構成する画像中の人の顔の領域に基づき重要度を推論する。第2推論器は、素材映像データD1を構成する画像全体に基づき重要度を推論する。第3推論器は、素材映像データD1に含まれる音データに基づき重要度を推論する。
【0043】
そして、重み調整領域34には、第1推論器~第3推論器に夫々対応する重みWを調整するための重み調整バー35A~35Cが設けられている。ここで、重み調整バー35Aは、第1推論器が出力する個別スコア「Si1」に対する重み「W1」を調整するユーザインターフェースである。また、重み調整バー35Bは、第2推論器が出力する個別スコア「Si2」に対する重み「W2」を調整するためのユーザインターフェースであり、重み調整バー35Cは、第3推論器が出力する個別スコア「Si3」に対する重み「W3」を調整するためのユーザインターフェースである。重み調整バー35A~35Cには、スライド41A~41Cが夫々設けられ、スライド41A~41Cの位置を調整することで、対応する重みW1~W3を調整することが可能となっている。なお、記憶装置4又はメモリ12には、重みWの初期値が予め記憶されており、入力受付部16は、ダイジェスト生成支援画面の表示開始時には、当該初期値を参照することで、重み調整領域34の各表示を行う。
【0044】
そして、入力受付部16は、スライド41A~41Cのいずれかの移動を入力信号S2に基づき検知した場合に、重みWの設定値を変更する。また、重みWの設定値の変更により総合スコアStも変更が生じることから、入力受付部16は、変更された重みWの設定値に基づき総合スコアStを再計算し、再計算した総合スコアStに基づき総合スコア表示領域33の表示を更新する。この場合、入力受付部16は、例えば、以下の式に基づき、総合スコアStを算出する。
St=(W1・Si1+W2・Si2+W3・Si3)/(W1+W2+W3)
【0045】
また、入力受付部16は、後述する推定時間長表示領域36において表示するダイジェスト候補Cdの時間長についても再計算を行うことで、推定時間長表示領域36の表示を更新する。
【0046】
入力受付部16は、推定時間長表示領域36上において、パラメータPd(ここでは、重要判定閾値Th及び重みW)の現在の設定値によりダイジェスト候補Cdを生成した場合の当該ダイジェスト候補Cdの推定される時間長(「ダイジェスト推定時間長」とも呼ぶ。)を表示する。
【0047】
そして、入力受付部16は、決定ボタン40が選択されたことを検知した場合、現在の重要判定閾値Thの設定値及び重みWの設定値を示すパラメータPdを、ダイジェスト候補生成部17に供給する。そして、ダイジェスト候補生成部17は、供給されたパラメータPdが示す現在の重要判定閾値Thの設定値及び重みWの設定値によりダイジェスト候補Cdを生成する。その後、ダイジェスト候補生成部17は、生成したダイジェスト候補Cdを、記憶装置4又はメモリ12に記憶させてもよく、記憶装置4以外の外部装置に送信してもよい。また、ダイジェスト候補生成部17は、ダイジェスト候補Cdを再生するための出力信号S1を出力装置3に送信することで、ダイジェスト候補Cdを出力装置3により再生してもよい。
【0048】
第1表示例によれば、情報処理装置1は、重要判定閾値Thの設定値及び重みWの設定値の変更を受け付け、ダイジェストとして抽出すべきシーン及びダイジェストの時間長を、ユーザ入力に基づき好適に調整することができる。また、情報処理装置1は、重要判定閾値Thの設定値及び重みWの設定値を変更する目安となるダイジェスト推定時間長をユーザに提示し、上述の調整を好適に支援することができる。
【0049】
図5は、ダイジェスト生成支援画面の第2表示例である。第2表示例では、入力受付部16は、総合スコア表示領域33上に、総合スコアStの算出における各推論器の推論結果の寄与の度合を明示した棒グラフ(柱状グラフ)を表示する。
【0050】
具体的には、第2表示例では、入力受付部16は、所定区間毎の総合スコアStの棒グラフを総合スコア表示領域33上に表示する場合に、第1推論器~第3推論器の各寄与分を特定し、特定した第1推論器~第3推論器の各寄与分を棒グラフにて色分け表示する。この場合、入力受付部16は、上述の総合スコアStの算出式の第1項に相当する「(W1・Si1)/(W1+W2+W3)」を、第1推論器の推論結果の寄与分とみなす。同様に、入力受付部16は、「(W2・Si2)/(W1+W2+W3)」を、第2推論器の推論結果の寄与分とみなし、「(W3・Si3)/(W1+W2+W3)」を、第3推論器の推論結果の寄与分とみなす。そして、入力受付部16は、区間毎に算出した各寄与分に応じた長さを有するブロックを推論器毎に色分けして積み重ねることで、上述の棒グラフを表示する。
【0051】
第2表示例によれば、入力受付部16は、各推論器の推論結果の寄与の度合を好適にユーザに提示することができる。これにより、ダイジェスト候補Cdの編集を行うユーザは、各推論器の重みWを設定する際に参考となる情報を好適に把握することができる。
【0052】
(5)処理フロー
図6は、第1実施形態において情報処理装置1が実行する処理の手順を示すフローチャートの一例である。情報処理装置1は、図6に示すフローチャートの処理を、例えば、対象となる素材映像データD1を指定して処理の開始を指示するユーザ入力を検知した場合等に実行する。
【0053】
まず、情報処理装置1は、素材映像データD1を取得する(ステップS11)。そして、情報処理装置1の推論部15は、複数の推論器により、重要度に関する推論を実行する(ステップS12)。この場合、推論部15は、推論器情報D2を参照することで構成した複数の推論器により、素材映像データD1に対する時系列での個別スコアSiを推論器毎に算出する。推論部15は、推論器毎の時系列の個別スコアSiを示す推論結果Reを、入力受付部16に供給する。
【0054】
そして、入力受付部16は、推論部15による推論結果Reと、記憶装置4又はメモリ12等に記憶されたパラメータPdの初期値(初期パラメータ)とに基づき、ダイジェスト生成支援画面を出力装置3に表示させる(ステップS13)。この場合、入力受付部16は、ダイジェスト生成支援画面を表示するための出力信号S1を生成し、インターフェース13を介して出力装置3に出力信号S1を送信することで、出力装置3にダイジェスト生成支援画面を表示させる。これにより、入力受付部16は、重要判定閾値Thや各推論器に対する重みWなどの現在の設定値を明示したダイジェスト生成支援画面を、出力装置3に表示させる。
【0055】
次に、入力受付部16は、入力装置2から供給される入力信号S2に基づき、パラメータPdの変更指示があったか否か判定する(ステップS14)。図4及び図5の例では、入力受付部16は、重み調整バー35A~35C又は閾値変更ボタン39の少なくともいずれかに対する操作を検知したか否か判定する。
【0056】
そして、入力受付部16は、パラメータPdの変更指示があった場合(ステップS14;Yes)、変更後のパラメータPdをメモリ12等に記憶し、かつ、変更後のパラメータPdに基づきダイジェスト生成支援画面の表示を更新する(ステップS15)。これにより、入力受付部16は、ユーザが指定したパラメータPdを反映した最新のダイジェスト候補Cdに関する情報をユーザに提示し、パラメータPdのさらなる変更の要否判定に必要な情報を可視化する。一方、パラメータPdの変更指示がない場合(ステップS14;No)、ステップS16へ処理を進める。
【0057】
そして、入力受付部16は、入力装置2から供給される入力信号S2に基づき、ダイジェスト候補Cdの生成指示があったか否か判定する(ステップS16)。図4及び図5の例では、入力受付部16は、決定ボタン40が選択されたか否か判定する。そして、ダイジェスト候補Cdの生成指示があった場合(ステップS16;Yes)、ダイジェスト候補Cdの生成を行う(ステップS17)。一方、ダイジェスト候補Cdの生成指示がない場合(ステップS16;No)、ステップS14へ処理を戻し、再びパラメータPdの変更指示の有無を判定する。
【0058】
ここで、本実施形態による効果について補足説明する。
【0059】
スポーツ映像編集の時間短縮化とコンテンツ拡大の二つのニーズから、スポーツ映像の自動編集に対するニーズが高まっている。このような自動編集では、重要シーンの検出は、画像全体から重要シーンを推論する推論器、画像中の特定箇所から重要シーンを推論する推論器、音声から重要シーンを推論する推論器などの複数の推論器を使う場合がある。この際に、全ての推論器の結果を結合すると、ユーザが求める時間長のダイジェストが得られない場合がある。例えば、2分のダイジェストが欲しいのに8分のダイジェストが生成されてしまったり、強制的にダイジェストの時間長を固定しても望むハイライトシーンがダイジェストに含まれなかったりすることがある。このため、各推論器の結果を結合してダイジェスト候補Cdを選定するためのパラメータを、編集者であるユーザが調整できることが望ましい。
【0060】
以上を勘案し、第1実施形態では、情報処理装置1は、パラメータPdの変更を指示する入力をダイジェスト生成支援画面により受け付け、編集者であるユーザによるパラメータPdの調整を可能にする。これにより、情報処理装置1は、ユーザが求める時間長のダイジェストの生成を好適に支援することができる。
【0061】
(6)変形例
次に、上記実施形態に好適な各変形例について説明する。以下の変形例は任意に組み合わせて上述の実施形態に適用してもよい。
【0062】
(変形例1)
情報処理装置1は、ダイジェスト生成支援画面上において、ユーザが希望するダイジェストの時間長を実現するために推奨されるパラメータPdの推奨値をダイジェスト生成支援画面上において明示してもよい。
【0063】
図7は、ダイジェスト生成支援画面の第3表示例を示す。入力受付部16は、第3表示例に係るダイジェスト生成支援画面上に、希望時間長表示欄42と、お薦め切替ボタン43とを設けている。
【0064】
希望時間長表示欄42は、ユーザが望むダイジェスト候補Cdの再生時間長(「希望時間長」とも呼ぶ。)を表示する欄である。なお、希望時間長表示欄42には、増減ボタン44が設けられており、入力受付部16は、増減ボタン44の操作を検知することで、希望時間長表示欄42に表示する希望時間長を変更する。お薦め切替ボタン43は、総合スコア表示領域33及び重み調整領域34での重要判定閾値Th及び重みWに関するお薦め表示のオンとオフとを切り替えるためのボタンである。第3表示例では、お薦め表示がオンに設定されている。
【0065】
入力受付部16は、希望時間長表示欄42にて指定された希望時間長に基づき、重要判定閾値Th及び重みWの推奨値を算出する。そして、入力受付部16は、算出した重要判定閾値Thの推奨値を示す推奨閾値ライン38xを、総合スコア表示領域33上に表示し、重みW1~W3の推奨値を夫々示す仮想スライド41Ax~41Cxを、重み調整バー35A~35C上に表示する。この場合、入力受付部16は、例えば、ダイジェスト推定時間長が希望時間長となることを制約条件とし、重要判定閾値Th及び重みWの現在の設定値と推奨値との差異が低いほど高い評価となる評価関数を最大化する最適化を行うことで、重要判定閾値Th及び重みWの推奨値を算出する。他の例では、入力受付部16は、記憶装置4等に記憶された過去のダイジェスト生成に関する実績情報に基づき、重要判定閾値Th及び重みWの推奨値を決定してもよい。
【0066】
なお、入力受付部16は、重要判定閾値Th及び重みWの両方の推奨値を表示する代わりに、重要判定閾値Th又は重みWのいずれか一方の推奨値を表示してもよい。この場合、入力受付部16は、重要判定閾値Th又は重みWのいずれの推奨値を表示するか選択する入力を受け付けるユーザインターフェースを、ダイジェスト生成支援画面上にさらに表示してもよい。この場合、入力受付部16は、推奨値を算出しないパラメータを現在の設定値に固定し、推奨値を表示するパラメータの推奨値を上述した最適化等により算出する。
【0067】
本変形例によれば、情報処理装置1は、編集者であるユーザに対して、希望時間長を実現するための目安となるパラメータPdの推奨値を好適に提示することができる。これにより、編集者であるユーザは、どのパラメータをどの程度変更する必要があるかの目安を把握することができる。
【0068】
(変形例2)
ダイジェスト生成支援システム100は、サーバクライアントモデルであってもよい。
【0069】
図8は、変形例4におけるダイジェスト生成支援システム100Aの構成を示す。図8に示すように、ダイジェスト生成支援システム100Aは、主に、サーバとして機能する情報処理装置1Bと、ダイジェスト候補Cdの生成に必要な情報を記憶する記憶装置4と、クライアントとして機能する端末装置5とを有する。情報処理装置1Aと端末装置5とは、ネットワーク7を介してデータ通信を行う。
【0070】
端末装置5は、少なくとも入力機能、表示機能、及び通信機能を有する端末であり、図1に示される入力装置2及び出力装置3(即ち表示装置)として機能する。端末装置5は、例えば、パーソナルコンピュータ、タブレット型端末、PDA(Personal Digital Assistant)などであってもよい。
【0071】
情報処理装置1Aは、図1に示す情報処理装置1と同一構成を有し、図6に示すフローチャートの処理を実行する。ここで、ステップS13及びステップS15では、ダイジェスト生成支援画面を表示するための表示信号を、ネットワーク7を介して端末装置5へ送信する。また、ステップS14及びステップS16では、情報処理装置1Aは、端末装置5からユーザの指示を示す入力信号を、ネットワーク7を介して受信する。本変形例では、情報処理装置1Aは、端末装置5を操作するユーザに対するパラメータPdの変更の入力を受け付け、ダイジェスト候補Cdを好適に生成することができる。
【0072】
<第2実施形態>
図9は、第2実施形態における情報処理装置1Xの機能ブロック図である。情報処理装置1Xは、主に、推論手段15Xと、入力受付手段16Xと、ダイジェスト候補生成手段17Xとを有する。
【0073】
推論手段15Xは、入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの推論器毎の推論結果を取得する。ここで、推論手段15Xは、第1の例では、複数の推論器を用いて推論器毎の推論結果を生成する。この場合、推論手段15Xは、第1実施形態(変形例を含む、以下同じ)の推論部15とすることができる。第2の例では、推論手段15Xは、複数の推論器を用いて推論器毎の推論結果を生成する外部装置から、当該推論結果を受信する。この場合、例えば、推論手段15Xは、第1実施形態の推論部15に相当する機能を有する外部装置から推論結果Reを受信する。
【0074】
入力受付手段16Xは、推論器毎の推論結果に関するパラメータを指定する入力を受け付ける。ここで、入力受付手段16Xは、第1実施形態の入力受付部16とすることができる。「推論器毎の推論結果に関するパラメータ」は、第1実施形態の重要判定閾値Th又は重みWの少なくとも一方とすることができる。
【0075】
ダイジェスト候補生成手段17Xは、パラメータと、推論器毎の推論結果とに基づき、素材映像データのダイジェストの候補であるダイジェスト候補を生成する。ここで、ダイジェスト候補生成手段17Xは、第1実施形態のダイジェスト候補生成部17とすることができる。
【0076】
図10は、第2実施形態において情報処理装置1Xが実行するフローチャートの一例である。まず、推論手段15Xは、入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの推論器毎の推論結果を取得する(ステップS21)。入力受付手段16Xは、推論器毎の推論結果に関するパラメータを指定する入力を受け付ける(ステップS22)。ダイジェスト候補生成手段17Xは、パラメータと、推論器毎の推論結果とに基づき、ダイジェスト候補を生成する(ステップS23)。
【0077】
第2実施形態に係る情報処理装置1Xは、ユーザが指定したパラメータに基づき複数の推論器の推論結果を統合し、ダイジェスト候補を好適に生成することができる。
【0078】
なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記憶媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0079】
その他、上記の各実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
【0080】
[付記1]
入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの前記推論器毎の推論結果を取得する推論手段と、
前記推論器毎の推論結果に関するパラメータを指定する入力を受け付ける入力受付手段と、
前記パラメータと、前記推論器毎の推論結果とに基づき、前記素材映像データのダイジェストの候補であるダイジェスト候補を生成するダイジェスト候補生成手段と、
を有する情報処理装置。
【0081】
[付記2]
前記パラメータは、前記推論器毎の推論結果に対する重みに関する情報を少なくとも含み、
前記ダイジェスト候補生成手段は、前記重みと、前記推論器毎の推論結果とに基づき、前記素材映像データから前記ダイジェスト候補を抽出する、付記1に記載の情報処理装置。
【0082】
[付記3]
前記パラメータは、前記推論器毎の推論結果を統合した総合スコアに対する閾値に関する情報を少なくとも含み、
前記ダイジェスト候補生成手段は、前記閾値と、前記総合スコアとに基づき、前記素材映像データから前記ダイジェスト候補を抽出する、付記1または2に記載の情報処理装置。
【0083】
[付記4]
前記入力受付手段は、前記閾値の現在の設定値を明示した前記総合スコアのグラフの表示を行う、付記3に記載の情報処理装置。
【0084】
[付記5]
前記入力受付手段は、前記総合スコアに対する前記推論器毎の推論結果の寄与分を明示した前記総合スコアのグラフの表示を行う、付記3または4に記載の情報処理装置。
【0085】
[付記6]
前記入力受付手段は、前記パラメータの現在の設定値に基づき前記ダイジェスト候補が生成された場合の前記ダイジェスト候補の時間長に関する情報の表示を行う、付記1~5のいずれか一項に記載の情報処理装置。
【0086】
[付記7]
前記入力受付手段は、前記ダイジェスト候補の希望時間長を指定する入力を少なくも受け付け、前記ダイジェスト候補の時間長を前記希望時間長にするための前記パラメータの推奨設定値の表示を行う、付記1~6のいずれか一項に記載の情報処理装置。
【0087】
[付記8]
前記入力受付手段は、出力装置に表示信号を送信することで、前記出力装置に前記表示を実行させる、付記4~7のいずれか一項に記載の情報処理装置。
【0088】
[付記9]
前記推論手段は、前記素材映像データに含まれる画像に基づき前記重要度に関する推論を行う推論器の推論結果と、前記素材映像データに含まれる音データに基づき前記重要度に関する推論を行う推論器との推論結果とを少なくとも取得する、付記1~8のいずれか一項に記載の情報処理装置。
【0089】
[付記10]
前記推論手段は、前記素材映像データに含まれる画像の全体領域に基づき前記重要度に関する推論を行う推論器の推論結果と、前記素材映像データに含まれる画像において特定箇所を示す領域に基づき前記重要度に関する推論を行う推論器の推論結果とを少なくとも取得する、付記1~9のいずれか一項に記載の情報処理装置。
【0090】
[付記11]
コンピュータにより、
入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの前記推論器毎の推論結果を取得し、
前記推論器毎の推論結果に関するパラメータを指定する入力を受け付け、
前記パラメータと、前記推論器毎の推論結果とに基づき、前記素材映像データのダイジェストの候補であるダイジェスト候補を生成する、
制御方法。
【0091】
[付記12]
入力された映像データに対して重要度に関する推論を行う複数の推論器による素材映像データへの前記推論器毎の推論結果を取得する推論手段と、
前記推論器毎の推論結果に関するパラメータを指定する入力を受け付ける入力受付手段と、
前記パラメータと、前記推論器毎の推論結果とに基づき、前記素材映像データのダイジェストの候補であるダイジェスト候補を生成するダイジェスト候補生成手段
としてコンピュータを機能させるプログラムが格納された記憶媒体。
【0092】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
【符号の説明】
【0093】
1、1A、1X 情報処理装置
2 入力装置
3 出力装置
4 記憶装置
5 端末装置
100、100A ダイジェスト生成支援システム
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10