特開 2024-171096 編集画面出力プログラム及び編集画面出力方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024171096

(43)【公開日】2024-12-11

(54)【発明の名称】編集画面出力プログラム及び編集画面出力方法

(51)【国際特許分類】

   H04N 5/91 20060101AFI20241204BHJP

   H04N 21/8549 20110101ALI20241204BHJP

【ＦＩ】

H04N5/91

H04N21/8549

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023087979

(22)【出願日】2023-05-29

(71)【出願人】

【識別番号】598057291

【氏名又は名称】エフサステクノロジーズ株式会社

(74)【代理人】

【識別番号】110004370

【氏名又は名称】弁理士法人片山特許事務所

(72)【発明者】

【氏名】久徳 晃史

(72)【発明者】

【氏名】大越 雄一

(72)【発明者】

【氏名】佐久間 俊平

(72)【発明者】

【氏名】桂 大地

(72)【発明者】

【氏名】石川 智啓

(72)【発明者】

【氏名】鈴木 由喜

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA29

5C164MA02S

5C164MC03P

(57)【要約】

【課題】ハイライト映像の編集作業の簡素化を図る。
【解決手段】映像から一部を切り抜いたハイライト映像の長さを編集する画面を出力する編集画面出力プログラムであって、前記ハイライト映像の長さに基づいて、前記ハイライト映像の時間幅全体を表示可能で、前記ハイライト映像以外の時間が所定範囲内である表示領域の時間幅を決定し、前記表示領域の中央部分に前記ハイライト映像の時間幅を表示した画面を生成し、出力する、処理をコンピュータに実行させる編集画面出力プログラムである。
【選択図】図７

【特許請求の範囲】

【請求項1】

映像から一部を切り抜いたハイライト映像の長さを編集する画面を出力する編集画面出力プログラムであって、
前記ハイライト映像の長さに基づいて、前記ハイライト映像の時間幅全体を表示可能で、前記ハイライト映像以外の時間が所定範囲内である表示領域の時間幅を決定し、
前記表示領域の中央部分に前記ハイライト映像の時間幅を表示した画面を生成し、出力する、
処理をコンピュータに実行させることを特徴とする編集画面出力プログラム。

【請求項2】

前記表示領域の時間幅を決定する処理において、
前記表示領域を区切る目盛の数を特定し、
前記ハイライト映像の長さに基づいて、前記目盛の間の時間間隔を特定し、
特定した前記目盛の数と前記目盛の間の時間間隔に基づいて前記表示領域の時間幅を決定する、
ことを特徴とする請求項１に記載の編集画面出力プログラム。

【請求項3】

前記画面を生成する際に、前記表示領域に前記目盛を表示する、ことを特徴とする請求項２に記載の編集画面出力プログラム。

【請求項4】

前記表示領域の時間幅を決定する処理において、前記ハイライト映像の長さと、予め定められた前記ハイライト映像の編集量に関する指標値と、に基づいて、前記ハイライト映像以外の時間を特定する、ことを特徴とする請求項１に記載の編集画面出力プログラム。

【請求項5】

前記ハイライト映像の長さに基づいて、前記表示領域を区切る目盛の間の時間間隔を特定し、
前記画面を生成する際に、特定した前記時間間隔で前記表示領域に目盛を配置する、ことを特徴とする請求項４に記載の編集画面出力プログラム。

【請求項6】

前記画面において前記目盛の間の時間幅が指定された場合に、指定された前記時間幅で前記目盛を設定して、前記画面を更新する、
処理を前記コンピュータに実行させることを特徴とする請求項２、３及び５のいずれか一項に記載の編集画面出力プログラム。

【請求項7】

前記画面において前記ハイライト映像の長さが編集された場合に、編集後の前記ハイライト映像の長さに基づいて、前記画面を更新する、
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の編集画面出力プログラム。

【請求項8】

前記画面には、サムネイル画像選択領域が設けられており、
前記ハイライト映像から抽出した複数の候補画像にスコアを付与し、
前記スコアに基づいて前記複数の候補画像の中から所定数の画像を選択し、
選択された前記画像を前記サムネイル画像選択領域に表示する、
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の編集画面出力プログラム。

【請求項9】

前記所定数の画像を選択する処理は、
前記候補画像の中から前記スコアが最も大きい画像を選択し、
前記候補画像のうち、選択した前記画像との類似度が所定未満で、前記スコアが最も大きい画像を選択する、処理を含むことを特徴とする請求項８に記載の編集画面出力プログラム。

【請求項10】

映像から一部を切り抜いたハイライト映像の長さを編集する画面を出力する編集画面出力方法であって、
前記ハイライト映像の長さに基づいて、前記ハイライト映像の時間幅全体を表示可能で、前記ハイライト映像以外の時間が所定範囲内である表示領域の時間幅を決定し、
前記表示領域の中央部分に前記ハイライト映像の時間幅を表示した画面を生成し、出力する、
処理をコンピュータが実行することを特徴とする編集画面出力方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、編集画面出力プログラム及び編集画面出力方法に関する。

【背景技術】

【0002】

従来、スポーツイベントなどの映像や、動画投稿サイトなどにアップロードされた映像などの一部を切り抜いたハイライト映像を自動で生成する技術が知られている（例えば、特許文献１、２等）。

【0003】

しかしながら、映像からハイライト映像を自動で抽出する場合、不要なシーンが含まれたり、必要なシーンが含まれていない場合があり、品質の低い映像になるおそれがある。したがって、自動で抽出したハイライト映像を人手で修正（編集）する作業が必要になる場合がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２－１４７２９６号公報

【特許文献2】特開２０２２－４０６６５号公報

【特許文献3】特開２０２０－６１７２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ハイライト映像を編集する作業には、ハイライト映像の両端の位置（時刻）を調整する作業が含まれる。このような調整作業を行う場合には、ハイライト映像の時間幅を編集作業領域に表示する必要があるが、作業を簡素化するためには、編集作業領域の適切な位置に、適切な大きさでハイライト映像の時間幅を表示することが好ましい。

【0006】

１つの側面では、本発明は、ハイライト映像の編集作業の簡素化を図ることが可能な編集画面出力プログラム及び編集画面出力方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

一つの態様では、編集画面出力プログラムは、映像から一部を切り抜いたハイライト映像の長さを編集する画面を出力する編集画面出力プログラムであって、前記ハイライト映像の長さに基づいて、前記ハイライト映像の時間幅全体を表示可能で、前記ハイライト映像以外の時間が所定範囲内である表示領域の時間幅を決定し、前記表示領域の中央部分に前記ハイライト映像の時間幅を表示した画面を生成し、出力する、処理をコンピュータに実行させる編集画面出力プログラムである。

【発明の効果】

【0008】

ハイライト映像の編集作業の簡素化を図ることができる。

【図面の簡単な説明】

【0009】

【図1】第１の実施形態に係るハイライト映像生成装置の構成を概略的に示す図である。

【図2】ハイライト映像生成装置の機能ブロック図である。

【図3】ハイライト映像ＤＢのデータ構造の一例を示す図である。

【図4】ハイライト映像自動抽出処理を示すフローチャートである。

【図5】ハイライト映像編集支援処理を示すフローチャートである。

【図6】図５のステップＳ３２の詳細処理を示すフローチャートである。

【図7】図７（ａ）、図７（ｂ）は、図６の処理を説明するための図である。

【図8】編集画面の一例を示す図である。

【図9】図９（ａ）は、図７（ｂ）の編集作業領域においてハイライト映像を編集した後の状態を示す図であり、図９（ｂ）は、図９（ａ）の状態で再読込ボタンを押し、編集作業領域が更新された状態を示す図である。

【図10】図１０（ａ）、図１０（ｂ）は、図５のステップＳ３８について説明するための図である。

【図11】サムネイル候補画像を特定する処理（図５のステップＳ４８）について説明するための図である。

【図12】図１２（ａ）は、比較例１を示す図であり、図１２（ｂ）は、比較例２を示す図である。

【図13】図１３（ａ）～図１３（ｃ）は、第２の実施形態について説明するための図（その１）である。

【図14】図１４（ａ）、図１４（ｂ）は、第２の実施形態について説明するための図（その２）である。

【図15】図１５（ａ）、図１５（ｂ）は、第３の実施形態について説明するための図である。

【図16】変形例に係る情報処理システムの概略構成を示す図である。

【発明を実施するための形態】

【0010】

《第１の実施形態》
以下、第１の実施形態について、図１～図１１に基づいて詳細に説明する。

【0011】

図１には、第１の実施形態に係るハイライト映像生成装置１０のハードウェア構成が示されている。本第１の実施形態のハイライト映像生成装置１０は、スポーツイベントなどの映像や、配信映像などの各種映像の一部を切り抜いたハイライト映像を生成・編集する装置である。ハイライト映像生成装置１０は、例えばＰＣ（Personal Computer）などの情報処理装置であり、図１に示すように、ＣＰＵ（Central Processing Unit）１９０、ＲＯＭ（Read Only Memory）１９２、ＲＡＭ（Random Access Memory）１９４、ストレージ（ここではＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive））１９６、ネットワークインタフェース１９７、表示部１９３、入力部１９５、及び可搬型記憶媒体用ドライブ１９９等を備えている。これらハイライト映像生成装置１０の構成各部は、バス１９８に接続されている。表示部１９３は、液晶ディスプレイや有機ＥＬディスプレイ等であり、入力部１９５は、キーボードやマウス、タッチパネル等である。ハイライト映像生成装置１０においては、ＲＯＭ１９２やストレージ１９６に格納されているプログラム（編集画面出力プログラムを含む）、或いは可搬型記憶媒体用ドライブ１９９が可搬型記憶媒体１９１から読み取ったプログラムをＣＰＵ１９０が実行することにより、図２に示す、各部の機能が実現される。なお、図２の各部の機能は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

【0012】

図２には、ハイライト映像生成装置１０の機能ブロック図が示されている。図２に示すように、ハイライト映像生成装置１０は、映像取得部２０、ハイライト映像抽出部２２、及び編集処理部２４、を有する。

【0013】

映像取得部２０は、カメラで撮影された映像や、ネットワークインタフェース１９７を介して取得した映像を取得して、映像データベース（ＤＢ）３０に格納する。映像ＤＢ３０に格納される映像は、ハイライト映像を切り出す元となる映像である。各映像は、映像の識別情報である映像ＩＤと紐づけて映像ＤＢ３０に格納される。

【0014】

ハイライト映像抽出部２２は、映像ＤＢ３０に格納された映像からハイライト映像を抽出し、抽出したハイライト映像の情報をハイライト映像ＤＢ３２に格納する。

【0015】

編集処理部２４は、ユーザからハイライト映像の編集要求が入力された場合に、ハイライト映像を編集する画面（図８に示すような編集画面）を生成し、表示部１９３上に表示する。また、編集処理部２４は、編集画面においてユーザが操作した情報を取得し、編集画面を更新したり、編集後のハイライト映像の情報でハイライト映像ＤＢ３２を更新したりする。

【0016】

ここで、ハイライト映像ＤＢ３２は、図３に示すようなデータ構造を有する。具体的には、ハイライト映像ＤＢ３２には、「映像ＩＤ」と、「シーンＮｏ．」と、「開始時刻」と、「終了時刻」と、「映像時間」と、「映像データ」と、「サムネイル画像」とを格納することができる。「映像ＩＤ」の欄には、映像（ハイライト映像を切り出した元の映像）の識別情報が格納され、「シーンＮｏ．」の欄には、ハイライト映像の識別番号が格納される。「開始時刻」及び「終了時刻」の欄には、元の映像のどこからどこまでを切り出したかを示すタイムスタンプが格納される。「映像時間」の欄には、終了時刻と開始時刻の差を示す時間の情報が格納される。「映像データ」の欄には、編集されたハイライト映像のファイルが格納され、「サムネイル画像」の欄には、ユーザが選択したサムネイル画像そのもの（画像ファイル）が格納される。

【0017】

（ハイライト映像生成装置１０の処理について）
以下、ハイライト映像生成装置１０の処理について、図４～図６のフローチャートに沿って、その他図面を適宜参照しつつ詳細に説明する。本第１の実施形態においては、ハイライト映像生成装置１０は、図４のハイライト映像自動抽出処理と、図５のハイライト映像編集支援処理を実行する。なお、図６は、図５のステップＳ３２の詳細処理を示すフローチャートである。

【0018】

（ハイライト映像自動抽出処理）
以下、ハイライト映像自動抽出処理について、図４のフローチャートに沿って説明する。

【0019】

図４の処理が開始されると、まず、ステップＳ１０において、映像取得部２０は、映像が入力されるまで待機する。カメラ等から映像が入力されると、ステップＳ１２に移行し、映像取得部２０は、入力された映像を取得し、映像ＤＢ３０に格納する。

【0020】

次いで、ステップＳ１４において、ハイライト映像抽出部２２は、映像ＤＢ３０に格納された映像からハイライト映像を抽出する。このハイライト映像の抽出方法としては、様々な方法を採用することができる。例えば、ハイライト映像の抽出方法としては、公知の方法（特開２０１２－１４７２９６号公報や、特開２０２２－４０６６５号公報などに開示されている方法）を採用することができる。

【0021】

次いで、ステップＳ１６において、ハイライト映像抽出部２２は、抽出したハイライト映像の情報をハイライト映像ＤＢ３２に格納する。具体的には、ハイライト映像抽出部２２は、ハイライト映像の元になった映像の映像ＩＤと、シーンＮｏ．を格納する。また、ハイライト映像抽出部２２は、ハイライト映像の開始時刻及び終了時刻、並びに映像時間を特定し、ハイライト映像ＤＢ３２に格納する。

【0022】

以上により、図４の処理が終了する。

【0023】

（ハイライト映像編集支援処理）
次に、ハイライト映像編集支援処理について、図５、図６のフローチャートに沿って説明する。

【0024】

図５の処理が開始されると、まず、ステップＳ３０において、編集処理部２４は、編集画面表示要求が入力されるまで待機する。ユーザが入力部１９５を介して映像ＩＤとシーンＮｏ．を選択して、編集画面表示要求を入力すると、編集処理部２４は、ステップＳ３２に移行し、編集画面生成処理のサブルーチン（図６）を実行する。なお、本第１の実施形態においては、図６の処理により、図８に示すような編集画面を生成する。このとき、編集処理部２４は、図８のハイライト映像範囲編集領域Ａ２の表示を工夫することで、ユーザによるハイライト映像の編集作業を行いやすくしている。

【0025】

図６の処理が開始されると、まずステップＳ７０において、編集処理部２４は、ハイライト映像ＤＢ３２から、選択されたハイライト映像の開始時刻、終了時刻、映像時間を取得する。例えば、図３に示すハイライト映像（映像ＩＤ＝０００１、シーンＮｏ．＝００１）の場合、編集処理部２４は、開始時刻＝「００：００：４６」、終了時刻＝「００：０１：１５」、映像時間＝「２９秒」を取得する。

【0026】

次いで、ステップＳ７２において、編集処理部２４は、映像時間から編集幅を決定する。

【0027】

本実施形態においては、まず、編集処理部２４は、ハイライト映像の長さ（映像時間）を２で割ったときの値を求め、その値に最も近い５の倍数秒を編集幅と決定する。例えば、映像時間が「２９秒」の場合、２９／２＝１４．５であるので、編集幅は、１４．５秒に最も近い５の倍数秒である「１５秒」となる。なお、この編集幅「１５秒」は、編集誤差（ハイライト映像の時間幅の先頭及び末尾を編集する量）が映像時間の２５％（７．５秒）であることが多いと仮定した場合に、ハイライト映像の前後に確保しておくべき適切な（所定範囲内の）余白の時間幅を意味する。なお、所定範囲とは、編集誤差に基づく余白の時間幅として適切な範囲であると言える。なお、所定範囲は、ユーザ等が予め定めてもよく、編集処理部２４は、余白の時間幅（編集幅）を所定範囲内になるように上記とは異なる方法で決定してもよい。

【0028】

次いで、ステップＳ７４において、編集処理部２４は、編集幅と映像時間から編集作業領域の時間幅を決定する。ここで、編集作業領域とは、ハイライト映像の時間幅を表示する領域（表示領域）を意味する（図７（ｂ）参照）。本実施形態では、図７（ａ）に示すように、編集作業領域を目盛で４等分に区切ることとしており、目盛と目盛の間の４つの間隔を編集幅（１５秒）とする。すなわち、編集処理部２４は、編集幅（＝１５秒）の４倍の時間（１５×４＝６０秒）を編集作業領域の時間幅として決定する。

【0029】

次いで、ステップＳ７６において、編集処理部２４は、編集作業領域の中央部分にハイライト映像の時間幅を配置し、当該編集作業領域を含む編集画面を生成して、出力する。なお、「編集作業領域の中央部分にハイライト映像の時間幅を配置する」とは、編集作業領域の中央又は略中央にハイライト映像の時間幅を配置することを意味する。また、略中央とは、中央から若干ずれた位置を意味する。なお、ハイライト映像の時間幅が略中央に配置されるのは、後述するようにハイライト映像の中央の時刻をハイライト映像の末尾の時刻と先頭の時刻から算出する際に正確な時刻を算出できない場合である。

【0030】

例えば、ハイライト映像が００：００：４６～００：０１：１５である場合、その中央の時刻は、「００：０１：００」である（実際には、「００：０１：００」と「００：０１：０１」の間の時刻であるが、「００：０１：００」としている）。したがって、編集処理部２４は、図７（ｂ）に示すように「００：０１：００」を中央に設定した時間幅＝６０秒の領域を編集作業領域とする。また、編集処理部２４は、「００：０１：００」を基準として、編集作業領域に編集幅（＝１５秒）間隔の目盛を表示する。そして、編集処理部２４は、図７（ｂ）に示すように、編集作業領域の中央部分にハイライト映像の時間幅を表示する。本第１の実施形態においては、図７（ｂ）のようにハイライト映像の時間幅全体を編集作業領域の中央部分に表示でき、かつ、前後の余白として編集幅分が確保された状態となっている。

【0031】

更に、編集処理部２４は、図８に示すような編集画面に、図７（ｂ）の編集作業領域を組み込み、表示部１９３上に出力（表示）する。

【0032】

ここで、編集画面には、ハイライト映像再生領域Ａ１、ハイライト映像範囲編集領域Ａ２、サムネイル候補表示領域Ａ３が設けられている。

【0033】

ハイライト映像再生領域Ａ１は、ハイライト映像範囲編集領域Ａ２に表示されている時間幅のハイライト映像を再生して、ユーザがハイライト映像の内容を確認するための領域である。ハイライト映像再生領域Ａ１には、再生ボタン６１や、再生位置を表示する再生バー（シークバー）６２が設けられている。

【0034】

ハイライト映像範囲編集領域Ａ２には、ハイライト映像の時間幅を表示する編集作業領域が設けられている。ユーザは、ハイライト映像の時間幅の先頭または末尾をマウス等により操作（ドラッグ）することで、ハイライト映像の時間幅を編集することができるようになっている。ハイライト映像範囲編集領域Ａ２には、目盛間の時間幅を指定するための目盛指定欄６３と、再読込ボタン６４と、ＯＫボタン６５が設けられている。ユーザは、目盛指定欄６３において時間幅を指定することで、目盛間の時間幅を調整することができるようになっている。また、ユーザは、再読込ボタン６４を押すことで、時間幅を編集した後のハイライト映像に基づいて、編集作業領域の表示を更新することができる。また、ユーザは、ＯＫボタン６５を押すことで、ハイライト映像の編集を終了することができる。

【0035】

サムネイル候補表示領域Ａ３は、ハイライト映像から抽出したサムネイル候補画像を表示する領域である。ユーザは、サムネイル候補画像の中から１つの画像を選択することで、選択した画像をハイライト映像のサムネイルとすることができる。なお、ステップＳ７６が行われた段階では、サムネイル候補表示領域Ａ３には、サムネイル候補画像は表示されていないものとする。

【0036】

以上のように、図６の全処理が行われた後は、図５のステップＳ３４に移行する。

【0037】

ステップＳ３４に移行すると、編集処理部２４は、図８の編集画面において、再読込ボタンが押されたか否かを判断する。ユーザが再読込ボタン６４を押した場合、ステップＳ３４の判断が肯定され、ステップＳ３２に戻る。ステップＳ３２に戻ると、編集処理部２４は、編集画面（図８）のハイライト映像範囲編集領域Ａ２に表示されているハイライト映像の時間幅に基づいて、編集作業領域を更新する。

【0038】

例えば、図７（ｂ）の状態から、図９（ａ）に示すようにハイライト映像の時間幅が００：００：３０～００：０１：３０に編集された状態で、再読込ボタンが押されたとする。この場合、図６のステップＳ７２において、編集処理部２４は、映像時間＝１分から編集幅を６０秒／２＝３０秒と決定する。また、ステップＳ７４において、編集処理部２４は、編集幅＝３０秒の４倍の時間（３０×４＝１２０秒）を編集作業領域の時間幅として決定する。そして、ステップＳ７６において、編集処理部２４は、編集作業領域の中央部分にハイライト映像を配置する。この結果、編集作業領域は、図９（ｂ）に示すように更新される。この場合にも、図９（ｂ）のようにハイライト映像の時間幅全体を編集作業領域の中央部分に表示でき、かつ、前後の余白として編集幅分が確保された状態となっている。

【0039】

一方、ユーザによって再読込ボタン６４が押されておらず、ステップＳ３４の判断が否定された場合には、ステップＳ３６に移行する。ステップＳ３６に移行すると、編集処理部２４は、目盛の変更があったか否かを判断する。ユーザが目盛指定欄６３において時間幅を指定（変更）した場合、ステップＳ３６の判断が肯定され、ステップＳ３８に移行する。

【0040】

ステップＳ３８に移行すると、編集処理部２４は、変更後の目盛で編集作業領域を更新する。例えば、図８の状態から、ユーザが目盛指定欄６３において時間幅を１５秒から１０秒に変更したとする。この場合、編集処理部２４は、編集作業領域を図１０（ａ）に示すように更新する。図１０（ａ）の編集作業領域においては、目盛間の時間幅が１０秒になっている。また、図８の状態から、ユーザが目盛指定欄６３において時間幅を１５秒から２０秒に変更したとする。この場合、編集処理部２４は、編集作業領域を図１０（ｂ）に示すように更新する。上記のようにステップＳ３８の処理が行われた後は、ステップＳ４０に移行する。なお、ステップＳ３６の判断が否定された場合には、ステップＳ３８を経ずにステップＳ４０に移行する。

【0041】

ステップＳ４０に移行すると、編集処理部２４は、再生ボタン６１が押されたか否かを判断する。このステップＳ４０の判断が否定された場合（再生ボタン６１が押されていない場合）には、ステップＳ４４に移行する。一方、ステップＳ４０の判断が肯定された場合には、ステップＳ４２に移行し、編集処理部２４は、ハイライト映像を再生する。このとき、編集処理部２４は、ハイライト映像範囲編集領域Ａ２に表示されている時間幅のハイライト映像を映像ＤＢ３０から取得して、ハイライト映像再生領域Ａ１において再生する。ステップＳ４２の後は、ステップＳ４４に移行する。

【0042】

ステップＳ４４に移行すると、編集処理部２４は、ＯＫボタン６５が押されたか否かを判断する。このステップＳ４４の判断が否定された場合（ＯＫボタン６５が押されていない場合）には、ステップＳ３４に戻る。その後は、ステップＳ３４以降の処理が繰り返し実行される。一方、ユーザがＯＫボタン６５を押した場合、ステップＳ４４の判断が肯定され、ステップＳ４６に移行する。ステップＳ４６に移行すると、編集処理部２４は、ＯＫボタン６５を押した段階におけるハイライト映像に関する情報（編集後のハイライト映像に関する情報）をハイライト映像ＤＢ３２に格納する。すなわち、編集処理部２４は、ハイライト映像ＤＢ３２に、編集後のハイライト映像の開始時刻、終了時刻、映像時間を格納（新たな情報で更新）するとともに、編集後のハイライト映像のファイルそのものを格納する。

【0043】

次いで、ステップＳ４８において、編集処理部２４は、サムネイル候補画像を特定し、表示する。具体的には、編集処理部２４は、編集後のハイライト映像に含まれる複数のフレームの中から、所定枚数の画像をランダムに抽出する。例えば、図１１に示すように、所定時間間隔で撮影された１０枚のフレーム（画像Ａ～Ｊ）が抽出されたとする。また、編集処理部２４は、抽出した１０枚の画像にスコアを付与する。この場合、例えば、編集処理部２４は、事前にユーザが登録した画像（サムネイル画像にしたい画像例）に基づいて、当該画像例に類似する画像ほどスコアが高くなるように、抽出した画像にスコアを付与する。なお、スコアを付与する際には、機械学習等を利用することができる。図１１の例では、スコアが１０段階（１～１０）で付与されたものとする。この結果、最もスコアが高かった画像（Ａ）をサムネイル候補画像（第１位）として特定する。

【0044】

また、編集処理部２４は、サムネイル候補画像（第１位）の画像Ａと、その他の画像Ｂ～Ｊとの類似度を求める。図１１の例では、類似度を１～１００の値で表している。本例では、１００に近いほど類似することを意味するものとする。編集処理部２４は、画像Ａとの類似度がさほど高くない（例えば９０％以下の）画像を画像Ｂ～Ｊから抽出し、そのうちで最もスコアが高い画像（図１１では画像Ｅ）をサムネイル候補画像（第２位）として特定する。その後は、サムネイル候補画像Ａ、Ｅと、その他の画像との類似度を求め、類似度がさほど高くない（例えば９０％以下の）画像のうちで最もスコアが高い画像をサムネイル候補画像（第３位）として特定する。以下、同様にして、編集処理部２４は、必要な数だけサムネイル候補画像を特定する。そして、特定した候補画像を、編集画面（図８）のサムネイル候補表示領域Ａ３に表示する。

【0045】

次いで、ステップＳ５０において、編集処理部２４は、ユーザによってサムネイル候補画像の１つが選択されるまで待機する。ユーザがサムネイル画像を選択すると、ステップＳ５２に移行し、編集処理部２４は、選択されたサムネイル画像をハイライト映像ＤＢ３２に格納する。

【0046】

以上により、図５、図６の全処理が終了する。

【0047】

なお、ハイライト映像ＤＢ３２に格納されたハイライト映像は、ユーザが動画配信サイト等にアップロードすることで、視聴者が閲覧できるようになる。このとき、サムネイル画像として、ステップＳ５０で選択された画像を利用できるようになっている。

【0048】

以上、詳細に説明したように、本実施形態によると、編集処理部２４は、ハイライト映像の長さ（映像時間）に基づいて、ハイライト映像の時間幅全体を表示でき、余白の時間を所定範囲内（適切な時間）にできる編集作業領域の時間幅を決定する（Ｓ７４）。また、編集処理部２４は、編集作業領域の中央部分にハイライト映像の時間幅を表示した画面を生成し、出力する（Ｓ７６）。これにより、編集作業領域にハイライト画像の時間幅が適切に配置されるため、ユーザがハイライト画像の長さを編集する際に、ハイライト画像の先頭や末尾の位置を調整しやすくすることができる。図１２（ａ）には、図７（ｂ）の比較例１として、ハイライト映像の時間幅が２９秒（００：００：４６～００：０１：１５）であるのに対し、目盛間の時間幅を３分、編集作業領域の時間幅を１２分とした例が示されている。また、図１２（ｂ）には、図７（ｂ）の比較例２として、ハイライト映像の時間幅が２９秒（００：００：４６～００：０１：１５）であるのに対し、目盛間の時間幅を５秒、編集作業領域の時間幅を２０秒とした例が示されている。図１２（ａ）の比較例１では、ハイライト映像の両端を認識できる一方、ハイライト映像の細かな編集（時間調整）ができない。また、図１２（ｂ）の比較例２では、ハイライト映像の両端を認識できないため、ハイライト映像の先頭及び末尾の時間調整ができない。これら比較例１，２からもわかるように、本実施形態では、ハイライト映像の時間幅を編集作業領域内の適切な位置に配置できているため、ユーザはハイライト映像の編集がしやすくなる。また、ハイライト画像の長さを編集しやすくすることで撮影後（イベント等が行われた後）、ハイライト映像を視聴者に提供するまでの時間を短縮することが可能となる。

【0049】

また、本実施形態によると、編集処理部２４は、編集作業領域に予め定められている目盛の数（隣接する目盛間の間隔の数＝４）と、ハイライト映像の長さに基づいて特定される目盛間の時間間隔（編集幅）と、から編集作業領域の時間幅を決定する。これにより、編集作業領域の時間幅を適切な値に決定することができる。また、本実施形態では、編集作業領域に目盛を表示するため、ハイライト映像の編集がしやすくなる。

【0050】

また、本実施形態では、編集処理部２４は、目盛指定欄６３において目盛の変更があった場合に、編集作業領域及び編集画面を更新する（図１０（ａ）、図１０（ｂ）のように更新する）。これにより、ユーザの要求に合わせて目盛の幅を調整することができる。

【0051】

また、本実施形態では、再読込ボタン６４が押された場合に、編集後のハイライト映像の長さに基づいて、編集作業領域を更新する（図９（ｂ））。これにより編集後のハイライト映像を更に編集する場合の使い勝手を向上することができる。

【0052】

また、本実施形態では、編集処理部２４は、ハイライト映像から抽出した複数の画像にスコアを付与し、スコアに基づいてサムネイル候補表示領域Ａ３に表示するサムネイル候補画像を特定する（図１１参照）。これにより、ユーザに対して、サムネイル候補画像として適切な画像を提供することができる。

【0053】

また、本実施形態では、既に候補画像として選択された画像とは然程似ていない画像（類似度が９０以下の画像）をサムネイル候補画像として選択する。これにより、サムネイル候補画像同士が類似していてユーザがサムネイル画像を選択しにくいという事態が発生するのを極力抑制することができる。すなわち、サムネイル候補画像として適切な画像をユーザに提供することができる。

【0054】

《第２の実施形態》
次に、第２の実施形態について、図１３（ａ）、図１３（ｂ）に基づいて説明する。上記第１の実施形態では、編集作業領域に設けられる目盛の数が５で固定されている場合について説明したが、本第２の実施形態では、ユーザが予め指定した編集誤差の値によって、編集作業領域に設けられる目盛の数が変動する。

【0055】

本第２の実施形態では、編集誤差が２５％の場合を基準として、編集誤差が２５％の場合に、編集作業領域に設けられる目盛の数を「４」とする（図１３（ａ）参照）。

【0056】

また、例えば編集誤差が３０％に設定された場合には、（３０％／２５％）×４＝４．８という計算式から得られる値４．８よりも大きい整数である「５」を目盛の数とする（図１３（ｂ）参照）。

【0057】

また、例えば、編集誤差が４０％に設定された場合には、（４０％／２５％）×４＝６．４という計算式から得られる値６．４よりも大きい整数である「７」を目盛の数とする（図１３（ｃ）参照）。

【0058】

図１３（ａ）は、編集誤差が２５％であり、目盛の数が４である場合において、ハイライト映像の時間幅（００：００：４５～００：０１：１５）を表示する編集作業領域を示す図である。図１３（ａ）の例では、ハイライト映像の映像時間は３０秒であるので、目盛間の時間幅は３０／２＝１５秒となる。また、編集作業領域の時間幅（目盛１～４の間の時間幅）は、１５×３＝４５秒となる。そして、編集作業領域の中央部分にハイライト映像の時間幅が表示されるようになっている。

【0059】

図１３（ｂ）は、編集誤差が３０％であり、目盛の数が５である場合において、ハイライト映像の時間幅（００：００：４５～００：０１：１５）を表示するための編集作業領域を示す図である。図１３（ｂ）の例では、ハイライト映像の映像時間は３０秒であるので、目盛間の時間幅は３０／２＝１５秒となる。また、編集作業領域の時間幅（目盛１～５の間の時間幅）は、１５×４＝６０秒となる。そして、編集作業領域の中央部分にハイライト映像の時間幅が表示されるようになっている。

【0060】

図１３（ｃ）は、編集誤差が４０％であり、目盛の数が７である場合において、ハイライト映像の時間幅（００：００：４５～００：０１：１５）を表示するための編集作業領域を示す図である。図１３（ｃ）の例では、ハイライト映像の映像時間は３０秒であるので、目盛間の時間幅は３０／２＝１５秒となる。また、編集作業領域の時間幅（目盛１～７の間の時間幅）は、１５×６＝９０秒となる。そして、編集作業領域の中央部分にハイライト映像の時間幅が表示されるようになっている。

【0061】

図１４（ａ）、図１４（ｂ）には、図１３（ａ）～図１３（ｃ）とは異なる例（別の例）が示されている。図１４（ａ）は、編集誤差が２５％であり、目盛の数が４である場合を基準として、編集誤差が３５％に設定された場合を示す図である。この場合、（３５％／２５％）×４＝５．６という計算式から得られる値５．６よりも大きい整数である「６」を目盛の数としている。このとき、ハイライト映像の時間幅（００：００：３２～００：００：４４）を編集作業領域に表示する場合、ハイライト映像の映像時間は１２秒であるので、目盛間の時間幅は１２／２＝６の計算式から得られる値６に最も近い５の倍数である「５秒」となる。また、編集作業領域の時間幅（目盛１～６の間の時間幅）は、５×５＝２５秒となる。そして、編集作業領域の中央部分にハイライト映像の時間幅が表示されるようになっている。

【0062】

また、図１４（ｂ）は、編集誤差が２５％であり、目盛の数が４である場合を基準として、編集誤差が５０％に設定された場合を示す図である。この場合、（５０％／２５％）×４＝８という計算式から得られる値「８」を目盛の数としている。このとき、ハイライト映像の時間幅（００：００：３２～００：００：４４）を編集作業領域に表示する場合、ハイライト映像の映像時間は１２秒であるので、目盛間の時間幅は１２／２＝６の計算式から得られる値６に最も近い５の倍数である「５秒」となる。また、編集作業領域の時間幅（目盛１～８の間の時間幅）は、５×７＝３５秒となる。そして、編集作業領域の中央部分にハイライト映像の時間幅が表示されるようになっている。

【0063】

以上、説明したように、本第２の実施形態によると、ユーザが予め設定した編集誤差に基づいて、目盛の数を設定し、設定後の目盛の数に基づいて、編集作業領域の時間幅を決定する。これにより、ユーザが設定した編集誤差に応じて、編集作業領域におけるハイライト映像の時間幅の表示を変更することができる。したがって、ユーザの使い勝手の向上を図ることができる。

【0064】

《第３の実施形態》
次に、第３実施形態について、図１５（ａ）、図１５（ｂ）に基づいて詳細に説明する。

【0065】

本第３の実施形態では、ユーザが予め定めた編集誤差に基づいて、ハイライト映像の前側の余白の時間幅と、後側の余白の時間幅と、を求め、ハイライト映像の時間幅と前後の余白の時間幅の合計を編集作業領域の時間幅とする。

【0066】

例えば、編集誤差がａ％の場合、前側の余白の時間幅Ｈｆは、ハイライト映像の時間幅をＨとすると、次式（１）から求める。
Ｈｆ＝Ｈ×ａ％×２ …（１）

【0067】

同様に、後側の余白の時間幅Ｈｂは、ハイライト映像の時間幅をＨとすると、次式（２）から求める。
Ｈｂ＝Ｈ×ａ％×２ …（２）

【0068】

この場合、編集作業領域の時間幅Ｈｓは、次式（３）から求める。
Ｈｓ＝Ｈ＋Ｈｆ＋Ｈｂ …（３）

【0069】

例えば、編集誤差が２５％で、ハイライト映像が００：００：４５～００：０１：１５の３０秒間である場合、前後の時間幅Ｈｆ、Ｈｂは、上式（１）、（２）より、１５秒となる。したがって、編集作業領域の時間幅Ｈｓは、上式（３）より、３０＋１５＋１５＝６０秒となる。また、ハイライト映像の中央は、００：０１：００となり、目盛間の時間幅（編集幅）は、３０秒／２＝１５秒となる。したがって、編集作業領域は、図１５（ａ）に示すようになる。

【0070】

一方、編集誤差が３０％の場合、前後の時間幅Ｈｆ、Ｈｂは、上式（１）、（２）より、１８秒となるため、編集作業領域の時間幅Ｈｓは、上式（３）より、３０＋１８＋１８＝６６秒となる。また、ハイライト映像の中央は、００：０１：００となり、目盛間の時間幅は、３０秒／２＝１５秒となる。したがって、編集作業領域は、図１５（ｂ）に示すようになる。

【0071】

以上説明したように、本第３の実施形態によると、第２の実施形態と同様、ユーザが設定した編集誤差に応じて、編集作業領域の時間幅を変更する。これにより、ユーザの使い勝手の向上を図ることができる。

【0072】

なお、上記第１～第３の実施形態は、図１６に示すような、情報処理システム２００において実現されてもよい。図１６の情報処理システム２００は、サーバ２１０と、利用者端末２７０と、を備えており、サーバ２１０と利用者端末２７０は、インターネット等のネットワーク２８０に接続されている。この情報処理システム２００において、サーバ２１０が図２の機能を有し、図４～図６の処理を実行するようにしてもよい。この場合、サーバ２１０は、図８に示すような編集画面を利用者端末２７０に提供するようにすればよい。

【0073】

なお、上記第１～第３の実施形態では、ハイライト映像抽出部２２が映像ＤＢ３０に格納された映像からハイライト映像を自動的に抽出する場合について説明したが、これに限られるものではない。ハイライト映像は、人の操作により抽出することとしてもよい。例えば、第１のユーザが抽出したハイライト映像を第２のユーザが抽出する際に、上記第１～第３の実施形態で説明した編集画面を用いるようにしてもよい。

【0074】

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記憶媒体（ただし、搬送波は除く）に記録しておくことができる。

【0075】

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記憶媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

【0076】

プログラムを実行するコンピュータは、例えば、可搬型記憶媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記憶媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

【0077】

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

【0078】

なお、以上の第１～第３の実施形態の説明に関して、更に以下の付記を開示する。
（付記１） 映像から一部を切り抜いたハイライト映像の長さを編集する画面を出力する編集画面出力プログラムであって、
前記ハイライト映像の長さに基づいて、前記ハイライト映像の時間幅全体を表示可能で、前記ハイライト映像以外の時間が所定範囲内である表示領域の時間幅を決定し、
前記表示領域の中央部分に前記ハイライト映像の時間幅を表示した画面を生成し、出力する、
処理をコンピュータに実行させることを特徴とする編集画面出力プログラム。
（付記２） 前記表示領域の時間幅を決定する処理において、
前記表示領域を区切る目盛の数を特定し、
前記ハイライト映像の長さに基づいて、前記目盛の間の時間間隔を特定し、
特定した前記目盛の数と前記目盛の間の時間間隔に基づいて前記表示領域の時間幅を決定する、
ことを特徴とする付記１に記載の編集画面出力プログラム。
（付記３） 前記画面を生成する際に、前記表示領域に前記目盛を表示する、ことを特徴とする付記２に記載の編集画面出力プログラム。
（付記４） 前記表示領域の時間幅を決定する処理において、前記ハイライト映像の長さと、予め定められた前記ハイライト映像の編集量に関する指標値と、に基づいて、前記ハイライト映像以外の時間を特定する、ことを特徴とする付記１に記載の編集画面出力プログラム。
（付記５） 前記ハイライト映像の長さに基づいて、前記表示領域を区切る目盛の間の時間間隔を特定し、
前記画面を生成する際に、特定した前記時間間隔で前記表示領域に目盛を配置する、ことを特徴とする付記４に記載の編集画面出力プログラム。
（付記６） 前記画面において前記目盛の間の時間幅が指定された場合に、指定された前記時間幅で前記目盛を設定して、前記画面を更新する、
処理を前記コンピュータに実行させることを特徴とする付記２、３及び５のいずれかに記載の編集画面出力プログラム。
（付記７） 前記画面において前記ハイライト映像の長さが編集された場合に、編集後の前記ハイライト映像の長さに基づいて、前記画面を更新する、
処理を前記コンピュータに実行させることを特徴とする付記１～６のいずれかに記載の編集画面出力プログラム。
（付記８） 前記画面には、サムネイル画像選択領域が設けられており、
前記ハイライト映像から抽出した複数の候補画像にスコアを付与し、
前記スコアに基づいて前記複数の候補画像の中から所定数の画像を選択し、
選択された前記画像を前記サムネイル画像選択領域に表示する、
処理を前記コンピュータに実行させることを特徴とする付記１～７のいずれかに記載の編集画面出力プログラム。
（付記９） 前記所定数の画像を選択する処理は、
前記候補画像の中から前記スコアが最も大きい画像を選択し、
前記候補画像のうち、選択した前記画像との類似度が所定未満で、前記スコアが最も大きい画像を選択する、処理を含むことを特徴とする付記８に記載の編集画面出力プログラム。
（付記１０） 映像から一部を切り抜いたハイライト映像の長さを編集する画面を出力する編集画面出力方法であって、
前記ハイライト映像の長さに基づいて、前記ハイライト映像の時間幅全体を表示可能で、前記ハイライト映像以外の時間が所定範囲内である表示領域の時間幅を決定し、
前記表示領域の中央部分に前記ハイライト映像の時間幅を表示した画面を生成し、出力する、
処理をコンピュータが実行することを特徴とする編集画面出力方法。

【符号の説明】

【0079】

１０ ハイライト映像生成装置
２０ 映像取得部
２２ ハイライト映像抽出部
２４ 編集処理部
３０ 映像ＤＢ
３２ ハイライト映像ＤＢ
２１０ サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】