特許 7530087 カット表作成装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-30

(45)【発行日】2024-08-07

(54)【発明の名称】カット表作成装置及びプログラム

(51)【国際特許分類】

   H04N 5/91 20060101AFI20240731BHJP

【ＦＩ】

H04N5/91

【請求項の数】 7

(21)【出願番号】P 2020123583

(22)【出願日】2020-07-20

(65)【公開番号】P2022020212

(43)【公開日】2022-02-01

【審査請求日】2023-07-20

【早期審査対象出願】

(73)【特許権者】

【識別番号】515285512

【氏名又は名称】ノースショア株式会社

(74)【代理人】

【識別番号】100205659

【弁理士】

【氏名又は名称】齋藤 拓也

(74)【代理人】

【識別番号】100145713

【弁理士】

【氏名又は名称】加藤 竜太

(72)【発明者】

【氏名】石井 龍

【審査官】鈴木 順三

(56)【参考文献】

【文献】特開２０１７－００５４４２（ＪＰ，Ａ）

【文献】特開２００２－２８１４３３（ＪＰ，Ａ）

【文献】特開２０１５－１５９３９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／７６ － ５／９５６

(57)【特許請求の範囲】

【請求項1】

動画像からカット表を作成するカット表作成装置であって、
動画像を取得する動画像取得部と、
取得した前記動画像に含まれる１以上の被写体から人物を含む１以上の所定の被写体の夫々を着目被写体として抽出する抽出部と、
前記着目被写体を含む前記動画像の所定のカットを１以上特定する特定部と、
特定された前記１以上のカットの夫々をサムネイルとして時系列で並べたカット表を作成するカット表作成部と、
作成された前記カット表を出力する出力部と、
を備え、
前記特定部は、前記動画像のシーン中の文字の表示を開始するカットを特定し、
前記カット表作成部は、特定された前記カットに含まれる前記文字の大きさに基づいて、前記サムネイルの大きさを変更して前記カット表を作成する、
カット表作成装置。

【請求項2】

前記特定部は、前記動画像のシーンの切り替えタイミングを特定する請求項１に記載のカット表作成装置。

【請求項3】

前記特定部は、前記動画像に含まれる前記人物の表情に基づいて前記所定のカットを特定する請求項１に記載のカット表作成装置。

【請求項4】

前記カット表作成部は、前記サムネイルにリンクする、前記動画像の前記サムネイルを含む所定の時間的な長さのショートムービーを作成する請求項１から３のいずれかに記載のカット表作成装置。

【請求項5】

作成された前記ショートムービーの再生中に前記サムネイルと置き換える前記カットの指定を取得する指定取得部をさらに備え、
前記カット表作成部は、取得された前記カットの指定に基づいて、指定された前記カットに前記サムネイルを置き換える請求項４に記載のカット表作成装置。

【請求項6】

作成されたカット表の並べ順の変更を取得する変更取得部をさらに備え、
前記カット表作成部は、取得された前記変更に基づいて、前記サムネイルの並び順を変更する請求項１から５のいずれかに記載のカット表作成装置。

【請求項7】

動画像からカット表を作成するカット表作成装置としてコンピュータを動作させるプログラムであって、
前記コンピュータを、
動画像を取得する動画像取得部、
取得した前記動画像に含まれる１以上の被写体から人物を含む１以上の所定の被写体の夫々を着目被写体として抽出す抽出部、
前記着目被写体を含む前記動画像の所定のカットを１以上特定する特定部、
特定された前記１以上のカットの夫々をサムネイルとして時系列で並べたカット表を作成するカット表作成部、
作成された前記カット表を出力する出力部、
として機能させ、
前記特定部を、前記動画像のシーン中の文字の表示を開始するカットを特定する部として機能させ、
前記カット表作成部を、特定された前記カットに含まれる前記文字の大きさに基づいて、前記サムネイルの大きさを変更して前記カット表を作成する部として機能させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カット表作成装置及びプログラムに関する。

【背景技術】

【0002】

従来より、動画像に含まれるカットの変わり目を表にしたカット表が知られている。例えば、ＣＭに含まれる複数のカットを並べたカット表が知られている。カット表は、動画像の構成を表として簡易に示すものであり、動画像の編集時に用いられる。カット表は、動画像に含まれるシーンの切り替えタイミング等を１カットとして作成される。このような、カットを検出するＡＶ信号記録装置が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００４－２６６７６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、カットの変わり目を検出して、ディスプレイに検出されたカットを表示している。このように複数のカットを自動的に検出することは、カット表を作成する上で有用である。一方、カット表とする場合には、シーンの変わり目以外に最適なカットとなる場合もある。そこで、よりカットとして好ましい画像を抽出することができれば好適である。

【0005】

本発明は、このような点に鑑みてなされたものであり、よりカットとして好ましい画像を抽出するカット表作成装置及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、動画像からカット表を作成するカット表作成装置であって、動画像を取得する動画像取得部と、取得した前記動画像に含まれる被写体から所定の被写体を抽出する抽出部と、抽出された被写体を含む前記動画像の所定のカットを特定する特定部と、特定されたカットをサムネイルとして時系列で並べたカット表を作成するカット表作成部と、作成されたカット表を出力する出力部と、を備えるカット表作成装置に関する。

【0007】

また、前記特定部は、前記動画像のシーンの切り替えタイミングを特定するのが好ましい。

【0008】

また、前記特定部は、前記動画像のシーン中の文字の表示を開始するカットを特定するのが好ましい。

【0009】

また、前記カット表作成部は、カットに含まれる文字の大きさに基づいて、サムネイルの大きさを変更してカット表を作成するのが好ましい。

【0010】

また、前記特定部は、前記動画像に含まれる人物の表情に基づいて所定のカットを特定するのが好ましい。

【0011】

また、前記カット表作成部は、前記サムネイルにリンクする、前記動画像の前記サムネイルを含む所定の時間的な長さのショートムービーを作成するのが好ましい。

【0012】

また、前記カット表作成装置は、作成された前記ショートムービーの再生中に前記サムネイルと置き換える前記カットの指定を取得する指定取得部をさらに備え、前記カット表作成部は、取得された前記カットの指定に基づいて、指定された前記カットに前記サムネイルを置き換えるのが好ましい

【0013】

また、カット表作成装置は、作成されたカット表の並べ順の変更を取得する変更取得部をさらに備え、前記カット表作成部は、取得された変更に基づいて、前記サムネイルの並び順を変更するのが好ましい。

【0014】

また、本発明は、動画像からカット表を作成するカット表作成装置としてコンピュータを動作させるプログラムであって、前記コンピュータを、動画像を取得する動画像取得部、取得した前記動画像に含まれる被写体から所定の被写体を抽出する抽出部、抽出された被写体を含む前記動画像の所定のカットを特定する特定部、特定されたカットをサムネイルとして時系列で並べたカット表を作成するカット表作成部、作成されたカット表を出力する出力部、として機能させるプログラムに関する。

【発明の効果】

【0015】

本発明は、よりカットとして好ましい画像を抽出するカット表作成装置及びプログラムを提供することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の一実施形態に係るカット表作成装置によって作成されるカット表を示す概略図である。

【図2】一実施形態のカット表作成装置の。構成を示すブロック図である。

【図3】一実施形態のカット表作成装置におけるカット表の作成画面を示す画面図である。

【図4】一実施形態のカット表作成装置における動作の流れを示すフローチャートである。

【発明を実施するための形態】

【0017】

以下、本発明の一実施形態に係るカット表作成装置１及びプログラムについて、図１から図４を参照して説明する。
まず、カット表の概略について説明する。

【0018】

カット表は、例えば、動画像を構成するカットの一部を時系列に並べることにより、動画像の内容を表として簡易的に示すものである。カット表は、一例として、ＣＭ等を構成するカットを並べた表である。カット表には、動画像に含まれるシーンの切り替え、特定の被写体の抽出等により特定されたカットが配置される。カット表は、例えば、動画像の編集時等に用いられる。

【0019】

カット表１００には、図１に示すように、カットを示す複数のサムネイル１０１と、サムネイル１０１に含まれる文字情報１０２と、音楽及びセリフを含む音声情報１０３とが示される。複数のサムネイル１０１、文字情報１０２、及び音声情報１０３は、例えば、それぞれ縦方向に並べて配置される。サムネイル１０１には、該当するシーンの開始時間及び終了時間が別途示される。また、サムネイル１０１には、シーンの順序を示す番号が示される。

【0020】

次に、カット表作成装置１の構成について説明する。
カット表作成装置１は、動画像からカット表１００を作成する装置である。カット表作成装置１は、図２に示すように、動画像取得部１１と、動画像格納部１２と、抽出部１３と、特定部１４と、カット情報格納部１５と、カット表作成部１６と、出力部１７と、指定取得部１８と、変更取得部１９と、を備える。

【0021】

動画像取得部１１は、例えば、ＣＰＵが動作することにより実現される。動画像取得部１１は、動画像を取得する。具体的には、動画像取得部１１は、ＣＭ動画等、カット表１００を作成する対象となる動画像を取得する。

【0022】

動画像格納部１２は、例えば、ハードディスク等の記録媒体である。動画像格納部１２は、取得された動画像を格納する。

【0023】

抽出部１３は、例えば、ＣＰＵが動作することにより実現される。抽出部１３は、取得した動画像に含まれる被写体から所定の被写体を抽出する。抽出部１３は、例えば、動画像に含まれる文字を被写体として抽出する。また、抽出部１３は、例えば、動画像に含まれる人物を被写体として抽出する。

【0024】

特定部１４は、例えば、ＣＰＵが動作することにより実現される。特定部１４は、抽出された被写体を含む動画像の所定のカットを特定する。特定部１４は、例えば、動画像のシーンの切り替えタイミングを特定する。具体的には、特定部１４は、場面の変換タイミング、文字情報１０２の表示タイミング、及び人物の表情の変わり目を所定のカットとして特定する。また、特定部１４は、特定したカットを含むシーンの開始時刻及び終了時刻を含む時刻情報、カットに含まれる文字情報１０２、並びに音声及びセリフを含む音声情報を特定する。本実施形態において、特定部１４は、例えば、動画像のシーン中の文字の表示を開始するカットを特定する。また、特定部１４は、動画像に含まれる人物の表情に基づいて所定のカットを特定する。特定部１４は、例えば、目の輝度の変化及び歯の位置に基づいて、正面を向いた人物の笑顔を含むカットを特定する。

【0025】

カット情報格納部１５は、例えば、ハードディスク等の記録媒体である。カット情報格納部１５は、特定部１４によって特定されたカット、時刻情報、及び音声情報を格納する。

【0026】

カット表作成部１６は、例えば、ＣＰＵが動作することにより実現される。カット表作成部１６は、特定されたカットをサムネイル１０１として時系列で並べたカット表１００を作成する。カット表作成部１６は、例えば、図３に示すように、特定されたカット、文字情報１０２、及び音声情報を含むカット表１００が作成する。また、カット表作成部１６は、サムネイル１０１にリンクする、動画像のサムネイル１０１を含む所定の時間的な長さのショートムービーを作成する。カット表作成部１６は、例えば、カットの時刻の前後の所定時間のショートムービーを作成する。カット表作成部１６は、例えば、カット表１００の各サムネイル１０１へのマウスオーバーにより、リンクされたショートムービーを再生可能なカット表１００を作成する。カット表作成部１６は、例えば、マウスオーバーにより、半秒ごとに再生可能なショートムービーを作成する。カット表作成部１６は、例えば、動画像に含まれる文字をＯＣＲ（Optical character recognition）を用いて認識する。また、カット表作成部１６は、例えば、動画像に含まれる音声について、音声認識プログラムを用いて認識する。

【0027】

出力部１７は、例えば、ＣＰＵが動作することにより実現される。出力部１７は、作成されたカット表１００を出力する。出力部１７は、例えば、外部の端末で表示可能にカット表１００を出力する。

【0028】

指定取得部１８は、例えば、ＣＰＵが動作することにより実現される。指定取得部１８は、作成されたショートムービーの再生中にサムネイル１０１と置き換えるカットの指定を取得する。指定取得部１８は、例えば、ショートムービーの再生中に、マウスのクリックを受け付けることにより、置き換えるカットの指定を受け付ける。指定取得部１８は、例えば、サムネイル１０１としてより相応しいと希望されたカットの指定を受け付ける。

【0029】

変更取得部１９は、例えば、ＣＰＵが動作することにより実現される。変更取得部１９は、作成されたカット表１００の並べ順の変更を取得する。変更取得部１９は、例えば、シーンの再生順序を変更する指示について、カット表１００の並べ順の変更として取得する。

【0030】

以上のカット表作成部１６、指定取得部１８、及び変更取得部１９によれば、カット表作成部１６は、取得されたカットの指定に基づいて、指定されたカットにサムネイル１０１を置き換える。すなわち、カット表作成部１６は、指定取得部１８によって取得されたカットの指定に基づいて、サムネイル１０１の画像を指定されたカットの画像に置き換える。カット表作成部１６は、例えば、図３のカット表１００の作成画面におけるサムネイル１０１について、指定されたカットのサムネイル１０１に置き換える。また、カット表作成部１６は、取得された変更に基づいて、サムネイル１０１の並び順を変更する。カット表作成部１６は、例えば、図３のカット表１００の作成画面におけるカット表１００の順序を変更する。

【0031】

次に、本実施形態に係るカット表作成装置１の動作の流れについて、図４を参照して説明する。
まず、動画像取得部１１は、カット表１００を作成する対象となる動画像を取得する（ステップＳ１）。次いで、抽出部１３は、被写体を抽出する（ステップＳ２）。次いで、特定部１４は、抽出された被写体を含むカットを特定する（ステップＳ３）。次いで、カット表作成部１６は、カット表１００を作成する（ステップＳ４）。

【0032】

次いで、カットの変更が実施されるか否かが判断される（ステップＳ５）。カットの変更が実行される場合（ステップＳ５：ＹＥＳ）、処理は、ステップＳ６に進む。一方、カットの変更が実行されない場合（ステップＳ５：ＮＯ）、処理は、ステップＳ８に進む。

【0033】

ステップＳ６において、指定取得部１８は、変更するカットの指定を取得する。次いで、カット表作成部１６は、取得したカットの指定に基づいて、カット表１００のサムネイル１０１を変更する（ステップＳ７）。次いで、処理は、ステップＳ８に進む。

【0034】

ステップＳ８において、カットの順序を変更するか否かが判断される。カットの順序が変更される場合（ステップＳ８：ＹＥＳ）、処理は、ステップＳ９に進む。一方、カットの順序が変更されない場合（ステップＳ８：ＮＯ）、処理は、ステップＳ１１に進む。

【0035】

ステップＳ９において、変更取得部１９は、カットの順序の変更内容を取得する。次いで、カット表作成部１６は、カットの順序を変更したカット表１００を作成する（ステップＳ１０）。次いで、処理は、ステップＳ１１に進む。

【0036】

ステップＳ１１において、出力部１７は、作成されたカット表１００を出力する。以上により、本フローによる処理は終了する。

【0037】

次に、プログラムについて説明する。
カット表作成装置１に含まれる各構成は、ハードウェア、ソフトウェア又はこれらの組み合わせによりそれぞれ実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

【0038】

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ(Read Only Memory)、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory）)を含む。また、表示プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0039】

以上の一実施形態に係るカット表作成装置１及びプログラムによれば、以下の効果を奏する。
（１）動画像からカット表１００を作成するカット表作成装置１であって、動画像を取得する動画像取得部１１と、取得した動画像に含まれる被写体から所定の被写体を抽出する抽出部１３と、抽出された被写体を含む動画像の所定のカットを特定する特定部１４と、特定されたカットをサムネイル１０１として時系列で並べたカット表１００を作成するカット表作成部１６と、作成されたカット表１００を出力する出力部１７と、を備える。
また、動画像からカット表１００を作成するカット表作成装置１としてコンピュータを動作させるプログラムであって、コンピュータを、動画像を取得する動画像取得部１１、取得した動画像に含まれる被写体から所定の被写体を抽出する抽出部１３、抽出された被写体を含む動画像の所定のカットを特定する特定部１４、特定されたカットをサムネイル１０１として時系列で並べたカット表１００を作成するカット表作成部１６、作成されたカット表１００を出力する出力部１７、
として機能させる。
これにより、所定の被写体に基づいてカットを特定することができるので、カット表１００の作成を容易にすることができる。また、所定の被写体をカット対処としてカット表１００を作成するので、よりカットとして好ましい画像を抽出することができる。

【0040】

（２）特定部１４は、動画像のシーンの切り替えタイミングを特定する。これにより、より好ましいカットを示すカット表１００を作成することができる。

【0041】

（３）特定部１４は、動画像のシーン中の文字の表示を開始するカットを特定する。これにより、より重要なカットを逃すことなくカット表１００に示すことができる。

【0042】

（４）特定部１４は、動画像に含まれる人物の表情に基づいて所定のカットを特定する。これにより、カットの質を向上することができる。

【0043】

（５）また、カット表作成部１６は、サムネイル１０１にリンクする、動画像のサムネイル１０１を含む所定の時間的な長さのショートムービーを作成する。これにより、シーンに含まれる動画の内容を合わせて確認することができる。

【0044】

（６）また、カット表作成装置１は、作成されたショートムービーの再生中にサムネイル１０１と置き換えるカットの指定を取得する指定取得部１８をさらに備え、カット表作成部１６は、取得されたカットの指定に基づいて、指定されたカットにサムネイル１０１を置き換える。これにより、より好ましいカットに変更することができるので、より好ましいカット表１００を作成することができる。

【0045】

（７）また、カット表作成装置１は、作成されたカット表１００の並べ順の変更を取得する変更取得部１９をさらに備え、カット表作成部１６は、取得された変更に基づいて、サムネイル１０１の並び順を変更する。これにより、動画の編集をより容易にすることができる。

【0046】

以上、本発明のカット表作成装置１及びプログラムの好ましい各実施形態につき説明したが、本発明は、上述の実施形態に制限されるものではなく、適宜変更が可能である。
例えば、上記実施形態において、カット表作成部１６は、カットに含まれる文字の大きさに基づいて、サムネイル１０１の大きさを変更してカット表１００を作成してもよい。例えば、カット表作成部１６は、文字の大きさに応じて、カット表１００のサムネイル１０１の大きさを拡大してカット表１００を作成してもよい。また、カット表作成部１６は、サムネイル１０１に含まれる、抽出対象となる人物の大きさに基づいて、サムネイル１０１の大きさを拡大してカット表１００を作成してもよい。これにより、カット表１００をより見やすくすることができる。

【0047】

また、上記実施形態において、特定部１４は、対象となる被写体について、エッジがより明瞭なカットを特定してもよい。例えば、特定部１４は、対象となる被写体のエッジ部分において、所定値以上の空間周波数成分を有するカットを特定してもよい。具体的には、特定部１４は、文字をより明瞭に識別できる画像について、カットの中から特定してもよい。また、特定部１４は、対象となる人物の顔の輪郭をより明瞭に識別できる画像について、カットの中から特定してもよい。

【0048】

また、上記実施形態において、カット表作成部１６は、変更取得部１９によって取得された順番で動画像を作成してもよい。出力部１７は、作成された動画像を出力してもよい。これにより、順番の変更された動画像を閲覧することができるようになる。したがって、より編集しやすいカット表１００を提供することができる。

【符号の説明】

【0049】

１ カット表作成装置
１１ 動画像取得部
１３ 抽出部
１４ 特定部
１６ カット表作成部
１７ 出力部
１８ 指定取得部
１９ 変更取得部
１００ カット表
１０１ サムネイル

【図1】

【図2】

【図3】

【図4】