特許 6589838 動画像編集装置及び動画像編集方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6589838

(24)【登録日】2019年9月27日

(45)【発行日】2019年10月16日

(54)【発明の名称】動画像編集装置及び動画像編集方法

(51)【国際特許分類】

   H04N 5/91 20060101AFI20191007BHJP

   H04N 21/854 20110101ALI20191007BHJP

   H04N 21/24 20110101ALI20191007BHJP

   G11B 27/031 20060101ALI20191007BHJP

【ＦＩ】

   H04N5/91

   H04N21/854

   H04N21/24

   G11B27/031

【請求項の数】15

【全頁数】15

(21)【出願番号】特願2016-232019(P2016-232019)

(22)【出願日】2016年11月30日

(65)【公開番号】特開2018-88655(P2018-88655A)

(43)【公開日】2018年6月7日

【審査請求日】2018年11月9日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110001254

【氏名又は名称】特許業務法人光陽国際特許事務所

(72)【発明者】

【氏名】柳 和典

【審査官】 川中 龍太

(56)【参考文献】

【文献】 特開２００９−２７８２０２（ＪＰ，Ａ）

【文献】 特開２０１０−０１１４０９（ＪＰ，Ａ）

【文献】 特開２００５−０６３０８７（ＪＰ，Ａ）

【文献】 特開２０１４−１９２７５５（ＪＰ，Ａ）

【文献】 特開２００９−２８８４４６（ＪＰ，Ａ）

【文献】 特開２０１６−０４６７０５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０３１０９３９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／７６ − ５／９５６

Ｈ０４Ｎ ２１／００ − ２１／８５８

Ｇ１１Ｂ ２７／００ − ２７／０６

(57)【特許請求の範囲】

【請求項1】

動画像編集装置であって、
編集対象の動画像から、当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出する検出手段と、
前記検出手段により所定の感情が検出された時間的区間の一部を含む時間的部分を前記動画像を編集する時間的部分として特定する特定手段と、
前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施す編集手段と、
を備えることを特徴とする動画像編集装置。

【請求項2】

前記検出手段は、前記編集対象の動画像に含まれる音声部分から当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出し、
前記特定手段は、前記所定の感情が検出された時間的区間の一部を含む時間的部分を前記動画像を編集する時間的部分として特定し、
前記編集手段は、前記特定手段によって特定された前記動画像を編集する映像の時間的部分に編集処理を施すことを特徴とする請求項１に記載の動画像編集装置。

【請求項3】

動画像編集装置であって、
編集対象の動画像に含まれる画像と音声のうち音声のみから、当該動画像に記録されている人物の当該動画像を記録している時の所定の感情を検出する検出手段と、
前記検出手段による検出結果に応じて、前記所定の感情が検出された時間的区間の一部を含む前記動画像を編集する時間的部分として特定する特定手段と、
前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施す編集手段と、
を備えることを特徴とする動画像編集装置。

【請求項4】

前記特定手段は、前記検出手段により所定の感情が検出された時間的位置より前の時間的位置を含む前記動画像を編集する映像の時間的部分を特定し、
前記編集手段は、前記特定手段によって特定された前記動画像を編集する映像の時間的部分に編集処理を施すことを特徴とする請求項３に記載の動画像編集装置。

【請求項5】

動画像編集装置であって、
編集対象の動画像から、当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出する検出手段と、
前記検出手段による検出結果に応じて、前記所定の感情が検出された時間的区間の一部を含む前記動画像を編集する時間的部分を特定する特定手段と、
前記特定手段によって特定された前記動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施す編集手段と、
を備えることを特徴とする動画像編集装置。

【請求項6】

前記特定手段は、前記検出手段により所定の感情が検出された時間の長さとは異なる時間の長さの時間的部分を、前記動画像を編集する時間的部分として特定することを特徴とする請求項１〜５のいずれか一項に記載の動画像編集装置。

【請求項7】

前記検出手段によって検出し得る感情が複数種類設定されているとともに、当該感情の種類に応じた前記動画像を編集する時間的部分の特定態様が設定されており、
前記検出手段は、前記感情を検出した際の当該感情の種類を更に検出し、
前記特定手段は、前記検出手段によって検出された前記感情の種類に対応する前記特定態様に基づき、前記動画像を編集する時間的部分を特定することを特徴とする請求項１〜５のいずれか一項に記載の動画像編集装置。

【請求項8】

前記検出手段によって検出し得る感情が複数種類設定されているとともに、当該感情の種類に応じた動画像の編集態様が設定されており、
前記検出手段は、前記感情を検出した際の当該感情の種類を更に検出し、
前記編集手段は、前記検出手段によって検出された前記感情の種類に対応する前記編集態様に基づき、前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施すことを特徴とする請求項１〜５のいずれか一項に記載の動画像編集装置。

【請求項9】

前記検出手段は、前記感情を検出した際の当該感情の度合いを更に検出し、
前記編集手段は、前記特定手段によって特定された前記動画像を編集する時間的部分に、前記検出手段によって検出された前記感情の度合いに応じた編集処理を施すことを特徴とする請求項１〜５のいずれか一項に記載の動画像編集装置。

【請求項10】

前記編集手段は、前記特定手段によって特定された前記動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施すことを特徴とする請求項１〜４のいずれか一項に記載の動画像編集装置。

【請求項11】

前記編集手段は、前記編集の効果が時間的に変化する編集処理として、当該効果が漸次変化する編集処理、又は編集する元の動画像とは異なる時間の流れとなる編集処理を施すことを特徴とする請求項５又は１０に記載の動画像編集装置。

【請求項12】

前記編集手段は、前記動画像のうちの前記編集処理を施した時間的部分を、元の動画像の当該編集処理の対象として特定された時間的部分と置き換えることを特徴とする請求項１〜１１のいずれか一項に記載の動画像編集装置。

【請求項13】

編集対象の動画像から、当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出する処理と、
所定の感情が検出された時間的区間の一部を含む時間的部分を前記動画像を編集する時間的部分として特定する処理と、
特定された前記動画像を編集する時間的部分に編集処理を施す処理と、
を含むことを特徴とする動画像編集方法。

【請求項14】

編集対象の動画像に含まれる画像と音声のうち音声のみから、当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出する処理と、
前記人物の感情の検出結果に応じて、前記所定の感情が検出された時間的区間の一部を含む前記動画像を編集する時間的部分として特定する処理と、
特定された前記動画像を編集する時間的部分に編集処理を施す処理と、
を含むことを特徴とする動画像編集方法。

【請求項15】

編集対象の動画像から、当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出する処理と、
前記人物の感情の検出結果に応じて、前記所定の感情が検出された時間的区間の一部を含む前記動画像を編集する時間的部分として特定する処理と、
特定された前記動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施す処理と、
を含むことを特徴とする動画像編集方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像編集装置及び動画像編集方法に関する。

【背景技術】

【0002】

近年、音声データから人の感情を分析する感情分析技術が実用化レベルになりつつある。そして、この感情分析技術を利用することにより、例えば、歌唱者と聞き手が写っているカラオケの映像から聞き手の感情を推定し、その感情に応じて元のカラオケの映像にテキストや画像を合成するという技術が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９−２８８４４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記特許文献１に開示されている技術の場合、テキストや画像を合成するものではあるが、編集の効果が弱いという問題がある。

【0005】

本発明は、このような問題に鑑みてなされたものであり、動画像をより効果的に編集することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明に係る動画像編集装置は、
編集対象の動画像から、当該動画像に記録されている人物の、当該動画像を記録している時の所定の感情を検出する検出手段と、
前記検出手段により所定の感情が検出された時間的区間の一部を含む時間的部分を前記動画像を編集する時間的部分として特定する特定手段と、
前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施す編集手段と、
を備えることを特徴とする。

【発明の効果】

【0007】

本発明によれば、動画像をより効果的に編集することができる。

【図面の簡単な説明】

【0008】

【図1】本発明を適用した実施形態の動画像編集装置の概略構成を示す図である。

【図2】（ａ）は第１のテーブルの一例を示す図であり、（ｂ）は第２のテーブルの一例を示す図である。

【図3】動画像編集処理に係る動作の一例を示すフローチャートである。

【図4】（ａ）は感情の検出開始位置と検出終了位置の一例を示す図であり、（ｂ）は感情の検出開始位置と検出終了位置のその他の例を示す図である。

【発明を実施するための形態】

【0009】

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。

【0010】

図１は、本発明を適用した実施形態の動画像編集装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の動画像編集装置１００は、中央制御部１０１と、メモリ１０２と、記録部１０３と、表示部１０４と、操作入力部１０５と、通信制御部１０６と、動画像編集部１０７とを備えている。
また、中央制御部１０１、メモリ１０２、記録部１０３、表示部１０４、操作入力部１０５、通信制御部１０６及び動画像編集部１０７は、バスライン１０８を介して接続されている。

【0011】

中央制御部１０１は、動画像編集装置１００の各部を制御するものである。具体的には、中央制御部１０１は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、動画像編集装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

【0012】

メモリ１０２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１０１、動画像編集部１０７等によって処理されるデータ等を一時的に格納する。

【0013】

記録部１０３は、例えば、ＳＳＤ（Solid State Drive）等から構成され、図示しない画像処理部により所定の圧縮形式（例えば、ＪＰＥＧ形式、ＭＰＥＧ形式等）で符号化された静止画像や動画像の画像データを記録する。なお、記録部１０３は、例えば、記録媒体（図示略）が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。また、記憶部１０３は、後述する通信制御部１０６を介してネットワークに接続されている状態で、所定のサーバ装置の記憶領域を含むものであってもよい。

【0014】

表示部１０４は、表示パネル１０４ａの表示領域に画像を表示する。
すなわち、表示部１０４は、図示しない画像処理部により復号された所定サイズの画像データに基づいて、動画像や静止画像を表示パネル１０４ａの表示領域に表示する。

【0015】

なお、表示パネル１０４ａは、例えば、液晶表示パネルや有機ＥＬ（Electro-Luminescence）表示パネル等から構成されているが、一例であってこれらに限られるものではない。

【0016】

操作入力部１０５は、動画像編集装置１００の所定操作を行うためのものである。具体的には、操作入力部１０５は、電源のＯＮ／ＯＦＦ操作に係る電源ボタン、各種のモードや機能等の選択指示に係るボタン等（何れも図示略）を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部１０５は、操作されたボタンに応じた操作指示を中央制御部１０１に出力する。中央制御部１０１は、操作入力部１０５から出力され入力された操作指示に従って所定の動作（例えば、動画像の編集処理等）を各部に実行させる。

【0017】

また、操作入力部１０５は、表示部１０４の表示パネル１０４ａと一体となって設けられたタッチパネル１０５ａを有している。

【0018】

通信制御部１０６は、通信アンテナ１０６ａ及び通信ネットワークを介してデータの送受信を行う。

【0019】

動画像編集部１０７は、第１のテーブル１０７ａと、第２のテーブル１０７ｂと、感情検出部１０７ｃと、特定部１０７ｄと、編集処理部１０７ｅとを具備している。
なお、動画像編集部１０７の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。

【0020】

第１のテーブル１０７ａは、図２（ａ）に示すように、編集内容を識別するための「ＩＤ」Ｔ１１、編集の開始位置を示す「編集の開始位置」Ｔ１２、編集の終了位置を示す「編集の終了位置」Ｔ１３、編集処理の内容を示す「編集処理の内容」Ｔ１４の項目を有する。

【0021】

第１のテーブル１０７ａにおいて、例えば、「ＩＤ」Ｔ１１の項目の番号「１」に対応する編集の開始位置は、「感情の検出開始位置の所定時間前」であり、編集の終了位置は、「感情のピーク位置」である。つまり、感情検出部１０７ｃにより所定の感情（例えば、喜びの感情）が検出された時間的位置、すなわち当該所定の感情の検出開始位置から検出終了位置までの時間の長さとは異なる時間の長さの部分（時間的位置）が動画像を編集する時間的部分として特定されるようになっている。

【0022】

第２のテーブル１０７ｂは、図２（ｂ）に示すように、感情の分類を示す「感情の分類」Ｔ２１、感情の種類を示す「感情の種類」Ｔ２２、編集内容を特定するための番号を示す「ＩＤ」Ｔ２３の項目を有する。ここで、「ＩＤ」Ｔ２３の項目が示す番号は、第１のテーブル１０７ａの「ＩＤ」Ｔ１１が示す番号と対応するように構成されている。つまり、感情検出部１０７ｃにより感情が検出され当該感情の種類が特定されることによって、編集内容（編集の開始位置、編集の終了位置、編集処理の内容）が特定されるようになっている。

【0023】

感情検出部（検出手段）１０７ｃは、編集対象の動画像から、当該動画像に記録されている人物の感情を検出する。なお、本実施形態では、感情を検出する人物は一人として、以下説明を行う。
具体的には、感情検出部１０７ｃは、編集対象の動画像に含まれる音声データ（音声部分）に基づき、「喜び」、「好き」、「安らぎ」、「哀しみ」、「恐怖」、「怒り」、「驚き」の各感情の度合いを時系列に沿って表した時系列グラフを生成する。ここで、各感情には、当該各感情に対応する閾値が予め設定されている。なお、各感情の度合いの算出処理は公知の音声解析技術を使用することで実現可能であるため、詳細な説明は省略する。
そして、感情検出部１０７ｃは、生成された上記時系列グラフを用いて、下記（１）〜（４）の手順に従い感情を逐次検出する。
（１）図４（ａ）に示すように、感情（例えば、「驚き」の感情）の度合いが当該感情に対応する閾値を超えたと判別された時点ｔ１を、感情の検出開始位置とする。ただし、図４（ｂ）に示すように、感情（例えば、「喜び」の感情）の度合いが当該感情に対応する閾値を超えたと判別された時点ｔ１１で、既に他の感情（例えば、「驚き」の感情）の度合いが当該他の感情に対応する閾値を超えている場合には、当該感情の度合いが当該他の感情の度合いを上回った時点ｔ１２を、感情の検出開始位置とする。
（２）（１）で検出の開始が認められた感情の種類を判別する。
（３）（１）で検出の開始が認められた感情の度合いが当該感情に対応する閾値を下回るまでの期間、又は、（１）で検出の開始が認められた感情の度合いが当該感情に対応する閾値を下回る前に、当該感情とは異なる感情の検出が開始された場合には、当該異なる感情の検出が開始されるまでの期間に亘り、逐次感情の度合いのピーク値を更新する。
（４）図４（ａ）に示すように、（１）で検出の開始が認められた感情の度合いが当該感情に対応する閾値を下回ったと判別された時点ｔ１０を、感情の検出終了位置とする。ただし、図４（ｂ）に示すように、（１）で検出の開始が認められた感情（例えば、「驚き」の感情）の度合いが当該感情に対応する閾値を下回る前に、当該感情とは異なる感情（例えば、「喜び」の感情）の検出が開始された場合には、当該異なる感情の検出開始位置ｔ１２を、当該感情の検出終了位置とする。
そして、感情検出部１０７ｃは、音声データの最初から最後まで感情を検出し終えると、検出された感情ごとに、感情の検出開始位置、検出終了位置、種類、ピーク値をメモリ１０２に一時的に記録する。

【0024】

特定部（特定手段）１０７ｄは、感情検出部１０７ｃによる感情の検出結果に基づき、動画像を編集する時間的部分を特定する。
具体的には、特定部１０７ｄは、第１のテーブル１０７ａ及び第２のテーブル１０７ｂ、並びに、メモリ１０２に一時的に記録されている感情の検出開始位置、検出終了位置、種類、ピーク値を用いて、動画像を編集する時間的部分を特定する。例えば、感情検出部１０７ｃによって「喜び」の感情が検出されている場合、特定部１０７ｄは、第２のテーブル１０７ｂを参照して、メモリ１０２に一時的に記録されている感情の種類「喜び」に対応する編集内容を特定するための番号「１」を「ＩＤ」Ｔ２３の項目から取得する。次いで、特定部１０７ｄは、第１のテーブル１０７ａを参照して、取得した編集内容を特定するための番号「１」に対応する編集内容を、「編集の開始位置」Ｔ１２、「編集の終了位置」Ｔ１３、及び「編集処理の内容」Ｔ１４の項目から取得することによって、動画像を編集する時間的部分を特定する。具体的には、かかる場合、「編集の開始位置」Ｔ１２の項目から、編集の開始位置として、「感情（喜びの感情）の検出開始位置の所定時間前」が特定されることとなる。また、「編集の終了位置」Ｔ１３の項目から、編集の終了位置として、「感情（喜びの感情）のピーク位置」が特定されることとなる。つまり、特定部１０７ｄは、感情検出部１０７ｃによって検出された感情の種類に対応する特定態様に基づき、動画像を編集する時間的部分を特定したこととなる。また、「編集処理の内容」Ｔ１４の項目から、編集処理の内容として、「顔を検出しズームイン、編集の終了位置まで維持」及び「感情の度合いに応じてズーム倍率を設定」が特定されることとなる。

【0025】

編集処理部（編集手段）１０７ｅは、感情検出部１０７ｃによって検出された感情の種類に対応する編集態様に基づき、特定部１０７ｄによって特定された動画像を編集する時間的部分（「編集の開始位置」Ｔ１２から「編集の終了位置」Ｔ１３までの映像の時間的部分）に編集処理（「編集処理の内容」Ｔ１４）を施す。そして、編集処理部１０７ｅは、編集処理を施した時間的部分を、元の動画像の当該編集処理の対象として特定された時間的部分と置き換える。
具体的には、編集処理部１０７ｅは、上述のように、感情検出部１０７ｃによって「喜び」の感情が検出されている場合、特定部１０７ｄによって特定された動画像を編集する時間的部分、すなわち「喜び」の感情の検出開始位置の所定時間前からピーク位置までの時間的部分において、検出された顔にズームイン処理を施すとともに、編集の終了位置までズームインされた状態を維持する処理を施す。また、ズームイン処理を施す際のズーム倍率は、「喜び」の感情の度合いに応じたズーム倍率に設定する。

【0026】

また、編集処理部１０７ｅは、例えば、感情検出部１０７ｃによって「驚き」の感情が検出されている場合（「ＩＤ」Ｔ１１、Ｔ２３が「４」）、特定部１０７ｄによって特定された動画像を編集する時間的部分、すなわち「驚き」の感情のピーク位置から所定時間が経過するまでの時間的部分において、動画像を一時停止させる処理を施す。また、一時停止させる時間は、「驚き」の感情の度合いに応じた時間に設定する。また、編集処理部１０７ｅは、例えば、感情検出部１０７ｃによって「恐怖」の感情が検出されている場合（「ＩＤ」Ｔ１１、Ｔ２３が「７」）、特定部１０７ｄによって特定された動画像を編集する時間的部分、すなわち「恐怖」の感情の検出開始位置から検出終了位置までの時間的部分において、動画像の再生速度を遅くする処理を施す。かかる場合、映像の再生速度を遅くすることに伴い音声の再生速度も遅くなる。このため、音声の高さが低くなることにより編集の効果が高まる。また、このときの動画像の再生速度は、「恐怖」の感情の度合いに応じた速度に設定する。
ここで、編集処理部１０７ｅは、特定部１０７ｄによって特定された動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施したこととなる。また、編集処理部１０７ｅは、編集の効果が時間的に変化する編集処理として、当該効果が漸次変化する編集処理、又は編集する元の動画像とは異なる時間の流れとなる編集処理を施したこととなる。さらに、編集処理部１０７ｅは、特定部１０７ｄによって特定された動画像を編集する時間的部分に、感情検出部１０７ｃによって検出された感情の度合いに応じた編集処理を施したこととなる。

【0027】

＜動画像編集処理＞
次に、動画像編集装置１００による動画像編集処理について、図３を参照して説明する。図３は、動画像編集処理に係る動作の一例を示すフローチャートである。このフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、通信制御部１０６によりネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体の他に、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。

【0028】

図３に示すように、先ず、記録部１０３に記録されている動画像のうち、ユーザによる操作入力部１０５の所定操作に基づいて編集対象となる動画像が指定されると（ステップＳ１）、感情検出部１０７ｃは、指定された動画像を記録部１０３から読み出し、当該動画像の音声データを用いて当該音声データの最初から最後まで感情を逐次検出する（ステップＳ２）。

【0029】

次いで、感情検出部１０７ｃは、音声データの最初から最後まで感情の検出が完了したか否かを判定する（ステップＳ３）。
ステップＳ３において、音声データの最初から最後まで感情の検出が完了していないと判定された場合（ステップＳ３；ＮＯ）は、ステップＳ２に戻りそれ以降の処理を繰り返し実行する。一方、音声データの最初から最後まで感情の検出が完了したと判定された場合（ステップＳ３；ＹＥＳ）、感情検出部１０７ｃは、検出された感情ごとに、当該感情の検出開始位置、検出終了位置、種類、ピーク値をメモリ１０２に一時的に記録する（ステップＳ４）。

【0030】

次いで、特定部１０７ｄは、第１のテーブル１０７ａ及び第２のテーブル１０７ｂ、並びに、メモリ１０２に一時的に記録されている感情の検出開始位置、検出終了位置、種類、ピーク値を用いて、動画像を編集する時間的部分と内容を特定する（ステップＳ５）。

【0031】

次いで、編集処理部１０７ｅは、特定部１０７ｄによって特定された動画像を編集する時間的部分に対して、同じく特定部１０７ｄによって特定された動画像の編集内容に従って編集処理を施し、当該編集処理を施した時間的部分を、元の動画像の当該編集処理の対象として特定された時間的部分と置き換えて（ステップＳ６）、動画像編集処理を終了する。

【0032】

以上のように、本実施形態の動画像編集装置１００は、編集対象の動画像から、当該動画像に記録されている人物の感情を検出し、所定の感情が検出された時間的位置とは異なる時間的位置である、当該動画像を編集する時間的部分を特定し、特定された当該動画像を編集する時間的部分に編集処理を施したこととなる。

【0033】

このため、本実施形態の動画像編集装置１００によれば、所定の感情が検出された時間的位置にとらわれることなく、当該所定の感情に相応しい動画像の編集を行うことができるので、より効果的な編集を行うことができる。

【0034】

また、本実施形態の動画像編集装置１００は、編集対象の動画像に含まれる音声部分から当該動画像に記録されている人物の感情を検出し、所定の感情が検出された時間的位置とは異なる時間的位置である、当該動画像を編集する映像の時間的部分を特定し、特定された当該動画像を編集する映像の時間的部分に編集処理を施したこととなる。このため、本実施形態の動画像編集装置１００によれば、より効果的で且つビジュアルな編集を行うことができる。

【0035】

また、本実施形態の動画像編集装置１００は、編集対象の動画像に含まれる音声のみから、当該動画像に記録されている人物の感情を検出し、当該人物の感情の検出結果に応じて、当該動画像を編集する時間的部分を特定し、特定された当該動画像を編集する時間的部分に編集処理を施したこととなる。このため、本実施形態の動画像編集装置１００によれば、動画像に人物が写っていない場合でも、当該人物の感情を検出することができる。従って、人物の感情を検出する機会を増やすことができるので、当該人物の感情の検出結果に応じた動画像を編集する時間的部分も増え、より効果的な編集を行うことができる。

【0036】

また、本実施形態の動画像編集装置１００は、編集対象の動画像から、当該動画像に記録されている人物の感情を検出し、当該人物の感情の検出結果に応じて、当該動画像を編集する時間的部分を特定し、特定された当該動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施したこととなる。このため、本実施形態の動画像編集装置１００によれば、編集の効果が時間的に変化するという動画像に適した編集を行うことができるので、より効果的な編集を行うことができる。

【0037】

また、本実施形態の動画像編集装置１００は、所定の感情が検出された時間の長さとは異なる時間の長さの時間的部分を、動画像を編集する時間的部分として特定するので、当該所定の感情が検出された時間の長さにとらわれることなく、当該所定の感情に相応しい動画像の編集を行うことができるので、より効果的な編集を行うことができる。

【0038】

また、本実施形態の動画像編集装置１００は、検出し得る感情が複数種類設定されているとともに、当該感情の種類に応じた動画像を編集する時間的部分の特定態様が設定されており、感情を検出した際の当該感情の種類を更に検出し、検出された感情の種類に対応する特定態様に基づき、動画像を編集する時間的部分を特定したこととなる。このため、本実施形態の動画像編集装置１００によれば、検出し得る感情に応じて、動画像を編集する時間的部分の特定態様を多様化させることができるので、より効果的な編集を行うことができる。

【0039】

また、本実施形態の動画像編集装置１００は、検出し得る感情が複数種類設定されているとともに、当該感情の種類に応じた動画像の編集態様が設定されており、感情を検出した際の当該感情の種類を更に検出し、検出された感情の種類に対応する編集態様に基づき、特定された動画像を編集する時間的部分に編集処理を施したこととなる。このため、本実施形態の動画像編集装置１００によれば、検出し得る感情に応じて、動画像を編集する時間的部分の編集態様についても多様化を図ることができるので、より一層効果的な編集を行うことができる。

【0040】

また、本実施形態の動画像編集装置１００は、感情を検出した際の当該感情の度合いを更に検出し、特定された動画像を編集する時間的部分に、検出された感情の度合いに応じた編集処理を施すので、より一層効果的な編集を行うことができる。

【0041】

また、本実施形態の動画像編集装置１００は、編集の効果が時間的に変化する編集処理として、当該効果が漸次変化する編集処理、又は編集する元の動画像とは異なる時間の流れとなる編集処理を施したこととなる。このため、本実施形態の動画像編集装置１００によれば、動画像を編集する時間的部分の編集態様をさらに多様化することができるので、より一層効果的な編集を行うことができる。

【0042】

また、本実施形態の動画像編集装置１００は、動画像のうちの編集処理を施した時間的部分を、元の動画像の当該編集処理の対象として特定された時間的部分と置き換えるので、編集処理が施された時間的部分を一連の動画像のなかで観ることができる。

【0043】

［変形例］
続いて、上記実施形態の変形例について説明する。なお、上記実施形態と同様の構成要素には同一の符号を付し、その説明を省略する。
本変形例の動画像編集装置２００は、動画像を編集する映像の部分に編集処理を施すとともに、ＢＧＭを追加するＢＧＭ編集を施す点で、上記実施形態と異なっている。

【0044】

具体的には、本変形例の第１のテーブル２０７ａ（図示省略）は、「ＩＤ」Ｔ１１、「編集の開始位置」Ｔ１２、「編集の終了位置」Ｔ１３、「編集処理の内容」Ｔ１４の項目に加え、「ＢＧＭ編集の開始位置」Ｔ１５、「ＢＧＭ編集の終了位置」Ｔ１６、「ＢＧＭの種類」Ｔ１７、「ＢＧＭ編集処理の内容」Ｔ１８の項目を有する。

【0045】

「ＢＧＭ編集の開始位置」Ｔ１５には、「ＩＤ」Ｔ１１の識別番号、すなわち検出された感情の種類に応じて、例えば、「感情の検出開始位置」、「感情の検出開始位置の所定時間前」、「感情の検出開始位置の所定時間後」等の事項が設定されている。
また、「ＢＧＭ編集の終了位置」Ｔ１６には、「ＩＤ」Ｔ１１の識別番号に応じて、例えば、「感情の検出終了位置」、「感情の検出終了位置の所定時間前」、「感情の検出終了位置の所定時間後」等の事項が設定されている。
また、「ＢＧＭの種類」Ｔ１７には、「ＩＤ」Ｔ１１の識別番号に応じて、例えば、「明るめの曲」、「暗めの曲」、「静かな曲」等の事項が設定されている。
また、「ＢＧＭ編集処理の内容」Ｔ１８には、「ＩＤ」Ｔ１１の識別番号に応じて、例えば、「ＢＧＭ編集の開始位置から終了位置に向かって徐々に音量を上げる／下げる」、「ＢＧＭ編集の開始位置から感情のピーク位置に向かって徐々に音量を上げる／下げる」、「感情のピーク位置からＢＧＭ編集の終了位置に向かって徐々に音量を下げる／上げる」等の事項が設定されている。

【0046】

これにより、本変形例の特定部２０７ｄは、本変形例の第１のテーブル２０７ａを参照し、検出された感情の種類に応じて、動画像の編集の開始位置、動画像の編集の終了位置、動画像の編集処理の内容、ＢＧＭ編集の開始位置、ＢＧＭ編集の終了位置、ＢＧＭの種類、ＢＧＭ編集処理の内容を特定することとなる。
そして、本変形例の編集処理部２０７ｅは、上記特定部２０７ｄによって特定された内容に基づき、動画像を編集する時間的部分に編集処理を施すとともに、対象部分にＢＧＭ編集処理を施すこととなる。

【0047】

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
上記実施形態や上記変形例にあっては、第１のテーブル１０７ａ，２０７ａの「編集処理の内容」Ｔ１４の項目に列挙された編集処理の内容に従い編集処理が施される構成としたが、当該編集処理の内容は、列挙された編集処理の内容に限定されるものではない。例えば、画面切り替え時の速度を変える、或いは画面切り替え時の編集効果の種類を変える等の編集処理が施されるようにしてもよい。

【0048】

また、上記実施形態や上記変形例にあっては、例えば、検出された感情の種類に応じたフォントのテロップを入れるといった編集処理が施されるようにしてもよい。

【0049】

また、上記実施形態や上記変形例にあっては、検出された感情の種類に応じて、編集処理の内容を特定するようにしたが、これに限定されるものではなく、例えば、検出された感情の分類（ポジティブ感情、ネガティブ感情、ニュートラル）に応じて、編集処理の内容を特定するようにしてもよい。

【0050】

また、上記実施形態や上記変形例にあっては、編集対象の動画像に含まれる音声が複数人によるものである場合、例えば、音量が最も大きい音声のみを対象として、感情の検出を行うようにしてもよい。

【0051】

また、上記実施形態や上記変形例にあっては、例えば、予め特定の人物の音声を録音したサンプルデータを記憶しておく。そして、感情検出部１０７ｃによって感情を検出する場合、上記サンプルデータに基づく特定の人物の音声と適合する音声のみを対象として、動画像に記録されている人物の感情を検出するようにしてもよい。かかる場合には、感情検出部１０７ｃによって特定の人物の感情のみを検出可能となる。

【0052】

本発明の実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
動画像編集装置であって、
編集対象の動画像から、当該動画像に記録されている人物の感情を検出する検出手段と、
前記検出手段により所定の感情が検出された時間的位置とは異なる時間的位置である、前記動画像を編集する時間的部分を特定する特定手段と、
前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施す編集手段と、
を備えることを特徴とする動画像編集装置。
＜請求項２＞
前記検出手段は、前記編集対象の動画像に含まれる音声部分から当該動画像に記録されている人物の感情を検出し、
前記特定手段は、前記所定の感情が検出された時間的位置とは異なる時間的位置である、前記動画像を編集する映像の時間的部分を特定し、
前記編集手段は、前記特定手段によって特定された前記動画像を編集する映像の時間的部分に編集処理を施すことを特徴とする請求項１に記載の動画像編集装置。
＜請求項３＞
動画像編集装置であって、
編集対象の動画像に含まれる音声のみから、当該動画像に記録されている人物の感情を検出する検出手段と、
前記検出手段による検出結果に応じて、前記動画像を編集する時間的部分を特定する特定手段と、
前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施す編集手段と、
を備えることを特徴とする動画像編集装置。
＜請求項４＞
前記特定手段は、前記検出手段により所定の感情が検出された時間的位置とは異なる時間的位置である、前記動画像を編集する映像の時間的部分を特定し、
前記編集手段は、前記特定手段によって特定された前記動画像を編集する映像の時間的部分に編集処理を施すことを特徴とする請求項３に記載の動画像編集装置。
＜請求項５＞
動画像編集装置であって、
編集対象の動画像から、当該動画像に記録されている人物の感情を検出する検出手段と、
前記検出手段による検出結果に応じて、前記動画像を編集する時間的部分を特定する特定手段と、
前記特定手段によって特定された前記動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施す編集手段と、
を備えることを特徴とする動画像編集装置。
＜請求項６＞
前記特定手段は、前記検出手段により所定の感情が検出された時間の長さとは異なる時間の長さの時間的部分を、前記動画像を編集する時間的部分として特定することを特徴とする請求項１〜６のいずれか一項に記載の動画像編集装置。
＜請求項７＞
前記検出手段によって検出し得る感情が複数種類設定されているとともに、当該感情の種類に応じた前記動画像を編集する時間的部分の特定態様が設定されており、
前記検出手段は、前記感情を検出した際の当該感情の種類を更に検出し、
前記特定手段は、前記検出手段によって検出された前記感情の種類に対応する前記特定態様に基づき、前記動画像を編集する時間的部分を特定することを特徴とする請求項１〜６のいずれか一項に記載の動画像編集装置。
＜請求項８＞
前記検出手段によって検出し得る感情が複数種類設定されているとともに、当該感情の種類に応じた動画像の編集態様が設定されており、
前記検出手段は、前記感情を検出した際の当該感情の種類を更に検出し、
前記編集手段は、前記検出手段によって検出された前記感情の種類に対応する前記編集態様に基づき、前記特定手段によって特定された前記動画像を編集する時間的部分に編集処理を施すことを特徴とする請求項１〜６のいずれか一項に記載の動画像編集装置。
＜請求項９＞
前記検出手段は、前記感情を検出した際の当該感情の度合いを更に検出し、
前記編集手段は、前記特定手段によって特定された前記動画像を編集する時間的部分に、前記検出手段によって検出された前記感情の度合いに応じた編集処理を施すことを特徴とする請求項１〜６のいずれか一項に記載の動画像編集装置。
＜請求項１０＞
前記編集手段は、前記特定手段によって特定された前記動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施すことを特徴とする請求項１〜４のいずれか一項に記載の動画像編集装置。
＜請求項１１＞
前記編集手段は、前記編集の効果が時間的に変化する編集処理として、当該効果が漸次変化する編集処理、又は編集する元の動画像とは異なる時間の流れとなる編集処理を施すことを特徴とする請求項５、６、１０のいずれか一項に記載の動画像編集装置。
＜請求項１２＞
前記編集手段は、前記動画像のうちの前記編集処理を施した時間的部分を、元の動画像の当該編集処理の対象として特定された時間的部分と置き換えることを特徴とする請求項１〜１１のいずれか一項に記載の動画像編集装置。
＜請求項１３＞
編集対象の動画像から、当該動画像に記録されている人物の感情を検出する処理と、
所定の感情が検出された時間的位置とは異なる時間的位置である、前記動画像を編集する時間的部分を特定する処理と、
特定された前記動画像を編集する時間的部分に編集処理を施す処理と、
を含むことを特徴とする動画像編集方法。
＜請求項１４＞
編集対象の動画像に含まれる音声のみから、当該動画像に記録されている人物の感情を検出する処理と、
前記人物の感情の検出結果に応じて、前記動画像を編集する時間的部分を特定する処理と、
特定された前記動画像を編集する時間的部分に編集処理を施す処理と、
を含むことを特徴とする動画像編集方法。
＜請求項１５＞
編集対象の動画像から、当該動画像に記録されている人物の感情を検出する処理と、
前記人物の感情の検出結果に応じて、前記動画像を編集する時間的部分を特定する処理と、
特定された前記動画像を編集する時間的部分に、編集の効果が時間的に変化する編集処理を施す処理と、
を含むことを特徴とする動画像編集方法。

【符号の説明】

【0053】

１００、２００ 動画像編集装置
１０１ 中央制御部
１０２ メモリ
１０３ 記録部
１０４ 表示部
１０４ａ 表示パネル
１０５ 操作入力部
１０５ａ タッチパネル
１０６ 通信制御部
１０６ａ 通信アンテナ
１０７ 動画像編集部
１０７ａ、２０７ａ 第１のテーブル
１０７ｂ 第２のテーブル
１０７ｃ 感情検出部
１０７ｄ、２０７ｄ 特定部
１０７ｅ、２０７ｅ 編集処理部

【図1】

【図2】

【図3】

【図4】