特許 6994886 映像編集システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-16

(45)【発行日】2022-01-14

(54)【発明の名称】映像編集システム

(51)【国際特許分類】

   H04N 5/91 20060101AFI20220106BHJP

【ＦＩ】

H04N5/91

【請求項の数】 8

(21)【出願番号】P 2017185167

(22)【出願日】2017-09-26

(65)【公開番号】P2019062381

(43)【公開日】2019-04-18

【審査請求日】2020-07-31

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】100097113

【弁理士】

【氏名又は名称】堀 城之

(74)【代理人】

【識別番号】100162363

【弁理士】

【氏名又は名称】前島 幸彦

(72)【発明者】

【氏名】小薗 裕通

(72)【発明者】

【氏名】田中 宏幸

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２０１４－０４２２３４（ＪＰ，Ａ）

【文献】特開２０１３－０３１０３４（ＪＰ，Ａ）

【文献】特開２００９－０８１６３５（ＪＰ，Ａ）

【文献】特開２００４－０６２５６０（ＪＰ，Ａ）

【文献】特開平０５－１６５４８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／９１

(57)【特許請求の範囲】

【請求項1】

入力された素材映像データにおける画像又は音声の一部に対して処理を施した映像データを出力する映像編集システムであって、
前記処理を施す部分を特定するための情報である処理対象情報を記憶する情報記憶手段と、
前記処理対象情報に基づいて前記素材映像データにおける前記処理の対象となる部分を認識する処理対象認識手段と、
を具備し、
前記処理対象情報において設定された前記処理を施す部分のうち、特定の種類の前記部分が設定され、
前記処理対象認識手段は、前記素材映像データにおいて前記特定の種類の前記部分を認識した際に、警告を発することを特徴とする映像編集システム。

【請求項2】

前記処理対象認識手段は、前記処理の対象となる部分と、当該部分に対する前記処理の内容とを特定した自動編集情報を生成し、
前記自動編集情報を用いて前記素材映像データを編集する編集手段を具備することを特徴とする請求項１に記載の映像編集システム。

【請求項3】

前記編集手段において、前記自動編集情報が使用者によって改変された最終編集情報が生成され、当該最終編集情報に従って前記素材映像データが編集されることを特徴とする請求項２に記載の映像編集システム。

【請求項4】

前記最終編集情報と、前記最終編集情報が生成された際に用いられた前記自動編集情報との違いをフィードバックすることによって、前記処理対象情報を改変する処理対象情報改変手段を具備することを特徴とする請求項３に記載の映像編集システム。

【請求項5】

前記素材映像データと、前記自動編集情報に基づいて編集された後の前記素材映像データと、を同時に表示させる表示手段を具備することを特徴とする請求項２から請求項４までのいずれか１項に記載の映像編集システム。

【請求項6】

前記表示手段は、
前記自動編集情報に基づいて編集された後の前記素材映像データを表示させる際に、前記部分を強調表示することを特徴とする請求項５に記載の映像編集システム。

【請求項7】

前記編集手段は、前記表示手段によって前記素材映像データと前記自動編集情報に基づいて編集された後の前記素材映像データとを表示させた後で、使用者からの操作によって前記自動編集情報に基づいて編集された後の前記素材映像データを出力することを特徴とする請求項６に記載の映像編集システム。

【請求項8】

前記編集手段は、前記処理対象認識手段が前記素材映像データにおいて前記特定の種類の前記部分を認識した場合に、前記自動編集情報を用いて前記素材映像データを編集する作業を中断することを特徴とする請求項２から請求項７までのいずれか１項に記載の映像編集システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像に編集を施して出力する映像編集システムに関する。

【背景技術】

【0002】

放送される番組の映像データにおいて、放送に不適切な部分が画像の一部に存在する場合がある。こうした部分の例としては、例えば、海外のニュース番組の画像中において表示された時刻、映り込んだ特定の企業名、映り込んだ自動車の登録ナンバー、映り込んだ通行人の顔等がある。このため、映像データを記憶してから配信させる際に、こうした部分に対応する画像の一部にレンダリング処理（ブラー処理等）を施してから配信するビデオサーバシステムが知られている。こうしたビデオサーバシステムの構成の一例は、例えば特許文献１に記載されている。

【0003】

このような処理の対象となる部分は、映像データの配信先あるいは配信目的に応じて異なる場合もあるため、同一の映像データに対して異なるレンダリング処理が施されたものを用いることが必要な場合も多い。特許文献１に記載の技術においては、このようなレンダリング処理後の映像データを配信すると共に、この処理後においてもレンダリング処理が施されていない元の映像データに対するアクセスが特に容易とされている。このため、先に施されたレンダリング処理とは異なる処理を再び元の映像データに対して容易に行うことができ、その処理後の映像データを配信することを容易、かつ速やかに行うことができる。

【0004】

ここで、レンダリング処理の対象となる部分としては、上記のように複数種類のものがある。こうした部分の特定、あるいはこうした部分に対して具体的にどのような処理（ブラー処理等）を行うかは、ユーザによって設定されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１２－３４２１８号公報

【発明の開示】

【発明が解決しようとする課題】

【0006】

上記の技術においては、レンダリング処理のための操作はユーザによって行われ、このためには、ユーザは、実際に対象となる映像データを全場面にわたりチェックした上で、全ての場面において処理の対象となる部分を特定してから上記の処理を行わせることが必要となった。このため、上記の処理に際しては、ユーザの負担が大きくなった。また、上記のように同一の映像データに対して異なる処理を施す場合には、異なる処理を施した複数の映像データを作成する作業が必要となるため、特にその負担が大きくなった。

【0007】

また、このために、処理のミスが発生し、必要な部分に処理が施されずに処理が不要の部分に処理が施された映像データが誤って使用される場合もあった。こうした点を改善するために、レンダリング処理を確実かつ容易に行うことができることが望まれた。

【0008】

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。

【課題を解決するための手段】

【0009】

本発明は、入力された素材映像データにおける画像又は音声の一部に対して処理を施した映像データを出力する映像編集システムであって、前記処理を施す部分を特定するための情報である処理対象情報を記憶する情報記憶手段と、前記処理対象情報に基づいて前記素材映像データにおける前記処理の対象となる部分を認識する処理対象認識手段と、を具備し、前記処理対象情報において設定された前記処理を施す部分のうち、特定の種類の前記部分が設定され、前記処理対象認識手段は、前記素材映像データにおいて前記特定の種類の前記部分を認識した際に、警告を発する。
また、前記処理対象認識手段は、前記処理の対象となる部分と、当該部分に対する前記処理の内容とを特定した自動編集情報を生成し、前記映像編集システムは、前記自動編集
情報を用いて前記素材映像データを編集する編集手段を具備する。
また、前記編集手段において、前記自動編集情報が使用者によって改変された最終編集情報が生成され、当該最終編集情報に従って前記素材映像データが編集される。
また、前記映像編集システムは、前記最終編集情報と、前記最終編集情報が生成された際に用いられた前記自動編集情報との違いをフィードバックすることによって、前記処理対象情報を改変する処理対象情報改変手段を具備する。
また、前記映像編集システムは、前記素材映像データと、前記自動編集情報に基づいて編集された後の前記素材映像データと、を同時に表示させる表示手段を具備する。
また、前記表示手段は、前記自動編集情報に基づいて編集された後の前記素材映像データを表示させる際に、前記部分を強調表示する。
また、前記編集手段は、前記表示手段によって前記素材映像データと前記自動編集情報に基づいて編集された後の前記素材映像データとを表示させた後で、使用者からの操作によって前記自動編集情報に基づいて編集された後の前記素材映像データを出力する。
また、前記編集手段は、前記処理対象認識手段が前記素材映像データにおいて前記特定の種類の前記部分を認識した場合に、前記自動編集情報を用いて前記素材映像データを編集する作業を中断する。

【発明の効果】

【0010】

本発明によると、配信される映像データに対するレンダリング処理を容易かつ速やかに行うことができる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る映像編集システムの構成を示すブロック図である。

【図2】実施形態に係る映像編集システムにおける処理前の映像（ａ）、処理後の映像（ｂ）の例である。

【図3】実施形態に係る映像編集システムにおいて編集内容の確認のために表示部で表示される画像の例（その１）である。

【図4】実施形態に係る映像編集システムにおいて編集内容の確認のために表示部で表示される画像の例（その２）である。

【図5】実施形態に係る映像編集システムにおいて編集内容の確認のために表示部で表示される画像の例（その３）である。

【図6】実施形態に係る映像編集システムにおいて編集内容の確認のために表示部で表示される画像の例（その４）である。

【図7】実施形態に係る映像編集システムにおける制御部の動作（その１）を示すフローチャートである。

【図8】実施形態に係る映像編集システムにおける制御部の動作（その２）を示すフローチャートである。

【図9】実施形態に係る映像編集システムにおける制御部の動作（その３）を示すフローチャートである。

【図10】処理対象情報改変手段が処理対象情報を更新する動作の流れを示す図である。

【図11】ユーザによる自動編集済み映像データの評価をするための表示部における画像の一例である。

【0012】

次に、本発明を実施するための形態となる映像編集システムを、図面を参照して具体的に説明する。この映像編集システムは、元となる映像データ（素材映像データ）に対して、映像の一部に加工（レンダリング処理：ブラー等）を施した映像データ（編集済み映像データ）を作成し、出力する。映像におけるこのような処理が施される部分は、自動的に認識されて処理が施される。あるいは、このような部分の候補が認識され、この中から実際に処理を施す対象をユーザが選択した上で処理が施される。又は、画像の中からこのような部分をユーザが設定することができる。なお、上記の「処理が施される部分」は、映像データの一部又は、映像に伴う音声の一部分であってもよく、以下では、映像の一部であるものとして説明する。

【0013】

図１は、本発明の実施の形態に係る映像編集システム１の構成のブロック図である。ここで、ＨＤ－ＳＤＩ規格の素材映像データは、収録装置１１を介して入力し、記録装置（ビデオサーバ）１２は、これを記憶することができる。記録装置１２には自動編集情報作成装置１３が接続され、素材映像データは自動編集情報作成装置１３に入力されてから、記録装置１２に記憶される。ただし、素材映像データを自動編集情報作成装置１３を介さずに記録装置１２に直接入力させて記憶させてもよい。

【0014】

自動編集情報作成装置１３は、この素材映像データを読み込み、処理対象認識部（処理対象認識手段）１３１で、レンダリング処理を施す部分を認識する。この際、処理対象認識部１３１におけるプロセッサは、情報記憶部（情報記憶手段）１３２に記憶された処理対象情報を基にして、この認識を行い、このように処理の対象となる部分とその処理についての情報（自動編集情報）を記録装置１２に記憶させる。自動編集情報の内容における処理の対象となる部分に関する情報としては、具体的には、処理対象となる部分の映像フレーム位置、映像上の座標、あるいは処理対象が音声の場合には音声サンプルの位置の範囲、処理の内容等がある。処理の内容としては、処理対象が映像の場合にはモザイク処理、ブラー処理、映像カット、輝度の増減処理、処理対象が音声の場合にはミュート処理、音量調整等がある。また、処理の対象とする理由（例えば放送禁止に該当する、特定企業名である等）も処理対象情報に含まれる。

【0015】

処理対象情報としては、例えば映像の配信先（目的）等に応じ、複数のものを設定することができる。これに応じて、例えばある一つの配信先に対しては処理の対象とならない部分を他の配信先に対しては処理の対象とすること、上記の処理の内容を配信先に応じて変える、等の操作が可能となる。こうした場合には、処理対象情報がユーザによって選択される構成とされる。

【0016】

また、後述するように、最終的に素材映像データに対して編集が行われる際には、処理対象となった部分や処理の内容は、ユーザによって確認された後に、修正が施される。こうした最終的な編集情報（最終編集情報）あるいは最終編集情報と自動編集情報との違いに関する情報も、情報記憶部１３２に記憶される。

【0017】

記録装置１２には、素材映像データに対して実際にレンダリング処理を施す編集を行う編集装置１４も、接続されている。編集装置１４には、実際にこの編集作業を行うプロセッサを具備する編集制御部（編集手段）１４１と、素材映像データ、及びこれに編集が施された後の映像データに基づく映像を表示させる表示部（表示手段：ディスプレイ）１４２と、その画像や音声における各部分を選択する、あるいは指示を入力するための操作パネル（操作手段）１４３が設けられる。表示部１４２と操作パネル１４３とが一体化されたタッチパネルディスプレイを用いることがより好ましい。

【0018】

編集制御部１４１は、素材映像データと上記の自動編集情報を記録装置１２から読み出し、自動編集情報に基づいて素材映像データを編集した新たな映像データ（自動編集済み映像データ）を作成し、自動編集済み映像データを記録装置１２に記憶させることができる。ただし、編集装置１４においては、この自動編集済み映像データに基づく画像をユーザが表示部１４２で確認した上で、操作パネル１４３を操作して、自動編集済み映像データにおいて処理が施された部分のうち、適切でないと認識された部分の処理を解除するための指示を編集制御部１４１に出し、この処理の解除を行うこともできる。この場合には、素材映像データを参照することもできる。

【0019】

同様に、編集制御部１４１は、自動編集済み映像データに対して、更に追加の処理を施すこともできる。この際に新たに処理の対象となる部分は、ユーザによって指定される。この際にも、ユーザは、自動編集済み映像データに基づく映像を表示部１４２で確認した上で、操作パネル１４３を操作して、この操作を行うことができる。こうしたユーザによる操作によって、前記の自動編集情報が書き換えられた最終編集情報が生成される。この最終編集情報は素材映像データに対する編集処理に反映されると共に、後述されるように、処理対象情報の更新に利用される。

【0020】

同様に、編集制御部１４１は、記録装置１２から素材映像データを直接読み込み、この素材映像データに基づく画像を表示部１４２でユーザに確認させた上で操作パネル１４３を操作させ、前記の自動編集情報を用いずに、処理の対象となる部分を指定し、レンダリング処理を施す操作を行うこともできる。この操作においては、ユーザは、自動編集情報とは無関係に、素材映像データに対してレンダリング処理を行うことができる。

【0021】

編集制御部１４１は、このように、自動編集情報に基づいて編集された自動編集済み映像データ、ユーザによって自動編集済み映像データ又は素材映像データが編集された編集済み映像データを、記録装置１２に記録させることができる。

【0022】

制御部１５は、上記の操作を行わせるために、上記の構成要素を全て制御する。制御部１５におけるプロセッサは、ユーザからの指示によって、上記のように記録装置１２に記憶された映像データ（素材映像データ、自動編集済み映像データ、編集済み映像データ）のうち、いずれかを選択して配信させることができる。なお、制御部１５においてユーザに操作される部分と編集装置１４（操作パネル１４３）とを一体化させてもよい。

【0023】

以下に、自動編集情報作成装置１３、編集装置１４の動作について説明する。自動編集情報作成装置１３において、処理対象認識部１３１が処理の対象であると認識する部分は、情報記憶部１３２に記憶された処理対象情報に基づいて認識される。ここでは、一例として、海外のニュース番組の映像である素材映像データが用いられ、この画像の中で表示された時刻表示が対象となるものとする。この場合には、例えば「１５：００」のように、０～９までの数字と「：」とが組み合わされた表示がこれに該当するものと推定することができ、こうした部分が処理の対象となる旨が処理対象情報に記載されており、これを画像中において周知の文字認識手法で認識することができる。また、この数値が時間経過に従って変化している場合にも、この表示が時刻表示であると認識することができる。

【0024】

図２（ａ）は、このような時刻表示が存在する素材映像データ中の画像の一例である。処理対象認識部１３１は、上記のようにこの画像の中で「１５：００」を認識し、これが時刻表示であるために、処理の対象となることを認識する。このため、処理対象認識部１３１は、この部分に対してブラー処理を施す自動編集情報を作成し、これを読み込んだ編集制御部１４１は、図２（ｂ）に示されるように、この画像において「１５：００」の表示を含む領域にブラー処理を施した画像を生成する。素材映像データ中のある時点において上記のように処理の対象となる部分が認識されたら、素材映像データ中の全ての画像において対応する部分に同様の処理が施されて自動編集情報が作成され、記録装置１２に記録される。

【0025】

編集装置１４においては、この処理が適切であるか否かの判定がユーザによって行われる。このためには、この自動編集情報に基づく自動編集済み映像データの画像が表示部１４２において表示される。しかしながら、ユーザが処理後の画像のみを見た場合には、処理前の画像との違いを認識することが困難であるため、この処理あるいは処理対象となった部分が適切であるか否かを認識することが困難である。このため、編集制御部１４１は、自動処理が行われる前の画像と自動処理後の画像とを表示部１４２で並べて表示させることができる。これによって、ユーザは、２つの画像を対比し、この処理あるいは処理対象となった部分が適正であるか否かを判定することができる。

【0026】

こうした場合における表示方法を図３に示す。ここでは、表示部１４２と操作パネル１４３とが一体化されたタッチパネルディスプレイ１４４が用いられているものとする。ここでは、画面の上側に表示Ａ（左側）、表示Ｂ（右側）が設けられ、画面の下側の表示Ｃが操作パネル１４３に対応した部分となっている。ここでは、表示Ａにおいては処理前の画像（素材映像データ）、表示Ｂにおいてはこれに対応して生成されるべき処理後の画像（自動処理済み映像データ）が示されている。ここで、処理対象となった部分を表示Ａ、表示Ｂにおいて強調表示すれば、ユーザは、これらを容易に認識することができる。表示Ｃにおいては、現在表示Ａ、Ｂにおいて示された画像の開始時からの経過時刻を示す表示、あるいはこの時刻を早送り、巻き戻しさせる等の操作を行わせるキー、実際にこの処理を確定して適用するか否かを問い合わせるキー等が設けられている。この構成によって、処理前の画像と自動処理後の画像を共に認識することができ、ユーザは、自動編集が適正であるか否かを容易に確認することができる。また、ユーザがこの処理を希望しない場合には、この処理を行わせないことができる。

【0027】

また、上記のように自動処理の前後の画像を比較する際に、これらの画像を同時に表示させても、例えば処理対象となった部分が小さな場合には、その認識に時間がかかる場合がある。図４は、こうした場合におけるタッチパネルディスプレイ１４４の表示の一例である。

【0028】

ここでは、画面の上側の表示Ｄにおいて処理対象となった部分を含む領域を破線等で示し、その左側の表示Ｅ、表示Ｆにおいて、それぞれこの破線領域を拡大し、更に処理対象となった部分を強調表示して表示させることができる。これによって、ユーザは、処理対象となった部分が適正であったか否かを容易に認識することができる。その後、ユーザは、画像の下側に設けられた操作パネル領域Ｃを操作して、上記と同様の操作を行うことができる。あるいは、例えばブラー処理を行う場合にはその程度を、あるいは塗りつぶし処理を行う場合にはそのパターンを調整することができる。また、処理対象となる部分の大きさ（領域）をより小さくする、あるいは大きくする等、改変することもできる。

【0029】

図３、４の例では、処理対象となった部分が単一の画像上において一つのみ存在した。しかしながら、こうした部分が単一の画像で複数存在する場合もある。図５は、こうした場合における表示の一例である。ここでは、処理の対象となった部分は４つあるものとする。上側の中央の表示Ｇにおいて、前記の表示Ｂと同様に、処理後の画像が表示される。ただし、ここでは、処理対象となった部分が点や矢印等によって示される、あるいは強調表示されている。表示Ｇの両側の表示Ｈにおいては、各部分の処理前の拡大画像（Ｈ１）と、処理対象情報に基づく処理の理由（Ｈ２）が表示されている。下側の表示Ｃについては前記と同様であるが、ここでは、この処理の適用の可否は、部分毎に設定可能とされる。

【0030】

なお、図５の例では、表示Ｇにおいて処理後の画像が、表示Ｈ１において処理前の画像が表示されたが、これらを逆転し、表示Ｇにおいて処理前の画像を同様に処理対象となる部分を明示した上で表示し、表示Ｈ１において表示後の各部分の画像を表示してもよい。

【0031】

また、上記の例においては、画像に対しての処理が行われたが、音声に対して処理が行われた場合には、他の表示方法を用いることができる。この場合、例えば処理前後の音声を同時に流すことによってユーザがこの可否の判断をすることは困難であるため、処理の対象となる部分がどこにあったかのみを表示させることが好ましい。図６は、こうした場合の表示の一例である。ここでは表示Ｉにおいて、処理の対象となる部分がどの時刻におけるどの内容（画像、音声）であるかが文字で記載されている。その上側の表示Ｊにおいて、処理後の映像を試写する否かが設定され、試写することが選択された場合には、前記と同様に処理後の映像が表示される。

【0032】

なお、上記においては、表示部１４２（タッチパネルディスプレイ１４４）で、素材映像データに基づく画像と自動編集済み映像データに基づく画像とが表示されるものとしたが、ここではこの画像はレンダリング処理のユーザによる評価のみに用いられるため、ある時点の静止画像として、素材映像データと自動編集済み映像データの比較ができれば十分である。このため、自動編集済み映像データに基づく画像を表示するに際しては、自動編集済み映像データそのものをこの時点で実際に作成する必要はない。上記の自動編集情報が定まっていれば、素材映像データにおけるある時点での静止画像に対して、この自動編集情報に基づく処理を施し、これを表示させれば、十分である。実際に素材映像データ全体に編集処理を行い自動編集済み映像データ全体を作成する作業と比べれば、容易かつ短時間でこの処理を行うことができる。

【0033】

また、表示部１４２（タッチパネルディスプレイ１４４）で表示される画像として動画を表示させる場合には、特定の時間あるいは複数フレーム毎の間引き処理を行った映像、プロキシ映像等を用いることができ、これによって使用するプロセッサの負担を軽減し、処理速度を高めることができる。また、音声信号についても同様であり、ＭＰ３、ＡＡＣ等の圧縮技術を用いて、音質を低下させデータ容量を小さくした信号を用いることができる。

【0034】

上記のように、この映像編集システム１においては、レンダリング処理の対象となる部分が自動編集情報作成装置１３によって自動的に認識され、これに応じた自動編集済み映像データが作成される。ただし、編集装置１４を用いて、ここで行われた処理を容易に取り消すことができ、処理の対象となる部分を追加することもできる。このため、処理の対象となる部分をユーザが全て指定した従来の映像処理システムと比べて、レンダリング処理を容易かつ速やかに行うことができる。このように、ユーザによって最終的に編集・確認された編集内容（処理対象となった部分、処理の内容）は、自動編集情報と対応させた最終編集情報として、情報記憶部１３２にデータベースとして記憶される。あるいは、最終編集情報自身ではなく最終編集情報と自動編集情報の違いに関する情報を記憶させてもよい。こうした最終編集情報は、後述するように利用することができる。

【0035】

次に、実際に制御部１５が図１の構成要素全体に対して行わせる動作について具体的に説明する。ます、実際には、素材映像データの中には、上記のようなレンダリング処理が必要となるものと、不要であるものとがある。このため、上記の動作を行う際には、実際には、素材映像データに応じて、制御部１５が上記の構成要素を制御する。また、記録装置１２においては、その後に用いることのない映像データは記憶させないことが、動作の効率化のためには好ましい。図７は、こうした点を考慮した制御部１５が行わせる具体的な動作を示すフローチャートの一例である。ここでは、単純化のために、編集装置１４を用いてユーザによって指定された処理は行われないものとする。また、図１において、素材映像データは自動編集情報作成装置１３を介してのみ記憶装置１２に入力する（記憶される）ものとする。

【0036】

ここでは、まず、収録装置１１は、素材映像データを入手する（Ｓ１）。自動編集情報作成装置１３は、この素材映像データを入手し、素材映像データ中の画像において処理対象となる部分があるかを解析する（Ｓ２）。ここでは、処理対象認識部１３１が、情報記憶部１３２中の情報を参照し、素材映像データ中の画像において処理対象となる部分があるかを認識し、この部分が認識された場合には、この部分に対する処理も、情報記憶部１３２中の情報に基づき、決定する（Ｓ３）。これによって、自動編集情報が作成される。処理の対象となる部分が認識されなかった場合（Ｓ４：Ｎｏ）には、素材映像データがそのまま記録装置１２に記憶される（Ｓ５）。

【0037】

処理の対象となる部分が認識された場合（Ｓ４：Ｙｅｓ）には、制御部１５は、素材映像データを記憶するか否かをユーザに問い合わせる（Ｓ６）。記憶しない場合（Ｓ６：Ｎｏ）には、前記の通り、編集装置１４を用いて、この素材映像データに対して自動編集情報に基づく編集を行わせた自動編集済み映像データを作成し（Ｓ７）、この自動編集済み映像データと自動編集情報とを記録装置１２に記憶させる（Ｓ８）。この場合には、記憶装置１２に記憶される映像データは、編集後の自動編集済み映像データのみとなる、あるいは、素材映像データが記録装置１２に記憶されていた場合には、素材映像データは自動編集済み映像データに置き換えられる。

【0038】

素材映像データを記憶する場合（Ｓ６：Ｙｅｓ）には、制御部１５は、素材映像データと自動編集情報を記録装置１２に記憶させた（Ｓ９）後、ユーザに対して、自動編集を行うか否かの確認を行う（Ｓ１０）。自動編集を行わない場合（Ｓ１０：Ｎｏ）には、処理は終了する。この場合には、記憶装置１２には編集前の素材映像データと自動編集情報が記憶される。このため、この時点では自動編集済み映像データは存在しないが、編集装置１４を用いて、後で容易に自動編集済み映像データを作成することができる。

【0039】

自動編集を行う場合（Ｓ１０：Ｙｅｓ）には、制御部１５は、編集装置１４に自動編集済み映像データを作成させ（Ｓ１１）、これを記録装置１２に記憶させる（Ｓ１２）。この場合には、記録装置１２には、元となった素材映像データ、自動編集情報、自動編集済み映像データの全てが記憶される。このため、例えば、上記のように複数の処理対象情報が設定された場合において、同一の素材映像データに対して他の処理対象情報を用いた処理を後で行うことが容易となる。

【0040】

なお、記録装置１２が収録装置１１から素材映像データを直接受信してこれを記憶する場合には、上記のＳ６～Ｓ８の工程は不要となる。ただし、自動編集済み映像データが記憶された（Ｓ１２）後に、素材映像データを削除してもよい。

【0041】

図７のフローチャートにおいては、素材映像データの入力があった後における制御部１５の動作が示された。一方、素材映像データが記録装置１２に予め記憶されている状態で制御部１５に対して映像の配信（出力）要求があり、これに応じて素材映像データが編集された後の映像データを出力させる場合もある。図８は、こうした場合における制御部１５の動作の一例を示すフローチャートである。ここでは、少なくとも素材映像データは記録装置１２に記憶されているものとする。

【0042】

ここで、制御部１５は、配信の要求があった場合（Ｓ２１）、記録装置１２に自動編集済み映像データが記憶されているか否かを確認する（Ｓ２２）。自動編集済み映像データが記憶されていなかった場合（Ｓ２２：Ｎｏ）には、まず、自動編集情報が記憶されているか否かを確認する（Ｓ２３）。自動編集情報が存在する場合（Ｓ２３：Ｙｅｓ）には、制御部１５は、前記のように編集装置１４を用いて自動編集済み映像データを作成し、これを記録装置１２に記憶させる（Ｓ２４）。自動編集情報が存在しない場合（Ｓ２３：Ｎｏ）には、制御部１５は、自動編集情報作成装置１３を用いて自動編集情報を作成してから（Ｓ２５）、同様に編集装置１４を用いて自動編集済み映像データを作成し、これを記録装置１２に記憶させる（Ｓ２４）。これによって、自動編集済み映像データが記憶されていなかった場合（Ｓ２２：Ｎｏ）において、自動編集済み映像データが新たに作成されて記録装置１２に記憶される。

【0043】

自動編集済み映像データが記憶されていた場合（Ｓ２２：Ｙｅｓ）、あるいは上記のように新たに自動編集済み映像データが作成されて記憶された場合（Ｓ２４）、には、制御部１５は、この自動編集済み映像データに基づく画像を編集装置１４（表示部１４２）で表示させ（Ｓ２６）、この内容で配信してよいか否かをユーザに問い合わせる（Ｓ２７）。

【0044】

この内容で配信してよい場合（Ｓ２７：Ｙｅｓ）には、この自動編集済み映像データを、配信が許可された編集済み映像データと設定する（Ｓ２８）。一方、この内容からの変更を希望する場合（Ｓ２７：Ｎｏ）には、制御部１５は、前記の図２，３のように編集装置１４を用いて自動編集済み映像データを更に編集させ（Ｓ２９）、この編集後の映像データを、配信が許可された編集済み映像データと設定し、記録装置１２に記憶させる（Ｓ３０）。この際、前記の通り最終編集情報も作成し、記憶させる。その後、制御部１５は、上記のように記録装置１２に記憶された編集済み映像データを配信させる（Ｓ３１）。こうした動作によって、レンダリング処理が不要な場合には未編集の素材映像データが、レンダリング処理が必要な場合にはこれに対して適切に処理が施された映像データを速やかに配信させることができる。

【0045】

また、自動編集情報が作成されてもこれを適用して自動編集済み映像データを作成するのには時間を要し、記録装置１２に様々な映像データを記憶させるのにも時間を要する。このため、配信において不要となることが明らかな映像データを記憶させない、作成しないことが好ましい。更に、処理の時間を短縮するために、ユーザが他の装置を用いて同時に映像を確認する場合もある。図９は、こうした点を考慮した制御部１５の動作を示すフローチャートの一例である。

【0046】

ここでは、収録装置１１が素材映像データを入手したら（Ｓ４１）、この素材映像データをそのまま記録装置１２に記憶するか否かが判断される（Ｓ４２）。素材映像データの記憶が不要であると認識された場合（Ｓ４２：Ｎｏ）には、前記の通りに自動編集処理が行われて自動編集済み映像データが作成され（Ｓ４３）、この自動編集済み映像データを配信用の映像データであるとして記録装置１２に記憶する（Ｓ４４）。この場合においては、記録装置１２に記録される映像データは自動編集済み映像データのみである。

【0047】

素材映像データの記憶をすると認識された場合（Ｓ４２：Ｙｅｓ）には、まず、素材映像データが記録装置１２に記憶される（Ｓ４５）。その後、他装置も用いて素材映像データの解析を行うか否かが問い合わせられる（Ｓ４６）。他装置も用いて素材映像データの解析を行う場合（Ｓ４６：Ｙｅｓ）には、その後に、ユーザは、他装置を用いて素材映像データの解析を行い（Ｓ４７）、その上で編集装置１４を用いた以降の処理を開始させることができる。この解析結果を、以下の判定（Ｓ５０、Ｓ５６）に利用することができる。

【0048】

その後、自動編集を直ちに行うか否かが問い合わせられ（Ｓ４８）、直ちに行わない場合（Ｓ４８：Ｎｏ）には、自動編集情報作成装置１３によって自動編集情報が作成され（Ｓ４９）、その後で編集装置１４は、この自動編集情報の内容でよいか否かを問い合わせる（Ｓ５０）。この問い合わせを行う際には、実際に自動編集済み映像データは作成されていないが、ユーザは、この自動編集情報に基づく編集後の内容を確認するために、前記の通り、ある一時点での静止画像を用いて、この確認をすることが可能である。この内容を変更したい場合（Ｓ５０：Ｎｏ）には、編集装置１４は、ユーザにその修正を行わせる（Ｓ５１）。その後、内容の変更がない場合（Ｓ５０：Ｙｅｓ）にはそのままの自動編集情報に基づいて、素材映像データに対する実際の編集作業が行われた編集済み映像データが作成される（Ｓ５２）。この編集済み映像データが、配信用の映像データとして記録装置１２に記憶される（Ｓ５３）。この場合には、最終的に内容が確定するまで編集済み映像データは作成されない。

【0049】

自動編集を直ちに行う場合（Ｓ４８：Ｙｅｓ）には、直ちに自動編集情報とこれに基づいた自動編集済み映像データが作成され（Ｓ５４）、自動編集済み映像データを表示部１４２で表示させる（Ｓ５５）。この場合には、ユーザは、自動編集済み映像データの全ての時点で、この編集内容が適正か否かを詳細に確認することができる（Ｓ５６）。その後、この編集内容の修正を望む場合（Ｓ５６：Ｎｏ）には、上記と同様にその修正作業、確認が行われ（Ｓ５７）、その後に再びこの修正後の編集情報に基づき新たな映像データ（編集済み映像データ）が作成され（Ｓ５８）、この編集済み映像データが配信用の映像データとして記録装置１２に記憶される（Ｓ５９）。この際に作成された最終編集情報も同時に記憶される。

【0050】

自動編集情報に基づく編集が適正であると認められた場合（Ｓ５６：Ｙｅｓ）には、既に作成された自動編集済み映像データが、配信用の映像データとして記録装置１２に記憶される（Ｓ６０）。

【0051】

上記の動作においては、素材映像データに対して実際に編集処理を施すことを必要最小限に留めることによって処理時間を短くし、かつユーザによる編集処理が適正か否かのチェックを確実に行うことができ、その修正も行われる。

【0052】

次に、素材映像データにおけるレンダリング処理の対象となる部分を認識するために情報記憶部１３２に記憶される処理対象情報について説明する。こうした処理の対象となる部分としては、前記のような時刻表示、映り込んだ自動車の登録ナンバー、企業名、映り込んだ人物の顔等がある。時刻表示や登録ナンバーは、数字をパターン認識することによって認識することができ、企業名は文字のパターン認識によって認識することができ、顔もパターン認識手法によって認識することができる。

【0053】

前記の通り、上記の編集装置１４においては、ユーザ自身が操作パネル１４３を操作することによって、こうした処理の対象となる部分を設定することもでき、その後にこの操作が反映された最終編集情報が作成される。この場合、この最終編集情報を処理対象認識部１３１が認識して、処理対象情報を更新（あるいは作成）することもできる。この場合、処理対象認識部１３１は、処理対象情報をより好ましい内容に更新する処理対象情報改変手段として機能する。図１０は、処理対象認識部１３１におけるこうした動作の流れを示す図である。

【0054】

ここで、まず、初期状態の処理対象情報は、ユーザによって作成される（Ｐ１）。ここでは、例えば、処理の対象として必要最小限でありかつ認識が比較的容易なもののみが対象として選定される。例えば、前記のような画像中の時刻表示を、こうした対象とすることができる。この処理対象情報を用いて、前記のようにこの映像編集システム１が繰り返し用いられる。この際、前記のように、自動編集情報による編集に加え、あるいはこの編集に代わり、ユーザによっても編集作業が行われ、最終的に素材映像データに対して適用された最終編集情報が作成され、この最終編集情報も情報記憶部１３２に記憶される。

【0055】

このため、処理対象認識部１３１は、自動編集済み映像データの基となった自動編集情報と、その後に生成された最終編集情報とを比較することによって、自動編集情報の基となり情報記憶部１３２に記憶された処理対象情報を改変することができる。例えば、画像中のある文字列が処理対象情報における処理の対象に含まなかったために自動編集情報においては処理の対象とされていなかったが、ユーザによって後で指定されて最終編集情報においては処理の対象とされた場合には、この文字列を処理の対象として追加するように処理対象情報を改変することができる。逆に、画像中のある文字列が処理対象情報における処理の対象に含まれたために自動編集情報においては処理の対象とされたが、ユーザによって後でこの指定が解除されて最終編集情報においては処理の対象とされなかった場合には、この文字列を処理の対象から削除するように処理対象情報を改変することができる。処理対象情報における処理の内容（ブラー処理等）についても、同様に改変することができる。こうした作業は、例えば画像中の顔認識を用いれば、特定の人物を処理の対象とする場合においても同様に行うことができる。

【0056】

また、このように処理の対象として選択されたか否かという単純な判断を用いずに、処理対象認識部１３１は、記録された複数の最終編集情報における統計的処理に基づいて、処理対象情報を改変することもできる。この際、例えば、最終編集情報と自動編集情報との相違点の各々を数値評価してその数値の総計を点数として算出し、この数値に基づき、処理対象情報を改変することもできる。例えば、この点数が大きかった（違いが大きかった）最終編集情報を抽出し、これらの中で共通の処理対象とされ処理対象情報に含まれなかったものを、新たに処理対象情報に取り入れることができる。

【0057】

このため、図１０のフローにおいては、初期状態の処理対象情報（Ｐ１）を用いてこの映像編集システム１が用いられ、この際に、ユーザの操作により最終編集情報が作成され、情報記憶部１３２に記憶される（Ｐ２）。その後、上記のように、最終編集情報と自動編集情報の違いが数値化されて評価される（Ｐ３）。この数値に基づき、現在の処理対象情報を書き換えることが好ましいか、あるいはどのように書き換えるかが判定され（Ｐ４）、最終的に処理対象情報が更新される（Ｐ５）。ここで、図１０に示されるように、最終的な判定（Ｐ４）に際しては、上記のような最終編集情報と自動編集情報の違いだけでなく、編集装置１４におけるユーザによる編集作業の傾向（例えばあるユーザにおいては編集作業が多く、他のあるユーザでは編集作業が少ない）や、初期設定（Ｐ１）後に新たに発生した事情によって追加された画像に対する条件、等も考慮することができる。

【0058】

このような処理対象情報の改変作業は、この映像編集システム１が使用されて最終編集情報が作成される度に繰り返してもよく、周期的に行ってもよい。また、上記の点数を用いる場合には、この点数の累積値に応じて行ってもよい。

【0059】

このように、処理対象情報を、多数の最終編集情報を基にして改変する作業は、周知の機械学習手法（ディープラーニング）等を用いても行うことができる。前記のように、映像の配信先等に応じて複数の処理対象情報が設定される場合には、これらの作業も処理対象情報毎に行うことができる。

【0060】

ユーザ自身が自動編集済み映像データに対する評価を入力できる設定とするための問い合わせ、入力は、編集装置１４における表示部１４２、操作パネル１４３（タッチパネルディスプレイ１４４）を用いて、図３等と同様に行うことができる。図１１は、こうした表示の一例である。ここでは、表示Ｋにおいて、自動編集情報（処理の対象となる部分の各々及びそれぞれにおける処理の内容）の説明及びその適用の可否が行われ、上側の表示Ｌで、この際の自動編集情報の評価がユーザによって入力される。その後で下側の表示Ｍを操作することによって、自動編集情報が表示Ｋの操作を反映して改変された最終編集情報を用いた編集処理が実行される。

【0061】

素材映像データには様々な種類のものがあり、場合によっては、一般的ではない特殊部分に対して処理を施す場合もある。こうした場合においては、自動編集情報と最終編集情報の違いが大きくなった場合でも、この場合の最終編集情報は、一般的に用いられる処理対象情報の改変に用いないことが好ましい。図１１に示されたように、この場合の自動編集情報を評価の対象としないことを選択した場合には、このように特殊な場合の最終編集情報は処理対象情報の改変には使用されない。

【0062】

このように、新たに作成された最終編集情報をフィードバックして処理対象情報を更新する方法として、上記の他にも、様々な手法が適用可能である。

【0063】

また、処理対象情報において指定される処理の対象となる部分としては、複数の種類のものがある。まず、放送禁止用語等、この部分が含まれた状態で放送すること自身が禁止されるものがある。放送時に視聴者に悪影響を与える激しい照明の点滅や、流血シーン、著しく激しい音声、ノイズ音等についても同様である。一方、前記の時刻表示や自動車の登録ナンバー等、放送の禁止はされていないが、放送することが好ましくないものも上記の対象となる。どの対象についても、これをパターン化して処理対象情報に記憶させ、素材映像データにパターン認識手法を適用することによって、処理対象認識部１３１が認識することが可能である。

【0064】

このように処理の対象のレベルを区分し、例えば、上記の放送禁止用語等、禁止の度合いの高いものを第１のレベル、上記の時刻表示や自動車の登録ナンバー等、禁止の度合いがこれよりも低いものを第２のレベルと設定することができる。

【0065】

この場合、図１における編集制御部１４１は、このレベルに応じて、自動編集情報を受け取った後の処理を変えることができる。例えば、上記の第１のレベルとなる部分が認識された場合には、編集制御部１４１は、表示部１４２で警告を発することが好ましい。また、第１のレベルとなる部分が認識された場合には、例えば図２等に示されたような単純な画面の修正だけではなく、素材映像データ全体を見直す必要がある可能性が高い。このため、上記に説明された動作において、第１のレベルとなる部分が認識された場合には、警告のみを発し、この警告が解除されない限り、編集作業を中断して自動編集済み映像データを作成せず、かつ素材映像データも配信しない構成とすることにより、ユーザに注意を喚起することができる。これによって、第１のレベルとなる部分が含まれる映像データが配信されることが確実に抑制される。

【0066】

また、例えば、上記の処理の対象となりうる部分としては、映り込んだ人物の顔があり、処理対象認識部１３１は画像中における顔を認識することが可能である。ここで、例えば、映り込んだ人物が複数おり、ある特定の人物の顔のみに対して処理を適用したい場合、あるいは逆にこの特定の人物以外の全ての人物の顔に処理を施したい場合がある。こうした場合には、処理対象情報において、人物の顔を上記の第１のレベルに設定すれば、前記の放送禁止用語の場合と同様に、警告のみを発し、この警告が解除されない限り、自動編集済み映像データを作成せず、かつ素材映像データも配信しない構成とすればよい。その後、ユーザは、映り込んだ全ての顔のうち、特定の人物の顔のみに処理を行う、あるいは逆に特定の人物の顔のみに処理を行わないように、操作パネル１４３を制御して最終編集情報を作成し、この最終編集情報に応じて編集済み映像データを作成した後に、これを配信させることができる。

【0067】

なお、図１の構成においては、記録装置（ビデオサーバ）１２に、処理対象認識部（処理対象認識手段、処理対象情報改変手段）１３１、情報記憶部（情報記憶手段）１３２を具備する自動編集情報作成装置１３と、編集制御部（編集手段）１４１、表示部（表示手段）１４２、操作パネル（操作手段）１４３を具備する編集装置１４が接続され、上記の動作が行われた。しかしながら、上記と同様の機能をもつ処理対象認識手段、処理対象情報改変手段、情報記憶手段、編集手段、表示手段等が素材映像データに関わって設けられ、自動編集済み映像データ、自動編集情報、最終編集情報等を作成することができる限りにおいて、具体的な装置の構成は任意である。すなわち、使用される各装置において上記の各手段がどのように設けられるかは任意であり、上記の各手段が全て単一の装置内に設けられていてもよい。

【0068】

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0069】

１ 映像編集システム
１１ 収録装置
１２ 記録装置（ビデオサーバ）
１３ 自動編集情報作成装置
１４ 編集装置
１３１ 処理対象認識部（処理対象認識手段、処理対象情報改変手段）
１３２ 情報記憶部（情報記憶手段）
１４１ 編集制御部（編集手段）
１４２ 表示部（表示手段）
１４３ 操作パネル（操作手段）
１４４ タッチパネルディスプレイ（表示手段）
１５ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】