特許 7502221 映像編集送出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-10

(45)【発行日】2024-06-18

(54)【発明の名称】映像編集送出システム

(51)【国際特許分類】

   H04N 21/854 20110101AFI20240611BHJP

   H04N 21/24 20110101ALI20240611BHJP

   H04N 5/91 20060101ALI20240611BHJP

   H04N 5/765 20060101ALI20240611BHJP

   H04N 5/262 20060101ALI20240611BHJP

【ＦＩ】

H04N21/854

H04N21/24

H04N5/91

H04N5/765

H04N5/262

【請求項の数】 5

(21)【出願番号】P 2021035277

(22)【出願日】2021-03-05

(65)【公開番号】P2022135462

(43)【公開日】2022-09-15

【審査請求日】2023-03-27

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】100097113

【弁理士】

【氏名又は名称】堀 城之

(74)【代理人】

【識別番号】100162363

【弁理士】

【氏名又は名称】前島 幸彦

(72)【発明者】

【氏名】岡本 善弘

【審査官】大西 宏

(56)【参考文献】

【文献】特開平１０－０８４５２６（ＪＰ，Ａ）

【文献】特開平１０－１９１２４８（ＪＰ，Ａ）

【文献】特開２００６－０５００４５（ＪＰ，Ａ）

【文献】特開２００７－０６７５２２（ＪＰ，Ａ）

【文献】特開２０１７－１６９１５９（ＪＰ，Ａ）

【文献】特開２０１８－０５６７２６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ －２１／８５８

Ｈ０４Ｎ ５／７６ －５／７７５

Ｈ０４Ｎ ５／９１ － ５／９５６

Ｈ０４Ｎ ５／２６２－ ５／２８

(57)【特許請求の範囲】

【請求項1】

与えられた映像データである素材映像中において部分的にカットされた時間帯に他の映像データである挿入映像が代わりに挿入された映像を作成して送出する映像編集送出システムであって、
前記素材映像中における音声信号の出力レベルが小さな時間帯である無音時間帯の始期及び終期を認識する音声認識部と、
前記無音時間帯の前記始期及び前記終期を特定した編集情報を作成する編集情報作成部と、
前記編集情報を基にして、前記素材映像中における前記無音時間帯に対応する映像部分である削除映像部分をカットし、当該削除映像部分の代わりに前記挿入映像を挿入することによって、前記映像を作成する映像編集部と、
を具備し、
前記素材映像における前記削除映像部分内の時刻である分割時刻を分割情報として前記素材映像と共に入力し、当該分割情報が前記編集情報の中に含まれることを特徴とする映像編集送出システム。

【請求項2】

前記映像の時間長、及び前記挿入映像の時間長が予め設定され、
前記映像編集部は、前記削除映像部分の時間長を対応する前記無音時間帯の時間長の範囲内で調整することによって、前記映像の時間長を予め定められた値に調整することを特徴とする請求項１に記載の映像編集送出システム。

【請求項3】

前記音声認識部は、前記素材映像中において予め定められた一定時間において前記出力レベルが閾値以下である場合を、前記無音時間帯として認識することを特徴とする請求項１又は２に記載の映像編集送出システム。

【請求項4】

前記音声認識部は、前記素材映像中において前記無音時間帯として認識された時間帯以外において、前記出力レベルが前記閾値以下である場合に警告を発することを特徴とする請求項３に記載の映像編集送出システム。

【請求項5】

送出後の前記映像における音声信号の出力レベルが小さな時間帯を認識する第２の音声認識部を具備し、
前記第２の音声認識部は、送出後の前記映像中において前記編集情報により前記無音時間帯として認識された時間帯以外の音声立ち上がり部分において、前記出力レベルがゼロから上がらない場合に警告を発することを特徴とする請求項１から請求項４までのいずれか１項に記載の映像編集送出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、素材となる映像を編集して種々の映像を作成して送出する映像編集送出システムに関する。

【背景技術】

【0002】

スポーツ番組等のテレビジョン放送において、リアルタイム放送が行われている以外の場合においては、実際に放送される映像（完全パッケージ：完パケ）は、放送される対象となる部分を全て含む一連の映像データである番組素材が編集されて作成される。番組素材は、例えばスポーツ中継においては試合の開始前から試合終了後までの間が連続的に撮影された映像であり、この間には例えばハーフタイム等、試合が中断されている時間帯も含まれる。この場合、番組素材は一旦記憶され、その後にコンピュータを用いた編集（ノンリニア編集）がこの番組素材に対して行われることによって作成された完パケが、実際に放送に供する。ノンリニア編集においては、完パケ作成時のみならず、時差放送やディレイ放送など、リアルタイムから放送までの時間が短い場合において、収録映像のカット点を繋ぎ合わせて放送する場合において、例えばある時点において番組素材を分割して、この分割位置の前後における一定の期間の映像をカットし、カットされた部分において代わりにコマーシャル（ＣＭ）映像等を挿入する作業が行われる。この際、ノンリニア編集後の映像の総時間は、実際の放送に供される時間として予め定まり、この制限下でこのような編集が行われる。

【0003】

この作業は、従来より編集者によって行われている。この際、番組素材における分割位置（分割時刻）は、例えば視聴者にとって見逃したくない部分にＣＭ映像が挿入されないように、注意して設定される必要がある。このため、この分割時刻は、この映像の撮影者等によって、番組素材に付随した情報として設定される。編集者は、この情報に基づき、本編映像を分割してこの分割前後の所定の長さの映像を切り取り、代わりにこの部分にＣＭ映像を挿入する等の作業を行うことができる。この作業は実際には編集用の機器等（実際にはコンピュータ）を用いて行われる。

【0004】

このようなノンリニア編集作業は編集者が実際の映像をディスプレイで目視しながら行う必要があるため、この際の編集者の作業の負担を低減するための技術が提案されている。例えば、特許文献１には、番組素材の分割位置（時刻）を示す本編分割情報と、番組素材の中で編集により切り取られる総時間を管理し、放送時間に適合するようにビデオサーバで適切にノンリニア編集を行わせる技術が記載されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１３－１５０２２２号公報

【発明の開示】

【発明が解決しようとする課題】

【0006】

上記のノンリニア編集を行うに際して、完パケや時差放送やディレイ放送など、リアルタイムから放送までの時間が短い場合において、収録映像のカット点を繋ぎ合わせて放送する際の、編集後に作成された映像の時間長が一定に定められ、かつ予め分割位置が定められていた場合においても、実際には各種の調整は必要になる。例えば、分割箇所が複数ある場合、これに対応して番組素材が切り取られる期間の長さ（あるいは番組素材を残す長さ）は、状況に応じて調整することが必要となる場合があるが、この調整は、実際の番組素材の内容（編集上の必要有無）を考慮して行われる必要がある。この場合、編集者が実際の映像を確認しながら、この設定によって問題が発生しないように、この作業を行う必要があった。

【0007】

すなわち、ノンリニア編集を行う際には、編集者が実際の映像を確認しながらこの編集操作を行うことが必要となり負担が大きかった。このため、ノンリニア編集を行う場合において、編集者による作業量を低減することができる技術が望まれた。

【0008】

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。

【課題を解決するための手段】

【0009】

本発明は、与えられた映像データである素材映像中において部分的にカットされた時間帯に他の映像データである挿入映像が代わりに挿入された映像を作成して送出する映像編集送出システムであって、前記素材映像中における音声信号の出力レベルが小さな時間帯である無音時間帯の始期及び終期を認識する音声認識部と、前記無音時間帯の前記始期及び前記終期を特定した編集情報を作成する編集情報作成部と、前記編集情報を基にして、前記素材映像中における前記無音時間帯に対応する映像部分である削除映像部分をカットし、当該削除映像部分の代わりに前記挿入映像を挿入することによって、前記映像を作成する映像編集部と、を具備し、前記素材映像における前記削除映像部分内の時刻である分割時刻を分割情報として前記素材映像と共に入力し、当該分割情報が前記編集情報の中に含まれる。
この際、前記映像の時間長、及び前記挿入映像の時間長が予め設定され、前記映像編集部は、前記削除映像部分の時間長を対応する前記無音時間帯の時間長の範囲内で調整することによって、前記映像の時間長を予め定められた値に調整してもよい。
この際、前記音声認識部は、前記素材映像中において予め定められた一定時間において前記出力レベルが閾値以下である場合を、前記無音時間帯として認識してもよい。
この際、前記音声認識部は、前記素材映像中において前記無音時間帯として認識された時間帯以外において、前記出力レベルが前記閾値以下である場合に警告を発してもよい。
この際、送出後の前記映像における音声信号の出力レベルが小さな時間帯を認識する第２の音声認識部を具備し、前記第２の音声認識部は、送出後の前記映像中において前記編集情報により前記無音時間帯として認識された時間帯以外の音声立ち上がり部分において、前記出力レベルがゼロから上がらない場合に警告を発してもよい。

【発明の効果】

【0010】

本発明によると、ノンリニア編集を行う場合において、編集者による作業量を低減することができる。

【図面の簡単な説明】

【0011】

【図1】実施の形態に係る映像編集送出システムの構成を示す図である。

【図2】ノンリニア編集の内容を具体的に示す図である。

【図3】実施の形態に係る映像編集送出システムの動作を示すフローチャートである。

【図4】実施の形態に係る映像編集送出システムの第１の変形例の構成を示す図である。

【図5】実施の形態に係る映像編集送出システムの第２の変形例の構成を示す図である。

【発明を実施するための形態】

【0012】

次に、本発明を実施するための形態を図面を参照して具体的に説明する。図１は、本発明の実施の形態に係る映像編集送出システム１の構成を示すブロック図である。図１において、この映像編集送出システム１に左側から入力した番組素材（素材映像）となる映像信号は、ノンリニア編集による加工後の完パケ（完成映像）として右側に向けて出力される。その後に、放送局において、この完パケが放送に供される。なお、以下の実施形態では、主に完パケを編集後の映像として作成する場合について説明するが、ノンリニア編集によって作成する映像は完パケだけではなく、様々な用途に用いられる映像である。例えば、時差放送やディレイ放送など、リアルタイムの撮影から放送までの時間が短い場合において、収録映像のカット点を繋ぎ合わせて放送するために加工される映像を同様に作成することができる。

【0013】

この映像送出システム１においては、映像管理サーバ１１、送出制御装置１２、編集装置１３、送出装置１４が用いられる。これらは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワーク２０で接続される。番組素材は映像管理サーバ１１に入力し、この番組素材が編集装置１３によってノンリニア編集され、ノンリニア編集後の完パケは送出装置１４から出力される。

【0014】

映像管理サーバ１１は、フラッシュメモリやＤＲＡＭ（ダイナミック・ラム）等の半導体メモリの記憶媒体であるＳＳＤ（ソリッド・ステート・ディスク）やＨＤＤ（ハードディスクドライブ）等を備えたサーバであり、ノンリニア編集の対象となる番組素材はデジタル放送に対応したフォーマット（例えばＭＰＥＧ－２等）でこの記憶媒体に記憶される。この際、この記憶媒体に多数の番組素材を記憶させることもでき、これらをデータベースとして蓄積することもできる。

【0015】

ここで記憶される番組素材毎に、この番組素材に対して後で行われるノンリニア編集の際に用いられる情報である編集情報も番組素材に対応して記憶されている。

【0016】

送出制御装置１２は、プログラム制御によって動作する情報処理装置であり、マンマシンインタフェースとして機能する端末（図示せず）が接続されている。この端末の操作によって、送出制御装置１２は、映像管理サーバ１１に蓄積されている番組素材を検索し、その中から完パケの元とすべき番組素材を選択して編集装置１３に送信することができる。この際、選択された番組素材と共に、対応する前記の編集情報も編集装置１３に送信する。

【0017】

編集装置（映像編集部）１３は、このように映像管理サーバ１１側から番組素材とその編集情報を入手し、この編集情報を用いてこの番組素材をノンリニア編集するコンピュータであり、番組素材を一時記憶するバッファやＳＳＤやＨＤＤ等の不揮発性の記憶媒体と、ＤＳＰ（デジタル・シグナル・プロセッサ）等とを備える。不揮発性の記憶媒体には、ノンリニア編集の際に用いられる番組素材以外の映像（例えば挿入されるＣＭ映像（後述する挿入映像））が記憶されている。この挿入映像としては複数種類のものが記憶され、選択されたものがノンリニア編集において用いられる。

【0018】

送出装置１４は、編集装置１３から入手した完パケを、放送用のために外部に送信する。なお、送出装置１４から完パケの外部への出力や番組素材等の映像管理サーバ１１への入力は、ネットワーク２０を介して行われても、他の経路を介して行われてもよい。

【0019】

ここで用いられる編集装置１３においては、ノンリニア編集を行うための編集情報が用いられ、この編集情報を作成するために、番組素材における音声信号の強度レベル及びその時間変化を認識する音声認識装置１５が設けられる。このノンリニア編集は、番組素材における音声信号の出力レベルが小さな時間帯である無音時間帯に応じて行われる。音声認識装置１５は、この無音時間帯の始期及び終期を認識する音声認識部、及びこの始期、終期を特定した編集情報を作成する編集情報作成部、として機能する。

【0020】

図２は、従来より行われているノンリニア編集の内容の具体的な例を模式的に示す図であり、ここで示された範囲内の動作は、従来においても、上記の映像編集送出システム１においても同様に行われる。ここで、図中横軸は時間経過を示し、時間の原点は例えば番組素材Ｖ０の開始時である。まず、図２（ａ）に示されるような長さ（時間長）がＴ０である前記の番組素材Ｖ０が得られ、これが映像管理サーバ１１に入力し、記憶される。一般的には、番組素材Ｖ０は、時間的に連続した映像であり、これがノンリニア編集される対象となり、後述する完パケＶ１の基となる。

【0021】

ノンリニア編集においては、番組素材Ｖ０は分割されて用いられ、ここでは、時刻ｔ１、ｔ２、ｔ３がこの分割が行われる基準時刻（分割時刻）であるとする。このため、図２（ｂ）に示されるように、番組素材Ｖ０は、この時刻を境界として長さＴ０１の分割後映像Ｖ０１、長さＴ０２の分割後映像Ｖ０２、長さＴ０３の分割後映像Ｖ０３、長さＴ０４の分割後映像Ｖ０４（ここで、Ｔ０１＋Ｔ０２＋Ｔ０３＋Ｔ０４＝Ｔ０）に４分割される。時刻ｔ１、ｔ２、ｔ３は、番組素材Ｖ０の内容に応じて定められるため、一般的には撮影者によって設定され、前記のように番組素材Ｖ０に付随した分割情報として設定される。具体的には、ｔ１、ｔ２、ｔ３は、番組の内容においてカットされても問題のない時間帯（例えば、スポーツ中継においては、ハーフタイム等の進行が停止している時間帯）に設定される。この分割は、この分割した箇所に挿入映像（コマーシャル映像：ＣＭ映像）を挿入するために行われる。

【0022】

次に、挿入映像を挿入するために、上記の各分割映像の時間長（尺）調整が行われる。ここでは、図２（ｃ）に示されるように、分割後映像Ｖ０１の終期側のＴＣ１１の期間と分割後映像Ｖ０２の始期側のＴＣ１２の期間（番組素材Ｖ０におけるＴＣ１１＋ＴＣ１２＝ＴＣ１の期間）となる削除映像部分Ｄ１がカットされる。同様に、分割後映像Ｖ０２の終期側のＴＣ２１の期間と分割後映像Ｖ０３の始期側のＴＣ２２の期間（番組素材Ｖ０におけるＴＣ２１＋ＴＣ２２＝ＴＣ２の期間）となる削除映像部分Ｄ２、分割後映像Ｖ０３の終期側のＴＣ３１の期間と分割後映像Ｖ０４の始期側のＴＣ３２の期間（番組素材Ｖ０におけるＴＣ３１＋ＴＣ３２＝ＴＣ３の期間）となる削除映像部分Ｄ３がカットされる。このため、図２（ｂ）における分割後映像Ｖ０１、Ｖ０２、Ｖ０３、Ｖ０４のそれぞれの尺調整後における映像を図２（ｃ）においてそれぞれ尺調整後映像Ｖ１１、Ｖ１２、Ｖ１３、Ｖ１４とし、これらの時間長をそれぞれＴ１１、Ｔ１２、Ｔ１３、Ｔ１４とすると、Ｔ１１＜Ｔ０１、Ｔ１２＜Ｔ０２、Ｔ１３＜Ｔ０３、Ｔ１４＜Ｔ０４となる。なお、図２において、各段に示された映像において対応する部分の間には破線が設けられている。

【0023】

その後、図２（ｄ）に示されるように、カットされた削除映像部分Ｄ１の箇所において挿入映像Ｃ１、削除映像部分Ｄ２の箇所において挿入映像Ｃ２、削除映像部分Ｄ３の箇所において挿入映像Ｃ３が挿入されることにより、完パケＶ１が作成される。挿入映像Ｃ１、挿入映像Ｃ２、挿入映像Ｃ３は予め定められており、編集装置１３で記憶され、一般的には編集されずに使用される。挿入映像Ｃ１の時間長をＴＭ１、挿入映像Ｃ２の時間長をＴＭ２、挿入映像Ｃ３の時間長をＴＭ３とすると、一般的にはＴＭ１≠ＴＣ１、ＴＭ２≠ＴＣ２、ＴＭ３≠ＴＣ３であり、図２においては、ＴＭ１＞ＴＣ１、ＴＭ２＞ＴＣ２、ＴＭ３＞ＴＣ３であるものとしている。

【0024】

このため、完パケＶ１の時間長Ｔ１＝Ｔ１１＋ＴＭ１＋Ｔ１２＋ＴＭ２＋Ｔ１３＋ＴＭ３＋Ｔ１４＝Ｔ０＋（ＴＭ１－ＴＣ１）＋（ＴＭ２－ＴＣ２）＋（ＴＭ３－ＴＣ３）となる。Ｔ１は、完パケＶ１が実際に放送される時間長として予め定められる。

【0025】

上記において、番組素材Ｖ０とｔ１、ｔ２、ｔ３が与えられ、ＴＭ１、ＴＭ２、ＴＭ３が予め定まっている場合、ＴＣ１、ＴＣ２、ＴＣ３あるいはＴＣ１１、ＴＣ１２等（ｔ１１、ｔ１２等）は、予め定められたＴ１を一定値とする条件下で適宜設定が可能である。すなわち、各尺調整後画像（あるいは各削除映像部分）の始期、終期は、適宜設定が可能である。

【0026】

なお、上記の例では、分割時刻ｔ１、ｔ２、ｔ３が撮影者によって設定されるものとしたが、分割時刻の代わりに短時間の分割時間帯が設定されていてもよい。この場合においては、上記のｔ１、ｔ２、ｔ３の代わりに短い時間幅をもつ時間帯が指定され、番組素材Ｖ０からこの３つの分割時間帯がカットされることによって分割後映像が同様に生成される。その後、各分割後映像に対して、上記と同様の尺調整が行われる。この場合、ＴＣ１等は、対応する分割時間帯の時間長よりも長く設定され、挿入映像の挿入等については前記の場合と同様である。

【0027】

上記の例において、削除映像部分Ｄ１、Ｄ２、Ｄ３は、前記のｔ１、ｔ２、ｔ３と同様に、番組の内容においてカットされても問題のない時間帯にある必要がある。ただし、前記のとおり、ｔ１、ｔ２、ｔ３は、撮影者によって撮影時に設定されたのに対し、削除映像部分Ｄ１、Ｄ２、Ｄ３の始期、終期の設定は、編集装置を操作する編集者によって行われる。このため、従来は、これらの始期、終期を設定するためには、編集者は、番組素材Ｖ０の内容を実際に確認する必要があった。このため、編集者によるこの編集作業は煩雑なものとなった。

【0028】

あるいは、前記のｔ１、ｔ２、ｔ３と同様にこれらの始期、終期を撮影者が設定することも不可能ではない。しかしながら、この場合には、撮影者がＴＭ１、ＴＭ２、ＴＭ３を認識した上でこれらの設定を行うことが必要となり、実質的に撮影者自身が撮影と共にノンリニア編集を行う場合と大差がなく、撮影者の作業が大幅に煩雑となる。

【0029】

これに対して、図１の映像送出システム１においては、撮影者の作業を簡略化させた上で、編集者によって編集装置１３によって行われる作業が大幅に簡略化される。以下に、このための動作について説明する。図３は、この動作を示すフローチャートである。この場合においても、図２に示されたように番組素材Ｖ０から完パケＶ１が作成されるものとする。

【0030】

図３において、まず、撮影者側から番組素材Ｖ０がこの映像編集送出システム１に入力する（Ｓ１）。これに付随して、前記のように分割時刻（ｔ１、ｔ２、ｔ３）を指定した分割情報も撮影者によって設定され、入力する。この点については従来のノンリニア編集における場合と同様である。前記のように、ｔ１、ｔ２、ｔ３は、番組素材Ｖ０においてカットされても問題のない時間帯中に設定されるが、このような時間帯は、一般的には番組素材Ｖ０において音声が有意に認識されない時間帯となる。ここで、音声が有意に認識されない場合とは、例えばスポーツ中継においてアナウンサーによる実況放送がハーフタイムにおいて行われない場合等を意味する。

【0031】

この番組素材Ｖ０、分割情報を図１における音声認識装置１５に入力する。音声認識装置１５は、番組素材Ｖ０における音声信号の強度レベルを認識し、認識された強度レベルが、予め設定された閾値以下となっている時間帯を認識する音声認識部として機能する（Ｓ２）。ここで認識される時間帯（無音時間帯）は、図２において前記のｔ１、ｔ２、ｔ３がそれぞれ含まれる３つの時間帯となり、ｔ１が含まれる無音時間帯の始期としてｔ１１が、その終期としてｔ１２が認識される。同様に、ｔ２が含まれる無音時間帯の始期、終期としてそれぞれｔ２１、ｔ２２が、ｔ３が含まれる無音時間帯の始期、終期としてそれぞれｔ３１、ｔ３２が認識される。

【0032】

次に、音声認識装置１５は、（ｔ１、ｔ１１、ｔ１２）、（ｔ２、ｔ２１、ｔ２２）、（ｔ３、ｔ３１、ｔ３２）を編集装置１３においてノンリニア編集をするための編集情報として作成する編集情報作成部として機能する（Ｓ３）。このような編集情報は番組素材Ｖ０に対応して生成され、映像管理サーバ１１に記憶される（Ｓ４）。その後、送出制御装置１２によって編集装置１３が番組素材Ｖ０及びその編集情報を映像管理サーバ１１から入手し、ノンリニア編集が開始される（Ｓ５）。

【0033】

なお、図３においては単一の番組素材Ｖ０のみがある場合について示されているが、音声認識装置１５は、複数の番組素材及び分割情報を入手した場合において、番組素材毎に、対応する編集情報を生成し、番組素材に対応させて映像管理サーバ１１に記憶させることができる。その後、送出制御装置１２からの要求により、映像管理サーバ１１に蓄積されている中から番組素材Ｖ０が選択され、編集装置１３が番組素材Ｖ０及びその編集情報を映像管理サーバ１１から入手し、ノンリニア編集が開始される。

【0034】

ここでは、まず、編集装置１３は、編集情報から分割時刻ｔ１、ｔ２、ｔ３を認識する（Ｓ６）ことにより、図２（ｂ）に示されたように、番組素材Ｖ０を４分割して分割後映像Ｖ０１、Ｖ０２、Ｖ０３、Ｖ０４を得る（Ｓ７）。この点については従来より行われているノンリニア編集と同様である。

【0035】

次に、編集装置１３は、編集情報から、ｔ１１をｔ１に対応する無音時間帯の始期として、ｔ１２をその終期として認識する。同様にｔ２に対応した無音時間帯の始期、終期としてｔ２１、ｔ２２を、同様にｔ３に対応した無音時間帯の始期、終期としてｔ３１、ｔ３２を認識する（Ｓ８）。

【0036】

この編集装置１３においては、カットされるＴＣ１の期間（削除映像部分Ｄ１）の始期、終期がそれぞれｔ１１、ｔ１２、カットされるＴＣ２の期間（削除映像部分Ｄ２）の始期、終期がそれぞれｔ２１、ｔ２２、カットされるＴＣ３の期間（削除映像部分Ｄ３）の始期、終期がそれぞれｔ３１、ｔ３２に設定される（Ｓ９）。すなわち、図２（ｃ）に示された尺調整が、（ｔ１１、ｔ１２）、（ｔ２１、ｔ２２）、（ｔ３１、ｔ３２）を用いて自動的に行われる。

【0037】

その後、映像挿入（図２（ｄ））は、前記と同様に行われ（Ｓ１０）、これによって、図２における完パケＶ１が作成される。ただし、前記のようにＴ１が定められている場合において、例えばこの段階での完パケＶ１の時間長は一般的にはＴ１と等しくならないため、この場合の完パケＶ１は仮のものである。このため、編集装置１３において、編集者によるチェックが行われる（Ｓ１１）。ここでこの完パケＶ１が要求を満たしていないと認識された場合（Ｓ１１：Ｎｏ）には、尺調整の変更（微調整）が行われる（Ｓ１２）。ここでは、例えばこの調整後の削除映像部分Ｄ１の始期をｔ１１ｘとした場合、ｔ１１ｘをｔ１１よりも後の時刻としてｔ１１＜ｔ１１ｘ＜ｔ１の範囲で、調整後の削除映像部分Ｄ１の終期をｔ１２ｘとしてｔ１２よりも前の時刻としてｔ２＜ｔ１２ｘ＜ｔ１２の範囲で、それぞれ調整させることができる。ｔ１１ｘ、ｔ１２ｘがこれらの範囲内にあれば、ｔ１１ｘとｔ１２ｘで新たに定められる削除映像部分Ｄ１の期間は、前記の無音時間帯に含まれるため、この期間がカットされても問題はない。削除映像部分Ｄ２、Ｄ３の始期、終期についても、同様に、再調整が行われる。

【0038】

この場合の作業は、例えばディスプレイ上でカーソルが上記の範囲内で動くような表示を行わせ、カーソルの位置によって新たなｔ１１ｘ等を設定させることによって、容易に行われる。この場合において、調整後の完パケＶ１の時間がＴ１と等しくなった場合においてこれを示す表示をさせるようにすれば、この作業を特に容易に行わせることができる。この際、元の番組素材Ｖ０の内容を確認することは不要であるため、作業者はこの作業を容易に行うことができる。

【0039】

あるいは、この調整作業を編集装置１３に自動的に行わせてもよい。この場合には、編集装置１３は、新たな削除映像部分Ｄ１、Ｄ２、Ｄ３の長さを、元の削除映像部分Ｄ１、Ｄ２、Ｄ３よりも各種の条件（例えば始期、終期を一定の時間差で移動させる等）下で短くした上で、完パケＶ１の時間がＴ１と等しくなるように、自動的に調整させることもできる。

【0040】

このようにして所望の要件を満たす完パケＶ１が作成されたら（Ｓ１１：Ｙｅｓ）、この完パケＶ１が最終的なものとして編集装置１３から送出装置１４に送信され、ここから放送局等に送出され、放送に供される。

【0041】

上記の例では、完パケＶ１の時間長がＴ１となっているか否かが判定（Ｓ１１）の基準とされたが、編集者がここで作成された仮の完パケＶ１（Ｓ１０）を見た上で、これ以外の様々な基準（例えば特定の分割箇所でカットされる期間をより短くし、他の分割箇所でより長くしたい場合等）でこの判定を行い、再調整（Ｓ１２）を行なってもよい。この場合においても、新たな削除映像部分を上記の範囲内で調整する限りにおいては、編集者が番組素材Ｖ０の内容を確認することは不要である。この場合、例えば、挿入映像の数が無音時間帯の数よりも少ない場合、図２において削除映像部分Ｄ２を設けず（ＴＣ２＝０とする）に、挿入映像Ｃ１、Ｃ３のみを用い、挿入映像Ｃ２を用いない構成の完パケを作成することもできる。

【0042】

また、編集情報中のｔ１１等を用いてはじめに得られた完パケＶ１（Ｓ１０）の時間長が、与えられたＴ１よりも長い場合には、この時間長をＴ１に調整するためには、図２（ｃ）における削除映像部分の時間長を、より長くすることが必要となり、この場合には、番組素材Ｖ０において削除映像部分を無音時間帯の外側にまで広げる必要がある。この場合に編集者がこの期間を新たに設定するためには、番組素材Ｖ０の内容を確認することによって新たに設定される期間の妥当性を確認する必要があるため、編集装置１３は、アラームを表示させることによって、このような状況にあることを編集者に認識させることが好ましい。用いられる挿入映像の数が分割時刻あるいは無音時間帯の数よりも多い場合等においても、同様である。ただし、単一の削除映像部分に複数の挿入映像を挿入してもよい。

【0043】

なお、上記の例では、編集情報のうち分割時刻ｔ１、ｔ２、ｔ３は予め撮影者によって設定されるものとしたが、この設定を行わせずに、音声認識装置１５によって認識された無音時間帯の始期、終期である（ｔ１１、ｔ１２）、（ｔ２１、ｔ２２）、（ｔ３１、ｔ３２）のみを編集情報として用いてもよい。この場合においては、例えば前記の再調整時（Ｓ１２）の削除映像部分Ｄ１の新たな始期ｔ１１ｘ、終期ｔ１２ｘはｔ１１≦ｔ１１ｘ＜ｔ１２ｘ≦ｔ１２の範囲内で調整される。他の削除映像部分の始期、終期についても同様である。この場合には、図１における撮影者によって作成される分割情報は不要であり、無音時間帯の始期、終期のみを特定した編集情報が音声認識装置１５によって作成される。

【0044】

この場合には、番組素材Ｖ０の撮影者は、撮影時において記録される音声信号の強度レベルを調整し、この強度レベルを低下させた時間帯を意図的に設定することによって、その後に上記のような編集を自動的に行わせることもできる。撮影者はこの作業を容易に行うことができる。

【0045】

上記の例では、挿入映像が番組素材Ｖ０における時間経過における途中に設けられたが、挿入映像が番組素材Ｖ０の開始時や終了時に設けられる場合においても、同様の作業が可能である。挿入映像が番組素材Ｖ０の開始時に設けられる場合は上記のｔ１が番組素材Ｖ０の開始時に、挿入映像が番組素材Ｖ０の終了時に設けられる場合は上記のｔ３が番組素材Ｖ０の終了時となる場合に対応する。

【0046】

音声認識装置１５による無音時間帯の認識は、前記のように番組素材Ｖ０における音声信号の強度レベルがある閾値以下となることを認識することによって行われるが、実際には、音声レベルの時間的変動は激しいため、この判定に用いられる音声レベルとして、ある一定の期間（判定期間）におけるものを用いることが好ましい。例えば、このような判定期間の長さを、想定される無音時間帯の長さよりも短い値として予め定め、判定期間内の音声レベルの最大値をこの判定に用い、この最大値が閾値以下であった場合には、この判定期間は無音時間帯に含まれるとみなすことができる。この判定期間を時間経過に応じてずらしてこの判定を行うことによって、無音時間帯の始期、終期を認識することができる。これによれば、音声レベルが低い状態が判定期間よりも短い期間でしか持続しなかった場合には無音時間帯として認識されない。

【0047】

あるいは、上記の判定において、判定期間内における音声レベルの最大値ではなく、この判定期間内の音声レベルの平均値を用いることもできる。このような無音時間帯の判定のために用いる音声レベルは、番組素材Ｖ０のカテゴリー等に応じて適宜設定することができる。

【0048】

上記のように音声レベルが低下した時間が一定時間継続しなかったために無音時間帯にあるとは認識されなかった場合においては、撮影機器等、番組素材Ｖ０がこの映像編集送出システム１に入力するまでの装置の異常によって音声信号に異常が発生した可能性がある。この場合には、音声認識装置１５は、編集装置１３（編集者）側に警告を発すると共に、番組素材Ｖ０においてこのような状況となった時刻を情報として送信することによって、編集者はこの旨を認識することができる。この場合、挿入画像の挿入とは無関係に、編集装置１３側で番組素材Ｖ０におけるこの部分をカットさせてもよい。

【0049】

上記の例では、図１の構成の映像編集送出システム１が用いられたが、同様の動作は、他の構成のシステム（装置）を用いて実現することもできる。例えば、図１の例では音声認識装置１５が音声認識部及び編集情報作成部として機能したが、これらを別の装置で実現すること、あるいはこれらが編集装置等と一体化された装置を用いることもできる。

【0050】

上記の例では、実際に元の映像（番組素材）に対して編集が行われた後の映像が出力されたが、実際の編集作業は行わずに、上記のような分割時間帯等を指定した編集情報の作成のみを行ない、この編集情報を元の映像と共に出力させてもよい。図４は、このような変形例となる映像編集送出システム２の構成を図１に対応させて示す。ここでは、上記の編集装置１３と同様に編集情報作成部として機能するが映像編集部としては機能しないカット編集装置１６が編集装置１３の代わりに用いられる。ここで編集情報と共に出力された映像に対する処理は、送出先に委ねられる。

【0051】

このように編集を行なわずに元の映像を編集情報と共に出力する場合には、編集情報を基にして、送出された映像における音声の異常を判定することもできる。図５は、このような変形例となる映像編集送出システム３の構成を図１、４に対応させて示す。ここでは、映像編集送出システム２と同様に送出される映像が再び音声認識装置（第２の音声認識部）１７を通過する。ここで、この音声認識装置１７にも編集情報を入力すれば、この音声認識装置１７では、編集情報から、元の映像で音声が立ち上がる時刻を認識することができ、この時点においても音声が立ち上がっていなければ、送出装置１４による送出作業に異常があったと認識することができる。

【0052】

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0053】

１、２、３ 映像編集送出システム
１１ 映像管理サーバ
１２ 送出制御装置
１３ 編集装置（映像編集部）
１４ 送出装置
１５ 音声認識装置（音声認識部、編集情報作成部）
１６ カット編集装置
１７ 音声認識装置（第２の音声認識部）
２０ ネットワーク
Ｃ１～Ｃ３ 挿入映像
Ｄ１～Ｄ３ 削除映像部分
Ｖ０ 番組素材（素材映像）
Ｖ０１～Ｖ０４ 分割後映像
Ｖ１ 完パケ（完成映像）
Ｖ１１～Ｖ１４ 尺調整後映像

【図1】

【図2】

【図3】

【図4】

【図5】