特許 6873878 ビデオサーバシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6873878

(24)【登録日】2021年4月23日

(45)【発行日】2021年5月19日

(54)【発明の名称】ビデオサーバシステム

(51)【国際特許分類】

   H04N 5/262 20060101AFI20210510BHJP

   H04N 21/854 20110101ALI20210510BHJP

   H04N 21/262 20110101ALI20210510BHJP

【ＦＩ】

   H04N5/262

   H04N21/854

   H04N21/262

【請求項の数】7

【全頁数】9

(21)【出願番号】特願2017-184831(P2017-184831)

(22)【出願日】2017年9月26日

(65)【公開番号】特開2019-62357(P2019-62357A)

(43)【公開日】2019年4月18日

【審査請求日】2020年7月31日

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】100097113

【弁理士】

【氏名又は名称】堀 城之

(74)【代理人】

【識別番号】100162363

【弁理士】

【氏名又は名称】前島 幸彦

(72)【発明者】

【氏名】久間 聡子

(72)【発明者】

【氏名】小薗 裕通

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２００８−２０５９９０（ＪＰ，Ａ）

【文献】 特開２００７−０９６６７５（ＪＰ，Ａ）

【文献】 特開２０００−２６１７５４（ＪＰ，Ａ）

【文献】 特開２００５−１０９５６６（ＪＰ，Ａ）

【文献】 特開２００２−２５１８６９（ＪＰ，Ａ）

【文献】 特開２００８−１８５６２６（ＪＰ，Ａ）

【文献】 国際公開第２００７／０９１５０９（ＷＯ，Ａ１）

【文献】 特開２０１２−２２２４３６（ＪＰ，Ａ）

【文献】 特開２００２−２５９７２０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０３６９６６７（ＵＳ，Ａ１）

【文献】 中国特許出願公開第１９９３９８８（ＣＮ，Ａ）

【文献】 特開２０１２−０８４９７９（ＪＰ，Ａ）

【文献】 特開２０１１−０２９９３８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２６２

Ｈ０４Ｎ ２１／２６２

Ｈ０４Ｎ ２１／８５４

(57)【特許請求の範囲】

【請求項1】

番組編集が可能なビデオサーバシステムにおいて、
番組を構成する各素材の編集時に項目素材用の使いどころをマークする項目素材マーク部と、
使いどころのマーク点をデータ管理し、各素材の使いどころと放送プレイリストをもとに、項目素材用編集データとテロップデータを作成する項目素材管理部と、
前記項目素材の編集開始時に、テロップデータをもとに、各項目素材を放送順に並べ、テロップを付加した編集タイムラインを展開する展開部と、
編集された項目素材を放送出力する送出部と、
を備えることを特徴とするビデオサーバシステム。

【請求項2】

前記項目素材マーク部は、画像認識又は音声認識によって特定画像や急に大音量となる箇所をキーに、使いどころとしてマークして自動検出することを特徴とする請求項１に記載のビデオサーバシステム。

【請求項3】

前記項目素材管理部は、前記項目素材のメタデータをもとに前記テロップデータを作成することを特徴とする請求項１または２に記載のビデオサーバシステム。

【請求項4】

前記展開部は、項目素材を編集する際、項目素材用編集データとテロップデータをもとに、項目素材編集用のタイムラインを自動展開することを特徴とする請求項１〜３までのいずれかに記載のビデオサーバシステム。

【請求項5】

テロップの表示スタイルを登録・保持するスタイル記憶部を有し、
前記展開部は、テロップデータで前記表示スタイルを指定し、編集展開時に前記スタイル記憶部を参照して前記表示スタイルを自動反映することを特徴とする請求項１〜４までのいずれかに記載のビデオサーバシステム。

【請求項6】

編集履歴から編集開始時に予め必要となる映像を予測する予測部を備え、
前記展開部は、予測した素材をまとめて展開することを特徴とする請求項１〜５までのいずれかに記載のビデオサーバシステム。

【請求項7】

前記予測部は、ニュース原稿に含まれる単語、実際の映像内容、映像に含まれている音声と、実際にニュースに使われた素材の統計から必要となる素材を予測することを特徴とする請求項６に記載のビデオサーバシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオサーバシステムに係り、例えば、放送局等において放送素材を編集して送出するビデオサーバシステムに関する。

【背景技術】

【0002】

テレビジョン放送では、カメラまたはＶＴＲ（Video Tape Recorder）などに記録さている番組やＣＭ等の放送用の映像データ（以下、素材という）を、ビデオサーバに収録してからオンエアするノンリニアバンクシステムが利用されている。このようなシステムにおいて、ビデオサーバの入出力信号を非圧縮の映像信号（ベースバンド信号）から圧縮された映像ファイルデータ形式の映像信号とし、またビデオサーバに収録されている素材から番組用放送素材を編集する機能を備えたテープレスシステムが使用されている。このようなシステムに関して、利便性等を向上させる各種の技術が提案されている（例えば特許文献１、２参照）。

【0003】

特許文献１に開示の技術では、編集時に作成されるロール情報をデータベースに送信し、そのロール情報を基にプレイリストを作成することで、編集結果の放送素材の情報とプレイリスト情報を一元管理する。その結果、作業の効率化及び入力ミスによる事故を防ぐことを実現している。

【0004】

特許文献２に開示の技術では、放送業務の編集機において使用される頻度が高い素材である詳細情報の取得処理を高速化することで、ユーザが効率よく素材の編集を行うことができるテープレスシステムを実現している。

【0005】

一般に、（１）ニュース番組を構成する各素材の編集が平行で行われ、それとは別システムで放送順序など番組の構成が決められる。（２）各素材の編集が完了すると、番組冒頭で放送される項目素材（「ダイジェスト」ともいう）を作成する。（３）項目素材にテロップを付加する。編集機のテロップ作成機能などを用いて手入力で作成する。（４）完成後、放送を出力する。

【先行技術文献】

【特許文献】

【0006】

【特許文献2】特開２００８−２０５９９０号公報

【特許文献1】特開２０１２−２２２４３６号公報

【発明の開示】

【発明が解決しようとする課題】

【0007】

ところで、項目素材の編集作業では、新規（カラ）の編集タイムラインに、各素材の使いどころをコピーして作成する。使いどころについては、項目素材の編集者が決めたり、各素材の編集者から口頭連絡で決めることが多く、また放送直前の作業となることが多いため、作業効率を向上させ、間違いを低減する技術が求められていた。

【0008】

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。

【課題を解決するための手段】

【0009】

本発明は、番組編集が可能なビデオサーバシステムにおいて、番組を構成する各素材の編集時に項目素材用の使いどころをマークする項目素材マーク部と、使いどころのマーク点をデータ管理し、各素材の使いどころと放送プレイリストをもとに、項目素材用編集データとテロップデータを作成する項目素材管理部と、前記項目素材の編集開始時に、テロップデータをもとに、各項目素材を放送順に並べ、テロップを付加した編集タイムラインを展開する展開部と、編集された項目素材を放送出力する送出部と、を備える。
また、前記項目素材マーク部は、画像認識又は音声認識によって特定画像や急に大音量となる箇所をキーに、使いどころとしてマークして自動検出してもよい。
また、前記項目素材管理部は、前記項目素材のメタデータをもとに前記テロップデータを作成してもよい。
また、前記展開部は、項目素材を編集する際、項目素材用編集データとテロップデータをもとに、項目素材編集用のタイムラインを自動展開してもよい。
また、テロップの表示スタイルを登録・保持するスタイル記憶部とを有し、前記展開部は、テロップデータで前記表示スタイルを指定し、編集展開時に前記スタイル記憶部を参照して前記表示スタイルを自動反映してもよい。
また、編集履歴から編集開始時に予め必要となる映像を予測する予測部を備え、前記展開部は、予測した素材をまとめて展開してもよい。
また、前記予測部は、ニュース原稿に含まれる単語、実際の映像内容、映像に含まれている音声と、実際にニュースに使われた素材の統計から必要となる素材を予測してもよい。

【発明の効果】

【0010】

本発明よれば、項目素材の編集作業負荷を軽減し、作業ミスを低減する技術を提供できる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る、ビデオサーバシステムの構成を示すブロック図である。

【図2】実施形態に係る、項目素材の生成フローを示すチャート図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について図面を参照して詳細に説明する。
図１は、本実施形態に係るビデオサーバシステム１００の構成を示すブロック図である。図示のように、ビデオサーバシステム１００は、ビデオサーバ１０と、編集機２０と、ディスプレイ３０とを備える。

【0013】

ディスプレイ３０は、編集機２０に接続されており、素材一覧の表示用の素材一覧表示用ディスプレイ３１と、素材一覧から番組用放送素材を編集するための編集用ディスプレイ３２があり、それらは操作卓としての機能を備える。

【0014】

ビデオサーバ１０はＷＥＢサーバ機能を、編集機２０はＷＥＢクライアント機能（ＷＥＢクライアント部２３）を備える。ビデオサーバ１０と編集機２０とは、それら機能によって接続される。ビデオサーバ１０には、複数の編集機２０が接続されることが多いが、ここでは１台の編集機２０と、編集機２０に接続される１台のディスプレイ３０のみを示す。

【0015】

ビデオサーバ１０は、取込機能、ファイルシステム機能、リレーショナルデータベース機能、記憶装置、通信機能（ＷＥＢサーバ機能等）等の一般的な機能を備えており、カメラまたはＶＴＲなどから入力した複数の素材を収録し、また素材に対応付けられたメタデータ（基本情報及び詳細情報）を記録している。なお、メタデータは、素材自体のデータに含まれてもよいし、素材のデータとは別に記憶されてもよい。

【0016】

基本情報とは、例えば、素材ＩＤ，タイトル、コメント、撮影日時等の撮影情報、収録日時等の収録情報、及びサムネイルから構成される素材の情報である。また、ビデオサーバ１０は、編集機２０で生成された番組用放送素材（項目素材や各種の素材等が纏められたコンテンツ）を放送出力（オンエア）する。

【0017】

詳細情報とは、例えば、Ｉｎ点（挿入開始点）、Ｏｕｔ点（挿入終了点）、著作権情報、ダビング履歴、キャプション、削除制限日時、放送制限日時等の放送業務ワークフロー上の多岐にわたる情報で、素材への直接の操作がなくても更新される情報を含んでいる。

【0018】

編集機２０は、ディスプレイ３０に対するユーザ操作に基づいてビデオサーバ１０から素材を取得して番組用放送素材に編集する。編集された番組用放送素材は、再びビデオサーバ１０に収録されオンエアされる。

【0019】

具体的には、編集機２０は、ビデオサーバ１０から所望の素材一覧を取得し表示する素材一覧アプリケーション部２１と、表示された素材一覧から番組用放送素材を編集する編集用アプリケーション部２２と、ＷＥＢクライアント部２３とを備える。

【0020】

素材一覧アプリケーション部２１は、素材一覧表示用ディスプレイ３１の操作卓の機能から素材一覧要求を受信すると、素材一覧を収集し、Ｗｅｂクライアント部２３に出力する。

【0021】

編集アプリケーション部２２は、基本的な機能として、素材プレビュー領域、タイムライン表示領域等を有する基本画面、素材一覧画面、及び素材詳細情報画面とをディスプレイ３０に操作可能に表示する。

【0022】

素材一覧画面には、例えばOnDragDropイベントハンドラが設定されており、クリップボードに保持された情報が素材ＩＤの書式かどうかを判断し、書式が合致すれば、それを素材ＩＤで特定されるビデオサーバ１０に保存されているファイルのマウントを行う。このマウントにより、ユーザは、編集用ディスプレイ３２で素材の編集を行うことができる。

【0023】

Ｗｅｂクライアント部２３は、素材一覧表示用ディスプレイ３１から素材一覧要求を受信し、また、素材一覧表示用ディスプレイ３１に素材一覧を送信する。

【0024】

ここで、ビデオサーバシステム１００において、編集機２０が素材の基本情報と詳細情報を表示するまでの基本的な手順について簡単に説明する。

【0025】

ユーザが素材一覧表示用ディスプレイ３１から検索条件を指定して素材一覧の表示要求を行うと、素材一覧表示用ディスプレイ３１から編集機２０に対して素材一覧要求が送信される。編集機２０が素材一覧要求を受信すると、素材一覧アプリケーション部２１が素材一覧要求をビデオサーバ１０に送信する。

【0026】

ビデオサーバ１０は、素材一覧要求を受信すると、その素材一覧要求に対する応答として、指定された検索条件に対する各素材の基本情報を収集した素材一覧データを編集機２０に送信する。

【0027】

編集機２０の素材一覧アプリケーション部２１は、素材一覧データを受信すると、素材一覧データを素材一覧表示用ディスプレイ３１の素材一覧画面に表示する。ユーザが素材一覧表示用ディスプレイ３１に表示された素材一覧画面から、例えば基本情報の素材ＩＤなどを１つずつ指定することで、その素材の詳細情報要求を行うとことで、素材一覧表示用ディスプレイ３１から編集機２０に対して詳細情報要求が送信される。編集機２０の素材一覧アプリケーション部２１は、詳細情報要求を受信すると、詳細情報要求をビデオサーバ１０に送信する。

【0028】

ビデオサーバ１０は、詳細情報要求を受信すると、その詳細情報要求に対する応答として、指定された検索条件に対する各素材の詳細情報である詳細情報データを編集機２０に送信する。

【0029】

編集機２０の素材一覧アプリケーション部２１は、詳細情報データを受信すると、詳細情報データを素材一覧表示用ディスプレイ３１の素材詳細情報画面に表示する。

【0030】

また、素材一覧アプリケーション部２１は、編集用ディスプレイ３２からビデオサーバ１０に収録されている素材にアクセスできるようにするため、ビデオサーバ１０の素材に対してマウントを行う。このマウントにより、編集用ディスプレイ３２はビデオサーバ１０に保存されている素材を用いて編集を行うことができる。

【0031】

続いて、本実施形態において特徴的な機能、すなわち、編集用アプリケーション部２２における項目素材の編集機能について説明する。詳細は次に説明するが、項目素材の編集機能では、次の特徴を有する。
（１）各素材の編集時に項目素材用（ダイジェスト）の使いどころを、マークする。画像認識・音声認識によって特定画像や急に大音量となるポジションなどをキーに、使いどころとして自動検出する。
（２）各素材の使いどころと放送プレイリストをもとに、項目素材用編集データを作成する。また、素材のメタデータをもとにテロップデータを作成する。
（３）項目素材の編集開始時に、上記（２）の成果物をもとに、各素材を放送順に並べ、テロップを付加した編集タイムラインを展開する。編集者は内容の確認と手直しが可能である。使いどころの変更は、上記（１）と同様に自動検出機能を用いることができる。

【0032】

編集用アプリケーション部２２は、項目素材マーク部５１と、項目素材管理部５２と、展開部５３と、テロップデータ作成部５４と、スタイル記憶部５５と、予測部５６とを備える。

【0033】

項目素材マーク部５１は、各素材の項目素材用（ダイジェスト）としての使いどころをマークする。上述のように、ニュース番組等では、番組を構成する各素材の編集が平行で行われ、それら各素材の編集とは別に放送順序などの番組の構成が決定される。各素材の編集が完了すると、番組冒頭で放送される項目素材が作成され、さらにテロップが付加すされる。本実施形態では、項目素材マーク部５１は、手動（ユーザの目視）によるマーク機能とともに自動マーク機能を有し、画像認識又は音声認識によって特定画像や急に大音量となる箇所をキーに、使いどころとしてマーク（マーク点）して自動検出する。

【0034】

項目素材管理部５２は、項目素材マーク部５１によってマークされた使いどころのマーク点をデータ管理し、各素材の使いどころと放送プレイリストをもとに項目素材用編集データとテロップデータを作成する。項目素材管理部５２は、テロップデータを作成する際に項目素材のメタデータを参照して作成する。

【0035】

展開部５３は、項目素材を編集する際に、テロップデータをもとに、各項目素材を放送順に並べ、テロップを付加した編集タイムラインを展開する。また、展開部５３は、項目素材を編集する際、項目素材用編集データとテロップデータをもとに、項目素材編集用のタイムラインを自動展開する。編集者は、展開された内容を確認し必要に応じて手直しをする。使いどころの変更は、例えば、使いどころのマーク点の自動検出機能を実行して、候補点を選択可能に表示させる。

【0036】

スタイル記憶部５５は、テロップの表示スタイルを登録・保持する。展開部５３は、テロップデータで表示スタイルを指定し、編集展開時にスタイル記憶部５５を参照して表示スタイルを自動反映する。

【0037】

予測部５６は、予め各素材を読込んだ状態で編集を行い、編集履歴から編集開始時に予め必要となる映像を予測する。したがって、展開部５３は、予測部５６の機能を用いることで、予測した素材をまとめて展開（編集可能に表示）する。ここで、予測部５６は、ニュース原稿に含まれる単語、実際の映像内容、映像に含まれている音声と、実際にニュースに使われた素材の統計とから、必要となる素材を予測する。

【0038】

図２は、項目素材の生成フローを示すチャート図である。
まず、編集機２０において、各素材の編集作業がそれぞれ平行して行われる（Ｓ１０）。ここでは、素材Ａ、素材Ｂ及び素材Ｃが放送素材として利用される。項目素材マーク部５１は、各素材の項目素材用（ダイジェスト）としての使いどころを、特定画像や音量等を基準に自動的にマークする。マーク点については、項目素材管理部５２がデータ管理する。成果物として、素材Ａ、素材Ｂ及び素材Ｃのそれぞれに使いどころが追加されたデータが生成される。

【0039】

次に、項目素材用編集データが作成される（Ｓ２０）。具体的には、展開部５３が、各素材の編集作業（Ｓ１０）の成果物と放送順決定処理における放送プレイリストをもとに、項目素材用編集データを生成する。項目素材用編集データとは、どの素材をどの放送タイミング（開始時刻。終了時刻）とするかの一覧である。また、テロップデータ作成部５４は、各素材（ここでは素材Ａ、素材Ｂ、素材Ｃ）のメタデータをもとにテロップデータを生成する。このとき、テロップデータ作成部５４は、スタイル記憶部５５を参照して、テロップのスタイルを決定する。

【0040】

次に、展開部５３は、各素材を放送順に並べ、テロップを付加した編集タイムラインを展開する（Ｓ３０）。このとき、編集者は、内容を確認するとともに必要に応じて使い所を変更する。完了後、展開部５３は、放送素材（項目素材、素材Ａ、素材Ｂ、素材Ｃ）としてＷＥＢクライアント部２３を介してビデオサーバ１０に出力し、最終的にビデオサーバ１０は、所期のタイミングで、放送プレイリストに基づき放送される（Ｓ４０）。

【0041】

このように、素材の編集時に、自動的に項目素材用の使いどころがマークされるので、項目素材の編集作業負荷を軽減することができる。また、各素材の編集者が使いどころをマークしておくことで、編集者の見せたい部分をミスなく確実に反映できる。

【0042】

続いて、予測部５６の機能について説明する。一般的な技術では、映像を編集するとき、編集者（ユーザ）は素材一覧から目的の映像を検索する必要がある。検索には、（Ａ）番組名（Ｂ）日付（Ｃ）タイトル・サブタイトルを指定し、実際に試写を行いながら目的の映像を探す。通常は、編集開始時に必要となる素材を探す必要がある。検索を行っても、試写の結果、目的の素材では無いことや、実際に見つけられないこともある。

【0043】

そこで、本実施形態では、編集機２０の予測部５６が、予め必要となる映像を予測し、ひとまとめにして編集者に提供する。すなわち、これまで素材の分類分けに利用されていなかった情報（ニュース原稿に含まれている単語、実際の映像内容、映像に含まれている音声と、実際にニュースに使われた素材の統計など）から、必要となる素材を予想する。分類分けの結果に基づき、編集開始時に必要となる素材をひとまとめにしてユーザへ提供する。予測技術については、特に限定しないが、近年精度向上しているＡＩ技術（ディープラーニング）等の学習機能を用いることで、編集者に対して、より望ましい素材候補を提供することができる。

【0044】

すなわち、過去の編集履歴から編集開始時に必要となる素材を予想して、予め素材を読込んだ状態で編集を開始することができる。これによって、編集者は、自ら素材を探す手間を大幅に削減できる。また、学習機能により、編集者が認識していた素材より適切な素材を見つけ出すことが可能となる。

【0045】

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0046】

１０ ビデオサーバ
２０ 編集機
２１ 素材一覧アプリケーション部
２２ 編集用アプリケーション部
２３ ＷＥＢクライアント部
３０ ディスプレイ
３１ 素材一覧表示用ディスプレイ
３２ 編集用ディスプレイ
５１ 項目素材マーク部
５２ 項目素材管理部
５３ 展開部
５４ テロップデータ作成部
５５ スタイル記憶部
５６ 予測部
１００ ビデオサーバシステム

【図1】

【図2】