(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022047016
(43)【公開日】2022-03-24
(54)【発明の名称】プレビュー装置、プレビュープログラム
(51)【国際特許分類】
H04N 21/431 20110101AFI20220316BHJP
H04N 21/433 20110101ALI20220316BHJP
H04N 21/435 20110101ALI20220316BHJP
【FI】
H04N21/431
H04N21/433
H04N21/435
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2020152710
(22)【出願日】2020-09-11
(71)【出願人】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(71)【出願人】
【識別番号】301063496
【氏名又は名称】東芝デジタルソリューションズ株式会社
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100103034
【弁理士】
【氏名又は名称】野河 信久
(74)【代理人】
【識別番号】100075672
【弁理士】
【氏名又は名称】峰 隆司
(74)【代理人】
【識別番号】100153051
【弁理士】
【氏名又は名称】河野 直樹
(74)【代理人】
【識別番号】100162570
【弁理士】
【氏名又は名称】金子 早苗
(72)【発明者】
【氏名】揚石 亮平
(72)【発明者】
【氏名】小林 慶太
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA29
5C164MB11S
5C164SB36S
5C164UB10P
5C164UB23S
5C164UB36P
5C164UB88P
5C164UD41S
(57)【要約】
【課題】専用のハードウェアや事前のエンコード処理をすることなく放送用素材のプレビューを可能とするプレビュー装置を提供すること。
【解決手段】実施形態によれば、プレビュー装置は、記録部、素材解析部、デコード部、映像合成部を有する。プレビュー装置は、放送用素材のデータを放送局用のフォーマットにより保存するファイル、及び前記放送用素材の再生を制御するための再生情報を格納する。素材解析部は、プレビューの対象とする放送用素材の再生情報をもとに前記放送用素材を解析して、プレビューに必要な放送用素材のデータを抽出する。デコード部は、前記素材解析部により抽出された放送用素材のデータをデコードする。映像合成部は、前記デコード部によりデコードされた放送用素材のデコード結果をブラウザで再生可能な形式に合成する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
放送用素材のデータを放送局用のフォーマットにより保存するファイル、及び前記放送用素材の再生を制御するための再生情報を格納する記録部と、
プレビューの対象とする放送用素材の再生情報をもとに前記放送用素材を解析して、プレビューに必要な放送用素材のデータを抽出する素材解析部と、
前記素材解析部により抽出された放送用素材のデータをデコードするデコード部と、
前記デコード部によりデコードされた放送用素材のデコード結果をブラウザで再生可能な形式に合成する映像合成部とを有するプレビュー装置。
【請求項2】
前記放送用素材に含まれる映像、字幕、提供表示から少なくとも1つをプレビューの対象とする指定を入力する入力部をさらに有し、
前記映像合成部は、入力された指定に対応する映像、字幕、提供表示の少なくとも1つをブラウザで再生可能な形式に合成する請求項1記載のプレビュー装置。
【請求項3】
前記デコード部と前記映像合成部とをそれぞれ複数設けて、複数のフレームについて並列処理する請求項1記載のプレビュー装置。
【請求項4】
サーバと、ネットワークを介して接続された端末とを有するプレビュー装置であって、
前記サーバは、
放送用素材のデータを放送局用のフォーマットにより保存するファイル、及び前記放送用素材を再生するための再生情報を格納する記録部と、
前記端末からの要求に応じて、プレビューの対象とする放送用素材の再生情報をもとに前記放送用素材を解析して、プレビューに必要な放送用素材のデータを抽出する素材解析部とを有し、
前記端末は、
前記素材解析部により抽出された放送用素材のデータをデコードするデコード部と、
前記デコード部によりデコードされた放送用素材のデコード結果をブラウザで再生可能な形式に合成する映像合成部とを有するプレビュー装置。
【請求項5】
コンピュータを、
サーバの記録部に記録された放送用素材からプレビューの対象を指定させる画面を表示させる表示部と、
前記画面を通じて指定されたプレビューの対象に応じて、放送用素材のデータを放送局用のフォーマットにより保存するファイルからプレビューの対象とする放送用素材の再生情報をもとに前記放送用素材を解析して抽出された、プレビューに必要な放送用素材のデータを前記サーバから受信するインタフェース部と、
前記インタフェース部により受信された放送用素材のデータをデコードするデコード部と、
前記デコード部によりデコードされた放送用素材のデコード結果をブラウザで再生可能な形式に合成する映像合成部として機能させるためのプレビュープログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プレビュー装置、プレビュープログラムに関する。
【背景技術】
【0002】
放送に送出する放送用素材については、放送前に事前確認するためにプレビュー装置が用いられる。従来のプレビュー装置では、例えば特許文献1に記載されているように、番組オンエアの情報に基づき、サーバ制御によってビデオサーバやデコーダ、スイッチャーなどのハードウェアを制御してモニタに素材を表示するプレビューする第1の方法がある。
【0003】
また、特許文献2に記載するように、ハードウェアを制御してプレビューするのではなく、放送用素材のデータに対して、事前にWebブラウザで再生可能な形式に変換(エンコード)してWebプレビュー用のメディアファイルを生成し、このメディアファイルをサーバに蓄積しておくことで、メディアファイルをもとにWeb素材をプレビューする第2の方法がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005-244713号公報
【特許文献2】特開2010-183264号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に記載された第1の方法では、プレビューのための専用のハードウェアを用意する必要があるため、設備投資のコスト増加が必要であり、またプレビューに専用のハードウェアが設置された場所でしかプレビューを行うことができないといった課題があった。
【0006】
また、特許文献2に記載された第2の方法では、Web上でのプレビューを行う方法であるため、ネットワークを介して接続された端末で再生可能であるものの、放送用素材のデータに対して事前にエンコードしてメディアファイルを生成し、サーバに蓄積しておく必要があるため手間がかかってしまう。また、放送用素材のデータに対してエンコードした場合、放送用素材のデータとは異なるフォーマットのメディアファイルに変換されているため、メディアファイルに基づくプレビューが放送用素材のデータに対するプレビューと同一であるとはいえなかった。
【0007】
本発明が解決しようとする課題は、専用のハードウェアや事前のエンコード処理をすることなく放送用素材のプレビューを可能とするプレビュー装置、プレビュープログラムを提供することである。
【課題を解決するための手段】
【0008】
実施形態によれば、プレビュー装置は、記録部、素材解析部、デコード部、映像合成部を有する。プレビュー装置は、放送用素材のデータを放送局用のフォーマットにより保存するファイル、及び前記放送用素材の再生を制御するための再生情報を格納する。素材解析部は、プレビューの対象とする放送用素材の再生情報をもとに前記放送用素材を解析して、プレビューに必要な放送用素材のデータを抽出する。デコード部は、前記素材解析部により抽出された放送用素材のデータをデコードする。映像合成部は、前記デコード部によりデコードされた放送用素材のデコード結果をブラウザで再生可能な形式に合成ブラウザで再生可能な形式に合成する。
【図面の簡単な説明】
【0009】
【
図1】本実施形態におけるWebプレビュー装置の構成を示すブロック図。
【
図2】本実施形態における映像合成部の構成を示すブロック図。
【
図3】放送用素材のベース映像のデータを保存するMXFファイルのデータ形式を示す図。
【
図5】本実施形態における端末の動作を示すフローチャート。
【
図6】本実施形態におけるサーバの動作を示すフローチャート。
【
図7】本実施形態におけるプレビュー設定画面の一例を示す図。
【
図8】本実施形態における端末の別の機能構成を示す図。
【発明を実施するための形態】
【0010】
以下、実施形態について図面を参照して説明する。
【0011】
本実施形態におけるWebプレビュー装置1は、サーバ11に記憶された放送用素材を端末21でデコードし、映像合成することによりプレビューを行うものである。端末12は、サーバ11に対して放送用素材の取得を要求し、サーバ11で放送用素材や放送用素材の再生を制御するための再生情報からプレビューに必要なデータのみを抽出・生成する。端末12は、サーバ11で生成された放送用素材のデータについてデコードを行い、デコード結果を合成して出力する。
【0012】
これにより、従来の手法では必要だった、放送用素材に対する事前のエンコード処理を行わずに、プレビューすることを可能にする。
【0013】
[Webプレビュー装置1の構成]
図1は、本実施形態におけるWebプレビュー装置1の構成を示すブロック図である。本実施形態におけるWebプレビュー装置1は、サーバ11と、ネットワーク30を介して接続される端末21を備える。
図1では、1つの端末21を示しているが、複数の端末21が設けられていても良い。
【0014】
サーバ11は、プロセッサ、メモリ及び記憶装置を含むコンピュータの構成を有しており、プロセッサによりメモリに記憶されたプログラムを実行することで各種の機能を実現する。
【0015】
サーバ11は、ファイルサーバ111、データベース(DB)112、素材解析部113、Webサーバ部114を有している。
【0016】
ファイルサーバ111は、放送用素材のデータを放送局用のフォーマットにより保存するファイルを格納する。放送局用のフォーマットとして、例えばMXF(Material eXchange Format)が用いられる(
図3参照)。MXFファイルは、放送用素材などをファイル化したうえで、例えば放送局間でネットワークを通じて伝送するのに好適なコンテナフォーマットである。放送用素材には、例えばベース映像、字幕、提供表示などが含まれる。
【0017】
DB112は、ファイルサーバ111に格納された放送用素材の再生を制御するための再生情報を格納する(
図4参照)。
【0018】
素材解析部113は、DB112に格納された再生情報をもとに、ファイルサーバ111に格納されたMXFファイルからプレビューに必要な映像・音声データ、字幕、提供表示のデータを解析し、抽出する。
【0019】
Webサーバ部114は、端末21のインタフェース部214との通信を行う。
【0020】
端末21は、プロセッサ、メモリ及び記憶装置を含むコンピュータの構成を有しており、プロセッサによりメモリに記憶されたプログラムを実行することで各種の機能を実現する。端末21は、例えばプロセッサによりプレビュープログラムを実行することで、サーバ11に格納された放送用素材についてプレビューするための機能を実現する。プレビュープログラムには、例えば、Webブラウザプログラム、ブラウザ上で実行されるJavaScript(登録商標)によるプログラムなどを含む。
【0021】
端末21は、プレビュープログラムにより、デコード部211、映像合成部212、メイン部213、インタフェース部214の機能を実現する。
【0022】
デコード部211は、サーバ11の素材解析部113で抽出された放送用素材(例えば、ベース映像、字幕、提供表示など)のデータに対するデコード処理を行う。
【0023】
映像合成部212は、デコード部211によりデコードされた放送用素材のデコード結果を、メイン部213(ブラウザ)により再生可能に合成する。映像合成部212は、例えばHTML(Hyper Text Markup Language)(HTML5)のCanvasの技術仕様に従い、例えば、ベース映像、字幕、提供表示などの映像の描画内容を指定する。
【0024】
メイン部213は、例えばWebブラウザにより実現されるもので、デコード部211、映像合成部212、インタフェース部214への処理要求の割り振りを行う。メイン部213は、プレビュー対象とする素材の指定、及び放送用素材に含まれる映像、字幕、提供表示の少なくとも1つをプレビューの対象とする指定を入力するためのプレビュー設定画面をディスプレイに表示させる。メイン部213は、デコード部211により合成された放送用素材のデコード結果に応じてプレビューをディスプレイに表示させる。
【0025】
インタフェース部214は、Webサーバ部114との通信を行う。
【0026】
次に、本実施形態における映像合成部212の機能について説明する。
図2は、本実施形態における映像合成部212の構成を示すブロック図である。
【0027】
映像合成部212は、例えば、ベース映像Canvas212a、提供Canvas212b、字幕Canvas212c、出力Canvas212dを備える。
【0028】
ベース映像Canvas212a及び提供Canvas212bは、デコード部211によりデコードされた映像(ベース映像、提供表示の映像)の描画を行う。字幕Canvas212cは、素材解析部113で解析された字幕情報を描画する。出力Canvas212dは、ベース映像Canvas212a、提供Canvas212b、字幕Canvas212cを順次合成し、出力映像を生成する。
【0029】
また、映像合成部212(出力Canvas212d)は、メイン部213により表示されたプレビュー設定画面を通じて入力された指定に応じて、プレビューの表示対象とする放送用素材(ベース映像、字幕、提供表示)に応じて、ベース映像Canvas212a、提供Canvas212b、字幕Canvas212cの何れかを選択して合成することができる。
【0030】
図3は、サーバ11のファイルサーバ111に格納される放送用素材のベース映像のデータを保存するMXFファイルのデータ形式を示す図である。
【0031】
MXFファイルはコンテナフォーマットであるため、様々な方式の映像のエンコード方式を用いることができる。本実施形態では、例えばMPEG(Moving Picture Experts Group)-2、LongGOPを用いるものとする。なお、MPEG-2、 LongGOPに限定するものではない。
【0032】
図3に示すように、ベース映像のMXFファイル31では、1フレーム毎に映像データと音声データ1~8、及び字幕データが含まれている。
【0033】
MXFファイルは、KLV(Key-length-value)と呼ばれるデータ要素の集まりからなるファイルフォーマットである。素材解析部113は、プレビューの対象とする放送用素材の再生情報に応じて、MXFファイルのKey値をもとに映像及び字幕のデータの抽出を行う。素材解析部113により抽出された映像及び字幕のデータは、いくつかのフレーム数分をまとめて(例えば15フレーム分)端末21に送信される。
【0034】
なお、ファイルサーバ111には、提供表示のデータが保存されたMXFファイルが、
図3に示すMXFファイル31と同様のフォーマットにより格納されている。この場合、字幕は、例えば提供元の会社名を表示するためのデータとなる。データ形式が同一であるので提供表示のデータが保存されたMXFファイルの図示を省略する。
【0035】
図4は、DB112に格納される再生情報の一例を示す図である。
【0036】
図4は、例えば素材X(例えば、放送番組X)に対する再生情報を示すもので、再生開始時刻、再生終了時刻、提供表示に関する提供情報が含まれる。提供情報には、素材X(番組)の放送中に提供情報が表示される回数分(
図4では2回)の情報が含まれる。提供情報には、開始時刻、終了時刻、素材IDが含まれる。素材IDは、提供表示に使用される映像のファイルを指定するデータである。
【0037】
素材解析部113は、再生情報に応じて、プレビューの対象として指定された素材を表示するためのデータを、ファイルサーバ111に格納されたMXFファイルから抽出する。
【0038】
[Webプレビュー装置1の動作]
図5は、本実施形態における端末21の動作を示すフローチャートである。
図6は、本実施形態におけるサーバ11の動作を示すフローチャートである。
【0039】
端末21のメイン部213は、サーバ11に格納された放送用素材からプレビュー対象を指定させるためのプレビュー設定画面をディスプレイに表示させる(ステップA1)。
【0040】
図7は、本実施形態におけるプレビュー設定画面の一例を示す図である。
図7に示すプレビュー設定画面では、プレビューの対象とする素材の指定を入力するための素材指定エリア41、再生対象とする放送用素材のベース映像、字幕、提供表示のそれぞれについて、各映像の合成有無を指定するためのベース映像ボタン421,字幕ボタン422,提供表示ボタン423が設けられている。また、設定完了を指示すためのOKボタン43と設定中止を指示するためのNGボタン44が設けられている。
【0041】
素材指定エリア41では、例えばサーバ11(ファイルサーバ111)に格納された素材の一覧が表示され、その一覧からプレビューの対象を指定することができる。
図4では「素材X」がプレビュー対象として指定された状態を示している。
【0042】
また、
図7では、再生対象として、ベース映像ボタン421と字幕ボタン422が選択状態にあり、提供表示を除いたベース映像と字幕の映像を合成したプレビューを表示することを指定したことを示している。
【0043】
メイン部213は、OKボタン43が指示されことによりプレビュー対象とする素材の設定完了が指示されると、プレビュー設定画面における指定された内容を入力し、インタフェース部214に素材の取得を要求する(ステップA2)。すなわち、プレビューの対象とする素材(
図4に示す設定では「素材X」)の取得を要求する。
【0044】
インタフェース部214は、Webサーバ部114に素材の取得を要求する(ステップA3)。
【0045】
サーバ11のWebサーバ部114は、端末21から素材の取得の要求を受信すると(
図6、ステップB1)、素材解析部113に端末21からプレビューの対象として要求された素材の解析を要求する(ステップB2)。
【0046】
素材解析部113は、ファイルサーバ111からプレビューの対象とする素材のデータを取得し、またDB112からプレビューの対象とする放送用素材に対応する再生情報を取得する(ステップB3)。
【0047】
素材解析部113は、取得したプレビューの対象とする放送用素材の再生情報をもとに放送用素材を解析し、端末21において指定された素材についてプレビューの映像を表示するために必要なデータをMXFファイルから抽出する(ステップB4)。
【0048】
Webサーバ部114は、素材解析部113による解析により抽出されたデータを、端末21のインタフェース部214に送信する(ステップB5)。
【0049】
端末21のインタフェース部214は、Webサーバ部114を経由して、素材解析部113から解析結果データを取得する(
図5、ステップA4)。
【0050】
メイン部213は、インタフェース部214から放送用素材のデータを受け取り、デコード部211に対してデコード要求を行う(ステップA5)。
【0051】
デコード部211は、デコード要求に従い、サーバ11から受信された放送用素材のベース映像及び提供映像のデータに対してデコードを行う(ステップA6)。デコード部211によるデコードは、放送用素材のデータに対してエンコードする場合と異なるため、本来の放送用素材の内容を変更しない。
【0052】
メイン部213は、デコード部211によるデコード結果を映像合成部212に渡してデコード結果の合成を要求する(ステップA7)。
【0053】
映像合成部212は、メイン部213からの要求に従い、デコード部211によるデコード結果を合成する(ステップA8)。ここで、映像合成部212は、プレビュー設定画面において指定されている、プレビューの表示対象とする放送用素材(ベース映像、字幕、提供表示)について合成する。例えば、
図7に示すプレビュー設定画面のように、映像と字幕が指定されている場合、映像合成部212の出力Canvas212dは、ベース映像Canvas212aと字幕Canvas212cとを合成して出力映像を生成する。
【0054】
メイン部213は、映像合成部212により合成された出力映像をブラウザ画面において表示させる(ステップA9)。メイン部213により表示されるプレビューでは、事前にプレビュー設定画面において指定した対象(ベース映像、字幕、提供表示)が合成されて表示されるので、プレビューの目的にあった映像の確認ができる。
【0055】
このようにして、本実施形態におけるWebプレビュー装置1では、放送用素材を解析して抽出されたプレビュー対象とするデータに対するデコード処理を行うことにより、専用のハードウェアを用いずに、かつ事前のエンコード処理を行わずに放送用素材のプレビューが可能となる。
【0056】
従って、プレビューのための専用のハードウェアが不要であるので設備投資のコストの増加を招かなくて済み、また専用のハードウェアが設置された場所に限らず、サーバ11とネットワーク30を介して接続された、任意の場所に設置された端末21においてプレビューを閲覧することができる。
【0057】
さらに、プレビューを表示させるために事前のエンコード処理などを行う必要がなくなるため、プレビューを表示するための手間を省き時間の短縮が可能となる。
【0058】
なお、端末21の機能構成を
図1とは異なる
図8に示すようにしても良い。
【0059】
放送用素材は、多くの場合、30fps(29.97fps)のフレームレートであるため、1秒間に30枚のフレームを描画する必要がある。
図8に示す構成では、複数のデコード部211-1~211-n、複数の映像合成部212-1~212-n、複数のインタフェース部214-1~214-nを設ける。すなわち、各処理部を例えばWebWoker(登録商標)を用いてスレッド化し、複数のフレームについて並列処理を行うことができるようにする。これにより、スムーズなプレビューの表示を可能にすることができる。
【0060】
また、前述した説明では、Webプレビュー装置1は、サーバ11と端末21により構成しているが、前述したサーバ11と端末21の機能を一体化した装置として実現することも可能である。
【0061】
また、上記の各実施形態に記載した手法は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク、ハードディスクなど)、光ディスク(CD-ROM、DVDなど)、光磁気ディスク(MO)、半導体メモリなどの記憶媒体に格納して頒布すること
もできる。
【0062】
また、この記憶媒体としては、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であっても良い。
【0063】
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)や、データベース管理ソフト、ネットワークソフト等のMW(ミドルウェア)等が上記実施形態を実現するための各処理の一部を実行しても良い。
【0064】
さらに、各実施形態における記憶媒体は、コンピュータと独立した媒体に限らず、LANやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
【0065】
また、記憶媒体は1つに限らず、複数の媒体から上記の各実施形態における処理が実行される場合も本発明における記憶媒体に含まれ、媒体構成は何れの構成であっても良い。
【0066】
なお、各実施形態におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、上記の各実施形態における各処理を実行するものであって、パーソナルコンピュータ等の1つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であっても良い。
【0067】
また、各実施形態におけるコンピュータとは、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の機能を実現することが可能な機器、装置を総称している。
【0068】
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0069】
1…Webプレビュー装置、11…サーバ、111…ファイルサーバ、112…データベース(DB)、113…素材解析部、114…Webサーバ部、21…端末、211,211-1,…,211-n…デコード部、212,212-1,…,212-n…映像合成部、213…メイン部、214,214-1,…,214-n…インタフェース部、30…ネットワーク、212a…ベース映像Canvas、212b…提供Canvas、212c…字幕Canvas、212d…出力Canvas。