(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024001432
(43)【公開日】2024-01-10
(54)【発明の名称】IP番組切替装置及びIP番組切替プログラム
(51)【国際特許分類】
H04N 21/242 20110101AFI20231227BHJP
H04N 21/234 20110101ALI20231227BHJP
【FI】
H04N21/242
H04N21/234
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022100065
(22)【出願日】2022-06-22
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100106002
【弁理士】
【氏名又は名称】正林 真之
(74)【代理人】
【識別番号】100120891
【弁理士】
【氏名又は名称】林 一好
(72)【発明者】
【氏名】福留 大貴
(72)【発明者】
【氏名】黒住 正顕
(72)【発明者】
【氏名】西出 彩花
(72)【発明者】
【氏名】西村 敏
(72)【発明者】
【氏名】西本 友成
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164SA32S
5C164SB01P
5C164SB10P
5C164SB41S
5C164YA21
(57)【要約】
【課題】高精度な番組切替機能を持ったリニア配信サービスをIP環境で運用可能とするためのIP番組切替装置を提供すること。
【解決手段】IP番組切替装置5は、ロケーションの異なる拠点で制作されたライブ番組素材が軽圧縮され、基準時刻から生成されるタイムスタンプが付加され、IP伝送によって送信される番組素材ストリームを受信し、番組編成情報に指定された番組切替時刻から算出される切替時刻タイムスタンプ値に基づいて、切替前の番組素材ストリームの切替直前の素材フレームのタイムスタンプ値及び切替後の番組素材ストリームの切替直後の素材フレームのタイムスタンプ値を算定し、切替直前の素材フレームから、切替直後の素材フレームにフレーム精度で切替える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
通信可能に接続されるライブ伝送装置及び/又はファイル伝送装置から、番組編成情報により指定された時刻に送信される、伝送用プロトコルヘッダに基準時刻から生成されるタイムスタンプが付加された番組素材ストリームを受信するストリーム受信部と、
前記番組素材ストリームを前記ストリーム受信部から受取り、前記番組編成情報に指定された番組切替時刻から算出される切替時刻タイムスタンプ値TSPtgtに基づいて、切替前の番組素材ストリームにおける切替直前の素材フレームのタイムスタンプ値TSPend及び切替後の番組素材ストリームにおける切替直後の素材フレームのタイムスタンプ値TSPstartを算定し、
切替前の番組素材ストリームにおける切替直前の素材フレームから、切替後の番組素材ストリームにおける切替直後の素材フレームにフレーム精度で切替える番組切替部と、
前記番組素材ストリームを、配信用ライブエンコーダに転送するパケット送信部と、
を備える、IP番組切替装置。
【請求項2】
前記番組切替部は、
前記番組素材ストリーム毎にライブ伝送に伴う遅延及び/又はジッタを吸収するためのバッファを保有する、請求項1に記載のIP番組切替装置。
【請求項3】
前記ストリーム受信部が、前記ライブ伝送装置及び/又は前記ファイル伝送装置から受信する番組素材ストリームは、軽圧縮IP伝送されるストリームである、請求項1に記載のIP番組切替装置。
【請求項4】
前記番組切替部は、
受信する前記番組素材ストリーム毎にスレッドの並列化を行う、請求項3に記載のIP番組切替装置。
【請求項5】
シーケンス番号、送信元識別ID、フレーム番号を管理するヘッダ生成部を備え、
前記ヘッダ生成部は、前記番組切替部から転送用のパケットを受け取ると、パケットヘッダのシーケンスナンバーが切替え前後で連続となるように、前記IP番組切替装置自身のシーケンスナンバーを生成し、転送するパケットに上書きするとともに、パケットヘッダの送信元識別情報を前記IP番組切替装置自身のIDにより上書きし、前記パケット送信部に出力する、請求項1から請求項4の何れか1項に記載のIP番組切替装置。
【請求項6】
同期信号を管理する同期管理部を備え、
前記パケット送信部は、
前記同期管理部から受け取った前記同期信号に同期し、前記番組素材ストリームを前記配信用ライブエンコーダに転送する請求項5に記載のIP番組切替装置。
【請求項7】
前記配信用ライブエンコーダを備える、請求項6に記載のIP番組切替装置。
【請求項8】
請求項1に記載のIP番組切替装置としてコンピュータを機能させるためのIP番組切替プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明はIPによる番組切替装置及びIP番組切替プログラムに関する。
【背景技術】
【0002】
これまで映像制作ではSDI(Serial Digital Interface)による非圧縮方式が一般的であった。しかしながら、近年はワークフローの効率化やコンテンツの大容量化に対応するためIP(Internet Protocol)方式への移行が進んでおり、標準規格SMPTE(Society of Motion Picture and Television Engineers) ST2110規格では、IPネットワーク上の個別の映音等ストリームの運搬、同期等が規定されている。特にST2110-22では圧縮ビデオについて規定されており、IPレベルで軽圧縮ストリームを取り扱うことが可能となっている。軽圧縮技術の1つであるJPEG-XSは、非圧縮方式と比較し1/10程度のデータ量で劣化が視認されないよう圧縮することが可能となっている。また配信等で用いられているAVC(Advanced Video Coding)等の圧縮方式と比較し、少ない計算量で低遅延に圧縮することが可能とされている。
一方動画の視聴形態について、VOD(Video On Demand)やライブ配信等でインターネットを利用した動画配信サービスの需要は年々増加しており、近年ではリニア配信サービスをインターネット上で展開する事業者も出始めていることから、今後もインターネットによる動画視聴の形態が増加することが予想される。インターネット回線サービスの大半はベストエフォート型で提供されるため、映像品質は保証されない一方で、帯域の上限が固定されていないことから、例えばクラウド上にリニア配信用の計算処理リソースを動的に確保することで、配信チャンネルを必要なときに必要なだけ生成することが可能である。また上記の軽圧縮技術の進展やSMPTE ST2110等の規格化、伝送路の大容量化により、スタジオ等で制作された4K/8Kといった大容量ライブ番組素材を、IP回線を経由しクラウド上に低遅延かつ劣化の少ない状態で伝送することが可能となる。そのため、配信素材伝送から、番組切替え、視聴者への配信までのエンドツーエンドでの高品質なリニア配信基盤をクラウド上で仮想的に構築することが可能となることが期待されている。
【先行技術文献】
【特許文献】
【0003】
【非特許文献】
【0004】
【非特許文献1】SMPTE ST2110規格[online],[令和4年6月3日検索],インターネット<https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8165974>
【発明の概要】
【発明が解決しようとする課題】
【0005】
リニア配信では番組編成に従い指定時刻に番組を切り替えながら配信する必要がある。番組切替え精度が低いと、例えば拠点1から拠点2に切替える際、切替えが遅れてしまった場合、拠点1の番組終了後の映像が流れてしまう可能性があり、逆に切り替えが早い場合、拠点2の番組開始前の映像が流れてしまう可能性があることから、製作者の意図しない映像が配信される可能性がある。このため、ロケーションの異なるスタジオ等で生成されたライブ番組素材を、例えばクラウド上で編成し切替える際、伝送時の遅延差が発生することから、フレーム精度での時刻指定切替えを実現するためには、素材間の同期処理等を実現することが必要となる。
前述したように、現在の地上波放送、又は衛星放送では番組切替えの制御を実行するためのマスター装置等については、ハードウェアをベースとして構成されている。また、IP等広く普及している汎用的な技術ではなく、放送事業専用の仕組みで実装されていることから、ライブ番組素材を、例えばクラウド上で編成し、切替える制御処理に適用することはできない。
このため、これまでの放送局内でSDIとハードウェアをベースとしたマスター装置を用いて実現していた、編成に従った指定時刻での番組切替えを、例えばクラウド上で実現するためには、伝送路等によって異なるIPでの番組素材伝送時の遅延差やソフトウェア処理によるパフォーマンス等を十分考慮した、新しい仕組みが必要となる。
【0006】
本発明は、このような従来技術の問題点に鑑みてなされたもので、ロケーションの異なる拠点で制作されたライブ番組素材を、例えばクラウド上でも指定時刻によりフレーム精度で切り替えることが可能となり、放送のような高精度な番組切替機能を持ったリニア配信サービスをクラウド上でも運用可能とするためのIP番組切替装置及びIP番組切替プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明に係るIP番組切替装置は、通信可能に接続されるライブ伝送装置及び/又はファイル伝送装置から、番組編成情報により指定された時刻に送信される、伝送用プロトコルヘッダに基準時刻から生成されるタイムスタンプが付加された番組素材ストリームを受信するストリーム受信部と、
前記番組素材ストリームを前記ストリーム受信部から受取り、前記番組編成情報に指定された番組切替時刻から算出される切替時刻タイムスタンプ値TSPtgtに基づいて、切替前の番組素材ストリームにおける切替直前の素材フレームのタイムスタンプ値TSPend及び切替後の番組素材ストリームにおける切替直後の素材フレームのタイムスタンプ値TSPstartを算定し、
切替前の番組素材ストリームにおける切替直前の素材フレームから、切替後の番組素材ストリームにおける切替直後の素材フレームにフレーム精度で切替える番組切替部と、
前記番組素材ストリームを、配信用ライブエンコーダに転送するパケット送信部と、
を備える。
【0008】
前記番組切替部は、前記番組素材ストリーム毎にライブ伝送に伴う遅延及び/又はジッタを吸収するためのバッファを保有するようにしてもよい。
【0009】
前記ストリーム受信部が、前記ライブ伝送装置及び/又は前記ファイル伝送装置から受信する番組素材ストリームは、軽圧縮IP伝送されるストリームであるようにしてもよい。
【0010】
前記番組切替部は、
受信する前記番組素材ストリーム毎にスレッドの並列化を行うようにしてもよい。
【0011】
前記IP番組切替装置は、シーケンス番号、送信元識別ID、フレーム番号を管理するヘッダ生成部を備え、
前記ヘッダ生成部は、前記番組切替部から転送用のパケットを受け取ると、パケットヘッダのシーケンスナンバーが切替え前後で連続となるように、前記IP番組切替装置自身のシーケンスナンバーを生成し、転送するパケットに上書きするとともに、パケットヘッダの送信元識別情報を前記IP番組切替装置自身のIDにより上書きし、前記パケット送信部に出力するようにしてもよい。
【0012】
前記IP番組切替装置は、同期信号を管理する同期管理部を備え、
前記パケット送信部は、
前記同期管理部から受け取った前記同期信号に同期し、前記番組素材ストリームを前記配信用ライブエンコーダに転送するようにしてもよい。
【0013】
前記IP番組切替装置は、前記配信用ライブエンコーダを備えるようにしてもよい。
【0014】
本発明に係るIP番組切替プログラムは、前記IP番組切替装置としてコンピュータを機能させるためのものである。
【発明の効果】
【0015】
本発明によれば、ロケーションの異なる拠点で制作されたライブ番組素材を、例えばクラウド上でも指定時刻によりフレーム精度で切り替えることが可能となり、放送のような高精度な番組切替機能を持ったリニア配信サービスをクラウド上でも運用可能とするためのIP番組切替装置及びIP番組切替プログラムを提供することができる。
【図面の簡単な説明】
【0016】
【
図1】実施形態におけるIP番組切替システムの構成を示す図である。
【
図2】実施形態におけるIP番組切替装置の構成を示す機能ブロック図である。
【
図3】実施形態における番組編成情報の例を示す図である。
【
図4】実施形態におけるパケットヘッダ情報を含むIP番組切替装置5の主要変数を示す図である。
【
図5A】実施形態において、異なる拠点から伝送される素材ストリームをIP番組切替装置により、フレーム精度で切替える際の概念を示す概念図である。
【
図5B】実施形態において、異なる拠点から伝送される素材ストリームをIP番組切替装置により、フレーム精度で切替える際の概念を示す概念図である。
【
図6】実施形態におけるIP番組切替装置の処理フローを示す図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施形態の一例について説明する。
図1は、本実施形態におけるIP番組切替システム100の構成を示す図である。
IP番組切替システム100は、PTPグランドマスター1と、ライブ伝送装置2と、ファイル伝送装置3と、ファイルストレージ4と、IP番組切替装置5と、配信用ライブエンコーダ6と、これらの装置を通信可能に接続するネットワーク(図示せず)と、を備える。
【0018】
PTPグランドマスター1は、GNSS(Global Navigation Satellite System)基準時刻等をソースとしたPTP(Precision Time Protocol)信号を、ライブ伝送装置2及びファイル伝送装置3に提供する。それにより、後述するように、各ライブ伝送装置2はGNSS等の基準時刻に同期され、編成情報により指定された時刻にRTP等伝送用プロトコルヘッダのタイムスタンプフィールドに基準時刻から生成されたタイムスタンプ値を付加した上で商用回線等を用いてIP番組切替装置5に伝送することができる。同様に、ファイル伝送装置3も、編成情報により指定された指定時刻になると、ライブ伝送装置2と同様に、GNSS等の基準時刻に同期したうえで、IP番組切替装置5に伝送することができる。なお、本実施形態では、タイムスタンプ値のサンプリング周波数及びその計算式は、ライブ伝送装置2、ファイル伝送装置3毎に同じとして説明するが、異なる場合には、IP番組切替装置5により、同一フォーマットに変換するようにしてもよい。
そうすることで、後述するようにIP番組切替装置5は、ライブ伝送装置2、ファイル伝送装置3からGNSS等の基準時刻に同期した番組素材ストリームを受信し、前記タイムスタンプに基づいて、編成情報に沿った指定時刻での番組切替を行うことができる。
【0019】
ライブ伝送装置2は、JPEG-XS等の軽圧縮をリアルタイムにエンコードし、SMTPE ST2110等を用いたIP伝送が可能な装置である。ライブ伝送装置2は、
図1に示すように、拠点1、拠点2(例えば放送局スタジオやスポーツスタジアムといった様々なロケーション)に設置されることを想定する。
各ライブ伝送装置2は前述したように、GNSS等の基準時刻に同期したうえで、カメラ(図示せず)やスイッチャー(図示せず)等の映像音声ソースをリアルタイムにJPEG-XS等の軽圧縮をエンコードし、伝送用ストリームに変換し、IP番組切替装置5に送信する。なお、伝送時にRTP等伝送用プロトコルヘッダのタイムスタンプフィールドに基準時刻から生成されたタイムスタンプ値を付加し、さらに送信元を特定するための送信元識別IDを、例えばRTP(Real time Transport Protocol)の場合は、RTPヘッダにSSRC(Synchronization Source)を格納した上で商用回線等を用いてIP番組切替装置5に伝送する。受信側ではSSRCにより送信元を識別することができる。
【0020】
ファイル伝送装置3は、編成情報で指定された映像音声ファイル(HEVCやAV1等の形式であっても良い)をファイルストレージ4より事前にダウンロード(もしくはプログレッシブダウンロードでも良い)し、指定時刻になるとライブ伝送装置2と同様に基準時刻に同期した上でIP番組切替装置5に軽圧縮IP伝送を行う。ファイルストレージ4はファイル伝送装置3内のストレージであっても良い。
【0021】
IP番組切替装置5は、編成情報で指定された送信元及び指定時刻に基づき、それぞれの(軽圧縮された)伝送用ストリームをIPレベルで切替え、配信用ライブエンコーダ6に転送する。具体的には、IP番組切替装置5は、番組素材のライブ伝送に伴う遅延やジッタ等を吸収するためのバッファを素材ストリーム毎に保有することで、編成情報の指定時刻に素材ストリームをフレーム精度でシームレスに切り替えることができる。例えば、IP番組切替装置5はライブ伝送装置2やファイル伝送装置3からのストリームを2つ以上同時に受信することができ、番組素材ストリームを、後述する編成情報に従い配信用ライブエンコーダ6に転送する。IP番組切替装置5の備える機能の詳細については後述する。
また、IP番組切替装置5と後述する配信用ライブエンコーダ6とは同一の装置に含まれるものであってもよい。その場合、IP番組切替装置5は配信用ライブエンコーダ6にストリームの転送は行わず、切替え後のストリームを配信用ストリームにトランスコードすればよい。
【0022】
配信用ライブエンコーダ6は、JPEG-XS等の軽圧縮ストリームを配信用ストリームにリアルタイムでトランスコードし、CDN(Content Delivery Network)や視聴端末に配信する。エンコード形式はAVC、HEVC、AVI等を、配信形式はMPEG-DASHやHLS、CMF等を想定するがその他の形式であってもよい。
また、配信用ライブエンコーダ6は、トランスコード時にウォータマークやスーパー、チャイム音といった、動画像や音声を合成しても良い。また映像音声に加え、例えば、MP4におけるemsgBOX等Media Timed Event等メタ情報を多重するようにしても良い。
以上、IP番組切替システム100の備える装置の概要について説明した。なお、
図1に記載したように、ファイル伝送装置3、ファイルストレージ4、IP番組切替装置5及び配信用ライブエンコーダ6は、それぞれ、商用クラウド等の一般的な仮想サーバにソフトウェアとして実装するようにしてもよい。また、プライベートクラウドやオンプレミス環境でも良い。またハードウェアで構成されても良い。
【0023】
次に、本実施形態におけるIP番組切替装置5の備える機能について説明する。
図2に、IP番組切替装置5の機能構成を示す。
IP番組切替装置5は、制御部(図示せず)及び記憶部(図示せず)を備えた情報処理装置であり、前述したように、商用クラウド等の一般的な仮想サーバにソフトウェアとして実装することで、仮想サーバをIP番組切替装置5として機能させるようにしてもよい。また、商用クラウド等に換えて、プライベートクラウドやオンプレミス環境でも良い。またハードウェアで構成される情報処理装置でも良い。
いずれにしても、制御部(図示せず)は、記憶部(図示せず)に格納されたIP番組切替プログラム等を読み出し実行することにより、後述するストリーム受信部51、編成情報管理部52、番組切替部53、ヘッダ生成部54、同期管理部55及びパケット送信部56として機能する。
IP番組切替装置5は、これらの機能部により、編成情報で指定された送信元及び指定時刻に基づき、それぞれの(軽圧縮された)伝送用ストリーム(素材ストリーム)をフレーム精度でシームレスに切り替えることができる。
次に、IP番組切替装置5の各機能について説明する。
【0024】
ストリーム受信部51は、編成情報管理部52からの通知を受け、指定されたIPアドレス、ポート、SSRCに対して素材ストリームの受信を開始し、パケットヘッダ(例えばRTPヘッダ)の解析を行った上で、番組切替部53に対して、パケットヘッダ情報とともに当該パケットを渡す。
【0025】
ここで、編成情報、パケットヘッダ情報及びフレーム精度で番組を切替えるために使用する主要変数であるタイムスタンプ値(TSP)、伝送遅延量T
i、フレームに関する変数値等について説明する。まず編成情報について説明する。
図3は、番組編成情報の例を示す図である。
図3に示すように、編成情報はJSON形式で記述され、例えばvideoフィールド、Switching_timeフィールドを持つ。ここで、videoフィールドには送信元識別IDを配列等で記載してもよい。例えばRTPヘッダのSSRCフィールドの値を利用しても良い。
Switching_timeフィールドには切替時刻(以下「ST」で表す)が記述される。切替時刻STは、RFC3999形式で記述される。そうすることで、後述するように編成情報管理部52は、切替時刻STを、TSPを生成するときと同一の算出式に基づいて、切替時刻のタイムスタンプ値(以下、「TSP
tgt」で表す)に変換することができる。また、後述するように、番組切替部53は、切替時刻のタイムスタンプ値TSP
tgtに基づいて、切替対象となる切替直前の素材フレームのタイムスタンプ値(以下「TSP
end」で表す)と、切替直後の素材フレームのタイムスタンプ値(以下「TSP
start」で表す)と、を検出することができる。
編成情報は、編成情報を登録する端末(図示せず)等で生成し、HTTP等でIP番組切替装置5に通知するようにしてもよい。その場合、IP番組切替装置5は編成情報を受け付けるためのインタフェースIF(RESTAPI形式)を持つようにしてもよい。また、IP番組切替装置5に編成情報を登録・生成する機能を持たせるようにしてもよい。
IP番組切替装置5(ストリーム受信部51)は、例えば、SDP(Session Description Protocol)等の仕組みを利用して、データベース(図示せず)に、送信元識別IDとIP情報(受信ポートやマルチキャストアドレス等)、素材ストリームのメディアフォーマット等との紐づけ情報を登録するようにしてもよい。
【0026】
パケットヘッダ情報を含むIP番組切替装置5の主要変数について説明する。
図4は、パケットヘッダ情報を含むIP番組切替装置5の主要変数を示す図である。
前述したように、ライブ伝送装置2及びファイル伝送装置3から伝送される素材ストリームのパケットには、(パケットヘッダに)フレーム単位に、基準時刻から生成されたタイムスタンプ値(TSP)が付加される。すなわち、1フレームを構成する全てのパケットに、同一のタイムスタンプ値(TSP)が付加される。
ここで、TSPの取り得る値について説明する。
【0027】
まず、基準時刻からサンプリング周波数sfに基づいて生成される値は、所定の算出式により算出される離散値であり、例えばサンプリング周波数sfを90kHzとした場合、基準時刻から生成される値は、離散値であり、1/900000秒ずつ、その値が増加する。なお、TSPは、パケットヘッダに付加されるため、その値は、所定の数のモジュロを取った値となる。以下、TSPの取り得る最大値をTSPmaxで表す。
例えば、伝送用プロトコルとしてRTPを使用した場合、RTPヘッダのタイムスタンプフィールド(timestamp)は、232ビットで規定されるため、
TSPmax=(232-1)となり、TSPは、符号なし整数(232)でモジュロを取った値、0≦TST≦(232-1)となる。
前述したように、切替時刻STから、前記所定の算出式により、切替時刻タイムスタンプ値TSPtgtが生成される。なお、TSPtgtは、例えば、サンプリング周波数sfを90kHzとした場合、基準時刻から生成される値は、1/900000秒ずつ、その値が増加する、離散値である。
【0028】
ライブ伝送装置2及びファイル伝送装置3から伝送される素材ストリームに付加されるタイムスタンプ値(TSP)は、フレーム単位に基準時刻から生成されたタイムスタンプ値(TSP)である。したがって、素材ストリームのフレームレートをfで表した場合、タイムスタンプ値(TSP)は、フレームレートfに依存した離散値となる。具体的には、素材ストリームのフレーム単位に付加されるタイムスタンプ値(TSP)は、1フレーム毎に、サンプリング周波数sfをフレームレートfで除算した値(sf/f)ずつ、増加する離散値となる。以下、フレーム毎のタイムスタンプ値TSPの差分(増加単位)をTSPdiffで表す。例えば、サンプリング周波数sf=90kHzとし、素材ストリームのフレームレートf=60fpsとした場合、素材ストリームのフレーム単位に付加されるタイムスタンプ値(TSP)の差分TSPdiffは、sf/f=1500となる。
番組切替え制御に欠かせないタイムスタンプ値(TSP)として、番組編成情報(切り換え情報)により設定された切替前の素材ストリームの切替直前の素材フレームのタイムスタンプ値TSPendと、切替後の素材ストリームの切替直後の素材フレームのタイムスタンプ値TSPstartと、がある。
【0029】
次に、各フレームを構成するパケットに関する変数について説明する。1フレームを構成するパケット数をnで表す。前述したように、各フレームを構成するパケット(パケットヘッダ)には、当該フレーム単位に付加されるタイムスタンプ値TSPが共通に付加されている。このため、1つのフレームを構成するパケットを区別するために0から始まるシーケンシャルなパケット番号pi(0≦pi≦(n-1))が付加される。なお、パケット番号については、軽圧縮にJPEG-XSコーデックを利用する場合、SMPTE ST2110-22 RTP Payloadヘッダで規定されるPカウンターを利用するようにしてもよい。
IP番組切替装置5(番組切替部53)は、パケット番号を参照することで、フレームを構成する最終パケット(pi=(n-1))及びフレームを構成する先頭パケット(pi=0)を判定することができる。なお、伝送用プロトコルとしてRTPを使用した場合、最終パケットの判定は、RTPヘッダのMフィールドを利用するようにしてもよい。
【0030】
各拠点iに設置されている、ライブ伝送装置2(i)又はファイル伝送装置3(i)から素材ストリームが伝送され、IP番組切替装置5(ストリーム受信部51)が受信する際の伝送遅延について説明する。各拠点iから伝送される際の遅延量Tiは、伝送路等の情報から予め算出することができる。遅延量Tiは、拠点i毎に算出され、全ての拠点iの集合において、遅延量Tiの最大値をTmaxで表す。そうすると、拠点iから伝送される素材ストリームは、遅延量が最大値Tmaxとなる拠点と比べて、TmaxからTiを減じた時間(Tmax-Ti)早く受信することになる。(Tmax-Ti)をTi_diffで表す。
そうすると、IP番組切替装置5が、仮に拠点iから素材ストリームを受信した後に、遅延量が最大値Tmaxとなる拠点から受信する素材ストリームに、フレーム精度で切替するためには、IP番組切替装置5(ストリーム受信部51)は、拠点Tiから受信する素材ストリームを少なくともTmaxからTiを減じた時間Ti_diff分のパケットを最低限バッファリングすることが必要となる。具体的には、フレームレートfにフレーム毎のパケット数nを積算した値にTi_diffを積算した値を繰り上げた個数分、拠点Tiから受信する素材ストリームのパケットをバッファリングすることが必要になる。
なお、遅延量が変動する可能性があるため、全ストリームのバッファ量に同量のマージンを持たせるようにしてもよい。ただしマージンを増やした場合、処理は安定するが、遅延量が増加するため、変動等を考慮したうえで必要最小限に設定することが好ましい。
以上、IP番組切替装置5の主要変数について説明した。
【0031】
編成情報管理部52は、例えば編成情報を登録する端末(図示せず)から、HTTP等で編成情報を受付け、番組の開始や番組の切替え時刻前に、ストリーム受信部51に対して、番組の開始時又は番組切替後の素材ストリームの送信元を特定するためのSSRC、IPアドレス、ポート番号等を指定して、素材ストリーム受信の開始通知を送る。
また、編成情報管理部52は、RFC3999形式で記述された番組切替時刻STを所定の算出式により、切替時刻タイムスタンプ値TSPtgtに変換し、番組切替部53に対し、切替時刻タイムスタンプ値TSPtgtとともに、被切替対象となる現在受信中の素材ストリームの送信元を特定するためのSSRC、IPアドレス、ポート番号等と、切替後の素材ストリームの送信元を特定するためのSSRC、IPアドレス、ポート番号等を指定して、切替処理の開始通知を送る。
【0032】
番組切替部53は、ストリーム受信部51からのパケットをバッファし、ヘッダ生成部54に転送用パケットを渡す。
また、番組切替部53は、番組の開始時刻や番組の切替時刻においては、開始時刻又は切替時刻タイムスタンプ値TSPtgtを基準に、転送用のパケットを切替え、ヘッダ生成部54に転送用パケットを渡す。
次に、番組の開始時刻や番組の切替時刻において、編成情報の指定時刻に素材ストリームをフレーム精度でシームレスに切り替える、番組切替部53の処理について詳細に説明する。
【0033】
番組切替部53は、切替時刻タイムスタンプ値TSPtgtに基づいて、切替直前の素材フレームのタイムスタンプ値TSPendを算定する。具体的には、切替時刻タイムスタンプ値TSPtgtと、切替直前の素材フレームのタイムスタンプ値TSPendと、は、以下の式1又は式2を満たすことから、番組切替部53は、TSPendを算定することができる。なお、(式2)は、TSPで表現できる最大の値TSPmaxを考慮したものである。
TSPtgt -TSPdiff≧0のとき
TSPtgt >TSPend≧TSPtgt -TSPdiff
(式1)
TSPtgt -TSPdiff<0のとき
TSPmax≧TSPend≧TSPmax+1-(TSPdiff - TSPtgt)
又は
TSPtgt >TSPend≧0
(式2)
【0034】
番組切替部53は、次に、切替後の素材ストリームの切替直後の素材フレームのタイムスタンプ値TSPstartを算定する。具体的には、切替直後の素材フレームのタイムスタンプ値TSPstartと、切替直前の素材フレームのタイムスタンプ値TSPendと、の差がTSPdiffとなること、すなわち、以下の式3を満たすことから、番組切替部53は、TSPendから、TSPstartを算定することができる。
TSPstart= (TSPend + TSPdiff) mod (TSPmax+1)
(式3)
ここで、式3について説明する。切替前の素材フレームを伝送する、例えば拠点1におけるライブ伝送装置2と、切替後の素材フレームを伝送する、例えば拠点2におけるライブ伝送装置2とは、GNSSの基準時刻に同期されていることから、同じ時刻に同じタイムスタンプ値TSPを持ったパケットを送信する。
このため、切替前の素材フレームを伝送する、拠点1におけるライブ伝送装置2の切替直前の素材フレームのTSPendと、切替後の素材フレームを伝送する、拠点2におけるライブ伝送装置2の切替直後の素材フレームのTSPstartと、の差がTSPdiffとなるように、切替えるようにすることができる。
番組切替部53は、切替直前の素材フレームのTSPendのパケット番号を参照することで、切替直前の素材フレームを構成する最終パケットを判定し、最終パケットで切替える(なお、前述したように、最終パケットの判定はRTPヘッダのMフィールドを利用して判定するようにしてもよい)。また、番組切替部53は、切替直後の素材フレームのTSPstartのパケット番号を参照することで、切替直後の素材フレームを構成する先頭パケット(pi=0)を判定し、先頭パケットで切替える。
切替前の素材フレームの伝送と、切替後の素材ストリームの伝送における、遅延量については、前述したように、番組切替部53は、複数拠点からの番組が編成される際には、拠点(i)からIP番組切替装置5までの伝送遅延Tiを考慮して、受信する素材ストリームを少なくともTmaxからTiを減じた時間Ti_diff分のパケットを最低限バッファリングすることから、切替を遅延なくスムーズに行うことができる。
なお、番組切替部53は、入力される素材ストリーム毎にスレッド並列化を行うことで、処理負荷を低減させるようにしてもよい。これにより、例えば、4K/8K等の大容量素材の軽圧縮ストリーム等のパケットの各フィールドの解析等に要する時間を短縮することができる。
以上のように、番組切替部53は、切替前の番組をパケットレベルで、切替後の番組に切替えることができる。
【0035】
図5A及び
図5Bは、番組切替部53により、異なる拠点から伝送される素材ストリームをフレーム精度で切替える際の概念を示す概念図である。
図5Aは、「ソース1からソース2」に切り替える処理、
図5Bは、「ソース2からソース1」に切り替える処理の概念図を示す。いずれの概念図においても、ソース1とソース2のみが編成されているものとする。
図5A、
図5Bを参照して、IP番組切替処理を説明する。
【0036】
図5A及び
図5Bに示す概念図に記載の主要変数について説明する。
RTPパケットを、(TSP値,パケット番号)で表す。例えば、(1,6)は、タイムスタンプ値(TSP)=1のフレームを構成するパケット番号(pi)=6のパケットを表す。
タイムスタンプTSPはフレーム毎に5ずつ(TSP
diff=5)増加し、
切替時刻STのタイムスタンプ値TSP
tgt=3、
切替直前のフレームのタイムスタンプ値TSP
end=1、
切替直後のフレームのタイムスタンプ値TSP
start=6、
1フレームを構成するパケット数n=7とする。
ソース1ではパケットレベルでT1(2個分のパケット)の伝送遅延、
ソース2ではT2(6個分のパケット)の伝送遅延があるものとする。
T
max=T
2となり、T
1_diff=4、T
2_diff=0となる。
簡単のため、番組切替部53は、ソース1から受信するストリームについては、パケット4個分のバッファリングをし、ソース2から受信するストリームについては、バッファリングしないものとする。これにより、番組切替部53が、ソース2から受信するフレームの先頭パケット(パケット番号p
i=0)を受信する時点で、ソース1から受信するフレームのパケット番号は4となる。このため、ソース1から受信するフレームの先頭パケット(パケット番号p
i=0)からパケット番号3までのパケットは、ソース1からのストリームに対応するバッファに記憶される。
Thread1は、ソース1のパケットの各フィールドを解析するスレッド、
Thread2は、ソース2のパケットの各フィールドを解析するスレッドであって、番組切替部53は、それぞれの入力ストリームを並列に解析することができる。
【0037】
図5Aを参照して、ソース1からソース2に切替える処理(「ソース1->ソース2」)について説明する。
図5Aに示すように、切替直前のソース1のパケットを(1、6)で示す。なお、ソース1から受信するストリームは、バッファリングされているため、ソース1のパケット(1、6)出力後に、ソース2の(6,0)を続けて出力することができる。なお、切替後のソース1から受信する(6,0)以降のパケットは破棄するか、又は入力受付を任意で終了するようにしてもよい。
図5Bを参照して、ソース2からソース1に切替える処理(「ソース2->ソース1」)について説明する。
図5Bに示すように、切替直前のソース2のパケットを(1、6)で示す。なお、ソース1から受信するストリームは、バッファリングされているため、ソース2のパケット(1、6)出力後に、ソース1のパケット(6,0)を続けて出力することができる。
以上、番組切替部53の機能について説明した。
【0038】
ヘッダ生成部54は、シーケンス番号、SSRC、フレーム番号を管理している。ヘッダ生成部54は、番組切替部53から転送用のパケットを受け取ると、RTPヘッダのシーケンスナンバーが切替え前後で連続となるように、IP番組切替装置5自身のシーケンスナンバーを生成し、転送するパケットに上書きする。また、RTPヘッダのSSRCフィールドについても同様にIP番組切替装置5自身のIDであるSSRCを上書きする。
ヘッダ生成部54は、転送用のパケットに上書きを行った後、パケット送信部56に出力する。
【0039】
同期管理部55は、例えばGNSS基準時刻等をソースとしたPTP信号を受付、同期信号をパケット送信部に渡す。なお、同期については、PTP信号に限られない。
なお、現在転送しているソースの入力ストリームに同期することもできるが、そうすると、入力ストリーム1から入力ストリーム2に切り替える際、転送ストリームの送出タイミング(同期元)も入力ストリーム1から入力ストリーム2に代わるため、転送ストリームの送出タイミングが揺らぐ(同期が乱れる)可能性がある。また、入力ストリームに同期し転送している時に、入力ストリームが番組切替装置までの伝送路の影響で揺らいでしまった場合、転送ストリームもその揺らぎを反映してしまう可能性がある。
このため、送出タイミングをPTPや高精度なインターナルクロックに同期することで、切り替え時に前記の乱れを防ぐことが可能となる。
【0040】
パケット送信部56は、同期管理部55から入力されたPTP信号に同期し、ヘッダ生成部54から入力される転送用パケットを配信用ライブエンコーダ6に転送する。
【0041】
以上、IP番組切替システム100の備える機能について、主に映像ストリームの切替制御について説明したが、音声についても、映像とは別のRTPパケットで伝送されることから、映像と同様にタイムスタンプ値(TSP)に基づいて、切替処理が可能である。
IP番組切替システム100により、指定時刻でのフレーム精度によるシームレス(映像の乱れがない)な切替えが可能となり、転送先である配信用ライブエンコーダ6は特別な処理を行う必要なく、汎用的なものを利用することができる。
次に、IP番組切替装置5の動作について説明する。
【0042】
図6は、IP番組切替装置5の動作を示すフローチャートを示す図である。
図6を参照すると、ステップST01において、IP番組切替装置5は、HTTP等を介して編成情報を受信する。具体的には、編成情報管理部52は、HTTP等を介して、編成情報を受信し、番組開始時刻、素材ストリームの伝送元情報(IPアドレス、ポート番号、SSRC等)を指定して、ストリーム受信部51及び番組切替部53に通知する。
【0043】
ステップST02において、IP番組切替装置5は、先頭に編成されている番組の素材ストリームを受信するとともに、バッファを開始する。具体的には、ストリーム受信部51は、編成情報の先頭に編成されている番組の素材ストリームを受信し、番組切替部53にパケットを渡し、番組切替部53は、受信した素材ストリームをバッファする。
【0044】
ステップST03において、IP番組切替装置5は、素材ストリームより番組開始時刻に該当するタイムスタンプTSPを検知し、配信用ライブエンコーダ6に転送を開始する。具体的には、番組切替部53は、ヘッダ生成部54に転送用のパケットを出力し、ヘッダ生成部54は、転送用のパケットに上書きを行った後、パケット送信部56に出力し、パケット送信部56は、同期管理部55から入力されたPTP信号に同期し、ヘッダ生成部54から入力された転送用パケットを配信用ライブエンコーダ6に転送する。そうすることで、配信用ライブエンコーダ6は、番組開始時刻から、当該番組のJPEG-XS等の軽圧縮ストリームを配信用ストリームにリアルタイムでトランスコードし、CDNや視聴端末に配信する。
【0045】
ステップST04において、番組切替部53は、後続番組の編成の有無を判定する。後続番組の編成がある場合(YESの場合)ステップST05に移る。後続番組の編成がない場合(NOの場合)ステップST08に移る。
【0046】
ステップST05において、番組切替部53は、切替後の番組の素材ストリームを受信し、バッファを開始するとともに、切替前の番組の素材ストリームの切替直前の素材フレームのタイムスタンプ値TSPendを算定するとともに、切替後の番組の素材ストリームの切替直後の素材フレームのタイムスタンプ値TSPstartを算定する。
【0047】
ステップST06において、IP番組切替装置5は、切替前の番組終了時刻に該当するフレームの最終パケットを転送後、切替前の番組のストリーム受信を終了する。具体的には、番組切替部53は、切替直前の素材フレームのタイムスタンプ値TSPendであって、切替直前の素材フレームを構成する最終パケットをヘッダ生成部54に出力するとともに、切替前の番組のストリーム受信を終了する。ヘッダ生成部54は、転送用のパケットに上書きを行った後、パケット送信部56から転送用パケットを配信用ライブエンコーダ6に転送する。
【0048】
ステップST07において、IP番組切替装置5は、切替後の番組開始時刻に該当する切替直後の番組の素材フレームの先頭パケットから転送を開始する。具体的には、番組切替部53は、切替後の番組開始時刻に該当する切替直後の番組の素材フレームのタイムスタンプ値TSPstartであって、切替直後の素材フレームを構成する先頭パケットから、ヘッダ生成部54に出力し、ヘッダ生成部54は、転送用のパケットに上書きを行った後、パケット送信部56に出力し、パケット送信部56は転送用パケットを配信用ライブエンコーダ6に転送開始する。そうすることで、配信用ライブエンコーダ6は、切替後の番組のJPEG-XS等の軽圧縮ストリームを配信用ストリームにリアルタイムでトランスコードし、CDNや視聴端末に配信する。その後、ステップST04に移る。
【0049】
ステップST08において、番組終了時刻に該当する素材フレームの最終パケットを転送後、全処理を終了する。
以上、IP番組切替装置5の動作について説明した。
【0050】
本実施形態によれば、IP番組切替装置5は、通信可能に接続されるライブ伝送装置2及び/又はファイル伝送装置3から、番組編成情報により指定された時刻に送信される、伝送用プロトコルヘッダに基準時刻から生成されるタイムスタンプが付加された番組素材ストリームを受信するストリーム受信部51と、番組素材ストリームをストリーム受信部51から受取り、番組編成情報に指定された番組切替時刻から算出される切替時刻タイムスタンプ値TSPtgtに基づいて、切替前の番組素材ストリームにおける切替直前の素材フレームのタイムスタンプ値TSPend及び切替後の番組素材ストリームにおける切替直後の素材フレームのタイムスタンプ値TSPstartを算定し、切替前の番組素材ストリームにおける切替直前の素材フレームから、切替後の番組素材ストリームにおける切替直後の素材フレームにフレーム精度で切替える番組切替部53と、番組素材ストリームを、配信用ライブエンコーダ6に転送するパケット送信部56と、を備える。
これにより、IP番組切替装置5は、ロケーションの異なる拠点で制作されたライブ番組素材を、それぞれIP伝送によって受信し、指定時刻にフレーム精度で切り替えることを可能とし、放送のような高精度な番組切替機能を持ったリニア配信サービスをIPネットワーク上で運用することができる。
【0051】
番組切替部53は、番組素材ストリーム毎にライブ伝送に伴う遅延及び/又はジッタを吸収するためのバッファを保有するようにしてもよい。
それにより、ロケーションの異なる拠点で制作されたライブ番組素材を、それぞれIP伝送によって受信した場合、伝送時の遅延差、ジッタ等を考慮した、番組切替機能を持ったリニア配信サービスをIPネットワーク上で運用することができる。
【0052】
ストリーム受信部51が、ライブ伝送装置2及び/又はファイル伝送装置3から受信する番組素材ストリームは、軽圧縮IP伝送されるストリームであるようにしてもよい。
そうすることで、例えばスタジオ等で制作された4K/8Kといった大容量ライブ番組素材を、IP回線を経由し、低遅延かつ劣化の少ない状態で伝送することが可能となる。そのため、配信素材伝送から、番組切替え、視聴者への配信までのエンドツーエンドでの高品質なリニア配信基盤を、クラウドを含むIP環境上で仮想的に構築することが可能となる。
【0053】
番組切替部53は、
受信する番組素材ストリーム毎にスレッドの並列化を行うようにしてもよい。
それにより、例えば4K/8K等の大容量素材の軽圧縮ストリームに係るパケットの各フィールドを解析するための処理負荷を低減させることができる。
【0054】
IP番組切替装置5は、シーケンス番号、送信元識別ID、フレーム番号を管理するヘッダ生成部54を備え、番組切替部53から転送用のパケットを受け取ると、パケットヘッダのシーケンスナンバーが切替え前後で連続となるように、IP番組切替装置5におけるシーケンスナンバーを生成し、転送するパケットに上書きするとともに、パケットヘッダの送信元識別情報をIP番組切替装置5の識別IDにより上書きし、パケット送信部56に出力するようにしてもよい。
それにより、配信用ライブエンコーダ6は特別な処理を行う必要がなく、汎用的なものを利用することができる。
【0055】
IP番組切替装置5は、同期信号を管理する同期管理部55を備え、パケット送信部56は、同期管理部55から受け取った同期信号に同期し、番組素材ストリームを配信用ライブエンコーダ6に転送するようにしてもよい。
これにより、例えば番組素材ストリーム1から番組素材ストリーム2に切替えるときの、配信用ライブエンコーダ6に出力する転送ストリームに乱れが生じないようにすることができる。
【0056】
IP番組切替装置5は、配信用ライブエンコーダ6を備えるようにしてもよい。
それにより、ストリームの転送は行わず、切替え後のストリームを配信用ストリームにトランスコードすることができる。
【0057】
本発明に係るIP番組切替プログラムは、IP番組切替装置5としてコンピュータを機能させるためのものである。それにより、コンピュータとして、クラウドを適用することで、ロケーションの異なる拠点で制作されたライブ番組素材を、クラウド上で指定時刻によりフレーム精度で切り替えることが可能となり、放送のような高精度な番組切替機能を持ったリニア配信サービスをクラウド上で運用することが可能となる。また、クラウド上にリニア配信用の計算処理リソースを動的に確保することで、配信チャンネルを必要なときに必要なだけ生成することが可能となる。
【0058】
前述の実施形態では、IP番組切替装置5は、制御部及び記憶部を備えた情報処理装置であり、商用クラウド等の一般的な仮想サーバにおいても、ソフトウェアとして実装することで、仮想サーバをIP番組切替装置5として機能させることが可能となる。そうすることで、以下のように多チャンネル化を実現することができる。
従来の放送設備で多チャンネル化を実現するためには、放送用の帯域が無限に確保されていたとしても、高価な番組編成に必要なマスター装置等をチャンネル数に応じて増設する必要があったが、本発明の編成機能を含むリニア配信基盤を、例えばクラウド上で仮想的に運用することで、必要な時のみ配信チャンネル数に応じた必要最低限のコンピュータリソースを確保し、多チャンネル化を実現するとともに、その際、設備導入時のコストや運用コストを削減することができる。
【0059】
上述した実施形態の機能的構成を変形するようにしてもよい。つまり、
図2の機能的構成は例示に過ぎず、本実施形態の機能的構成を限定するものではない。すなわち、本発明の番組切替機能に関する一連の処理を全体として実行できる機能が各機器に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは、特に
図2の例に限定されない。
また、これら機能的構成を実現するための装置についても、上述した実施形態での説明は例示に過ぎない。例えば、上述の実施形態では、IP番組切替装置5を1つの装置等により実現すると説明したが、IP番組切替装置5の各機能を、適宜複数の装置に分散する、分散処理システムとしてもよい。また、前述したように、クラウド上で仮想サーバ機能等を利用して、IP番組切替装置5の各機能を実現してもよい。
【0060】
IP番組切替装置5の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
【0061】
ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【0062】
さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【0063】
100 IP番組切替システム
1 PTPグランドマスター
2 ライブ伝送装置
3 ファイル伝送装置
4 ファイルストレージ
5 IP番組切替装置
51 ストリーム受信部
52 編成情報管理部
53 番組切替部
54 ヘッダ生成部
55 同期管理部
56 パケット送信部
6 配信用ライブエンコーダ