(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023077670
(43)【公開日】2023-06-06
(54)【発明の名称】送信装置および送信プログラム
(51)【国際特許分類】
H04N 21/236 20110101AFI20230530BHJP
H04N 21/6336 20110101ALI20230530BHJP
H04H 20/28 20080101ALI20230530BHJP
H04H 20/95 20080101ALI20230530BHJP
【FI】
H04N21/236
H04N21/6336
H04H20/28
H04H20/95
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021191028
(22)【出願日】2021-11-25
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】河村 侑輝
(72)【発明者】
【氏名】永田 裕靖
(72)【発明者】
【氏名】大西 正芳
(72)【発明者】
【氏名】今村 浩一郎
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164FA04
5C164MA08S
5C164MB13S
5C164SA32S
5C164SB06S
5C164SB14P
5C164SC21S
5C164TB24P
(57)【要約】
【課題】放送受信機において多重信号にランダムアクセスする場合に映像が表示されるまでの遅延を低減する送信装置を提供する。
【解決手段】送信装置1は、符号化された信号とその制御情報とを多重化した多重信号を送信する装置であって、映像信号を符号化して映像符号データを生成すると共にイントラピクチャが符号化されたタイミングの情報としてイントラ符号化タイミング情報を生成する映像符号化制御部2と、制御情報を生成する制御情報生成部20と、映像符号データと制御情報とを多重化する多重化処理部30と、を備え、制御情報生成部20は、イントラ符号化タイミング情報に合わせて制御情報を多重化処理部30に送出する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
符号化された信号とその制御情報とを多重化した多重信号を送信する送信装置であって、
映像信号を符号化して映像符号データを生成すると共にイントラピクチャが符号化されたタイミングの情報としてイントラ符号化タイミング情報を生成する映像符号化制御部と、
前記制御情報を生成する制御情報生成部と、
前記映像符号データと前記制御情報とを多重化する多重化処理部と、を備え、
前記制御情報生成部は、前記イントラ符号化タイミング情報に合わせて前記制御情報を前記多重化処理部に送出することを特徴とする送信装置。
【請求項2】
前記制御情報生成部は、前記映像符号化制御部から、前記イントラ符号化タイミング情報に合わせて作成された送出指示を受け取ると、前記制御情報を前記多重化処理部に送出することを特徴とする請求項1に記載の送信装置。
【請求項3】
前記映像符号化制御部は、
前記イントラ符号化タイミング情報を受け取ると通知信号を生成する処理ブロック構成制御部と、
前記処理ブロック構成制御部から前記通知信号を受け取ると前記送出指示を前記制御情報生成部に出力するタイマーと、
を備えることを特徴とする請求項2に記載の送信装置。
【請求項4】
前記イントラ符号化タイミング情報を受け取ると通知信号を生成する処理ブロック構成制御部を備え、
前記制御情報生成部は、前記処理ブロック構成制御部から前記通知信号を受け取ると、前記制御情報を前記多重化処理部に出力させる送出指示を内部のタイマーで生成して前記制御情報を前記多重化処理部に送出することを特徴とする請求項1に記載の送信装置。
【請求項5】
前記タイマーは、タイマー変数を所定の初期値からカウントし、前記タイマー変数が予め定められた規定値に達した場合、または、前記タイマー変数が前記規定値に達していなくても前記処理ブロック構成制御部から通知信号を受け取った場合、前記送出指示を出力し、前記送出指示を出力した場合、前記タイマー変数を前記初期値に戻すことを特徴とする請求項3または請求項4に記載の送信装置。
【請求項6】
前記多重化処理部は、
多重層で扱う前記映像符号データの該当する処理ブロックに対応して前記イントラピクチャが符号化されたタイミングを示す制御情報が送出されるまで前記映像符号データを一次的に蓄積する一次記憶部を備え、
前記制御情報が送出された後に前記一次記憶部に映像符号データが残っている場合、当該映像符号データを送出することを特徴とする請求項1から請求項5のいずれか一項に記載の送信装置。
【請求項7】
音声信号を符号化して音声符号データを生成する音声符号化部をさらに備え、
前記映像符号化制御部は、前記イントラ符号化タイミング情報を生成するたびに、多重層で扱う音声符号データの処理ブロックの境界が前記映像符号データの処理ブロックの境界に追随するように前記音声符号データの処理ブロックを閉じさせる指示を前記音声符号化部に出力し、
前記多重化処理部は、前記映像符号データと前記音声符号データと前記制御情報とを多重化することを特徴とする請求項1から請求項6のいずれか一項に記載の送信装置。
【請求項8】
前記多重信号はMMT(MPEG Media Transport)方式の信号であることを特徴とする請求項1から請求項7のいずれか一項に記載の送信装置。
【請求項9】
前記多重信号はDASH/ROUTE(Dynamic adaptive streaming over HTTP/ Real-Time Object Delivery over Unidirectional Transport)方式の信号であることを特徴とする請求項1から請求項7のいずれか一項に記載の送信装置。
【請求項10】
符号化された信号とその制御情報とを多重化した多重信号を送信する送信装置のコンピュータを、
映像信号を符号化して映像符号データを生成すると共にイントラピクチャが符号化されたタイミングの情報としてイントラ符号化タイミング情報を生成する映像符号化制御手段、
前記制御情報を生成する制御情報生成手段、および、
前記映像符号データと前記制御情報とを多重化する多重化処理手段、
として機能させるための送信プログラムであって、
前記制御情報生成手段は、前記イントラ符号化タイミング情報に合わせて前記制御情報を前記多重化処理手段に送出することを特徴とする送信プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、送信装置に係り、特に、放送システムのコンテンツを送信する送信装置および送信プログラムに関する。
【背景技術】
【0002】
放送用の信号多重方式は、映像・音声等の所謂コンポーネントと呼ばれるものを1つのストリームに多重化するために使われている。送信装置は、どういったコンポーネントが多重化されているのかを、制御情報と呼ばれるパケットで送っている。非特許文献1に規定されるMMT(MPEG Media Transport)では、映像・音声コーデックの処理単位をMPU(Media Processing Unit)と呼ぶ。MPUの先頭データは、過去に送信されたデータに依存せずに処理が可能なランダムアクセスポイントである必要がある。MMTの放送利用を規定する非特許文献2では、映像符号化のイントラ(Intra)フレーム(フレーム内符号化を行うフレーム)を復号順の先頭とするGOP(Group Of Picture)をMPUとして扱う。非特許文献3においては、非特許文献2で規定されたMMTの利用方法について、実際のサービス(高度広帯域衛星デジタル放送)を対象に、より詳細な運用方法が規定されている。MMT方式では、MPUや制御情報をMMTP(MMT Protocol)/UDP(User Datagram Protocol)/IP(Internet Protocol)パケットにより伝送する。
【0003】
映像等の符号化された信号とその制御情報とを多重化した多重信号を送信する方式としては、MMT方式のほかに、例えばDASH/ROUTE(Dynamic adaptive streaming over HTTP/ Real-Time Object Delivery over Unidirectional Transport)方式も知られている(非特許文献4参照)。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】“Information technology - High efficiency coding and media delivery in heterogeneous environments: MPEG media transport”, ISO/IEC 23008-1
【非特許文献2】「デジタル放送におけるMMTによるメディアトランスポート方式(ARIB STD-B60)」
【非特許文献3】「高度広帯域衛星デジタル放送運用規定(第三分冊)(ARIB TR-B39)」
【非特許文献4】“Signaling, Delivery, Synchronization, and Error Protection”, ATSC Standard: A/331
【発明の概要】
【発明が解決しようとする課題】
【0005】
放送(IP放送を含む)サービスで用いられる映像・音声などの多重信号においては、エントリポイントとなる制御情報が、映像・音声符号データの処理ブロック(以下、符号データの処理ブロックともいう)の境界とは全く無関係の固定周期で送信される。ここで、処理ブロックの期間は例えば約0.5秒、制御情報の周期は例えば100ミリ秒である。受信機は、多重信号の受信開始時に、最初に制御情報を受信し、その次の符号データの処理ブロックから復号処理を開始できる。このため、放送受信機でのザッピング受信のように、多重信号にランダムアクセスする場合において、映像・音声が表示されるまでの遅延が、符号データの処理ブロックの周期よりも増大する場合がある。
【0006】
図13の模式図を参照して具体例を説明する。
図13の横軸は時間軸を示す。時間軸の上側に並んだ下向き白抜き矢印は、多重信号に多重されている制御情報を模式的に示している。また、時間軸の下側に並ぶ横長の矩形は、多重信号に多重されている符号データの処理ブロックを模式的に示している。ここでは、制御情報C1、制御情報C2、制御情報C3、制御情報C4、・・・がこの順番に送信される。また、符号データの処理ブロックB1、符号データの処理ブロックB2、符号データの処理ブロックB3・・・がこの順番に送信される。図示した例では、受信機は、制御情報C1,C2,C3のいずれかを受信した場合、符号データの処理ブロックB2から復号処理を開始できる。視聴者の所望のチャンネルの多重信号を放送受信機が例えば時刻T0において受信した場合、受信機は、最初の制御情報として制御情報C3を受信できるので、符号データの処理ブロックB2から復号された映像は時刻T2から再生される。一方、放送受信機が時刻T1において多重信号を受信した場合、最初の制御情報として制御情報C4を受信する。この場合、制御情報C4の受信時刻は、処理ブロックB2の先頭時刻を過ぎているため、時刻T2から再生することはできず、符号データの処理ブロックB3から復号された映像が時刻T3から再生されることになる。つまり、従来技術では、ザッピング受信の際、最悪のケースでは、処理ブロックの周期を超える期間、映像が表示されない。
【0007】
本発明は、以上のような問題点に鑑みてなされたものであり、放送受信機において多重信号にランダムアクセスする場合に映像が表示されるまでの遅延を低減する送信装置および送信プログラムを提供することを課題とする。
【課題を解決するための手段】
【0008】
前記課題を解決するために、本発明に係る送信装置は、符号化された信号とその制御情報とを多重化した多重信号を送信する送信装置であって、映像信号を符号化して映像符号データを生成すると共にイントラピクチャが符号化されたタイミングの情報としてイントラ符号化タイミング情報を生成する映像符号化制御部と、前記制御情報を生成する制御情報生成部と、前記映像符号データと前記制御情報とを多重化する多重化処理部と、を備え、前記制御情報生成部は、前記イントラ符号化タイミング情報に合わせて前記制御情報を前記多重化処理部に送出することとした。
【0009】
また、本発明に係る送信プログラムは、符号化された信号とその制御情報とを多重化した多重信号を送信する送信装置のコンピュータを、映像信号を符号化して映像符号データを生成すると共にイントラピクチャが符号化されたタイミングの情報としてイントラ符号化タイミング情報を生成する映像符号化制御手段、前記制御情報を生成する制御情報生成手段、および、前記映像符号データと前記制御情報とを多重化する多重化処理手段、として機能させるための送信プログラムであって、前記制御情報生成手段は、前記イントラ符号化タイミング情報に合わせて前記制御情報を前記多重化処理手段に送出するプログラムである。
【発明の効果】
【0010】
本発明は、以下に示す優れた効果を奏するものである。
本発明は、放送受信機において多重信号にランダムアクセスする場合に映像が表示されるまでの遅延を低減することができる。
【図面の簡単な説明】
【0011】
【
図1】本発明の第1実施形態に係る送信装置の構成を示すブロック図である。
【
図2】本発明の第1実施形態に係る送信装置による映像再生のタイミングの一例を示す模式図である。
【
図3】本発明の第2実施形態に係る送信装置の構成を示すブロック図である。
【
図4】
図3の処理ブロック構成制御部の処理の流れを示すフローチャートである。
【
図5】
図3のタイマーの処理の流れを示すフローチャートである。
【
図6】
図3の制御情報生成部の処理の流れを示すフローチャートである。
【
図7】
図3の多重化処理部の処理の流れを示すフローチャートである。
【
図8】本発明の第3実施形態に係る送信装置の構成を示すブロック図である。
【
図9】
図8の処理ブロック構成制御部の処理の流れを示すフローチャートである。
【
図10】本発明の第3実施形態に係る送信装置による映像、音声および制御情報の送信タイミングの一例を示す模式図である。
【
図11】変形例に係る多重化処理部の処理の流れを示すフローチャートである。
【
図12】本発明の第2実施形態に係る送信装置の変形例を示すブロック図である。
【
図13】従来の送信装置による映像再生のタイミングの一例を示す模式図である。
【発明を実施するための形態】
【0012】
以下、本発明に係る送信装置の実施形態について説明する。
(第1実施形態)
図1に示すように、送信装置1は、符号化された信号とその制御情報を多重化した多重信号を送信する装置であって、映像符号化制御部2と、制御情報生成部20と、多重化処理部30と、を備えている。映像符号化制御部2は、映像信号を符号化して映像符号データを生成すると共にイントラピクチャが符号化されたタイミングの情報としてイントラ符号化タイミング情報を生成する。制御情報生成部20は、制御情報を生成する。多重化処理部30は、映像符号データと制御情報を多重化する。制御情報生成部20は、イントラ符号化タイミング情報に合わせて制御情報を多重化処理部30に送出する。本実施形態の制御情報生成部20は、映像符号化制御部2から、イントラ符号化タイミング情報に合わせて作成された送出指示を受け取ると、制御情報を多重化処理部30に送出する。
【0013】
次に
図2の模式図を参照して送信装置1からの多重信号について説明する。
図2の見方は
図13の見方と同様である。ザッピング受信の際、放送受信機は、時刻T1において多重信号を受信するものとする。この条件は、従来技術では処理ブロックの周期を超える期間、映像が表示されなくなるようなケースである。本実施形態の送信装置1は、制御情報C4を処理ブロックB2の開始に合わせて先頭時刻よりも前に送信する。そのため、放送受信機が時刻T1において多重信号を受信するケースであっても、放送受信機は、最初の制御情報として制御情報C4を受信することができる。この場合、制御情報C4の受信時刻は、処理ブロックB2の先頭時刻よりも前であるため、符号データの処理ブロックB2から復号された映像が時刻T2から再生されることになる。つまり、ザッピング受信の際、放送受信機は、符号データの再生の遅延を低減することができる。
【0014】
(第2実施形態)
次に、本発明の第2実施形態に係る送信装置について
図3を参照して説明する。なお、
図1に示す構成と同じ構成には同じ符号を付して説明を適宜省略する。
[送信装置の構成]
図3に示す送信装置1Aは、映像符号化制御部2Aと、制御情報生成部20と、多重化処理部30と、を備えている。
映像符号化制御部2Aは、映像符号化部10と、タイミング制御部3と、を備えている。映像符号化部10は、映像符号データを生成すると共にイントラピクチャが符号化されたタイミングの情報としてイントラ符号化タイミング情報を生成する。
タイミング制御部3は、映像符号化部10からイントラ符号化タイミング情報を受け取ると送出指示を制御情報生成部20に出力する。
【0015】
ここでは、タイミング制御部3は、処理ブロック構成制御部40と、タイマー50と、を備えている。処理ブロック構成制御部40は、イントラ符号化タイミング情報を受け取ると通知信号を生成する。タイマー50は、処理ブロック構成制御部40から通知信号を受け取ると送出指示を制御情報生成部20に出力する。
【0016】
以下、送信装置1の多重信号は、一例としてMMT(MPEG Media Transport)方式の信号であるものとして、送信装置1の各部の詳細を説明する。
【0017】
映像符号化部10は、入力する映像信号を符号化して、生成した映像符号データを多重化処理部30に出力する。映像符号化部10は、映像信号を、I(イントラ)ピクチャ、P(Predictive)ピクチャ、B(Bidirectionally Predictive)ピクチャという形で時間方向のフレーム間参照で符号化する。なお、Bピクチャを用いず、IピクチャとPピクチャのみを用いたフレーム間参照符号化も可能である。MMTを用いる場合、映像符号データの処理ブロックは、MPU(Media Processing Unit)に対応する。
本実施形態では、映像符号化部10は、イントラピクチャが符号化されたタイミングの情報(イントラ符号化タイミング情報)を処理ブロック構成制御部40に出力する。
映像符号化部10は、イントラピクチャを符号化したら、その旨をその符号化したタイミングで処理ブロック構成制御部40に通知する。
【0018】
制御情報生成部20は、制御情報を生成し、生成した制御情報を多重化処理部30に出力する。MMTを用いる場合、制御情報はPLT(Package List Table)やMPT(MMT Package Table)に対応する。PLTやMPTは、PA(Package Access)メッセージによって送信される。
制御情報生成部20は、例えばタイマー50から送出指示を受けたタイミングで制御情報を生成して多重化処理部30に出力する。なお、制御情報生成部20は、例えば制御情報を事前に生成しておき、タイマー50から送出指示を受けたタイミングで制御情報を多重化処理部30に出力するようにしてもよい。
【0019】
多重化処理部30には、映像符号化部10から映像符号データが入力し、制御情報生成部20から制御情報が入力する。多重化処理部30は、映像符号データと制御情報とを多重化して多重信号として外部に送出する。
【0020】
処理ブロック構成制御部40には、映像符号化部10からイントラ符号化タイミング情報が入力する。処理ブロック構成制御部40は、イントラ符号化タイミング情報を受け取ると、生成した通知信号をタイマー50に出力する。
【0021】
本実施形態では、タイマー50は、タイマー変数を所定の初期値からカウントし、タイマー変数が予め定められた規定値に達した場合、または、タイマー変数が規定値に達していなくても処理ブロック構成制御部40から通知信号を受け取った場合、送出指示を出力し、送出指示を出力した場合、タイマー変数を初期値に戻す。
つまり、タイマー50は、処理ブロック構成制御部40からの通知信号を受け取るまでは、固定周期を計測する。この場合、固定周期で制御情報が送信される。また、処理ブロック構成制御部40からの通知信号は、タイマーのリセット指示を意味する。
タイマー50は、1ずつカウントアップしてもよいし、1ずつカウントダウンしてもよい。ここでは、タイマー50は、初期値をゼロとして、1ずつカウントアップ(インクリメント)する動作を繰り返す。
【0022】
なお、タイマー50が固定周期を計測する動作は必須ではない。タイマー50は、処理ブロック構成制御部40から通知信号を受け取ると、送出指示を制御情報生成部20に出力する動作を行うだけでよい。そのため、タイマー50を省略することもできる。その場合、処理ブロック構成制御部40が、イントラ符号化タイミング情報を受け取ったときに、通知信号(タイマーのリセット指示)の代わりに、送出指示を生成して制御情報生成部20に出力すればよい。
【0023】
[送信装置の動作]
次に、送信装置1Aの動作として、送信装置1Aの各部の処理の流れについて
図4~
図7を参照(適宜
図3参照)して順次説明する。
【0024】
<処理ブロック構成制御部40の処理フロー>
図4に示すように、処理ブロック構成制御部40は、処理を開始すると、アイドリングしている(ステップS11)。すなわち、処理ブロック構成制御部40は、映像符号化部10からのイントラ符号化タイミング情報を待機する。そして、処理ブロック構成制御部40は、映像符号化部10からイントラ符号化タイミング情報を受信した場合(ステップS12)、割込み処理として、タイマー50へリセット指示(通知信号)を送信し(ステップS13)、ステップS11に戻る。なお、アイドリングとは、処理ブロック構成制御部40がなんらかの形で待機していて待機中になんらかのトリガが来たら処理することを意味しており、ポーリング(周期的に確認)でもよく、その実装手法は問わない。
【0025】
<タイマー50の処理フロー>
図5に示すように、タイマー50は、処理を開始すると、タイマー変数をゼロクリアし(ステップS21)、タイマー変数をインクリメントする(ステップS22)。そして、タイマー50は、タイマー変数が規定値を超過したか否かを判別する(ステップS23)。タイマー変数が規定値以下の場合(ステップS23:No)、タイマー50は、ステップS22に戻る。一方、前記ステップS23において、タイマー変数が規定値を超過した場合(ステップS23:Yes)、タイマー50は、制御情報生成部20へ送出指示を送信し(ステップS24)、ステップS21に戻って、タイマー変数をゼロクリアする。
また、タイマー50は、処理ブロック構成制御部40からリセット指示(通知信号)を受信した場合(ステップS30)、割込み処理として前記ステップS24の処理を実行する。すなわち、タイマー50は、リセット指示(通知信号)を受信すると、制御情報生成部20へ送出指示を送信し、タイマー変数をゼロクリアする。
【0026】
<制御情報生成部20の処理フロー>
図6に示すように、制御情報生成部20は、処理を開始すると、アイドリングしている(ステップS41)。制御情報生成部20は、タイマー50から送出指示を受信した場合(ステップS42)、割込み処理として、制御情報を生成して制御情報を多重化処理部30へ送信し(ステップS43)、ステップS41に戻る。なお、上記アイドリングは、ポーリングでもよく、その実装手法は問わない。また、制御情報生成部20は、送出指示を受信した際に、予め生成しておいた制御情報を多重化処理部30へ送信するようにしてもよい。
【0027】
<多重化処理部30の処理フロー>
図7に示すように、多重化処理部30は、処理を開始するとデータを受信し(ステップS51)、受信したデータを送出する(ステップS52)。すなわち、映像符号化部10からデータ(符号データ)を受信し、制御情報生成部20からデータ(制御情報のデータ:制御データ)を受信し、受信したデータを多重信号として送出する。
【0028】
(第3実施形態)
[送信装置の構成]
次に、本発明の第3実施形態に係る送信装置について
図8を参照して説明する。なお、
図3に示す構成と同じ構成には同じ符号を付して説明を適宜省略する。
図8に示すように、送信装置1Bは、映像符号化制御部2Bと、制御情報生成部20と、多重化処理部30と、音声符号化部60と、を備えている。
映像符号化制御部2Bは、映像符号化部10と、タイミング制御部3Bと、を備えている。また、タイミング制御部3Bは、処理ブロック構成制御部40Bと、タイマー50と、を備えている。
【0029】
音声符号化部60は、音声信号を符号化して音声符号データを生成する。MMTを用いる場合、音声符号データの処理ブロックは、MPU(Media Processing Unit)に対応する。音声符号化部60は、生成した音声符号データを多重化処理部30に出力する。
映像符号化制御部2Bは、イントラ符号化タイミング情報を生成するたびに、多重層で扱う音声符号データの処理ブロックの境界が映像符号データの処理ブロックの境界に追随するように音声符号データの処理ブロックを閉じさせる指示(以下、処理ブロッククローズ指示という)を音声符号化部60に出力する。一例として、処理ブロック構成制御部40Bは、イントラ符号化タイミング情報を受け取ると、処理ブロッククローズ指示を音声符号化部60に出力する。
多重化処理部30は、映像符号データと音声符号データと制御情報とを多重化する。
【0030】
[送信装置の動作]
次に、送信装置1Bの動作を説明する。送信装置1Bにおいて、音声符号化部60が生成する音声符号データは多重信号に多重される。送信装置1Bの音声符号化部60以外の各部の処理の流れは、概ね
図4~
図7と同様である。ただし、
図9に示すように、処理ブロック構成制御部40Bは、処理ブロッククローズ指示も生成する。
【0031】
<処理ブロック構成制御部40Bの処理フロー>
図9に示すように、処理ブロック構成制御部40Bは、処理を開始すると、アイドリングしている(ステップS11)。処理ブロック構成制御部40Bは、映像符号化部10からイントラ符号化タイミング情報を受信した場合(ステップS12)、割込み処理として、タイマー50へリセット指示(通知信号)を送信する(ステップS13)。次に、処理ブロック構成制御部40は、音声符号化部60へ処理ブロッククローズ指示を送信し(ステップS14)、ステップS11に戻る。なお、ステップS14の処理は、ステップS13の処理の前に行ってもよいし、同時に行ってもよい。
【0032】
[映像・音声符号データの多重信号の具体例]
次に、
図10の模式図を参照(適宜
図8参照)して映像・音声符号データの多重信号の具体例について説明する。
図10の横軸は時間軸を示す。時間軸の上側に並んだ下向き白抜き矢印は、多重信号に多重されている制御情報を模式的に示している。また、制御情報の上側に並ぶ横長の矩形は、多重信号に多重されている映像符号データの処理ブロックを模式的に示している。また、時間軸の下側に並ぶ横長の矩形は、多重信号に多重されている音声符号データの処理ブロックを模式的に示している。
図10に示すように、映像符号データの処理ブロックVB1,VB2,VB3・・・がこの順番に送信される。音声符号データの処理ブロックAB1,AB2,AB3・・・がこの順番に送信される。
【0033】
ここでは、送信装置1Bの多重信号は、一例としてMMT方式の信号であるものとして説明する。MMTでは、多重層で取り扱う符号データのブロックとして、MPU(Media Processing Unit)を構成する。
送信装置1Bの映像符号化部10は、入力する映像信号をHEVCで符号化して、生成した映像符号データを多重化処理部30に出力する。HEVCにおいて、例えば、フレーム周波数は59.94 fps(frame per second)、符号化処理単位(イントラ周期、GOP)は32フレームである。この場合、HEVCにおいて、1GOP(32フレーム)をMPUとすると、MPUの尺は、32/60*1001/1000(≒0.533866…)秒である。
【0034】
送信装置1Bの音声符号化部60は、入力する音声信号をAACで符号化して、生成した音声符号データを多重化処理部30に出力する。AACにおいて、例えば、サンプリング周波数は48kHz、符号化処理単位(AU:Access Unit)は1024サンプルである。
この場合、AACは、HEVCの同程度の時間尺となるように25AUをMPUとすると、MPUの尺は1024*25/48000(≒0.533333…)秒である。
【0035】
HEVCのMPUの尺とAACのMPUの尺とは一致しないため、境界のズレが蓄積したときには、AACのMPUを、一時的に25AUから26AUに変更することで、境界が調整される。
また、HEVCにおいて、GOPの冒頭がIDR(Instantaneous Decoder Refresh)ピクチャとなる場合、1GOPが32フレームではなく25フレームとなる場合があるが、こうした場合もAACのMPUのAU数は、HEVCのMPU境界に応じて、調整される。
【0036】
送信装置1Bにおいて、MMTのPAメッセージは、HEVCのMPU冒頭直前に送出される。なお、MPU境界以外では固定周期で送信してもよい。
図10に示すように、MMTのPAメッセージは、通常は100msの固定周期で送信されているが、例えばPAメッセージM1と、PAメッセージM2との間隔は、100msよりも短くなっている。PAメッセージM2は、映像符号データの処理ブロックVB2の先頭時刻よりも前に送信されている。
【0037】
また、PAメッセージM2の後、送信装置1Bの処理ブロック構成制御部40Bは、例えば音声符号データの処理ブロックAB1の境界が映像符号データの処理ブロックVB1の境界に追随するように音声符号データの処理ブロックAB1を閉じさせる指示(処理ブロッククローズ指示)を音声符号化部60に出力している。これにより、映像符号データの処理ブロックと、音声符号データの処理ブロックとが概ね一致するように整列(アライン)している。このように構成することで、例えば放送通信連携の様々な映像音声コンテンツサービスを提供する場合に、境界が概ね揃った映像と音声の符号データの処理ブロックをセットにしてアドレッサブルな(アドレス指定可能な)データとして取り扱うことができ、放送と通信との間での多重信号のシームレスな切り替えを行いやすくする効果がある。例えば、放送受信装置は、放送から受信した符号データの処理ブロックの一部を、通信から映像と音声の符号データが多重されたファイル、または映像と音声の符号データの個別のファイルを取得して差し替えることで、視聴者属性に応じた広告を表示させることができる。MMTを用いる場合、符号データの処理ブロックはMPUであり、MPUシーケンス番号によって特定することができる。
【0038】
送信装置1Bは、上述したように、符号データの処理ブロック境界を考慮して制御情報を多重化する。すなわち、送信装置1Bは、映像符号データの処理ブロックの起点となるイントラ符号化タイミングを映像符号化部10から出力し、音声符号データの符号データの処理ブロックの境界が従属するように音声符号化部60を制御する。また、処理ブロック構成制御部40Bは、同じタイミングで、制御情報を生成して送出するようにタイミング制御を行う。これにより、放送受信機において多重信号のランダムアクセス受信時に、映像・音声が表示されるまでの遅延増加を低減することができる。
【0039】
以上、本発明の実施形態に係る送信装置について説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変などしたものも本発明の趣旨に含まれることはいうまでもない。例えば、送信装置1Bにおいて映像コーデックはHEVCの場合を例に説明したが、これに限定されるものではない。例えば、AVC(Advanced Video Coding)、VVC(Versatile Video Coding)やAV1(AOMedia Video 1)のようなその他の映像符号化方式であっても適用が可能である。また、音声コーデックはAACの場合を例に説明したが、MPEG-H 3D AudioやAC-4のようなその他の音声符号化方式であっても適用が可能である。
【0040】
また、多重化処理部30は、次のように構成してもよい。すなわち、多重化処理部30は、多重層で扱う映像・音声の符号データの該当する処理ブロックに対応してイントラピクチャが符号化されたタイミングを示す制御情報が送出されるまで、該当処理ブロックに属する符号データを一次的に蓄積する一次記憶部を備え、制御情報が送出された後に一次記憶部に符号データが残っている場合、当該符号データを送出するように構成してもよい。この場合、多重化処理部30の処理の流れを
図11に示す。
【0041】
図11に示すように、多重化処理部30は、処理を開始すると、例えば映像符号化部10、音声符号化部60、制御情報生成部20からデータを受信し(ステップS51)、受信したデータが制御情報のデータか否かを判別する(ステップS71)。受信したデータが制御情報のデータではない場合(ステップS71:No)、つまり、受信したデータが符号データである場合、多重化処理部30は、該当処理ブロックに対応する制御データが送出済みか否かを判別する(ステップS72)。該当処理ブロックに対応する制御データが送出されていない場合(ステップS72:No)、多重化処理部30は、受信した符号データを一次記憶部(一次バッファ)に格納し(ステップS73)、ステップS51に戻る。前記ステップS72において、該当処理ブロックに対応する制御データが送出済みである場合(ステップS72:Yes)、多重化処理部30は、受信した符号データを送出し(ステップS52a)、ステップS51に戻る。前記ステップS71において、受信したデータが制御情報のデータである場合(ステップS71:Yes)、多重化処理部30は、受信した制御データを送出し(ステップS52b)、一次記憶部に未送出の符号データがあれば、その符号データを送出し(ステップS74)、ステップS51に戻る。多重化処理部30をこのように構成することで、符号データの処理ブロックが送出される前に、対応する制御情報が確実に送出されるので、符号データの処理ブロックと、それに対応する制御情報との前後関係を多重化処理部30において担保することができる。
【0042】
なお、多重化処理部30における
図11の処理フローによらずとも、符号データの処理ブロックと、それに対応する制御情報との前後関係を担保することができる。例えば、映像符号化部10がイントラ符号化タイミング情報を送出してから実際に制御情報生成部20が制御情報を送出するまでの所要時間が既知であれば、映像符号化部10や音声符号化部60において、次の処理ブロックに属する符号データの送出開始を時間の分だけ保留するようなタイミング調整を行う事によっても、符号データの処理ブロックと、それに対応する制御情報との前後関係を担保することが可能である。このように、符号データの処理ブロックと、それに対応する制御情報との前後関係を担保される場合、多重化処理部30は
図7の処理フローで十分である。
【0043】
前記各実施形態では送信装置1A,1Bの多重信号が、一例としてMMT方式の信号であるものとして説明したが、多重信号はDASH/ROUTE(Dynamic adaptive streaming over HTTP/ Real-Time Object Delivery over Unidirectional Transport)方式の信号であってもよい。この方式はATSC(The Advanced Television Systems Committee, Inc.)3.0で、MMTとともに採用されている。DASH/ROUTEを用いる場合、映像・音声符号データの処理ブロックはMedia Segmentに対応する。また、制御情報は、S-TSID(Service-based Transport Session Instance Description)やMPD(Media Presentation Description)に対応する。S-TSIDやMPDは、HTTPマルチパート形式で結合され、LCT(Layer Coding Transport)/ALC(Asynchronous Layered Coding)/UDP/IPパケットにより送信される。
【0044】
また、前記した各実施形態では、送信装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、符号化された信号とその制御情報とを多重化した多重信号を送信する送信装置のコンピュータを、映像信号を符号化して映像符号データを生成する映像符号化制御手段、制御情報を生成する制御情報生成手段、および映像符号データと制御情報とを多重化する多重化処理手段、として機能させるための送信プログラムであって、映像符号化制御手段が、イントラピクチャを符号化するたびに、制御情報を多重化処理手段に出力させる送出指示を制御情報生成手段に出力することを特徴とする送信プログラムで実現することもできる。すなわち、上記コンピュータが備えるCPU、メモリ、ハードディスク等のハードウェア資源を、前記した各装置として動作させる送信プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、CD-ROMやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【0045】
送信装置1Bにおいて、映像符号化部10が、イントラ符号化タイミング情報を処理ブロック構成制御部40Bへ送出すると同時に、映像符号化部10が、処理ブロック構成制御部40Bを介さずに処理ブロッククローズ指示を直接音声符号化部60へ送信するように構成してもよい。
【0046】
送信装置1,1A,1Bにおいて、多重化処理部30には、映像・音声以外の符号データ以外のデータが図示しない符号化装置等から入力されても良い。例えば、放送サービスでは、映像・音声以外に、データ放送や字幕のデータが多重化される。また、多重化処理部30は、出力の多重信号を放送伝送路の伝送容量以下に収める目的のために、出力部分に平滑化バッファを有していても良い。
【0047】
送信装置1A,1Bにおいて、説明の都合上、タイマー50はタイミング制御部3に内包され、タイミング制御部3は映像符号化制御部2Aに内包されるように説明した。しかし、例えば、
図12の送信装置1Cのようにタイマー50を制御情報生成部20Cに内包するように構成することも可能である。この場合も、処理ブロック構成制御部40から通知信号を受け、送出指示を制御情報生成部20に出力するタイマー50の機能は変わらない。ここで、制御情報生成部20Cは、タイマー50と、制御情報を生成する機能(制御情報生成部20)とを備える。この制御情報生成部20Cは、処理ブロック構成制御部40から通知信号を受け取ると、制御情報を多重化処理部30に出力させる送出指示を内部のタイマー50で生成して制御情報を多重化処理部30に送出する。このように、ハードウェア及びソフトウェアの実装においては各機能ブロックの構成を柔軟に変えても、本発明の効果を損なうことは無い。
【産業上の利用可能性】
【0048】
本実施形態に係る送信装置は、衛星放送、地上放送、ケーブル放送、IPマルチキャスト放送などでコンテンツ伝送に利用することができる。
【符号の説明】
【0049】
1,1A,1B,1C 送信装置
2,2A,2B,2C 映像符号化制御部
3,3B タイミング制御部
10 映像符号化部
20,20C 制御情報生成部
30 多重化処理部
40,40B 処理ブロック構成制御部
50 タイマー
60 音声符号化部