(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024154864
(43)【公開日】2024-10-31
(54)【発明の名称】送信装置及び受信装置
(51)【国際特許分類】
H04N 21/238 20110101AFI20241024BHJP
H04N 21/2662 20110101ALI20241024BHJP
H04N 21/462 20110101ALI20241024BHJP
H04N 21/4385 20110101ALI20241024BHJP
H04N 19/30 20140101ALI20241024BHJP
H04N 19/67 20140101ALI20241024BHJP
H04L 1/00 20060101ALI20241024BHJP
【FI】
H04N21/238
H04N21/2662
H04N21/462
H04N21/4385
H04N19/30
H04N19/67
H04L1/00 B
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2023069055
(22)【出願日】2023-04-20
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001106
【氏名又は名称】弁理士法人キュリーズ
(72)【発明者】
【氏名】河村 侑輝
(72)【発明者】
【氏名】岩村 俊輔
【テーマコード(参考)】
5C159
5C164
5K014
【Fターム(参考)】
5C159MA32
5C159RF27
5C159TA72
5C159TB12
5C159UA02
5C159UA05
5C164GA03
5C164MA02S
5C164SB21P
5C164SC03P
5C164TA14S
5C164UB24P
5C164UC27P
5K014BA05
(57)【要約】
【課題】 エンハンスメントレイヤに対応する伝送路のエラー発生率が一定である条件下においても、エンハンスメントレイヤに関する再生品質を向上し得る送信装置及び受信装置を提供する。
【解決手段】 送信装置は、ベースレイヤ及び前記ベースレイヤを拡張するエンハンスメントレイヤを符号化する符号化部と、第1伝送路を介して第1パケットを送信する第1送信部と、第2伝送路を介して第2パケットを送信する第2送信部と、前記エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを前記第1伝送路に振り分け、前記特定ユニット以外のユニットを前記第2伝送路に振り分ける制御部と、を備え、前記第1パケットは、前記ベースレイヤを構成するユニット及び前記特定ユニットを含み、前記第2パケットは、前記エンハンスメントレイヤを構成するユニットのうち、前記特定ユニット以外のユニットを含む。
【選択図】
図4
【特許請求の範囲】
【請求項1】
ベースレイヤ及び前記ベースレイヤを拡張するエンハンスメントレイヤを符号化する符号化部と、
第1伝送路を介して第1パケットを送信する第1送信部と、
第2伝送路を介して第2パケットを送信する第2送信部と、
前記エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを前記第1伝送路に振り分け、前記特定ユニット以外のユニットを前記第2伝送路に振り分ける制御部と、を備え、
前記第1パケットは、前記ベースレイヤを構成するユニット及び前記特定ユニットを含み、
前記第2パケットは、前記エンハンスメントレイヤを構成するユニットのうち、前記特定ユニット以外のユニットを含む、送信装置。
【請求項2】
前記制御部は、パラメータセットを含むユニットを前記特定ユニットとして前記第1伝送路に振り分ける、請求項1に記載の送信装置。
【請求項3】
前記制御部は、先頭ピクチャを構成するユニットを前記特定ユニットとして前記第1伝送路に振り分ける、請求項1に記載の送信装置。
【請求項4】
前記制御部は、他のピクチャから参照されないピクチャを構成するユニットを前記特定ユニット以外のユニットとして前記第2伝送路に振り分ける、請求項1に記載の送信装置。
【請求項5】
前記第1伝送路及び前記第2伝送路を介して送信されるパケットを生成するパケタイズ部を備え、
前記パケタイズ部は、前記符号化部からユニットが出力される順序に基づいて、シーケンス番号、パケットカウンタの値、拡張カウンタの値及びタイムスタンプの少なくともいずれか1つを前記パケットに付与する、請求項1に記載の送信装置。
【請求項6】
第1伝送路を介して受信する第1パケットを蓄積する第1バッファと、
第2伝送路を介して受信する第2パケットを蓄積する第2バッファと、
ベースレイヤ及び前記ベースレイヤを拡張するエンハンスメントレイヤを復号する復号部と、
前記第1パケット及び前記第2パケットに付与されたシーケンス番号、パケットカウンタの値、拡張カウンタの値及びタイムスタンプの少なくともいずれか1つに基づいて、前記第1パケット及び前記第2パケットを前記復号部に出力するデパケタイズ部と、を備え、
前記シーケンス番号、パケットカウンタの値、拡張カウンタの値及び前記タイムスタンプの少なくともいずれか1つは、符号化部からユニットが出力される順序に基づいて付与され、
前記第1パケットは、前記ベースレイヤを構成するユニットに加えて、前記エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを含み、
前記第2パケットは、前記エンハンスメントレイヤを構成するユニットのうち、前記特定ユニット以外のユニットを含む、受信装置。
【請求項7】
前記第1パケットは、前記エンハンスメントレイヤを構成するパケットのうち、パラメータセットを含むユニットを含む、請求項6に記載の受信装置。
【請求項8】
前記第1パケットは、前記エンハンスメントレイヤを構成するパケットのうち、先頭ピクチャを構成するユニットを含む、請求項6に記載の受信装置。
【請求項9】
前記第2パケットは、前記エンハンスメントレイヤを構成するパケットのうち、他のピクチャから参照されないピクチャを構成するユニットを含む、請求項6に記載の受信装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、送信装置及び受信装置に関する。
【背景技術】
【0002】
映像コンテンツの放送及び配信に関する技術の高度化、受信端末の性能及び受信環境の多様化に伴って、受信端末の性能及び受信環境に応じて、映像コンテンツの再生品質を最適化するスケーラブルな映像サービスに対する要求が高まっている。このような映像サービスの実現方法として、マルチレイヤ符号化に対応する映像符号化方式の利用が期待されている。
【0003】
例えば、マルチレイヤ符号化に対応する映像符号化方式では、2K解像度の映像をベースレイヤとして符号化し、2K解像度の映像を4K解像度の映像にアップコンバートするための差分情報をエンハンスメントレイヤとして符号化する。
【0004】
例えば、ベースレイヤを放送伝送路で伝送し、エンハンスメントレイヤを通信伝送路で伝送してもよい。このような構成によれば、通信伝送路を介して信号を受信せずに放送伝送路を介して信号を受信する受信端末は、2K解像度の映像を再生することができ、放送伝送路及び通信伝送路を介して信号を受信する受信端末は、4K解像度の映像を再生することができる。
【0005】
マルチレイヤ符号化に対応する映像符号化方式としては、MPEGによって標準化されたVVC(Versatile Video Codec)が知られている。VVCでは、2K/4Kの2レイヤの解像度に関するスケーラビリティに加えて、2K/4K/8Kの3レイヤの解像度に関するスケーラビリティがサポートされ、アップコンバートではなくエンハンスメントレイヤをテロップ等の付加情報の重畳に用いることもサポートされている(例えば、非特許文献1)。
【先行技術文献】
【非特許文献】
【0006】
【非特許文献1】ISO/IEC 23090-3、”Information technology - Coded representation of immersive media - Part 3: Versatile video coding”
【発明の概要】
【発明が解決しようとする課題】
【0007】
一般的に、マルチレイヤ符号化に対応する映像符号化方式では、ベースレイヤを第1エラー耐性の伝送路で送信し、エンハンスメントレイヤを第1エラー耐性よりも低い第2エラー耐性で送信することが考えられる。すなわち、エンハンスメントレイヤは、ベースレイヤよりもエラーを生じる可能性が高い。
【0008】
このような背景下において、発明者等は、鋭意検討の結果、エンハンスメントレイヤでエラーが生じた場合に、エラーが生じた部位によって再生品質に与える影響が異なることに着目し、エンハンスメントレイヤに対応する伝送路のエラー発生率が一定である条件下においても、エンハンスメントレイヤに関する再生品質を向上し得ることを見出した。
【0009】
そこで、本発明は、上述した課題を解決するためになされたものであり、エンハンスメントレイヤに対応する伝送路のエラー発生率が一定である条件下においても、エンハンスメントレイヤに関する再生品質を向上することを可能とする送信装置及び受信装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
開示の一態様は、ベースレイヤ及び前記ベースレイヤを拡張するエンハンスメントレイヤを符号化する符号化部と、第1伝送路を介して第1パケットを送信する第1送信部と、第2伝送路を介して第2パケットを送信する第2送信部と、前記エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを前記第1伝送路に振り分け、前記特定ユニット以外のユニットを前記第2伝送路に振り分ける制御部と、を備え、前記第1パケットは、前記ベースレイヤを構成するユニット及び前記特定ユニットを含み、前記第2パケットは、前記エンハンスメントレイヤを構成するユニットのうち、前記特定ユニット以外のユニットを含む、送信装置である。
【0011】
開示の一態様は、第1伝送路を介して受信する第1パケットを蓄積する第1バッファと、第2伝送路を介して受信する第2パケットを蓄積する第2バッファと、ベースレイヤ及び前記ベースレイヤを拡張するエンハンスメントレイヤを復号する復号部と、前記第1パケット及び前記第2パケットに付与されたシーケンス番号、パケットカウンタの値、拡張カウンタの値及びタイムスタンプの少なくともいずれか1つに基づいて、前記第1パケット及び前記第2パケットを前記復号部に出力するデパケタイズ部と、を備え、前記シーケンス番号、パケットカウンタの値、拡張カウンタの値及び前記タイムスタンプの少なくともいずれか1つは、符号化部からユニットが出力される順序に基づいて付与され、前記第1パケットは、前記ベースレイヤを構成するユニットに加えて、前記エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを含み、前記第2パケットは、前記エンハンスメントレイヤを構成するユニットのうち、前記特定ユニット以外のユニットを含む、受信装置である。
【発明の効果】
【0012】
本発明によれば、エンハンスメントレイヤに対応する伝送路のエラー発生率が一定である条件下においても、エンハンスメントレイヤに関する再生品質を向上することを可能とする送信装置及び受信装置を提供することができる。
【図面の簡単な説明】
【0013】
【
図1】
図1は、実施形態に係る伝送システム10を示す図である。
【
図2】
図2は、既存技術に係る送信装置300を示すブロック図である。
【
図3】
図3は、既存技術に係る受信装置400を示すブロック図である。
【
図4】
図4は、実施形態に係る送信装置100を示すブロック図である。
【
図5】
図5は、実施形態に係る受信装置200を示すブロック図である。
【発明を実施するための形態】
【0014】
次に、本発明の実施形態について説明する。なお、以下の図面の記載において、同一または類似の部分には、同一または類似の符号を付している。ただし、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。
【0015】
したがって、具体的な寸法などは以下の説明を参酌して判断すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
【0016】
[開示の概要]
開示の概要に係る送信装置は、ベースレイヤ及び前記ベースレイヤを拡張するエンハンスメントレイヤを符号化する符号化部と、第1伝送路を介して第1パケットを送信する第1送信部と、第2伝送路を介して第2パケットを送信する第2送信部と、前記エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを前記第1伝送路に振り分け、前記特定ユニット以外のユニットを前記第2伝送路に振り分ける制御部と、を備え、前記第1パケットは、前記ベースレイヤを構成するユニット及び前記特定ユニットを含み、前記第2パケットは、前記エンハンスメントレイヤを構成するユニットのうち、前記特定ユニット以外のユニットを含む。
【0017】
開示の概要に係る受信装置は、第1伝送路を介して受信する第1パケットを蓄積する第1バッファと、第2伝送路を介して受信する第2パケットを蓄積する第2バッファと、ベースレイヤ及び前記ベースレイヤを拡張するエンハンスメントレイヤを復号する復号部と、前記第1パケット及び前記第2パケットに付与されたシーケンス番号、パケットカウンタの値、拡張カウンタの値及びタイムスタンプの少なくともいずれか1つに基づいて、前記第1パケット及び前記第2パケットを前記復号部に出力するデパケタイズ部と、を備え、前記シーケンス番号、パケットカウンタの値、拡張カウンタの値及び前記タイムスタンプの少なくともいずれか1つは、符号化部からユニットが出力される順序に基づいて付与され、前記第1パケットは、前記ベースレイヤを構成するユニットに加えて、前記エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを含み、前記第2パケットは、前記エンハンスメントレイヤを構成するユニットのうち、前記特定ユニット以外のユニットを含む。
【0018】
開示の概要によれば、送信装置は、第1伝送路を介して、エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを送信する。このような構成によれば、エンハンスメントレイヤに対応する伝送路(すなわち、第2伝送路)のエラー発生率が一定である条件下においても、エンハンスメントレイヤを構成する特定ユニットに関するエラー発生率を第1伝送路と同レベルに抑制することができ、エンハンスメントレイヤに関する再生品質を向上することができる。
【0019】
開示の概要によれば、受信装置は、第1パケット及び第2パケットに付与されたシーケンス番号、パケットカウンタの値、拡張カウンタの値及びタイムスタンプの少なくともいずれか1つに基づいて、第1パケット及び第2パケットを復号部に出力する。このような構成によれば、エンハンスメントレイヤを構成する特定ユニットが第1伝送路を介して受信される場合であっても、ベースレイヤ及びエンハンスメントレイヤを適切に復号することができる。
【0020】
[実施形態]
(伝送システム)
以下において、実施形態に係る伝送システムについて説明する。
図1は、実施形態に係る伝送システム10を示す図である。
図1に示すように、伝送システム10は、送信装置100及び受信装置200を有する。
【0021】
伝送システム10では、マルチレイヤ符号化に対応する映像符号化方式が採用されてもよい。例えば、マルチレイヤ符号化に対応する映像符号化方式では、2K解像度の映像をベースレイヤとして符号化し、2K解像度の映像を4K解像度の映像にアップコンバートするための差分情報をエンハンスメントレイヤとして符号化してもよい。ベースレイヤ及びエンハンスメントレイヤは異なる伝送路で送信されてもよい。
【0022】
マルチレイヤ符号化に対応する映像符号化方式としては、MPEGによって標準化されたVVC(Versatile Video Codec)が用いられてもよい。VVCは、ISO/IEC 23090-3で規定される方式であると考えてもよい。
【0023】
VVCでは、2K/4Kの2レイヤの解像度に関するスケーラビリティに加えて、2K/4K/8Kの3レイヤの解像度に関するスケーラビリティがサポートされ、アップコンバートではなくエンハンスメントレイヤをテロップ等の付加情報の重畳に用いることもサポートされてもよい。
【0024】
伝送システム10では、伝送方式として、RTP(Realtime Transport Protocol)が採用されてもよく、MMT(MPEG Media Transport)が採用されてもよい。RTPは、IETF RFC 3550で規定される方式であると考えてもよい。MMTは、ISO/IEC 23008-1で規定される方式であると考えてもよく、ARIB STD-B60で規定される方式であると考えてもよい。
【0025】
(課題)
以下において、実施形態に係る課題について説明する。ここでは、既存の送信装置300及び既存の受信装置400を例に挙げて説明する。
【0026】
図2に示すように、送信装置300は、マルチレイヤ符号化部301と、レイヤID分離部303と、パケタイズ部305と、送信部307と、を有する。
【0027】
マルチレイヤ符号化部301は、ベースレイヤを構成するユニットを符号化する。マルチレイヤ符号化部301は、エンハンスメントレイヤを構成するユニットを符号化する。ユニットは、NAL(Network Abstraction Layer)ユニットと称されてもよい。マルチレイヤ符号化部301は、所定順序でユニットを符号化する。
【0028】
レイヤID分離部303は、ユニットのヘッダに含まれるレイヤID(例えば、nuh_layer_id)に基づいて、ユニットがベースレイヤを構成するかエンハンスメントレイヤを構成するかを判定する。レイヤID分離部303は、ベースレイヤを構成するユニットをパケタイズ部305Aに出力し、エンハンスメントレイヤを構成するユニットをパケタイズ部305Bに出力する。
【0029】
パケタイズ部305は、ユニットをパケット化してパケットを生成する。パケットは、RTPに準拠するパケットであってもよい。例えば、パケットは、IPパケットであってもよい。IPパケットは、IPヘッダ、UDPヘッダ、RTPヘッダ及びペイロードを含んでもよい。具体的には、パケタイズ部305Aは、ベースレイヤを構成するユニットに対応するパケットを生成する。パケットは、ベースレイヤに対応するユニットをペイロードとして含む。パケタイズ部305Bは、エンハンスメントレイヤを構成するユニットに対応するパケットを生成する。パケットは、エンハンスメントレイヤに対応するユニットをペイロードとして含む。
【0030】
送信部307は、伝送路500を介して、パケタイズ部305によって生成されたパケットを送信する。具体的には、送信部307Aは、伝送路500Aを介して、パケタイズ部305Aによって生成されたパケットを送信する。送信部307Bは、伝送路500Bを介して、パケタイズ部305Bによって生成されたパケットを送信する。
【0031】
図3に示すように、受信装置400は、受信部401と、デパケタイズ部403と、バッファ405と、結合部407と、マルチレイヤ復号部409と、を有する。
【0032】
受信部401は、伝送路500を介して、パケットを受信する。具体的には、受信部401Aは、伝送路500Aを介して、ベースレイヤを構成するユニットに対応するパケットを受信する。受信部401Bは、伝送路500Bを介して、エンハンスメントレイヤを構成するユニットに対応するパケットを受信する。
【0033】
デパケタイズ部403は、受信部401によって受信されたパケットをデパケット化してユニットを取り出す。具体的には、デパケタイズ部403Aは、受信部401Aによって受信されたパケットから、ベースレイヤを構成するユニットを取り出す。デパケタイズ部403Bは、受信部401Bによって受信されたパケットから、エンハンスメントレイヤを構成するユニットを取り出す。
【0034】
バッファ405は、デパケタイズ部403によって取り出されたユニットを蓄積する。バッファ405は、FIFO(First-In First-Out)型のバッファであってもよい。バッファ405は、伝送遅延の誤差を吸収するために用いられる。具体的には、バッファ405Aは、ベースレイヤを構成するユニットを蓄積する。バッファ405Bは、エンハンスメントレイヤを構成するユニットを蓄積する。
【0035】
結合部407は、バッファ405に蓄積されるユニットの内部を解析するとともに、マルチレイヤ符号化部301と同様の所定順序でユニットを並び替え、マルチレイヤ符号化部301と同様の所定順序でユニットを出力する。
【0036】
特に限定されるものではないが、結合部407は、ユニットに含まれるピクチャヘッダのPOC(Picture Order Count)を復号した上で、POCに基づいてユニットを並び変えてもよい。POCの復号は、ユニットの内部の解析の一例であると考えてもよい。なお、ユニットの内部の解析方法は、ユニットの符号化/復号の方式に応じて適切な方法が採用されてもよい。
【0037】
マルチレイヤ復号部409は、マルチレイヤ符号化部301と同様の所定順序で結合部407から出力されるユニットを復号する。
【0038】
ここで、伝送路500Aは、ベースレイヤを構成するユニットに対応するパケットの伝送に用いられるため、一般的に、伝送路500Aのエラー耐性は、伝送路500Bのエラー耐性よりも高いことが想定される。すなわち、伝送路500B(エンハンスメントレイヤ)では、伝送路500A(ベースレイヤ)よりもエラーが生じる可能性が高い。
【0039】
エラー耐性は、伝送路500そのものの伝送特性(伝送路の種別、伝送路の伝送容量など)によって変化し得る。エラー耐性は、伝送路500で適用される誤り訂正の強度によって変化し得る。
【0040】
このような背景下において、発明者等は、鋭意検討の結果、エンハンスメントレイヤでエラーが生じた場合に、エラーが生じた部位によって再生品質に与える影響が異なることに着目し、エンハンスメントレイヤに対応する伝送路のエラー発生率が一定である条件下においても、エンハンスメントレイヤに関する再生品質を向上し得ることを見出した。
【0041】
(構成)
以下において、実施形態に係る構成について説明する。ここでは、送信装置100及び受信装置200の構成について主として説明する。
【0042】
図4に示すように、送信装置100は、マルチレイヤ符号化部101と、レイヤID分離部103と、重要度評価部104と、パケタイズ部105と、送信部107と、を有する。
【0043】
マルチレイヤ符号化部101は、マルチレイヤ符号化部301と同様に、ベースレイヤ及びエンハンスメントレイヤを構成するユニットを符号化する。ユニットは、NALユニットと称されてもよい。マルチレイヤ符号化部101は、所定順序でユニットを符号化する。
【0044】
レイヤID分離部103は、レイヤID分離部303と同様に、ユニットのヘッダに含まれるレイヤID(例えば、nuh_layer_id)に基づいて、ユニットがベースレイヤを構成するかエンハンスメントレイヤを構成するかを判定する。レイヤID分離部103は、ベースレイヤを構成するユニットをパケタイズ部105に出力し、エンハンスメントレイヤを構成するユニットを重要度評価部104に出力する。
【0045】
重要度評価部104は、エンハンスメントレイヤを構成するユニットの重要度を評価する。具体的には、重要度評価部104は、エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを送信部107A(伝送路500A)に振り分け、特定ユニット以外のユニットを送信部107B(伝送路500B)に振り分ける。
【0046】
特定重要度は、以下に示すオプションに従って判定されてもよい。
【0047】
オプション1では、重要度評価部104は、パラメータセットを含むユニットを特定ユニットとして送信部107A(伝送路500A)に振り分けてもよい。具体的には、重要度評価部104は、ユニットのヘッダ(例えば、NALユニットタイプ(nal_unit_type))を参照して、パラメータセットを含むユニットを特定ユニットとして特定してもよい。例えば、重要度評価部104は、Sequence Parameter Set、Picture Parameter Set、Adaptation Parameter Setを含むユニットを特定ユニットとして特定してもよい。
【0048】
オプション1によれば、パラメータセットを含むユニットのエラーを抑制することによって、伝送路500Bのエラー発生率が一定である条件下においても、エンハンスメントレイヤを全く再生できない事態を抑制することができる。
【0049】
オプション2では、重要度評価部104は、先頭ピクチャを構成するユニットを特定ユニットとして送信部107A(伝送路500A)に振り分けてもよい。具体的には、重要度評価部104は、SOP(Structure Of Picture)の復号において先頭ピクチャを構成するユニットを特定ユニットとして特定してもよい。先頭ピクチャは、GOP(Group Of Picture)のI(Intra-coded)ピクチャであると考えてもよい。なお、GOPの先頭ピクチャについて、ベースレイヤは単独で復号可能なIピクチャのデータであるのに対して、これを拡張するエンハンスメントレイヤ(特定ユニットに該当)は、ベースレイヤの復号結果をもとにレイヤ間予測したあとの差分情報を符号化したP(Predictive-coded)ピクチャ相当のデータであってもよい。
【0050】
オプション2によれば、先頭ピクチャを構成するユニットのエラーを抑制することによって、伝送路500Bのエラー発生率が一定である条件下においても、先頭ピクチャを参照するピクチャ群の全体を全く再生できない事態を抑制することができる。
【0051】
オプション3では、重要度評価部104は、他のピクチャから参照されないピクチャを構成するユニットを特定ユニット以外のユニットとして送信部107B(伝送路500B)に振り分けてもよい。具体的には、重要度評価部104は、SOPの復号において他のピクチャから参照されないピクチャを構成するユニットを特定ユニット以外のユニットとして特定してもよい。言い換えると、重要度評価部104は、SOPの復号において他のピクチャから参照されるピクチャを構成するユニットを特定ユニットとして特定してもよい。
【0052】
オプション3では、他のピクチャから参照されないピクチャのエラーを許容しつつ、エンハンスメントレイヤの品質の劣化を抑制することができる。
【0053】
なお、上述したオプション1-3の中から選択された2以上のオプションが組み合わされてもよい。
【0054】
パケタイズ部105は、パケタイズ部305と同様に、ユニットをパケット化してパケットを生成する。パケットは、RTPに準拠するパケットであってもよい。例えば、パケットは、IPパケットであってもよい。IPパケットは、IPヘッダ、UDPヘッダ、RTPヘッダ及びペイロードを含んでもよい。
【0055】
実施形態では、パケタイズ部105は、ベースレイヤを構成するユニット及びエンハンスメントレイヤを構成する特定ユニットに対応するパケットを生成する。パケタイズ部105は、生成されたパケットを送信部107Aに出力する。一方で、パケタイズ部105は、エンハンスメントレイヤを構成する特定ユニット以外のユニットに対応するパケットを生成する。パケタイズ部105は、生成されたパケットを送信部107Bに出力する。
【0056】
実施形態では、パケタイズ部105は、マルチレイヤ符号化部101からユニットが出力される順序に基づいて、シーケンス番号及びタイムスタンプの少なくともいずれか1つをパケットに付与してもよい。
【0057】
例えば、パケタイズ部105は、シーケンス番号をカウントするシーケンス番号カウンタを有してもよい。シーケンス番号カウンタは、パケットの生成毎に1つずつインクリメントされるカウンタであってもよい。
【0058】
例えば、パケタイズ部105は、タイムスタンプを付与するためのクロックカウンタを有してもよい。クロックカウンタは、一定の周波数でカウントアップするカウンタであってもよい。
【0059】
なお、パケタイズ部105は、シーケンス番号及びタイムスタンプの双方をパケットに付与してもよい。このようなケースにおいて、タイムスタンプは、パケットの並び変えに用いられ、シーケンス番号は、パケットの欠落検知に用いられてもよい。
【0060】
実施形態では、既存の送信装置300(
図2を参照)と比べて、送信装置100が重要度評価部104を有するが、重要度評価部104の処理遅延が小さいため、パケタイズ部105から出力されるパケットを構成するユニットの順序は、マルチレイヤ符号化部101でユニットを符号化(出力)する所定順序と同様であることに留意すべきである。すなわち、パケットに付与されるシーケンス番号及びタイムスタンプの少なくともいずれか1つを参照すれば、マルチレイヤ符号化部101でユニットを符号化(出力)する所定順序が入れ替わることがないことに留意すべきである。
【0061】
特に限定されるものではないが、パケタイズ部105は、1のユニットを分割して2以上のパケットに格納するフラグメント処理を実行してもよく、パケタイズ部105は、2以上のユニットを1つのパケットに格納するアグリゲーション処理を実行してもよい。
【0062】
送信部107は、送信部307と同様に、伝送路500を介して、パケタイズ部105によって生成されたパケットを送信する。具体的には、送信部107Aは、伝送路500Aを介して、パケタイズ部105Aによって生成されたパケットを送信する。送信部107Bは、伝送路500Bを介して、パケタイズ部105Bによって生成されたパケットを送信する。
【0063】
実施形態では、送信部107Aから送信されるパケットは、第1パケットと称されてもよい。第1パケットは、ベースレイヤを構成するユニット及び特定ユニットを含む。送信部107Bから送信されるパケットは、第2パケットと称されてもよい。第2パケットは、エンハンスメントレイヤを構成するユニットのうち、特定ユニット以外のユニットを含む。
【0064】
実施形態では、伝送路500A及び伝送路500Bは、光回線伝送路であってもよく、無線伝送路であってもよい。送信部107A及び送信部107Bは、光回線用のONU(Optical Network Unit)を含んでもよく、無線用の変調部を含んでよい。
【0065】
特に限定されるものではないが、伝送路500A及び伝送路500Bは、同じタイプの伝送路であってもよく、異なるタイプの伝送路であってもよい。例えば、伝送路500Aは、放送伝送路であり、伝送路500Bは、通信伝送路であってもよい。伝送路500Aは、地上波の放送伝送路であり、伝送路500Bは、衛星波の放送伝送路であってもよい。
【0066】
但し、伝送路500Aのエラー発生率は、伝送路500Bのエラー発生率よりも低い。エラー発生率は、波長、周波数、変調方式、誤り耐性などの各種パラメータによって定義される。例えば、伝送路500A及び伝送路500Bがいずれも地上波の放送伝送路であるケースを例に挙げると、伝送路500Aでは、64QAM(Quadrature Amplitude Modulation)が変調方式として用いられ、伝送路500Bでは、1024QAMが変調方式として用いられてもよい。
【0067】
図5に示すように、受信装置200は、受信部201と、バッファ203と、比較部205と、デパケタイズ部207と、マルチレイヤ復号部209と、を有する。
【0068】
受信部201は、伝送路500を介して、パケットを受信する。具体的には、受信部201Aは、伝送路500Aを介して、第1パケットを受信する。受信部201Bは、第2パケットを受信する。
【0069】
バッファ203は、受信部201によって受信されたパケットを蓄積する。バッファ203は、FIFO型のバッファであってもよい。バッファ203は、伝送遅延の誤差を吸収するために用いられる。具体的には、バッファ203Aは、受信部201Aによって受信された第1パケットを蓄積する。バッファ203Bは、受信部201Bによって受信された第2パケットを蓄積する。
【0070】
比較部205は、バッファ203に蓄積されるパケットに付与されるシーケンス番号及びタイムスタンプの少なくともいずれか1つに基づいて、バッファ203に蓄積されるパケットの出力を指示する。
【0071】
例えば、比較部205は、バッファ203Aに蓄積される第1パケット及びバッファ203Bに蓄積される第2バッファのうち、シーケンス番号が小さい方のパケットの出力をバッファ203A又はバッファ203Bに指示してもよい。
【0072】
例えば、比較部205は、バッファ203Aに蓄積される第1パケット及びバッファ203Bに蓄積される第2バッファのうち、タイムスタンプが早い方のパケットの出力をバッファ203A又はバッファ203Bに指示してもよい。
【0073】
デパケタイズ部207は、バッファ203から出力されるパケットをデパケット化してユニットを取り出す。具体的には、デパケタイズ部207は、バッファ203Aに蓄積された第1パケットから、ベースレイヤを構成するユニット及びエンハンスメントレイヤを構成する特定ユニットを取り出す。デパケタイズ部207は、バッファ203Bに蓄積された第2パケットから、エンハンスメントレイヤを構成する特定ユニット以外のユニットを取り出す。
【0074】
ここで、バッファ203に蓄積されたパケットが比較部205によって指示された順序で指示されることから、デパケタイズ部207は、マルチレイヤ符号化部101と同様の所定順序でユニットを並び替え、マルチレイヤ符号化部101と同様の所定順序でユニットを出力する。
【0075】
実施形態では、バッファ203に蓄積されたパケットが比較部205によって指示された順序で指示されることから、デパケタイズ部207は、各ユニットの内部を解析するまでもなく、マルチレイヤ符号化部101と同様の所定順序でユニットを出力することができる。従って、ユニットの符号化/復号の方式に応じて、受信装置200の回路又はプログラムを変更する必要がないことに留意すべきである。
【0076】
マルチレイヤ復号部209は、マルチレイヤ符号化部101と同様の所定順序でデパケタイズ部207から出力されるユニットを復号する。
【0077】
実施形態では、受信部201Aによって受信されるパケットは、第1パケットと称されてもよい。第1パケットは、ベースレイヤを構成するユニット及び特定ユニットを含む。受信部201Bによって受信されるパケットは、第2パケットと称されてもよい。第2パケットは、エンハンスメントレイヤを構成するユニットのうち、特定ユニット以外のユニットを含む。
【0078】
(まとめ)
実施形態では、マルチレイヤ符号化部101は、ベースレイヤ及びベースレイヤを拡張するエンハンスメントレイヤを符号化する符号化部を構成する。送信部107Aは、第1伝送路(伝送路500A)を介して第1パケットを送信する第1送信部を構成する。送信部107Bは、第2伝送路(伝送路500B)を介して第2パケットを送信する第2送信部を構成する。重要度評価部104は、エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを第1伝送路(伝送路500A)に振り分け、特定ユニット以外のユニットを第2伝送路(伝送路500B)に振り分ける制御部を構成する。パケタイズ部105は、第1伝送路(伝送路500A)及び第2伝送路(伝送路500B)を介して送信されるパケットを生成するパケタイズ部を構成する。
【0079】
実施形態では、受信部201Aは、第1伝送路(伝送路500A)を介して第1パケットを受信する第1受信部を構成する。受信部201Bは、第2伝送路(伝送路500B)を介して第2パケットを受信する第2受信部を構成する。マルチレイヤ復号部209は、ベースレイヤ及びベースレイヤを拡張するエンハンスメントレイヤを復号する復号部を構成する。デパケタイズ部207は、第1パケット及び第2パケットに付与されたシーケンス番号及びタイプスタンプの少なくともいずれか1つに基づいて、第1パケット及び第2パケットを復号部に出力するデパケタイズ部を構成する。デパケタイズ部は、比較部205を含んでもよい。
【0080】
上述した実施形態では、伝送方式としてRTPについて主として説明した。しかしながら、上述した開示はこれに限定されるものではない。伝送方式としては、MMTを用いてもよい。MMTパケットのヘッダは、RTPと同様に、シーケンス番号及びタイムスタンプの少なくともいずれか1つを含んでもよい。
【0081】
(作用及び効果)
実施形態では、送信装置100は、第1伝送路を介して、エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを送信する。このような構成によれば、エンハンスメントレイヤに対応する伝送路(すなわち、伝送路500B)のエラー発生率が一定である条件下においても、エンハンスメントレイヤを構成する特定ユニットに関するエラー発生率を伝送路500Aと同レベルに抑制することができ、エンハンスメントレイヤに関する再生品質を向上することができる。
【0082】
実施形態では、受信装置200は、第1パケット及び第2パケットに付与されたシーケンス番号及びタイプスタンプの少なくともいずれか1つに基づいて、第1パケット及び第2パケットを復号部に出力する。このような構成によれば、エンハンスメントレイヤを構成する特定ユニットが伝送路500Aを介して受信される場合であっても、ベースレイヤ及びエンハンスメントレイヤを適切に復号することができる。
【0083】
[変更例1]
以下において、実施形態の変更例1について説明する。以下においては、実施形態に対する相違点について主として説明する。
【0084】
実施形態では、伝送方式がRTPであるケースについて主として説明した。これに対して、変更例1では、伝送方式がMMTであるケースについて説明する。
【0085】
第1に、変更例1では、上述したシーケンス番号に代えて、パケットカウンタの値が用いられてもよい。言い換えると、シーケンス番号カウンタに代えて、パケットカウンタが用いられてもよい。
【0086】
具体的には、MMTでは、パケットカウンタは、2以上のパケットID(以下、PID)を通じでパケットをカウントアップするカウンタが用いられてもよい。
【0087】
このようなケースにおいて、送信装置100のパケタイズ部105は、マルチレイヤ符号化部101からユニットが出力される順序に基づいて、パケットカウンタの値をパケットに付与してもよい。受信装置200の比較部205は、バッファ203Aに蓄積される第1パケット及びバッファ203Bに蓄積される第2バッファのうち、パケットカウンタの値が小さい方のパケットの出力をバッファ203A又はバッファ203Bに指示してもよい。
【0088】
なお、変更例1では、パケットカウンタの値とともにシーケンス番号が用いられてもよい。このようなケースにおいて、伝送路500毎にPIDが異なっており、PID毎にシーケンス番号がカウントされてもよい。シーケンス番号は、伝送路500毎のパケットの欠落検知に用いられてもよい。
【0089】
第2に、変更例1では、上述したシーケンス番号に代えて、拡張カウンタの値が用いられてもよい。言い換えると、シーケンス番号カウンタに代えて、拡張カウンタが用いられてもよい。
【0090】
具体的には、MMTパケットの拡張ヘッダに拡張カウンタのフィールドが新たに定義されてもよい。拡張カウンタは、重要度評価部104の導入に伴うユニットの並び変えに専用で用いるカウンタである。
【0091】
このようなケースにおいて、送信装置100のパケタイズ部105は、マルチレイヤ符号化部101からユニットが出力される順序に基づいて、拡張カウンタの値をパケットに付与してもよい。受信装置200の比較部205は、バッファ203Aに蓄積される第1パケット及びバッファ203Bに蓄積される第2バッファのうち、拡張カウンタの値が小さい方のパケットの出力をバッファ203A又はバッファ203Bに指示してもよい。
【0092】
なお、変更例1では、拡張カウンタの値とともにシーケンス番号が用いられてもよい。このようなケースにおいて、伝送路500毎にPIDが異なっており、PID毎にシーケンス番号がカウントされてもよい。シーケンス番号は、伝送路500毎のパケットの欠落検知に用いられてもよい。
【0093】
なお、変更例1では、パケットカウンタフラグが”0”であるとして運用され、拡張カウンタの値とともにパケットカウンタの値が用いられなくてもよい。或いは、変更例1では、パケットカウンタフラグが”1”であるとして運用され、拡張カウンタの値とともにパケットカウンタの値が他の用途に用いられてもよい。
【0094】
[その他の実施形態]
本発明は上述した開示によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【0095】
上述した開示では、符号化方式としてVVCについて主として例示した。しかしながら、上述した開示はこれに限定されるものではない。符号化方式としては、HEVC(High Efficiency Video Coding)のマルチレイヤ拡張が用いられてもよい。符号化方式としては、ユニットのヘッダによってレイヤを識別可能な方式が用いられてもよい。
【0096】
上述した開示では、2レイヤであるケースについて主として説明した。しかしながら、上述した開示はこれに限定されるものではない。上述した開示は、3以上のレイヤに適用されてもよい。このようなケースにおいて、レイヤの数に相当する数の送信部107、受信部201、バッファ203、伝送路500が設けられてもよい。
【0097】
上述した開示では特に触れていないが、伝送方式としてRTPが用いられる場合に、MPEG-2 TS(Transport Stream)などの多重化方式を用いて、音声又は他のメディアコンポーネントと映像が多重化されてもよい。このようなケースにおいて、送信装置100のパケタイズ部105は、TS多重化機能を有しており、1つのユニットを2以上に分割してTSパケットに格納した上で、2以上のTSパケットを1つのパケットに格納してもよい。
【0098】
上述した開示では特に触れていないが、伝送方式としてMMTが用いられる場合に、ISOBMFF(ISO Base Media File Format)メタデータが用いられてもよい。このようなケースにおいて、送信装置100のパケタイズ部105は、ISOBMFFメタデータを生成する機能を有しており、ISOBMFFメタデータをMPUメタデータ又はMFUデータとしてMMTパケットに多重してもよい。
【0099】
ここで、ISOBMFFは、CMAF(Common Media Application Format)であってもよい。CMAFセグメント(チャンク)は、初期化セグメント及びメディアセクメントを含んでもよい。初期化セグメントは、復号機能の初期化に必要な大域的なメタデータ(”moov”)を含む。メディアセグメントは、短尺に区切られた映像のメディアデータ(”mdat”)及びそれに対応する局所的なメタデータ(”moof”)を含む。このようなケースにおいて、送信装置100の重要度評価部104は、ベースレイヤ及びエンハンスメントレイヤに共通する初期化セグメントのパラメータセットを含むユニットを特定ユニットとして伝送路500Aに振り分けてもよい。初期化セグメントは、MPUデータとしてMMTパケットに多重されてもよい。パラメータセットは、初期化セグメントのメタデータに含まれてもよく、メディアセグメントのメディアデータ(”mdat”)に含まれてもよい。
【0100】
上述した開示では特に触れていないが、シーケンス番号、パケットカウンタ及びタイムスタンプは、4バイト(32ビット)のフィールドであってもよい。4バイトのフィールドを符号なしの整数で扱うケースを想定すると、フィールドは、0~4294967295までの値を表現することができる。シーケンス番号カウンタのオーバーフローが生じた場合には、シーケンス番号カウンタの値は0に戻る。クロックカウンタのオーバーフローが生じた場合には、クロックカウンタは0に近い値に戻る。このようなオーバーフローを想定して、32ビットよりも上位ビットの状態を仮想的に保持するなどの手法でオーバーフローを検知することによって、オーバーフローに伴う大小比較のエラーが抑制されてもよい。また、拡張カウンタは、4バイトのケース以外に、2バイト(16ビット)など、任意のフィールド長であってもよい。これらの場合も、同様の原理によりオーバーフローを検知して大小比較のエラーが抑制されてもよい。
【0101】
上述した開示では特に触れていないが、受信装置200は、送信装置100と双方向の通信を実行可能であってもよい。
【0102】
上述した開示では特に触れていないが、送信装置100及び受信装置200が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMやDVD-ROM等の記録媒体であってもよい。
【0103】
或いは、送信装置100及び受信装置200が行う各処理を実行するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。
【0104】
(付記)
上述した開示は、以下に示すように表現されてもよい。
【0105】
第1の特徴は、ベースレイヤ及び前記ベースレイヤを拡張するエンハンスメントレイヤを符号化する符号化部と、第1伝送路を介して第1パケットを送信する第1送信部と、第2伝送路を介して第2パケットを送信する第2送信部と、前記エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを前記第1伝送路に振り分け、前記特定ユニット以外のユニットを前記第2伝送路に振り分ける制御部と、を備え、前記第1パケットは、前記ベースレイヤを構成するユニット及び前記特定ユニットを含み、前記第2パケットは、前記エンハンスメントレイヤを構成するユニットのうち、前記特定ユニット以外のユニットを含む、送信装置である。
【0106】
第2の特徴は、第1の特徴において、前記制御部は、パラメータセットを含むユニットを前記特定ユニットとして前記第1伝送路に振り分ける、送信装置である。
【0107】
第3の特徴は、第1の特徴又は第2の特徴において、前記制御部は、先頭ピクチャを構成するユニットを前記特定ユニットとして前記第1伝送路に振り分ける、送信装置である。
【0108】
第4の特徴は、第1の特徴乃至第3の特徴のいずれか1つにおいて、前記制御部は、他のピクチャから参照されないピクチャを構成するユニットを前記特定ユニット以外のユニットとして前記第2伝送路に振り分ける、送信装置である。
【0109】
第5の特徴は、第1の特徴乃至第4の特徴のいずれか1つにおいて、前記第1伝送路及び前記第2伝送路を介して送信されるパケットを生成するパケタイズ部を備え、前記パケタイズ部は、前記符号化部からユニットが出力される順序に基づいて、シーケンス番号、パケットカウンタの値、拡張カウンタの値及びタイムスタンプの少なくともいずれか1つを前記パケットに付与する、送信装置である。
【0110】
第6の特徴は、第1伝送路を介して受信する第1パケットを蓄積する第1バッファと、第2伝送路を介して受信する第2パケットを蓄積する第2バッファと、ベースレイヤ及び前記ベースレイヤを拡張するエンハンスメントレイヤを復号する復号部と、前記第1パケット及び前記第2パケットに付与されたシーケンス番号、パケットカウンタの値、拡張カウンタの値及びタイムスタンプの少なくともいずれか1つに基づいて、前記第1パケット及び前記第2パケットを前記復号部に出力するデパケタイズ部と、を備え、前記シーケンス番号、パケットカウンタの値、拡張カウンタの値及び前記タイムスタンプの少なくともいずれか1つは、符号化部からユニットが出力される順序に基づいて付与され、前記第1パケットは、前記ベースレイヤを構成するユニットに加えて、前記エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを含み、前記第2パケットは、前記エンハンスメントレイヤを構成するユニットのうち、前記特定ユニット以外のユニットを含む、受信装置である。
【0111】
第7の特徴は、第6の特徴において、前記第1パケットは、前記エンハンスメントレイヤを構成するパケットのうち、パラメータセットを含むユニットを含む、受信装置である。
【0112】
第8の特徴は、第6の特徴又は第7の特徴において、前記第1パケットは、前記エンハンスメントレイヤを構成するパケットのうち、先頭ピクチャを構成するユニットを含む、受信装置である。
【0113】
第9の特徴は、第6の特徴乃至第8の特徴の少なくともいずれか1つにおいて、前記第2パケットは、前記エンハンスメントレイヤを構成するパケットのうち、他のピクチャから参照されないピクチャを構成するユニットを含む、受信装置である。
【符号の説明】
【0114】
10…伝送システム、100…送信装置、101…マルチレイヤ符号化部、103…レイヤID分離部、104…重要度評価部、105…パケタイズ部、107…送信部、200…受信装置、201…受信部、203…バッファ、205…比較部、207…デパケタイズ部、209…マルチレイヤ復号部、300…送信装置、301…マルチレイヤ符号化部、303…レイヤID分離部、305…パケタイズ部、307…送信部、400…受信装置、401…受信部、403…デパケタイズ部、405…バッファ、407…結合、409…マルチレイヤ復号部、500…伝送路