知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024166153
(43)【公開日】2024-11-28
(54)【発明の名称】受信装置及びプログラム
(51)【国際特許分類】
H04N 19/30 20140101AFI20241121BHJP
【ＦＩ】
H04N19/30
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2024079426
(22)【出願日】2024-05-15
(31)【優先権主張番号】P 2023080936
(32)【優先日】2023-05-16
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001106
【氏名又は名称】弁理士法人キュリーズ
(72)【発明者】
【氏名】岩村 俊輔
(72)【発明者】
【氏名】河村 侑輝
(72)【発明者】
【氏名】根本 慎平
(72)【発明者】
【氏名】井口 和久
(72)【発明者】
【氏名】市ヶ谷 敦郎
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA04
5C159MA05
5C159MA17
5C159MA21
5C159MA31
5C159MC11
5C159ME01
5C159PP04
5C159RC11
5C159UA02
5C159UA05
(57)【要約】 （修正有）
【課題】上位のレイヤのビットストリームに欠損が生じた場合でも、復号処理を初期化することなく復号処理を継続し、且つ、コストの増大を抑制する受信装置及びプログラムを提供する。
【解決手段】受信装置２００は、第１レイヤのビットストリームを受信する第１受信部２１１Ａと、第２レイヤのビットストリームを受信する第２受信部２１１Ｂと、第１レイヤのビットストリーム及び第２レイヤのビットストリームを結合するレイヤ結合処理を行ってマルチレイヤビットストリームを出力するレイヤ結合部２２０と、第２受信部における受信状態について判定する受信状態判定部２４０と、を備える。レイヤ結合部２２０は、第２レイヤのビットストリームの一部が欠損した旨を判定手段が判定した場合、当該欠損した部分のビットストリームに対して差し替え用データを差し替えたうえでレイヤ結合処理を行う。
【選択図】図４
【解決手段】受信装置２００は、第１レイヤのビットストリームを受信する第１受信部２１１Ａと、第２レイヤのビットストリームを受信する第２受信部２１１Ｂと、第１レイヤのビットストリーム及び第２レイヤのビットストリームを結合するレイヤ結合処理を行ってマルチレイヤビットストリームを出力するレイヤ結合部２２０と、第２受信部における受信状態について判定する受信状態判定部２４０と、を備える。レイヤ結合部２２０は、第２レイヤのビットストリームの一部が欠損した旨を判定手段が判定した場合、当該欠損した部分のビットストリームに対して差し替え用データを差し替えたうえでレイヤ結合処理を行う。
【選択図】図４
【特許請求の範囲】
【請求項1】
マルチレイヤ符号化における第１レイヤのビットストリームを受信する第１受信手段と、
前記第１レイヤよりも上位の第２レイヤのビットストリームを受信する第２受信手段と、
前記第１レイヤのビットストリーム及び前記第２レイヤのビットストリームを結合するレイヤ結合処理を行ってマルチレイヤビットストリームを出力する結合手段と、
前記第２受信手段における受信状態について判定する判定手段と、を備え、
前記結合手段は、前記第２レイヤのビットストリームの一部が欠損した旨を前記判定手段が判定した場合、当該欠損した部分のビットストリームに対して差し替え用データを差し替えたうえで前記レイヤ結合処理を行う
受信装置。
前記第１レイヤよりも上位の第２レイヤのビットストリームを受信する第２受信手段と、
前記第１レイヤのビットストリーム及び前記第２レイヤのビットストリームを結合するレイヤ結合処理を行ってマルチレイヤビットストリームを出力する結合手段と、
前記第２受信手段における受信状態について判定する判定手段と、を備え、
前記結合手段は、前記第２レイヤのビットストリームの一部が欠損した旨を前記判定手段が判定した場合、当該欠損した部分のビットストリームに対して差し替え用データを差し替えたうえで前記レイヤ結合処理を行う
受信装置。
【請求項2】
前記第２レイヤにおける前記差し替えに用いる前記差し替え用データを保持するメモリ手段をさらに備え、
前記差し替え用データは、
前記第１レイヤにおける復号映像を前記第２レイヤにおける表示解像度に拡大した予測画像を生成させる予測モード情報と、
前記第２レイヤにおける各画像ブロックについて予測残差が含まれていないことを示す無残差情報と、を含む
請求項１に記載の受信装置。
前記差し替え用データは、
前記第１レイヤにおける復号映像を前記第２レイヤにおける表示解像度に拡大した予測画像を生成させる予測モード情報と、
前記第２レイヤにおける各画像ブロックについて予測残差が含まれていないことを示す無残差情報と、を含む
請求項１に記載の受信装置。
【請求項3】
前記第１受信手段及び前記第２受信手段のそれぞれは、フレーム単位でビットストリームの受信処理を行い、
前記判定手段は、前記第２レイヤのビットストリームのうち前記欠損した部分に対応する欠損フレームを差し替えフレームとして判定し、
前記結合手段は、前記差し替えフレームに対して前記差し替え用データを差し替えたうえで前記レイヤ結合処理を行う
請求項１又は２に記載の受信装置。
前記判定手段は、前記第２レイヤのビットストリームのうち前記欠損した部分に対応する欠損フレームを差し替えフレームとして判定し、
前記結合手段は、前記差し替えフレームに対して前記差し替え用データを差し替えたうえで前記レイヤ結合処理を行う
請求項１又は２に記載の受信装置。
【請求項4】
前記判定手段は、前記欠損フレームと、前記欠損フレームを参照画像として用いるフレームと、を差し替えフレーム群として判定し、
前記結合手段は、前記差し替えフレーム群を構成する各フレームに対して前記差し替え用データを差し替えたうえで前記レイヤ結合処理を行う
請求項３に記載の受信装置。
前記結合手段は、前記差し替えフレーム群を構成する各フレームに対して前記差し替え用データを差し替えたうえで前記レイヤ結合処理を行う
請求項３に記載の受信装置。
【請求項5】
前記第１受信手段及び前記第２受信手段のそれぞれは、複数のフレームをまとめたチャンク単位でビットストリームの受信処理を行い、
前記判定手段は、前記第２レイヤのビットストリームのうち前記欠損した部分を含む欠損チャンクを差し替えチャンクとして判定し、
前記結合手段は、前記差し替えチャンクに対して前記差し替え用データを差し替えたうえで前記レイヤ結合処理を行う
請求項１又は２に記載の受信装置。
前記判定手段は、前記第２レイヤのビットストリームのうち前記欠損した部分を含む欠損チャンクを差し替えチャンクとして判定し、
前記結合手段は、前記差し替えチャンクに対して前記差し替え用データを差し替えたうえで前記レイヤ結合処理を行う
請求項１又は２に記載の受信装置。
【請求項6】
前記判定手段は、前記欠損チャンク内の各フレームと、前記欠損チャンク内のフレームを参照画像として用いるフレームと、を差し替えフレーム群として判定し、
前記結合手段は、前記差し替えフレーム群を構成する各フレームに対して前記差し替え用データを差し替えたうえで前記レイヤ結合処理を行う
請求項５に記載の受信装置。
前記結合手段は、前記差し替えフレーム群を構成する各フレームに対して前記差し替え用データを差し替えたうえで前記レイヤ結合処理を行う
請求項５に記載の受信装置。
【請求項7】
前記第１レイヤのビットストリームは、第１伝送路を介して伝送され、
前記第２レイヤのビットストリームは、前記第１伝送路と異なる第２伝送路を介して伝送される
請求項１又は２に記載の受信装置。
前記第２レイヤのビットストリームは、前記第１伝送路と異なる第２伝送路を介して伝送される
請求項１又は２に記載の受信装置。
【請求項8】
コンピュータを請求項１に記載の受信装置として機能させる
プログラム。
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、受信装置及びプログラムに関する。
【背景技術】
【0002】
近年、放送やストリーミングサービスなどの視聴においては、大型テレビやモバイル端末、タブレットなど、映像視聴に用いるデバイスが多様化している。これらのデバイスは映像処理能力や表示解像度などが様々であるため、それぞれのデバイスに適した解像度・フレームレートの映像を伝送することが好ましい。
【0003】
最新の映像符号化方式であるＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では、上記のような複数の映像を効率的に符号化するマルチレイヤ符号化機能が採用されている（例えば、非特許文献１参照）。
【0004】
マルチレイヤ符号化においては、符号化対象の複数の入力映像をレイヤ構造で符号化する。最も下位のレイヤ（Ｌ０）をまず符号化し、Ｌ０の復号映像を上位のレイヤ（Ｌ１，Ｌ２，…）の符号化処理による予測に用いることで、上位のレイヤの予測効率が向上し、それぞれを独立して符号化する場合に比べて符号化効率が向上する効果がある。特に、Ｌ０として低解像度映像を符号化し、低解像度映像の復号画像を用いて高解像度映像であるＬ１を符号化する空間スケーラビル符号化はマルチレイヤ符号化の典型的なユースケースである。
【0005】
現在の地上デジタル放送・ワンセグ放送などの例のように、放送サービスにおいては対象となる視聴端末の受信能力に応じて異なる放送方式が用いられることがある。例えば携帯電話などのように移動しながらの視聴が想定される視聴端末に対してはＣ／Ｎ比が低い場合にも受信・復号可能な放送方式を採用し、家庭での固定受信などの視聴が想定される端末に対してはＣ／Ｎ比が高い環境でのみ受信・復号可能とする放送方式を採用することが考えられる。
【0006】
ＶＶＣのマルチレイヤ符号化によって符号化されたマルチレイヤビットストリームのうち、低解像映像を符号化したＬ０ビットストリームを伝送容量は小さいが雑音に強い伝送路Ａで伝送し、高解像度映像を符号化したＬ１ビットストリームを雑音に強くないが伝送容量の大きい別の伝送路Ｂで伝送することで、モバイル端末などの移動体受信を前提とした視聴端末では低解像度映像を、家庭での固定受信を行う大型テレビなどの視聴端末では、高解像度映像を視聴可能になる。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】ＩＳＯ／ＩＥＣ ２３０９０－３、”Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ - Ｃｏｄｅｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ｉｍｍｅｒｓｉｖｅ ｍｅｄｉａ - Ｐａｒｔ ３： Ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ”
【発明の概要】
【発明が解決しようとする課題】
【0008】
Ｌ０ビットストリームとＬ１ビットストリームを異なる伝送路で伝送する場合、受信装置側で、それぞれの伝送路から伝送されたＬ０ビットストリーム及びＬ１ビットストリームを合成し、送信側のエンコーダが出力したマルチレイヤビットストリームを復元してデコーダに入力する必要がある。上述のように、Ｌ１ビットストリームを伝送容量が大きいが雑音に弱い伝送方式で伝送した場合、荒天の場合の降雨減衰などにより、固定受信であってもＬ１ビットストリームに欠損が生じる場合がある。
【0009】
このような場合、Ｌ１ビットストリームのデータに欠損がある部分については、高解像度映像を復号不可能となるため、デコーダはＬ０ビットストリームを復号し、低解像度映像を表示する必要がある。この場合、受信装置側の復号処理では、それまでの映像出力であるＬ１ビットストリームを復号した高解像度映像から、Ｌ０ビットストリームを復号した低解像度映像に映像出力の画面解像度を変更する必要があるため、復号処理を初期化する必要性がある。このため、受信側で映像が一度途切れてしまう問題が生じる可能性がある。また、Ｌ０ビットストリームの復号により得られる低解像度映像を、それまで表示していた高解像度映像の解像度に拡大（アップコンバート）するための解像度変換処理をデコーダと別に追加で受信装置に実装する必要があり、コストの増大につながる問題も生じる。
【0010】
そこで、本発明は、上位のレイヤのビットストリームに欠損が生じた場合でも、復号処理を初期化することなく復号処理を継続可能であって、且つコストの増大を抑制可能な受信装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
第１の態様に係る受信装置は、マルチレイヤ符号化における第１レイヤのビットストリームを受信する第１受信手段と、前記第１レイヤよりも上位の第２レイヤのビットストリームを受信する第２受信手段と、前記第１レイヤのビットストリーム及び前記第２レイヤのビットストリームを結合するレイヤ結合処理を行ってマルチレイヤビットストリームを出力する結合手段と、前記第２受信手段における受信状態について判定する判定手段と、を備える。前記結合手段は、前記第２レイヤのビットストリームの一部が欠損した旨を前記判定手段が判定した場合、当該欠損した部分のビットストリームに対して差し替え用データを差し替えたうえで前記レイヤ結合処理を行う。
【0012】
第２の態様に係るプログラムは、コンピュータを第１の態様に係る受信装置として機能させる。
【発明の効果】
【0013】
本発明によれば、上位のレイヤのビットストリームに欠損が生じた場合でも、復号処理を初期化することなく復号処理を継続可能であって、且つコストの増大を抑制可能な受信装置及びプログラムを提供できる。
【図面の簡単な説明】
【0014】
【図1】実施形態に係る伝送システムを示す図である。
【図2】第１実施形態に係る送信装置の構成を示す図である。
【図3】マルチレイヤビットストリームの一例を示す図である。
【図4】第１実施形態に係る受信装置の構成を示す図である。
【図5】第１実施形態に係る受信装置における通常の復号処理を示す図である。
【図6】第１実施形態に係る受信装置におけるＬ１伝送誤り発生時の復号処理を示す図である。
【図7】第１実施形態に係る受信状態判定部の動作を説明するための図である。
【図8】第１実施形態に係る受信状態判定部がフレーム単位で判定を行う一例を示す図である。
【図9】第１実施形態に係る受信状態判定部がチャンク単位で判定を行う一例を示す図である。
【図10】第１実施形態の第１変更例を説明するための図である。
【図11】第２実施形態に係る送信装置の構成を示す図である。
【図12】第２実施形態に係る受信装置の構成を示す図である。
【発明を実施するための形態】
【0015】
図面を参照しながら、実施形態について説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
【0016】
【0017】
【0018】
伝送システム１０では、マルチレイヤ符号化に対応する映像符号化方式が採用されてもよい。マルチレイヤ符号化においては、符号化対象の複数の入力映像をレイヤ構造で符号化する。最も下位のレイヤ（Ｌ０）をまず符号化し、Ｌ０の復号映像を上位のレイヤ（Ｌ１，Ｌ２，…）の符号化処理による予測に用いることで、上位のレイヤの予測効率が向上し、それぞれを独立して符号化する場合に比べて符号化効率が向上する効果がある。
【0019】
マルチレイヤ符号化に対応する映像符号化方式では、ベースレイヤ（「Ｌ０」とも称する）として低解像度映像を符号化し、低解像度映像の復号画像を用いて高解像度映像であるエンハンスメントレイヤ（「Ｌ１」とも称する）を符号化する空間スケーラビル符号化が適用されてもよい。例えば、送信装置１００は、２Ｋ解像度の映像をＬ０として符号化し、２Ｋ解像度の映像を用いて４Ｋ解像度の映像の予測処理を行い、高解像度映像と予測画像との差分情報を予測情報とともにエンハンスメントレイヤ（「Ｌ１」とも称する）として符号化してもよい。
【0020】
マルチレイヤ符号化に対応する映像符号化方式としては、ＭＰＥＧによって標準化されたＶＶＣが用いられてもよい。ＶＶＣは、ＩＳＯ／ＩＥＣ ２３０９０－３で規定される方式であると考えてもよい。ＶＶＣでは、２Ｋ／４Ｋの２レイヤの解像度に関するスケーラビリティに加えて、２Ｋ／４Ｋ／８Ｋの３レイヤの解像度に関するスケーラビリティがサポートされ、アップコンバートではなくエンハンスメントレイヤをテロップやサブ映像等の付加情報の重畳に用いることもサポートされてもよい。
【0021】
伝送システム１０では、伝送方式として、ＲＴＰ（Ｒｅａｌｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）が採用されてもよく、ＭＭＴ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ）が採用されてもよい。ＲＴＰは、ＩＥＴＦ ＲＦＣ ３５５０で規定される方式であると考えてもよい。ＭＭＴは、ＩＳＯ／ＩＥＣ ２３００８－１で規定される方式であると考えてもよく、ＡＲＩＢ ＳＴＤ－Ｂ６０で規定される方式であると考えてもよい。
【0022】
ベースレイヤ（Ｌ０）及びエンハンスメントレイヤ（Ｌ１）は異なる伝送路５００で送信されてもよい。例えば、マルチレイヤ符号化によって符号化されたマルチレイヤビットストリームのうち、低解像映像を符号化したＬ０ビットストリームを伝送容量は小さいが雑音に強い伝送路５００Ａで伝送し、高解像度映像を符号化したＬ１ビットストリームを雑音に強くないが伝送容量の大きい別の伝送路５００Ｂで伝送する。このように伝送することで、モバイル端末などの移動体受信を前提とした受信装置２００では低解像度映像を、家庭での固定受信を行う大型テレビなどの受信装置２００では、高解像度映像を視聴可能になる。
【0023】
Ｌ０ビットストリームとＬ１ビットストリームを異なる伝送路５００で伝送する場合、受信装置２００側で、それぞれの伝送路から伝送されたＬ０ビットストリーム及びＬ１ビットストリームを合成し、送信側のエンコーダが出力したマルチレイヤビットストリームを復元してデコーダに入力する必要がある。Ｌ１ビットストリームを伝送容量が大きいが雑音に弱い伝送方式で伝送した場合、荒天の場合の降雨減衰などにより、固定受信であってもＬ１ビットストリームに欠損が生じる場合がある。
【0024】
なお、伝送路５００Ａ及び伝送路５００Ｂは、光回線伝送路であってもよく、無線伝送路であってもよい。特に限定されるものではないが、伝送路５００Ａ及び伝送路５００Ｂは、同じタイプの伝送路であってもよく、異なるタイプの伝送路であってもよい。例えば、伝送路５００Ａは、放送伝送路であり、伝送路５００Ｂは、通信伝送路であってもよい。伝送路５００Ａは、地上波の放送伝送路であり、伝送路５００Ｂは、衛星波の放送伝送路であってもよい。
【0025】
但し、伝送路５００Ａの誤り発生率は、伝送路５００Ｂの誤り発生率よりも低くてもよい。誤り発生率は、波長、周波数、変調方式、誤り耐性などの各種パラメータによって定義される。例えば、伝送路５００Ａ及び伝送路５００Ｂがいずれも地上波の放送伝送路であるケースを例に挙げると、伝送路５００Ａでは、６４ＱＡＭ（Ｑｕａｄｒａｔｕｒｅ Ａｍｐｌｉｔｕｄｅ Ｍｏｄｕｌａｔｉｏｎ）が変調方式として用いられ、伝送路５００Ｂでは、１０２４ＱＡＭが変調方式として用いられてもよい。
【0026】
（１．２）第１実施形態に係る構成
第１実施形態に係る構成について説明する。
第１実施形態に係る構成について説明する。
【0027】
（１．２．１）送信装置の構成
図２は、第１実施形態に係る送信装置１００の構成を示す図である。第１実施形態に係る送信装置１００は、マルチレイヤ符号化部１１０と、レイヤ分離部１２０と、送信手段１３０と、を有する。
図２は、第１実施形態に係る送信装置１００の構成を示す図である。第１実施形態に係る送信装置１００は、マルチレイヤ符号化部１１０と、レイヤ分離部１２０と、送信手段１３０と、を有する。
【0028】
マルチレイヤ符号化部１１０は、ベースレイヤ（Ｌ０）を構成する各ユニットを符号化し、Ｌ０ビットストリームを生成する。マルチレイヤ符号化部１１０は、エンハンスメントレイヤ（Ｌ１）を構成する各ユニットを符号化し、Ｌ１ビットストリームを生成する。ユニットは、ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットと称されてもよい。マルチレイヤ符号化部１１０は、所定順序で各ユニットを符号化し、図３に示すようなマルチレイヤビットストリームをレイヤ分離部１２０に出力する。
【0029】
レイヤ分離部１２０は、ユニットのヘッダに含まれるレイヤＩＤ（例えば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）に基づいて、ユニットがベースレイヤを構成するかエンハンスメントレイヤを構成するかを判定する。レイヤ分離部１２０は、ベースレイヤを構成するユニットからなるＬ０ビットストリームを送信手段１３０Ａに出力し、エンハンスメントレイヤを構成するユニットからなるＬ１ビットストリームを送信手段１３０Ｂに出力する。
【0030】
送信手段１３０は、レイヤ分離部１２０が出力するビットストリームを、伝送路５００を介して送信する。第１実施形態では、送信手段１３０Ａは、レイヤ分離部１２０が出力するＬ０ビットストリームを、伝送路５００Ａを介して送信する。送信手段１３０Ｂは、レイヤ分離部１２０が出力するＬ１ビットストリームを、伝送路５００Ｂを介して送信する。
【0031】
送信手段１３０は、パケタイズ部１３１と、送信部１３２とを有する。パケタイズ部１３１は、ユニットをパケット化してパケットを生成する。パケットは、ＲＴＰに準拠するパケットであってもよい。例えば、パケットは、ＩＰパケットであってもよい。ＩＰパケットは、ＩＰヘッダ、ＵＤＰヘッダ、ＲＴＰヘッダ及びペイロードを含んでもよい。
【0032】
具体的には、パケタイズ部１３１Ａは、ベースレイヤを構成するユニットに対応するパケットを生成する。当該パケットは、ベースレイヤに対応するユニットをペイロードとして含む。パケタイズ部１３１Ｂは、エンハンスメントレイヤを構成するユニットに対応するパケットを生成する。当該パケットは、エンハンスメントレイヤに対応するユニットをペイロードとして含む。
【0033】
送信部１３２は、伝送路５００を介して、パケタイズ部１３１によって生成されたパケットを送信する。具体的には、送信部１３２Ａは、伝送路５００Ａを介して、パケタイズ部１３１Ａによって生成されたパケットを送信する。送信部１３２Ｂは、伝送路５００Ｂを介して、パケタイズ部１３１Ｂによって生成されたパケットを送信する。なお、送信部１３２Ａ及び送信部１３２Ｂは、光回線用のＯＮＵ（Ｏｐｔｉｃａｌ Ｎｅｔｗｏｒｋ Ｕｎｉｔ）を含んでもよく、無線用の変調部を含んでもよい。
【0034】
（１．２．２）受信装置の構成
図４は、第１実施形態に係る受信装置２００の構成を示す図である。第１実施形態に係る受信装置２００は、受信手段２１０と、レイヤ結合部２２０と、メモリ部２３０と、受信状態判定部２４０と、マルチレイヤ復号部２５０と、を有する。
図４は、第１実施形態に係る受信装置２００の構成を示す図である。第１実施形態に係る受信装置２００は、受信手段２１０と、レイヤ結合部２２０と、メモリ部２３０と、受信状態判定部２４０と、マルチレイヤ復号部２５０と、を有する。
【0035】
受信手段２１０は、伝送路５００を介して、ビットストリームを受信する。第１実施形態では、受信手段２１０Ａは、伝送路５００Ａを介して伝送されるＬ０ビットストリームを受信する。受信手段２１０Ｂは、伝送路５００Ｂを介して伝送されるＬ１ビットストリームを受信する。受信装置２００は、受信部２１１と、デパケタイズ部２１２と、バッファ部２１３とを有する。
【0036】
受信部２１１は、伝送路５００を介して、ビットストリームを構成する各パケットを受信する。受信部２１１Ａは、伝送路５００Ａを介して、ベースレイヤを構成するユニットに対応するパケットを受信する。受信手段２１０Ｂは、伝送路５００Ｂを介して、エンハンスメントレイヤを構成するユニットに対応するパケットを受信する。
【0037】
デパケタイズ部２１２は、受信部２１１によって受信されたパケットをデパケット化してユニットを取り出す。具体的には、デパケタイズ部２１２Ａは、受信部２１１Ａによって受信されたパケットから、ベースレイヤを構成するユニットを取り出す。デパケタイズ部２１２Ｂは、受信部２１１Ｂによって受信されたパケットから、エンハンスメントレイヤを構成するユニットを取り出す。
【0038】
バッファ部２１３は、デパケタイズ部２１２によって取り出されたユニットを蓄積する。バッファ部２１３は、ＦＩＦＯ（Ｆｉｒｓｔ－Ｉｎ Ｆｉｒｓｔ－Ｏｕｔ）型のバッファ部であってもよい。バッファ部２１３は、伝送遅延の誤差を吸収するために用いられる。具体的には、バッファ部２１３Ａは、ベースレイヤを構成するユニットを蓄積する。バッファ部２１３Ｂは、エンハンスメントレイヤを構成するユニットを蓄積する。
【0039】
レイヤ結合部２２０は、受信手段２１０Ａによって受信されたＬ０ビットストリーム及び受信手段２１０Ｂによって受信されたＬ１ビットストリームを結合するレイヤ結合処理を行ってマルチレイヤビットストリームをマルチレイヤ復号部２５０に出力する。具体的には、レイヤ結合部２２０は、バッファ部２１３に蓄積されるユニットの内部を解析するとともに、マルチレイヤ符号化部１１０と同様の所定順序でユニットを並び替え、マルチレイヤ符号化部１１０と同様の所定順序でユニット（マルチレイヤビットストリーム）をマルチレイヤ復号部２５０に出力する。
【0040】
特に限定されるものではないが、レイヤ結合部２２０は、ユニットに含まれるピクチャヘッダのＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）を復号した上で、ＰＯＣに基づいてユニットを並び変えてもよい。ＰＯＣの復号は、ユニットの内部の解析の一例であると考えてもよい。なお、ユニットの内部の解析方法は、ユニットの符号化／復号の方式に応じて適切な方法が採用されてもよい。
【0041】
メモリ部２３０は、Ｌ１ビットストリームにおける差し替えに用いる差し替え用データを保持しており、差し替え用データをレイヤ結合部２２０に出力する。差し替え用データの具体例については後述する。メモリ部２３０は、エンハンスメントレイヤにおける解像度ごとに異なる差し替えデータを保持してもよい。この場合、メモリ部２３０は、エンハンスメントレイヤにおける現在の解像度に対応する差し替えデータをレイヤ結合部２２０に出力してもよい。
【0042】
受信状態判定部２４０は、受信手段２１０Ｂにおける受信状態（すなわち、Ｌ１ビットストリームの受信状態）について判定する。受信状態判定部２４０は、Ｌ１ビットストリームにおいて伝送誤りによって生じたパケット損失の有無について判定してもよい。受信状態判定部２４０は、損失したパケットに対応するフレーム（「ピクチャ」とも称する）を判定してもよいし、損失したパケットに対応するチャンクを判定してもよい。
【0043】
なお、チャンク（ｃｈｕｎｋ）は、複数のフレームをまとめた単位であって、映像を符号化する際に一定の長さのビットストリームに分割した単位である。チャンクは、フレームを一定の数だけグループ化してビットストリームを形成することで、ストリームの伝送や再生をより効率的に行うことができる。チャンクは、フレームのサイズやビットレートに基づいて決定されてもよい。一般的には、チャンクのサイズを小さくすると、ビットストリームの遅延が少なくなるが、ビットレートが高くなる。
【0044】
マルチレイヤ復号部２５０は、マルチレイヤ符号化部１１０と同様の所定順序でレイヤ結合部２２０から出力されるユニット（マルチレイヤビットストリーム）を復号し、復号映像を出力する。マルチレイヤ復号部２５０は、受信装置２００の外部の装置、例えば表示装置に設けられてもよい。
【0045】
このように構成された受信装置２００において、レイヤ結合部２２０は、Ｌ１ビットストリームの一部が欠損した旨を受信状態判定部２４０が判定した場合、当該欠損した部分のＬ１ビットストリームに対して差し替え用データを差し替えたうえでレイヤ結合処理を行う。このように、レイヤ結合部２２０は、欠損した部分のＬ１ビットストリームに対して差し替え用データを差し替えたうえでレイヤ結合処理を行うことで、Ｌ１ビットストリームに欠損が無い場合と同じ形式のマルチレイヤビットストリームをマルチレイヤ復号部２５０に出力できる。
【0046】
そのため、マルチレイヤ復号部２５０は、Ｌ１ビットストリームに欠損が生じた場合でも、復号処理を初期化する必要性が無く、映像が一度途切れてしまうことを回避できる。また、Ｌ０ビットストリームの復号により得られる低解像度映像を、それまで表示していた高解像度映像の解像度に拡大（アップコンバート）するための解像度変換処理をデコーダと別に追加で受信装置２００に実装する必要が無く、コストの増大を抑制できる。
【0047】
（１．３）受信装置の動作
図５は、第１実施形態に係る受信装置２００における通常の復号処理を示す図である。
図５は、第１実施形態に係る受信装置２００における通常の復号処理を示す図である。
【0048】
レイヤ結合部２２０は、Ｌ０ビットストリーム及びＬ１ビットストリームを結合してマルチレイヤビットストリームをマルチレイヤ復号部２５０に出力する。
【0049】
マルチレイヤ復号部２５０は、Ｌ０の復号処理においては、Ｌ０ビットストリームからＬ０予測モード情報及びＬ０予測残差を取得し、Ｌ０予測モード情報に基づいてＬ０予測画像を生成し、Ｌ０予測残差とＬ０予測画像とを合成することでＬ０復号画像を得る。
【0050】
マルチレイヤ復号部２５０は、Ｌ１の復号処理においては、Ｌ１ビットストリームからＬ１予測モード情報及びＬ１予測残差を取得し、Ｌ１予測モード情報に基づいてＬ０復号画像を用いてＬ１予測画像を生成し、Ｌ１予測残差とＬ１予測画像とを合成することでＬ１復号画像を得る。Ｌ０復号画像からＬ１予測画像を生成する予測を、ＶＶＣではインターレイヤ予測と称し、インターレイヤ予測では、異なる解像度の画像間の予測のためＲＰＲ（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｒｅｓａｍｐｌｉｎｇ）と称する技術が用いられる。具体的には、Ｌ０復号画像をＬ１の復号画像の解像度に拡大しながら、インター予測を行う処理である。
【0051】
図６は、第１実施形態に係る受信装置２００におけるＬ１伝送誤り発生時の復号処理を示す図である。
【0052】
レイヤ結合部２２０は、Ｌ１ビットストリームが欠損した場合、欠損したＬ１ビットストリームに対して、メモリ部２３０が保持する差し替え用データを差し替えたマルチレイヤビットストリームをマルチレイヤ復号部２５０に出力する。
【0053】
差し替え用データは、Ｌ０における復号映像をＬ１における表示解像度に拡大した予測画像を生成させる予測モード情報と、Ｌ１における各画像ブロックについて予測残差が含まれていないことを示す無残差情報と、を含む。
【0054】
具体的には、差し替え用データでは、予測モード情報として、Ｌ０復号画像をインターレイヤ予測する際に用いる動きベクトル（ＭＶ）として、全てのブロックにおいてゼロベクトルを格納した情報が格納されている。また、予測残差として、すべてのブロックにおける予測残差がゼロとなるような情報が格納されている。
【0055】
これにより、マルチレイヤ復号部２５０は、Ｌ０復号画像を動き情報がゼロの動きベクトルを用いてインターレイヤ予測を行うことで得られたＬ０復号画像の拡大画像を、差し替え用データを用いて復号した際のＬ１復号画像として生成する。よって、Ｌ１ビットストリームの欠損によるマルチレイヤ復号部２５０の停止や初期化を防ぐことが可能となり、マルチレイヤ復号部２５０における別途の解像度拡大処理も不要となる。
【0056】
なお、差し替え用データは、動き情報がゼロである動きベクトル（ゼロベクトル）と残差信号がないことを示す無予測残差とを含む一例を説明した。さらに、差し替え用データでは、符号化対象の画像のブロック分割を極力行わないようにする（例えば、画面端以外はＣＴＵ以下の分割を行わないなど）。このような差し替え用データとすることで、データサイズを小さくし、受信装置２００に必要なメモリ容量を削減できる。
【0057】
図７乃至図９は、受信状態判定部２４０の動作を説明するための図である。これらの図において、Ｌ０ビットストリーム及びＬ１ビットストリームのそれぞれが複数のチャンク（Ｃｈｕｎｋ０、Ｃｈｕｎｋ１、Ｃｈｕｎｋ２・・・）により構成されているものとする。各チャンクにおいて、「ＩＤＲ」で示すフレームは、Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈを意味し、「ＣＲＡ」で示すフレームは、Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓを意味する。このようなフレームは、ＣＲＡフレームは、Ｉフレーム（Ｉピクチャ）のような参照フレームを必要としないフレームであってもよい。
【0058】
図７に示すように、受信手段２１０のそれぞれは、フレーム単位且つチャンク単位でビットストリームの受信処理を行う。例えば、受信手段２１０Ｂは、フレーム単位且つチャンク単位でＬ１ビットストリームの受信処理を行う。受信状態判定部２４０は、欠損したパケットを含む欠損フレーム及び／又は欠損フレームを含むチャンクを判定する。
【0059】
図８は、受信状態判定部２４０がフレーム単位で判定を行う一例を示す図である。
【0060】
受信状態判定部２４０は、Ｌ１ビットストリームのうち欠損した部分（１つ又は複数のパケット）に対応する欠損フレームを差し替えフレームとして判定する。図示の例では、受信状態判定部２４０は、Ｃｈｕｎｋ２に含まれる１つのＢピクチャに欠損が発生し、これを差し替えフレームとして判定する。この場合、レイヤ結合部２２０は、当該差し替えフレームに対して差し替え用データを差し替えたうえでレイヤ結合処理を行う。
【0061】
さらに、受信状態判定部２４０は、欠損フレームと、当該欠損フレームを参照画像として用いるフレームと、を差し替えフレーム群として判定してもよい。図示の例では、受信状態判定部２４０は、Ｃｈｕｎｋ２において欠損したＢピクチャと、当該Ｂピクチャを参照する前後のＢピクチャと、を差し替えフレーム群として判定している。この場合、レイヤ結合部２２０は、差し替えフレーム群を構成する各フレームに対して差し替え用データを差し替えたうえでレイヤ結合処理を行う。
【0062】
このように、フレーム単位で差し替えフレームを判定することで、差し替え対象となるフレームの数が少なく済み、Ｌ０復号画像の拡大映像が表示される時間を最小限に抑えることが可能となる。
【0063】
図９は、受信状態判定部２４０がチャンク単位で判定を行う一例を示す図である。
【0064】
受信状態判定部２４０は、Ｌ１ビットストリームのうち欠損した部分（１つ又は複数のパケット）を含む欠損チャンクを差し替えチャンクとして判定する。図示の例では、受信状態判定部２４０は、Ｃｈｕｎｋ２に含まれるフレームに欠損が発生し、Ｃｈｕｎｋ２を差し替えチャンクして判定する。この場合、レイヤ結合部２２０は、差し替えチャンク（Ｃｈｕｎｋ２）に対して差し替え用データを差し替えたうえでレイヤ結合処理を行う。
【0065】
さらに、受信状態判定部２４０は、欠損チャンク内の各フレームと、当該欠損チャンク内のフレームを参照画像として用いるフレームと、を差し替えフレーム群として判定してもよい。この場合、レイヤ結合部２２０は、差し替えフレーム群を構成する各フレームに対して差し替え用データを差し替えたうえでレイヤ結合処理を行う。
【0066】
このように、受信状態判定部２４０は、欠損したフレームだけでなく、そのフレームが属するチャンクそのものを欠損したチャンクとして判定する。受信状態判定部２４０は、欠損したチャンク及び当該チャンクを参照するフレームを差し替えフレーム群として判定してもよい。チャンク単位での欠損の判定はシステムレイヤのみであるため、容易に行うことができる。また、差し替えを行う範囲の判定も用意であり、例えば、次に現れるＣＲＡ・ＩＤＲピクチャまでが全て差し替えフレームとして判定してもよい。
【0067】
（１．４）第１実施形態のまとめ
第１実施形態に係る受信装置２００は、伝送路５００Ａを介して伝送されるビットストリームであってマルチレイヤ符号化における第１レイヤ（Ｌ０）ビットストリームを受信する受信手段２１０Ａと、伝送路５００Ａと異なる伝送路５００Ｂを介して伝送されるビットストリームであってＬ０よりも上位の第２レイヤ（Ｌ０）ビットストリームを受信する受信手段２１０Ｂと、Ｌ０ビットストリーム及びＬ１ビットストリームを結合するレイヤ結合処理を行ってマルチレイヤビットストリームを出力するレイヤ結合部２２０と、受信手段２１０Ｂにおける受信状態について判定する受信状態判定部２４０と、を有する。レイヤ結合部２２０は、Ｌ１ビットストリームの一部が欠損した旨を受信状態判定部２４０が判定した場合、当該欠損した部分のビットストリームに対して差し替え用データを差し替えたうえでレイヤ結合処理を行う。
第１実施形態に係る受信装置２００は、伝送路５００Ａを介して伝送されるビットストリームであってマルチレイヤ符号化における第１レイヤ（Ｌ０）ビットストリームを受信する受信手段２１０Ａと、伝送路５００Ａと異なる伝送路５００Ｂを介して伝送されるビットストリームであってＬ０よりも上位の第２レイヤ（Ｌ０）ビットストリームを受信する受信手段２１０Ｂと、Ｌ０ビットストリーム及びＬ１ビットストリームを結合するレイヤ結合処理を行ってマルチレイヤビットストリームを出力するレイヤ結合部２２０と、受信手段２１０Ｂにおける受信状態について判定する受信状態判定部２４０と、を有する。レイヤ結合部２２０は、Ｌ１ビットストリームの一部が欠損した旨を受信状態判定部２４０が判定した場合、当該欠損した部分のビットストリームに対して差し替え用データを差し替えたうえでレイヤ結合処理を行う。
【0068】
これにより、レイヤ結合部２２０は、Ｌ１ビットストリームに欠損が生じた場合でも、Ｌ１ビットストリームに欠損が無い場合と同じ形式のマルチレイヤビットストリームをマルチレイヤ復号部２５０に出力できる。そのため、マルチレイヤ復号部２５０は、Ｌ１ビットストリームに欠損が生じた場合でも、復号処理を初期化する必要性が無く、映像が一度途切れてしまうことを回避できる。また、Ｌ０ビットストリームの復号により得られる低解像度映像を、それまで表示していた高解像度映像の解像度に拡大（アップコンバート）するための解像度変換処理をデコーダと別に追加で受信装置２００に実装する必要が無く、コストの増大を抑制できる。
【0069】
（１．５）第１実施形態の第１変更例
上述の第１実施形態では、Ｌ０及びＬ１が異なる解像度である一例を想定していたが、Ｌ０及びＬ１が同一解像度であってもよい。例えば、図１０に示すように、送信装置１００のマルチレイヤ符号化部１１０は、番組映像を構成する第１画像をＬ０として符号化して得たＬ０ビットストリームを出力するとともに、第１画像にサブコンテンツ（例えば、字幕）が上乗せされた第２画像をＬ１として符号化して得たＬ０ビットストリームを出力してもよい。ここで、第１画像及び第２画像は、解像度が等しい。これにより、受信装置２００では、Ｌ０のみを復号する場合は番組映像を再生可能であり、Ｌ０及びＬ１を復号する場合はサブコンテンツ付きの番組映像を再生可能である。後者の場合において、Ｌ１ビットストリームが欠損した場合でも、Ｌ０の復号映像をシームレスに表示できる。
上述の第１実施形態では、Ｌ０及びＬ１が異なる解像度である一例を想定していたが、Ｌ０及びＬ１が同一解像度であってもよい。例えば、図１０に示すように、送信装置１００のマルチレイヤ符号化部１１０は、番組映像を構成する第１画像をＬ０として符号化して得たＬ０ビットストリームを出力するとともに、第１画像にサブコンテンツ（例えば、字幕）が上乗せされた第２画像をＬ１として符号化して得たＬ０ビットストリームを出力してもよい。ここで、第１画像及び第２画像は、解像度が等しい。これにより、受信装置２００では、Ｌ０のみを復号する場合は番組映像を再生可能であり、Ｌ０及びＬ１を復号する場合はサブコンテンツ付きの番組映像を再生可能である。後者の場合において、Ｌ１ビットストリームが欠損した場合でも、Ｌ０の復号映像をシームレスに表示できる。
【0070】
（１．６）第１実施形態の第２変更例
上述の第１実施形態では、レイヤ結合部２２０が、Ｌ１ビットストリームの一部が欠損した旨を受信状態判定部２４０が判定した場合、当該欠損した部分のビットストリームに対して差し替え用データを差し替えたうえでレイヤ結合処理を行う一例について主として説明したが、これに限定されない。レイヤ結合部２２０は、Ｌ１ビットストリームの全てを受信できている場合にも差し替え用データによる差し替えを行ってもよい。このような動作をすることにより、上述のようなサブコンテンツ符号化において、Ｌ１復号画像（サブコンテンツ付き映像）とＬ０復号画像（サブコンテンツ無し映像）とのシームレスな表示切り替えにも用いることが可能となる。
上述の第１実施形態では、レイヤ結合部２２０が、Ｌ１ビットストリームの一部が欠損した旨を受信状態判定部２４０が判定した場合、当該欠損した部分のビットストリームに対して差し替え用データを差し替えたうえでレイヤ結合処理を行う一例について主として説明したが、これに限定されない。レイヤ結合部２２０は、Ｌ１ビットストリームの全てを受信できている場合にも差し替え用データによる差し替えを行ってもよい。このような動作をすることにより、上述のようなサブコンテンツ符号化において、Ｌ１復号画像（サブコンテンツ付き映像）とＬ０復号画像（サブコンテンツ無し映像）とのシームレスな表示切り替えにも用いることが可能となる。
【0071】
（１．７）第１実施形態の第３変更例
上述の第１実施形態では特に触れていないが、伝送されるビットストリームはＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）を含む。欠損したフレームでＡＰＳが伝送された場合、後段のＢフレーム（Ｂピクチャ）で当該欠損したＡＰＳが参照される可能性がある。そのため、ＡＰＳは、Ｌ０側の伝送路５００Ａ、すなわち、パケット損失の生じない伝送路５００で伝送することが好ましい。
上述の第１実施形態では特に触れていないが、伝送されるビットストリームはＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）を含む。欠損したフレームでＡＰＳが伝送された場合、後段のＢフレーム（Ｂピクチャ）で当該欠損したＡＰＳが参照される可能性がある。そのため、ＡＰＳは、Ｌ０側の伝送路５００Ａ、すなわち、パケット損失の生じない伝送路５００で伝送することが好ましい。
【0072】
（１．８）第１実施形態の第４変更例
上述の第１実施形態では特に触れていないが、伝送方式としてＭＭＴが用いられる場合に、ＩＳＯＢＭＦＦ（ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）メタデータが用いられてもよい。このようなケースにおいて、送信装置１００のパケタイズ部１３１は、ＩＳＯＢＭＦＦメタデータを生成する機能を有しており、ＩＳＯＢＭＦＦメタデータをＭＰＵメタデータ又はＭＦＵデータとしてＭＭＴパケットに多重してもよい。ここで、ＩＳＯＢＭＦＦは、ＣＭＡＦ（Ｃｏｍｍｏｎ Ｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎ Ｆｏｒｍａｔ）であってもよい。ＣＭＡＦセグメント（チャンク）は、初期化セグメント及びメディアセグメントを含んでもよい。初期化セグメントは、復号機能の初期化に必要な大域的なメタデータ（”ｍｏｏｖ”）を含む。メディアセグメントは、短尺に区切られた映像のメディアデータ（”ｍｄａｔ”）及びそれに対応する局所的なメタデータ（”ｍｏｏｆ”）を含む。このようなケースにおいて、受信装置２００側で差し替え用データによる差し替えがされた場合、ＣＭＡＦにおけるｍｏｏｆに記述されるデータのサイズを示す記述子が、差し替え後のデータのサイズと一致しない可能性がある。よって、受信装置２００は、差し替え用データによる差し替えを行う場合、ｍｏｏｆのデータサイズの書き換えをすることが好ましい。
上述の第１実施形態では特に触れていないが、伝送方式としてＭＭＴが用いられる場合に、ＩＳＯＢＭＦＦ（ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）メタデータが用いられてもよい。このようなケースにおいて、送信装置１００のパケタイズ部１３１は、ＩＳＯＢＭＦＦメタデータを生成する機能を有しており、ＩＳＯＢＭＦＦメタデータをＭＰＵメタデータ又はＭＦＵデータとしてＭＭＴパケットに多重してもよい。ここで、ＩＳＯＢＭＦＦは、ＣＭＡＦ（Ｃｏｍｍｏｎ Ｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎ Ｆｏｒｍａｔ）であってもよい。ＣＭＡＦセグメント（チャンク）は、初期化セグメント及びメディアセグメントを含んでもよい。初期化セグメントは、復号機能の初期化に必要な大域的なメタデータ（”ｍｏｏｖ”）を含む。メディアセグメントは、短尺に区切られた映像のメディアデータ（”ｍｄａｔ”）及びそれに対応する局所的なメタデータ（”ｍｏｏｆ”）を含む。このようなケースにおいて、受信装置２００側で差し替え用データによる差し替えがされた場合、ＣＭＡＦにおけるｍｏｏｆに記述されるデータのサイズを示す記述子が、差し替え後のデータのサイズと一致しない可能性がある。よって、受信装置２００は、差し替え用データによる差し替えを行う場合、ｍｏｏｆのデータサイズの書き換えをすることが好ましい。
【0073】
【0074】
（２．１）第２実施形態の概要
伝送路５００Ａは、ベースレイヤを構成するユニットに対応するパケットの伝送に用いられるため、一般的に、伝送路５００Ａの誤り耐性は、伝送路５００Ｂの誤り耐性よりも高いことが想定される。すなわち、伝送路５００Ｂ（エンハンスメントレイヤ）では、伝送路５００Ａ（ベースレイヤ）よりも伝送誤りが生じる可能性が高い。
伝送路５００Ａは、ベースレイヤを構成するユニットに対応するパケットの伝送に用いられるため、一般的に、伝送路５００Ａの誤り耐性は、伝送路５００Ｂの誤り耐性よりも高いことが想定される。すなわち、伝送路５００Ｂ（エンハンスメントレイヤ）では、伝送路５００Ａ（ベースレイヤ）よりも伝送誤りが生じる可能性が高い。
【0075】
誤り耐性は、伝送路５００そのものの伝送特性（伝送路の種別、伝送路の伝送容量など）によって変化し得る。誤り耐性は、伝送路５００で適用される誤り訂正の強度によって変化し得る。
【0076】
このような背景下において、発明者等は、鋭意検討の結果、エンハンスメントレイヤで誤りが生じた場合に、誤りが生じた部位によって再生品質に与える影響が異なることに着目し、エンハンスメントレイヤに対応する伝送路の誤り発生率が一定である条件下においても、エンハンスメントレイヤに関する再生品質を向上し得ることを見出した。
【0077】
第２実施形態に係る送信装置は、ベースレイヤ及び前記ベースレイヤを拡張するエンハンスメントレイヤを符号化する符号化部と、第１伝送路を介して第１パケットを送信する第１送信部と、第２伝送路を介して第２パケットを送信する第２送信部と、前記エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを前記第１伝送路に振り分け、前記特定ユニット以外のユニットを前記第２伝送路に振り分ける制御部と、を備え、前記第１パケットは、前記ベースレイヤを構成するユニット及び前記特定ユニットを含み、前記第２パケットは、前記エンハンスメントレイヤを構成するユニットのうち、前記特定ユニット以外のユニットを含む。
【0078】
第２実施形態に係る受信装置は、第１伝送路を介して受信する第１パケットを蓄積する第１バッファ部と、第２伝送路を介して受信する第２パケットを蓄積する第２バッファ部と、ベースレイヤ及び前記ベースレイヤを拡張するエンハンスメントレイヤを復号する復号部と、前記第１パケット及び前記第２パケットに付与されたシーケンス番号、パケットカウンタの値、拡張カウンタの値及びタイムスタンプの少なくともいずれか１つに基づいて、前記第１パケット及び前記第２パケットを前記復号部に出力するデパケタイズ部と、を備え、前記シーケンス番号、パケットカウンタの値、拡張カウンタの値及び前記タイムスタンプの少なくともいずれか１つは、符号化部からユニットが出力される順序に基づいて付与され、前記第１パケットは、前記ベースレイヤを構成するユニットに加えて、前記エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを含み、前記第２パケットは、前記エンハンスメントレイヤを構成するユニットのうち、前記特定ユニット以外のユニットを含む。
【0079】
第２実施形態によれば、送信装置は、第１伝送路を介して、エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを送信する。このような構成によれば、エンハンスメントレイヤに対応する伝送路（すなわち、第２伝送路）の誤り発生率が一定である条件下においても、エンハンスメントレイヤを構成する特定ユニットに関する誤り発生率を第１伝送路と同レベルに抑制することができ、エンハンスメントレイヤに関する再生品質を向上できる。
【0080】
第２実施形態によれば、受信装置は、第１パケット及び第２パケットに付与されたシーケンス番号、パケットカウンタの値、拡張カウンタの値及びタイムスタンプの少なくともいずれか１つに基づいて、第１パケット及び第２パケットを復号部に出力する。このような構成によれば、エンハンスメントレイヤを構成する特定ユニットが第１伝送路を介して受信される場合であっても、ベースレイヤ及びエンハンスメントレイヤを適切に復号できる。
【0081】
（２．２）第２実施形態に係る構成
第２実施形態に係る構成について説明する。
第２実施形態に係る構成について説明する。
【0082】
（２．２．１）送信装置の構成
図１１は、第２実施形態に係る送信装置１００の構成を示す図である。第２実施形態に係る送信装置１００は、マルチレイヤ符号化部１０１と、レイヤＩＤ分離部１０３と、重要度評価部１０４と、パケタイズ部１０５と、送信部１３２と、を有する。
図１１は、第２実施形態に係る送信装置１００の構成を示す図である。第２実施形態に係る送信装置１００は、マルチレイヤ符号化部１０１と、レイヤＩＤ分離部１０３と、重要度評価部１０４と、パケタイズ部１０５と、送信部１３２と、を有する。
【0083】
マルチレイヤ符号化部１０１は、マルチレイヤ符号化部１１０と同様に、ベースレイヤ及びエンハンスメントレイヤを構成するユニットを符号化する。ユニットは、ＮＡＬユニットと称されてもよい。マルチレイヤ符号化部１０１は、所定順序でユニットを符号化する。
【0084】
レイヤＩＤ分離部１０３は、レイヤ分離部１２０と同様に、ユニットのヘッダに含まれるレイヤＩＤ（例えば、ｎｕｈ＿ｌａｙｅｒ＿ｉｄ）に基づいて、ユニットがベースレイヤを構成するかエンハンスメントレイヤを構成するかを判定する。レイヤＩＤ分離部１０３は、ベースレイヤを構成するユニットをパケタイズ部１０５に出力し、エンハンスメントレイヤを構成するユニットを重要度評価部１０４に出力する。
【0085】
重要度評価部１０４は、エンハンスメントレイヤを構成するユニットの重要度を評価する。具体的には、重要度評価部１０４は、エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを送信部１３２Ａ（伝送路５００Ａ）に振り分け、特定ユニット以外のユニットを送信部１３２Ｂ（伝送路５００Ｂ）に振り分ける。
【0086】
特定重要度は、以下に示すオプションに従って判定されてもよい。
【0087】
オプション１では、重要度評価部１０４は、パラメータセットを含むユニットを特定ユニットとして送信部１３２Ａ（伝送路５００Ａ）に振り分けてもよい。具体的には、重要度評価部１０４は、ユニットのヘッダ（例えば、ＮＡＬユニットタイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ））を参照して、パラメータセットを含むユニットを特定ユニットとして特定してもよい。例えば、重要度評価部１０４は、Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔを含むユニットを特定ユニットとして特定してもよい。
【0088】
オプション１によれば、パラメータセットを含むユニットの誤りを抑制することによって、伝送路５００Ｂの誤り発生率が一定である条件下においても、エンハンスメントレイヤを全く再生できない事態を抑制できる。
【0089】
オプション２では、重要度評価部１０４は、先頭ピクチャを構成するユニットを特定ユニットとして送信部１３２Ａ（伝送路５００Ａ）に振り分けてもよい。具体的には、重要度評価部１０４は、ＳＯＰ（Ｓｔｒｕｃｔｕｒｅ Ｏｆ Ｐｉｃｔｕｒｅ）の復号において先頭ピクチャを構成するユニットを特定ユニットとして特定してもよい。先頭ピクチャは、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）のＩ（Ｉｎｔｒａ－ｃｏｄｅｄ）ピクチャであると考えてもよい。なお、ＧＯＰの先頭ピクチャについて、ベースレイヤは単独で復号可能なＩピクチャのデータであるのに対して、これを拡張するエンハンスメントレイヤ（特定ユニットに該当）は、ベースレイヤの復号結果をもとにレイヤ間予測したあとの差分情報を符号化したＰ（Ｐｒｅｄｉｃｔｉｖｅ－ｃｏｄｅｄ）ピクチャ相当のデータであってもよい。
【0090】
オプション２によれば、先頭ピクチャを構成するユニットの誤りを抑制することによって、伝送路５００Ｂの誤り発生率が一定である条件下においても、先頭ピクチャを参照するピクチャ群の全体を全く再生できない事態を抑制できる。
【0091】
オプション３では、重要度評価部１０４は、他のピクチャから参照されないピクチャを構成するユニットを特定ユニット以外のユニットとして送信部１３２Ｂ（伝送路５００Ｂ）に振り分けてもよい。具体的には、重要度評価部１０４は、ＳＯＰの復号において他のピクチャから参照されないピクチャを構成するユニットを特定ユニット以外のユニットとして特定してもよい。言い換えると、重要度評価部１０４は、ＳＯＰの復号において他のピクチャから参照されるピクチャを構成するユニットを特定ユニットとして特定してもよい。
【0092】
オプション３では、他のピクチャから参照されないピクチャの誤りを許容しつつ、エンハンスメントレイヤの品質の劣化を抑制できる。
【0093】
なお、上述のオプション１－３の中から選択された２以上のオプションが組み合わされてもよい。
【0094】
パケタイズ部１０５は、パケタイズ部１３１と同様に、ユニットをパケット化してパケットを生成する。パケットは、ＲＴＰに準拠するパケットであってもよい。例えば、パケットは、ＩＰパケットであってもよい。ＩＰパケットは、ＩＰヘッダ、ＵＤＰヘッダ、ＲＴＰヘッダ及びペイロードを含んでもよい。
【0095】
第２実施形態では、パケタイズ部１０５は、ベースレイヤを構成するユニット及びエンハンスメントレイヤを構成する特定ユニットに対応するパケットを生成する。パケタイズ部１０５は、生成されたパケットを送信部１３２Ａに出力する。一方で、パケタイズ部１０５は、エンハンスメントレイヤを構成する特定ユニット以外のユニットに対応するパケットを生成する。パケタイズ部１０５は、生成されたパケットを送信部１３２Ｂに出力する。
【0096】
第２実施形態では、パケタイズ部１０５は、マルチレイヤ符号化部１０１からユニットが出力される順序に基づいて、シーケンス番号及びタイムスタンプの少なくともいずれか１つをパケットに付与してもよい。
【0097】
例えば、パケタイズ部１０５は、シーケンス番号をカウントするシーケンス番号カウンタを有してもよい。シーケンス番号カウンタは、パケットの生成毎に１つずつインクリメントされるカウンタであってもよい。
【0098】
例えば、パケタイズ部１０５は、タイムスタンプを付与するためのクロックカウンタを有してもよい。クロックカウンタは、一定の周波数でカウントアップするカウンタであってもよい。
【0099】
なお、パケタイズ部１０５は、シーケンス番号及びタイムスタンプの双方をパケットに付与してもよい。このようなケースにおいて、タイムスタンプは、パケットの並び変えに用いられ、シーケンス番号は、パケットの欠損検知に用いられてもよい。
【0100】
第２実施形態では、既存の送信装置と比べて、送信装置１００が重要度評価部１０４を有するが、重要度評価部１０４の処理遅延が小さいため、パケタイズ部１０５から出力されるパケットを構成するユニットの順序は、マルチレイヤ符号化部１０１でユニットを符号化（出力）する所定順序と同様であることに留意すべきである。すなわち、パケットに付与されるシーケンス番号及びタイムスタンプの少なくともいずれか１つを参照すれば、マルチレイヤ符号化部１０１でユニットを符号化（出力）する所定順序が入れ替わることがないことに留意すべきである。
【0101】
特に限定されるものではないが、パケタイズ部１０５は、１のユニットを分割して２以上のパケットに格納するフラグメント処理を実行してもよく、パケタイズ部１０５は、２以上のユニットを１つのパケットに格納するアグリゲーション処理を実行してもよい。
【0102】
送信部１３２は、送信部１３２と同様に、伝送路５００を介して、パケタイズ部１０５によって生成されたパケットを送信する。具体的には、送信部１３２Ａは、伝送路５００Ａを介して、パケタイズ部１０５Ａによって生成されたパケットを送信する。送信部１３２Ｂは、伝送路５００Ｂを介して、パケタイズ部１０５Ｂによって生成されたパケットを送信する。
【0103】
第２実施形態では、送信部１３２Ａから送信されるパケットは、第１パケットと称されてもよい。第１パケットは、ベースレイヤを構成するユニット及び特定ユニットを含む。送信部１３２Ｂから送信されるパケットは、第２パケットと称されてもよい。第２パケットは、エンハンスメントレイヤを構成するユニットのうち、特定ユニット以外のユニットを含む。
【0104】
（２．２．２）受信装置の構成
図１２は、第２実施形態に係る受信装置２００の構成を示す図である。第２実施形態に係る受信装置２００は、受信部２０１と、バッファ部２０３と、比較部２０５と、デパケタイズ部２０７と、マルチレイヤ復号部２０９と、を有する。
図１２は、第２実施形態に係る受信装置２００の構成を示す図である。第２実施形態に係る受信装置２００は、受信部２０１と、バッファ部２０３と、比較部２０５と、デパケタイズ部２０７と、マルチレイヤ復号部２０９と、を有する。
【0105】
受信部２０１は、伝送路５００を介して、パケットを受信する。具体的には、受信部２０１Ａは、伝送路５００Ａを介して、第１パケットを受信する。受信部２０１Ｂは、第２パケットを受信する。
【0106】
バッファ部２０３は、受信部２０１によって受信されたパケットを蓄積する。バッファ部２０３は、ＦＩＦＯ型のバッファ部であってもよい。バッファ部２０３は、伝送遅延の誤差を吸収するために用いられる。具体的には、バッファ部２０３Ａは、受信部２０１Ａによって受信された第１パケットを蓄積する。バッファ部２０３Ｂは、受信部２０１Ｂによって受信された第２パケットを蓄積する。
【0107】
比較部２０５は、バッファ部２０３に蓄積されるパケットに付与されるシーケンス番号及びタイムスタンプの少なくともいずれか１つに基づいて、バッファ部２０３に蓄積されるパケットの出力を指示する。
【0108】
例えば、比較部２０５は、バッファ部２０３Ａに蓄積される第１パケット及びバッファ部２０３Ｂに蓄積される第２バッファ部のうち、シーケンス番号が小さい方のパケットの出力をバッファ部２０３Ａ又はバッファ部２０３Ｂに指示してもよい。
【0109】
例えば、比較部２０５は、バッファ部２０３Ａに蓄積される第１パケット及びバッファ部２０３Ｂに蓄積される第２バッファ部のうち、タイムスタンプが早い方のパケットの出力をバッファ部２０３Ａ又はバッファ部２０３Ｂに指示してもよい。
【0110】
デパケタイズ部２０７は、バッファ部２０３から出力されるパケットをデパケット化してユニットを取り出す。具体的には、デパケタイズ部２０７は、バッファ部２０３Ａに蓄積された第１パケットから、ベースレイヤを構成するユニット及びエンハンスメントレイヤを構成する特定ユニットを取り出す。デパケタイズ部２０７は、バッファ部２０３Ｂに蓄積された第２パケットから、エンハンスメントレイヤを構成する特定ユニット以外のユニットを取り出す。
【0111】
ここで、バッファ部２０３に蓄積されたパケットが比較部２０５によって指示された順序で指示されることから、デパケタイズ部２０７は、マルチレイヤ符号化部１０１と同様の所定順序でユニットを並び替え、マルチレイヤ符号化部１０１と同様の所定順序でユニットを出力する。
【0112】
第２実施形態では、バッファ部２０３に蓄積されたパケットが比較部２０５によって指示された順序で指示されることから、デパケタイズ部２０７は、各ユニットの内部を解析するまでもなく、マルチレイヤ符号化部１０１と同様の所定順序でユニットを出力できる。従って、ユニットの符号化／復号の方式に応じて、受信装置２００の回路又はプログラムを変更する必要がないことに留意すべきである。
【0113】
マルチレイヤ復号部２０９は、マルチレイヤ符号化部１０１と同様の所定順序でデパケタイズ部２０７から出力されるユニットを復号する。
【0114】
第２実施形態では、受信部２０１Ａによって受信されるパケットは、第１パケットと称されてもよい。第１パケットは、ベースレイヤを構成するユニット及び特定ユニットを含む。受信部２０１Ｂによって受信されるパケットは、第２パケットと称されてもよい。第２パケットは、エンハンスメントレイヤを構成するユニットのうち、特定ユニット以外のユニットを含む。
【0115】
（２．３）第２実施形態のまとめ
第２実施形態では、マルチレイヤ符号化部１０１は、ベースレイヤ及びベースレイヤを拡張するエンハンスメントレイヤを符号化する符号化部を構成する。送信部１３２Ａは、第１伝送路（伝送路５００Ａ）を介して第１パケットを送信する第１送信部を構成する。送信部１３２Ｂは、第２伝送路（伝送路５００Ｂ）を介して第２パケットを送信する第２送信部を構成する。重要度評価部１０４は、エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを第１伝送路（伝送路５００Ａ）に振り分け、特定ユニット以外のユニットを第２伝送路（伝送路５００Ｂ）に振り分ける制御部を構成する。パケタイズ部１０５は、第１伝送路（伝送路５００Ａ）及び第２伝送路（伝送路５００Ｂ）を介して送信されるパケットを生成するパケタイズ部を構成する。
第２実施形態では、マルチレイヤ符号化部１０１は、ベースレイヤ及びベースレイヤを拡張するエンハンスメントレイヤを符号化する符号化部を構成する。送信部１３２Ａは、第１伝送路（伝送路５００Ａ）を介して第１パケットを送信する第１送信部を構成する。送信部１３２Ｂは、第２伝送路（伝送路５００Ｂ）を介して第２パケットを送信する第２送信部を構成する。重要度評価部１０４は、エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを第１伝送路（伝送路５００Ａ）に振り分け、特定ユニット以外のユニットを第２伝送路（伝送路５００Ｂ）に振り分ける制御部を構成する。パケタイズ部１０５は、第１伝送路（伝送路５００Ａ）及び第２伝送路（伝送路５００Ｂ）を介して送信されるパケットを生成するパケタイズ部を構成する。
【0116】
第２実施形態では、受信部２０１Ａは、第１伝送路（伝送路５００Ａ）を介して第１パケットを受信する第１受信部を構成する。受信部２０１Ｂは、第２伝送路（伝送路５００Ｂ）を介して第２パケットを受信する第２受信部を構成する。マルチレイヤ復号部２０９は、ベースレイヤ及びベースレイヤを拡張するエンハンスメントレイヤを復号する復号部を構成する。デパケタイズ部２０７は、第１パケット及び第２パケットに付与されたシーケンス番号及びタイムスタンプの少なくともいずれか１つに基づいて、第１パケット及び第２パケットを復号部に出力するデパケタイズ部を構成する。デパケタイズ部は、比較部２０５を含んでもよい。
【0117】
上述の第２実施形態では、伝送方式としてＲＴＰについて主として説明した。しかしながら、上述の開示はこれに限定されるものではない。伝送方式としては、ＭＭＴを用いてもよい。ＭＭＴパケットのヘッダは、ＲＴＰと同様に、シーケンス番号及びタイムスタンプの少なくともいずれか１つを含んでもよい。
【0118】
第２実施形態では、送信装置１００は、第１伝送路を介して、エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを送信する。このような構成によれば、エンハンスメントレイヤに対応する伝送路（すなわち、伝送路５００Ｂ）の誤り発生率が一定である条件下においても、エンハンスメントレイヤを構成する特定ユニットに関する誤り発生率を伝送路５００Ａと同レベルに抑制することができ、エンハンスメントレイヤに関する再生品質を向上できる。
【0119】
第２実施形態では、受信装置２００は、第１パケット及び第２パケットに付与されたシーケンス番号及びタイムスタンプの少なくともいずれか１つに基づいて、第１パケット及び第２パケットを復号部に出力する。このような構成によれば、エンハンスメントレイヤを構成する特定ユニットが伝送路５００Ａを介して受信される場合であっても、ベースレイヤ及びエンハンスメントレイヤを適切に復号できる。
【0120】
（２．４）第２実施形態の第１変更例
第２実施形態の第１変更例について説明する。以下においては、第２実施形態に対する相違点について主として説明する。
第２実施形態の第１変更例について説明する。以下においては、第２実施形態に対する相違点について主として説明する。
【0121】
第２実施形態では、伝送方式がＲＴＰであるケースについて主として説明した。これに対して、第１変更例では、伝送方式がＭＭＴであるケースについて説明する。
【0122】
第１に、第１変更例では、上述のシーケンス番号に代えて、パケットカウンタの値が用いられてもよい。言い換えると、シーケンス番号カウンタに代えて、パケットカウンタが用いられてもよい。
【0123】
具体的には、ＭＭＴでは、パケットカウンタは、２以上のパケットＩＤ（以下、ＰＩＤ）を通じてパケットをカウントアップするカウンタが用いられてもよい。
【0124】
このようなケースにおいて、送信装置１００のパケタイズ部１０５は、マルチレイヤ符号化部１０１からユニットが出力される順序に基づいて、パケットカウンタの値をパケットに付与してもよい。受信装置２００の比較部２０５は、バッファ部２０３Ａに蓄積される第１パケット及びバッファ部２０３Ｂに蓄積される第２バッファ部のうち、パケットカウンタの値が小さい方のパケットの出力をバッファ部２０３Ａ又はバッファ部２０３Ｂに指示してもよい。
【0125】
なお、第１変更例では、パケットカウンタの値とともにシーケンス番号が用いられてもよい。このようなケースにおいて、伝送路５００毎にＰＩＤが異なっており、ＰＩＤ毎にシーケンス番号がカウントされてもよい。シーケンス番号は、伝送路５００毎のパケットの欠損検知に用いられてもよい。
【0126】
第２に、第１変更例では、上述のシーケンス番号に代えて、拡張カウンタの値が用いられてもよい。言い換えると、シーケンス番号カウンタに代えて、拡張カウンタが用いられてもよい。
【0127】
具体的には、ＭＭＴパケットの拡張ヘッダに拡張カウンタのフィールドが新たに定義されてもよい。拡張カウンタは、重要度評価部１０４の導入に伴うユニットの並び変えに専用で用いるカウンタである。
【0128】
このようなケースにおいて、送信装置１００のパケタイズ部１０５は、マルチレイヤ符号化部１０１からユニットが出力される順序に基づいて、拡張カウンタの値をパケットに付与してもよい。受信装置２００の比較部２０５は、バッファ部２０３Ａに蓄積される第１パケット及びバッファ部２０３Ｂに蓄積される第２バッファ部のうち、拡張カウンタの値が小さい方のパケットの出力をバッファ部２０３Ａ又はバッファ部２０３Ｂに指示してもよい。
【0129】
なお、第１変更例では、拡張カウンタの値とともにシーケンス番号が用いられてもよい。このようなケースにおいて、伝送路５００毎にＰＩＤが異なっており、ＰＩＤ毎にシーケンス番号がカウントされてもよい。シーケンス番号は、伝送路５００毎のパケットの欠損検知に用いられてもよい。
【0130】
なお、第１変更例では、パケットカウンタフラグが”０”であるとして運用され、拡張カウンタの値とともにパケットカウンタの値が用いられなくてもよい。或いは、第１変更例では、パケットカウンタフラグが”１”であるとして運用され、拡張カウンタの値とともにパケットカウンタの値が他の用途に用いられてもよい。
【0131】
（２．５）第２実施形態の他の変更例
上述の第２実施形態では特に触れていないが、伝送方式としてＲＴＰが用いられる場合に、ＭＰＥＧ－２ ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などの多重化方式を用いて、音声又は他のメディアコンポーネントと映像が多重化されてもよい。このようなケースにおいて、送信装置１００のパケタイズ部１０５は、ＴＳ多重化機能を有しており、１つのユニットを２以上に分割してＴＳパケットに格納した上で、２以上のＴＳパケットを１つのパケットに格納してもよい。
上述の第２実施形態では特に触れていないが、伝送方式としてＲＴＰが用いられる場合に、ＭＰＥＧ－２ ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などの多重化方式を用いて、音声又は他のメディアコンポーネントと映像が多重化されてもよい。このようなケースにおいて、送信装置１００のパケタイズ部１０５は、ＴＳ多重化機能を有しており、１つのユニットを２以上に分割してＴＳパケットに格納した上で、２以上のＴＳパケットを１つのパケットに格納してもよい。
【0132】
上述の第２実施形態では特に触れていないが、伝送方式としてＭＭＴが用いられる場合に、ＩＳＯＢＭＦＦ（ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）メタデータが用いられてもよい。このようなケースにおいて、送信装置１００のパケタイズ部１０５は、ＩＳＯＢＭＦＦメタデータを生成する機能を有しており、ＩＳＯＢＭＦＦメタデータをＭＰＵメタデータ又はＭＦＵデータとしてＭＭＴパケットに多重してもよい。
【0133】
ここで、ＩＳＯＢＭＦＦは、ＣＭＡＦ（Ｃｏｍｍｏｎ Ｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎ Ｆｏｒｍａｔ）であってもよい。ＣＭＡＦセグメント（チャンク）は、初期化セグメント及びメディアセグメントを含んでもよい。初期化セグメントは、復号機能の初期化に必要な大域的なメタデータ（”ｍｏｏｖ”）を含む。メディアセグメントは、短尺に区切られた映像のメディアデータ（”ｍｄａｔ”）及びそれに対応する局所的なメタデータ（”ｍｏｏｆ”）を含む。このようなケースにおいて、送信装置１００の重要度評価部１０４は、ベースレイヤ及びエンハンスメントレイヤに共通する初期化セグメントのパラメータセットを含むユニットを特定ユニットとして伝送路５００Ａに振り分けてもよい。初期化セグメントは、ＭＰＵデータとしてＭＭＴパケットに多重されてもよい。パラメータセットは、初期化セグメントのメタデータに含まれてもよく、メディアセグメントのメディアデータ（”ｍｄａｔ”）に含まれてもよい。
【0134】
上述の第２実施形態では特に触れていないが、シーケンス番号、パケットカウンタ及びタイムスタンプは、４バイト（３２ビット）のフィールドであってもよい。４バイトのフィールドを符号なしの整数で扱うケースを想定すると、フィールドは、０～４２９４９６７２９５までの値を表現できる。シーケンス番号カウンタのオーバーフローが生じた場合には、シーケンス番号カウンタの値は０に戻る。クロックカウンタのオーバーフローが生じた場合には、クロックカウンタは０に近い値に戻る。このようなオーバーフローを想定して、３２ビットよりも上位ビットの状態を仮想的に保持するなどの手法でオーバーフローを検知することによって、オーバーフローに伴う大小比較の誤りが抑制されてもよい。また、拡張カウンタは、４バイトのケース以外に、２バイト（１６ビット）など、任意のフィールド長であってもよい。これらの場合も、同様の原理によりオーバーフローを検知して大小比較の誤りが抑制されてもよい。
【0135】
（３）その他の実施形態
上述の実施形態では、Ｌ０（ベースレイヤ）のビットストリームを伝送路５００Ａで伝送し、Ｌ１（エンハンスメントレイヤ）のビットストリームを伝送路５００Ｂで伝送する一例を説明したが、これに限定されない。これらのビットストリームを同一の伝送路５００で伝送する場合であっても、Ｌ１側のビットストリームのデータが欠落した場合に、欠落を検出して、差し替え用データに差し替えることで、復号処理を初期化することなく、復号処理を継続可能である。よって、Ｌ０（ベースレイヤ）のビットストリーム及びＬ１（エンハンスメントレイヤ）のビットストリームを同一の伝送路５００で伝送してもよい。
上述の実施形態では、Ｌ０（ベースレイヤ）のビットストリームを伝送路５００Ａで伝送し、Ｌ１（エンハンスメントレイヤ）のビットストリームを伝送路５００Ｂで伝送する一例を説明したが、これに限定されない。これらのビットストリームを同一の伝送路５００で伝送する場合であっても、Ｌ１側のビットストリームのデータが欠落した場合に、欠落を検出して、差し替え用データに差し替えることで、復号処理を初期化することなく、復号処理を継続可能である。よって、Ｌ０（ベースレイヤ）のビットストリーム及びＬ１（エンハンスメントレイヤ）のビットストリームを同一の伝送路５００で伝送してもよい。
【0136】
上述の実施形態では、符号化方式としてＶＶＣについて主として例示した。しかしながら、上述の実施形態はこれに限定されるものではない。符号化方式としては、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）のマルチレイヤ拡張が用いられてもよい。符号化方式としては、ユニットのヘッダによってレイヤを識別可能な方式が用いられてもよい。
【0137】
上述の実施形態では、２レイヤであるケースについて主として説明した。しかしながら、上述の実施形態はこれに限定されるものではない。上述の実施形態は、３以上のレイヤに適用されてもよい。このようなケースにおいて、レイヤの数に相当する数の送信手段、伝送路、及び受信手段が設けられてもよい。
【0138】
送信装置１００又は受信装置２００が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。また、送信装置１００又は受信装置２００が行う各処理を実行する回路を集積化し、送信装置１００又は受信装置２００の少なくとも一部を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。
【0139】
本開示で使用されている「に基づいて（ｂａｓｅｄ ｏｎ）」、「に応じて（ｄｅｐｅｎｄｉｎｇ ｏｎ／ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ）」という記載は、別段に明記されていない限り、「のみに基づいて」、「のみに応じて」を意味しない。「に基づいて」という記載は、「のみに基づいて」及び「に少なくとも部分的に基づいて」の両方を意味する。同様に、「に応じて」という記載は、「のみに応じて」及び「に少なくとも部分的に応じて」の両方を意味する。「含む（ｉｎｃｌｕｄｅ）」、「備える（ｃｏｍｐｒｉｓｅ）」、及びそれらの変形の用語は、列挙する項目のみを含むことを意味せず、列挙する項目のみを含んでもよいし、列挙する項目に加えてさらなる項目を含んでもよいことを意味する。また、本開示において使用されている用語「又は（ｏｒ）」は、排他的論理和ではないことが意図される。さらに、本開示で使用されている「第１」、「第２」等の呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみがそこで採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。本開示において、例えば、英語でのａ，ａｎ，及びｔｈｅのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。
【0140】
以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【0141】
（４）付記
上述の実施形態の特徴に関して付記する。
上述の実施形態の特徴に関して付記する。
【0142】
（４．１）付記１
上述の第１実施形態は、以下に示すように表現されてもよい。
上述の第１実施形態は、以下に示すように表現されてもよい。
【0143】
第１実施形態に係る第１の特徴は、マルチレイヤ符号化における第１レイヤのビットストリームを受信する第１受信手段と、前記第１レイヤよりも上位の第２レイヤのビットストリームを受信する第２受信手段と、前記第１レイヤのビットストリーム及び前記第２レイヤのビットストリームを結合する結合処理を行ってマルチレイヤビットストリームを出力する合成手段と、前記第２受信手段における受信状態について判定する判定手段と、を備え、前記結合手段は、前記第２レイヤのビットストリームの一部が欠損した旨を前記判定手段が判定した場合、当該欠損した部分のビットストリームに対して差し替え用データを差し替えたうえで前記結合処理を行う、受信装置である。
【0144】
第１実施形態に係る第２の特徴は、第１の特徴において、前記第２レイヤにおける前記差し替えに用いる前記差し替え用データを保持するメモリ手段をさらに備え、前記差し替え用データは、前記第１レイヤにおける復号映像を前記第２レイヤにおける表示解像度に拡大した予測画像を生成させる予測モード情報と、前記第２レイヤにおける各画像ブロックについて予測残差が含まれていないことを示す無残差情報と、を含む、受信装置である。
【0145】
第１実施形態に係る第３の特徴は、第１又は２の特徴において、前記第１受信手段及び前記第２受信手段のそれぞれは、フレーム単位でビットストリームの受信処理を行い、前記判定手段は、前記第２レイヤのビットストリームのうち前記欠損した部分に対応する欠損フレームを差し替えフレームとして判定し、前記結合手段は、前記差し替えフレームに対して前記差し替え用データを差し替えたうえで前記結合処理を行う、受信装置である。
【0146】
第１実施形態に係る第４の特徴は、第３の特徴において、前記判定手段は、前記欠損フレームと、前記欠損フレームを参照画像として用いるフレームと、を差し替えフレーム群として判定し、前記結合手段は、前記差し替えフレーム群を構成する各フレームに対して前記差し替え用データを差し替えたうえで前記結合処理を行う、受信装置である。
【0147】
第１実施形態に係る第５の特徴は、第１又は２の特徴において、前記第１受信手段及び前記第２受信手段のそれぞれは、複数のフレームをまとめたチャンク単位でビットストリームの受信処理を行い、前記判定手段は、前記第２レイヤのビットストリームのうち前記欠損した部分を含む欠損チャンクを差し替えチャンクとして判定し、前記結合手段は、前記差し替えチャンクに対して前記差し替え用データを差し替えたうえで前記結合処理を行う、受信装置である。
【0148】
第１実施形態に係る第６の特徴は、第５の特徴において、前記判定手段は、前記欠損チャンク内の各フレームと、前記欠損チャンク内のフレームを参照画像として用いるフレームと、を差し替えフレーム群として判定し、前記結合手段は、前記差し替えフレーム群を構成する各フレームに対して前記差し替え用データを差し替えたうえで前記結合処理を行う、受信装置である。
【0149】
第１実施形態に係る第７の特徴は、第１乃至第６の特徴のいずれかにおいて、前記第１レイヤのビットストリームは、第１伝送路を介して伝送され、前記第２レイヤのビットストリームは、前記第１伝送路と異なる第２伝送路を介して伝送される、受信装置である。
【0150】
第１実施形態に係る第８の特徴は、コンピュータを第１の特徴の受信装置として機能させる、プログラムである。
【0151】
（４．２）付記２
上述の第２実施形態は、以下に示すように表現されてもよい。
上述の第２実施形態は、以下に示すように表現されてもよい。
【0152】
第２実施形態に係る第１の特徴は、ベースレイヤ及び前記ベースレイヤを拡張するエンハンスメントレイヤを符号化する符号化部と、第１伝送路を介して第１パケットを送信する第１送信部と、第２伝送路を介して第２パケットを送信する第２送信部と、前記エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを前記第１伝送路に振り分け、前記特定ユニット以外のユニットを前記第２伝送路に振り分ける制御部と、を備え、前記第１パケットは、前記ベースレイヤを構成するユニット及び前記特定ユニットを含み、前記第２パケットは、前記エンハンスメントレイヤを構成するユニットのうち、前記特定ユニット以外のユニットを含む、送信装置である。
【0153】
第２実施形態に係る第２の特徴は、第１の特徴において、前記制御部は、パラメータセットを含むユニットを前記特定ユニットとして前記第１伝送路に振り分ける、送信装置である。
【0154】
第２実施形態に係る第３の特徴は、第１の特徴又は第２の特徴において、前記制御部は、先頭ピクチャを構成するユニットを前記特定ユニットとして前記第１伝送路に振り分ける、送信装置である。
【0155】
第２実施形態に係る第４の特徴は、第１の特徴乃至第３の特徴のいずれか１つにおいて、前記制御部は、他のピクチャから参照されないピクチャを構成するユニットを前記特定ユニット以外のユニットとして前記第２伝送路に振り分ける、送信装置である。
【0156】
第２実施形態に係る第５の特徴は、第１の特徴乃至第４の特徴のいずれか１つにおいて、前記第１伝送路及び前記第２伝送路を介して送信されるパケットを生成するパケタイズ部を備え、前記パケタイズ部は、前記符号化部からユニットが出力される順序に基づいて、シーケンス番号、パケットカウンタの値、拡張カウンタの値及びタイムスタンプの少なくともいずれか１つを前記パケットに付与する、送信装置である。
【0157】
第２実施形態に係る第６の特徴は、第１伝送路を介して受信する第１パケットを蓄積する第１バッファ部と、第２伝送路を介して受信する第２パケットを蓄積する第２バッファ部と、ベースレイヤ及び前記ベースレイヤを拡張するエンハンスメントレイヤを復号する復号部と、前記第１パケット及び前記第２パケットに付与されたシーケンス番号、パケットカウンタの値、拡張カウンタの値及びタイムスタンプの少なくともいずれか１つに基づいて、前記第１パケット及び前記第２パケットを前記復号部に出力するデパケタイズ部と、を備え、前記シーケンス番号、パケットカウンタの値、拡張カウンタの値及び前記タイムスタンプの少なくともいずれか１つは、符号化部からユニットが出力される順序に基づいて付与され、前記第１パケットは、前記ベースレイヤを構成するユニットに加えて、前記エンハンスメントレイヤを構成するユニットのうち、特定重要度を有する特定ユニットを含み、前記第２パケットは、前記エンハンスメントレイヤを構成するユニットのうち、前記特定ユニット以外のユニットを含む、受信装置である。
【0158】
第２実施形態に係る第７の特徴は、第６の特徴において、前記第１パケットは、前記エンハンスメントレイヤを構成するパケットのうち、パラメータセットを含むユニットを含む、受信装置である。
【0159】
第２実施形態に係る第８の特徴は、第６の特徴又は第７の特徴において、前記第１パケットは、前記エンハンスメントレイヤを構成するパケットのうち、先頭ピクチャを構成するユニットを含む、受信装置である。
【0160】
第２実施形態に係る第９の特徴は、第６の特徴乃至第８の特徴の少なくともいずれか１つにおいて、前記第２パケットは、記エンハンスメントレイヤを構成するパケットのうち、他のピクチャから参照されないピクチャを構成するユニットを含む、受信装置である。
【符号の説明】
【0161】
１０ ：伝送システム
１００ ：送信装置
１０１ ：マルチレイヤ符号化部
１０３ ：レイヤＩＤ分離部
１０４ ：重要度評価部
１０５ ：パケタイズ部
１１０ ：マルチレイヤ符号化部
１２０ ：レイヤ分離部
１３０ ：送信手段
１３１ ：パケタイズ部
１３２ ：送信部
２００ ：受信装置
２０１ ：受信部
２０３ ：バッファ部
２０５ ：比較部
２０７ ：デパケタイズ部
２０９ ：マルチレイヤ復号部
２１０ ：受信手段
２１１ ：受信部
２１２ ：デパケタイズ部
２１３ ：バッファ部
２２０ ：レイヤ結合部
２３０ ：メモリ部
２４０ ：受信状態判定部
２５０ ：マルチレイヤ復号部
５００ ：伝送路
１００ ：送信装置
１０１ ：マルチレイヤ符号化部
１０３ ：レイヤＩＤ分離部
１０４ ：重要度評価部
１０５ ：パケタイズ部
１１０ ：マルチレイヤ符号化部
１２０ ：レイヤ分離部
１３０ ：送信手段
１３１ ：パケタイズ部
１３２ ：送信部
２００ ：受信装置
２０１ ：受信部
２０３ ：バッファ部
２０５ ：比較部
２０７ ：デパケタイズ部
２０９ ：マルチレイヤ復号部
２１０ ：受信手段
２１１ ：受信部
２１２ ：デパケタイズ部
２１３ ：バッファ部
２２０ ：レイヤ結合部
２３０ ：メモリ部
２４０ ：受信状態判定部
２５０ ：マルチレイヤ復号部
５００ ：伝送路
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】