(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6073503
(24)【登録日】2017年1月13日
(45)【発行日】2017年2月1日
(54)【発明の名称】データストリーム間で同期される開始記号識別子を有する少なくとも2つのデータストリームからの記号を有するソースブロックを用いる前方誤り訂正
(51)【国際特許分類】
H03M 13/35 20060101AFI20170123BHJP
H04L 1/00 20060101ALI20170123BHJP
【FI】
H03M13/35
H04L1/00 B
【請求項の数】18
【全頁数】18
(21)【出願番号】特願2015-553095(P2015-553095)
(86)(22)【出願日】2014年1月17日
(65)【公表番号】特表2016-505225(P2016-505225A)
(43)【公表日】2016年2月18日
(86)【国際出願番号】EP2014050906
(87)【国際公開番号】WO2014111524
(87)【国際公開日】20140724
【審査請求日】2015年9月7日
(31)【優先権主張番号】61/754,065
(32)【優先日】2013年1月18日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】500341779
【氏名又は名称】フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
(74)【代理人】
【識別番号】100205981
【弁理士】
【氏名又は名称】野口 大輔
(74)【代理人】
【識別番号】100085464
【弁理士】
【氏名又は名称】野口 繁雄
(72)【発明者】
【氏名】コルネリウス・ヘルゲ
(72)【発明者】
【氏名】トーマス・シール
(72)【発明者】
【氏名】ヤゴ・サンチェス
(72)【発明者】
【氏名】マヌエル・ヘンゼル
【審査官】
岡 裕之
(56)【参考文献】
【文献】
欧州特許出願公開第02058968(EP,A1)
【文献】
米国特許出願公開第2012/0131407(US,A1)
【文献】
特開2012−095053(JP,A)
【文献】
特表2015−508979(JP,A)
【文献】
Cornelius Hellge et al.,Layer-Aware Forward Error Correction for Mobile Broadcast of Layered Media,Multimedia, IEEE Transactions on,2011年 6月,Vol.13, No.3,pp.551-562
(58)【調査した分野】(Int.Cl.,DB名)
H03M 13/35
H04L 1/00
IEEE Xplore
CiNii
(57)【特許請求の範囲】
【請求項1】
前方誤り訂正データが共同で生成される少なくとも2つのデータストリームのための入力であって、各データストリームは複数の記号を含み、前方誤り訂正データ記号は前方誤り訂正(FEC)ソースブロックに基づいている入力と、
前記少なくとも2つのデータストリーム内のどの記号が対応するFECソースブロックに属するかに関する前記前方誤り訂正データ記号の信号伝達情報を、前記少なくとも2つのデータストリームにおける第1のデータストリーム内の開始記号を指すポインタと、前記少なくとも2つのデータストリームにおける第2のデータストリーム内の開始記号を指すポインタと、前記第1のデータストリーム内の前記対応するソースブロックに属する記号の数と、前記第2のデータストリーム内の前記対応するソースブロックに属する記号の数とを決定することによって生成するように構成されている信号伝達情報発生器と、
前記少なくとも2つのデータストリーム内の前記開始記号の共通識別子を決定するように構成されているシンクロナイザ(660,786)と、を備え、
前記信号伝達情報発生器は、前記共通識別子を、前記少なくとも2つのデータストリーム内の前記開始記号を指す前記ポインタとして機能させるために前記信号伝達情報に包含するように構成されている前方誤り訂正データ発生器(644)。
【請求項2】
前記信号伝達情報は、受信側で前方誤り訂正デコーダへ伝送されるように、前記前方誤り訂正データ記号に包含され、または前記前方誤り訂正データ記号とリンクされる請求項1に記載の前方誤り訂正データ発生器(644)。
【請求項3】
前記第1および第2のデータストリーム内の前記開始記号に関連して前記共通識別子を前記少なくとも2つのデータストリームに包含するために、前記共通識別子を前記少なくとも2つのデータストリームへ提供するための出力をさらに備えている請求項1または2に記載の前方誤り訂正データ発生器(644)。
【請求項4】
前記少なくとも2つのデータストリーム内の前記開始記号に関連して前記共通識別子を前記少なくとも2つのデータストリームに挿入するように構成されているデータストリーム修正器をさらに備えている請求項1または2に記載の前方誤り訂正データ発生器(644)。
【請求項5】
前記信号伝達情報は、
前記少なくとも2つのデータストリームに有効な前記共通識別子と、
前記第1のデータストリーム内の、前記対応するソースブロックに属する前記記号数に関する第1の長さ情報と、
前記第2のデータストリーム内の、前記対応するソースブロックに属する前記記号数に関する第2の長さ情報とを含む請求項1から4のいずれか一項に記載の前方誤り訂正データ発生器(644)。
【請求項6】
各FECソースブロックについて、前記少なくとも2つのデータストリームのうちのどのデータストリームが最大数の記号を含むかを決定し、かつ後続のFECソースブロックへ移行する際に、共通カウンタ状態を、前記決定された最大記号数だけ増分するように構成されている共通カウンタ(784)をさらに備えている請求項1から5のいずれか一項に記載の前方誤り訂正データ発生器(644)。
【請求項7】
前方誤り訂正デコーダであって、
前方誤り訂正されるべき少なくとも2つの受信されるデータストリームに関連してリペア記号を含むリペアストリームを受信するように構成されている入力と、
リペア記号内の、またはリペア記号にリンクされた信号伝達情報を分析するように構成されている信号伝達情報分析器であって、前記信号伝達情報は、前記少なくとも2つのデータストリームのうちの少なくとも1つのデータストリーム内の開始記号を指すポインタと、前記第1のデータストリーム内の、前記対応するソースブロックに属する記号の数と、前記第2のデータストリーム内の、前記対応するソースブロックに属する記号の数とを含む信号伝達情報分析器と、
前記少なくとも2つのデータストリーム内の、現在のソースブロックに属する記号を、前記信号伝達情報を用いて収集するように構成されているソースブロック・コレクタとを備え、
少なくとも1つのデータストリーム内の前記開始記号を指す前記ポインタは、前記少なくとも2つのデータストリーム内の前記開始記号の共通識別子であり、かつ前記ソースブロック・コレクタは、さらに、前記第1のデータストリーム内の、前記共通識別子により指示される前記第1の開始記号で開始される記号の数を収集し、かつ前記第2のデータストリーム内の、前記共通識別子により等しく指示される前記第2の開始記号で開始される記号の数を収集するように構成されている前方誤り訂正デコーダ。
【請求項8】
前記データストリームを、送信側で前方誤り訂正データ発生器により前記データストリームへ追加されている記号識別子に関連して分析し、かつ前記データストリーム内の1記号を前記信号伝達情報によって指示される前記開始記号として識別するために、前記記号識別子を前記開始記号を指す前記ポインタと比較するように構成されているデータストリーム分析器をさらに備えている請求項7に記載の前方誤り訂正デコーダ。
【請求項9】
前方誤り訂正データを生成するための方法であって、
前方誤り訂正データが共同で生成される少なくとも2つのデータストリームを受信するステップであって、各データストリームは、複数の記号を含み、前方誤り訂正データの記号は、前記少なくとも2つのデータストリームの記号サブセットを含む可能性のある前方誤り訂正(FEC)ソースブロックに基づいているステップと、
前記少なくとも2つのデータストリーム内のどの記号が前記対応するソースブロックに属するかに関する前記前方誤り訂正データ記号の信号伝達情報を、前記少なくとも2つのデータストリームにおける第1のデータストリーム内の開始記号を指すポインタと、前記少なくとも2つのデータストリームにおける第2のデータストリーム内の開始記号を指すポインタと、前記第1のデータストリーム内の、前記対応するソースブロックに属する記号の数と、前記第2のデータストリーム内の、前記対応するソースブロックに属する記号の数とを決定することによって生成するステップと、
前記少なくとも2つのデータストリーム内の前記開始記号の共通識別子を決定するステップと、を含み、
前記信号伝達情報を生成するステップは、さらに、前記共通識別子を、前記少なくとも2つのデータストリーム内の前記開始記号を指す前記ポインタとして機能させるために前記信号伝達情報に包含するステップを含む方法。
【請求項10】
前記信号伝達情報は、受信側で前方誤り訂正デコーダへ伝送されるように、前記前方誤り訂正データ記号に包含され、または前記前方誤り訂正データ記号とリンクされる請求項9に記載の方法。
【請求項11】
前記第1および第2のデータストリーム内の前記開始記号に関連して前記共通識別子を前記少なくとも2つのデータストリームに包含するために、前記共通識別子を前記少なくとも2つのデータストリームへ提供するステップをさらに含む請求項9または10に記載の方法。
【請求項12】
前記少なくとも2つのデータストリーム内の前記開始記号に関連して前記共通識別子を前記少なくとも2つのデータストリームに挿入するステップをさらに含む請求項9から11のいずれか一項に記載の方法。
【請求項13】
前記共通識別子は、前記FECソースブロックおよび前記少なくとも2つのデータストリームの真のサブセットに関連づけられるさらなるFECソースブロックに属する前記開始記号を識別するために前方誤り訂正デコーダの役目を果たす請求項9から12のいずれか一項に記載の方法。
【請求項14】
前記信号伝達情報は、
前記少なくとも2つのデータストリームに有効な前記共通識別子と、
前記第1のデータストリーム内の、前記対応するソースブロックに属する前記記号数に関する第1の長さ情報と、
前記第2のデータストリーム内の、前記対応するソースブロックに属する前記記号数に関する第2の長さ情報とを含む請求項9から13のいずれか一項に記載の方法。
【請求項15】
複数のソースブロックまたは前方誤り訂正データの生成プロセス全体に有効な共通カウンタを提供するステップと、
各FECソースブロックについて、前記少なくとも2つのデータストリームのうちのどのデータストリームが最大数の記号を含むかを決定するステップと、
後続のFECソースブロックへ移行する際に、共通カウンタの状態を、前記決定された最大記号数だけ増分するステップとをさらに含む請求項9から14のいずれか一項に記載の方法。
【請求項16】
前方誤り訂正を復号するための方法であって、
前方誤り訂正されるべき少なくとも2つの受信されるデータストリームに関連してリペア記号を含む少なくとも1つのリペアストリームを受信するステップと、
リペア記号内の、またはリペア記号にリンクされた信号伝達情報を分析するステップであって、前記信号伝達情報は、前記少なくとも2つのデータストリームのうちの少なくとも1つのデータストリーム内の開始記号を指すポインタと、前記第1のデータストリーム内の、前記対応するソースブロックに属する記号の数と、前記第2のデータストリーム内の、前記対応するソースブロックに属する記号の数とを含むステップと、
前記少なくとも2つのデータストリーム内の、現在のソースブロックに属する記号を、前記信号伝達情報を用いて収集するステップと、を含み、
少なくとも1つのデータストリーム内の前記開始記号を指す前記ポインタは、前記少なくとも2つのデータストリーム内の前記開始記号の共通識別子であり、かつ前記記号を収集するステップは、前記第1のデータストリーム内の、前記共通識別子により指示される前記第1の開始記号で開始される記号の数を収集するステップと、前記第2のデータストリーム内の、前記共通識別子により等しく指示される前記第2の開始記号で開始される記号の数を収集するステップとをさらに含む方法。
【請求項17】
前記データストリームを、送信側で前方誤り訂正データ発生器により前記データストリームへ追加されている記号識別子に関連して分析するステップと、
前記データストリーム内の1記号を前記信号伝達情報によって指示される前記開始記号として識別するために、前記記号識別子を前記開始記号を指す前記ポインタと比較するステップをさらに含む請求項16に記載の方法。
【請求項18】
コンピュータまたは信号プロセッサ上で実行されるとき、請求項9から17のいずれか一項に記載の方法を実施するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、情報および/もしくはデータの伝送、放送ならびに/または記憶に関する。より具体的には、本発明は、伝送、放送および/または記憶されるべきデータの前方誤り訂正(FEC:forward error correction)に関する。本発明による一部の実施形態は、前方誤り訂正データ発生器に関する。本発明の一部の実施形態は、前方誤り訂正デコーダに関する。一部の実施形態は、前方誤り訂正データを生成するための方法に関する。さらなる実施形態は、前方誤り訂正を復号するための方法に関する。本発明の幾つかの態様は、同期化SI(symbol ID:記号ID)を有する前方誤り訂正ソースブロックの復元に関する。
【背景技術】
【0002】
ビデオ符号化技術は、今日でもなお、例えば空間分解能(例えば、UHD(ultra high definition):超高精細度)の向上を支えるために研究されている。他の研究対象は、具体的にはモバイルアプリケーションのための、伝送されるべきデータの低減、および/または符号化効率の最適化である。利用可能なビデオ符号化規格の中でも、おそらくは、H.264/MPEG−4 AVC規格が最も広範に、10億個を超すデバイスによって使用されている。
【0003】
2003年におけるH.264/MPEG−4 AVC規格の導入以降、H.264/MPEG−4 AVC規格は、例えばスケーラブルビデオ符号化補正(SVC:Scalable Video Coding amendment)およびマルチビュービデオ符号化補正(MVC:Multiview Video Coding amendment)といった幾つかのベース規格拡張の発売に成功している。
【0004】
H.264/AVC規格のスケーラブルビデオ符号化補正(SVC)は、単層H.264/AVCに比べてデコーダの複雑さが適度に増加した、ビットストリーム・レベルにおけるネットワークに優しいスケーラビリティを提供する。これは、品質スケーラブルなSVCビットストリームの単層H.264/AVCビットストリームへの無損失な書き換え等の機能だけでなく、損失伝送環境におけるビットレート、フォーマットおよび電力適応、グレースフルデグラデーション(graceful degradation)も裏付ける。これらの機能により、伝送および記憶アプリケーションが強化される。SVCは、符号化効率の著しい向上を達成し、先行するビデオ符号化規格のスケーラブルプロファイルに比べて、裏付けられたスケーラビリティの度合いが高まっている。
【0005】
H.264/AVC規格のマルチビュービデオ符号化補正は、ビットストリーム・レベルでのビュースケーラビリティを提供する。これは、マルチビュービデオ(例えば、ステレオディスプレイで見るのに適する2つの視野をもつビデオ)の効率的かつ後方互換的な高効率伝送を可能にする。旧来のH.264/AVCデコーダは、マルチビュービットストリームに含まれる2つの視野のうちの一方(所謂、ベース視野)のみを復号する。復元されたビデオシーケンスは、従来の二次元ディスプレイ上に表示されることが可能である。一方で、ステレオデコーダは、両方の視野を復号することができ、復号されたビデオシーケンス(一方は左目用、他方は右目用)は、三次元ディスプレイに適する。
【0006】
SVCとMVCは共に、各々が別の品質レベルを表す様々なメディアレイヤを有するビデオビットストリームを生成する、所謂レイヤードメディア符号化技術の例と考えることができる。レイヤ間予測に起因してこれらのメディアレイヤ間には階層が存在し、良好な復号を行うためにメディアレイヤは他のメディアレイヤに依存する。レイヤを意識した前方誤り訂正(LA−FEC:Layer-Aware Forward Error Correction)は、層状のメディアストリーム内に存在する依存構造の知識を活用する。LA−FECは、共同誤り訂正のために、さほど重要でないメディアレイヤの保護をより重要なメディアレイヤの保護データと共に使用できるように、FECデータを生成する。この方法において、LA−FECは、新しい機能を有効化し、かつより重要なメディアの保護を、データ総量を増やすことなく増大させる。
【0007】
伝送チャネルの受信機側において受信データにおける誤りを、レイヤを意識した前方誤り訂正を使用することによって訂正するためには、FECデコーダが、ペイロードデータの所定の一部分と、ペイロードデータのその部分における誤り(例えば、伝送誤り)を訂正するために使用することのできるFECパリティデータ部分との間の対応についての知識が必要である。言い替えれば、FECデコーダは、ペイロードデータおよび/またはFECパリティデータにおける誤りを首尾良く訂正するために、ペイロードデータの一部とFECパリティデータの対応部分との間にリンクを確立することができなければならない。この側面は、ベース表現、エンハンスメント表現およびFECパリティ情報が、異なるデータフローまたはデータストリームを用いて伝送される場合に、特に重要となる。ペイロードデータとFECパリティデータとの対応が単純ではない場合もある別の可能なシナリオは、ペイロードデータおよびFECパリティデータが、各パケットが異なるルートを取りかつ異なる時間に受信機へ到達するように、パケット交換ネットワークを介して伝送される場合である。
【発明の概要】
【発明が解決しようとする課題】
【0008】
したがって、とりわけ誤り訂正能力および/または誤り訂正効率を向上させるためには、FECパリティデータとペイロードデータとの間の対応の効率的かつ/または強固な信号伝達が望ましい。
【課題を解決するための手段】
【0009】
本発明のこの目的は、請求項1に記載の前方誤り訂正データ発生器によって、請求項9に記載の前方誤り訂正デコーダによって、請求項12に記載の前方誤り訂正データを生成するための方法によって、請求項20に記載の前方誤り訂正の復号方法によって、かつ請求項23に記載のコンピュータプログラムによって解決される。
【0010】
前方誤り訂正データ発生器を提供する。この前方誤り訂正データ発生器は、前方誤り訂正データが共同で生成される少なくとも2つのデータストリームのための入力を備え、各データストリームは複数の記号を含み、前方誤り訂正データの記号は、それらの少なくとも2つのデータストリームの記号サブセットを含む可能性のある前方誤り訂正(FEC)ソースブロックに基づいている。この前方誤り訂正データ発生器は、少なくとも2つのデータストリーム内のどの記号が対応するソースブロックに属するかに関する前方誤り訂正記号の信号伝達情報(signaling information)を、それらの少なくとも2つのデータストリームにおける第1のデータストリーム内の開始記号を指すポインタと、それらの少なくとも2つのデータストリームにおける第2のデータストリーム内の開始記号を指すポインタと、第1のデータストリーム内の対応するソースブロックに属する記号の数と、第2のデータストリーム内の対応するソースブロックに属する記号の数とを決定することによって生成するように構成されている信号伝達情報発生器をさらに備えている。
【0011】
実施形態は、前方誤り訂正されるべき少なくとも2つの受信されるデータストリームに関してリペア記号を含むリペアストリームを受信するように構成された入力を備えた前方誤り訂正デコーダを提供する。この前方誤り訂正デコーダは、さらに、リペア記号内の、またはリペア記号にリンクされた信号伝達情報を分析するように構成されている信号伝達情報分析器を備えている。その信号伝達情報は、少なくとも2つのデータストリームのうちの少なくとも1つのデータストリーム内の開始記号を指すポインタと、第1のデータストリーム内の、対応するソースブロックに属する記号の数と、第2のデータストリーム内の、対応するソースブロックに属する記号の数とを含む。この前方誤り訂正デコーダは、さらに、少なくとも2つのデータストリーム内の、現在のソースブロックに属する記号を、信号伝達情報を用いて集めるように構成されているソースブロック・コレクタを備えている。
【0012】
さらに、前方誤り訂正データを生成するための方法を提供する。本方法は、前方誤り訂正データが共同で生成される少なくとも2つのデータストリームを受信するステップを含む。各データストリームは、複数の記号を含む。前方誤り訂正データの記号は、それらの少なくとも2つのデータストリームの記号サブセットを含む可能性のある前方誤り訂正ソースブロックに基づいている。本方法は、さらに、それらの少なくとも2つのデータストリーム内のどの記号が対応するソースブロックに属するかに関して、前方誤り訂正記号の信号伝達情報を生成するステップを含む。具体的には、信号伝達情報は、それらの少なくとも2つのデータストリームのうちの第1のデータストリーム内の開始記号を指すポインタと、それらの少なくとも2つのデータストリームのうちの第2のデータストリーム内の開始記号を指すポインタと、第1のデータストリーム内の、対応するソースブロックに属する記号の数と、第2のデータストリーム内の、対応するソースブロックに属する記号の数とを決定することによって生成される。
【0013】
復号の態様に関しては、前方誤り訂正復号の方法も提供する。本方法は、前方誤り訂正されるべき少なくとも2つの受信データストリームに関連してリペア記号を含む少なくとも1つのリペアストリームを受信するステップを含む。また、本方法は、リペアストリーム内の、またはリペアストリームにリンクされた信号伝達情報を分析するステップも含む。信号伝達情報は、少なくとも2つのデータストリームのうちの少なくとも1つのデータストリーム内の開始記号を指すポインタと、第1のデータストリーム内の、対応するソースブロックに属する記号の数と、第2のデータストリーム内の、対応するソースブロックに属する記号の数とを含む。本方法は、さらに、少なくとも2つのデータストリーム内の、現在のソースブロックに属する記号を、信号伝達情報を用いて集めるステップも含む。
【0014】
さらに、コンピュータまたは信号プロセッサ上で実行されるとき、上述の方法のうちの少なくとも1つを実行するためのコンピュータプログラムも提供する。
【図面の簡単な説明】
【0015】
【
図1】
図1はレイヤード符号化されたメディアの構造の一例を略示している。
【
図2】
図2はLA−FECを用いるFECデータ生成の概念を略示している。
【
図3】
図3は2つのソースフローが独立した記号識別子(SI:symbol identifier)を有する第1の方法を略示している。
【
図4】
図4は、FECソースブロックの同期ポイントにFECソースブロック毎の同期SIが提供される第2の方法を略示している。
【
図5】
図5は、第1のデータストリームと第2のデータストリーム内の記号がLA−FECのためにどのようにグルーピングまたは収集され得るかを略示している。
【
図6】
図6は、データストリームがエンコーダ側でどのように処理され得るかを示す略ブロック図である。
【
図7】
図7はFECデータ発生器の一部を示す略ブロック図である。
【発明を実施するための形態】
【0016】
以下、図面を参照して本発明の実施形態をより詳細に説明する。
【0017】
前方誤り訂正(FEC)またはチャネル符号化は、信頼性のない、または雑音の多い通信チャネル上でのデータ伝送における誤りを訂正するために使用されることが可能な技術である。この目的のために、チャネルの送信側では、誤り訂正符号(ECC:error correcting code)を用いて、オリジナルメッセージに所定量の冗長性が追加される。メッセージのどこかで限られた数の誤りしか発生しない限り、受信者は追加された冗長性によって誤りを検出することができる。多くの場合、これらの誤りを、再送なしに訂正することも可能である。したがって、データ再送を要求するためのリバースチャネルは不要である。しかしながら、誤りを訂正する能力は、一定の、より高い前方チャネル帯域幅を犠牲にして得られるものである。したがって、FECは、典型的には、一方向通信リンク等の再送が高価または不可能であるといった状況、かつ複数の受信者へマルチキャストで送信する場合に適用される。FECの別のアプリケーションは、損なわれたデータの復元を可能にする大容量記憶デバイスに関連づけられる。
【0018】
前方誤り訂正スキームを実施するための、多くの異なる誤り訂正符号が利用可能である。可能な誤り訂正符号の例は、BCH符号、アダマール(Hadamard)符号、ハミング(Hamming)符号、低密度パリティ検査(LDPC:Low Density Parity Check)符号、ラプタ(Raptor)符号、リード−ソロモン(Reed-Solomon)誤り訂正、リード−マラー(Reed-Muller)符号、ターボ(Turbo)符号およびウォルシュ−アダマール(Walsh-Hadamard)符号である。
【0019】
レイヤを意識した前方誤り訂正(LA−FEC)は、レイヤード・メディア・データ固有のFECスキームであり、FECスキームはFEC構造のメディア層に渡る依存関係を活用する。
図1は、スケーラブルビデオ符号化(SVC)またはマルチビュービデオ符号化(MVC)またはHEVCのスケーラブル拡張(SHVC)により符号化されたコンテンツ等の符号化されたレイヤード・メディア・データへLA−FECがどのように適用されるかを示している。図示されている例には、独自に復号可能なベース表現(BR)12(例えば、ベース分解能または左視野)と、ベース表現への依存関係を有する1つの追加的なエンハンスメント表現(ER1)14(例えば、エンハンスメント分解能または右視野)とが存在している。表現の数および依存構造は、メディア符号化に依存し、よって与えられた例とは異なる可能性があることに留意されたい。
【0020】
ベース表現12は、ベース品質を表すベースレイヤ/ベース表現(BL/BR)と見なすことができ、SVCとMVCの双方の場合で、これは、例えば720pの分解能を有するビデオストリームである。復号プロセスにおけるエンハンスメントレイヤ/エンハンスメント表現(EL/ER)の追加的統合は、ビデオ品質を向上させる。SVCの場合、品質は分解能1080pまで向上する。MVCの場合、EL(またはER)の復号によって3Dテレビ用の第2の視野が追加される。
図1に示されているように、これらのメディアレイヤ間には依存関係が存在する。ベースレイヤ/ベース表現BL(またはBR)は、他のメディアレイヤから独立して復号することができるが、エンハンスメントレイヤ/エンハンスメント表現EL(またはER)は、誤りのない復号のためにBL(またはBR)を必要とする。前方誤り訂正データ発生器については、SVCまたはMVC等のレイヤードメディア符号化技術に関して説明するが、提案している前方誤り訂正用信号伝達情報の概念は、異なる環境においても使用することができる。例えば、データストリームの1つはビデオトラックを含む可能性もあり、かつ別のデータストリームは対応するオーディオトラックを含む可能性もある。別の例は、5.1サラウンド・サウンド・マルチチャネル・オーディオ・システムに使用されるもの等の幾つかのオーディオ信号である可能性もある。さらに、少なくとも2つのデータストリーム(またはこれらのコンテンツ)が互いに関連せず、どちらかと言えば互いに独立している可能性さえもあり得る。可能な一例は、同一チャネルを介して(例えば、衛星を介して)放送される2つの独立したテレビ番組である可能性もある。
【0021】
LA−FECの場合、所定の表現のFEC情報ブロックは、複数のFEC情報サブブロック、即ちその表現自体につき1つ、およびこの表現の相補表現(Complimentary Representation)毎に1つのFEC情報サブブロックより成る。これらのFEC情報サブブロックは各々、1つの表現からのデータのみから生成される。
図2は、このレイヤード符号化されたメディア構造例についてのLA−FEC生成を例示したものである。ベース表現(BR)は他のいずれの表現からも独立していることから、そのFEC情報ブロック32はBRのFEC情報サブブロック22のみを含むが、エンハンスメント表現(ER1)のFEC情報ブロック34は、BRの同じFEC情報サブブロック22と、ER1のFEC情報サブブロック24とから成る。
【0022】
図2は、さらに、ベース表現のFEC情報ブロック32を符号化するための、より具体的にはベース表現のためのFECパリティブロック52を生成するためのLA−FECエンコーダ42を示す。さらなるLA−FECエンコーダ44が、エンハンスメント表現のFEC情報ブロック34を符号化するために、より具体的にはエンハンスメント表現のためのFECパリティブロック54を生成するために設けられている。2つのLA−FECエンコーダ52、54は、単一のLA−FECエンコーダとして結合されてもよい。
【0023】
LA−FECの場合、(ER1例における)依存表現のFECパリティブロックは、さらに、(BR例における)その全ての相補表現の全データを保護する。したがって、所定の表現は、共同復号プロセスにおいて、その対応するFEC情報ブロックによって生成される、即ちその対応するFEC情報ブロックに依存する表現からFEC情報ブロックによって生成されるFECパケットブロックを用いることにより、または依存表現の全てのFECパリティブロックおよびその全ての相補表現を用いることにより、回復することができる。
【0024】
例えば、受信側装置がベース表現BRのみを受信するのであれば、受信側装置はFECパケットブロック52(BR)を用いることによってこの表現を復号しかつ訂正することができる。受信側装置がBRおよびER1を受信するのであれば、受信側装置は、共同復号プロセスにおいて、FECパケットブロック52(BR)、FECパケットブロック54(ER1)、またはFECパケットブロック52(BR)およびFECパケットブロック54(ER1)の双方を用いてBRを復号しかつ訂正することができる。これにより、LA−FECは、レイヤード符号化されたメディアの強固さの拡大を可能にする。より具体的には、BRがFECパケットブロック(BR)によって訂正できない状況において、LA−FECを用いる受信側装置は、FECパケットブロック(ER1)により、またはFECパケットブロック(BR)およびFECパケットブロック(ER1)の双方の共同復号によりBRの訂正を試行することができる。
【0026】
受信された記号からのソースブロックの復元は、どのソース記号がFECソースブロックの一部であるかに関する知識を必要とする。LA−FECの場合、さらに、ベースレイヤのFECソースブロック(SB)とエンハンスメントレイヤのFECソースブロック(SB)をリンクすることが必要とされる。というのは、エンハンスメントレイヤのFECデータは両レイヤのデータにまたがって生成されるからである。
【0027】
第1の可能な信号伝達方法によれば、各ソース記号毎のインクリメンタルID、以後記号ID(SI)と称する、を有することが提案される。このような手法の場合、記号IDは、
図3に示されているように、各レイヤ毎に独立している。故に、
図3は、2つのソースフローの独立したSIを略示している。
【0028】
図3に略示されているようなLA−FECを信号伝達する方法は、リペア記号を異なるフローのソース記号に関連づけるためのリペア記号についての以下の信号伝達に記述されているように動作する。
【0029】
例えば、
図1における方法を用いる
図3におけるFEC SB2のソース記号とリペア記号(2つの記号)の例示的な信号伝達は、[ ]が1パケットの信号伝達を示すものとして、次のようになる。
【0030】
上述の例において、リペア記号の信号伝達
は、このリペア記号がソースフロー2において記号ID7で始まるエンハンスメントレイヤ内の2つの記号に関連づけられ、かつソースフロー1において記号ID6で始まるベースレイヤ内の4つの記号にも関連づけられることを指す点に留意されたい。ソースフロー1はベース表現を含む。ソースフロー2はエンハンスメント表現を含む。上述の例において、ベース表現に関連する信号伝達情報は、太字で書かれている。
【0031】
方法2:同期IDを用いるFECソースブロックの復元
【0032】
別の可能な信号伝達方法は、同期SI(記号ID)を用いるFECソースブロックの復元を有効化する。この信号伝達方法は、FECソースブロック(FEC SB)毎の同期された開始SIを有するFEC SBの同期ポイントを示す
図4に略示されている。
【0033】
図4による信号伝達方法の場合、リペア記号をソース記号に関連づけるために、以下のリペア記号の信号伝達が必要とされる。
【0034】
例えば、第2の方法を用いる
図4におけるFEC SB2のソース記号とリペア記号(2つの記号)の好適な信号伝達は、[ ]が1パケットの信号伝達情報を示すものとして、次のようになる。
【0035】
図4の実施形態および関連する実施形態において、「FEC SBの開始SI」は、ベース表現(ソースフロー1)およびエンハンスメント表現(ソースフロー2)の双方に有効であることに留意されたい。
【0036】
図5は、レイヤを意識したFECのために、第1のデータストリーム(本例では、エンハンスメントレイヤ関連)および第2のデータストリーム(この場合は、ベースレイヤ関連)内の記号がどのようにしてグループ化または収集され得るかを略示している。各記号は、小さい正方形によって略示されている。例えば、第1のFECソースブロック(FECソースブロック1)は、エンハンスメントレイヤのデータストリーム(第1のデータストリーム)からの3記号と、ベースレイヤのデータストリーム(第2のデータストリームまたはこの逆)からの2記号とを考慮する。ベースレイヤは、さらに、さらなるベースレイヤ専用FECによって保護される可能性もあることに留意されたい。このようなベースレイヤ専用FECは、例えば、ベースレイヤを伝送するデータストリームのみが確実に受信されることが可能であるが、エンハンスメントレイヤを伝送するデータストリームは(例えば、帯域幅制限などの理由により)受信されない状況において有益であり得る。
【0037】
記号カウンタは、カウンタ初期値25(任意に選ばれるため、他の任意の数であってもよい)を有する。したがって、FECソースブロックにおける第1のデータストリームと第2のデータストリームの開始記号は、次の数字、この場合は26を受信する。第1のデータストリームまたは第2のデータストリーム内に、その時点で考慮されているFECソースブロックの記号がさらに存在するかどうかに依存して、次のFECソースブロックの開始記号は、この数字で、即ちFECソースブロックに寄与する1つのデータストリーム内の最大記号数だけ増分される。本事例において、FECソースブロック1は、エンハンスメントレイヤ内に3記号、ベースレイヤ内に2記号を含む。故に、FECソースブロック1のデータストリーム当たりの最大記号数は3である。したがって、第2のFECソースブロック(FECソースブロック2)内の開始記号は、数字または指数「29」で参照される。
図5において、FECソースブロック2内の開始記号は位置合わせされていない(即ち、ペイロードデータのエンコーダまたはデコーダは、これらの記号の異なる提示時間を考慮しなければならなくなる)が、これはFECスキームに影響しないことに留意されたい。というのは、FECエンコーダまたはFECデコーダが知る必要のあるものは、データストリーム内のどの記号が所定のFECソースブロックの第1の記号(即ち、開始記号)であるか(即ち、第1のデータストリームと第2のデータストリームの双方ともに29)、およびこの所定のFECソースブロックに関してこのデータストリームから合計幾つの記号が考慮されなければならないか(即ち、FECソースブロック2では、第1のデータストリームにおける3記号と第2のデータストリームにおける3記号)、だけであるからである。
【0038】
図6は、データストリームがエンコーダ側でどのように処理され得るかを示す略ブロック図である。具体的には、図示されている記号IDシンクロナイザは、上述の
図4の方法に従って、FECに有益な、少なくとも2つのデータストリームの同期に関する情報を添付することにより、第1のデータストリームと第2のデータストリームを修正することができる。
【0039】
図6に略示されているようなエンコーダ側の装置は、ペイロードデータ・エンコーダ602と、前方誤り訂正データ発生器644と、記号IDシンクロナイザ660とを備えている。また、さらなる前方誤り訂正データ発生器642も設けられているが、このさらなる前方誤り訂正データ発生器642は、任意選択である。本発明の可能な実施形態を表すこの前方誤り訂正データ発生器644の機能をより詳細に記述する前に、まずは、
図6に略示されているようなエンコーダ側装置の骨組みについて述べる。
【0040】
エンコーダ側装置の目的は、ペイロードデータを符号化して、チャネルまたはネットワーク上で伝送するための符号化されたペイロードデータを作成することにある。この目的のために、符号化されたペイロードデータを用いて、1つのデータストリーム(またはソースフロー)または幾つかのデータストリーム(またはソースフロー)が形成される。例えば、ペイロードデータは、おそらくはオーディオトラックを含むビデオデータであってもよい。他のタイプのペイロードデータも可能であって、排除されるものではない。ペイロードデータは、例えばH.264/MPEG−AVC等の損失のあるビデオ符号化方法を用いてペイロードデータを符号化できるペイロードデータ・エンコーダ602で受信される。さらに、ペイロードデータ・エンコーダ602は、符号化されたペイロードデータの2つのデータストリーム、即ち、ベースレイヤのための第1のデータストリーム(ベース表現)およびエンハンスメントレイヤのための第2のデータストリーム(エンハンスメント表現)を生成するように構成されている。別の実施例では、ペイロードデータ・エンコーダは、異なるエンハンスメントレイヤのために複数(3つ以上)のデータストリームを生成するように構成することができる。例えば、ペイロードデータ・エンコーダ602は、SVC(スケーラブルビデオ符号化)エンコーダまたはMVC(マルチビュービデオ符号化)エンコーダであってもよい。
【0041】
次に、両方のデータストリーム、即ち、ベースレイヤのデータストリームおよびエンハンスメントレイヤのデータストリームを受信するFECデータ発生器644について考察する。この目的のために、FECデータ発生器644は、前方誤り訂正データが共同で生成される少なくとも2つのデータストリームのための入力を備えている。各データストリームは、複数の記号を含む。前方誤り訂正データ記号は、前方誤り訂正(FEC)ソースブロックに基づいている。前方誤り訂正(FEC)ソースブロックは、おそらくは、少なくとも2つのデータストリームの記号サブセットを含む(
図3から
図5までを参照)。FECデータ記号は、本明細書の一部の項目および一部のクレームにおいて「リペア記号」とも称されている。それは、デコーダの観点からすると、「リペア記号」はペイロードデータストリームの1つ以上の記号において、リペア(即ち、FECを用いる伝送誤りの訂正)のために使用可能であるからである。
【0042】
FECデータ発生器644は、前方誤り訂正データ記号の信号伝達情報を生成するように構成されている信号伝達情報発生器を備えている。信号伝達情報は、どの記号が、企図されたFECデータ記号に対応するFECソースブロックに属するかを示す。FECデータ発生器644は、所定のFECソースブロックを形成するために、ベースレイヤのデータストリームおよびエンハンスメントレイヤのデータストリームにおけるどの(ペイロード)記号が纏めてグルーピングされるかを決定することができる。FECデータ発生器のこの決定は、関連のある記号間の時間的関係に基づいていてもよく、その結果、例えば、所定の(例えば「プレゼンテーション・タイム・スタンプ(presentation time stamp)」により規定される)時間間隔の間に提示されるものとされるベースレイヤおよびエンハンスメントレイヤのデータストリーム内の全記号は、所定のFECソースブロック内に包含される。
図3から
図5までに示されているように、FECソースブロックは、典型的には、データストリーム内の記号の1つの時間的に密着した連なりを考察し、即ち、データストリーム内に2つ以上のFECソースブロックの重なりまたはインターレースは存在しない。この特性は、所定のFECデータ記号の信号伝達を比較的短くかつ単純に保つことを可能にする。というのは、考察されるソース記号の連なりの最初の記号、および記号の数(即ち、この連なりの長さ)を通知すれば足りるからである。
【0043】
具体的には、信号伝達情報発生器は、幾つかの実施形態によれば、
少なくとも2つのデータストリームのうちの第1のデータストリーム内の開始記号を指すポインタを決定すること、
少なくとも2つのデータストリームのうちの第2のデータストリーム内の開始記号を指すポインタを決定すること、
第1のデータストリーム内の、対応するFECソースブロックに属する記号の数を決定すること、
第2のデータストリーム内の、対応するFECソースブロックに属する記号の数を決定すること
によって、信号伝達情報を生成するように構成することができる。
【0044】
信号伝達情報は対応するFECデータ記号(リペア記号)内に含まれてもよく、または、信号伝達情報は対応するFECデータ記号(リペア記号)へリンクされて、例えば異なるデータストリームを介してデコーダへ伝送されてもよい。FECデータ発生器644により生成されるFECデータ記号は、エンハンスメントレイヤおよびベースレイヤのためのリペアストリームを形成する。
【0045】
図7はFECデータ発生器の一部を示す略ブロック図である。図示されている記号IDカウンタは、データストリームおよびFECソースブロック当たりの最大記号数を決定する。後続のFECソースブロックへ移行する際に、現在のカウント値が、決定された数だけ増分される。
【0046】
図7に略示されているFECデータ発生器は、FECソースブロック・デフィニション782と、既に述べた記号IDカウンタ784と、記号IDシンクロナイザ786とを備えている。
【0047】
FECソースブロック・デフィニション782は、複数のベースレイヤ記号を含むベースレイヤのストリームを受信するように構成されている。FECソースブロック・デフィニションは、さらに、複数のエンハンスメントレイヤ記号を含むエンハンスメントレイヤのストリームを受信するようにも構成されている。エンハンスメントレイヤのストリームは複数個の場合もある。FECソースブロック・デフィニション782は、さらに、ベースレイヤおよびエンハンスメントレイヤの固有の記号をグループ化することにより、FECソースブロックを形成するようにも構成されている。言い替えれば、FECソースブロック・デフィニション782は、ある特定のFECソースブロックを形成するために、ベースレイヤおよびエンハンスメントレイヤのどの記号が使用されるかを決定するように構成されている。記号のこの選択は、様々な基準、例えば記号の時間的関係性、に基づくことができる。
【0048】
記号IDカウンタ784は、共通カウンタ値である現在のカウンタ値を保持するように構成されている。具体的には、共通カウンタは、各データストリーム(ベースストリームおよびエンハンスメントストリーム)が現在のFECソースブロックに寄与する記号の数を決定することによって更新される。共通カウンタの増分値は、様々なデータストリームのうちの最大記号数によって決定される。例えば、ベースレイヤのストリームが現在のFECソースブロックに6個の記号を与え、かつエンハンスメントレイヤのストリームが同じFECソースブロックに11個の記号を与えるものとすれば、共通カウンタの増分値は11となる。したがって、現在のFECソースブロックを開始する記号の記号IDと、後続FECソースブロックの記号の記号IDとの差分は11である。記号IDシンクロナイザ786は、記号IDカウンタ784から受信する情報に基づいて記号IDを修正する。したがって、記号IDシンクロナイザ786は、同期されたベースレイヤおよびエンハンスメントレイヤのデータストリームを出力するが、これは、新しいFECソースブロックが各々、FECソースブロックに寄与する全データストリームに渡って等しい共通の記号IDで開始されることを意味する。単一のデータストリーム内の記号IDは、もはや連続的/持続的ではなく、2つのFECソースブロックの境界においてジャンプまたはギャップを呈する場合もあることに留意されたい。典型的には、これらのジャンプまたはギャップの発生は、基本的に、具体的にはFECの機能を、一般的にはデータ伝送スキームの機能を変えるものではない。
【0049】
これまでの説明において、FECソースブロックを復元するために、リペア記号を複数のフローのソース記号に関連づけるための方法を提案した。第1の可能な方法(例えば、
図3および対応する明細書本文に略示されている)は、ポインタおよび関連するソースフローまでの長さを用いる。第2の可能な方法(例えば、
図4および対応する明細書本文に略示されている)は、全てのソースフローにおける開始SIとして同期ポイントを用いる。第2の方法の場合、LA−FECのためのFECソースブロックは、基礎をなすレイヤ内のソース記号数を信号伝達することによって復元することができるが、最初に述べた方法では、これに加えて、基礎をなすレイヤ内の開始SIを指示する必要がある。
【0050】
幾つかの態様を装置に関して説明してきたが、これらの態様が、対応する方法の説明をも表し、ブロックまたはデバイスが方法ステップまたは方法ステップの特徴に相当することは明らかである。同様に、方法ステップに関して記述されている態様は、対応する装置の対応するブロック、単位体または特徴をも表す。
【0051】
本発明による分解された信号は、デジタル記憶媒体に格納することができ、または伝送媒体、例えば無線伝送媒体もしくはインターネット等の有線伝送媒体、で伝送することができる。
【0052】
所定の実装要件に依存して、本発明の実施形態は、ハードウェアまたはソフトウェアにおいて実装することができる。その実装は、デジタル記憶媒体、例えばフロッピーディスク、DVD、CD、ROM、PROM、EPROM、EEPROMまたはフラッシュメモリを用いて実行することができ、それらは個々の方法が実行されるようにプログラマブル・コンピュータ・システムと協働する(または協働することのできる)電子的に読出し可能な制御信号をもっている。
【0053】
本発明による幾つかの実施形態は、本明細書に記述されている方法のうちの1つが実行されるようにプログラマブル・コンピュータ・システムと協働することができる電子的に読取り可能な制御信号を有する非一時的データキャリアを含む。
【0054】
概して、本発明の実施形態は、プログラムコードを有するコンピュータ・プログラム・プロダクトとして実装することができ、そのプログラムコードは、そのコンピュータ・プログラム・プロダクトがコンピュータ上で実行されると本発明の方法のうちの1つを実行するように作動する。そのプログラムコードは、例えば、機械読取り可能なキャリア上に格納することができる。
【0055】
他の実施形態は、機械読取り可能なキャリア上に格納され、本明細書に記述されている方法のうちの1つを実行するためのコンピュータプログラムを含む。
【0056】
したがって、言い替えれば、本発明による方法の一実施形態は、コンピュータ上で実行されると本明細書に記述されている方法のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0057】
したがって、本発明による方法のさらなる実施形態は、本明細書に記述されている方法のうちの1つを実行するためのコンピュータプログラムを記録しているデータキャリア(または、デジタル記憶媒体もしくはコンピュータ読取り可能媒体)である。
【0058】
したがって、本発明による方法のさらなる実施形態は、本明細書に記述されている方法のうちの1つを実行するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。そのデータストリームまたは信号シーケンスは、例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成することができる。
【0059】
さらなる実施形態は、本明細書に記述されている方法のうちの1つを実行するように構成または適合化された処理手段、例えばコンピュータまたはプログラマブル論理デバイスを含む。
【0060】
さらなる実施形態は、本明細書に記述されている方法のうちの1つを実行するためのコンピュータプログラムをインストールしているコンピュータを含む。
【0061】
実施形態によっては、本明細書に記述されている方法の機能のうちの一部または全てを実行するために、プログラマブル論理デバイス(例えば、フィールド・プログラマブル・ゲート・アレイ)を使用することができる。実施形態によっては、本明細書に記述されている方法のうちの1つを実行するために、フィールド・プログラマブル・ゲート・アレイがマイクロプロセッサと協働することができる。概して、これらの方法は、好ましくは、あらゆるハードウェア装置によって実行される。
【0062】
これまでに述べた実施形態は、単に、本発明の原理を例示するものである。言うまでもなく、当業者である他の者には本明細書に記述されている装置および詳細の変更および変形は明らかである。したがって、意図するところは、本発明は添付の特許請求の範囲によってのみ限定されるべきものであり、本明細書において実施形態を記述しかつ説明するために提示されている具体的な詳細によって限定されるべきではないということである。