特許 7561385 入力ビデオをハイブリッドビデオストリームとして符号化する方法およびそれを実行するエンコーダを備えるシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-26

(45)【発行日】2024-10-04

(54)【発明の名称】入力ビデオをハイブリッドビデオストリームとして符号化する方法およびそれを実行するエンコーダを備えるシステム

(51)【国際特許分類】

   H04N 19/33 20140101AFI20240927BHJP

   H04N 19/126 20140101ALI20240927BHJP

   H04N 19/152 20140101ALI20240927BHJP

   H04N 19/162 20140101ALI20240927BHJP

   H04N 19/176 20140101ALI20240927BHJP

   H04N 19/187 20140101ALI20240927BHJP

【ＦＩ】

H04N19/33

H04N19/126

H04N19/152

H04N19/162

H04N19/176

H04N19/187

【請求項の数】 18

(21)【出願番号】P 2021556458

(86)(22)【出願日】2019-12-13

(65)【公表番号】

(43)【公表日】2022-05-25

(86)【国際出願番号】 GB2019053551

(87)【国際公開番号】W WO2020188230

(87)【国際公開日】2020-09-24

【審査請求日】2022-09-05

(31)【優先権主張番号】1903844.7

(32)【優先日】2019-03-20

(33)【優先権主張国・地域又は機関】GB

(31)【優先権主張番号】1904014.6

(32)【優先日】2019-03-23

(33)【優先権主張国・地域又は機関】GB

(31)【優先権主張番号】1904492.4

(32)【優先日】2019-03-29

(33)【優先権主張国・地域又は機関】GB

(31)【優先権主張番号】1905325.5

(32)【優先日】2019-04-15

(33)【優先権主張国・地域又は機関】GB

(31)【優先権主張番号】1909701.3

(32)【優先日】2019-07-05

(33)【優先権主張国・地域又は機関】GB

(73)【特許権者】

【識別番号】521151072

【氏名又は名称】ヴイ－ノヴァ インターナショナル リミテッド

【氏名又は名称原語表記】Ｖ－ＮＯＶＡ ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＬＩＭＩＴＥＤ

【住所又は居所原語表記】１ Ｓｈｅｌｄｏｎ Ｓｑｕａｒｅ，Ｐａｄｄｉｎｇｔｏｎ，Ｌｏｎｄｏｎ Ｇｒｅａｔｅｒ Ｌｏｎｄｏｎ Ｗ２ ６ＴＴ，ＵＮＩＴＥＤ ＫＩＮＧＤＯＭ

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】マーディ，グイド

(72)【発明者】

【氏名】チッカレッリ，ロレンツォ

【審査官】田中 純一

(56)【参考文献】

【文献】特開２０１２－１１４９２８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／０２０１３０１（ＵＳ，Ａ１）

【文献】特開２０１８－１１０４１２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／００６４３８６（ＵＳ，Ａ１）

【文献】特開２０１３－２５１９０３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０３２２５２４（ＵＳ，Ａ１）

【文献】特開２０１５－１６７２６７（ＪＰ，Ａ）

【文献】Yang Liu, Zheng Guo Li, Yeng Chai Soh，Rate Control of H.264/AVC Scalable Extension，IEEE Transactions on Circuits and Systems for Video Technology ( Volume: 18, Issue: 1, January 2008)，IEEE，2008年01月28日，pp.116-121

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ － １９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

入力ビデオをハイブリッドビデオストリームとして符号化する方法であって、
第１の解像度の前記入力ビデオを受信することと、
前記符号化のための所望の品質レベルの表示を取得することであって、前記所望の品質レベルが、前記ハイブリッドビデオストリームに対して１つ以上のビットレートを設定し、前記ハイブリッドビデオストリームが、第２の解像度の符号化されたベースストリームと、前記第１の解像度および前記第２の解像度の各々の複数の強化ストリームと、を含み、前記第１の解像度が、前記第２の解像度よりも高い、取得することと、
前記複数の強化ストリームの各々を、
前記入力ビデオと前記強化ストリームの前記それぞれの解像度の再構成されたビデオとの間の差異に基づいて、残差のセットを生成すること、
前記所望の品質レベルに基づいて、前記残差のセットに対する量子化パラメータを決定すること、
前記量子化パラメータに基づいて、前記残差のセットを量子化すること、および
前記量子化された残差のセットから、符号化されたストリームを作成すること、によって、符号化することと、を含み、
所与の強化ストリームに対する前記量子化パラメータが、前記強化ストリームに対する量子化パラメータの前のセットに基づく、方法。

【請求項2】

前記符号化されたベースストリーム、および前記複数の強化ストリームのうちの少なくとも１つが、異なるレベルの量子化を使用して符号化される、請求項１に記載の方法。

【請求項3】

前記符号化されたベースストリーム、および前記複数の強化ストリームのうちの１つ以上が、独立して符号化される、請求項１または２に記載の方法。

【請求項4】

前記入力ビデオをダウンサンプリングして、前記第２の解像度のダウンサンプリングされたビデオを作成することと、
第１のベースエンコーダを使用して、前記符号化されたベースストリームを作成するように、前記ダウンサンプリングされたビデオの符号化を命令することと、を含む、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記複数の強化ストリームの各々の前記符号化が、フレームごとに実行され、各フレームについて、および前記強化ストリームの各々について、
前記強化ストリームの前記それぞれの解像度のビデオのフレームを再構成することと、
前記再構成されたビデオのフレームを、前記強化ストリームの前記それぞれの解像度の、前記入力ビデオから導出されたフレームと比較することと、
前記比較に基づいて、前記ビデオのフレームに対する残差のセットを生成することと、を含む、請求項１から４のいずれか一項に記載の方法。

【請求項6】

量子化パラメータを決定することが、
前記複数の符号化されたストリームおよび前記符号化されたベースストリームのうちの１つ以上を受信するバッファのステータスを受信することと、
前記ステータスを使用して、前記量子化パラメータを決定することと、を含む、請求項１から５のいずれか一項に記載の方法。

【請求項7】

量子化パラメータを決定することが、
前記バッファのサイズおよび前記バッファに記憶されたデータの量に基づいて、前記バッファの容量を判定することを含み、
前記量子化パラメータが、前記所望の品質レベルおよび前記バッファの前記判定された容量に基づいて決定される、請求項６に記載の方法。

【請求項8】

所与の強化ストリームに対する前記残差のセットに対する量子化パラメータを決定することが、
前記所与の強化ストリームに対する前記残差のセットを符号化するために必要とされるデータの量を判定することと、
前記判定されたデータの量を、前記バッファの前記判定された容量と比較することと、
前記比較に基づいて、量子化パラメータの初期セットを調整することと、を含む、請求項７に記載の方法。

【請求項9】

前記量子化された残差のセットの推定サイズを、前記バッファの前記容量と比較することと、
前記比較に応答して、量子化のためのステップ幅を変動させて、前記量子化された残差のセットの前記推定サイズを増加または減少させることと、を含む、請求項７または８に記載の方法。

【請求項10】

前記バッファが、前記符号化されたベースストリームおよび前記複数の強化ストリームからの入力を可変ビットレートで受信するように、かつ一定のビットレートで出力を提供するように構成されている、請求項６から９のいずれか一項に記載の方法。

【請求項11】

前記所望の品質レベルに基づいて、前記残差のセットに対する量子化パラメータを決定することが、
ビットレート制約のセット内で前記所望の品質レベルを提供する量子化パラメータを決定することを含む、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

前記所望の品質レベルに基づいて、前記残差のセットに対する量子化パラメータを決定することが、前記複数の強化ストリームの各々に対して、
前記残差のセットの前記量子化のためのステップ幅を決定することを含む、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

前記残差のセットに対する量子化パラメータを決定することが、
ビデオの前のフレームと関連付けられた残差のセットに対する量子化パラメータの初期セットを受信することと、
前記ハイブリッドビデオストリームのためのバッファからの入力を受信することと、
前記符号化されたベースストリームを符号化するために使用されるベースエンコーダからの入力を受信することと、
前記入力に基づいて、前記量子化パラメータの初期セットを調整して、ビデオの現在のフレームと関連付けられた残差のセットに対する量子化パラメータのセットを決定することと、を含む、請求項１から１２のいずれか一項に記載の方法。

【請求項14】

量子化パラメータを決定するステップが、
前記符号化されたベースストリームを符号化するために使用されるベースエンコーダのステータスを受信することと、
前記ステータスを使用して、前記量子化パラメータを決定することと、を含む、請求項１から１３のいずれか一項に記載の方法。

【請求項15】

前記入力ビデオの複数のフレームが、符号化され、前記量子化パラメータが、フレームごとに前記複数のフレームの各々に対して決定される、請求項１から１４のいずれか一項に記載の方法。

【請求項16】

データのフレームに対する前記決定された量子化パラメータが、ビデオデータの後続フレームに対する初期量子化パラメータとして使用される、請求項１５に記載の方法。

【請求項17】

前記フレームに対する量子化パラメータが、前記フレームのターゲットデータサイズおよび前記フレームの現在のデータサイズに基づいて決定され、前記フレームの前記現在のデータサイズが、量子化パラメータの前のセットを使用して、決定される、請求項１６に記載の方法。

【請求項18】

システムであって、請求項１から１７のいずれか一項の方法を実行するように構成されたエンコーダを備える、システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、信号を符号化するための方法および装置に関する。具体的には、限定されないが、本開示は、ビデオおよび／または画像信号を符号化するための方法および装置に関する。本開示は、符号化プロセス中のレート制御のためのレート制御方法論および装置に関する。

【背景技術】

【0002】

データ、例えば、ビデオデータを符号化するとき、データの一部分を符号化するために必要とされるビット数を設定することが知られている。ビデオデータの場合、これは、ビデオデータのフレームを符号化するためのビット数であり得る。必要とされるビット数の設定は、レート制御として知られている。ビットレートを定数、または変数値に設定することが知られている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

レート制御の既知の形態は、データレートが、符号化の所望の品質を達成または維持するように調整される、「固定レート係数」、すなわちＣＲＦを使用する。したがって、ビデオ符号化において、ビットレートは、符号化されるシーンの複雑さに応じて、増加または減少し得る。より複雑なシーンでは、同じ品質レベルのあまり複雑でないシーンよりも、所与の品質のレベルを符号化するためにより多くのデータを必要とすることになる。したがって、ＣＲＦは、固定ビットレート符号化で見出されるような固定ビットレートを維持するのと比較して、符号化するときに一定の品質レベルを維持することになる。品質のレベルおよび品質レベルという用語は、互換的に使用される。

【課題を解決するための手段】

【0004】

添付の特許請求の範囲で述べられるように、方法、コンピュータプログラム、コンピュータ可読媒体、およびエンコーダが提供される。

【0005】

実施形態では、入力ビデオをハイブリッドビデオストリームとして符号化する方法が提供され、この方法は、第１の解像度の入力ビデオを受信することと、符号化のための所望の品質レベルの表示を取得することであって、所望の品質レベルが、ハイブリッドビデオストリームに対して１つ以上のビットレートを設定し、当該ハイブリッドストリームが、第２の解像度の符号化されたベースストリームと第１の解像度および第２の解像度の各々の複数の強化ストリームとを含み、第１の解像度が前記第２の解像度よりも高い、取得することと、複数の強化ストリームの各々を、入力ビデオと強化ストリームのそれぞれの解像度の再構成されたビデオとの間の差異に基づいて、残差のセットを生成すること、所望の品質レベルに基づいて、残差のセットに対する量子化パラメータを決定すること、量子化パラメータに基づいて、残差のセットを量子化すること、および量子化された残差のセットから符号化されたストリームを作成すること、によって、符号化することと、を含む。

【0006】

この方法は、レート制御を、所望の品質レート、すなわちビットレートに従って設定することを可能にする。この方法は、ハイブリッドストリームに使用されるため、この方法は、２つの異なる強化ストリームの量子化を設定することを可能にする。

【0007】

本発明の他の態様は、添付の特許請求の範囲セットから明らかになるであろう。

【0008】

ここで、添付の図面を参照して、１つ以上の実施例について記載する。

【図面の簡単な説明】

【0009】

【図1】第１のレベルの詳細の例示的なエンコーダのブロック図を示す。

【図2】第１のレベルの詳細の例示的なデコーダのブロック図を示す。

【図3】第２のレベルの詳細の例示的なエンコーダのブロック図を示す。

【図4】第１の実施例によるレートコントローラのブロック図を示す。

【図5】第２の実施例によるレートコントローラのブロック図を示す。

【図6】実施例による強化レートコントローラのブロック図を示す。

【図7A】第１の強化ストリームのためにエンコーダ内で使用されている例示的なレートコントローラのブロック図を示す。

【図7B】複数の強化ストリームのためにエンコーダ内で使用されている例示的なレートコントローラのブロック図を示す。

【図8】第３の実施例によるレートコントローラのブロック図を示す。

【図9】第４の実施例によるレートコントローラのブロック図を示す。

【図10A】量子化を適用する実施例を示す。

【図10B】可変デッドゾーンで量子化を適用する実施例を示す。

【図11】実施例によるレート制御方法を示すフロー図である。

【発明を実施するための形態】

【0010】

本開示は、ハイブリッド後方互換性コーディング技術について記載する。この技術は、異なるビデオコーディングフォーマット、ベースコーデック（すなわち、エンコーダデコーダ）、（例えば、ＡＶＣ／Ｈ．２６４、ＨＥＶＣ／Ｈ．２６５、または任意の他の現在もしくは将来のコーデック、ならびにＶＰ９、ＡＶ１などの非標準アルゴリズム）を、少なくとも２つの強化レベルのコーディングされたデータと組み合わせる、柔軟で、適応可能で、高効率で、かつ計算コストの低いコーディングフォーマットである。

【0011】

符号化スキームの一般的な構造は、ベースコーデックで符号化されたダウンサンプリングされたソース信号を使用し、ベースコーデックの復号化された出力に第１のレベルの補正または強化データを追加して、補正されたピクチャを生成し、次いで、補正されたピクチャのアップサンプリングされたバージョンにさらなるレベルの補正または強化データを追加する。

【0012】

したがって、本明細書に記載される特定の実施例は、信号を、データストリームのセット、すなわち経時的に変化するデータ、に符号化するように作用する。特定の実施例は、典型的に２つの強化ストリームが存在する、ベースストリームおよび１つ以上の強化ストリームを含むストリームのセットを生成するエンコーダまたは符号化プロセスに関する。ベースストリームは、ハードウェアデコーダによって復号化され得る一方、強化トストリームは、適切な電力消費でのソフトウェア処理実装に適切であり得る。

【0013】

特定の実施例は、高い柔軟性および多くの状況への適応性を可能にする複数の自由度を作り出すことで、コーディングフォーマットをオーバーザトップ（ＯＴＴ）送信、ライブストリーミング、ライブＵＨＤ放送などを含む多くのユースケースに適切なものにする符号化構造を提供する。それはまた、低複雑性ビデオコーディングを提供する。

【0014】

典型的には、本明細書でハイブリッドストリームと呼ばれ得るストリームのセットは、復号化され、組み合わされて、視聴のための出力信号を生成する。これは、元の入力ビデオ信号と同じ解像度の出力再構成ビデオ信号を含み得る。ベースコーデックの復号化された出力は、視聴を意図されていないが、より低い解像度の完全に復号化されたビデオであり、出力を既存のデコーダと互換性があるものにし、適切と考えられる場合には、より低い解像度の出力としても使用可能である。ベースストリームおよび第１の強化ストリームは、補正されたより低解像度のビデオストリームとして視聴するためにさらに復号化され、組み合わされ得る。

【0015】

本明細書に記載される例示的なビデオコーディング技術は、最小数の比較的単純なコーディングツールを使用する。相乗的に組み合わされた場合、これらのコーディングツールは、ベースコーデックで符号化されたフル解像度のピクチャと比較して、視覚的品質の改善を提供すると同時に、これらのコーディングツールが使用され得る方法に柔軟性を生み出すことができる。

【0016】

方法および装置は、既存の符号化および／または復号化アルゴリズム（例えば、ＡＶＣ／Ｈ．２６４、ＨＥＶＣ／Ｈ．２６５などのＭＰＥＧ標準、ならびにＶＰ９、ＡＶ１などの非標準アルゴリズム）の上に構築される全体的なアプローチに基づいており、アルゴリズムは強化層のベースラインとして機能する。強化層は、異なる符号化および／または復号化アプローチに従って機能する。全体的なアプローチの背後にある考え方は、ＭＰＥＧファミリーのアルゴリズムで使用されるようなブロックベースのアプローチを使用することとは対照的に、ビデオフレームを階層的に符号化／復号化することである。フレームを階層的に符号化することは、全フレーム、およびその後に低減されるかまたは間引かれたフレームなどについて、残差を生成することを含む。

【0017】

例示的な符号化プロセスが、図１のブロック図に描示されている。入力フル解像度ビデオを処理して、様々な符号化されたストリームを生成する。符号化されたベースストリームは、ベースコーデック（例えば、ＡＶＣ、ＨＥＶＣ、または任意の他のコーデック）に入力ビデオのダウンサンプリングされたバージョンを供給することによって生成される。符号化されたベースストリームは、ベースコーデックのベースエンコーダの出力を含み得る。強化層の第１の符号化されたストリーム（符号化されたレベル１ストリーム）は、再構成されたベースコーデックビデオと、入力ビデオのダウンサンプリングされたバージョンと、の間の差異を取ることによって得られた残差を処理することによって生成される。符号化されたベースストリームを再構成することは、ベースコーデックから復号化ベースストリームを受信することを含み得る。強化層の第２の符号化されたストリーム（符号化されたレベル２ストリーム）は、再構成されたベースコーディングされたビデオの補正されたバージョンのアップサンプリングされたバージョンと、入力ビデオとの間の差異を取ることによって得られた残差を処理することによって生成される。

【0018】

場合によっては、図１の構成要素は、汎用の低複雑性エンコーダを提供し得る。場合によっては、強化ストリームは、低複雑性エンコーダの一部を形成する符号化プロセスによって生成され得、低複雑性エンコーダは、独立したベースエンコーダおよびデコーダ（例えば、ベースコーデックとしてパッケージ化された）を制御するように構成され得る。他の場合には、ベースエンコーダおよびデコーダは、低複雑性エンコーダの一部として供給され得る。ある場合には、図１の低複雑性エンコーダは、ベースコーデックのラッパーの一形態と見なされ得、ベースコーデックの機能は、低複雑性エンコーダを実装するエンティティから隠され得る。

【0019】

例示的な復号化プロセスが、図２のブロック図に描示されている。復号化プロセスは、図１の例示的な符号化プロセスに対する補完プロセスであり得る。デコーダは、エンコーダによって生成された３つのストリームを、さらなる復号化情報を含むヘッダとともに受信する。符号化されたベースストリームは、エンコーダで使用されるベースコーデックに対応するベースデコーダによって復号化され、その出力が、符号化されたレベル１ストリームから得られた復号化された残差と組み合わされる。組み合わされたビデオが、アップサンプリングされ、符号化されたレベル２ストリームから得られた復号化された残差とさらに組み合わされる。

【0020】

図１に目を向けると、一般的なレベルの例示的なエンコーダトポロジは、以下のとおりである。エンコーダ１００は、入力信号１０を受信するための入力Ｉを備える。入力信号１０は、フル（または最高）解像度ビデオを含み得、エンコーダがフレームごとに適用される。入力Ｉは、ダウンサンプラ１０５Ｄおよび処理ブロック１００－２に接続されている。ダウンサンプラ１０５Ｄは、エンコーダ１００のベースレベルでベースコーデック１２０に出力する。ダウンサンプラ１０５Ｄはまた、処理ブロック１００－１にも出力する。処理ブロック１００－１は、出力をアップサンプラ１０５Ｕに渡し、アップサンプラ１０５Ｕは、次に、処理ブロック１００－２に出力する。処理ブロック１００－２および１００－１の各々は、以下のモジュール、すなわち、変換ブロック１１０、量子化ブロック１２０、およびエントロピー符号化ブロック１３０のうちの１つ以上を備える。

【0021】

ベースストリームは、上述のようなプロセスによって実質的に作成される。すなわち、入力ビデオがダウンサンプリングされる（すなわち、入力ビデオにダウンサンプリング演算を適用して、ダウンサンプリングされた入力ビデオを生成する。次いで、ダウンサンプリングされたビデオが、第１のベースコーデックを使用して符号化される（すなわち、ダウンサンプリングされた入力ビデオに符号化演算を適用して、第１のまたはベースコーデックを使用して、符号化されたベースストリームを生成する）。好ましくは、第１のまたはベースコーデックは、ハードウェア復号化に適したコーデックである。符号化されたベースストリームは、ベース層またはベースレベルと呼ばれることがある。

【0022】

上述のように、強化ストリームは、２つのストリームを含み得る。第１のレベルの強化は、補正データのセットを提供し、この補正データのセットが、ベースストリームの復号化されたバージョンと組み合わされて、補正されたピクチャを生成し得る。この第１の強化ストリームは、符号化されたレベル１ストリームとして図１および図３に示されている。

【0023】

符号化されたレベル１ストリームを生成するために、符号化されたベースストリームが、復号化される（すなわち、符号化されたベースストリームに復号化演算を適用して、復号化されたベースストリームを生成する）。次いで、復号化されたベースストリームとダウンサンプリングされた入力ビデオとの間の差異が、作成される（すなわち、ダウンサンプリングされた入力ビデオおよび復号化されたベースストリームに減算演算を適用して、第１のセットの残差を生成する）。ここで、残差という用語は、当該技術分野において知られているもの、すなわち、参照フレームと再構成されたフレームとの間の誤差と同様に使用される。ここで、再構成されたフレームは、復号化されたベースストリームであり、参照フレームは、ダウンサンプリングされた入力ビデオである。したがって、第１の強化レベルで使用される残差は、これらの残差が、復号化されたベースストリームを、ベース符号化演算で使用されたダウンサンプリングされた入力ビデオに「補正」するので、補正されたビデオと見なされ得る。次いで、第１のセットの残差を、第１の符号化ブロック１００－１（第１のエンコーダまたは第１の強化エンコーダとも呼ばれ得る）を使用して符号化して、符号化されたレベル１ストリームを生成する（すなわち、第１のセットの残差に符号化演算を適用して、第１の強化ストリームを生成する）。

【0024】

図２は、図１に示される符号化プロセスに対応し得る、復号化プロセスのブロック図である。復号化プロセスは、破線によって示されるように、２つに分割されている。破線の下には、デコーダ２００のベースレベルがある。ベースレベルは、ハードウェアで有用に実装され得る。破線の上には、ソフトウェアで有用に実装され得る強化レベルがある。デコーダ２００は、必要に応じて、強化レベルプロセスのみ、またはベースレベルプロセスと強化レベルプロセスとの組み合わせを備え得る。デコーダ２００は、特に強化レベルで、ソフトウェアで有用に実装され得、レガシーな復号化技術、特にレガシーなハードウェア技術の上に適切に鎮座し得る。レガシーな技術とは、既に市場に存在し、交換するのに不便および／または高価であり、依然として信号を復号化する目的を果たし得る、以前に開発および販売されたより古い技術を意味する。他の場合には、ベースレベルは、任意の既存および／または将来のビデオ符号化ツールまたは技術を含み得る。

【0025】

一般的なレベルでのデコーダトポロジは以下のとおりである。デコーダ２００は、符号化されたベースストリーム、符号化されたレベル１ストリーム、および符号化されたレベル２ストリームを含む１つ以上の入力信号を、さらなる復号化情報（ローカルおよびグローバルな構成情報など）を含む任意選択のヘッダとともに受信するための入力（図示せず）を備える。デコーダ２００は、ベースレベルのベースデコーダ２２０と、強化レベルの処理ブロック２００－１および２００－２と、を備える。ベースデコーダ２２０は、適用されるベースコーデック（例えば、ベースコーデックの復号化機能または単位）の一部を形成し得る。アップサンプラ２０５Ｕもまた、処理ブロック２００－１と、処理ブロック２００－２との間に提供され、処理ブロック２００－１によって出力される信号のアップサンプリングされたバージョンを処理ブロック２００－２に提供する。

【0026】

デコーダ２００は、１つ以上の入力信号を受信し、エンコーダ１００によって生成された３つのストリームを方向付ける。符号化されたベースストリームは、エンコーダ１００で使用されるベースコーデック１２０に対応し、かつベースレベルで符号化プロセスを逆転させるように作用するベースデコーダ２２０に方向付けられ、ベースデコーダ２２０によって復号化される。符号化されたレベル１ストリームは、デコーダ２００のブロック２００－１によって処理され、エンコーダ１００によって作成された第１の残差を再作成する。ブロック２００－１は、エンコーダ１００内の処理ブロック１００－１に対応し、ベーシックレベルで、ブロック１００－１の処理を逆転させるか、または実質的に逆転させるように作用する。ベースデコーダ２２０の出力は、符号化されたレベル１ストリームから得られた第１の残差と組み合わされる。組み合わされた信号が、アップサンプラ２０５Ｕによってアップサンプリングされる。符号化されたレベル２ストリームが、ブロック２００－２によって処理され、エンコーダ１００によって作成されたさらなる残差を再作成する。ブロック２００－２は、エンコーダ１００の処理ブロック１００－２に対応し、ベーシックレベルで、ブロック１００－２の処理を逆転させるか、または実質的に逆転させるように作用する。アップサンプラ２０５Ｕからのアップサンプリングされた信号が、符号化されたレベル２ストリームから得られたさらなる残差と組み合わされて、入力信号１０のレベル２再構成を生成する。入力信号１０のレベル２再構成は、元の入力ビデオと同じ解像度の復号化ビデオとして使用され得る。本明細書に記載される符号化および復号化は、エンコーダおよびデコーダの構成に応じて、元の入力信号１０の損失あり、または損失なしの再構成を生成し得る。多くの場合、入力信号１０のレベル２再構成は、損失が、復号化されたビデオの知覚に低減されたまたは最小限の影響を有する、元の入力ビデオの損失ありの再構成であり得る。

【0027】

上述のように、強化ストリームは、２つのストリーム、すなわち、符号化されたレベル１ストリーム（第１のレベルの強化）および符号化されたレベル２ストリーム（第２のレベルの強化）を含み得る。符号化されたレベル１ストリームは、補正データのセットを提供し、この補正データのセットが、ベースストリームの復号化されたバージョンと組み合わされて、補正されたピクチャを生成し得る。符号化されたレベル２ストリームは、復号化されたレベル１ストリームと復号化されたベースストリームとを組み合わせることによって生成された補正されたピクチャに細かい詳細を追加する補正または強化データのセットを提供する。

【0028】

図３は、図１の符号化プロセスをより詳細に示す。符号化されたベースストリームは、ベースエンコーダ１２０Ｅによって直接作成され、必要に応じて、量子化およびエントロピー符号化され得る。場合によっては、これらの後者のプロセスは、ベースエンコーダ１２０Ｅによる符号化の一部として実行され得る。符号化されたレベル１ストリームを生成するために、符号化されたベースストリームが、エンコーダ１００で復号化される（すなわち、ベース復号化ブロック１２０Ｄにおいて復号化演算が、符号化されたベースストリームに適用される）。ベース復号化ブロック１２０Ｄは、エンコーダ１００のベースレベルの一部として示され、対応するベース符号化ブロック１２０Ｅとは別個に示されている。例えば、ベースデコーダ１２０Ｄは、ベースコーデックを有するベースエンコーダ１２０Ｅの形態で符号化コンポーネントを補完する復号化コンポーネントであってもよい。他の実施例では、ベース復号化ブロック１２０Ｄは、代わりに、強化レベルの一部であり得、特に、処理ブロック１００－１の一部であり得る。

【0029】

図３に戻ると、ベース復号化ブロック１２０Ｄから出力される復号化されたベースストリームと、ダウンサンプリングされた入力ビデオと、の間の差異が作成される（すなわち、ダウンサンプリングされた入力ビデオおよび復号化されたベースストリームに減算演算１１０－Ｓを適用して、第１のセットの残差を生成する）。ここで、残差という用語は、当該技術分野において知られているものと同様に使用され、すなわち、残差は、参照信号またはフレームと、再構成された信号またはフレームと、の間の誤差または差異を表す。ここで、再構成された信号またはフレームは、復号化されたベースストリームであり、参照信号またはフレームは、ダウンサンプリングされた入力ビデオである。したがって、第１の強化レベルで使用される残差は、その残差が、将来の復号化されたベースストリームを、ベース符号化演算で使用されたダウンサンプリングされた入力ビデオのより近い近似となるように「補正」することができるので、補正信号と見なされ得る。これは、ベースコーデックの癖または他の特異性を補正し得るので、有用である。これらには、とりわけ、ベースコーデックによって適用される動き補償アルゴリズム、ベースコーデックによって適用される量子化およびエントロピー符号化、ならびにベースコーデックによって適用されるブロック調整が含まれる。

【0030】

図１のブロック１００－１の構成要素が、図３により詳細に示されている。特に、第１のセットの残差が、変換され、量子化され、およびエントロピー符号化されて、符号化されたレベル１ストリームを生成する。図３では、変換演算１１０－１が、第１のセットの残差に適用され、量子化演算１２０－１が、残差の変換されたセットに適用されて、量子化された残差のセットを生成し、エントロピー符号化演算１３０－１が、残差の量子化されたセットに適用されて、第１のレベルの強化で符号化されたレベル１ストリームを生成する。しかしながら、他の実施例では、量子化ステップ１２０－１のみが実行され得るか、または変換ステップ１１０－１のみが実行され得ることに留意されたい。エントロピー符号化は、使用されなくてもよいか、または任意選択で、変換ステップ１１０－１および量子化ステップ１２０－１のうちの一方または両方に追加して使用されてもよい。エントロピー符号化演算は、ハフマン符号化演算、またはランレングス符号化（ＲＬＥ）演算、またはハフマン符号化演算とＲＬＥ演算との両方の組み合わせなど、任意の適切なタイプのエントロピー符号化であり得る。

【0031】

上述のように、強化ストリームは、符号化されたレベル１ストリーム（第１のレベルの強化）と、符号化されたレベル２ストリーム（第２のレベルの強化）を含み得る。第１のレベルの強化は、ベースレベルの補正されたビデオを可能にする、すなわち、例えば、エンコーダの癖を補正することを可能にすると見なされ得る。第２のレベルの強化は、補正されたビデオを元の入力ビデオまたはそれに近い近似に変換するために使用可能な、さらなるレベルの強化であると見なされ得る。例えば、第２のレベルの強化は、ダウンサンプリング中に失われた細かい詳細を追加し得、および／または変換演算１１０－１および量子化演算１２０－１のうちの１つ以上によって導入された誤差からの補正に役立ち得る。

【0032】

図１および図３に示される構成要素は、例えば、特定のレベルの解像度でのフレームの２×２または４×４部分に対応する、データのブロックまたはコーディング単位に対して動作し得ることに留意されたい。構成要素は、いかなるブロック間依存性もなく動作し、したがって、構成要素は、フレーム内の複数のブロックまたはコーディング単位に並列に適用され得る。これは、ブロック間に依存性（例えば、空間依存性または時間依存性のいずれか）がある比較ビデオ符号化スキームとは異なる。比較ビデオ符号化スキームの依存性は、並列性のレベルを制限し、はるかに高い複雑さを必要とする。

【0033】

好ましくは、変換演算１１０－１は、アダマールベースの変換などの方向分解変換（ｄｉｒｅｃｔｉｏｎａｌ ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｔｒａｎｓｆｏｒｍ）である。一般に、変換は、残差要素の平坦化された（すなわち、１つの次元配列）ブロック（例えば、入力信号内の色成分チャネルなどのピクチャ要素のブロックに対応する）に適用される変換行列を使用して適用され得る。上記のように、これらのブロックは、エンコーダおよびデコーダ処理が適用される基本的な単位であるため、コーディング単位と呼ばれることもある。２×２コーディング単位については、４×４アダマール行列が適用され得、４×４コーディング単位については、１６×１６アダマール行列が適用され得る。これらの２つの変換形態は、方向分解（ＤＤ）変換および方向分解二乗（ＤＤＳ）変換と呼ばれることがある。後者の変換は、いわゆる、方向分解変換の繰り返し適用と見なされ得る。両方とも、残差に直接適用される小さいカーネルを有する。

【0034】

実施例として、第１の変換は、残差（Ｒ）の平坦化された２×２ブロックに適用される４×４カーネルを有する。結果として得られる係数（Ｃ）は、以下のように決定され得る。

【0035】

【数1】

【0036】

これに続いて、第２の変換は、４×４ブロックの残差に適用される１６×１６カーネルを有する。結果として得られる係数は、以下のとおりである。

【0037】

【数2】

【0038】

好ましくは、量子化演算１２０－１は、線形量子化器を使用して実行される。線形量子化器は、可変サイズのデッドゾーンを使用し得る。これは、図１０Ａおよび図１０Ｂを参照してより詳細に後述される。

【0039】

ある場合には、本明細書に記載される、図１および図３のエンコーダ１００、ならびに図２のデコーダ２００は、ビデオ信号の異なる色成分を反映する、いわゆるデータ平面に適用され得る。例えば、本明細書に記載される成分および方法は、異なるカラーチャネルを反映する、異なるＹＵＶまたはＲＧＢデータ平面に適用され得る。異なるカラーチャネルは、並行して処理され得る。したがって、本明細書に記載されるとき、残差のセットへの言及は、各色成分が、組み合わされた強化ストリームの一部を形成する残差の異なるセットを有する、残差の複数のセットを含み得る。

【0040】

図１および図３の両方を参照すると、符号化されたレベル２ストリームを生成するために、ブロック１００－２において、残差のさらなるセットを生成および符号化することによって、さらなるレベルの強化情報が作成される。残差のさらなるセットは、復号化されたベースストリームの補正されたバージョンの（アップサンプラ１０５Ｕを介して）アップサンプリングされたバージョン（参照信号またはフレーム）と、入力信号１０（所望の信号またはフレーム）との間の差異である。

【0041】

デコーダ２００で生成されるような復号化されたベースストリームの補正されたバージョンの再構成を達成するために、ブロック１００－１の処理ステップの少なくとも一部が、デコーダ２００のプロセスを模倣し、かつ変換および量子化プロセスの少なくともいくつかの損失および癖を考慮するように、逆転される。このために、ブロック１００－１は、逆量子化ブロック１２０－１ｉおよび逆変換ブロック１１０－１ｉを備える。量子化された第１のセットの残差が、逆量子化ブロック１２０－１ｉで逆量子化され、エンコーダ１００内の逆変換ブロック１１０－１ｉで逆変換されて、第１のセットの残差のデコーダ側バージョンを再生成する。アップサンプラ１０５Ｕへの入力を再構成するために、他のフィルタリング演算が追加的に実行されてもよい。

【0042】

デコーダ１２０Ｄからの復号化されたベースストリームが、第１のセットの残差のデコーダ側バージョンと組み合わされる（すなわち、復号化されたベースストリームおよび第１のセットの残差のデコーダ側バージョンに対して合計演算１１０－Ｃを実行する）。合計演算１１０－Ｃは、デコーダでおそらく生成されるような、入力ビデオのダウンサンプリングされたバージョンの再構成－すなわち、レベル１の解像度の再構成されたビデオ）を生成する。図１および図３に示されるように、次いで、再構成されたベースコーデックビデオが、アップサンプラ１０５Ｕによってアップサンプリングされる。

【0043】

次いで、アップサンプリングされた信号（すなわち、再構成された信号またはフレーム）が、入力信号１０（すなわち、所望のまたは参照信号またはフレーム）と比較され、残差の第２のまたはさらなるセットを作成する（すなわち、アップサンプリングされた再作成されたストリームに差異演算１００－Ｓを適用して、残差のさらなるセットを生成する）。次いで、残差のさらなるセットが、ブロック１００－２で処理されて、符号化されたレベル２ストリームとなる（すなわち、次いで、残差のさらなるセットに符号化演算を適用して、符号化されたさらなる強化ストリームを生成する）。

【0044】

特に、残差のさらなるセットが、変換される（すなわち、残差のさらなるセットに対して変換演算１１０－２を実行して、残差のさらなる変換されたセットを生成する）。次いで、変換された残差が、第１のセットの残差に関して上述した方法で、量子化およびエントロピー符号化される（すなわち、残差の変換されたセットに量子化演算１２０－２を適用して、量子化された残差のさらなるセットを生成し、残差の量子化されたさらなるセットにエントロピー符号化演算１３０－２を適用して、さらなるレベルの強化情報を含む符号化されたレベル２ストリームを生成する）。しかしながら、量子化ステップ１２０－１のみが実行されてもよいし、変換および量子化ステップのみが実行されてもよい。エントロピー符号化は、任意選択で、追加して使用され得る。好ましくは、エントロピー符号化演算は、ハフマン符号化演算、またはランレングス符号化（ＲＬＥ）演算、またはこれらの両方であり得る。

【0045】

したがって、図１および図３に示され、かつ上述したように、符号化プロセスの出力は、ベースレベルのベースストリームと、好ましくは、第１のレベルの強化およびさらなるレベルの強化を含む強化レベルの１つ以上の強化ストリームと、である。

【0046】

図１～図３は、本発明の特定の態様が適用され得る例示的な符号化および復号化スキームを示す。本発明の一態様は、所望の品質レベル（例えば、出力される復号化されたビデオの所望の品質レベル）を維持しながら、ハイブリッドストリームのデータレートを適応させる能力である。ハイブリッド符号化方法論の態様は、方法論が、データストリームの並列符号化および復号化を可能にすることである。方法論は、ブロック間情報に依拠しないので、フレーム内またはフレーム間にかかわらず、各フレーム、および実際には、フレームの個々の部分は、別個に処理され得る。レート制御の目的で、この柔軟性は、各強化層の異なる符号化コンポーネントが独立して制御され得るので、各強化ストリームに対して異なるメトリックを設定することを可能にする。したがって、このことは、改善された簡易なレート制御方法論を提供する。

【0047】

エンコーダ１００によって出力される３つのストリームのセットなどのハイブリッドストリームでは、例えば、帯域幅制限に基づく、ハイブリッドストリーム全体のための所望の品質レベルが、３つのストリームのうちの１つ以上に対してレート制御を適用することによって実装され得る。レート制御は、総ビットレートバジェット内の個々のストリームの所望の品質またはビットレートを決定することによって適用され得る。各強化ストリームは、レンダリングされたときのビデオデータの解像度を表すので、品質メトリックを介してレート制御を制御することは、ハイブリッドストリームが、既知の品質でデータを符号化および配信することができることを保証する。

【0048】

図４は、第１の例示的なレートコントローラ４００の概略図を示す。この例のレートコントローラ４００は、強化レートコントローラ４０２を備える。強化レートコントローラ４０２は、各ストリームに対して量子化パラメータＱ_ｉを設定することによって、図１～図３に示される強化ストリーム（例えば、レベル１およびレベル２ストリーム）の各々のビットレートを制御するように構成されている。図４では、強化レートコントローラ４０２は、第１の（レベル１）強化ストリームに対する第１の量子化パラメータＱ_１と、第２の（レベル２）強化ストリームに対する第２の量子化パラメータＱ_２と、の２つの量子化パラメータを出力する。いくつかの実装形態では、強化ストリームのレベルは、最高解像度ストリームがレベル０であり、かつより低い解像度ストリームがレベル１であるように、逆にラベル付けされ得ることに留意されたい。

【0049】

図４の実施例は、第１のレート制御モードに従って実装されたレートコントローラ４００を示す。このレート制御モードでは、外部の所望の品質レベルは、提供されない。したがって、第１および第２の量子化パラメータＱ_１およびＱ_２は、符号化スキームのための内部制御論理および／または内部測定値に基づいて設定され得る。レートコントローラ４００はまた、任意選択で、ベース層（図示せず）のビットレートを決定してもよいし、ベース層のビットレートが、構成パラメータを介して設定されてもよい。図４には、２つの強化ストリームのみが示されているが、本明細書に記載されるプロセスは、複数の強化ストリームに拡張されてもよい（例えば、解像度の層を増加させるように）。本明細書に記載される例では、ビットレートは、ビットごとのピクチャ要素またはｂｐｐレートに従って設定されてもよく、この場合に、ピクチャ要素は、残差要素（例えば、残差信号の「ピクセル」）を含み得る。

【0050】

図４に示される例では、以下で詳細に記載されるように、強化レートコントローラ４０２は、各強化レベルに対して、量子化パラメータＱ_１およびＱ_２によって表される量子化のレベルを決定する。レートコントローラ４００は、図１および図３のいずれかのエンコーダ１００などのエンコーダの一部を形成する。量子化パラメータはまた、図２のデコーダ２００などのデコーダにも伝達され得る。量子化パラメータは、ハイブリッドストリーム（または強化ストリームのうちの１つ）のヘッダ情報の一部を形成し得る。量子化パラメータＱ_１およびＱ_２は、例えば、量子化ブロック１２０－１および１２０－２によって適用されるように、所与のフレームについて量子化パラメータがフレーム内の各コーディング単位を量子化するために使用されるように、フレームごとに決定され得る。本明細書におけるフレームへの言及は、フレームの特定の成分、例えば、成分のセットが同様の様態で符号化される（および並行して符号化され得る）ＹＵＶまたはＲＧＢ成分の１つを指し得る。場合によっては、異なる成分についての異なる量子化パラメータＱ_１およびＱ_２、および／または所与のフレームについての成分の各セットに対する共通の量子化パラメータＱ_１およびＱ_２が存在し得る（例えば、量子化パラメータは、フレームに対して設定され、各成分に対して同様に適用される）。

【0051】

図４に示されるように、場合によっては、レートコントローラ４００は、任意選択の符号化フィードバック６０４を受信し得る。符号化フィードバック６０４は、量子化パラメータＱ_１およびＱ_２を設定するために、強化レートコントローラ４０２によって使用可能である符号化プロセスに関する情報を含み得る。符号化フィードバック６０４は、前に符号化されたフレームに適用されたような符号化処理からのフィードバックを含み得る。符号化フィードバック６０４は、強化レートコントローラ６０２が、各強化層に対する量子化のレベルを決定することを可能にし得る。

【0052】

以下に詳細に記載されるように、量子化ブロック１２０－１および１２０－２によって量子化パラメータＱ_１およびＱ_２を使用して、量子化プロセスで使用するためのビンサイズ（またはビンサイズのセット）を決定し得、より小さいビンサイズは、符号化するためにより多くのデータを必要とするより詳細な量子化のレベルを表す（すなわち、ビンが多いほど、エントロピー符号化する値が多く、かつ、ランレングス符号化が適用される場合にゼロのランの可能性が低いことを意味する）。ビンサイズ（したがって、量子化のレベル）を調整することによって、符号化されているフレームの品質、およびさらにはデータレートを制御することが可能である。したがって、強化ストリームの各々に対して量子化パラメータを変動させることによって、データの各フレームを符号化するために必要とされるデータの量を変動させてもよい。ある場合には、強化レートコントローラ４０２は、フレームの複雑さに応じて量子化パラメータＱ_１およびＱ_２を設定するように構成され、したがって、低複雑性シーンのデータレートを低減し、および／または帯域幅の利用可能性の変化に基づく調整を可能にしてもよい。

【0053】

第１のレート制御モードによれば、図４の実施例によって示されるように、第１の事例における所望の品質レベルは、所定の内部値であり得る。第１のレート制御モードは、送信のための利用可能な静的ビットレートがある場合に適用され得る。この場合、量子化パラメータＱ_１およびＱ_２を、符号化されたハイブリッドストリームの送信および／または生成中に調整して、静的ビットレートを維持し得る。２つの強化ストリームの独立性は、ビットレートを制御するための良好な柔軟性を提供し、例えば、場合によっては、第１の強化レベルに対するより細かい量子化のレベルは、第２の強化レベルでのより粗い量子化のレベルを可能にし得、したがって、ビットレートのトレードオフを可能にする（例えば、第２の強化レベルは、典型的には、より高い解像度であり、したがって、より多くのビットを必要とするため）。以下に記載されるさらなる実施例では、第２のレート制御モードが提示され、データレートをよりよく管理するために、所望の品質レベルが設定され得る（例えば、ユーザ、クラウドコントローラ、または構成パラメータによって）。

【0054】

以下で詳細に説明されるように、場合によっては、各フレームを符号化するために必要とされるデータの量は、変動し得、各強化層で変動し得る。このことは、入力ビデオストリームの予測不可能な性質、および／または他のブロックから独立して（例えば、フレームごとのレベルでも）データのブロックを符号化する能力に起因し得る。データの各フレームを符号化するために必要とされるデータの変動を考慮するために、符号化および／または復号化プロセスで使用されるバッファが、フレームの大部分に対して、満杯にならないか、または容量を超えないように、所望の品質のレベルまたは品質係数を設定することが好ましい。このことにより、より多くのデータを符号化する必要がある、より複雑なフレームが、バッファに記憶され得ることが保証される。所望の品質のレベルはまた、可変帯域幅が利用可能である状況、例えば、送信が、利用可能な帯域幅の可変割合を占めることを可能にし得る状況で、有用であり得、過剰な帯域幅を使用することを回避するように所与の品質のレベルにすることが所望され得る。

【0055】

図５は、上述したような第２のレート制御モードを実装するレートコントローラ５００のさらなる実施例を示す。場合によっては、図５のレートコントローラ５００は、レートコントローラ４００と同じであるが、例えば、追加の構成要素が使用および／またはインスタンス化される場合、動作パラメータの変更を表し得る。他の場合には、図５のレートコントローラ５００は、第１のレート制御モードとは対照的に、第２のレート制御モードを実装するようにハードコード化または構成され得る。

【0056】

図５のレートコントローラ５００は、図４のレートコントローラ４００と特定の特徴を共有する。強化レートコントローラ５０２は、やはり、上述したような、２つの強化符号化層における量子化を制御し得る量子化パラメータＱ_１およびＱ_２のセットを出力するように構成されている。レートコントローラ５００は、ハイブリッドビデオストリームに対する所望の品質レベル５１０の表示を受信するように構成されている点で、図４のレートコントローラ４００とは異なる。次いで、レートコントローラ５００は、この所望の品質レベル５１０を提供するために、強化および／またはベースレベル符号化コンポーネントの動作パラメータを調整するように構成されている。図５では、所望の品質レベル５１０の表示は、レートコントローラ５００の一部を形成する品質コントローラ５１２によって受信される。図５の品質コントローラ５１２は、所望の品質レベル５１０の表示に従って強化レートコントローラ５０２を制御するように構成されており、例えば、品質コントローラ５０２は、ベースレベルおよび強化レベル（レベル１およびレベル２ストリームの符号化を含む）の動作を調整して、所望の品質レベル５１０の表示を満たすか、またはこの表示を目標とし得る。図５では、品質コントローラ５１２は、ハイブリッドストリームのベースレベルまたは層を符号化するために使用される（例えば、図１の１２０などのベースコーデックを制御する）ベースパラメータ５１４を出力する。

【0057】

したがって、図５には、レート制御プロセスのさらなる実施例が示されており、そのうちの１つで、ハイブリッドストリームのベース層および強化層は、レートコントローラ５００を介して外部に供給される、品質の表示を達成することを目標とするように符号化される。

【0058】

図５に示されるように、レートコントローラ５００は、符号化に対する所望の品質レベル５１０の表示を受信する。所望の品質レベル５１０の表示は、所定の値（例えば、構成ファイルまたは他のデータストレージからロードされるような）であり得るか、またはこの表示は、ユーザによって入力され得る。所望の品質レベル５１０の表示は、出力される復号化されたビデオの所定の範囲の品質値にマッピングする、所定の範囲の値内の値を含み得る（例えば、デコーダによって出力される再構成されたレベル２信号）。所望の品質レベル５１０の表示は、固定レート係数の形態であってもよいが、異なる符号化アプローチを包含するハイブリッドスキームとは対照的に、例えば、ベースレベルで実装され得るものなどの、単一の符号化スキームのために、比較上の固定レート係数が、典型的に設計される。当技術分野では、そのようなハイブリッドスキームを、固定レート係数と同様のパラメータを使用するように適合させる課題がある。例えば、ベースレベルおよび強化レベルにおける異なる符号化アプローチの使用は、共通の共有品質係数で両方のレベルを制御することが不可能であること、さらに、両方のレベル、および強化ストリームのサブ層が、入力画像コンテンツに依存する可変ビットレートを有し得ることを意味する。

【0059】

ある場合には、所望の品質レベル５１０の表示は、定義された品質範囲を表す８ビット整数値を含み得る。所望の品質レベル５１０の表示は、範囲が、知られているビデオコーデックに使用される範囲と同様であるように定義され得、例えば、ＡＶＣおよびＨＥＶＣに対しては、０～５１の範囲が使用され、低い値ほど高い品質を示し、高い値ほど低い品質を表す。この場合、レートコントローラ５００、特に品質コントローラ５１２は、所望の品質レベル５１０の表示を、強化レートコントローラ５０２に対する制御命令に、およびベースコーデックに対するベースパラメータ５１４に変換するように構成されている。例えば、品質コントローラ５１２は、ベースパラメータ５１４を設定することによって、および強化レートコントローラ５０２を制御することによって、ベースおよび２つの強化ストリームのビットレートを制御する。したがって、所望の品質レベル５１０の表示は、品質コントローラ５１２によって、強化レートコントローラ５０２を制御して、強化層に対する量子化パラメータＱ_１およびＱ_２を決定するために使用される、初期品質係数を設定する。したがって、レートコントローラ５００は、所望の品質レベル５１０の表示を満たすか、または目標とするように、ハイブリッドストリームのビットレートを設定する。

【0060】

所望の品質レベル５１０の表示は、１つ以上の異なる初期パラメータを使用して表現され得る。所望の品質レベル５１０の表示は、ベース層および／または強化層に対して利用可能な同様の表示とは独立し得る。品質コントローラ５１２は、ベース層を制御するために、所望の品質レベル５１０の表示をいくつかのベースパラメータ５１４にマッピングし得る。ベースパラメータ５１４は、ベースモード（固定ビットレート、可変ビットレート、または固定品質係数モードなど）、ベースビットレート、ベースバッファサイズ、および最大ベースビットレートのうちの１つ以上を含み得る。

【0061】

所望の品質レベル５１０の表示は、単一のパラメータ、例えば、整数値、を含み得、および／または異なる所望の設定の配列を含み得る。ある場合には、所望の品質レベル５１０の表示は、符号化される入力ビデオの追加の制約および／または特性とともに提供され得る。例えば、所望の品質レベル５１０の表示は、ビデオの入力解像度、利用可能なビットレート、および空間スケーリングパラメータのセット（例えば、両方の画像方向で、または水平方向のみで、アップ／ダウンサンプリングを使用するかどうかなど）などのパラメータを含み得るか、これらのパラメータの関数であり得るか、またはこれらのパラメータに付随し得る。実施形態では、所望の品質入力５１０は、ビデオストリームを符号化するために使用される符号化標準に依存する。場合によっては、所望の品質レベル５１０の表示は、ベースパラメータ５１４のデフォルト値を設定するために、または上書きするためのいずれかに使用するパラメータを含み得るか、これらのパラメータの関数であり得るか、またはこれらのパラメータに付随し得る。例えば、ベースモードの動作が品質コントローラ５１２に渡される場合、このことを使用して、ベースパラメータ５１４にベースモードを明示的に設定し得る。好ましい場合では、所望の品質レベル５１０の表示は、供給されたビデオ信号またはファイルの符号化に対して静的であり、例えば、ビデオを符号化するために使用される。ただし、品質コントローラ５１２によって、量子化パラメータＱ_１およびＱ_２を含む、基礎となる制御パラメータのうちの１つ以上は、フレームごとに変動して、所望の品質レベル５１０を満たそうとし得る（およびその可能性が高い）。

【0062】

図１～図３を参照して記載したように、ベースパラメータ５１４に基づいて、エンコーダは、ベースコーデック１０２を制御する。上記で議論したように、ベースコーデック１０２は、ベース符号化および復号化が、入力ビデオの解像度よりも低い解像度で、ベースパラメータ５１４を使用して実行されるように、ダウンサンプリングされた入力ビデオを受信する。同様に、レベル１強化ストリームは、典型的には、ベース層と同じ解像度で符号化され、レベル２強化ストリームは、典型的には、入力信号の同じ、より高い解像度で符号化される。品質コントローラ５１２は、複数の解像度が存在する所望の品質レベル５１０の表示を満たすか、または目標とするように、ベースエンコーダおよび強化エンコーダのビットレートを制御するように配設されている。このことは、やはり、ビットレートを制御することが簡単でない演算であることを意味する。

【0063】

場合によっては、量子化パラメータＱ_１およびＱ_２は、ベースパラメータ５１４とは異なる。例えば、ベースパラメータ５１４は、ベースコーデックの利用可能な外部インターフェース（例えば、ハードウェアおよび／またはアプリケーションプログラミングインターフェース）を使用して、「ブラックボックス」またはモジュール方式で図１のベースコーデック１２０を制御し得る。しかしながら、レートコントローラ５００は、強化符号化ブロックの内部制御へのより特権的なアクセスを有し得るため、より低いまたはより正確な制御のレベルで量子化パラメータＱ_１およびＱ_２を設定することができる。ベースコーデック自体は、ベースコーデックの符号化構造内で内部的に量子化パラメータを使用し得るが、これらのパラメータは、典型的には、外部的に構成可能ではない（例えば、ベースコーデックのインターフェースを介したアクセスがないか、もしくは低減され得、および／または符号化中に量子化パラメータの変更を可能にするためにベースコーデックに情報を渡すことが不可能であり得る）。好ましくは、符号化されたベースストリーム、またはベース層は、強化ストリームから独立して符号化される。

【0064】

任意選択で、以下に詳細に記載されるように、強化レート制御５０２はまた、符号化フィードバック５０４を示すさらなる入力を受信する。これは、強化レベル符号化演算（例えば、図１のブロック１００－１および１００－２）および／またはこれらの演算のサブコンポーネントからのフィードバックを含み得る。これは、ビデオ信号の１つ以上の前のフレームまたはブロックを符号化することからのフィードバックを含み得る。これはまた、ベース層からのフィードバック（例えば、標準の報告インターフェースを使用するベースコーデック）を含み得る。

【0065】

図５のレートコントローラ５００を使用して、量子化のレベルは、一定であってもよいし、所望の品質５１０の表示を満たすか、または満たそうとするように変動してもよい。例えば、量子化パラメータＱ_１およびＱ_２は、所望の品質５１０の表示に基づいて設定された、１つ以上のビットレートもしくはビットレート範囲、または制約を満たすように制御され得る。ある場合には、ベースパラメータ５１４は、符号化のための静的パラメータとして設定され、量子化パラメータＱ_１およびＱ_２は、所望の品質５１０の表示を満たすか、または満たそうとするために、選択された静的ベースパラメータ５１４のコンテキスト内で可変である。

【0066】

量子化のレベルが変動する実施例では、強化レートコントローラ５０２は、各強化ストリームに対する量子化パラメータＱ_１およびＱ_２の境界を設定し得る。例えば、上限および下限が、（ユーザによって知覚される品質のレベルである）品質の主観的なレベルが不変であるか、または目立たないままであるように、所望の品質５１０の表示に基づいて設定され得る。これにより、レートコントローラ５００が、複雑なシーンの間であっても、知覚可能な品質の損失なしに、ビデオストリームを柔軟な様態で符号化することが可能になる。出力バッファに記憶されたデータの量が変動する際、任意選択の符号化フィードバックモジュール５０４は、バッファの容量に関連するさらなる情報を、強化レートコントローラ５０２に提供し得る。この情報を使用して、各強化ストリームに対する量子化パラメータＱ_１およびＱ_２を調整し得る。

【0067】

図６は、強化レートコントローラ６０２の実施例を示す。この実施例は、場合によっては強化レートコントローラ４０２および５０２のうちの１つ以上を提供するために実装され得る、特定の内部構成要素を示す。

【0068】

図６では、強化レートコントローラ６０２は、やはり、ビデオ信号の所与のフレーム（またはコーディング単位）を符号化するための量子化パラメータＱ_１およびＱ_２を出力するように構成されている。図６の実施例では、強化レートコントローラ６０２は、複数の入力パラメータに基づいて量子化パラメータＱ_１およびＱ_２を決定することによって、各強化ストリームのビットレートを調整する。特に、強化レートコントローラ６０２は、符号化されるビデオの複数のフレームのセット内の各フレームに対する量子化パラメータＱ_１およびＱ_２を決定するように構成されている。前のフレームの符号化からのフィードバックを使用して、現在のフレームに対する量子化パラメータＱ_１およびＱ_２を設定し得る。

【0069】

例えば、第１のフレームｆ_０が、符号化され得、量子化パラメータＱ_１およびＱ_２は、この第１のフレームに対して決定され得る。次いで、ビデオデータの後続フレームｆ_１が、符号化されることになる。この場合、強化レートコントローラ６０２は、好ましくは、先行フレームｆ_０からの符号化データを使用して、後続フレームに対する量子化パラメータＱ_１およびＱ_２を決定するように構成されている。例えば、先行フレーム（または１つ以上の他の前のフレーム）の設定を使用して、後続フレームに対する量子化パラメータＱ_１およびＱ_２の初期値を決定し得、ここで、強化レートコントローラ６０２は、この出発点から量子化パラメータＱ_１およびＱ_２の新しい値を探索するように構成されている。したがって、前のフレームからの符号化パラメータは、後続フレームに対する量子化パラメータＱ_１およびＱ_２の設定に使用するためのフィードバックの形態を提供する。ハイブリッドビデオストリームは、フレームが互いに独立して符号化され得るように構成されているので、以下は、理解しやすいように、先行フレームおよび後続フレームを参照して記載されるが、先行フレームは、必ずしも後続フレームの直前のフレームである必要はない。

【0070】

図６では、強化レートコントローラ６０２は、所望の品質レベル６１０の表示を受信する。これは、図５のレートコントローラ５００に入力される所望の品質レベル５１０の同じ表示を含み得る。他の場合には、品質コントローラ５１２は、所望の品質レベル５１０の表示を、図６の強化レートコントローラ６０２に渡す前に、調整し得る。所望の品質レベル６１０の表示は、パラメータ計算器６２０に入力される。パラメータ計算器６２０は、所望の品質レベル６１０（および任意選択で１つ以上の追加のパラメータ）の表示を処理し、かつ各強化ストリームに対する量子化パラメータＱ’_１およびＱ’_２ならびに所望のビットレートＢＲ_Ｄを出力するように構成されている。所望のビットレートＢＲ_Ｄは、出力された量子化パラメータＱ_１およびＱ_２を使用して、所望の品質レベル６１０の入力された表示を満たそうとする場合の、ハイブリッドビデオストリーム（および／または強化ストリームのうちの１つ以上）の推定ビットレートを含み得る。強化レートコントローラ６０２は、慣性パラメータ計算器６３２に入力される慣性品質レベル表示６３０をさらに受信する。慣性パラメータ計算器６３２は、パラメータ計算器６２０の機能を複製するが、異なる入力を受信する（したがって、異なる出力を生成する）。例えば、パラメータ計算器６２０および慣性パラメータ計算器６３２は、共通プログラムコードクラスの異なるインスタンス化および／または共通ハードウェアチップの複製を含み得る。慣性パラメータ計算器６３２は、各強化ストリームに対する量子化パラメータＱ”_１およびＱ”_２ならびに慣性ビットレートＢＲ_Ｉを出力する。慣性ビットレートＢＲ_Ｉは、出力された量子化パラメータＱ”_１およびＱ”_２を使用して、所望の品質レベル６３０の入力された慣性表示を満たそうとする場合の、ハイブリッドビデオストリーム（および／または強化ストリームのうちの１つ以上）の推定ビットレートを含み得る。最後に、強化レートコントローラ６０２はまた、符号化パラメータ入力６４０を受信する。これは、図４および図５の符号化フィードバック４０４および５０４と同様の入力を含み得る。符号化パラメータ入力６４０は、フレームタイプ、ベース層のビットレート、最小の所望のビットレート（例えば、品質コントローラ５１２によって決定されるような）、および前の符号化に基づくターゲットビットレートのうちの１つ以上などの、１つ以上の動作パラメータを含み得る。符号化パラメータ入力６４０は、ビットレート範囲計算器６４２に提供される。ビットレート範囲計算器６４２は、符号化パラメータ入力６４０を受信し、ハイブリッドビデオストリーム（または個々の強化ストリームのうちの１つ以上）の最大および最小のビットレートなどのビットレート範囲を決定する。

【0071】

パラメータ計算器６２０、慣性パラメータ計算器６３２、およびビットレート範囲計算器６４２の出力は、品質調整器６５０に入力される。品質調整器６５０は、入力を処理し、かつ符号化される現在のフレームに対する量子化パラメータＱ_１およびＱ_２の最終セットを決定するように構成されている。ある場合には、品質調整器６５０は、パラメータ計算器６２０および慣性パラメータ計算器６３２からの受信された所望のビットレートＢＲ_Ｄおよび慣性ビットレートＢＲ_Ｉのうちの１つ以上が、ビットレート範囲計算器６４２によって出力されたビットレート範囲内にあるかどうかを判定する。入力ビットレートのうちの１つがビット範囲内にある場合、量子化パラメータＱ’_１およびＱ’_２、ならびに量子化パラメータＱ”_１およびＱ”_２のうちの対応する量子化パラメータが選択され、強化レートコントローラ６０２によって出力される量子化パラメータＱ_１およびＱ_２として使用される。入力ビットレートのいずれもビットレート範囲内にない場合には、品質調整器６５０はまた、所望の品質レベルの更新された慣性表示を、慣性品質計算器６３２に出力する。所望の品質レベルの更新された慣性表示は、所望の品質レベル６３０の慣性表示の更新されたバージョンである。品質調整器６５０は、パラメータ計算器６２０の出力を基準として使用して、ビットレートの増加または低減と関連付けられた方向における所望の品質レベル６３０の慣性表示を、ビットレート範囲内に入るように調整する。次いで、慣性パラメータ計算器６３２は、品質調整器６５０から受信された所望の品質レベルの更新された慣性表示に基づいて、修正された量子化パラメータＱ”_１およびＱ”_２ならびに修正された慣性ビットレートＢＲ_Ｉを出力するように反復的に作動される。このフィードバックループは、修正された慣性ビットレートＢＲ_Ｉがビットレート範囲計算器６４２からのビットレート範囲内に入るまで反復され得る。品質調整器６５０はまた、パラメータ計算器６２０および慣性パラメータ計算器６３２のうちの１つ以上によって出力されたビットレートが、ビットレート範囲内に入ることが見出され、かつ量子化パラメータＱ_１およびＱ_２の最終セットが出力されると、次のフレーム（例えば、フレームｎ＋１）に使用される所望の品質レベル６５２の慣性表示を出力するように、構成されている。所望の品質レベル出力６５２は、次のフレームに対する所望の品質レベル６３０の慣性表示として使用され得る（一方で、所望の品質レベル６１０の表示は、品質コントローラ５１２の動作に応じて、次のフレームに対して一定であり得る）。

【0072】

上述したように、強化レートコントローラ６０２は、複数の入力パラメータを取得して、各強化ストリームに対する量子化パラメータＱ_１およびＱ_２の最終セット、ならびに所望の品質レベル６５２での次のフレームに対する慣性フレーム品質表示を出力する。

【0073】

ビデオデータの第１のフレームについて、または所望の品質レベル６３０の慣性表示が利用可能でない場合、所望の品質レベル６３０の慣性表示は、所望の品質レベル６１０の初期表示として設定され得る。図４に従って、これは、初期ユーザセット、またはそれ以外の所定の値であり得る。所望の品質レベル６１０の表示、所望の品質レベル６３０の慣性表示、または所望の品質レベル６５２の慣性表示は、共通のフォーマットを有し得、任意の適切な客観的品質メトリックであり得る。ある場合には、それらは、出力された復号化されたビデオの知覚品質を表す品質値の予め定義された範囲内の８ビット整数値であり得る。

【0074】

パラメータ計算器６２０および慣性パラメータ計算器６３２は、両方とも、品質の表示に基づいて、各強化のレベルに必要とされる量子化のレベルを決定する。さらに、必要とされる量子化のレベルに基づいて、所望の品質または所望の品質に近いデータのフレームを符号化するために必要とされるビットレートも、計算される。本明細書に記載されるハイブリッド符号化スキームを使用してフレームを符号化するために必要とされるデータの総量は、ビデオ信号におけるシーンの複雑さに依存し得るため、フレームごとに変化し得る。したがって、所望の品質レベル６１０の一定の表示を有する異なるフレームに対して、異なる量子化パラメータが決定され得る。このように、強化レートコントローラ６０２は、フレームごとに、および所与のフレームに対して、構成要素の出力が変化する動的システムである。

【0075】

符号化パラメータ入力６４０は、符号化プロセスで使用されるいくつかのパラメータを定義する。これらは、ターゲットレート係数（または品質レベル）およびターゲットビットレートを含み得る。符号化パラメータ入力６４０はまた、そのようなパラメータの最大値および最小値の形態で、範囲を含んでもよい。ビットレート範囲計算器６４２は、符号化パラメータ入力６４０によって提供されるような異なるビットレート範囲表示を比較して、全体的なビットレート範囲を決定し得る。

【0076】

以下に詳細に記載される特定の実施例では、エンコーダ１００は、リーキーバケットモデルに従って実装されるバッファを利用して、データのフレームに対する量子化のレベルを決定する。フレームを符号化するために必要とされるデータの量は、フレームの複雑さに応じて変動し得るので、バッファの内容は、バッファがオーバーフローしないように（例えば、より多くのデータが、利用可能な帯域幅またはビットレートによってサポートされ得るように符号化されるように）制御される必要がある。この場合、符号化パラメータ入力６４０は、バッファ容量およびバッファを満たすための最小ビットレートなどのバッファと関連付けられた測定値を含み得る。したがって、バッファと関連付けられた測定値（すなわち、リーキーバケットパラメータ）を、ビットレート範囲計算器６４２によって使用して、１つ以上の強化ストリームのビットレート範囲を決定し得る。

【0077】

図４および図５のレートコントローラ４００および５００、ならびに図６の強化レートコントローラ６００を使用して、ビデオのフレームを、複数のレベルの量子化で符号化し、好ましくは、ベースストリームおよび２つの強化ストリームの各々を、異なる量子化のレベルで符号化し得る。これらの実施例内の符号化は、フレームごとの処理を使用して、複数のフレームに対して繰り返される。したがって、上述したように、各フレームについて、符号化プロセスは、２つの強化ストリームのそれぞれの各解像度でビデオのフレームを再構成することと、その後、再構成を、入力ビデオのフレームから導出されたビデオデータと比較することとを含み、当該ビデオデータは、強化ストリームのそれぞれの解像度に対応する。したがって、そのような比較は、元のフレームと再構成されたフレームとの間の差異を作製することを可能にする。例えば、図１および図３に示されるように、各フレームについて、ビデオのフレームに対する残差のセットは、比較に基づいて２つの強化レベルの各々で生成され、これらの残差は、図４および図５のレートコントローラ４００および５００によって出力された２つの強化ストリームに対する量子化パラメータを使用して符号化される（例えば、強化レートコントローラ６００の演算を介して）。プロセスは、完全なビデオ（例えば、送信のためのビデオファイルまたはビデオストリーム）を符号化するために、複数のデータのフレームにわたって繰り返され得る。フレームは、所望の品質レベル５１０または６１０の入力表示を満たすか、または満たそうとするように、ハイブリッドストリーム内で符号化される。このことは、非技術的なユーザが、所望の品質のレベルを得るために、複数の異なる符号化アプローチに対する複雑な技術的な量子化パラメータを設定することができる簡易な方法を提供する。

【0078】

図７Ａおよび図７Ｂは、例示的なエンコーダ７００の概略図を示す。これは、図１および図３に示されるエンコーダ１００を含み得る。図７Ａおよび図７Ｂは、図１または図３に示されるように、前の実施例のレートコントローラ（例えば、図４または図５のレートコントローラ４００または５００）がエンコーダ１００のコンテキスト内でどのように実装され得るかを示す。図７Ａは、第１の強化エンコーダ７００－１内の量子化ブロック７２０－１を制御するように配設されたレートコントローラ７１０を示す。図７Ｂは、第１の強化エンコーダ７００－１および第２の強化エンコーダ７００－２内の量子化ブロック７２０－１および７２０－２を制御するように配設された同じレートコントローラ７１０を示す。レートコントローラ７１０は、ソフトウェアルーチン（例えば、ＣまたはＣ＋＋のような高速低水準言語での）および／または専用電子回路を備え得る。両方の図は、強化レベルのコーディングとは異なる、ベースビデオコーディングアプローチに従って符号化および復号化演算を実行するように構成されたベースコーデック７３０を示す。ベースコーデック７３０は、符号化されたベースストリーム（ＢＳ）を出力し、第１の強化エンコーダ７００－１は、第１の符号化された強化ストリーム（ＬＳ１）を出力し、第２の強化エンコーダ７００－２は、第２の符号化強化ストリーム（Ｌ２Ｓ）を出力する。図７Ａおよび図７Ｂの例示的なエンコーダ７００はまた、符号化されたストリームのうちの１つ以上を受信するためのバッファ７４０を備える。バッファ７４０は、符号化されたベースストリーム、および２つの符号化された強化ストリームのうちの少なくとも１つを記憶および／または組み合わせるために使用される。バッファ７４０は、ソフトウェア定義バッファ（例えば、メモリリソースの予約されたセクション）および／または専用ハードウェアバッファを備え得る。バッファ７４０は、複数の符号化されたストリームを組み合わせて、ハイブリッドビデオストリーム（ＨＶＳ）を出力するように構成されている。

【0079】

図７Ａおよび図７Ｂの実施例では、レートコントローラ７１０は、ベース処理層（例えば、少なくともベースコーデック７３０のベースエンコーダ）およびバッファ７４０からデータを受信する。このデータは、図６に示されるエンコーダパラメータ入力６４０、または図４および図５の符号化フィードバック４０４および５０４を含み得る。

【0080】

図７Ａは、符号化されたベースストリームおよび第１の符号化された強化ストリームに関するバッファ７４０の使用を示し、図７Ｂは、バッファが、符号化されたベースストリームおよび両方の符号化された強化ストリームを受信する別の実施例を示す。一方、図６～図８に関して示されるレート制御プロセスは、２つの強化ストリームで示される。強化ストリームの数は、２よりも大きくてもよいし、２よりも小さくてもよい。

【0081】

図７Ａの実施例では、レートコントローラ７１０は、量子化パラメータＱ_１のセットを供給することによって、第１の強化エンコーダ７００－１内の量子化を制御する。図７Ｂの実施例では、レートコントローラ７１０は、それぞれの「量子化」コンポーネントに量子化パラメータを供給することによって、すなわち、量子化ブロック７２０－１および７２０－２に量子化パラメータＱ_１およびＱ_２を供給することによって、両方の強化符号化層内の量子化を制御する（これは、図１および図３のうちの１つ以上からの量子化ブロック１２０－１および１２０－２の実装形態であり得る）。さらに別の場合（図示せず）、バッファ７４０は、符号化されたベースストリームおよび第２の符号化された強化ストリームを受信するように構成され得る。

【0082】

図７Ａおよび図７Ｂの実施例では、バッファ７４０は、可変ビットレートで入力（例えば、可変ビットレートの符号化されたストリーム）を受信するように構成され得る一方、出力（すなわち、ハイブリッドビデオストリーム）は一定のビットレートで読み取られる。他の場合には、出力は、可変ビットレートで出力され得るが、図６を参照して記載されるように、所望の品質のレベルの表示によって制限され得る。レートコントローラ７１０は、バッファ７４０からステータスを読み取って、バッファ７４０がオーバーフローしたり、空になったりしないことを保証し、バッファに渡されるデータを制御して、バッファ７４０の出力での読み取りに利用可能であるデータが常にあることを保証し得る。例えば、図６のエンコーダパラメータ入力６４０は、バッファ７４０を満たすのに必要とされる最小ビットレート、およびバッファ７４０の最大ビットレートまたは容量を含み得る。これらは、図６を参照して記載されるように、ビットレート範囲を制御するために使用され得る。

【0083】

図８は、図１および図３のエンコーダ１００内の１つ以上のデータストリームのビットレートを制御するために使用され得るレートコントローラ８００の第３の実施例を示す。これは、前述のエンコーダのいずれか１つの変形形態と見なされ得る。図９は、レートコントローラ８００の第３の実施例のより高度な変形形態である、レートコントローラ９００の第４の実施例を示す。図８および図９は、リーキーバケットモデルと適合性があるレートコントローラの２つの可能な実装形態を示す。特に、図８および図９は、図４および図５の任意選択の符号化フィードバック４０４または５０４が実装され得る１つの様態を示す。これは、図６の慣性パラメータの使用の変形形態と見なされ得る。

【0084】

図８および図９のレートコントローラ８００および９００は、両方とも、バッファ（図７Ａおよび図７Ｂのバッファ７４０など）のステータス８４０、９４０を受信して、現在のフレームｔに対する量子化パラメータＱ_ｔのセットを生成する。量子化パラメータは、図３に示されるように、レベル１およびレベル２の符号化パイプラインのうちの１つ以上における「量子化」コンポーネントに供給され得る。図８および図９の実施例は、単一の強化レベルを参照して記載されているが、これらの実施例は、複数の強化レベルに量子化パラメータを提供するために、図４～図６の実施例に従って適合され（または、複数の強化レベルの各々に対して繰り返し実装され）得る。

【0085】

両方の実施例では、レートコントローラ８００、９００の一般的な動作は、以下のとおりであり得る。量子化パラメータＱ_ｔのセットは、バッファからのフィードバックに基づいて調整される。このフィードバックは、バッファ内のデータの量（例えば、容量など）を示し得る。図８および図９の両方では、バッファ内のデータの量（すなわち、バッファがどれだけ「満たされ」ているか」）の表示が、「バッファから」の信号８４０、９４０を介して受信される。次いで、これを、Ｑ推定コンポーネント８２０、９２０によって直接的または間接的のいずれかで使用して、「量子化」動作パラメータとして使用される量子化パラメータＱ_ｔのセットを推定する。

【0086】

例えば、図８のＱ推定コンポーネント８２０は、バッファからの信号８４０を受信し、かつバッファが容量に近づいている（すなわち、「満杯」になりつつある）かどうかを判定するように構成され得る。このことは、直接的に（例えば、残りの容量の表示を使用して）、および／または間接的に（例えば、ｂｐｐ容量などのビットレートを使用して）実行され得る。バッファが容量に近づいている場合、Ｑ推定コンポーネント８２０は、量子化パラメータＱ_ｔを調整して、必要とされるデータの量を低減するように構成されている。図６の符号化パラメータ入力６４０の使用と同様の様態で、バッファからの信号８４０は、（例えば、バッファのサイズに関連する）最大および最小の範囲を含み（または決定するために使用され）得、ひいては、量子化パラメータを調整して、フレームがその範囲内に入るようにフレームを符号化するために必要とされるビット数を調整し得る。

【0087】

ある場合には、量子化パラメータ値Ｑ_ｔのセットは、バッファ内のデータの量に比例し得る。例えば、新しいフレームを受信した瞬間に、バッファ内に大量のデータがある（すなわち、バッファが容量に近づいている）場合には、Ｑ推定コンポーネント８２０は、符号化される残差データの量を低減するために、高い値のＱ_ｔ（例えば、大きなステップまたはビンサイズなど）を設定し得る。

【0088】

特定の実施例では、量子化パラメータＱ_ｔを使用して、量子化ステップ幅を設定し得、量子化ステップ幅は、量子化パラメータＱ_ｔの値に反比例する。この場合、低い値のＱ_ｔは、所与の範囲の残差値に対してより少ない量子化ビンまたはグループをもたらすより大きな量子化ステップ幅の値に対応し得、したがって、量子化パラメータ値Ｑ_ｔのセットは、バッファ内のデータの量に反比例し得る。この場合、レートコントローラは、バッファが比較的空である場合には、高い値のＱ_ｔ（すなわち、低いステップ幅の値）を設定して、より多くの残差データをハイブリッドビデオストリームに符号化するように、構成されている。１つ以上の量子化パラメータから量子化ステップ幅がどのように決定されるかに応じて、異なるアプローチが適用され得る。

【0089】

概して、図８の実施例では、レートコントローラ８００は、バッファ内のデータの量を使用して１つ以上の強化層に対する量子化のレベルを決定する適応的なレート制御プロセスを可能にする。

【0090】

図９の実施例は、追加の構成要素を使用して、量子化パラメータのセットを決定する。図９の実施例では、レートコントローラ９００はまた、ベースエンコーダからエンコーダパラメータを受信する。これらは、レートコントローラ９００に入力される「ベースから」の信号９４２として示されている。ベースからの信号９４２は、図６におけるエンコーダパラメータ入力６４０の一部を形成し得る。ある場合には、ベースからの信号９４２は、（例えば、ベースコーデック１２０の一部として）ベースエンコーダによって使用されているビットレートを示し得る。ベースエンコーダが可変ビットレート符号化フォーマットを使用するように構成されている場合には、ベースエンコーダによって使用されるビットレートは、フレームにわたって変動し得る。したがって、ベースエンコーダの現在のビットレートを使用して、強化ストリームの量子化パラメータを決定し得る。

【0091】

ある場合には、ベースからの信号９４２はまた、ベースエンコーダがベースエンコーダのフローに追加することを意図する「フィラー」データの量を示し得る。この場合、エンコーダは、利用可能な帯域幅を最大化するために、ベースエンコーダ「フィラー」データを、特別な強化ストリームデータで置き換え得る。この場合、高レベルのフィラーがある場合、レートコントローラ９００は、より多くの残差データがバッファ内で受信されるように、より低いステップ幅をもたらす量子化パラメータＱ_ｔの値を設定することが可能であり得る。符号化されたベースストリームを復号化することが必要とされないため、「フィラー」データがベースエンコーダストリーム内で（例えば、バッファの前またはバッファでのいずれかで）削除または置き換えられ得るため、このことは、可能である。

【0092】

図９では、レートコントローラ９００は、ターゲットサイズ推定コンポーネント９１０を含む。これは、バッファからの信号９４０およびベースからの信号９４２を受信する。ターゲットサイズ推定コンポーネント９１０は、バッファからの信号９４０を介したバッファのステータスと、ベースエンコーダがベースからの信号９４２を介してフレームに追加する予定である「フィラー」データの量に関する情報と、を受信するように構成され得る。したがって、ターゲットサイズ推定コンポーネントは、フレームのターゲットデータサイズを決定する。バッファ内に保持されるデータの量は、０～１、または０％～１００％の範囲内で正規化され得る「満杯」パラメータによって示され得、ここで、６０％は、バッファが６０％満たされている（すなわち、４０％の残りの空間を有する）ことを示す。この場合、マッピング関数またはルックアップテーブルは、「満杯」ビンから「ターゲットサイズ」パラメータにマッピングするように定義され得、ターゲットサイズは、第１および第２の強化層のうちの１つ以上によって符号化される次のフレームのターゲットサイズである。ある場合には、マッピング関数またはルックアップテーブルは、実験に基づいて設定され得る非線形マッピングを実装し得る。ある場合には、ターゲットサイズ推定はまた、（例えば、ハイブリッドビデオストリームの残りがベースストリームによって満たされて）強化ストリームによって満たされるハイブリッドビデオストリームの所望の割合を示す構成パラメータに基づいて設定され得る。

【0093】

図９の実施例では、ターゲットサイズ推定コンポーネント９１０によって決定されるターゲットサイズは、Ｑ推定コンポーネント９２０に伝達される。図９では、Ｑ推定コンポーネント９２０は、加えて、前のフレームからの量子化パラメータＱ_ｔ－１のセットを記憶するパラメータバッファ９３０からの入力を受信する。したがって、図６と同様の様態で、第１のフレームを符号化するために使用されるデータ量を使用して、後続フレームを符号化するための量子化パラメータを設定するフィードバック機構が提供される。

【0094】

図９では、Ｑ推定コンポーネント９２０は、ターゲットサイズ推定コンポーネント９１０からターゲットサイズ、前のフレームから量子化パラメータＱ_ｔ－１のセット、および前のフレーム（「現在のサイズ」）から量子化パラメータＱ_ｔ－１のセットで符号化された現在のフレームのサイズ（現在のデータサイズ）を受信する。現在のフレームのサイズは、現在のサイズ推定コンポーネント９４０によって供給され得る。現在のサイズ推定コンポーネント９４０は、強化符号化パイプライン（例えば、Ｌ－１またはＬ－２コンポーネント）のうちの少なくとも１つの少なくとも一部の実装形態を使用して、パラメータバッファ９３０からの入力に基づいて現在のサイズを決定し得る。現在のサイズ推定コンポーネント９４０は、現在のサイズ推定コンポーネント９４０が、前のフレームからの符号化データのセットを与えられて、所与のフレームを符号化するためのサイズメトリックをシミュレートする点で、図６の慣性パラメータ計算器６３２のバージョンを含み得る。ある場合には、「現在のサイズ」情報は、強化符号化パイプラインのうちの少なくとも１つの並列コピーによって決定され得、例えば、現在のフレームは、送信のための量子化パラメータＱ_ｔで量子化されることになるが、現在のサイズ推定コンポーネント９４０は、Ｑ_ｔ－１を受信し、送信されない符号化を実行することによって、これらの量子化パラメータに基づいて現在のサイズを決定する。別の実施例では、現在のサイズは、例えば、事前に記録されたビデオの事前処理に基づいて、クラウド構成インターフェースから代替的に受信され得る。図６に示されるもののような、この他の実施例では、並列の実装形態は、必要とされなくてもよい。

【0095】

図９では、Ｑ推定コンポーネント９２０は、Ｑ推定コンポーネント９２０の入力（例えば、上述したような）を取得し、推定量子化パラメータＱ’_ｔの初期セットを計算する。ある場合には、このことは、データサイズ（例えば、ターゲットまたは現在のサイズによって表される）を量子化パラメータにマッピングするサイズ関数のセットを使用して実行され得る。データサイズおよび／または量子化パラメータは、例えば、０～１の値に、正規化され得る。量子化パラメータは、量子化ステップサイズと関連付けられ得、例えば、量子化パラメータは、量子化ステップサイズに反比例する「品質係数」であり得、および／または量子化ステップサイズであり得る。

【0096】

図９の実施例では、正規化されたサイズを量子化パラメータにマッピングするために、曲線のセットが定義され得る。各曲線は、現在のフレームの特性に依存し得る乗数およびオフセットのうちの１つ以上を有し得る（例えば、フレーム内で符号化する情報の複雑さに依存し得る）。乗数およびオフセットは、曲線の形状を定義し得る。乗数は、量子化パラメータＱの関数であるサイズ正規化関数に適用され得る。ある場合には、現在のサイズ（すなわち、Ｑ_ｔ－１で符号化されたフレームｔのサイズ）およびＱ_ｔ－１を使用して、曲線のセットの空間内の点を定義し得る。この点は、曲線のセットから最も近い曲線のセットを選択するために使用され得る。これらは、点よりも上にある曲線、点よりも下にある曲線、または点に対して最も高い曲線もしくは最も低い曲線であり得る。最も近い曲線のセットを、点とともに補間関数で使用して、点と関連付けられた新しい曲線を決定し得る。この新しい曲線が決定されると、新しい曲線の乗数およびオフセットが決定され得る。次いで、これらの値を、受信されたターゲットサイズとともに使用して、Ｑ_ｔの値を決定し得る（例えば、曲線は、サイズおよびＱの関数を定義し得る）。

【0097】

場合によっては、少なくとも、レートコントローラ９００のＱ推定９２０は、適応的であり、１つ以上の以前のフレームの特性は、現在のフレームのＱ推定に影響を与える。ある場合には、曲線のセットは、アクセス可能なメモリに記憶され、前のフレームについて決定された曲線のセットに基づいて更新され得る。場合によっては、適応的な量子化は、コーディング単位またはブロック内の異なる係数位置に対して、例えば（２×２または４×４変換の）４または１６の係数の配列内の異なる要素に対して、異なって適用され得る。

【0098】

最後に、図９の実施例は、Ｑ推定コンポーネント９２０から出力された、推定された量子化パラメータＱ’_ｔのセットを受信し、かつ１つ以上の要因に基づいてこのセットを補正する、Ｑキャッピングコンポーネント９５０を特徴とする。Ｑキャッピングコンポーネント９５０は、品質調整器６５０のバージョンまたは一部を含み得る。推定された量子化パラメータＱ’_ｔのセットは、１つ以上の値を含み得る。ある場合には、量子化パラメータＱ’_ｔの初期セットは、ベース符号化層の動作挙動および量子化パラメータＱ_ｔの変化のうちの１つ以上に基づいて、補正され得る。ある場合には、推定された量子化パラメータＱ’_ｔのセットは、この層からのデータとともに受信され得る、ベース符号化層によって使用される量子化パラメータのセットに基づいて、キャップされ得る。ある場合には、ベース符号化層データを使用する適応の有無にかかわらず、推定された量子化パラメータＱ’_ｔのセットは、前の量子化パラメータのセットの値に基づいて、制限され得る。この場合、Ｑ’_ｔの最小値および最大値のうちの１つ以上は、前のＱ値（例えば、Ｑ_ｔ－１）に基づいて設定され得る。次いで、キャッピングの出力が、図９の９５０によって示されるような量子化パラメータＱ_ｔの最終セットとして提供される。

【0099】

ある場合には、量子化パラメータのセットは、Ｑ_ｔの１つの値を含む。この場合、Ｑｔに基づいて、量子化コンポーネントのうちの１つによってフレームｔに適用されるステップ幅を設定してもよい。ステップ幅を決定する関数はまた、最大ステップ幅に基づいてもよい（例えば、ステップ幅は、０～１０の範囲であり得る）。例示的なステップ幅計算は、
ステップ幅＝［（１－Ｑ^０．２）・（ステップ幅_ｍａｘ－１）］＋１

【0100】

ここで、図１０Ａおよび図１０Ｂを参照して、特定の量子化の変形形態について記載する。これらは、１つ以上の量子化ブロックにおいて量子化パラメータがどのように適用され得るかについて記載する。

【0101】

図１０Ａは、定義されたステップ幅を有するビンに基づいて、残差および／または係数（変換された残差）の量子化がどのように実行され得るかの実施例を提供する。図１０Ａは、単なる例として提供され、当該技術分野で知られているように、量子化を実装する異なる方法があり得る。図１０Ａでは、ｘ軸は、残差値または変換された係数値を表す。この実施例では、いくつかのビンが、５のステップ幅で定義されている。ステップ幅のサイズは、例えば、パラメータ値に基づいて、選択可能であり得る。場合によっては、ステップ幅のサイズは、例えば、上述したレート制御の実施例に基づいて、動的に設定され得る。

【0102】

図１０Ａでは、ステップ幅は、０～４、５～９、１０～１４、１５～１９（すなわち、０～４は、０および４の両方を含む）の範囲の残差値に対応するビンをもたらす。ビン幅は、必要に応じて、端点を含む、または除外するように構成され得る。この実施例では、量子化は、ビンに分類されるすべての値を整数値で置き換えることによって実行される（例えば、０～４（両端含む）の残差値は、１の量子化値を有する）。図１０Ａでは、量子化は、ステップ幅（例えば、５）で除算し、結果の床（すなわち、正の値の１０進数よりも小さい最も近い整数）を取り、次いで、１を加算する（例えば、３／５＝０．６、ｆｌｏｏｒ（０．６）＝０、０＋１＝１、または１６／５＝３．２、ｆｌｏｏｒ（３．２）＝３、３＋１＝４）ことによって実行され得る。負の値は、例えば、絶対値への作用後に、計算に続く負の値への変換によって、同様の方法で扱われ得る（例えば、ａｂｓ（－９）＝９、９／５＝１．８、ｆｌｏｏｒ（１．８）＝１、１＋１＝２、２＊－１＝－２）。図１０Ａは、すべてのビンが共通のステップ幅を有する線形量子化の場合を示す。このアプローチに基づく様々な異なる実装形態が実施され得、例えば、第１のビンは、１に代えて０の量子化された値を有し得るか、または１～５（両端含む）の値を含み得ることに留意されたい。図１０Ａは、所与のステップ幅のビンによる量子化の一簡易説明図である。

【0103】

図１０Ｂは、いわゆる「デッドゾーン」（ＤＺ）がどのように実装され得るかを示す。図１０Ｂでは、予め定義された範囲内の値を有する残差または変換された係数が、０に設定される。図１０Ｂでは、予め定義された範囲は、０の値の周りの範囲である。図１０Ｂでは、６未満であり、かつ－６より大きい値は、０に設定される。デッドゾーンは、固定範囲（例えば、－６～６）として設定され得るか、またはステップ幅に基づいて設定され得る。ある場合には、デッドゾーンは、予め定義されたステップ幅の倍数として、例えば、ステップ幅値の線形関数として、設定され得る。図１０Ｂの実施例では、デッドゾーンは、２．４＊ステップ幅として設定されている。それゆえ、５のステップ幅では、デッドゾーンは－６～＋６にわたる。他の場合、デッドゾーンは、ステップ幅値の非線形関数として設定され得る。

【0104】

ある場合には、デッドゾーンは、動的なステップ幅に基づいて設定され、例えば、適応的であり得る。この場合、デッドゾーンは、ステップ幅が変化するにつれて変化し得る。例えば、ステップ幅が５に代えて３に更新された場合、２．４＊ステップ幅のデッドゾーンは、－６～＋６の範囲から－３．６～３．６の範囲に変化し得るか、または、ステップ幅が１０に更新された場合、デッドゾーンは、－１２～１２にわたるように変化し得る。ある場合には、ステップ幅の乗数は、２～４の範囲であり得る。ある場合には、乗数はまた、例えば、利用可能なビットレートなどの動作条件に基づいて、適応的であり得る。デッドゾーンを有することは、ネットワークを介して送信されるデータの量を低減するのに役立ち、例えば、ビットレートを低減するのに役立ち得る。デッドゾーンを使用する場合、デッドゾーンに分類される残差または係数値は、事実上無視される。

【0105】

ある場合には、量子化のステップ幅は、変換された係数の２×２または４×４ブロック内の異なる係数に対して変動し得る。例えば、復号化された信号の知覚により大きな影響を与えるように実験的に決定される係数には、より小さいステップ幅が割り当てられ得、例えば、上述したような方向分解（ＤＤ－２乗または「ＤＤＳ」）では、ＡＡ、ＡＨ、ＡＶ、およびＡＤ係数に、より小さいステップ幅が割り当てられ、後者の係数ほど、大きいステップ幅が割り当てられ得る。この場合、デフォルトのステップ幅を設定するｂａｓｅ＿ｓｔｅｐｗｉｄｔｈパラメータが定義され得、次いで、これに修飾子を適用して、量子化（および非量子化）で使用するｍｏｄｉｆｉｅｄ＿ｓｔｅｐｗｉｄｔｈ、例えば、ｍｏｄｉｆｉｅｄ＿ｓｔｅｐｗｉｄｔｈ＝ｂａｓｅ＿ｓｔｅｐｗｉｄｔｈ＊修飾子、を計算し得、修飾子は、ブロックまたは単位内の特定の係数に基づいて設定され得る。

【0106】

場合によっては、修飾子はまた、または代替的に、強化のレベルに依存し得る。例えば、ステップ幅は、レベル１の強化ストリームに対してより小さくてもよく、それは、ステップ幅が、より高い品質レベルの複数の再構成された画素に影響を与え得るためである。

【0107】

場合によっては、修飾子は、ブロック内の係数および強化レベルの両方に基づいて定義され得る。ある場合には、量子化行列は、異なる係数および異なる強化レベルに対する修飾子のセットで定義され得る。この量子化行列は、エンコーダとデコーダとの間で信号伝達され得る。ある場合には、量子化行列は、本明細書に記載されるように、レートコントローラによって出力された量子化パラメータを使用して、エンコーダで構成され得る。

【0108】

ある場合には、異なる量子化モードが定義され得る。１つのモードでは、共通の量子化行列が、両方の強化レベルに使用され得、別のモードでは、別個の行列が、異なるレベルに使用され得、さらに別のモードでは、量子化行列が、１つの強化レベルにのみ、例えば、レベル０にのみ使用され得る。量子化行列は、ブロック内の係数の位置によってインデックス付けされ得る（例えば、２×２ブロックに対して、ｘ方向に０もしくは１、およびｙ方向に０もしくは１、または４×４ブロックに対して、０～３）。これらのモードは、適用されるレート制御モード、および制御される強化層の数に依存し得る。

【0109】

ある場合には、基本量子化行列は、値のセットで定義され得る。この基本量子化行列は、強化レベルのうちの１つ以上に対するステップ幅の関数であるスケーリング係数によって修飾され得る。ある場合には、スケーリング係数は、ステップ幅変数のクランプ関数であり得る。デコーダにおいて、ステップ幅変数は、レベル０ストリームおよびレベル１ストリームのうちの１つ以上に対してエンコーダから受信され得る。ある場合には、量子化行列内の各エントリは、スケーリング係数の指数関数を使用してスケーリングされ得、例えば、各エントリは、スケーリング係数の累乗に引き上げられ得る。

【0110】

図１１は、本発明の実施形態による符号化プロセスのフローチャートである。

【0111】

符号化プロセスは、本明細書に記載されるエンコーダ１００および／または異なるエンコーダを使用して実装され得る。符号化プロセスは、入力ビデオをハイブリッドビデオストリームとして符号化するためのものである。符号化されたハイブリッドビデオストリームは、符号化されたベースストリームおよび複数の強化ストリームを含む。

【0112】

ステップＳ１０２では、第１の解像度で入力ビデオを受信する。入力ビデオは、解像度を有する任意の既知のフォーマットで提供され得る。ステップＳ１０４では、この方法は、符号化のための所望の品質レベルの表示を取得することを含む。これは、出力された品質レベルのセットにマッピングされる定義された範囲内のパラメータを含み得、および／または定義されたビットレートもしくはビットレートメトリックを含み得る。符号化プロセスは、ハイブリッドビデオストリームを生成する。復号化されると、ハイブリッドビデオストリームは、ビデオを品質のレベル／品質レベルにレンダリングする。ハイブリッドビデオストリームは、第２の解像度の符号化されたベースストリームと、第１の解像度および第２の解像度の各々の複数の強化ストリームとを、含み、第１の解像度は、第２の解像度よりも高い。

【0113】

ステップＳ１０６では、この方法は、複数の強化ストリームの各々を符号化することを含む。このことは、各強化ストリームに対してステップＳ１０８～Ｓ１１４の反復を命令することを含み得る。ステップＳ１０８では、この方法は、入力ビデオと、強調ストリームのそれぞれの解像度の再構成されたビデオと、の間の差異に基づいて、残差のセットを生成することを含む。例えば、本明細書に記載される第１の強化レベルでは、解像度は、入力ビデオの解像度よりも低くてもよい。したがって、各強化ストリームの残差の生成は、補正データを提供し、補正データは、ベース層で復号化されると、それぞれの解像度でビデオデータをレンダリングする。ステップＳ１１０では、この方法は、所望の品質レベルに基づいて、残差のセットに対する量子化パラメータを決定するステップを実行する。これは、本明細書に記載されるレートコントローラ（図４～図９のいずれか１つに示されるものなど）を使用して実行され得る。ステップＳ１０４で取得された所望の品質のレベルに基づいて量子化パラメータを決定することにより、符号化処理および／またはフレームコンテンツに起因するビットレートの変動にかかわらず、符号化処理中に品質レベルが維持され得る。ステップＳ１１２では、この方法は、ステップＳ１１０で決定された量子化パラメータに基づいて、残差を量子化することを含む。このことは、図１０Ａおよび図１０Ｂのうちの１つ以上に示されるように、量子化パラメータを使用してステップ幅を決定することと、量子化を実行することと、を含み得る。ステップＳ１１２の反復を介して、強化ストリームの各々は、そのストリームに対して決定された量子化パラメータに基づいて量子化される。好ましい場合、各強化ストリームに対する量子化パラメータは異なるが、特定の実施例では、各ストリームに対する量子化パラメータを使用することが望ましい場合がある。このプロセスは、各強化層に対して実行されるため、ステップＳ１０８へのプロセスの任意選択の戻りが示されている。ステップＳ１１４では、量子化が決定された後、この方法は、量子化された残差のセットから符号化されたストリームを作成することに進む。次いで、ステップＳ１１４の繰り返しによって出力された符号化された強化ストリームを、符号化されたベースストリームと組み合わせて、ハイブリッドビデオストリームを生成し得る。場合によっては、ベースレベルストリームおよび強化ストリームは、別個に符号化され、例えば、符号化されたベースストリームは、強化ストリームに異なる符号化アプローチを使用する独立したベースコーデックによって生成される。

【0114】

本明細書に記載されるような特定の方法およびエンコーダコンポーネントは、非一時的コンピュータ可読媒体上に記憶された命令によって実行され得る。非一時的コンピュータ可読媒体は、１つ以上のコンピュータによって実行された場合、コンピュータに、本明細書に記載されるような、エンコーダコンポーネントの方法のステップを実行させるか、またはエンコーダコンポーネントの演算を実行させる命令を含むコードを記憶する。非一時的コンピュータ可読媒体は、回転磁気ディスク、回転光学ディスク、フラッシュランダムアクセスメモリ（ＲＡＭ）チップ、および他の機械的に作動する記憶媒体またはソリッドステート記憶媒体のうちの１つ以上を含み得る。いくつかの実施例は、半導体チップなどの物理デバイス、そのようなデバイスの論理的または機能的挙動のハードウェア記述言語表現、およびそのようなハードウェア記述言語表現を記憶するように配設された１つ以上の非一時的なコンピュータ可読媒体として実装され得る。原理、態様、および実施形態を列挙する本明細書の説明は、その構造的および機能的均等物の両方を包含する。

【0115】

本明細書には特定の実施例が記載されており、異なる実施例に由来する異なる構成要素の異なる組み合わせが可能であり得ることに留意されたい。実施例をよりよく説明するために顕著な特徴が提示されているが、記載されるように、これらの実施例の機能的態様を改変することなく、特定の特徴が追加、改変、および／または省略されてもよいことは明らかである。「結合された」または「通信可能に結合された」と本明細書に記載される要素は、１つ以上の他の介在要素を使用する、直接接続または間接接続によって実現可能な有効な関係を有する。別のデバイス、モジュール、もしくは要素と「通信する」または「と通信している」と本明細書に記載される実施例は、任意の形態の通信またはリンクを含む。さらに、添付の特許請求の範囲で定義されている本発明の範囲から逸脱することなく、上述されていない均等物および改変物を使用することもできる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10A】

【図10B】

【図11】