IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヴィド スケール インコーポレイテッドの特許一覧

特開2023-164994360度ビデオ符号化のための適応的量子化
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023164994
(43)【公開日】2023-11-14
(54)【発明の名称】360度ビデオ符号化のための適応的量子化
(51)【国際特許分類】
   H04N 19/124 20140101AFI20231107BHJP
   H04N 19/186 20140101ALI20231107BHJP
   H04N 19/136 20140101ALI20231107BHJP
【FI】
H04N19/124
H04N19/186
H04N19/136
【審査請求】有
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2023146935
(22)【出願日】2023-09-11
(62)【分割の表示】P 2019571297の分割
【原出願日】2018-06-21
(31)【優先権主張番号】62/522,976
(32)【優先日】2017-06-21
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.3GPP
2.WCDMA
(71)【出願人】
【識別番号】514041959
【氏名又は名称】ヴィド スケール インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】シャオユ・シュー
(72)【発明者】
【氏名】ユーウェン・ヘ
(72)【発明者】
【氏名】ヤン・イェ
(57)【要約】
【課題】360度ビデオ符号化のための量子化パラメータ(QP)を適応的に調整するシステム、手順および手段を提供する。
【解決手段】第1の領域のための第1のルーマQPを識別できる。第1のルーマQPに基づいて、第1の領域のための第1のクロマQPを決定できる。第2の領域のためのQPオフセットを識別できる。第1のルーマQPおよび/または第2の領域のためのQPオフセットに基づいて、第2の領域のための第2のルーマQPを決定できる。第1のクロマQPおよび/または第2の領域のためのQPオフセットに基づいて、第2の領域の第2のクロマQPを決定できる。第2の領域のための第2のルーマQPおよび/または第2の領域のための第2のクロマQPに基づいて、第2の領域について逆量子化を実行できる。QPオフセットは、球面サンプリング密度に基づいて適応させることができる。
【選択図】図6A
【特許請求の範囲】
【請求項1】
第1の領域と関連付けられた第1のルーマ量子化パラメータ(QP)を識別するステップと、
前記第1のルーマQPに基づいて、前記第1の領域と関連付けられた第1のクロマQPを決定するステップと、
第2の領域と関連付けられたQPオフセットを識別するステップと、
前記第1のルーマQPと、前記第2の領域と関連付けられた前記QPオフセットとに基づいて、前記第2の領域の第2のルーマQPを決定するステップと、
前記第1のクロマQPと、前記第2の領域と関連付けられた前記QPオフセットとに基づいて、前記第2の領域の第2のクロマQPを決定するステップと、
前記第2の領域の前記第2のルーマQPと、前記第2の領域の前記第2のクロマQPとに基づいて、前記第2の領域について逆量子化を実行するステップと
を備える、360度ビデオをデコードする方法。
【請求項2】
前記第1の領域は、アンカ符号化ブロックであり、前記第2の領域は、現在の符号化ブロックであり、前記第2の領域と関連付けられた前記QPオフセットは、前記第2の領域の球面サンプリング密度に基づいて識別される請求項1に記載の方法。
【請求項3】
前記第1の領域は、現在の符号化ブロックを含むスライス、または、前記現在の符号化ブロックを含むピクチャであり、前記第2の領域は、前記現在の符号化ブロックであり、前記第2の領域と関連付けられた前記QPオフセットは、前記第2の領域の球面サンプリング密度に基づいて識別される請求項1に記載の方法。
【請求項4】
前記第2の領域と関連付けられた前記QPオフセットは、前記第2の領域の座標に基づいて識別される請求項1に記載の方法。
【請求項5】
前記第2の領域のための前記QPオフセットは、ビットストリーム内のQPオフセットインジケーションに基づいて識別される請求項1に記載の方法。
【請求項6】
前記第2のルーマQPおよび前記第2のクロマQPは、符号化ユニットレベルまたは符号化ツリーユニットレベルで決定される請求項1に記載の方法。
【請求項7】
前記第2のクロマQPの前記決定するステップは、
加重係数を前記QPオフセットに適用することによって、加重されたQPオフセットを決定することと、
前記加重されたQPオフセットを前記第1のクロマQPに適用することによって、前記第2のクロマQPを決定することと
を含む請求項1に記載の方法。
【請求項8】
ビットストリーム内のクロマQP加重係数インジケーションを受信するステップと、
前記受信したクロマQP加重係数インジケーションに基づいて、前記QPオフセットのための前記加重係数を決定するステップと
をさらに備える請求項7に記載の方法。
【請求項9】
プロセッサであって、
第1の領域と関連付けられた第1のルーマ量子化パラメータ(QP)を識別し、
前記第1のルーマQPに基づいて、前記第1の領域と関連付けられた第1のクロマQPを決定し、
第2の領域と関連付けられたQPオフセットを識別し、
前記第1のルーマQPと、前記第2の領域と関連付けられた前記QPオフセットとに基づいて、前記第2の領域の第2のルーマQPを決定し、
前記第1のクロマQPと、前記第2の領域と関連付けられた前記QPオフセットとに基づいて、前記第2の領域の第2のクロマQPを決定し、
前記第2の領域の前記第2のルーマQPと、前記第2の領域の前記第2のクロマQPとに基づいて、前記第2の領域について逆量子化を実行する
ように構成されたプロセッサ
を備えた、360度ビデオをデコードするデバイス。
【請求項10】
前記第1の領域は、アンカ符号化ブロックであり、前記第2の領域は、現在の符号化ブロックであり、前記プロセッサは、前記第2の領域と関連付けられた前記QPオフセットを、前記第2の領域の球面サンプリング密度に基づいて識別するように構成された請求項9に記載のデバイス。
【請求項11】
前記第1の領域は、現在の符号化ブロックと関連付けられたスライス、または、前記現在の符号化ブロックと関連付けられたピクチャであり、前記第2の領域と関連付けられた前記QPオフセットは、前記第2の領域の球面サンプリング密度に基づいて識別される請求項9に記載のデバイス。
【請求項12】
前記第2のルーマQPおよび前記第2のクロマQPは、符号化ユニットレベルまたは符号化ツリーユニットレベルで決定される請求項9に記載のデバイス。
【請求項13】
前記第2の領域と関連付けられた前記QPオフセットは、ビットストリームを介した前記第2の領域と関連付けられたQPオフセットインジケーションの受信、または前記第2の領域の座標のうちの少なくとも一方に基づいて識別される請求項9に記載のデバイス。
【請求項14】
前記プロセッサは、加重係数によって乗算された前記QPオフセットに基づいて、前記第2の領域の前記第2のクロマQPを決定するように構成された請求項9に記載のデバイス。
【請求項15】
前記第2のクロマQPの前記決定は、
加重係数を前記QPオフセットに適用することによって、加重されたQPオフセットを決定することと、
前記加重されたQPオフセットを前記第1のクロマQPに適用することによって、前記第2のクロマQPを決定することと
を含む請求項9に記載のデバイス。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、360度ビデオ符号化のための適応的量子化に関する。
【背景技術】
【0002】
相互参照
本出願は、参照によって全体が説明されたかのように本明細書に組み込まれる、2017年6月21日に出願された米国特許仮出願第62/522976号の利益を主張する。
【0003】
バーチャルリアリティ(VR)が、ますます我々の日常生活の中に入り込んできている。VRは、ヘルスケア、教育、ソーシャルネットワーキング、工業デザイン/トレーニング、ゲーム、映画、ショッピング、エンターテイメントなどを含む、多くの応用分野を有する。VRは、没入型の視聴体験をもたらすことができるので、VRは、産業界および消費者の注目を集めている。VRは視聴者を取り囲むバーチャル環境を作り出し、視聴者の本当に「そこにいる」ような感覚を生み出す。VR環境内において完全にリアルなフィーリングをいかにして提供するかは、ユーザの体験にとって重要である。例えばVRシステムは、姿勢、ジェスチャ、視線、音声などを通した対話をサポートすることができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
ユーザがVR世界内のオブジェクトと自然な方法で対話することを可能にするために、VRは、触覚フィードバックをユーザに提供することができる。
【課題を解決するための手段】
【0005】
360度ビデオ符号化において、適応的量子化を実行することができる。本明細書において説明される360度ビデオコンテンツは、全天球ビデオコンテンツ、全方位ビデオコンテンツ、バーチャルリアリティ(VR)ビデオコンテンツ、パノラマビデオコンテンツ、没入型ビデオコンテンツ(例えば、6自由度を含むライトフィールドビデオコンテンツ)、点群ビデオコンテンツ、および/もしくはその他などを含むことができ、またはそれらであることができる。
【0006】
射影幾何学に基づいて、符号化領域ベースで、ルーマ量子化パラメータ(QP)調整と、クロマQP調整とを実行することができる。例えば、QPは、符号化ユニットレベル(例えば、ブロックレベル)において調整することができる。現在のブロックの球面サンプリング密度に基づいて、現在のブロックのためのQPオフセットを算出することができる。
【0007】
例えば、アンカ領域と関連付けられたルーマQPを識別することができる。ルーマQPに基づいて、アンカ領域と関連付けられたクロマQPを決定することができる。例えば、アンカ領域のためのルーマQPは、ビットストリームから解析することができ、アンカ領域のためのクロマQPは、解析されたルーマQPに基づいて算出することができる。現在の領域と関連付けられたQPオフセットを識別することができる。現在の領域のためのルーマQPは、例えば、アンカ領域のためのルーマQPと、現在の領域のためのQPオフセットとに基づいて、決定することができる。現在の領域のためのクロマQPは、アンカ領域のためのクロマQPと、現在の領域のためのQPオフセットとに基づいて、決定することができる。現在の領域のルーマQPと、クロマQPとに基づいて、現在の領域について逆量子化を実行することができる。
【0008】
アンカ領域は、アンカ符号化ブロックを含むことができ、またはアンカ符号化ブロックであることができる。アンカ領域は、現在の符号化ブロックと関連付けられたスライスまたはピクチャであることができる。ルーマQPおよび/またはクロマQPは、符号化ユニットレベルまたは符号化ツリーユニットレベルで決定することができる。QPオフセットは、ビットストリーム内のQPオフセットインジケーションに基づいて、識別することができる。現在の符号化領域(例えば、現在のブロック、現在のスライス、現在の符号化ユニット、または現在の符号化ツリーユニットなど)のためのQPオフセットは、それの球面サンプリング密度に基づいて、算出または決定することができる。現在の符号化領域のためのQPオフセットは、現在の符号化領域の球面サンプリング密度と、アンカ領域の球面サンプリング密度との比較に基づいて、算出または決定することができる。QPオフセットは、現在の符号化領域のロケーション(例えば、座標)に基づいて、算出することができる。
【0009】
ルーマQPについての調整と、クロマQPについての調整は、切り離すことができる。ルーマQPを調整するためのQPオフセットと、クロマQPを調整するためのQPオフセットは、異なることができる。クロマQPと、ルーマQPは、独立して調整することができる。現在の符号化領域のためのQPオフセットを算出することができる。ルーマQPは、算出されたQPオフセットに基づいて(例えば、現在の符号化領域のためのQPオフセットをアンカ領域のルーマQPに適用することによって)、調整することができる。算出されたQPオフセットは、クロマQPを調整するために適用される前に、加重されることができる。
【0010】
クロマQPは、加重係数によって加重されたQPオフセットに基づいて、決定することができる。加重係数は、ビットストリームで伝達することができる。クロマQPは、加重されたQPオフセットを使用して、調整することができる。加重されたQPオフセットは、加重係数を現在の領域のためのQPオフセットに適用することによって、生成することができる。クロマQPは、加重されたQPオフセットをアンカ領域のクロマQPに適用することによって、決定することができる。独立して調整されたルーマQPと、クロマQPとに基づいて、逆量子化を実行することができる。より詳細な理解は、添付の図面と併せて、例として与えられる、以下の説明から得ることができる。
【発明の効果】
【0011】
360度ビデオ符号化のための量子化パラメータ(QP)を適応的に調整するシステム、手順および手段を提供する。
【図面の簡単な説明】
【0012】
図1A】正距円筒図法(ERP)を用いた2D平面への例示的な球面幾何学投影を示す図である。
図1B】ERPを用いた2D平面への例示的な球面幾何学投影を示す図である。
図1C】ERPを用いた2D平面への例示的な球面幾何学投影を示す図である。
図2A】キューブマッププロジェクション(CMP)例を示す図である。
図2B】キューブマッププロジェクション(CMP)例を示す図である。
図2C】キューブマッププロジェクション(CMP)例を示す図である。
図3】360度ビデオシステムの例示的なワークフローを示す図である。
図4】ブロックベースのビデオエンコーダの例示的な図である。
図5】ビデオデコーダの例示的なブロック図である。
図6A】例示的適応的量子化のクロマ量子化パラメータ(QP)調整メカニズム間の例示的比較を示す図である。
図6B】例示的適応的量子化のクロマ量子化パラメータ(QP)調整メカニズム間の例示的比較を示す図である。
図7A】入力QPを最も低い球面サンプリング密度を有するブロックに適用することによる、ERPのための例示的QP配置を示す図である。
図7B】入力QPを最も高い球面サンプリング密度を有するブロックに適用することによる、ERPのための例示的QP配置を示す図である。
図7C】入力QPを中間の球面サンプリング密度を有するブロックに適用することによる、ERPのための例示的QP配置を示す図である。
図8A】現在のブロックを符号化ブロックとして符号化することのレート-歪み(R-D)コストの例示的比較を示す図である。
図8B】現在のブロックを4つの符号化サブブロックに分割することのレート-歪み(R-D)コストの例示的比較を示す図である。
図9A】1つまたは複数の開示される実施形態を実施できる、例示的通信システムを示す図である。
図9B図9Aの通信システム内において使用できる、例示的無線送受信ユニット(WTRU)を示す図である。
図9C図9Aの通信システム内において使用できる、例示的無線アクセスネットワーク(RAN)およびコアネットワーク(CN)を示すシステム図である。
図9D図9Aの通信システム内において使用できる、さらなる例示的RANおよびCNを示すシステム図である。
【発明を実施するための形態】
【0013】
説明的な実施形態についての詳細な説明が、様々な図を参照して、今から行われる。この説明は、可能な実施の詳細な例を提供するが、細部は例示的であることが意図されており、決して本出願の範囲を限定しないことが留意されるべきである。
【0014】
バーチャルリアリティ(VR)システムは、360度ビデオを使用して、水平方向においては360度の角度から、また垂直方向においては180度の角度からシーンを見る能力を、ユーザに提供することができる。VRおよび360度ビデオは、超高精細(UHD)サービスを超える、メディア消費の方向性であることができる。360度ビデオは、全天球ビデオコンテンツ、全方位ビデオコンテンツ、バーチャルリアリティ(VR)ビデオコンテンツ、パノラマビデオコンテンツ、没入型ビデオコンテンツ(例えば、6自由度を含むライトフィールドビデオコンテンツ)、点群ビデオコンテンツ、および/もしくはその他などを含むことができ、またはそれらであることができる。VRにおける360度ビデオの品質を改善するために、および/またはクライアントの相互運用性のために処理チェーンを標準化するために、全方位メディアアプリケーションフォーマットのための要件および潜在的技術についての研究を実行することができる。自由視点TV(FTV)は、以下のうちの、すなわち、(1)360度ビデオ(全方位ビデオ)ベースのシステム、(2)マルチビューベースのシステムのうちの1つまたは複数の性能をテストすることができる。
【0015】
VR処理チェーンにおける1つまたは複数の態様の品質および/またはエクスペリエンスを改善することができる。例えば、キャプチャリング、処理、表示など、VR処理における1つまたは複数の態様の品質および/またはエクスペリエンスを改善することができる。キャプチャリングサイドにおいて、VRは、1つまたは複数のカメラを使用して、1つまたは複数の(例えば、異なる)多岐にわたるビュー(例えば、6~12のビュー)からシーンをキャプチャすることができる。ビューは、一緒につなぎ合わされて、高解像度(例えば、4Kまたは8K)の360度ビデオを形成することができる。クライアントサイドおよび/またはユーザサイドにおいて、バーチャルリアリティシステムは、計算プラットフォーム、ヘッドマウントディスプレイ(HMD)、および/またはヘッドトラッキングセンサを含むことができる。計算プラットフォームは、360度ビデオを受信および/もしくはデコードすることができ、ならびに/または表示のためのビューポートを生成することができる。ビューポートに対して、2つのピクチャ(各眼ごとに1つ)をレンダリングすることができる。2つのピクチャは、(例えば、立体視のために)HMD内に表示することができる。レンズを使用して、HMD内に表示される画像を拡大し、より良く見えるようにすることができる。ヘッドトラッキングセンサは、視聴者の頭部の向きを追跡し続ける(例えば、常にし続ける)ことができ、および/または向き情報をシステムに供給して、その向きについてのビューポートピクチャを表示させることができる。
【0016】
VRシステムは、仮想世界内のオブジェクトと対話するための、視聴者用のタッチデバイスを提供することができる。VRシステムは、グラフィックス処理ユニット(GPU)サポートを備える強力なワークステーションによって駆動することができる。軽いVRシステム(例えば、ギアVR)は、計算プラットフォーム、HMDディスプレイ、および/またはヘッドトラッキングセンサとして、スマートフォンを使用することができる。空間HMD解像度は、2160×1200であることができ、リフレッシュレートは、90Hzであることができ、および/または視野(FOV)は、110度であることができる。ヘッドトラッキングセンサのためのサンプリング密度は、1000Hzであることができ、それは、速い運動をキャプチャすることができる。VRシステムは、レンズおよび/もしくはボール紙を含むことができ、スマートフォンによって駆動することができる。
【0017】
360度ビデオの投影表現を実行することができる。360度ビデオ圧縮および配信を実行することができる。360度ビデオ配信は、球面幾何学構造を使用して、360度情報を表すことができる。例えば、(例えば、複数のカメラによってキャプチャされた)同期が取られたビューは、一体構造として、球上においてつなぎ合わせることができる。球情報は、例えば、事前定義された幾何学変換を介して、2D平面に投影することができる。投影フォーマット(例えば、正距円筒図法および/またはキューブマッププロジェクション)を使用することができる。
【0018】
正距円筒図法(ERP)を実行することができる。ERPは、球の緯度および/または経度座標をマッピングすることができる。例えば、ERPは、球の緯度および/または経度座標を、グリッドの水平および/または垂直座標上に(例えば、直接的に)マッピングすることができる。図1Aは、経度(φ)および緯度(θ)における例示的な球サンプリングを示している。図1Bは、例えば、ERPを使用して2D平面に投影された例示的な球を示している。図1Cは、例示的なERPピクチャを示している。範囲[-π,π]内の経度φは、偏揺れとして知られたものであることができる。範囲[-π/2,π/2]内の緯度θは、航空学において縦揺れとして知られたものであることができ、πは、円の円周の円の直径に対する比であることができる。図1Aおいて、(x,y,z)は、3D空間内の点の座標を表すことができる。(ue,ve)は、図1Bに示されるように、2D平面内の点の座標を表すことができる。ERPは、数学的に表すことができ((1)および(2))、
ue=(φ/(2×π)+0.5)×W (1)
ve=(0.5-θ/π)×H (2)
ここで、WおよびHは、2D平面ピクチャの幅および高さであることができる。図1Aに示されるように、球上における経度L4と緯度A1の交点である点Pは、(1)および(2)を使用して、図1Bに示されるように、2D平面内の一意的な点qにマッピングすることができる。2D平面内の点qは、例えば、逆投影を介して、球上の点Pに投影し戻すことができる。図1Bにおける視野(FOV)は、球におけるFOVが、例えば、X軸沿いの視野角が約110度になるように、2D平面にマッピングされる例を示している。
【0019】
キューブマッププロジェクション(CMP)を実行することができる。図1Cに示されるように、(例えば、それぞれ北極および南極に対応することができる)ERPピクチャの上部および/または下部を、例えばピクチャの中央部と比較して引き延ばすことができる。(例えば、ピクチャの中央部と比較される)ERPピクチャの上部および/または下部の引き延ばしは、ERPフォーマットについては、球面サンプリング密度が不均一であることを示すことができる。ビデオコーデック(例えば、MPEG-2、H.264、またはHEVC)は、並進モデルを使用して、動き場を記述することができる。平面ERPピクチャにおいて、形状変化運動を表すことができる。幾何学的投影フォーマットは、360度ビデオを1つまたは複数のフェイスにマッピングすることができる。CMPは、圧縮フレンドリなフォーマットであることができる。
【0020】
図2Aは、例示的な3D幾何学構造、例えば、例示的なCMP幾何学を示している。CMPは、1つまたは複数(例えば、6つ)の正方形フェイスから成ることができ、例えば、フェイスには、PX、PY、PZ、NX、NY、NZというラベルを付けることができる。Pは、正を表すことができ、Nは、負を表すことができ、および/またはX、Y、Zは、軸を指すことができる。これらのフェイスには、数0~5を使用してラベルを付けることができ、したがって、PX(0)、NX(1)、PY(2)、NY(3)、PZ(4)、NZ(5)である。内接球の半径は、1であることができる。内接球の半径が、1である場合、(例えば、各)フェイスの横の長さは、2であることができる。CMPフォーマットの6つのフェイスは、単一のピクチャ内に一緒にパッキングすることができる。フェイスは、事前定義された角度だけ回転させることができる。例えば、フェイスは、近隣フェイス間の連続性を最大化するために、事前定義された角度だけ回転させることができる。図2Bは、6つのフェイスについての例示的な2D平面、例えば、6つのフェイスを長方形ピクチャ内に配置するためのパッキングの例を示している。(例えば、各)フェイスインデックスは、フェイスの対応する回転と合致する向きに置くことができる。例えば、フェイス#3およびフェイス#1は、それぞれ、反時計回りに270度および180度だけ回転される。他のフェイスは、回転させることができ、または回転させないことができる。CMPを用いた例示的なピクチャ(例えば、投影ピクチャ)が、図2Cに示されている。
【0021】
360度ビデオシステムのワークフローを提供することができる。360度ビデオシステムのための例示的なワークフローが、図3に示されている。360度ビデオシステムのための例示的なワークフローは、360度ビデオキャプチャリング実施を含むことができ、それは、1つまたは複数のカメラを使用して、球(例えば、全球)をカバーするビデオをキャプチャすることができる。ビデオは、一緒につなぎ合わせること(例えば、ネイティブ幾何学構造において一緒につなぎ合わせること)ができる。例えば、ビデオは、ERPフォーマットで、一緒につなぎ合わせることができる。ネイティブ幾何学構造は、ビデオコーデックに基づいて、符号化のための別の投影フォーマット(例えば、CMP)に変換することができる。受信機において、ビデオは、デコードすることができる。圧縮解除されたビデオは、表示のために、ジオメトリに変換することができる。ビデオ(例えば、圧縮解除されたビデオ)は、例えば、ユーザの視野角に従った、ビューポート投影を介したレンダリングのために使用することができる。
【0022】
図4は、ブロックベースのハイブリッドビデオエンコーディングシステムの例示的なブロック図を示している。入力ビデオ信号402は、ブロックごとに処理することができる。拡張されたブロックサイズ(例えば、符号化ユニット(CU))を使用して、高解像度(1080pおよびそれ以上)のビデオ信号を圧縮(例えば、効率的に圧縮)することができる。CUは、64×64ピクセルであることができる。CUは、予測ユニット(PU)に区分化することができ、それらに対して、別個の予測を適用することができる。(例えば、各)入力ビデオブロック(例えば、MBおよび/またはCU)に対して、空間予測(460)および/または時間予測(462)を実行することができる。
【0023】
空間予測(例えば、イントラ予測)は、同じビデオピクチャ/スライス内の符号化された近隣ブロックに属するピクセルを使用して、例えば、現在のビデオブロックを予測することができる。空間予測は、空間冗長性(例えば、ビデオ信号に内在する空間冗長性)を低減させることができる。時間予測(インター予測、または動き補償された予測)は、符号化されたビデオピクチャに属するピクセルを使用して、例えば、現在のビデオブロックを予測することができる。時間予測は、ビデオ信号に内在することができる時間冗長性を低減させることができる。与えられたビデオブロックについての時間予測信号は、例えば、現在のブロックと現在のブロックの基準ブロックとの間の動きの量および/または方向を示すことができる、1つまたは複数の動きベクトルによって伝達することができる。(例えば、(例えば、各)ビデオブロックに対して)複数の基準ピクチャが、サポートされる場合、基準ピクチャインデックスを送信することができ、および/または基準インデックスを使用して、基準ピクチャストア(464)内のどの基準ピクチャから時間予測信号を導出することができるかを識別することができる。
【0024】
空間および/または時間予測の後、エンコーダ内のモード決定ブロック(480)は、例えば、レート-歪み最適化に基づいて、予測モード(例えば、最良の予測モード)を選択することができる。現在のビデオブロックから予測ブロックを減算することができ(416)、ならびに/または予測残差を(例えば、変換(404)を使用した)脱相関および/もしくは量子化(406)して、ターゲットビットレートを達成することができる。量子化された残差係数を逆量子化(410)および/または逆変換(412)して、再構成された残差を形成することができ、それを予測ブロックに加算し戻して(426)、再構成されたビデオブロックを形成することができる。再構成されたビデオブロックが、基準ピクチャストア(464)内に置かれ、および/または将来のビデオブロックを符号化するために使用される前に、デブロッキングフィルタおよび適応ループフィルタなどのインループフィルタを、再構成されたビデオブロックに対して適用することができる(466)。符号化モード(例えば、インターもしくはイントラ)、予測モード情報、動き情報、および/または量子化された残差係数を、エントロピ符号化ユニットに送信することができる。例えば、出力ビデオビットストリーム420を形成するために、符号化モード(例えば、インターもしくはイントラ)、予測モード情報、動き情報、および/または量子化された残差係数を、エントロピ符号化ユニット(408)に送信(例えば、すべて送信)して、さらに圧縮および/またはパッキングを行い、ビットストリームを形成することができる。
【0025】
図5は、ブロックベースのビデオデコーダの例示的なブロック図を示している。ビデオビットストリーム202は、エントロピデコーディングユニット208において、アンパッキングおよび/またはエントロピデコードすること(例えば、最初にアンパッキングおよびエントロピデコードすること)ができる。符号化モードおよび/または予測情報を、(例えば、イントラ符号化の場合は)空間予測ユニット260に、および/または(例えば、インター符号化の場合は)時間予測ユニット262に送信して、予測ブロックを形成することができる。パラメータ(例えば、係数)を逆量子化ユニット210および/または逆変換ユニット212に送信して、例えば、ブロックを再構成することができる。例えば、残差変換係数を逆量子化ユニット210および/または逆変換ユニット212に送信して、例えば、残差ブロックを再構成することができる。226において、予測ブロックおよび/または残差ブロックを一緒に加算することができる。再構成されたブロックは、インループフィルタを通過することができる。例えば、再構成されたブロックが、基準ピクチャストア264内に記憶される前に、再構成されたブロックは、インループフィルタを通過することができる。基準ピクチャストア内の再構成されたビデオは、表示デバイスを駆動するために送出することができ、および/または将来のビデオブロックを予測するために使用することができる。
【0026】
量子化/逆量子化を実行することができる。図4および図5に示されるように、予測残差をエンコーダからデコーダに送信することができる。残差値は、量子化することができる。例えば、(例えば、非可逆符号化が適用されるとき)残差シグナリングのシグナリングオーバヘッドを低減させるために、残差値を量子化し(例えば、量子化によって分類し)、その後、ビットストリームに収めて伝達することができる。0から51までの範囲にわたることができる量子化パラメータ(QP)によって制御することができる、スカラ量子化スキームを利用することができる。QPと対応する量子化ステップサイズ(例えば、Qstep)との間の関係は、
【0027】
【数1】
【0028】
と記述することができる。
【0029】
残差サンプルPresiの値を与えられると、残差サンプルPresiの量子化された値は、(図4に示されるような)エンコーダにおいて、
【0030】
【数2】
【0031】
として導出することができ、ここで、dead_zone_offsetは、イントラブロックについては1/3、インターブロックについては1/6に設定することができる、非ゼロオフセットであることができ、sign(・)およびabs(・)は、入力信号の符号および絶対値を返すことができる実施であることができ、floor(・)は、入力を入力値以下の整数に丸めることができる実施であることができる。(例えば、図5に示されるような)デコーダにおいて、残差サンプルの再構成された値
【0032】
【数3】
【0033】
は、例えば、
【0034】
【数4】
【0035】
として示されるように、量子化ステップサイズを乗算することによって、導出することができ、ここで、round(・)は、入力浮動小数点数値をそれに最も近い整数に丸める実施であることができる。式(4)および(5)において、Qstepは、浮動小数点数であることができる。浮動小数点数による除算および乗算は、例えば、スケーリング係数を乗算し、続いて、適切なビットの右シフトを行うことによって、近似することができる。例えば、QP=0、1、2、...、51に対応することができる、52個の量子化ステップサイズの値は、0.63(QP=0)から228(QP=51)までの範囲内にある。QP=4は、Qstep=1に対応することができる。量子化ステップサイズは、増加することができる。例えば、量子化ステップサイズは、QPが6増えるごとに、倍になる(例えば、正確に倍になる)ことができる。QP+6kについての量子化実施は、QPについてのそれとスケーリング係数を共有することができる。QP+6kについての量子化実施は、QPについてのそれとスケーリング係数を共有することができ、および/または例えば、QP+6kと関連付けられた量子化ステップサイズは、QPと関連付けられた量子化ステップのそれの2k倍であることができるので、k回多い右シフトを使用することができる。この循環特性を用いると、量子化および逆量子化のために、スケーリングパラメータの6つのペア(例えば、encScale[i]およびdecScale[i]、i=0、1、...、5)を、エンコーダおよびデコーダそれぞれにおいて記憶することができる。表1は、encScale[i]およびdecScale[i]の値を指定しており、ここで、QP%6は、QPを6で割った余りを求める演算を表すことができる。
【0036】
【表1】
【0037】
(例えば、入力ビデオの分布が一様である場合)Qstepの値に基づいて、符号化誤差(例えば、平均符号化誤差)を算出することができる。例えば、(3)において導出されるような、量子化ステップサイズQstepを与えられると、(例えば、入力ビデオの分布が一様である場合)Qstepの値に基づいて、
【0038】
【数5】
【0039】
として、符号化誤差(例えば、平均符号化誤差)を算出することができる。
【0040】
人間の視覚系は、色よりも明るさの変化により敏感であることができる。ビデオ符号化システムは、クロマ成分よりもルーマ成分により多くの帯域幅を割くことができる。クロマ成分は、例えば、(例えば、クロマ成分の再構成された品質の著しい劣化を導入することなく)シグナリングオーバヘッドを低減させるように、クロマ成分の空間解像度を低減させるために、サブサンプリングすることができる(例えば、4:2:0および4:2:2クロマフォーマット)。例えば、サブサンプリングのせいで、クロマ成分内には、ルーマ成分内ほど、高周波数情報が存在しないことができる(例えば、クロマ平面は、ルーマ平面よりも平滑であることができる)。例えば、ビットレートおよび/または品質に関するトレードオフ(例えば、より良いトレードオフ)を達成するために、ルーマ成分よりも小さい量子化ステップサイズ(例えば、より小さいQP)を使用して、クロマ成分を量子化することができる。QP値(例えば、高いQP値)におけるクロマ成分に対する量子化(例えば、厳しい量子化)を回避することは、視覚的に不愉快なことがある、例えば、低いビットレートにおける、カラーブリーディングを低減させることができる。クロマQPの導出は、ルックアップテーブル(LUT)を介して、ルーマOPに依存することができる。例えば、表2において指定されるようなLUTを使用して、ルーマ成分のQP値(例えば、QPL)を、クロマ成分に適用することができる対応するQP値(例えば、QPC)にマッピングすることができる。
【0041】
【表2】
【0042】
レート-歪み最適化を実行することができる。ビデオエンコーダにおいて、ラグランジアンベースのレート-歪み最適化(RDO)は、符号化効率を高めることができ、および/または以下のラグランジアンレート-歪み(R-D)コスト実施に基づいて、符号化パラメータ(例えば、符号化モード、イントラ予測方向、動きベクトル(MV)など)を決定することができ、
J=D+λ・R (7)
ここで、DおよびRは、歪みおよびビットレートを表すことができ、λは、ラグランジュ乗数であることができる。ルーマ成分およびクロマ成分それぞれに対して、λの値(例えば、異なる値)を使用することができる。例えば、ルーマ成分およびクロマ成分に対して、異なるQP値を適用することができると仮定すると、ルーマ成分およびクロマ成分に対して、λの異なる値を使用することができる。ルーマ成分のために使用されるラムダ値(例えば、λL)は、
【0043】
【数6】
【0044】
として導出することができ、ここで、αは、決定することができる(例えば、現在のピクチャが将来のピクチャを符号化するための基準ピクチャとして使用されるかどうかに従って決定することができる)係数であることができ、εkは、符号化構成(例えば、すべてイントラ、ランダムアクセス、低遅延)および/またはグループオブピクチャ(GOP)内における現在のピクチャの階層レベルに依存することができる係数であることができる。クロマ成分のために使用されるラムダ値(例えば、λC)は、
【0045】
【数7】
【0046】
として記述されるように、λLを、ルーマ成分とクロマ成分との間のQP差に依存することができるスケーリング係数と乗算することによって、導出することができる。
【0047】
λCは、クロマ固有のRDO実施、例えば、レート-歪み最適化された量子化(RDOQ)、サンプル適応オフセット(SAO)、および/または適応ループフィルタリング(ALF)実施のために使用することができる。
【0048】
(7)において、歪みDを算出するために、メトリック(例えば、異なるメトリック)、例えば、誤差の平方和(SSE)、差分絶対値の和(SAD)、および/または変換された差分絶対値の和(SATD)を適用することができる。例えば、本明細書において提供されるような、適用される歪みメトリックに応じて、RDO実施の1つまたは複数の(例えば、異なる)ステージにおいて、1つまたは複数の(例えば、様々な)ラグランジュR-Dコスト実施を適用することができる。
【0049】
SADベースのラグランジュR-Dコスト実施を実行することができる。例えば、(例えば、図4に示されるような)エンコーダにおける動き推定(ME)において、SADに基づいたラグランジュR-Dコスト実施を使用して、時間領域における基準ピクチャから予測することができる、(例えば、各)ブロックのための最適な整数MVを探索することができる。例えば、以下の式によって、R-DコストJSADを定義することができ、
SAD=DSAD+λpred・Rpred (10)
ここで、Rpredは、(例えば、予測方向、基準ピクチャインデックス、および/またはMVを符号化するためのビットを含む)MEステージの間に獲得することができるビットの数であることができ、DSADは、SAD歪みであることができ、λpredは、MEステージにおいて使用することができるラグランジュ乗数であることができ、
【0050】
【数8】
【0051】
として算出することができる。
【0052】
SATDベースのラグランジュR-Dコストを算出することができる。(10)におけるSADベースのR-Dコスト実施は、動き補償ステージにおいて、整数サンプル精度でMVを決定するために、使用することができる。例えば、分数サンプル精度でMVを決定するために、SATDベースのラグランジュコスト実施を使用することができ、それは、
SATD=DSATD+λpred・Rpred (12)
として指定することができ、
ここで、DSATDは、SATD歪みであることができる。
【0053】
SSEベースのラグランジュR-Dコストを算出することができる。例えば、最適な符号化モード(例えば、イントラ/インター符号化、変換/無変換など)を選択するために、エンコーダは、SSEベースのラグランジュ実施を使用して、符号化モード(例えば、すべての符号化モード)のR-Dコストを算出することができる。例えば、現在のブロックの符号化モードとして、最小のR-Dコストを有する符号化モードを選択することができる。例えば、ルーマ成分を考慮することができる、(10)におけるSADベースのR-Dコスト実施、および(12)におけるSATDベースのR-Dコスト実施とは異なり、SSEベースのコスト実施については、ルーマ成分および/またはクロマ成分のビットレートおよび/または歪みを考慮することができる。例えば、ルーマチャネルとクロマチャネルの再構成された信号の間の品質差を補償するために、クロマ歪みを算出するとき、加重されたSSEを使用することができる。例えば、ルーマ成分および/またはクロマ成分の量子化のために、QP(例えば、異なるQP)を使用することができるので、クロマ歪みを算出するとき、加重されたSSEを使用することができる。SSEベースのR-DコストJSSEは、
【0054】
【数9】
【0055】
として指定することができ、ここで、
【0056】
【数10】
【0057】
および
【0058】
【数11】
【0059】
は、それぞれ、ルーマ成分およびクロマ成分のSSE歪みであることができ、wcは、(9)に従って導出される重みであることができ、Rmodeは、ブロックを符号化するために使用することができるビットの数であることができる。
【0060】
加重された球面一様PSNRを算出することができる。投影された2D平面上のサンプルは、例えば、360度ビデオを表すために使用される投影フォーマットに応じて、球上の異なるサンプリング密度に対応することができる。サンプリング密度は、例えば、2D平面にわたって、一様であることができる。投影された球面ビデオについては、ピーク信号対雑音比(PSNR)は、品質測定を提供しないことがある。例えば、PSNRは、(例えば、各)サンプルロケーションにおける歪みを一様に加重することができる。球面PSNRにおける一様な重み(WS-PSNR)は、投影領域における球面ビデオ品質を測定する(例えば、球面ビデオ品質を直接的に測定する)ことができる。球面ビデオの品質を測定するために、例えば、重み(例えば、異なる重み)を2D投影平面上のサンプルに割り当てることによって、球面PSNRにおける一様な重み(WS-PSNR)は、投影領域における球面ビデオ品質を測定する(例えば、球面ビデオ品質を直接的に測定する)ことができる。WS-PSNRメトリックは、2D投影ピクチャ内のサンプルを評価することができ、および/または例えば、球上における覆われるエリアに基づいて、サンプル(例えば、異なるサンプル)における歪みを加重することができる。
【0061】
WS-PSNRは、
【0062】
【数12】
【0063】
として算出することができ、ここで、MAXIは、最大サンプル値であることができ、WおよびHは、2D投影ピクチャの幅および高さであることができ、I(x,y)およびI’(x,y)は、例えば、2D平面上の(x,y)に配置されたサンプル(例えば、元のサンプルおよび再構成されたサンプル)であることができ、n(x,y)は、w(x,y)に基づいて計算することができる、例えば、(x,y)におけるサンプルと関連付けられた、重み(例えば、正規化された重み)であることができる。正規化されていない重みは、球上のサンプルによって覆われるそれぞれのエリアに対応することができ、例えば、
【0064】
【数13】
【0065】
であり、w(x,y)の計算は、球上の覆うことができるサンプルの面積に依存することができる。例えば、ERPについては、重みは、
【0066】
【数14】
【0067】
として与えることができる。
【0068】
CMPについては、重み(例えば、座標(x,y)における対応する重み)は、
【0069】
【数15】
【0070】
として算出することができ、ここで、WfおよびHfは、CMPフェイスの幅および高さであることができる。
【0071】
本明細書において説明されるように、射影幾何学の特徴のせいで、投影フォーマットは、例えば、投影ピクチャ内の領域(例えば、異なる領域)におけるサンプルについて、サンプリング特性(例えば、独特なサンプリング特性)を提示することができる。図1Cに示されるように、ERPピクチャの上部分および/または下部分を、例えばERPピクチャの中間部分と比較して引き延ばすことができる。(例えば、中間部分と比較した)ERPピクチャの上部分および/または下部分の引き延ばしは、北極および/または南極の周りの領域の球面サンプリング密度が、赤道の周りの領域のそれよりも高いことができることを示すことができる。
【0072】
図2に示されるように、例えば、CMPフェイスにおいては、フェイス中央の周りの領域は、縮むことができ、および/またはフェイス境界に近い領域は、広がることができる。フェイス中央の周りの領域を縮めること、および/またはフェイス境界を広げることは、CMPの球面サンプリングの非一様性を示すことができ、および/またはフェイス境界における密なサンプリングレート、および/またはフェイス中央における疎なサンプリングレートを示すことができる。
【0073】
360度ビデオを符号化するために、非一様な球面サンプリングを用いる投影フォーマットを使用することができる。360度ビデオを符号化するために、非一様な球面サンプリングを用いる投影フォーマットが、使用されるとき、投影されたピクチャ内の(例えば、各)領域上において使用される(例えば、費やされる)符号化オーバヘッドは、例えば、球上の領域のサンプリングレートに依存することができる。より高い球面サンプリング密度を有する1つまたは複数の領域に対して、ビットを使用することができる。例えば、一定のQPが適用される場合、より高い球面サンプリング密度を有する領域に対して、ビット(例えば、より多くのビット)を使用することができる(例えば、それは、投影されたピクチャ内の領域間に不均一に分布する歪みをもたらすことがある)。エンコーダは、例えば、CMPの球面サンプリング特徴のため、フェイス中央の周りの領域よりも、フェイス境界の周りの領域に対して、多くの符号化ビットを使用する(例えば、費やす)ことができる。フェイス境界に近いビューポートの品質は、フェイス中央に近いビューポートの品質よりも高いことができる。視聴者の関心を引くことができる360度ビデオコンテンツは、良好な球面サンプリング密度を有する領域の外部にあることがある。
【0074】
適応的QP調整を実行することができる。例えば、球上の領域(例えば、異なる領域)の間に、一様な再構成品質を提供することができる。領域の間に一様な再構成品質を提供することは、例えば、ERPピクチャ内の1つまたは複数の領域の球面密度に従って歪みを調節するために、ERPピクチャ内の1つまたは複数の領域のQP値を操作する(例えば、適応的に操作する)ことによって、達成することができる。例えば、QP0が、ERPピクチャの赤道において使用することができるQP値である場合、ロケーション(i,j)におけるビデオブロックのためのQP値は、以下の式に基づいて、算出することができ、
QPi,j=QP0-QPoffset=QP0-3×log2(wi,j) (18)
ここで、wi,jは、例えば、(16)にあるようなWS-PSNRの重み算出に従って導出することができる、ロケーション(i,j)における重みであることができる。重みwi,jは、例えば、ERPフォーマットの特徴のせいで、垂直座標j(例えば、緯度)の実施であることができ、および/または水平座標i(例えば、経度)に依存しないことができる。式(18)に従うと、極におけるQPは、QP0(例えば、赤道におけるQP値)よりも大きいことができる。算出されたQP値は、整数になるようにクリッピングすることができ、および/または範囲[0,51]に制限することができる。算出されたQP値は、整数になるようにクリッピングすることができ、および/またはオーバーフローを防止するために、例えば、
QPi,j=min(51,floor(QP0-3×log2(wi,j))) (19)
のように、範囲[0,51]に制限することができる。
【0075】
(18)および(19)において、重み正規化を使用することができる。ブロックのための重み値を決定するとき、例えば、(19)に従って、ブロックのQP値を算出するために、ブロック内のサンプルのための重み値の平均を使用することができる。
【0076】
本明細書において説明されるように、ブロックのクロマQPの導出は、ブロックのルーマQPの値に依存することができる。例えば、ブロックのクロマQPの導出は、(例えば、表2に示されるような)LUTに基づいて、ブロックのルーマQPの値に依存することができる。ビデオブロックのクロマQPは、(例えば、QP調整が適用されるとき)以下のうちの、すなわち、例えば、(18)から(19)に従って、ブロックの座標に基づいて、ブロックのルーマ成分に適用することができる、変更されたQP値を算出すること、および/または(例えば、表2に指定されるように)ルーマ成分の変更されたQP値を、クロマ成分に適用することができる対応するQP値にマッピングすることのうちの1つまたは複数によって、算出することができる。ルーマQPとクロマQPとの間のマッピング関係は、例えば、表2に示されるように、1対1マッピングを有さないことがある。例えば、ルーマQPが、30以上であるとき、2つの異なるルーマQPが、同じクロマQPにマッピングされることがある。QP調整の異なる値(例えば、(18)におけるQPoffset)を、ブロックのためのルーマ成分および/またはクロマ成分に適用することができる。
【0077】
本明細書において説明されるように、1つまたは複数の(例えば、異なる)ラグランジュR-Dコスト実施を、異なるエンコーディングステージにおいて、適用することができる。QP調整が、適用されるとき、(例えば、ピクチャ/スライス(例えば、ピクチャ/スライス全体)のために使用することができるQP値に従って、(8)に基づいて決定することができる)同じラムダ値を、投影ピクチャ内部の符号化ブロックについてのRDO実施のために使用することができる。同じラムダ値を、符号化ブロックについてのRDO実施のために使用することができる。投影ピクチャ内部の異なる領域を符号化するために使用することができるQP値の差を考えることができる。例えば、図1Cに示されるように、極により近い領域など、より高い球面サンプリング密度(例えば、より小さい重み)を提示することができるERP領域に対しては、より大きいQPを使用することができる。ブロックを符号化するためのラムダ値は、領域(例えば、極に近い領域)において、増加することができる。領域内のブロックを符号化するためのラムダ値を増加させることによって、いくつかのビットレートを、シフトさせる(例えば、より高い球面サンプリング密度を有する領域の符号化から、より低い球面サンプリング密度を有する領域の符号化にシフトさせる)ことができる。より高い球面サンプリング密度を有する領域の符号化から、より低い球面サンプリング密度を有する領域の符号化に、ビットレートをシフトさせることは、球上の領域にわたって、より一様な再構成品質を達成することができる。
【0078】
適応的量子化を実行することができる。適応的量子化は、360度ビデオ符号化の性能を高めることができる。適応的量子化の強化は、以下のうちの1つまたは複数を含むことができる。
【0079】
適応的QPを適用するとき、クロマQPの調整は、ルーマQPのそれに依存することができる。適応的量子化を適用するとき、(例えば、各)符号化ブロックのためのルーマQPおよび/またはクロマQPを操作する(例えば、独立に操作する)ことができる。例えば、球上における符号化ブロックのサンプリング密度に応じて、(例えば、各)符号化ブロックのためのルーマQPおよび/またはクロマQPを操作する(例えば、独立に操作する)ことができる。ルーマサンプルよりも小さいダイナミックレンジを有する(例えば、より平滑である)クロマサンプルに基づいて、符号化ブロックのQP値を調整するとき、ルーマ成分およびクロマ成分に対して、等しくないQPオフセットを適用することができる。
【0080】
例えば、適応的量子化が適用されるとき、エンコーダサイドにおけるRDO実施のためのラムダおよび/または重み係数を算出することができる。RDOパラメータ(例えば、MEおよびモード決定のために使用することができるラムダおよび/または重み)を決定する(例えば、適応的に決定する)ことができる。例えば、ブロックのルーマ成分および/またはクロマ成分に適用することができるQP値に従って、RDOパラメータ(例えば、MEおよびモード決定のために使用されるラムダおよび/または重み)を決定する(例えば、適応的に決定する)ことができる。
【0081】
ルーマ成分についてのQP調整を実行することができる。例えば、1つまたは複数の領域の球面サンプリング密度に従って、投影ピクチャの1つまたは複数の領域におけるルーマサンプルの歪みを調節するために、ルーマQP値を変更する(例えば、適応的に変更する)ことができる。例えば、1つまたは複数の領域の球面サンプリング密度に基づいて、QPオフセットを識別する(例えば、算出する、受信するなどする)ことができるので、投影ピクチャの1つまたは複数の領域において、(例えば、それらの球面サンプリング密度に従って)ルーマQP値を変更することができる。QP調整は、ERPに(例えば、それだけに)適用可能であることができ、および/またはQP調整は、より一般的な方法で適用可能であることができる。例えば、360度ビデオを符号化するために、適応的量子化が適用されるとき、符号化ブロックのルーマQPを算出することができる。
【0082】
WS-PSNRは、球面ビデオ品質を示すことができる。球面ビデオ品質を測定するために、WS-PSNRが使用される場合、((6)に示されるような)平均量子化誤差は、
【0083】
【数16】
【0084】
になることができ、ここで、δは、WS-PSNRによって導出されるような加重係数であることができる。QP0は、例えば、投影ピクチャにおける最も低い球面サンプリング密度を提示することができる、アンカブロック(例えば、ERPピクチャの赤道におけるブロック、およびCMPピクチャのフェイス中央におけるブロック)のために使用することができる、QP値を示すことができる。アンカブロックの球面歪みは、
【0085】
【数17】
【0086】
として算出することができ、ここで、δ0は、アンカブロックに適用される重みであることができる。投影ピクチャ内の座標(x,y)にある別のサンプルを与えられると、一様な球面歪みを達成するために、対応するQP(例えば、QP(x,y))は、以下の条件を満足することができ、
【0087】
【数18】
【0088】
ここで、δ(x,y)は、座標(x,y)にあるサンプルと関連付けられた重みであることができる。QP(x,y)は、
【0089】
【数19】
【0090】
として算出することができる。
【0091】
QP値が整数であることを考慮すると、(23)は、
【0092】
【数20】
【0093】
のように変更することができる。丸め実施を使用することができ、クリッピング(例えば、不必要なクリッピング)を取り除くことができる。
【0094】
(24)に示されるように、調整されたQP値の算出は、サンプルの座標に基づくことができる。ブロックのために使用することができるQP値を決定するために、1つまたは複数の実施を適用することができる。例えば、(24)に従って、ブロック(例えば、ブロック全体)のために使用することができるQP値を決定するために、現在のブロック内の(例えば、左上、中央、左下など)事前決定されたサンプルの座標を選択することができる。現在のブロック内のサンプル(例えば、すべてのサンプル)のための重み値を決定することができ、および/または(24)に示されるように、ブロックの調整されたQP値を導出するために、重み値の平均を使用することができる。(24)に従って、現在のブロック内のサンプルの事前決定された重みに基づいて、サンプルベースのQP値を算出することができる。サンプルベースのQPの平均を、例えば、ブロック(例えば、現在のブロック)に適用することができる、QP値(例えば、最終的なQP値)として使用することができる。
【0095】
クロマ成分についてのQP調整を実行することができる。例えば、360度ビデオを符号化するために、適応的量子化が適用されるとき、符号化ブロックのためのクロマQPを決定することができる。図6Aは、QP調整によって使用される、符号化ブロックのためのクロマQPの例示的な算出を示している。図6Aに示されるように、ブロックのクロマQPの調整された値は、ルーマQPの調整された値に依存することができる。例えば、クロマQPは、(19)に従って、ブロックのルーマQP(例えば、QPL)の変更された値を計算することによって、導出することができる。QPLの値は、ブロックに適用される対応するクロマQP(例えば、QPC)にマッピングすることができる。
【0096】
1つまたは複数の符号化ブロックに対して、QP値(例えば、クロマQP値および/またはルーマQP値)を決定することができる。例えば、1つまたは複数の符号化ブロックに対して、クロマQP値を独立に決定することができる。クロマブロック成分に対して、適応的量子化を実行することができる。(例えば、各)符号化ブロックのルーマ成分およびクロマ成分に対して、独立したQP調整を実行することができる。例えば、球上のブロックのサンプリング密度に基づいて、(例えば、各)符号化ブロックのルーマ成分およびクロマ成分に、独立したQP調整を適用することができる。
【0097】
図6Bは、QP適応の例示的なフローチャートを示している。例えば、アンカブロックは、ピクチャおよび/またはスライスレベルQP(例えば、伝達されたQP)を適用することができる、ブロックであることができる。アンカブロックのルーマ成分および/またはクロマ成分に適用することができるQP値(例えば、QP0およびQPC 0)を識別することができる。アンカブロックに適用することができる重み値(例えば、δ0)を決定することができる。アンカブロックのルーマ成分に適用されるQP値(例えば、QP0)に基づいて、アンカブロックのクロマ成分に適用することができるQP値(例えば、QPC 0)を決定することができる。現在のブロックの座標(x,y)および/またはアンカブロックの座標(x,y)(例えば、(23)に示されるような
【0098】
【数21】
【0099】
)に基づいて、現在のブロックのためのQPオフセット(例えば、QPoffset)を導出することができる。例えば、現在のブロックの球面サンプリング密度、および/またはアンカブロックの球面サンプリング密度に基づいて、QPオフセットを導出することができる。オフセットをQP0に適用する(例えば、QP0からQPoffsetを減算する、および/またはQP0にQPoffsetを加算するなどする)ことによって、現在のブロックのルーマQPを算出することができる。オフセットをQPC 0に適用する(例えば、QPC 0からQPoffsetを減算する、および/またはQPC 0にQPoffsetを加算するなどする)ことによって、現在のブロックのクロマQPを算出することができる。
【0100】
アンカブロックを識別することができる。ルーマQP値QP0、および/またはアンカブロックの対応する重み値δ0を決定することができる。QP0は、アンカブロックのクロマQP値にマッピングすることができ、例えば、QPC 0=LUT(QP0)である。
【0101】
ブロック(例えば、アンカブロック)の重み値を決定することができる。現在のブロックに適用することができるQPオフセットを決定する(例えば、算出する)ことができる。例えば、現在の符号化ブロックの座標(x,y)を与えられると、ブロック(例えば、現在のブロック)の重み値δ(x,y)を決定することができる。現在のブロックに適用することができるQPオフセットを決定することができる。ブロックサンプリング密度に基づいて、重み値δ(x,y)および/または重み値δ0を算出することができる。QPoffsetは、log2(δ(x,y)/δ0)に等しいことができる。
【0102】
現在のブロックのルーマQPおよびクロマQPを算出することができる。例えば、QPオフセット(例えば、同じQPオフセット)をルーマ成分およびクロマ成分に別々に適用することによって、現在のブロックのルーマQPおよびクロマQPを算出することができ、例えば、
QP(x,y)=round(QP0-QPoffset)、QPC (x,y)=round(QPC 0-QPoffset) (25)
である。
【0103】
人間の視覚系は、色よりも明るさの変化により敏感であることができる。例えば、人間の視覚系は、色よりも明るさの変化により敏感であることができるので、ビデオ符号化システムは、ルーマ成分により多くの帯域幅を割くことができる。クロマサンプルは、例えば、再構成されたクロマサンプルの知覚される品質の劣化なしに、(例えば、4:2:0および4:2:2クロマフォーマットに)空間解像度を低減させるように、サブサンプリングすることができる。クロマサンプルは、小さいダイナミックレンジを有することができる(例えば、より平滑であることができる)。クロマサンプルは、ルーマサンプルが含むことができるほど、著しい残差を含まないことができる。適応的量子化が、360度ビデオ符号化に適用されるとき、例えば、クロマ残差サンプルが過度に量子化されないことを保証するために、ルーマ成分に適用することができるよりも小さいQPオフセットを、クロマ成分に適用することができる。例えば、符号化ブロックのQP値を調整するとき、ルーマ成分および/またはクロマ成分に、等しくないQPオフセットを適用することができる。例えば、ルーマ残差サンプルとクロマ残差サンプルのダイナミックレンジの間の差を補償するために、クロマ成分に適用することができるQPオフセットの値を算出するとき、(25)において、重み係数を使用することができる。(例えば、(25)において指定されるような)符号化ブロックのルーマQPおよび/またはクロマQPの算出は、
QP(x,y)=round(QP0-QPoffset)、QPC (x,y)=round(QPC 0-μC・QPoffset) (26)
となることができ、ここで、μCは、クロマ成分のQPオフセットを算出するために使用することができる、重みパラメータ(例えば、係数)であることができる。
【0104】
(26)が適用されるとき、異なるレベルにおいて、μCの値を適応させることができる。例えば、ビデオシーケンス(例えば、同じビデオシーケンス)内のピクチャの1つまたは複数において、クロマ残差サンプルの量子化のために、重み係数(例えば、同じ重み係数)を使用することができるように、シーケンスレベルにおいては、μCの値(例えば、0.9)を固定することができる。1つまたは複数のパラメータ(例えば、のセット)(例えば、事前定義された重みパラメータ)は、シーケンスレベルで伝達する(例えば、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)で伝達する)ことができる。例えば、ピクチャ/スライスの残差信号のそれぞれの特徴に従って、ピクチャ/スライスのために、重みパラメータを選択することができる。Cb成分および/またはCr成分に、重みパラメータ(例えば、異なる重みパラメータ)を適用することができる。例えば、Cb成分および/またはCr成分に別々に、重みパラメータ(例えば、異なる重みパラメータ)を適用することができる。μCの値は、ピクチャパラメータセット(PPS)および/またはスライスヘッダで伝達することができる。例えば、μCの値は、ピクチャおよび/またはスライスレベル適応を可能にするために、PPSおよび/またはスライスヘッダで伝達することができる。重みパラメータの決定は、入力ルーマQP(例えば、(25)および(26)におけるQP0)の値に依存することができる。(例えば、1つの)LUTは、QP0とμCとの間のマッピングを指定することができ、および/またはエンコーダおよび/またはデコーダによって使用することができる。
【0105】
適応的QP調整の粒度を細かくすることができる。例えば、適応的QPが、360度ビデオを符号化に適用されるとき、符号化ユニット(CU)レベルおよび/または符号化ツリーユニット(CTU)レベルなど、1つまたは複数のレベルにおいて、QP値の適応を行うことができる。使用することができるQP調整レベル(例えば、符号化ユニット、符号化ツリーユニットなど)のインジケーションを伝達することができる。(例えば、各)レベルは、QP値を変化させる粒度(例えば、異なる粒度)を提供することができる。例えば、QP調整が、CUレベルにおいて持ち越される場合、エンコーダ/デコーダは、個々のCUのためのQP値を調整する(例えば、適応的に調整する)ことができる。QP調整が、CTUレベルにおいて実行される場合、エンコーダ/デコーダは、個々のCTUのためのQP値を調整する(例えば、調整することを許可される)ことができる。CTU内部のCU(例えば、すべてのCU)は、QP値を使用することができる(例えば、同じQP値を使用することができる)。領域ベースのQP調整を実行することができる。投影ピクチャを領域(例えば、事前定義された領域)に分割することができる。エンコーダ/デコーダによって、(例えば、各)領域に、QP値(例えば、異なるQP値)を割り当てる(例えば、適応的に割り当てる)ことができる。
【0106】
適応的量子化は、QP値の配置(例えば、異なる配置)に基づくことができる。図6Bに示されるように、例示的な適応的量子化は、投影ピクチャにおける球面サンプリング密度(例えば、最も低い球面サンプリング密度)に対応することができる、ブロックのための(例えば、スライスヘッダで伝達されるような)入力QP(例えば、(25)および(26)におけるQP0)を使用することができる。適応的量子化は、あるブロック(例えば、より高い球面サンプリング密度を有するブロック)のためのQP値を、増加させる(例えば、徐々に増加させる)ことができる。
【0107】
図7Aは、入力QPが32であるときの(本明細書において説明される)QP配置に基づいた、ERPピクチャについてのQP値の例示的な変化を示している。図7Aに見ることができるように、QP値は、ピクチャ中央の周りのブロックのための入力QPに等しく設定することができ、ならびに/または例えば、ピクチャの上境界および/もしくは下境界に近いブロックを符号化するときに、徐々に増加させることができる。ERPの球面サンプリング密度は、赤道において最も低く、北極および/または南極において最も高いことができる。入力QPは、最も高い球面サンプリング密度(例えば、球上の最も高い球面サンプリング密度)に対応するブロックを符号化するために適用することができ、および/またはより低いサンプリング密度(例えば、球上のより低い球面サンプリング密度)を有するブロックのために、QP値を減少させる(例えば、徐々に減少させる)ことができる。入力QPは、中間の球面サンプリング密度(例えば、投影ピクチャにおけるサンプル(例えば、すべてのサンプル)にわたる平均の球面サンプリング密度)に対応するブロックに対して、適用することができ、および/または球面サンプリングが平均よりも高い/低いことができるブロックを符号化するために、QP値を増加/減少させる(例えば、徐々に増加/減少させる)ことができる。図7Aにおける入力QP値に基づいて、図7Bおよび図7Cは、第2および第3のQP配置がそれぞれ適用されたときの、QP値の対応する変化を示している。第3のQP配置は、絶対値(例えば、大きい絶対値)を有することができる(例えば、正および/または負の)QP_offsetによる調整のせいで、(例えば、QPは0以上51以下であることができるため)QPクリッピングの確率を低減させることができる。(0、1、2、例えば、2ビットによってインデックス付けすることができる)シンタックス要素adaptive_qp_arrangement_method_idcは、例えば、どのQP配置を適用することができるかを示すために、SPS、PPS、および/またはスライスヘッダで伝達することができる。
【0108】
調整されたQP値のインジケーションをデコーダに提供することができる。例えば、式(25)および(26)に基づいて、QP値(例えば、変化するQP値)が、投影ピクチャ内の領域(例えば、異なるブロックなど、異なる領域)に適用されるとき、QP値は、エンコーダによって、デコーダに提供する(例えば、通知する)ことができる。デルタQPシグナリング上のシンタックス要素を使用して、調整されたQP値をエンコーダからデコーダに提供する(例えば、伝達する)ことができる。符号化ブロックの近隣ブロックのQPから、(例えば、各)符号化ブロックの調整されたQPを予測することができる。差(例えば、差だけ)をビットストリームで提供する(例えば、伝達する)ことができる。
【0109】
導出を実行することができる。((25)および(26)に示されるような)導出を使用して、エンコーダおよび/またはデコーダにおいて、(例えば、各)ブロックのためのQP値を算出することができる。(16)、(17)、および(24)から分かるように、余弦、平方根、および/または対数実施を使用して、現在のブロックに適用することができる重みおよび/またはQPオフセットの値を導出することができる。実施は、非線形実施であり、および/または浮動小数点演算に基づくことができる。例えば、適応的量子化が360度ビデオを符号化に対して適用されるとき、浮動小数点演算を回避しながら、エンコーダとデコーダにおいて、調整されたQP値を同期させることができる。
【0110】
適応的量子化が適用されるとき、マッピングg(x,y)を使用して、投影ピクチャ内の事前定義されたサンプルの2D座標(x,y)および/または対応するQPオフセット(例えば、(23)において算出されるようなQPoffset)の間の関係を指定することができる。アンカブロックのQP値ではなく、QPオフセット、例えば、QPoffset(x,y)=g(x,y)をサンプルに適用することができる。水平および/または垂直マッピング実施は、相関がないことがある。マッピング実施g(x,y)は、2つの実施に分離することができ、例えば、g(x,y)=f(x)・f(y)であり、ここで、x方向およびy方向におけるマッピング実施は、同一であることができる。異なるモデリングを適用することができ、例えば、多項式実施、指数実施、対数実施などを適用することができる。マッピングを近似するために、1つまたは複数の(例えば、異なる)モデリング実施を適用することができる。モデリングのために、1次多項式モデル(例えば、線形モデル)を使用することができる。投影ピクチャ内のロケーション(x,y)にあるサンプルに適用されるQPオフセットは、
QPoffset(x,y)=f(x)・f(y)=(a1x+a0)・(a1y+a0) (27)
として算出することができる。
【0111】
例えば、エンコーディングの間にブロックを符号化するために使用することができたQPオフセット(例えば、同じQPオフセット)を、デコーダサイドにおいて再現することができるように、多項式パラメータである値(例えば、値だけ)を、エンコーダからデコーダに送信することができる。(27)に示されるように、多項式パラメータ(例えば、a0およびa1)は、実数であることができる。多項式パラメータは、例えば、デコーダに送信する前に、量子化することができる。モデリング実施のパラメータを配送するために、(例えば、線形モデリングが適用される場合)表3における以下のシンタックス要素を、SPSおよび/またはPPSにおいて使用することができる。
【0112】
【表3】
【0113】
パラメータadaptive_qp_arrangement_method_idcは、符号化ブロックの量子化パラメータを算出するために、どのQP配置を使用することができるかを指定することができる。例えば、adaptive_qp_arrangement_method_idcが、0に等しいとき、スライスヘッダにおいて示される量子化パラメータは、最も低い球面サンプリング密度を有する符号化ブロックに適用することができる。adaptive_qp_arrangement_method_idcが、1に等しいとき、スライスヘッダにおいて示される量子化パラメータは、最も高い球面サンプリング密度を有する符号化ブロックに適用することができる。adaptive_qp_arrangement_method_idcが、2に等しいとき、スライスヘッダにおいて示される量子化パラメータは、中間の球面サンプリング密度を有する符号化ブロックに適用することができる。
【0114】
パラメータpara_scaling_factor_minus1プラス1(例えば、para_scaling_factor_minus1+1)は、量子化パラメータオフセットのモデリング実施のパラメータを算出するために使用することができる、スケーリング係数の値を指定することができる。
【0115】
パラメータpara_bit_shiftは、量子化パラメータオフセットのモデリング実施のパラメータを算出するために使用される、右シフトの数を指定することができる。
【0116】
パラメータmodeling_para_abs[k]は、量子化パラメータオフセットのモデリング実施の第kのパラメータの絶対値を指定することができる。
【0117】
パラメータmodeling_para_sign[k]は、量子化パラメータオフセットのモデリング実施の第kのパラメータの符号を指定することができる。
【0118】
パラメータmodeling_para_abs[k]および/またはmodeling_para_sign[k]は、量子化パラメータオフセットを
QPOffsetModelingPara[k]=((1-2×modeling_para_sign[k]×modeling_para_abs[k]×(para_scaling_factor_minus1+1))>>para_bit_shift
として算出するための、モデリング実施のための第kのパラメータの値を指定することができる。
【0119】
本明細書において説明されるように、例えば、シンタックスシグナリングを容易にするために、線形モデル(例えば、同じ線形モデル)を使用して、x方向およびy方向におけるマッピング実施を近似することができる。シンタックス要素は、1つまたは複数(例えば、他の近似)に適用可能であることができる。例えば、シンタックス要素は、モデル(例えば、より複雑なモデル)を使用すること、ならびに/またはx方向およびy方向において異なるモデル実施を適用することができる実施に適用可能であることができる。(27)に示されるように、QPオフセットの値は、x座標および/またはy座標に基づいて、算出することができる。QPオフセットの値は、x座標および/またはy座標とは独立に算出することができない。例えば、(16)に示されるように、ERPフォーマットにおいて使用される重み値は、垂直座標に依存する(例えば、それだけに依存する)ことができる。QPオフセット実施は、例えば、モデリングがERPに対して適用されるとき、垂直座標の1D実施であることができる。
【0120】
適応的量子化が、360度ビデオ符号化に対して適用されるとき、(例えば、本明細書において説明されるような、適応的QP調整の粒度に応じて)(例えば、各)ユニットブロックに適用することができる、QPオフセットの値を、伝達する(例えば、直接的に伝達する)ことができる。例えば、QP適応が、CTUレベルにおいて実行される場合、投影におけるCTUのためのQPオフセット値を、ビットストリームで伝達することができる。例えば、360度ビデオの複数のフェイス上への3D投影が、対称的であることができると仮定すると、フェイスのQPオフセットを伝達することができる。例えば、フェイス(例えば、同じフェイス)内の他のCTUによって再使用することができる、フェイス内のCTUのサブセットのためのQPオフセットを、伝達することができる。ERPについてのQP値を調整するために導出される重みは、垂直に対称的であることができ、および/または((16)に示されるように)垂直座標に依存することができる。(例えば、第1のCTU列の上半分内の)CTUに適用することができるQPオフセットのインジケーションを、提供することができる。(17)に示されるように、CMPに対して適用される重み算出は、水平および/または垂直方向において対称的であることができる。CMPフェイスの第1の四半分(例えば、左上四半分)内のCTUのためのQPオフセットを、ビットストリームで示すことができる。表4に示されるような、シンタックス要素は、伝達されるCTUのQPオフセットを、エンコーダからデコーダに送信することができる。
【0121】
【表4】
【0122】
パラメータnum_qp_offset_signaledは、ビットストリームで伝達される量子化パラメータオフセットの数を指定することができる。
【0123】
パラメータqp_offset_value[k]は、第kの量子化パラメータオフセットの値を指定することができる。
【0124】
QPオフセットの値を、予測的に伝達することができる。ブロックのために使用されるQPオフセットは、それの空間的近隣ブロックのそれに類似することができる。例えば、(例えば、360度ビデオを高解像度、例えば、8Kまたは4Kでキャプチャすることができることを特に考慮して)近隣ブロック間の制限された球面距離を仮定すると、ブロックのために使用されるQPオフセットは、それの空間的近隣ブロックのそれに類似することができる。QPオフセットを符号化するために、予測的符号化を適用することができる。例えば、ブロックのQPオフセットは、近隣ブロックのうちの1つまたは複数(例えば、左近隣ブロック)のQPオフセットから、予測することができる。差分をビットストリームで伝達することができる。
【0125】
LUTを使用して、ユニットブロックに適用することができるQPオフセット(例えば、対応するQPオフセット)を事前算出および/または記憶することができる。例えば、エンコーダにおいて適用されたQPオフセット(例えば、同じQPオフセット)を、デコーダにおいて再使用することができるように、エンコーディングおよび/またはデコーディングにおいて、LUTを使用することができる。(例えば、各)フェイス内の投影ピクチャは、対称的であることができる。フェイス内のブロックのサブセットのQPオフセット(例えば、QPオフセットだけ)を、記憶することができる。フェイス(例えば、同じフェイス)内の1つまたは複数の他のブロックのために、QPオフセットを再使用することができる。QPオフセットは、伝達されないことがある。LUT情報は、メモリ内に記憶することができる。例えば、LUT記憶のために使用されるメモリサイズ(例えば、合計メモリサイズ)は、投影ピクチャ(フェイス)の解像度によって決定することができる。(23)および(24)に示されるように、投影ピクチャ内のブロックに対して適用することができる重みは、異なる値を取ることができ、それが、1つまたは複数の(例えば、異なる)ブロックにおいて適用される変化するQPオフセットをもたらすことができる。
【0126】
LUTは、サンプリンググリッド、例えば、元の投影ピクチャのそれよりも低いことができる解像度を有することができるサンプリンググリッドに基づいて、定義することができる。例えば、投影ピクチャ内のユニットブックのQPオフセットを算出するとき、高解像度のブロックの座標は、より低い解像度を有するサンプリンググリッド上の別の座標に変換することができる。変換された座標(例えば、より低い解像度のサンプリンググリッド上の1つ)と関連付けられたQPオフセット値は、現在のブロックのQPオフセットとして使用することができる。座標が、LUTのサンプリンググリッド上の整数ロケーションに変換されない場合、最も近い近隣からのQPオフセットを使用することができる。例えば、分数サンプリングロケーションにおけるQPオフセットを算出するために、補間(例えば、バイリニアフィルタ、キュービックフィルタ、およびガウシアンフィルタなど)を適用することができる。図7に示されるように、ERPピクチャにおいては、QPオフセットの分布は、不均一であることができる。例えば、より高い球面サンプリングを用いる領域(例えば、極に近い領域)におけるQP値の変化は、より低い球面サンプリングを用いる領域(例えば、赤道に近い領域)におけるそれらよりも大きいことができる。LUTは、不均一なサンプリングに基づくことができる。例えば、より変化するQP値を有する領域に対して、より多数のサンプリング点を割り当てることができる。あまり変化しないQP値を有する領域に対して、より少数のサンプリング点を割り当てることができる。
【0127】
適応的量子化を用いるデブロッキングフィルタリングを実行することができる。例えば、(25)および(26)において導出されるようなQP値を、(例えば、QP値を参照することができる)符号化実施に適用することができる。デブロッキング実施において、例えば、フィルタの強度(例えば、強いフィルタと通常のフィルタとの間の選択)、および/またはブロック境界の(例えば、各)側において、いくつのサンプルをフィルタリングすることができるかを決定するために、符号化ブロックのQP値を、ルーマ成分および/またはクロマ成分に対して使用することができる。ブロックのデブロッキングの間、符号化ブロックの調整されたQP値を使用することができる。例えば、デブロッキングフィルタリング決定がQP値に依存することができると仮定すると、デブロッキングは、低いQP値と比較して、高いQP値において、より頻繁に起動されることができる。上述のことが、360度ビデオ符号化に対して適用されるとき、より高い球面サンプリング密度を有する領域は、例えば、より低い球面サンプリング密度を有する領域のそれと比較して、より大きいQP値と関連付けることができる。強いデブロッキングは、より高い球面サンプリング密度を有する領域において実行される可能性がより高いことができる。例えば、領域が、複雑なテクスチャおよび/または豊富な方向性エッジ情報を含むとき、強いデブロッキングが、より高い球面サンプリング密度を有する領域において実行されることは、望ましくないことがある。投影ピクチャ内のブロック(例えば、すべてのブロック)のデブロッキングフィルタリング決定のために、より低い球面サンプリング密度を有するブロックのQP値(例えば、より低いQP値)を使用することができる。
【0128】
変更されたR-D基準を提供することができる。適応的量子化が、360度ビデオ符号化に対して適用されるとき、R-D最適化を実行することができる。本明細書において説明されるように、例えば、適応的QPが適用されるとき、投影ピクチャ内の異なる符号化ブロックは、変化するQP値を適用することができる。例えば、最適R-D決定を達成するために、ラグランジュ乗数(例えば、(10)および(12)におけるλpred、(13)におけるλL)の値、ならびに/またはブロックのクロマ重みパラメータ(例えば、(13)におけるwC)の値は、それの(例えば、ブロックの)調整されたQP値を用いて、変更することができる。例えば、高い球面サンプリング密度を有する投影領域のためのλpredおよびλLの値は、増加させることができる。λpredおよびλLの値は、例えば、減少したラグランジュ乗数の値を適用することができる、より低い球面サンプリング密度を有する投影領域を符号化するときに使用することができるビットを節約するために、増加させることができる。(10)におけるSADベースのR-Dコスト実施、(12)におけるSATDベースのR-Dコスト実施、および(13)におけるSSEベースのR-Dコスト実施は、
【0129】
【数22】
【0130】
【数23】
【0131】
【数24】
【0132】
のように変更されるべきであり、ここで、
【0133】
【数25】
【0134】
【0135】
【数26】
【0136】
、および
【0137】
【数27】
【0138】
は、座標(x,y)に配置された現在の符号化ブロックに適用することができる、ラグランジュ乗数およびクロマ重みパラメータであることができる。乗数および/またはパラメータは、
【0139】
【数28】
【0140】
【数29】
【0141】
のように、((25)および(26)に示されるような)ルーマ成分およびクロマ成分の調整されたQP値を(8)および(9)に代入することによって、導出することができる。
【0142】
例えば、QP値の適応がCTUレベルにおいて実行されるとき、CTU内部の符号化ブロック(例えば、すべての符号化ブロック)が、同じQP値を使用することができ、および/またはレート-歪み(R-D)コストに関して比較することができるように、ラグランジュ乗数の値は、(31)にあるように調整することができ、適用することができる。分割することができる、または分割することができない符号化ブロックを決定することができる。図8に示されるように、現在の符号化ブロックの下のサブブロックのR-Dコストは、現在のブロックのために使用することができるラムダ値(例えば、図8におけるλ0)と異なることができる、異なるラムダ値(例えば、図8におけるλ1、λ2、λ3、λ4)に基づいて算出することができる。適応的QP調整が適用されるとき、SSEベースのR-D最適化のための加重された歪み算出を実行することができる。例えば、R-D最適化ステージにおいて、現在の符号化ブロックの歪みを算出するために、加重係数を使用することができる。
【0143】
【数30】
【0144】
が、アンカブロック(例えば、入力QP値QP0と関連付けられたブロック)に適用されるラグランジュ乗数である場合、(30)におけるSSEベースのR-Dコスト実施は、
【0145】
【数31】
【0146】
であることができ、ここで、φ(x,y)は、
【0147】
【数32】
【0148】
としてさらに導出することができる、現在のブロックの歪み加重係数であることができる。
【0149】
R-Dコスト算出において、同じラグランジュ乗数を使用することができる。例えば、(33)に示されるように、R-Dコスト算出において、同じラグランジュ乗数が使用されるので、様々な符号化レベルにおけるブロックのR-Dコストを比較することができる。
【0150】
図9Aは、1つまたは複数の開示される実施形態を実施することができる、例示的な通信システム100を示す図である。通信システム100は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する、多元接続システムであることができる。通信システム100は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通して、そのようなコンテンツにアクセスすることを可能にすることができる。例えば、通信システム100は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC-FDMA)、ゼロテールユニークワードDFT拡散OFDM(ZT UW DTS-s OFDM)、ユニークワードOFDM(UW-OFDM)、リソースブロックフィルタードOFDM、およびフィルタバンクマルチキャリア(FBMC)など、1つまたは複数のチャネルアクセス方法を利用することができる。
【0151】
図9Aに示されるように、通信システム100は、無線送受信ユニット(WTRU)102a、102b、102c、102dと、RAN104/113と、CN106/115と、公衆交換電話網(PSTN)108と、インターネット110と、他のネットワーク112とを含むことができるが、開示される実施形態は、任意の数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を企図していることが理解されよう。WTRU102a、102b、102c、102dの各々は、無線環境において動作および/または通信するように構成された任意のタイプのデバイスであることができる。例として、それのどれもが、「局」および/または「STA」と呼ばれることがある、WTRU102a、102b、102c、102dは、無線信号を送信および/または受信するように構成することができ、ユーザ機器(UE)、移動局、固定または移動加入者ユニット、サブスクリクションベースのユニット、ページャ、セルラ電話、パーソナルデジタルアシスタント(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、ホットスポットまたはMi-Fiデバイス、モノのインターネット(IoT)デバイス、ウォッチまたは他のウェアラブル、ヘッドマウントディスプレイ(HMD)、乗物、ドローン、医療用デバイスおよびアプリケーション(例えば、遠隔手術)、工業用デバイスおよびアプリケーション(例えば、工業用および/または自動化された処理チェーン状況において動作するロボットおよび/または他の無線デバイス)、家電デバイス、ならびに商業用および/または工業用無線ネットワーク上において動作するデバイスなどを含むことができる。WTRU102a、102b、102c、102dのいずれも、交換可能に、UEと呼ばれることがある。
【0152】
通信システム100は、基地局114aおよび/または基地局114bも含むことができる。基地局114a、114bの各々は、CN106/115、インターネット110、および/または他のネットワーク112など、1つまたは複数の通信ネットワークへのアクセスを容易にするために、WTRU102a、102b、102c、102dのうちの少なくとも1つと無線でインターフェースをとるように構成された任意のタイプのデバイスであることができる。例として、基地局114a、114bは、基地送受信機局(BTS)、ノードB、eノードB、ホームノードB、ホームeノードB、gNB、NRノードB、サイトコントローラ、アクセスポイント(AP)、および無線ルータなどであることができる。基地局114a、114bは、各々が、単一の要素として描かれているが、基地局114a、114bは、任意の数の相互接続された基地局および/またはネットワーク要素を含むことができることが理解されよう。
【0153】
基地局114aは、RAN104/113の一部であることができ、RAN104/113は、他の基地局、および/または基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノードなどのネットワーク要素(図示されず)も含むことができる。基地局114aおよび/または基地局114bは、セル(図示されず)と呼ばれることがある、1つまたは複数のキャリア周波数上において、無線信号を送信および/または受信するように構成することができる。これらの周波数は、免許要スペクトル、免許不要スペクトル、または免許要スペクトルと免許不要スペクトルとの組み合わせの中にあることができる。セルは、相対的に一定であることができる、または時間とともに変化することができる特定の地理的エリアに、無線サービス用のカバレージを提供することができる。セルは、さらに、セルセクタに分割することができる。例えば、基地局114aと関連付けられたセルは、3つのセクタに分割することができる。したがって、一実施形態においては、基地局114aは、送受信機を3つ、すなわち、セルの各セクタに対して1つずつ含むことができる。実施形態においては、基地局114aは、多入力多出力(MIMO)技術を利用することができ、セルの各セクタに対して複数の送受信機を利用することができる。例えば、所望の空間方向において信号を送信および/または受信するために、ビームフォーミングを使用することができる。
【0154】
基地局114a、114bは、エアインターフェース116上において、WTRU102a、102b、102c、102dのうちの1つまたは複数と通信することができ、エアインターフェース116は、任意の適切な無線通信リンク(例えば、無線周波(RF)、マイクロ波、センチメートル波、マイクロメートル波、赤外線(IR)、紫外線(UV)、可視光など)であることができる。エアインターフェース116は、任意の適切な無線アクセス技術(RAT)を使用して、確立することができる。
【0155】
より具体的には、上で言及されたように、通信システム100は、多元接続システムであることができ、CDMA、TDMA、FDMA、OFDMA、およびSC-FDMAなど、1つまたは複数のチャネルアクセス方式を利用することができる。例えば、RAN104/113内の基地局114aと、WTRU102a、102b、102cは、広帯域CDMA(WCDMA)を使用して、エアインターフェース115/116/117を確立することができる、ユニバーサル移動体通信システム(UMTS)地上無線アクセス(UTRA)などの無線技術を実施することができる。WCDMAは、高速パケットアクセス(HSPA)および/または進化型HSPA(HSPA+)などの通信プロトコルを含むことができる。HSPAは、高速ダウンリンク(DL)パケットアクセス(HSDPA)、および/または高速アップリンク(UL)パケットアクセス(HSUPA)を含むことができる。
【0156】
実施形態においては、基地局114aと、WTRU102a、102b、102cは、ロングタームエボリューション(LTE)、および/またはLTEアドバンスト(LTE-A)、および/またはLTEアドバンストプロ(LTE-A Pro)を使用して、エアインターフェース116を確立することができる、進化型UMTS地上無線アクセス(E-UTRA)などの無線技術を実施することができる。
【0157】
実施形態においては、基地局114aと、WTRU102a、102b、102cは、ニューラジオ(NR)を使用して、エアインターフェース116を確立することができる、NR無線アクセスなどの無線技術を実施することができる。
【0158】
実施形態においては、基地局114aと、WTRU102a、102b、102cは、複数の無線アクセス技術を実施することができる。例えば、基地局114aと、WTRU102a、102b、102cは、例えば、デュアルコネクティビティ(DC)原理を使用して、LTE無線アクセスと、NR無線アクセスとを一緒に実施することができる。したがって、WTRU102a、102b、102cによって利用されるエアインターフェースは、複数のタイプの無線アクセス技術、ならびに/または複数のタイプの基地局(例えば、eNBおよびgNB)に/から送信される送信によって特徴付けることができる。
【0159】
他の実施形態においては、基地局114aと、WTRU102a、102b、102cは、IEEE802.11(すなわち、ワイヤレスフィデリティ(WiFi))、IEEE802.16(すなわち、マイクロ波アクセス用世界的相互運用性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫定標準2000(IS-2000)、暫定標準95(IS-95)、暫定標準856(IS-856)、移動体通信用グローバルシステム(GSM)、GSMエボリューション用高速データレート(EDGE)、およびGSM EDGE(GERAN)などの無線技術を実施することができる。
【0160】
図9Aにおける基地局114bは、例えば、無線ルータ、ホームノードB、ホームeノードB、またはアクセスポイントであることができ、事業所、自宅、乗物、キャンパス、産業用施設、(例えば、ドローンによって使用される)エアコリド、および車道など、局所化されたエリアにおける無線接続性を容易にするために、任意の適切なRATを利用することができる。一実施形態においては、基地局114bと、WTRU102c、102dは、IEEE802.11などの無線技術を実施して、無線ローカルエリアネットワーク(WLAN)を確立することができる。実施形態においては、基地局114bと、WTRU102c、102dは、IEEE802.15などの無線技術を実施して、無線パーソナルエリアネットワーク(WPAN)を確立することができる。また別の実施形態においては、基地局114bと、WTRU102c、102dは、セルラベースのRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NRなど)を利用して、ピコセルまたはフェムトセルを確立することができる。図9Aに示されるように、基地局114bは、インターネット110への直接的な接続を有することができる。したがって、基地局114bは、CN106/115を介してインターネット110にアクセスする必要がないことがある。
【0161】
RAN104/113は、CN106/115と通信することができ、CN106/115は、音声、データ、アプリケーション、および/またはボイスオーバインターネットプロトコル(VoIP)サービスを、WTRU102a、102b、102c、102dのうちの1つまたは複数に提供するように構成された任意のタイプのネットワークであることができる。データは、異なるスループット要件、遅延要件、エラー耐性要件、信頼性要件、データスループット要件、およびモビリティ要件など、様々なサービス品質(QoS)要件を有することができる。CN106/115は、呼制御、ビリングサービス、モバイルロケーションベースのサービス、プリペイド発呼、インターネット接続性、ビデオ配信などを提供することができ、および/またはユーザ認証など、高レベルセキュリティ機能を実行することができる。図9Aには示されていないが、RAN104/113および/またはCN106/115は、RAN104/113と同じRATまたは異なるRATを利用する他のRANと直接的または間接的通信を行うことができることが理解されよう。例えば、NR無線技術を利用していることがあるRAN104/113に接続されていることに加えて、CN106/115は、GSM、UMTS、CDMA2000、WiMAX、E-UTRA、またはWiFi無線技術を利用する別のRAN(図示されず)とも通信することができる。
【0162】
CN106/115は、WTRU102a、102b、102c、102dが、PSTN108、インターネット110、および/または他のネットワーク112にアクセスするためのゲートウェイとしての役割も果たすことができる。PSTN108は、基本電話サービス(POTS)を提供する、回線交換電話網を含むことができる。インターネット110は、TCP/IPインターネットプロトコルスイート内の伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、および/またはインターネットプロトコル(IP)など、共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークおよびデバイスからなる地球規模のシステムを含むことができる。ネットワーク112は、他のサービスプロバイダによって所有および/または運営される、有線および/または無線通信ネットワークを含むことができる。例えば、ネットワーク112は、RAN104/113と同じRATまたは異なるRATを利用することができる1つまたは複数のRANに接続された、別のCNを含むことができる。
【0163】
通信システム100内のWTRU102a、102b、102c、102dのうちのいくつかまたはすべては、マルチモード機能を含むことができる(例えば、WTRU102a、102b、102c、102dは、異なる無線リンク上において、異なる無線ネットワークと通信するための、複数の送受信機を含むことができる)。例えば、図9Aに示されるWTRU102cは、セルラベースの無線技術を利用することができる基地局114aと通信するように、またIEEE802無線技術を利用することができる基地局114bと通信するように構成することができる。
【0164】
図9Bは、例示的なWTRU102を示すシステム図である。図9Bに示されるように、WTRU102は、とりわけ、プロセッサ118、送受信機120、送信/受信要素122、スピーカ/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、非リムーバブルメモリ130、リムーバブルメモリ132、電源134、全地球測位システム(GPS)チップセット136、および/または他の周辺機器138を含むことができる。WTRU102は、実施形態との整合性を保ちながら、上記の要素の任意のサブコンビネーションを含むことができることが理解されよう。
【0165】
プロセッサ118は、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、他の任意のタイプの集積回路(IC)、および状態機械などであることができる。プロセッサ118は、信号符号化、データ処理、電力制御、入力/出力処理、および/またはWTRU102が無線環境において動作することを可能にする他の任意の機能性を実行することができる。プロセッサ118は、送受信機120に結合することができ、送受信機120は、送信/受信要素122に結合することができる。図9Bは、プロセッサ118と送受信機120を別個の構成要素として描いているが、プロセッサ118と送受信機120は、電子パッケージまたはチップ内に一緒に統合することができることが理解されよう。
【0166】
送信/受信要素122は、エアインターフェース116上において、基地局(例えば、基地局114a)に信号を送信し、または基地局から信号を受信するように構成することができる。例えば、一実施形態においては、送信/受信要素122は、RF信号を送信および/または受信するように構成されたアンテナであることができる。実施形態においては、送信/受信要素122は、例えば、IR、UV、または可視光信号を送信および/または受信するように構成された放射器/検出器であることができる。また別の実施形態においては、送信/受信要素122は、RF信号および光信号の両方を送信および/または受信するように構成することができる。送信/受信要素122は、無線信号の任意の組み合わせを送信および/または受信するように構成することができることが理解されよう。
【0167】
図9Bにおいては、送信/受信要素122は、単一の要素として描かれているが、WTRU102は、任意の数の送信/受信要素122を含むことができる。より具体的には、WTRU102は、MIMO技術を利用することができる。したがって、一実施形態においては、WTRU102は、エアインターフェース116上において無線信号を送信および受信するための2つ以上の送信/受信要素122(例えば、複数のアンテナ)を含むことができる。
【0168】
送受信機120は、送信/受信要素122によって送信されることになる信号を変調し、送信/受信要素122によって受信された信号を復調するように構成することができる。上で言及されたように、WTRU102は、マルチモード機能を有することができる。したがって、送受信機120は、WTRU102が、例えば、NRおよびIEEE802.11など、複数のRATを介して通信することを可能にするための、複数の送受信機を含むことができる。
【0169】
WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128(例えば、液晶表示(LCD)ディスプレイユニットもしくは有機発光ダイオード(OLED)ディスプレイユニット)に結合することができ、それらからユーザ入力データを受信することができる。プロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128にユーザデータを出力することもできる。加えて、プロセッサ118は、非リムーバブルメモリ130および/またはリムーバブルメモリ132など、任意のタイプの適切なメモリから情報を入手することができ、それらにデータを記憶することができる。非リムーバブルメモリ130は、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、ハードディスク、または他の任意のタイプのメモリ記憶デバイスを含むことができる。リムーバブルメモリ132は、加入者識別モジュール(SIM)カード、メモリスティック、およびセキュアデジタル(SD)メモリカードなどを含むことができる。他の実施形態においては、プロセッサ118は、サーバまたはホームコンピュータ(図示されず)上などに配置された、WTRU102上に物理的に配置されていないメモリから情報を入手することができ、それらにデータを記憶することができる。
【0170】
プロセッサ118は、電源134から電力を受け取ることができ、WTRU102内の他の構成要素に電力を分配するように、および/またはそれらへの電力を制御するように構成することができる。電源134は、WTRU102に給電するための任意の適切なデバイスであることができる。例えば、電源134は、1つまたは複数の乾電池(例えば、ニッケル-カドミウム(NiCd)、ニッケル-亜鉛(NiZn)、ニッケル水素(NiMH)、リチウム-イオン(Li-ion)など)、太陽電池、および燃料電池などを含むことができる。
【0171】
プロセッサ118は、GPSチップセット136にも結合することができ、GPSチップセット136は、WTRU102の現在ロケーションに関するロケーション情報(例えば、経度および緯度)を提供するように構成することができる。GPSチップセット136からの情報に加えて、またはそれの代わりに、WTRU102は、基地局(例えば、基地局114a、114b)からエアインターフェース116上においてロケーション情報を受信することができ、および/または2つ以上の近くの基地局から受信している信号のタイミングに基づいて、自らのロケーションを決定することができる。WTRU102は、実施形態との整合性を保ちながら、任意の適切なロケーション決定方法を用いて、ロケーション情報を獲得することができることが理解されよう。
【0172】
プロセッサ118は、さらに他の周辺機器138に結合することができ、他の周辺機器138は、追加の特徴、機能性、および/または有線もしくは無線接続性を提供する、1つまたは複数のソフトウェアモジュールおよび/またはハードウェアモジュールを含むことができる。例えば、周辺機器138は、加速度計、eコンパス、衛星送受信機、(写真および/またはビデオ用の)デジタルカメラ、ユニバーサルシリアルバス(USB)ポート、バイブレーションデバイス、テレビ送受信機、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、仮想現実および/または拡張現実(VR/AR)デバイス、ならびにアクティビティトラッカなどを含むことができる。周辺機器138は、1つまたは複数のセンサを含むことができ、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方位センサ、近接センサ、温度センサ、時間センサ、ジオロケーションセンサ、高度計、光センサ、タッチセンサ、気圧計、ジェスチャセンサ、バイオメトリックセンサ、および/または湿度センサのうちの1つまたは複数であることができる。
【0173】
WTRU102は、(例えば、(例えば、送信用の)ULと(例えば、受信用の)ダウンリンクの両方のための特定のサブフレームと関連付けられた)信号のいくつかまたはすべての送信および受信が、並列および/または同時であることができる、全二重無線を含むことができる。全二重無線は、ハードウェア(例えば、チョーク)を介して、またはプロセッサ(例えば、別個のプロセッサ(図示されず)もしくはプロセッサ118を介して)を介する信号処理を介して、自己干渉を低減させ、および/または実質的に除去するために、干渉管理ユニットを含むことができる。実施形態においては、WTRU102は、(例えば、(例えば、送信用の)ULまたは(例えば、受信用の)ダウンリンクのどちらかのための特定のサブフレームと関連付けられた)信号のいくつかまたはすべての送信および受信のための、半二重無線を含むことができる。
【0174】
図9Cは、実施形態に従った、RAN104およびCN106を示すシステム図である。上で言及されたように、RAN104は、E-UTRA無線技術を利用して、エアインターフェース116上において、WTRU102a、102b、102cと通信することができる。RAN104は、CN106とも通信することができる。
【0175】
RAN104は、eノードB160a、160b、160cを含むことができるが、RAN104は、実施形態との整合性を保ちながら、任意の数のeノードBを含むことができることが理解されよう。eノードB160a、160b、160cは、各々が、エアインターフェース116上においてWTRU102a、102b、102cと通信するための、1つまたは複数の送受信機を含むことができる。一実施形態においては、eノードB160a、160b、160cは、MIMO技術を実施することができる。したがって、eノードB160aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、および/またはWTRU102aから無線信号を受信することができる。
【0176】
eノードB160a、160b、160cの各々は、特定のセル(図示されず)と関連付けることができ、無線リソース管理決定、ハンドオーバ決定、ならびにULおよび/またはDLにおけるユーザのスケジューリングなどを処理するように構成することができる。図9Cに示されるように、eノードB160a、160b、160cは、X2インターフェース上において、互いに通信することができる。
【0177】
図9Cに示されるCN106は、モビリティ管理エンティティ(MME)162と、サービングゲートウェイ(SGW)164と、パケットデータネットワーク(PDN)ゲートウェイ(またはPGW)166とを含むことができる。上記の要素の各々は、CN106の部分として描かれているが、これらの要素のうちのいずれも、CNオペレータとは異なるエンティティによって所有および/または運営することができることが理解されよう。
【0178】
MME162は、S1インターフェースを介して、RAN104内のeノードB160a、160b、160cの各々に接続することができ、制御ノードとしての役割を果たすことができる。例えば、MME162は、WTRU102a、102b、102cのユーザを認証すること、ベアラアクティブ化/非アクティブ化、およびWTRU102a、102b、102cの初期アタッチ中に特定のサービングゲートウェイを選択することなどを担うことができる。MME162は、RAN104と、GSMおよび/またはWCDMAなどの他の無線技術を利用する他のRAN(図示されず)との間における交換のためのコントロールプレーン機能を提供することができる。
【0179】
SGW164は、S1インターフェースを介して、RAN104内のeノードB160a、160b、160cの各々に接続することができる。SGW164は、一般に、ユーザデータパケットをWTRU102a、102b、102cに/からルーティングおよび転送することができる。SGW164は、eノードB間ハンドオーバ中にユーザプレーンをアンカリングすること、DLデータがWTRU102a、102b、102cに利用可能なときにページングをトリガすること、ならびにWTRU102a、102b、102cのコンテキストを管理および記憶することなど、他の機能を実行することができる。
【0180】
SGW164は、PGW166に接続することができ、PGW166は、インターネット110など、パケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にすることができる。
【0181】
CN106は、他のネットワークとの通信を容易にすることができる。例えば、CN106は、PSTN108など、回線交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cと従来の固定電話回線通信デバイスとの間の通信を容易にすることができる。例えば、CN106は、CN106とPSTN108との間のインターフェースとしての役割を果たすIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含むことができ、またはそれと通信することができる。加えて、CN106は、他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供することができ、他のネットワーク112は、他のサービスプロバイダによって所有および/または運営される他の有線および/または無線ネットワークを含むことができる。
【0182】
図9A図9Dにおいては、WTRUは、無線端末として説明されるが、ある代表的な実施形態においては、そのような端末は、通信ネットワークとの有線通信インターフェースを(例えば、一時的または永続的に)使用することができることが企図されている。
【0183】
代表的な実施形態においては、他のネットワーク112は、WLANであることができる。インフラストラクチャ基本サービスセット(BSS)モードにあるWLANは、BSSのためのアクセスポイント(AP)と、APと関連付けられた1つまたは複数の局(STA)とを有することができる。APは、トラフィックをBSS内および/またはBSS外に搬送する、ディストリビューションシステム(DS)または別のタイプの有線/無線ネットワークへのアクセスまたはインターフェースを有することができる。BSS外部から発信されたSTAへのトラフィックは、APを通して到着することができ、STAに配送することができる。STAからBSS外部の送信先に発信されたトラフィックは、それぞれの送信先に配送するために、APに送信することができる。BSS内のSTA間のトラフィックは、APを通して送信することができ、例えば、送信元STAは、トラフィックをAPに送信することができ、APは、トラフィックを送信先STAに配送することができる。BSS内のSTA間のトラフィックは、ピアツーピアトラフィックと見なすことができ、および/またはピアツーピアトラフィックと呼ばれることがある。ピアツーピアトラフィックは、直接リンクセットアップ(DLS)を用いて、送信元STAと送信先STAとの間で(例えば、直接的に)送信することができる。ある代表的な実施形態においては、DLSは、802.11e DLSまたは802.11zトンネルDLS(TDLS)を使用することができる。独立BSS(IBSS)モードを使用するWLANは、APを有さないことがあり、IBSS内の、またはIBSSを使用するSTA(例えば、STAのすべて)は、互いに直接的に通信することができる。IBSSモードの通信は、本明細書においては、ときに「アドホック」モードの通信と呼ばれることがある。
【0184】
802.11acインフラストラクチャモードの動作または類似したモードの動作を使用するとき、APは、プライマリチャネルなどの固定されたチャネル上において、ビーコンを送信することができる。プライマリチャネルは、固定された幅(例えば、20MHz幅帯域幅)、またはシグナリングを介して動的に設定された幅であることができる。プライマリチャネルは、BSSの動作チャネルであることができ、APとの接続を確立するために、STAによって使用することができる。ある代表的な実施形態においては、例えば、802.11システムにおいては、キャリアセンス多重アクセス/衝突回避(CSMA/CA)を実施することができる。CSMA/CAの場合、APを含むSTA(例えば、あらゆるSTA)は、プライマリチャネルをセンスすることができる。プライマリチャネルが、センス/検出され、および/または特定のSTAによってビジーであると決定された場合、特定のSTAは、バックオフすることができる。与えられたBSS内においては、任意の与えられた時間に、1つのSTA(例えば、ただ1つの局)が、送信することができる。
【0185】
高スループット(HT)STAは、例えば、プライマリ20MHzチャネルを隣接または非隣接20MHzチャネルと組み合わせて、40MHz幅のチャネルを形成することを介して、通信のために40MHz幅チャネルを使用することができる。
【0186】
超高スループット(VHT)STAは、20MHz、40MHz、80MHz、および/または160MHz幅チャネルをサポートすることができる。40MHzおよび/または80MHzチャネルは、連続する20MHzチャネルを組み合わせることによって形成することができる。160MHzチャネルは、8つの連続する20MHzチャネルを組み合わせることによって形成することができ、または2つの非連続な80MHzチャネルを組み合わせることによって形成することができ、これは、80+80構成と呼ばれることがある。80+80構成の場合、データは、チャネルエンコーディングの後、データを2つのストリームに分割することができるセグメントパーサを通過することができる。各ストリームに対して別々に、逆高速フーリエ変換(IFFT)処理、および時間領域処理を行うことができる。ストリームは、2つの80MHzチャネル上にマッピングすることができ、データは、送信STAによって送信することができる。受信STAの受信機においては、80+80構成のための上で説明された動作を逆転することができ、組み合わされたデータは、媒体アクセス制御(MAC)に送信することができる。
【0187】
1GHz未満モードの動作は、802.11afおよび802.11ahによってサポートされる。チャネル動作帯域幅およびキャリアは、802.11nおよび802.11acにおいて使用されるそれらと比べて、802.11afおよび802.11ahにおいては低減させられる。802.11afは、TVホワイトスペース(TVWS)スペクトルにおいて、5MHz、10MHz、および20MHz帯域幅をサポートし、802.11ahは、非TVWSスペクトルを使用して、1MHz、2MHz、4MHz、8MHz、および16MHz帯域幅をサポートする。代表的な実施形態に従うと、802.11ahは、マクロカバレージエリアにおけるMTCデバイスなど、メータタイプ制御/マシンタイプコミュニケーションをサポートすることができる。MTCデバイスは、一定の機能を、例えば、一定の帯域幅および/または限られた帯域幅のサポート(例えば、それらのサポートだけ)を含む限られた機能を有することができる。MTCデバイスは、(例えば、非常に長いバッテリ寿命を維持するために)閾値を上回るバッテリ寿命を有するバッテリを含むことができる。
【0188】
802.11n、802.11ac、802.11af、および802.11ahなど、複数のチャネルおよびチャネル帯域幅をサポートすることができる、WLANシステムは、プライマリチャネルとして指定することができるチャネルを含む。プライマリチャネルは、BSS内のすべてのSTAによってサポートされる最大の共通動作帯域幅に等しい帯域幅を有することができる。プライマリチャネルの帯域幅は、BSS内において動作するすべてのSTAの中の、最小帯域幅動作モードをサポートするSTAによって設定および/または制限することができる。802.11ahの例においては、BSS内のAPおよび他のSTAが、2MHz、4MHz、8MHz、16MHz、および/または他のチャネル帯域幅動作モードをサポートする場合であっても、1MHzモードをサポートする(例えば、それだけをサポートする)STA(例えば、MTCタイプデバイス)のために、プライマリチャネルは、1MHz幅であることができる。キャリアセンシングおよび/またはネットワークアロケーションベクトル(NAV)設定は、プライマリチャネルのステータスに依存することができる。例えば、(1MHz動作モードだけをサポートする)STAが、APに送信しているせいで、プライマリチャネルが、ビジーである場合、周波数バンドの大部分が、アイドルのままであり、利用可能であることができるとしても、利用可能な周波数バンド全体が、ビジーと見なされることができる。
【0189】
米国においては、802.11ahによって使用することができる利用可能な周波数バンドは、902MHzから928MHzである。韓国においては、利用可能な周波数バンドは、917.5MHzから923.5MHzである。日本においては、利用可能な周波数バンドは、916.5MHzから927.5MHzである。802.11ahのために利用可能な合計帯域幅は、国の規則に応じて、6MHzから26MHzである。
【0190】
図9Dは、実施形態に従った、RAN113およびCN115を示すシステム図である。上で言及されたように、RAN113は、NR無線技術を利用して、エアインターフェース116上において、WTRU102a、102b、102cと通信することができる。RAN113は、CN115とも通信することができる。
【0191】
RAN113は、gNB180a、180b、180cを含むことができるが、RAN113は、実施形態との整合性を保ちながら、任意の数のgNBを含むことができることが理解されよう。gNB180a、180b、180cは、各々が、エアインターフェース116上においてWTRU102a、102b、102cと通信するための、1つまたは複数の送受信機を含むことができる。一実施形態においては、gNB180a、180b、180cは、MIMO技術を実施することができる。例えば、gNB180a、180bは、ビームフォーミングを利用して、gNB180a、180b、180cに信号を送信し、および/またはgNB180a、180b、180cから信号を受信することができる。したがって、gNB180aは、例えば、複数のアンテナを使用して、WTRU102aに無線信号を送信し、および/またはWTRU102aから無線信号を受信することができる。実施形態においては、gNB180a、180b、180cは、キャリアアグリゲーション技術を実施することができる。例えば、gNB180aは、WTRU102aに複数のコンポーネントキャリアを送信することができる(図示されず)。これらのコンポーネントキャリアのサブセットは、免許不要スペクトル上にあることができるが、残りのコンポーネントキャリアは、免許要スペクトル上にあることができる。実施形態においては、gNB180a、180b、180cは、多地点協調(CoMP)技術を実施することができる。例えば、WTRU102aは、gNB180aとgNB180b(および/またはgNB180c)から調整された送信を受信することができる。
【0192】
WTRU102a、102b、102cは、スケーラブルなヌメロロジ(numerology)と関連付けられた送信を使用して、gNB180a、180b、180cと通信することができる。例えば、OFDMシンボル間隔、および/またはOFDMサブキャリア間隔は、異なる送信、異なるセル、および/または無線送信スペクトルの異なる部分ごとに様々であることができる。WTRU102a、102b、102cは、(例えば、様々な数のOFDMシンボルを含む、および/または様々な長さの絶対時間だけ持続する)様々なまたはスケーラブルな長さのサブフレームまたは送信時間間隔(TTI)を使用して、gNB180a、180b、180cと通信することができる。
【0193】
gNB180a、180b、180cは、スタンドアロン構成および/または非スタンドアロン構成で、WTRU102a、102b、102cと通信するように構成することができる。スタンドアロン構成においては、WTRU102a、102b、102cは、(例えば、eノードB160a、160b、160cなどの)他のRANにアクセスすることもなしに、gNB180a、180b、180cと通信することができる。スタンドアロン構成においては、WTRU102a、102b、102cは、gNB180a、180b、180cのうちの1つまたは複数を、モビリティアンカポイントとして利用することができる。スタンドアロン構成においては、WTRU102a、102b、102cは、免許不要バンド内において信号を使用して、gNB180a、180b、180cと通信することができる。非スタンドアロン構成においては、WTRU102a、102b、102cは、eノードB160a、160b、160cなどの別のRANとも通信し/別のRANにも接続しながら、gNB180a、180b、180cと通信し/gNB180a、180b、180cに接続することができる。例えば、WTRU102a、102b、102cは、DC原理を実施して、1つまたは複数のgNB180a、180b、180c、および1つまたは複数のeノードB160a、160b、160cと実質的に同時に通信することができる。非スタンドアロン構成においては、eノードB160a、160b、160cは、WTRU102a、102b、102cのためのモビリティアンカとしての役割を果たすことができ、gNB180a、180b、180cは、WTRU102a、102b、102cにサービスするための追加のカバレージおよび/またはスループットを提供することができる。
【0194】
gNB180a、180b、180cの各々は、特定のセル(図示されず)と関連付けることができ、無線リソース管理決定、ハンドオーバ決定、ULおよび/またはDLにおけるユーザのスケジューリング、ネットワークスライシングのサポート、デュアルコネクティビティ、NRとE-UTRAとの間のインターワーキング、ユーザプレーンデータのユーザプレーン機能(UPF)184a、184bへのルーティング、ならびにコントロールプレーン情報のアクセスおよびモビリティ管理機能(AMF)182a、182bへのルーティングなどを処理するように構成することができる。図9Dに示されるように、gNB180a、180b、180cは、Xnインターフェース上において、互いに通信することができる。
【0195】
図9Dに示されるCN115は、少なくとも1つのAMF182a、182bと、少なくとも1つのUPF184a、184bと、少なくとも1つのセッション管理機能(SMF)183a、183bと、おそらくは、データネットワーク(DN)185a、185bとを含むことができる。上記の要素の各々は、CN115の部分として描かれているが、これらの要素のうちのいずれも、CNオペレータとは異なるエンティティによって所有および/または運営することができることが理解されよう。
【0196】
AMF182a、182bは、N2インターフェースを介して、RAN113内のgNB180a、180b、180cのうちの1つまたは複数に接続することができ、制御ノードとしての役割を果たすことができる。例えば、AMF182a、182bは、WTRU102a、102b、102cのユーザを認証すること、ネットワークスライシングのサポート(例えば、異なる要件を有する異なるPDUセッションの処理)、特定のSMF183a、183bを選択すること、レジストレーションエリアの管理、NASシグナリングの終了、およびモビリティ管理などを担うことができる。ネットワークスライシングは、WTRU102a、102b、102cによって利用されるサービスのタイプに基づいて、WTRU102a、102b、102cに対するCNサポートをカスタマイズするために、AMF182a、182bによって使用することができる。例えば、超高信頼低遅延(URLLC)アクセスに依存するサービス、高速大容量モバイルブロードバンド(eMBB)アクセスに依存するサービス、および/またはマシンタイプコミュニケーション(MTC)アクセスのためのサービスなど、異なる使用事例のために、異なるネットワークスライスを確立することができる。AMF162は、RAN113と、LTE、LTE-A、LTE-A Pro、および/またはWiFiのような非3GPPアクセス技術など、他の無線技術を利用する他のRAN(図示されず)との間の交換のためのコントロールプレーン機能を提供することができる。
【0197】
SMF183a、183bは、N11インターフェースを介して、CN115内のAMF182a、182bに接続することができる。SMF183a、183bは、N4インターフェースを介して、CN115内のUPF184a、184bに接続することもできる。SMF183a、183bは、UPF184a、184bを選択および制御し、UPF184a、184bを通したトラフィックのルーティングを構成することができる。SMF183a、183bは、UE IPアドレスの管理および割り当てを行うこと、PDUセッションを管理すること、ポリシ実施およびQoSを制御すること、ならびにダウンリンクデータ通知を提供することなど、他の機能を実行することができる。PDUセッションタイプは、IPベース、非IPベース、およびイーサネットベースなどであることができる。
【0198】
UPF184a、184bは、N3インターフェースを介して、RAN113内のgNB180a、180b、180cのうちの1つまたは複数に接続することができ、それらは、インターネット110など、パケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cとIP対応デバイスとの間の通信を容易にすることができる。UPF184a、184bは、パケットをルーティングおよび転送すること、ユーザプレーンポリシを実施すること、マルチホーミングPDUセッションをサポートすること、ユーザプレーンQoSを処理すること、DLパケットをバッファすること、ならびにモビリティアンカリングを提供することなど、他の機能を実行することができる。
【0199】
CN115は、他のネットワークとの通信を容易にすることができる。例えば、CN115は、CN115とPSTN108との間のインターフェースとしての役割を果たすIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含むことができ、またはそれと通信することができる。加えて、CN115は、他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供することができ、他のネットワーク112は、他のサービスプロバイダによって所有および/または運営される他の有線および/または無線ネットワークを含むことができる。一実施形態においては、WTRU102a、102b、102cは、UPF184a、184bへのN3インターフェース、およびUPF184a、184bとDN185a、185bとの間のN6インターフェースを介して、UPF184a、184bを通して、ローカルデータネットワーク(DN)185a、185bに接続することができる。
【0200】
図9A図9D、および図9A図9Dについての対応する説明に鑑みて、WTRU102a~d、基地局114a~b、eノードB160a~c、MME162、SGW164、PGW166、gNB180a~c、AMF182a~b、UPF184a~b、SMF183a~b、DN185a~b、および/または本明細書において説明される他の任意のデバイスのうちの1つまたは複数に関する、本明細書において説明される機能の1つもしくは複数またはすべては、1つまたは複数のエミュレーションデバイス(図示されず)によって実行することができる。エミュレーションデバイスは、本明細書において説明される機能の1つもしくは複数またはすべてをエミュレートするように構成された、1つまたは複数のデバイスであることができる。例えば、エミュレーションデバイスは、他のデバイスをテストするために、ならびに/またはネットワークおよび/もしくはWTRU機能をシミュレートするために、使用することができる。
【0201】
エミュレーションデバイスは、実験室環境において、および/またはオペレータネットワーク環境において、他のデバイスのうちの1つまたは複数のテストを実施するように設計することができる。例えば、1つまたは複数のエミュレーションデバイスは、通信ネットワーク内の他のデバイスをテストするために、有線および/または無線通信ネットワークの一部として、完全または部分的に実施および/または配備されながら、1つもしくは複数またはすべての機能を実行することができる。1つまたは複数のエミュレーションデバイスは、有線および/または無線通信ネットワークの一部として、一時的に実施/配備されながら、1つもしくは複数またはすべての機能を実行することができる。エミュレーションデバイスは、テストの目的で、別のデバイスに直接的に結合することができ、および/またはオーバザエア無線通信を使用して、テストを実行することができる。
【0202】
1つまたは複数のエミュレーションデバイスは、有線および/または無線通信ネットワークの一部として実施/配備されずに、すべての機能を含む、1つまたは複数の機能を実行することができる。例えば、エミュレーションデバイスは、1つまたは複数の構成要素のテストを実施するために、テスト実験室、ならびに/または配備されていない(例えば、テスト)有線および/もしくは無線通信ネットワークにおける、テストシナリオにおいて利用することができる。1つまたは複数のエミュレーションデバイスは、テスト機器であることができる。データを送信および/または受信するために、直接RF結合、および/または(例えば、1つもしくは複数のアンテナを含むことができる)RF回路を介した無線通信を、エミュレーションデバイスによって使用することができる。
【0203】
本明細書において説明された特徴および要素は、LTE、LTE-A、ニューラジオ(NR)、および/または5G固有のプロトコルを考えているが、本明細書において説明された特徴および要素は、LTE、LTE-A、ニューラジオ(NR)、および/または5G固有のプロトコルに制限されず、他の無線システムにも適用可能であることができることが理解されるべきである。
【0204】
上では、特徴および要素が、特定の組み合わせで説明されたが、各特徴または要素は、単独で使用することができ、または他の特徴および要素との任意の組み合わせで使用することができることを当業者は理解されよう。加えて、本明細書において説明された方法は、コンピュータおよび/またはプロセッサによって実行される、コンピュータ可読媒体内に含まれる、コンピュータプログラム、ソフトウェア、またはファームウェアで実施することができる。コンピュータ可読媒体の例は、(有線または無線接続上において送信される)電子信号、およびコンピュータ可読記憶媒体を含む。コンピュータ可読記憶媒体の例は、限定されることなく、リードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよびリムーバブルディスクなどの磁気媒体、光磁気媒体、ならびにCD-ROMディスクおよびデジタル多用途ディスク(DVD)などの光媒体を含む。ソフトウェアと関連付けられたプロセッサを使用して、WTRU、UE、端末、基地局、RNC、または任意のホストコンピュータにおいて使用される、無線周波数送受信機を実施することができる。
図1A
図1B
図1C
図2A
図2B
図2C
図3
図4
図5
図6A
図6B
図7A
図7B
図7C
図8A
図8B
図9A
図9B
図9C
図9D