(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-12
(45)【発行日】2024-07-23
(54)【発明の名称】オーディオミキシングのための方法および装置
(51)【国際特許分類】
H04N 7/15 20060101AFI20240716BHJP
H04M 3/56 20060101ALI20240716BHJP
【ＦＩ】
H04N7/15 150
H04N7/15
H04N7/15 120
H04M3/56 B
H04M3/56 C
【請求項の数】
10
(21)【出願番号】P 2023509818
(86)(22)【出願日】2021-09-24
(65)【公表番号】
(43)【公表日】2023-09-08
(86)【国際出願番号】 US2021052068
(87)【国際公開番号】W WO2022076183
(87)【国際公開日】2022-04-14
【審査請求日】2023-02-10
(31)【優先権主張番号】63/088,300
(32)【優先日】2020-10-06
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/124,261
(32)【優先日】2020-12-11
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/478,418
(32)【優先日】2021-09-17
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】ロヒト・アビシェーク
(72)【発明者】
【氏名】イーラジ・ソダガー
【審査官】大西 宏
(56)【参考文献】
【文献】特開２００８－０６７２０３（ＪＰ，Ａ）
【文献】特開２００９－１００１５４（ＪＰ，Ａ）
【文献】特開２０１５－２２０５９５（ＪＰ，Ａ）
【文献】特開２０１６－２２０１３２（ＪＰ，Ａ）
【文献】特表２０１８－５１５００９（ＪＰ，Ａ）
【文献】特表２０１５－５１５８００（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１２／０３０７６８８（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１５
Ｈ０４Ｍ ３／３８ － ３／５８
(57)【特許請求の範囲】
【請求項1】
ユーザデバイスでメディアストリームを処理する方法であって、会議通話の複数のオーディオストリームを処理するように構成される、メディア対応ネットワーク要素にメッセージを送信するステップであって、前記メッセージは、前記複数のオーディオストリームが前記メディア対応ネットワーク要素によってダウンミックスされるべきことを示し、前記複数のオーディオストリームが、セッション記述プロトコル（SDP）メッセージに含まれる複数のオーディオミキシングパラメータに基づいてダウンミックスされる、ステップと、
前記メディア対応ネットワーク要素から、前記ダウンミックスされた複数のオーディオストリームを受信するステップと、
前記会議通話を受信するために、前記ダウンミックスされた複数のオーディオストリームをデコーディングするステップと
を含む、方法。
【請求項2】
前記複数のオーディオストリームが、前記メディア対応ネットワーク要素によって、単一のステレオストリームおよびモノストリームのうちの1つにダウンミックスされる、請求項1に記載の方法。
【請求項3】
前記複数のオーディオミキシングパラメータが、前記ユーザデバイスに表示される視野に基づいて設定される、請求項1に記載の方法。
【請求項4】
ユーザデバイスでメディアストリームを処理する方法であって、
会議通話の複数のオーディオストリームを処理するように構成される、メディア対応ネットワーク要素にメッセージを送信するステップであって、前記メッセージは、前記複数のオーディオストリームが前記メディア対応ネットワーク要素によってダウンミックスされるべきことを示し、前記複数のオーディオストリームの第1のサブセットのそれぞれが、1つ以上の360度没入型ビデオストリームのうちのそれぞれ1つに関連付けられる、ステップと、
前記メディア対応ネットワーク要素から、前記ダウンミックスされた複数のオーディオストリームを受信するステップと、
前記会議通話を受信するために、前記ダウンミックスされた複数のオーディオストリームをデコーディングするステップと
を含む、方法。
【請求項5】
ユーザデバイスでメディアストリームを処理する方法であって、
会議通話の複数のオーディオストリームを処理するように構成される、メディア対応ネットワーク要素にメッセージを送信するステップであって、前記メッセージは、前記複数のオーディオストリームが前記メディア対応ネットワーク要素によってダウンミックスされるべきことを示し、前記複数のオーディオストリームの第2のサブセットのそれぞれが、1つ以上のオーバーレイ・ビデオストリームのうちのそれぞれ1つに関連付けられ、前記複数のオーディオストリームの前記第2のサブセットの数が、前記複数のオーディオストリームの前記第2のサブセットに関連付けられた、前記1つ以上のオーバーレイ・ビデオストリームの1つ以上の優先度に基づいて決定される、ステップと、
前記メディア対応ネットワーク要素から、前記ダウンミックスされた複数のオーディオストリームを受信するステップと、
前記会議通話を受信するために、前記ダウンミックスされた複数のオーディオストリームをデコーディングするステップと
を含む、方法。
【請求項6】
前記複数のオーディオストリームの前記第2のサブセットのそれぞれのオーディオミキシングパラメータが、前記複数のオーディオストリームの前記第2のサブセットの前記それぞれ1つに関連付けられた、前記オーバーレイ・ビデオストリームの優先度に基づいて設定される、請求項5に記載の方法。
【請求項7】
ユーザデバイスでメディアストリームを処理する方法であって、
会議通話の複数のオーディオストリームを処理するように構成される、メディア対応ネットワーク要素にメッセージを送信するステップであって、前記メッセージは、前記複数のオーディオストリームが前記メディア対応ネットワーク要素によってダウンミックスされるべきことを示し、前記メディア対応ネットワーク要素によってダウンミックスされる、前記複数のオーディオストリームの数が、前記複数のオーディオストリームのオーディオミキシングパラメータに基づいて決定される、ステップと、
前記メディア対応ネットワーク要素から、前記ダウンミックスされた複数のオーディオストリームを受信するステップと、
前記会議通話を受信するために、前記ダウンミックスされた複数のオーディオストリームをデコーディングするステップと
を含む、方法。
【請求項8】
ユーザデバイスでメディアストリームを処理する方法であって、
会議通話の複数のオーディオストリームを処理するように構成される、メディア対応ネットワーク要素にメッセージを送信するステップであって、前記メッセージは、前記複数のオーディオストリームが前記メディア対応ネットワーク要素によってダウンミックスされるべきことを示す、ステップと、
前記メディア対応ネットワーク要素から、前記ダウンミックスされた複数のオーディオストリームを受信するステップと、
前記会議通話を受信するために、前記ダウンミックスされた複数のオーディオストリームをデコーディングするステップであって、
前記ダウンミックスされた複数のオーディオストリーム、および前記メディア対応ネットワーク要素によってダウンミックスされていない、前記会議通話のオーディオストリームのダウンミックスを実行するステップを含む、
ステップと
を含む、方法。
【請求項9】
請求項1～8のいずれか一項に記載の方法を行うように構成された装置。
【請求項10】
少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、請求項1～8のいずれか一項に記載の方法を行わせるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2021年9月17日に出願された米国特許出願第17／478，418号「METHOD AND APPARATUS FOR AUDIO MIXING」に対する優先権の利益を主張し、この出願は、2020年10月6日に出願された米国仮出願第63／088，300号「NETWORK BASED MEDIA PROCESSING FOR AUDIO AND VIDEO MIXING FOR TELECONFERENCING AND TELEPRESENCE FOR REMOTE TERMINALS」、および2020年12月11日に出願された米国仮出願第63／124，261号「AUDIO MIXING METHODS FOR TELECONFERENCING AND TELEPRESENCE FOR REMOTE TERMINALS」に対する優先権の利益を主張する。先行出願の開示は、参照によりその全体が本明細書に組み込まれる。
本出願は、2021年9月17日に出願された米国特許出願第17／478，418号「METHOD AND APPARATUS FOR AUDIO MIXING」に対する優先権の利益を主張し、この出願は、2020年10月6日に出願された米国仮出願第63／088，300号「NETWORK BASED MEDIA PROCESSING FOR AUDIO AND VIDEO MIXING FOR TELECONFERENCING AND TELEPRESENCE FOR REMOTE TERMINALS」、および2020年12月11日に出願された米国仮出願第63／124，261号「AUDIO MIXING METHODS FOR TELECONFERENCING AND TELEPRESENCE FOR REMOTE TERMINALS」に対する優先権の利益を主張する。先行出願の開示は、参照によりその全体が本明細書に組み込まれる。
【0002】
本開示は、一般に、ビデオコーディングに関係する実施形態を記載する。
【背景技術】
【0003】
本明細書において提供される背景技術の説明は、本開示の文脈を大まかに提示することを目的としている。ここに記名された発明者の仕事は、その仕事がこの背景技術セクションに記載されている程度まで、ならびにさもなければ出願時に従来技術として適格ではない可能性がある説明の態様は、本開示に対する従来技術として、明示的にも黙示的にも認められていない。
【0004】
ビデオのコーディングおよびデコーディングは、動き補償を伴うインターピクチャ予測を使用して実行することができる。非圧縮デジタルビデオは、一連のピクチャを含み得、各ピクチャは、例えば1920×1080の輝度サンプルおよび関連するクロミナンスサンプルの空間次元を有する。一連のピクチャは、例えば毎秒60ピクチャまたは60Hzの固定または可変ピクチャレート（非公式にはフレームレートとしても知られている）を有し得る。非圧縮ビデオは、かなりのビットレート要件を有する。例えば、サンプルあたり8ビットの1080p60 4：2：0ビデオ（60Hzのフレームレートで1920×1080の輝度サンプル分解能）は、1．5Gbit／sに近い帯域幅を必要とする。そのようなビデオの1時間は、600ギガバイトを超える記憶空間を必要とする。
【0005】
ビデオのコーディングおよびデコーディングの1つの目的は、圧縮による入力ビデオ信号の冗長性の低減となり得る。圧縮は、前述の帯域幅または記憶空間要件を、場合によっては2桁以上低減するのに役立ち得る。可逆圧縮および非可逆圧縮の両方、ならびにこれらの組合せが用いられ得る。可逆圧縮は、元の信号の正確なコピーが、圧縮された元の信号から再構成され得る技術を指す。非可逆圧縮を使用すると、再構成された信号は元の信号と同一ではない可能性があるが、元の信号と再構成された信号との間の歪みは、再構成された信号を目的の用途に有用なものにするほど十分小さい。ビデオの場合、非可逆圧縮が広く採用されている。許容される歪みの量は用途に依存し、例えば、特定の消費者ストリーミング用途のユーザは、テレビ配信用途のユーザよりも高い歪みを許容し得る。達成可能な圧縮比は、より高い容認可能／許容可能な歪みが、より高い圧縮比をもたらし得ることを反映し得る。
【0006】
ビデオエンコーダおよびデコーダは、例えば、動き補償、変換、量子化、およびエントロピーコーディングを含む、いくつかの広範なカテゴリからの技術を利用し得る。
【0007】
ビデオコーデック技術は、イントラコーディングとして知られる技術を含み得る。イントラコーディングでは、サンプル値は、以前に再構成された参照ピクチャからのサンプルまたは他のデータを参照することなく表される。一部のビデオコーデックでは、ピクチャは空間的にサンプルのブロックに細分化される。サンプルのすべてのブロックがイントラモードでコーディングされるとき、そのピクチャはイントラピクチャであり得る。イントラピクチャ、および独立デコーダリフレッシュピクチャなどのそれらの派生物は、デコーダ状態をリセットするために使用することができるので、コーディングされたビデオビットストリームおよびビデオセッション内の最初のピクチャとして、または静止画像として使用し得る。イントラブロックのサンプルは、変換にさらされる可能性があり、変換係数は、エントロピーコーディングの前に量子化され得る。イントラ予測は、変換前領域内のサンプル値を最小化する技術であり得る。場合によっては、変換後のDC値が小さいほど、かつAC係数が小さいほど、エントロピーコーディング後のブロックを表すために所与の量子化ステップのサイズにおいて必要とされるビットは少なくなる。
【0008】
例えば、MPEG－2生成コーディング技術から知られているような従来のイントラコーディングは、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、空間的に隣接し、デコーディング順で先行する、データブロックのエンコーディングおよび／またはデコーディング中に取得された周囲のサンプルデータおよび／またはメタデータから試行する技術を含む。このような技術は、以後「イントラ予測」技術と呼ばれる。少なくとも一部の場合には、イントラ予測は、再構成中の現在のピクチャからの参照データのみを使用し、参照ピクチャからの参照データは使用しないことに留意されたい。
【0009】
イントラ予測には多くの異なる形式があり得る。そのような技法のうちの2つ以上が所与のビデオコーディング技術において使用され得るとき、使用中の技術は、イントラ予測モードでコーディングされ得る。特定の場合には、モードはサブモードおよび／またはパラメータを有することができ、それらを個別にコーディングするか、またはモードのコードワードに含め得る。所与のモード、サブモード、および／またはパラメータの組合せに、どのコードワードを使用するかは、イントラ予測を介したコーディング効率向上に影響を与える可能性があり、そのため、コードワードをビットストリームに変換するために使用されるエントロピーコーディング技術も影響を与える可能性がある。
【0010】
イントラ予測の特定のモードは、H．264で導入され、H．265において改良され、共同探索モデル（JEM：joint exploration model）、多用途ビデオコーディング（VVC：versatile video coding）、およびベンチマークセット（BMS：benchmark set）などのより新しいコーディング技術においてさらに改良された。予測器ブロックは、既に利用可能なサンプルに属する隣接サンプル値を使用して形成することができる。隣接サンプルのサンプル値は、方向に従って予測器ブロックにコピーされる。使用中の方向への参照は、ビットストリーム内でコーディングされてもよく、またはそれ自体予測されてもよい。
【0011】
図1Aを参照すると、右下に描写されているのは、H．265の（35個のイントラモードのうちの33個の角度モードに対応する）33個の可能な予測器方向から知られる9つの予測器方向のサブセットである。矢印が収束する点（101）は、予測されているサンプルを表す。矢印は、そこからサンプルが予測されている方向を表す。例えば、矢印（102）は、サンプル（101）が水平から45度の角度で右上にある1つまたは複数のサンプルから予測されることを示す。同様に、矢印（103）は、サンプル（101）が水平から22．5度の角度でサンプル（101）の左下にある1つまたは複数のサンプルから予測されることを示す。
【0012】
さらに図1Aを参照すると、左上には、（太い破線によって示された）4×4サンプルの正方形ブロック（104）が描写されている。正方形ブロック（104）は16個のサンプルを含み、各々、「S」、Y次元のその位置（例えば、行インデックス）、およびX次元のその位置（例えば、列インデックス）でラベル付けされている。例えば、サンプルS21は、Y次元の（上から）2番目のサンプルであり、X次元の（左から）1番目のサンプルである。同様に、サンプルS44は、ブロック（104）内のY次元およびX次元の両方の4番目のサンプルである。ブロックはサイズが4×4サンプルなので、S44は右下にある。同様の番号付け方式に従う参照サンプルがさらに示されている。参照サンプルは、ブロック（104）に対してR、そのY位置（例えば、行インデックス）、およびX位置（列インデックス）でラベル付けされている。H．264およびH．265の両方において、予測サンプルは再構成中のブロックに隣接するので、負の値が使用される必要はない。
【0013】
イントラピクチャ予測は、シグナリングされた予測方向によって割り当てられるように、隣接サンプルからの参照サンプル値をコピーすることによって機能し得る。例えば、コーディングされたビデオビットストリームが、このブロックに関して、矢印（102）と一致する予測方向を示すシグナリングを含む、すなわち、サンプルが水平から45度の角度で右上にある1つまたは複数の予測サンプルから予測されると仮定する。その場合、同じ参照サンプルR05からサンプルS41、S32、S23、およびS14が予測される。次いで、参照サンプルR08からサンプルS44が予測される。
【0014】
特定の場合には、参照サンプルを計算するために、特に方向が45度によって均等に割り切れないときは、複数の参照サンプルの値は、例えば補間によって組み合わされてもよい。
【0015】
可能な方向の数は、ビデオコーディング技術が発展するにつれて増加している。H．264（2003年）では、9つの異なる方向を表すことができた。それがH．265（2013年）では33に増加し、本開示の時点では、JEM／VVC／BMSは最大65個の方向をサポートし得る。最も可能性が高い方向を識別するために実験が行われており、エントロピーコーディングの特定の技術は、それらの可能性が高い方向を少数のビットで表すために使用され、可能性が低い方向に関しては一定のペナルティを受け入れている。さらに、方向自体は、隣接する既にデコーディングされたブロックにおいて使用された隣接方向から予測され得る場合もある。
【0016】
図1Bは、経時的に増加する予測方向の数を示すためにJEMによる65のイントラ予測方向を示す概略図（105）を示している。
【0017】
方向を表す、コーディングされたビデオビットストリーム内のイントラ予測方向ビットのマッピングは、ビデオコーディング技術ごとに異なってもよく、例えば、予測方向のイントラ予測モードへの単純な直接マッピングから、コードワード、最も可能性が高いモードを含む複雑な適応方式、および同様の技術まで及び得る。しかしながら、すべての場合において、ビデオコンテンツ内で特定の他の方向よりも統計的に発生する可能性が低い特定の方向が存在し得る。ビデオ圧縮の目的は冗長性の低減であるので、それらの可能性が低い方向は、うまく機能するビデオコーディング技術では、可能性が高い方向よりも多いビット数によって表される。
【0018】
動き補償は、非可逆圧縮技術であり得、以前に再構成されたピクチャまたはその一部（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以降、MV）によって示された方向に空間的にシフトされた後に、新しく再構成されるピクチャまたはピクチャの一部の予測に使用される技術に関し得る。場合によっては、参照ピクチャは、現在再構成中のピクチャと同じであり得る。MVは、2つの次元XおよびY、または3つの次元を有することができ、3番目の次元は、使用中の参照ピクチャの指示である（後者は、間接的に時間次元であり得る）。
【0019】
いくつかのビデオ圧縮技術では、サンプルデータの特定の領域に適用可能なMVは、他のMVから、例えば、再構成中の領域に空間的に隣接し、デコーディング順でそのMVに先行するサンプルデータの別の領域に関連するMVから予測され得る。そうすることで、MVをコーディングするのに必要なデータの量を大幅に削減し得、その結果、冗長性が排除され、圧縮が増加する。例えば、カメラから引き出された入力ビデオ信号（自然ビデオとして知られている）をコーディングするとき、単一のMVが適用可能な領域よりも大きい領域が同様の方向に移動し、したがって、場合によっては、隣接する領域のMVから導出された同様のMVを使用して予測され得る統計的尤度があるため、MV予測は効果的に機能し得る。これにより、所与の領域に関して見つけられたMVは、周囲のMVから予測されたMVと同様であるか、または同じになり、その結果として、エントロピーコーディング後に、MVを直接コーディングする場合に使用されるよりも少ないビット数で表され得る。場合によっては、MV予測は、元の信号（すなわち、サンプルストリーム）から導出された信号（すなわち、MV）の可逆圧縮の一例であり得る。他の場合には、例えば、いくつかの周囲のMVから予測器を計算するときの丸め誤差のために、MV予測自体は非可逆であり得る。
【0020】
様々なMV予測メカニズムが、H．265／HEVC（ITU－T Rec．H．265、「High Efficiency Video Coding」、2016年12月）に記載されている。H．265が提供する多くのMV予測メカニズムのうち、以後「空間マージ」と呼ばれる技術が、本明細書で説明される。
【0021】
図1Cを参照すると、現在のブロック（111）は、空間的にシフトされた同じサイズの前のブロックから予測可能である、動き探索プロセス中にエンコーダによって見つけられたサンプルを含み得る。そのMVを直接コーディングする代わりに、MVは、A0、A1およびB0、B1、B2（それぞれ112から116）で表されている5つの周囲サンプルのいずれか1つに関連付けられたMVを使用して、1つまたは複数の参照ピクチャに関連付けられたメタデータから、例えば（デコーディング順）最新の参照ピクチャから導出され得る。H．265では、MV予測は、隣接するブロックが使用しているのと同じ参照ピクチャからの予測器を使用し得る。
【発明の概要】
【課題を解決するための手段】
【0022】
本開示の態様は、メディアストリームを処理するための装置を提供する。装置は、会議通話の複数のオーディオストリームを処理するように構成されたメディア対応ネットワーク要素に、メッセージを送信する処理回路を含む。メッセージは、複数のオーディオストリームが、メディア対応ネットワーク要素によってダウンミックスされるべきであることを指示する。メディア対応ネットワーク要素は、コンテンツタイプ、コンテンツ特性（メタデータによって記述される、またはプロトコルフィールド分析によって抽出される）、ネットワーク特性、および／またはネットワークステータスを考慮することによって、適切な処理（ルーティング、フィルタリング、適応、セキュリティ動作など）をインテリジェントに行う、コンテンツ対応ネットワークルータである。ダウンミックスは一般に、より多くのオーディオコンテンツチャネルを、より少ないスピーカにレンダリングするプロセスのことをいう。処理回路は、メディア対応ネットワーク要素から、ダウンミックスされた複数のオーディオストリームを受信し、会議通話を受信するために、ダウンミックスされた複数のオーディオストリームをデコーディングする。
【0023】
一実施形態では、複数のオーディオストリームが、メディア対応ネットワーク要素によって、単一のステレオストリームおよびモノストリームのうちの1つにダウンミックスされる。
【0024】
一実施形態では、複数のオーディオストリームが、セッション記述プロトコル（SDP）メッセージに含まれる複数のオーディオミキシングパラメータに基づいてダウンミックスされる。
【0025】
一実施形態では、複数のオーディオミキシングパラメータは、ユーザデバイスに表示される視野に基づいて設定される。
【0026】
一実施形態では、複数のオーディオストリームの第1のサブセットのそれぞれが、1つ以上の360度没入型ビデオストリームのうちのそれぞれ1つに関連付けられる。
【0027】
一実施形態では、複数のオーディオストリームの第2のサブセットのそれぞれが、1つ以上のオーバーレイ・ビデオストリームのうちのそれぞれ1つに関連付けられる。
【0028】
一実施形態では、複数のオーディオストリームの第2のサブセットのそれぞれのオーディオミキシングパラメータは、複数のオーディオストリームの第2のサブセットのそれぞれ1つに関連付けられた、オーバーレイ・ビデオストリームの優先度に基づいて設定される。
【0029】
一実施形態では、複数のオーディオストリームの第2のサブセットの数は、複数のオーディオストリームの第2のサブセットに関連付けられた、1つ以上のオーバーレイ・ビデオストリームの1つ以上の優先度に基づいて決定される。
【0030】
一実施形態では、メディア対応ネットワーク要素によってダウンミックスされる複数のオーディオストリームの数は、複数のオーディオストリームのオーディオミキシングパラメータに基づいて決定される。
【0031】
一実施形態では、処理回路は、ダウンミックスされた複数のオーディオストリーム、およびメディア対応ネットワーク要素によってダウンミックスされていない会議通話のオーディオストリームのダウンミックスを実行する。
【0032】
本開示の態様は、メディアストリームを処理するための方法を提供する。本方法では、ユーザデバイスから、会議通話の複数のオーディオストリームを処理するように構成されたメディア対応ネットワーク要素にメッセージが送信される。メッセージは、複数のオーディオストリームが、メディア対応ネットワーク要素によってダウンミックスされるべきであることを指示する。ダウンミックスされた複数のオーディオストリームはメディア対応ネットワーク要素から受信され、会議通話を受信するためにデコーディングされる。
【0033】
本開示の態様はまた、少なくとも1つのプロセッサによって実行されるときに、少なくとも1つのプロセッサに、メディアストリームを処理する方法の任意の1つまたは組合せを実行させる命令を記憶する非一時的コンピュータ可読媒体を提供する。
【0034】
開示されている主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになる。
【図面の簡単な説明】
【0035】
【図1A】イントラ予測モードの例示的なサブセットの概略図である。
【図1B】例示的なイントラ予測方向の図である。
【図1C】一例における現在のブロックおよびその周囲の空間マージ候補の概略図である。
【図2】一実施形態による通信システムの簡略ブロック図の概略図である。
【図3】一実施形態による通信システムの簡略ブロック図の概略図である。
【図4】一実施形態によるデコーダの簡略ブロック図の概略図である。
【図5】一実施形態によるエンコーダの簡略ブロック図の概略図である。
【図6】別の実施形態によるエンコーダのブロック図を示す。
【図7】別の実施形態によるデコーダのブロック図を示す。
【図8】本開示の一実施形態による例示的な没入型テレビ会議通話を示す。
【図9】本開示の一実施形態による別の例示的な没入型テレビ会議通話を示す。
【図10】本開示の一実施形態によるさらに別の例示的な没入型テレビ会議通話を示す。
【図11】一実施形態による例示的なフローチャートの図である。
【図12】一実施形態によるコンピュータシステムの概略図である。
【発明を実施するための形態】
【0036】
I．ビデオデコーダおよびエンコーダシステム
図2は、本開示の一実施形態による通信システム（200）の簡略ブロック図を示す。通信システム（200）は、例えばネットワーク（250）を介して互いに通信し得る複数の端末デバイスを含む。例えば、通信システム（200）は、ネットワーク（250）を介して相互接続された端末デバイス（210）および（220）の第1の対を含む。図2の例において、端末デバイス（210）および（220）の第1の対は、データの一方向送信を実行する。例えば、端末デバイス（210）は、ネットワーク（250）を介して他の端末デバイス（220）に送信するためにビデオデータ（例えば、端末デバイス（210）によってキャプチャされたビデオピクチャのストリーム）をコーディングし得る。エンコーディングされたビデオデータは、1つまたは複数のコーディングされたビデオビットストリームの形式で送信され得る。端末デバイス（220）は、ネットワーク（250）からコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコーディングしてビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示し得る。一方向データ送信は、メディア供給用途などでは一般的であり得る。
図2は、本開示の一実施形態による通信システム（200）の簡略ブロック図を示す。通信システム（200）は、例えばネットワーク（250）を介して互いに通信し得る複数の端末デバイスを含む。例えば、通信システム（200）は、ネットワーク（250）を介して相互接続された端末デバイス（210）および（220）の第1の対を含む。図2の例において、端末デバイス（210）および（220）の第1の対は、データの一方向送信を実行する。例えば、端末デバイス（210）は、ネットワーク（250）を介して他の端末デバイス（220）に送信するためにビデオデータ（例えば、端末デバイス（210）によってキャプチャされたビデオピクチャのストリーム）をコーディングし得る。エンコーディングされたビデオデータは、1つまたは複数のコーディングされたビデオビットストリームの形式で送信され得る。端末デバイス（220）は、ネットワーク（250）からコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコーディングしてビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示し得る。一方向データ送信は、メディア供給用途などでは一般的であり得る。
【0037】
別の例では、通信システム（200）は、例えばビデオ会議中に発生する可能性があるコーディングされたビデオデータの双方向送信を実行する、端末デバイス（230）および（240）の第2のペアを含む。データの双方向送信のために、一例では、端末デバイス（230）および（240）の各端末デバイスは、ネットワーク（250）を介して端末デバイス（230）および（240）の他方の端末デバイスに送信するために、ビデオデータ（例えば、端末デバイスによってキャプチャされたビデオピクチャのストリーム）をコーディングし得る。端末デバイス（230）および（240）の各端末デバイスはまた、端末デバイス（230）および（240）の他方の端末デバイスによって送信されたコーディングされたビデオデータを受信することができ、ビデオピクチャを復元するためにコーディングビデオデータをデコーディングすることができ、復元されたビデオデータに従ってアクセス可能な表示デバイスでビデオピクチャを表示することができる。
【0038】
図2の例において、端末デバイス（210）、（220）、（230）および（240）は、サーバ、パーソナルコンピュータおよびスマートフォンとして示され得るが、本開示の原理はそのように限定され得ない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤおよび／または専用ビデオ会議機器を伴う用途が考えられる。ネットワーク（250）は、例えば有線（ワイヤード）および／または無線通信ネットワークを含む、端末デバイス（210）、（220）、（230）および（240）間でコーディングされたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（250）は、回路交換チャネルおよび／またはパケット交換チャネルでデータを交換し得る。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはインターネットを含む。本議論の目的のために、ネットワーク（250）のアーキテクチャおよびトポロジは、以下に本明細書で説明されない限り、本開示の動作にとって重要ではない場合がある。
【0039】
図3は、開示された主題の用途の一例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示す。開示された主題は、例えばビデオ会議、デジタルTV、CD、DVD、およびメモリスティックなどを含むデジタル媒体への圧縮ビデオの記憶を含む、他のビデオ対応用途にも等しく適用可能であり得る。
【0040】
ストリーミングシステムは、例えば非圧縮のビデオピクチャのストリーム（302）を作成するビデオソース（301）、例えばデジタルカメラを含むことができるキャプチャサブシステム（313）を含んでもよい。一例では、ビデオピクチャのストリーム（302）は、デジタルカメラによって撮られたサンプルを含む。エンコーディングされたビデオデータ（304）（またはコーディングされたビデオビットストリーム）と比較して高いデータ量を強調するために太線として示されるビデオピクチャのストリーム（302）は、ビデオソース（301）に接続されるビデオエンコーダ（303）を含む電子デバイス（320）によって処理され得る。ビデオエンコーダ（303）は、以下でより詳細に説明されるように、開示された主題の態様を可能にする、または実施するためにハードウェア、ソフトウェアまたはこれらの組合せを含み得る。エンコーディングされたビデオデータ（304）（またはエンコーディングされたビデオビットストリーム（304））は、ビデオピクチャのストリーム（302）と比較してより低いデータ量を強調するために細線として示されており、将来の使用のためにストリーミングサーバ（305）に記憶され得る。図3のクライアントサブシステム（306）および（308）などの1つまたは複数のストリーミングクライアントサブシステムは、エンコーディングされたビデオデータ（304）のコピー（307）および（309）を検索するためにストリーミングサーバ（305）にアクセスし得る。クライアントサブシステム（306）は、例えば電子デバイス（330）内にビデオデコーダ（310）を含み得る。ビデオデコーダ（310）は、エンコーディングされたビデオデータの入力コピー（307）をデコーディングし、ディスプレイ（312）（例えば、ディスプレイ画面）または他のレンダリングデバイス（図示せず）上にレンダリングされ得るビデオピクチャ（311）の出力ストリームを生成する。一部のストリーミングシステムにおいて、エンコーディングされたビデオデータ（304）、（307）および（309）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮規格に従ってエンコーディングされ得る。それらの規格の例は、ITU－T勧告H．265を含む。一例では、開発中のビデオコーディング規格は、非公式に多用途ビデオコーディング（VVC：Versatile Video Coding）として知られている。開示された主題は、VVCの文脈で使用され得る。
【0041】
電子デバイス（320）および（330）は、他の構成要素（図示せず）を含むことができることに留意されたい。例えば、電子デバイス（320）はビデオデコーダ（図示せず）を含むことができ、電子デバイス（330）はビデオエンコーダ（図示せず）も含むことができる。
【0042】
図4は、本開示の一実施形態に係るビデオデコーダ（410）のブロック図を示している。ビデオデコーダ（410）は、電子デバイス（430）に含まれ得る。電子デバイス（430）は、受信機（431）（例えば、受信回路）を含み得る。ビデオデコーダ（410）は、図3の例のビデオデコーダ（310）の代わりに使用され得る。
【0043】
受信機（431）は、ビデオデコーダ（410）によって復号される1つ以上のコーディングされたビデオシーケンスを受信することができ、同じまたは別の実施形態では、一度に1つのコーディングされたビデオシーケンスであり、各コーディングされたビデオシーケンスの復号は、他のコーディングされたビデオシーケンスから独立している。コーディングされたビデオシーケンスは、チャネル（401）から受信され得、チャネル（401）は、エンコーディングされたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであり得る。受信機（431）は、それぞれの使用エンティティ（図示せず）に転送され得る、他のデータ、例えばコーディングされたオーディオデータストリームおよび／または補助データストリームと共に、エンコーディングされたビデオデータを受信し得る。受信機（431）は、コーディングされたビデオシーケンスを他のデータから分離し得る。ネットワークジッタに対抗するために、バッファメモリ（415）が、受信機（431）とエントロピーデコーダ／パーサ（420）（以下「パーサ（420）」）との間に接続され得る。特定の用途では、バッファメモリ（415）がビデオデコーダ（410）の一部である。他の用途では、バッファメモリがビデオデコーダ（410）の外部にあり得る（図示せず）。さらに他の用途では、例えばネットワークジッタに対抗するために、ビデオデコーダ（410）の外部にバッファメモリ（図示せず）が存在し、加えて、例えばプレイアウトタイミングを処理するために、ビデオデコーダ（410）の内部に他のバッファメモリ（415）が存在し得る。受信機（431）が十分な帯域幅および制御性を有する記憶／転送デバイスから、またはアイソシンクロナスネットワークから、データを受信しているとき、バッファメモリ（415）を必要としない場合がある、または小さくされ得る。インターネットなどのベストエフォート型のパケットネットワークで使用するためには、バッファメモリ（415）が必要とされることがあり、比較的大きくすることができ、有利には適応的なサイズにすることができ、少なくとも部分的にビデオデコーダ（410）の外部のオペレーティングシステムまたは同様の要素（図示せず）に実装されてもよい。
【0044】
ビデオデコーダ（410）は、コーディングされたビデオシーケンスからシンボル（421）を再構成するためのパーサ（420）を含み得る。これらのシンボルのカテゴリは、ビデオデコーダ（410）の動作を管理するために使用される情報と、場合によっては、図4に示されているように、電子デバイス（430）の不可欠な部分ではないが電子デバイス（430）に接続され得るレンダリングデバイス（412）などのレンダリングデバイス（例えば、ディスプレイ画面）を制御するための情報と、を含む。レンダリングデバイスに関する制御情報は、補足拡張情報（SEIメッセージ）またはビデオユーザビリティ情報（VUI：Video Usability Information）パラメータセットフラグメント（図示せず）の形式であってもよい。パーサ（420）は、受信したコーディングされたビデオシーケンスを解析／エントロピーデコーディングし得る。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術または規格に準拠し得ると共に、可変長コーディング、ハフマンコーディング、および文脈依存性を伴うまたは伴わない算術コーディングなどを含む様々な原理に従い得る。パーサ（420）は、コーディングされたビデオシーケンスから、ビデオデコーダ内のピクセルのサブグループのうちの少なくとも1つに関するサブグループパラメータのセットを、そのグループに対応する少なくとも1つのパラメータに基づいて抽出し得る。サブグループは、ピクチャのグループ（GOP：Group of Pictures）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（CU：Coding Unit）、ブロック、変換ユニット（TU：Transform Unit）、および予測ユニット（PU：Prediction Unit）などを含み得る。パーサ（420）はまた、コーディングされたビデオシーケンスから、変換係数、量子化パラメータ値、MVなどのような情報も抽出し得る。
【0045】
パーサ（420）は、シンボル（421）を作成するように、バッファメモリ（415）から受信したビデオシーケンスに対してエントロピー復号／構文解析動作を実行し得る。
【0046】
シンボル（421）の再構成は、コーディングされたビデオピクチャまたはその一部のタイプ（インターピクチャおよびイントラピクチャ、インターブロックおよびイントラブロックなど）、および他の要因に応じて、複数の異なるユニットに関与させることができる。どのユニットをどのように関与させるかは、パーサ（420）によってコーディングされたビデオシーケンスから解析されたサブグループ制御情報によって制御され得る。パーサ（420）と以下の複数のユニットとの間のこのようなサブグループ制御情報の流れは、明確にするために図示されていない。
【0047】
既に述べられた機能ブロックを超えて、ビデオデコーダ（410）は、以下に説明されるように、概念的にいくつかの機能ユニットに細分することができる。商業的な制約の下で動作する実際の実施態様では、これらのユニットの多くは互いに密接に相互作用し、互いに、少なくとも部分的に統合され得る。しかしながら、開示された主題を説明するために、以下の機能ユニットへの概念的な細分化が適切である。
【0048】
最初のユニットは、スケーラ／逆変換ユニット（451）である。スケーラ／逆変換ユニット（451）は、量子化された変換係数と、使用する変換、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報とをパーサ（420）からシンボル（421）として受信する。スケーラ／逆変換ユニット（451）は、アグリゲータ（455）に入力され得るサンプル値を含むブロックを出力することができる。
【0049】
場合によっては、スケーラ／逆変換（451）の出力サンプルは、イントラコーディングされたブロックに関係することがあり、つまり、以前に再構成されたピクチャからの予測情報を使用していないが、現在のピクチャの以前に再構成された部分からの予測情報を使用することができるブロックである。そのような予測情報は、イントラピクチャ予測ユニット（452）によって与えられ得る。場合によっては、イントラピクチャ予測ユニット（452）は、現在のピクチャバッファ（458）からフェッチされた周辺の既に再構成された情報を使用して、再構成中のブロックと同じサイズおよび形状のブロックを生成する。現在のピクチャバッファ（458）は、例えば、部分的に再構成された現在のピクチャおよび／または完全に再構成された現在のピクチャをバッファリングする。アグリゲータ（455）は、場合によっては、サンプルごとに、イントラ予測ユニット（452）が生成した予測情報を、スケーラ／逆変換ユニット（451）によって提供された出力サンプル情報に追加する。
【0050】
他の場合には、スケーラ／逆変換ユニット（451）の出力サンプルは、インターコーディングされ潜在的に動き補償されたブロックに関係することができる。そのような場合、動き補償予測ユニット（453）は、予測のために使用されるサンプルをフェッチするために、参照ピクチャメモリ（457）にアクセスし得る。ブロックに関係するシンボル（421）に従って、フェッチされたサンプルを動き補償した後、これらのサンプル（この場合、残差サンプルまたは残差信号と呼ばれる）は、出力サンプル情報を生成するために、アグリゲータ（455）によってスケーラ／逆変換ユニット（451）の出力に追加され得る。動き補償予測ユニット（453）が予測サンプルをフェッチする参照ピクチャメモリ（457）内のアドレスは、例えばX、Y、および参照ピクチャ成分を有し得るシンボル（421）の形式で動き補償予測ユニット（453）に利用可能なMVによって制御され得る。動き補償はまた、サブサンプルの正確なMVが使用されているときに参照ピクチャメモリ（457）から取得されたサンプル値の補間、MV予測メカニズムなども含むことができる。
【0051】
アグリゲータ（455）の出力サンプルは、ループフィルタユニット（456）において様々なループフィルタリング技術の対象となり得る。ビデオ圧縮技術は、コーディングされたビデオシーケンス（コーディングビデオビットストリームとも呼ばれる）に含まれるパラメータによって制御され、パーサ（420）からのシンボル（421）としてループフィルタユニット（456）に利用可能になるインループフィルタ技術を含むことができるが、コーディングピクチャまたはコーディングされたビデオシーケンスの前の（復号順の）部分の復号中に取得されたメタ情報に応答することもできるほか、以前に再構成およびループフィルタリングされたサンプル値に応答することもできる。
【0052】
ループフィルタユニット（456）の出力は、レンダリングデバイス（412）に出力することができ、将来のインターピクチャ予測で使用するために参照ピクチャメモリ（457）に格納することができる、サンプルストリームであってもよい。
【0053】
特定のコーディングされたピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用することができる。例えば、現在のピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが（例えば、パーサ（420）によって）参照ピクチャとして識別されると、現在のピクチャバッファ（458）は参照ピクチャメモリ（457）の一部になることができ、次のコーディングされたピクチャの再構成を開始する前に、新しい現在のピクチャバッファを再割り当てすることができる。
【0054】
ビデオデコーダ（410）は、ITU－T Rec．H．265などの規格における所定のビデオ圧縮技術に従ってデコーディング動作を実行し得る。コーディングされたビデオシーケンスが、ビデオ圧縮技術または規格の構文と、ビデオ圧縮技術または規格において文書化されたプロファイルとの両方を順守するという意味で、コーディングされたビデオシーケンスは、使用されているビデオ圧縮技術または規格によって指定された構文に準拠し得る。具体的には、プロファイルは、ビデオ圧縮技術または規格で使用可能なすべてのツールから、そのプロファイル下で使用するために利用可能な唯一のツールとしていくつかのツールを選択し得る。また、準拠するために必要なことは、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術または規格のレベルによって定義された範囲内にあることであり得る。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば毎秒メガサンプルで測定される）、最大参照ピクチャサイズなどを制限する。レベルによって設定される制限は、場合によっては、仮想参照デコーダ（HRD）仕様およびコーディングされたビデオシーケンスでシグナリングされたHRDバッファ管理のためのメタデータによってさらに制限され得る。
【0055】
一実施形態では、受信機（431）は、コーディングされたビデオとともに追加の（冗長な）データを受け取ってもよい。追加のデータは、コーディングされたビデオシーケンスの一部として含まれ得る。追加のデータは、データを適切にデコーディングするために、および／または元のビデオデータをより正確に再構成するために、ビデオデコーダ（410）によって使用され得る。追加データは、例えば、時間的、空間的、または信号対雑音比（SNR）強化層、冗長スライス、冗長ピクチャ、順方向エラー訂正コードなどの形態であり得る。
【0056】
図5は、本開示の一実施形態によるビデオエンコーダ（503）のブロック図を示している。ビデオエンコーダ（503）は電子デバイス（520）に含まれる。電子デバイス（520）は送信機（540）（例えば、送信回路）を含む。ビデオエンコーダ（503）は、図3の例のビデオエンコーダ（303）の代わりに使用され得る。
【0057】
ビデオエンコーダ（503）は、ビデオエンコーダ（503）によってコーディングされるべきビデオ画像をキャプチャし得るビデオソース（501）（図5の例では電子デバイス（520）の一部ではない）からビデオサンプルを受信し得る。他の例では、ビデオソース（501）が電子デバイス（520）の一部である。
【0058】
ビデオソース（501）は、任意の適切なビット深度（例えば、8ビット、10ビット、12ビット、…）、任意の色空間（例えば、BT．601 Y CrCB、RGB、…）、および任意の適切なサンプリング構造（例えば、Y CrCb 4：2：0、Y CrCb 4：4：4）であり得るデジタルビデオサンプルストリームの形式でビデオエンコーダ（503）によってコーディングされるソースビデオシーケンスを提供することができる。メディア提供システムでは、ビデオソース（501）が既に準備されたビデオを記憶する記憶デバイスであってもよい。ビデオ会議システムにおいて、ビデオソース（501）は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラであってもよい。ビデオデータは、順番に見られたときに動きを伝える複数の個々のピクチャとして提供され得る。ピクチャ自体は、ピクセルの空間配列として編成されてよく、各ピクセルは、使用中のサンプリング構造、色空間などに応じて、1つまたは複数のサンプルを含むことができる。当業者は、ピクセルとサンプルとの間の関係を容易に理解することができる。以下の説明は、サンプルに焦点を当てている。
【0059】
一実施形態によれば、ビデオエンコーダ（503）は、リアルタイムで、または用途によって要求される任意の他の時間制約の下で、ソースビデオシーケンスのピクチャをコーディングされたビデオシーケンス（543）にコーディングおよび圧縮し得る。適切なコーディング速度を実施することは、コントローラ（550）の1つの機能である。一部の実施形態において、コントローラ（550）は、以下で説明されるように他の機能ユニットを制御し、他の機能ユニットに機能的に接続される。明確にするために、接続は示されていない。コントローラ（550）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、…）、ピクチャサイズ、ピクチャのグループ（GOP）レイアウト、および最大MV許容参照領域などを含み得る。コントローラ（550）は、特定のシステム設計のために最適化されたビデオエンコーダ（503）に関連する他の適切な機能を有するように構成することができる。
【0060】
いくつかの実施形態では、ビデオエンコーダ（503）は、コーディングループで動作するように構成される。過度に簡略化した説明として、一例では、コーディングループは、ソースコーダ（530）（例えば、コーディングされるべき入力ピクチャと参照ピクチャとに基づいて、シンボルストリームなどのシンボルを生成することに関与する）と、ビデオエンコーダ（503）に組み込まれた（ローカル）デコーダ（533）と、を含み得る。デコーダ（533）は、（リモート）デコーダも生成するのと同様の態様で（開示された主題で考慮されるビデオ圧縮技術においてシンボルとコーディングされたビデオビットストリームとの間の任意の圧縮が可逆的であるとき）サンプルデータを生成するためにシンボルを再構成する。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（534）に入力される。シンボルストリームのデコーディングは、デコーダの位置（ローカルまたはリモート）に関係なくビットイグザクトな結果をもたらすため、参照ピクチャメモリ（534）の内容も、ローカルエンコーダとリモートエンコーダとの間でビットイグザクトである。言い換えると、エンコーダの予測部分は、デコーディング中に予測を使用するときにデコーダが「見る」のとまったく同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャの同期性（および、例えばチャネルエラーのために同期性を維持できない場合に生じるドリフト）のこの基本原理は、いくつかの関連技術においても使用される。
【0061】
「ローカル」デコーダ（533）の動作は、図4に関連して上記で既に詳細に説明された、ビデオデコーダ（410）などの「リモート」デコーダの動作と同じであり得る。しかしながら、図4も簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（545）およびパーサ（420）によるシンボルの、コーディングされたビデオシーケンスへのエンコーディング／コーディングされたビデオシーケンスからのデコーディングが可逆的であり得るため、バッファメモリ（415）およびパーサ（420）を含む、ビデオデコーダ（410）のエントロピーデコーディング部分は、ローカルデコーダ（533）では完全に実施されなくてもよい。
【0062】
この時点で行われ得る観察は、デコーダに存在する構文解析／エントロピー復号以外の任意のデコーダ技術もまた、実質的に同一の機能形態で、対応するエンコーダ内に必ず存在する必要があるということである。このため、開示された主題は、デコーダの動作に焦点を当てる。エンコーダ技術の説明は、包括的に記載されたデコーダ技術の逆であるため、省略することができる。特定の領域においてのみ、より詳細な説明が必要とされ、以下に提供される。
【0063】
動作中、いくつかの例では、ソースコーダ（530）は、「参照ピクチャ」として指定されたビデオシーケンスからの1つ以上の以前にコーディングされたピクチャを参照して入力ピクチャを予測的にコーディングする、動き補正予測コーディングを実行し得る。このようにして、コーディングエンジン（532）は、入力ピクチャの画素ブロックと、入力ピクチャへの（1つまたは複数の）予測参照として選択され得る（1つまたは複数の）参照ピクチャの画素ブロックとの差をコーディングする。
【0064】
ローカルビデオデコーダ（533）は、ソースコーダ（530）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータを復号し得る。コーディングエンジン（532）の動作は、好適には非可逆プロセスであり得る。コーディングされたビデオデータがビデオデコーダ（図5に図示せず）でデコーディングされ得るとき、再構成されたビデオシーケンスは通常、いくらかの誤差を有するソースビデオシーケンスの複製であり得る。ローカルビデオデコーダ（533）は、参照ピクチャに対してビデオデコーダによって実行され得るデコーディングプロセスを複製し、再構成された参照ピクチャを参照ピクチャキャッシュ（534）に記憶させ得る。このようにして、ビデオエンコーダ（503）は、遠端ビデオデコーダによって取得される（送信エラーがない）再構成された参照ピクチャとして共通の内容を有する再構成された参照ピクチャのコピーをローカルに格納することができる。
【0065】
予測器（535）は、コーディングエンジン（532）の予測検索を実行し得る。すなわち、コーディングされるべき新しいピクチャに関して、予測器（535）は、新しいピクチャのための適切な予測参照として機能し得るサンプルデータ（候補参照ピクセルブロックとしての）、または参照ピクチャMVおよびブロック形状などの特定のメタデータに関して参照ピクチャメモリ（534）を探索し得る。予測器（535）は、適切な予測参照を見つけるために、サンプルブロック・ピクセルブロックごとに（on a sample block－by－pixel block basis）動作し得る。場合によっては、予測器（535）によって得られた検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（534）に格納された複数の参照ピクチャから引き出された予測参照を有してもよい。
【0066】
コントローラ（550）は、例えば、ビデオデータをコーディングするために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（530）のコーディング動作を管理し得る。
【0067】
前述のすべての機能ユニットの出力は、エントロピーコーダ（545）においてエントロピーコーディングを受けることがある。エントロピーコーダ（545）は、ハフマンコーディング、可変長コーディング、算術コーディングなどの技術に従ってシンボルを可逆圧縮することにより、様々な機能ユニットによって生成されたシンボルをコーディングされたビデオシーケンスに変換する。
【0068】
送信機（540）は、コーディングされたビデオデータを格納する記憶デバイスへのハードウェア／ソフトウェアリンクであり得る通信チャネル（560）を介した送信に備えるために、エントロピーコーダ（545）によって作成された（1つまたは複数の）コーディングされたビデオシーケンスをバッファリングし得る。送信機（540）は、ビデオコーダ（503）からのコーディングされたビデオデータを、送信される他のデータ、例えば、コーディングされたオーディオデータおよび／または補助データストリーム（ソースは図示せず）とマージし得る。
【0069】
コントローラ（550）は、ビデオエンコーダ（503）の動作を管理し得る。コーディング中、コントローラ（550）は、特定のコーディングされたピクチャのタイプを各コーディングされたピクチャに割り当ててもよく、このピクチャのタイプは、それぞれのピクチャに適用され得るコーディング技術に影響を及ぼし得る。例えば、ピクチャは、以下のピクチャタイプのうちの1つとして割り当てられることが多い。
【0070】
イントラピクチャ（Iピクチャ）は、シーケンス内の任意の他のピクチャを予測ソースとして使用せずに、コーディングおよび復号され得るピクチャであり得る。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ（「IDR」）ピクチャを含む、様々なタイプのイントラピクチャを可能にする。当業者は、Iピクチャのこれらの変形、ならびにそれらのそれぞれの用途および機能を認識している。
【0071】
予測ピクチャ（Pピクチャ）は、各ブロックのサンプル値を予測するために最大で1つのMVと参照インデックスとを使用する、イントラ予測またはインター予測を使用してコーディングおよび復号され得るものであり得る。
【0072】
双方向予測ピクチャ（Bピクチャ）は、各ブロックのサンプル値を予測するために最大で2つのMVと参照インデックスとを使用する、イントラ予測またはインター予測を使用してコーディングおよび復号され得るものであり得る。同様に、複数予測ピクチャは、単一ブロックの再構成のために3つ以上の参照ピクチャおよび関連するメタデータを使用することができる。
【0073】
ソースピクチャは、一般に、複数のサンプルブロック（例えば、各々、4x4、8x8、4x8、または16x16のブロック）に空間的に細分化され、ブロックごとにコーディングされ得る。ブロックは、ブロックのそれぞれのピクチャに適用されるコーディング割当てによって決定されるように、他の（既にコーディングされた）ブロックを参照して予測的にコーディングされ得る。例えば、Iピクチャのブロックは、非予測的にコーディングされてもよく、またはそれらは、同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされてもよい（空間予測もしくはイントラ予測）。Pピクチャのピクセルブロックは、1つの以前にコーディングされた参照ピクチャを参照して、空間予測を介して、または時間予測を介して、予測的にコーディングされてもよい。Bピクチャのブロックは、1つまたは2つの以前にコーディングされた参照ピクチャを参照して、空間予測を介して、または時間予測を介して、予測的にコーディングされ得る。
【0074】
ビデオエンコーダ（503）は、例えばITU－T Rec．H．265などの所定のビデオコーディング技術または規格に従って、コーディング動作を実行し得る。その動作において、ビデオエンコーダ（503）は、入力ビデオシーケンスの時間的および空間的冗長性を利用する予測コーディング動作を含む様々な圧縮動作を実行し得る。したがって、コーディングされたビデオデータは、使用されているビデオコーディング技術または規格によって指定されたシンタックスに準拠することができる。
【0075】
一実施形態では、送信機（540）は、コーディングされたビデオとともに追加データを送信し得る。ソースコーダ（530）は、そのようなデータをコーディングされたビデオシーケンスの一部として含み得る。追加データは、時間／空間／SNR強化層、冗長ピクチャおよびスライスなどの他の形態の冗長データ、SEIメッセージ、VUIパラメータセットフラグメントなどを含み得る。
【0076】
ビデオは、複数のソースピクチャ（ビデオピクチャ）として時系列にキャプチャされ得る。（イントラ予測と省略されることが多い）イントラピクチャ予測は、所与のピクチャ内の空間の相関関係を利用し、インターピクチャ予測は、ピクチャ間の（時間または他の）相関関係を利用する。一例では、現在のピクチャと呼ばれるエンコーディング／デコーディング中の特定のピクチャはブロックに分割される。現在のピクチャ内のブロックが、ビデオ内の以前にコーディングされ、まだバッファリングされている参照ピクチャ内の参照ブロックと同様である場合、現在のピクチャ内のブロックは、MVと呼ばれるベクトルによってコーディングされ得る。MVは、参照ピクチャ内の参照ブロックを指し示し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第3の次元を有することができる。
【0077】
いくつかの実施形態では、インターピクチャ予測において双予測技術を使用することができる。双予測技術によれば、両方ともデコーディング順でビデオ内で現在のピクチャより前にある（が、表示順でそれぞれ過去および未来のものであってもよい）第1の参照ピクチャおよび第2の参照ピクチャなどの2つの参照ピクチャが使用される。現在のピクチャ内のブロックは、第1の参照ピクチャ内の第1の参照ブロックを指す第1のMVと、第2の参照ピクチャ内の第2の参照ブロックを指す第2のMVと、によってコーディングされ得る。ブロックは、第1の参照ブロックと第2の参照ブロックとの組合せによって予測することができる。
【0078】
さらに、コーディング効率を改善するために、インターピクチャ予測にマージモード技術を使用することができる。
【0079】
本開示のいくつかの実施形態によれば、インターピクチャ予測およびイントラピクチャ予測などの予測は、ブロック単位で実行される。例えば、HEVC規格によれば、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（CTU）に分割され、ピクチャ内のCTUは、64×64ピクセル、32×32ピクセル、または16×16ピクセルなどの同じサイズを有する。一般に、CTUは、1つのルマCTBおよび2つのクロマCTBである3つのコーディングツリーブロック（CTB：coding tree block）を含む。各CTUは、1つまたは複数のコーディングユニット（CU：coding unit）に再帰的に四分木分割され得る。例えば、64×64ピクセルのCTUは、64×64ピクセルの1個のCU、または32×32ピクセルの4個のCU、または16×16ピクセルの16個のCUに分割されてもよい。一例では、インター予測タイプまたはイントラ予測タイプなどのCUの予測タイプを決定するために、各CUが分析される。CUは、時間および／または空間の予測可能性に応じて、1つまたは複数の予測ユニット（PU）に分割される。一般に、各PUは、1つのルマ予測ブロック（PB）および2つのクロマPBを含む。一実施形態では、コーディング（エンコーディング／デコーディング）における予測動作は、予測ブロックの単位で実行される。予測ブロックの例としてルマ予測ブロックを使用すると、予測ブロックは、8×8画素、16×16画素、8×16画素、16×8画素などの画素の値（例えば、ルマ値）の行列を含む。
【0080】
図6は、本開示の他の実施形態に係るビデオエンコーダ（603）の図を示している。ビデオエンコーダ（603）は、ビデオピクチャのシーケンスにおける現在のビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックをコーディングされたビデオシーケンスの一部であるコーディングされたピクチャにエンコーディングするように構成される。一例において、ビデオエンコーダ（603）は、図3の例のビデオエンコーダ（303）の代わりに使用される。
【0081】
HEVCの例では、ビデオエンコーダ（603）は、8×8サンプルなどの予測ブロックなど、処理ブロックのサンプル値の行列を受信する。ビデオエンコーダ（603）は、処理ブロックが例えばレート歪み最適化を使用して、イントラモード、インターモード、または双予測モードのいずれを使用して最良にコーディングされるか否かを決定する。処理ブロックがイントラモードでコーディングされるべき場合、ビデオエンコーダ（603）は、処理ブロックをコーディングされたピクチャにエンコーディングするために、イントラ予測技術を使用し得、処理ブロックがインターモードまたは双予測モードでコーディングされるべき場合、ビデオエンコーダ（603）は、処理ブロックをコーディングされたピクチャにエンコーディングするために、それぞれインター予測技術または双予測技術を使用し得る。特定のビデオコーディング技術では、マージモードはインターピクチャ予測サブモードであり得、MVは、予測器の外部のコーディングされたMV成分の恩恵なしに1つまたは複数のMV予測器から導出される。特定の他のビデオコーディング技術では、対象ブロックに適用可能なMV成分が存在し得る。一例では、ビデオエンコーダ（603）は、処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの他の構成要素を含む。
【0082】
図6の例において、ビデオエンコーダ（603）は、図6に示されているように互いに接続されるインターエンコーダ（630）、イントラエンコーダ（622）、残差計算器（623）、スイッチ（626）、残差エンコーダ（624）、汎用コントローラ（621）、および、エントロピーエンコーダ（625）を含む。
【0083】
インターエンコーダ（630）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、そのブロックを参照ピクチャ内の1つ以上の参照ブロック（例えば、前のピクチャおよび後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インターエンコーディング技術、MV、マージモード情報による冗長情報の記述）を生成し、任意の適切な技術を使用してインター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するように構成される。いくつかの例では、参照ピクチャは、エンコーディングされたビデオ情報に基づいて復号された復号参照ピクチャである。
【0084】
イントラエンコーダ（622）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては、そのブロックを同じピクチャ内で既にコーディングされたブロックと比較し、変換後に量子化された係数を生成し、場合によってはイントラ予測情報（例えば、1つ以上のイントラエンコーディング技術によるイントラ予測方向情報）も生成するように構成される。一例では、イントラエンコーダ（622）は、イントラ予測情報と、同じピクチャ内の参照ブロックとに基づいて、イントラ予測結果（例えば、予測ブロック）も計算する。
【0085】
汎用コントローラ（621）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（603）の他の構成要素を制御するように構成される。一例において、汎用コントローラ（621）は、ブロックのモードを決定し、モードに基づいてスイッチ（626）に制御信号を与える。例えば、モードがイントラモードであるとき、汎用コントローラ（621）は、残差計算器（623）によって使用するためのイントラモード結果を選択するようにスイッチ（626）を制御し、イントラ予測情報を選択してイントラ予測情報をビットストリームに含めるようにエントロピーエンコーダ（625）を制御し、モードがインターモードであるときには、汎用コントローラ（621）は、残差計算器（623）によって使用するためのインター予測結果を選択するようにスイッチ（626）を制御し、インター予測情報を選択してインター予測情報をビットストリームに含めるようにエントロピーエンコーダ（625）を制御する。
【0086】
残差計算器（623）は、受信されたブロックと、イントラエンコーダ（622）またはインターエンコーダ（630）から選択された予測結果との間の差（残差データ）を計算するように構成される。残差エンコーダ（624）は、残差データをエンコーディングして変換係数を生成するために、残差データに基づいて動作するように構成される。一例において、残差エンコーダ（624）は、残差データを空間領域から周波数領域に変換して、変換係数を生成するように構成される。変換係数は、その後、量子化された変換係数を取得するために量子化処理を受ける。様々な実施形態では、ビデオエンコーダ（603）が残差デコーダ（628）も含む。残差デコーダ（628）は、逆変換を実行して、デコーディングされた残差データを生成するように構成される。デコーディングされた残差データは、イントラエンコーダ（622）およびインターエンコーダ（630）によって適切に使用され得る。例えば、インターエンコーダ（630）は、デコーディングされた残差データとインター予測情報とに基づいて、デコーディングされたブロックを生成することができ、また、イントラエンコーダ（622）は、デコーディングされた残差データとイントラ予測情報とに基づいて、デコーディングされたブロックを生成することができる。いくつかの例では、復号ブロックは、復号ピクチャを生成するために適切に処理され、復号ピクチャは、メモリ回路（図示せず）にバッファリングされ、参照ピクチャとして使用されることが可能である。
【0087】
エントロピーエンコーダ（625）は、エンコーディングされたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ（625）は、HEVCなどの適切な規格に従って様々な情報を含むように構成される。一例では、エントロピーエンコーダ（625）は、汎用制御データ、選択された予測情報（例えば、イントラ予測情報またはインター予測情報）、残差情報、および他の適切な情報を、ビットストリームに含めるように構成される。開示された主題によれば、インターモードまたは双予測モードのいずれかのマージサブモードでブロックをコーディングするときには、残差情報がないことに留意されたい。
【0088】
図7は、本開示の他の実施形態によるビデオデコーダ（710）の図を示している。ビデオデコーダ（710）は、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャを受信し、コーディングされたピクチャをデコーディングして、再構成されたピクチャを生成するように構成される。一例において、ビデオデコーダ（710）は、図3の例のビデオデコーダ（310）の代わりに使用される。
【0089】
図7の例において、ビデオデコーダ（710）は、図7に示すように互いに接続される、エントロピーデコーダ（771）、インターデコーダ（780）、残差デコーダ（773）、再構成モジュール（774）、および、イントラデコーダ（772）を含む。
【0090】
エントロピーデコーダ（771）は、コーディングピクチャから、コーディングピクチャを構成するシンタックス要素を表す特定のシンボルを再構成するように構成され得る。そのようなシンボルは、例えば、ブロックがコーディングされるモード（例えば、イントラモード、インターモード、双予測モードなど、後者の2つがマージサブモードまたは他のサブモードである）、イントラデコーダ（772）またはインターデコーダ（780）によってそれぞれ予測に使用される特定のサンプルまたはメタデータを識別し得る予測情報（例えば、イントラ予測情報またはインター予測情報など）、および例えば量子化された変換係数の形式の残差情報などを含み得る。一例では、予測モードがインターモードまたは双予測モードである場合、インター予測情報がインターデコーダ（780）に提供され、また、予測タイプがイントラ予測タイプである場合、イントラ予測情報がイントラデコーダ（772）に提供される。残差情報は、逆量子化を受ける可能性があり、残差デコーダ（773）に提供される。
【0091】
インターデコーダ（780）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。
【0092】
イントラデコーダ（772）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。
【0093】
残差デコーダ（773）は、逆量子化された変換係数を抽出するために逆量子化を実行し、残差を周波数領域から空間領域に変換するために逆量子化された変換係数を処理するように構成される。残差デコーダ（773）はまた、（量子化器パラメータ（QP）を含めるために）特定の制御情報も必要とする場合があり、その情報は、エントロピーデコーダ（771）によって提供され得る（これは少量の制御情報のみであり得るため、データパスは示されていない）。
【0094】
再構成モジュール（774）は、空間領域において、再構成されたブロックを形成するために、残差デコーダ（773）によって出力された残差と、（場合によってはインター予測モジュールまたはイントラ予測モジュールによって出力された）予測結果とを組み合わせるように構成され、再構成されたブロックは再構成されたピクチャの一部であり得、ひいては再構成されたビデオの一部であり得る。視覚的品質を改善するために、デブロッキング操作などの他の適切な操作を実行できることに留意されたい。
【0095】
ビデオエンコーダ（303）、（503）、および（603）、ならびにビデオデコーダ（310）、（410）、および（710）は、任意の適切な技術を使用して実装できることに留意されたい。一実施形態では、ビデオエンコーダ（303）、（503）、および（603）、ならびにビデオデコーダ（310）、（410）、および（710）は、1つまたは複数の集積回路を使用して実装されてもよい。別の実施形態では、ビデオエンコーダ（303）、（503）、および（603）、ならびにビデオデコーダ（310）、（410）、および（710）は、ソフトウェア命令を実行する1つ以上のプロセッサを使用して実装できる。
【0096】
II．没入型テレビ会議およびテレプレゼンス
本開示は、リモート端末（ITT4RT）用の没入型テレビ会議およびテレプレゼンスのための、オーディオミキシングおよびビデオミキシングの方法を提示する。本開示の態様によれば、エンドクライアントデバイスまたはユーザデバイスの能力に制限があるとき、かつ／またはインターネット・プロトコル・マルチメディア・サブシステム用マルチメディア・テレフォニー・サービス（MTSI）との互換性がないときは、メディア処理の全部または一部が、エンドクライアントデバイスからマルチメディアリソース機能（MRF）および／またはメディア制御ユニット（MCU）などのメディア対応ネットワーク要素まで、オフロードされ得る。メディア対応ネットワーク要素は、コンテンツタイプ、コンテンツ特性（メタデータによって記述される、またはプロトコルフィールド分析によって抽出される）、ネットワーク特性、および／またはネットワークステータスを考慮することによって、適切な処理（ルーティング、フィルタリング、適応、セキュリティ動作など）をインテリジェントに行える、コンテンツ対応ネットワークルータであってもよい。ダウンミックスは一般に、より多くのオーディオコンテンツチャネルを、より少ないスピーカにレンダリングするプロセスのことをいう。いくつかの実施形態では、没入型ストリームおよびオーバーレイ・ストリーム用のオーディオストリームのダウンミックス、および／またはオーディオストリームおよびビデオストリームの結合は、メディア対応ネットワーク要素におけるネットワークベースのメディア処理（NBMP）を使用して処理され得る。
本開示は、リモート端末（ITT4RT）用の没入型テレビ会議およびテレプレゼンスのための、オーディオミキシングおよびビデオミキシングの方法を提示する。本開示の態様によれば、エンドクライアントデバイスまたはユーザデバイスの能力に制限があるとき、かつ／またはインターネット・プロトコル・マルチメディア・サブシステム用マルチメディア・テレフォニー・サービス（MTSI）との互換性がないときは、メディア処理の全部または一部が、エンドクライアントデバイスからマルチメディアリソース機能（MRF）および／またはメディア制御ユニット（MCU）などのメディア対応ネットワーク要素まで、オフロードされ得る。メディア対応ネットワーク要素は、コンテンツタイプ、コンテンツ特性（メタデータによって記述される、またはプロトコルフィールド分析によって抽出される）、ネットワーク特性、および／またはネットワークステータスを考慮することによって、適切な処理（ルーティング、フィルタリング、適応、セキュリティ動作など）をインテリジェントに行える、コンテンツ対応ネットワークルータであってもよい。ダウンミックスは一般に、より多くのオーディオコンテンツチャネルを、より少ないスピーカにレンダリングするプロセスのことをいう。いくつかの実施形態では、没入型ストリームおよびオーバーレイ・ストリーム用のオーディオストリームのダウンミックス、および／またはオーディオストリームおよびビデオストリームの結合は、メディア対応ネットワーク要素におけるネットワークベースのメディア処理（NBMP）を使用して処理され得る。
【0097】
全方位メディアストリームが使用されるときは、ユーザのビューポートに対応する全方位メディアコンテンツの一部のみがレンダリングされ得る。例えば、ユーザがヘッドマウントディスプレイ（HMD）を使用すると、ユーザの視点に対応する全方位メディアコンテンツによって、ユーザに現実的な視界のメディアストリームを見せることができる。
【0098】
図8は、本開示の一実施形態による例示的な没入型テレビ会議通話を示す。例示的な没入型テレビ会議通話は、会議室A（801）、ユーザB（802）、およびユーザC（803）の間で編成される。会議室A（801）は、全方位カメラ（804）を備え、ユーザB（802）およびC（803）は、それぞれ、HMDおよびモバイルデバイスを使用するリモート参加者である。この実施形態では、参加者B（802）およびC（803）は、会議室A（801）に自分のビューポート方向を送信でき、会議室A（801）は、全方位カメラ（804）から、参加者B（802）およびC（803）にビューポート依存ストリームを送信する。
【0099】
図9は、本開示の一実施形態による、別の例示的な没入型テレビ会議通話を示す。例示的なテレビ会議通話は、複数の会議室（901～904）と、テレビ会議ストリームを受信するためにHMDを使用するユーザB（905）と、テレビ会議ストリームを受信するためにモバイルデバイス使用するユーザC（906）との間で編成されている。参加者B（905）およびC（906）は、会議室（901～904）のうちの1つに自分のビューポート方向を送信でき、会議室のうちの1つはその全方位カメラから、参加者B（802）およびC（803）にビューポート依存ストリームを送信する。
【0100】
図10は、本開示の一実施形態による、さらに別の例示的な没入型テレビ会議通話を示す。例示的な没入型テレビ会議通話はMRF（またはMCU）（1005）を使用してセットアップされ、これは多者間会議通話において、端末をブリッジするためのメディア関連機能を提供するマルチメディアサーバである。この実施形態では、複数の会議室（1001～1004）が、MRF（またはMCU）にそれぞれのビデオを送信することができる。これらのビデオは、ビューポートに依存しないビデオである。つまり、ユーザのビューポートに関係なく、会議室の360度ビデオ全体が、メディアサーバに送信され得る。メディアサーバは、ユーザB（1006）およびC（1007）のビューポート方向を受信でき、それに応じて、ユーザB（1006）およびC（1007）にビューポート依存ストリームを送信することができる。
【0101】
図9および図10において、リモートユーザBおよびCは、会議室（901～904）および（1001～1004）からそれぞれ、利用可能な360度ビデオのうちの1つを視聴するために選択することができる。例えば、リモートユーザBは、会議室またはMRF（またはMCU）に、ユーザBが選択するビデオストリーム、およびユーザBのビューポート方向についての情報を送信することができる。リモートユーザBは、アクティブスピーカに基づいて、1つの部屋から別の部屋への切り替えをトリガすることができる。加えて、メディアサーバは、アクティブなユーザが存在しない会議室からのビデオストリームの受信を一時停止することができる。
【0102】
ISO 23090－2ではオーバーレイは、「全方位ビデオ、画像アイテム、またはビューポート上にレンダリングされた視聴覚媒体の一部分」 と定義されている。図9～図10に戻って参照すると、会議室Aなどの会議室内の参加者によってプレゼンテーションが共有されているときは、会議室Aに表示されることに加えて、このプレゼンテーションは他のリモートユーザにもストリーム配信としてブロードキャストされ得る。当該ストリームは、会議室Aの360度ビデオ上にオーバーレイされ得る。加えて、オーバーレイは2Dストリーム配信にも使用され得る。
【0103】
本開示の態様によれば、端末装置の能力に制限があるとき、あるいは複数のビデオストリームおよび／またはオーディオストリームのデコーディングおよびレンダリングが困難なときは、端末装置からメディアストリームの処理をオフロードするために、NBMPが使用され得る。そのため、端末装置のバッテリ寿命を増加させることができる。
【0104】
本開示の実施形態は、エンドユーザから、MRF（またはMCU）などのメディア対応ネットワーク要素まで、オーディオ処理をオフロードする方法を含む。さらに、本開示の実施形態は、オーディオストリームのダウンミックスに使用される、オーディオミキシングパラメータを導入する。加えて、本開示の実施形態は、メディア対応ネットワーク要素で、オーディオストリームおよびビデオストリームをエンコーディングおよび／またはデコーディングする方法を含む。
【0105】
テレビ会議で没入型ストリームを送信する場合、360度ビデオにオーバーレイ・ビデオまたはオーバーレイ画像が重ね合わされるときは、オーバーレイ・ソース、オーバーレイ・レンダリングタイプ、レンダリング特性（例えば、不透明度）、ユーザインタラクション特性などのいくつかの情報が含まれ得る。オーバーレイ・ソースは、オーバーレイとして使用される画像またはビデオを指定する。オーバーレイ・レンダリングタイプは、オーバーレイがビューポートまたはスフィアに対してアンカーされるかどうかを記述する。
【0106】
図9～図10に戻って参照すると、複数の会議室のそれぞれが、全方位カメラなどの全方位メディアキャプチャ・デバイスを備えている。リモートユーザは、没入型ストリームとして表示される、複数の会議室の1つに対応するビデオストリームおよび／またはオーディオストリームを選択することができる。360度没入型ストリームと共に使用される追加のオーディオストリームまたはビデオストリームは、オーバーレイと称される別個のストリームとして送信され得る。
【0107】
一実施形態では、複数のオーディオストリームを受信すると、端末装置は、レンダリングされる複数のオーディオストリームをデコーディングしミキシングすることができる。複数のオーディオストリームを送信する会議室の送信側デバイスは、セッション記述プロトコル（SDP）を使用する異なるオーディオストリームのミキシングレベルを提供することができる。
【0108】
一実施形態では、会議室の送信側デバイスは、SDPを使用して、テレビ会議セッション中に、異なるオーディオストリームのミキシングレベルを更新することができる。
【0109】
一実施形態では、端末装置は、ユーザの嗜好に基づいて、送信側デバイスによって設定されたミキシングレベルを上書きするために、異なるミキシングレベルをカスタマイズすることができる。
【0110】
いくつかの実施形態では、ビデオおよびオーディオメディアストリームを受信すると、端末装置は、ストリームをデコーディングしディスプレイにレンダリングすることができる。端末装置の能力に制限があるときは、図10に示すように、いくつかまたはすべてのメディア処理が、MRF（またはMCU）などのメディア対応ネットワーク要素にオフロードされ得る。
【0111】
一実施形態では、オーディオストリームに対して、例えば、バッテリ電力が限られているために端末装置の処理能力に制限があるとき、あるいは端末装置が複数のメディアストリームを受信して、ストリームをデコーディングしレンダリングするのが困難なときは、端末装置は、メディア処理をMRF（またはMCU）にオフロードすることができる。これらのオーディオストリームは、360度ビデオ用のオーディオストリーム、および／またはオーバーレイ用のオーディオストリームを含み得る。
【0112】
一実施形態では、オーディオ処理がMRF（またはMCU）にオフロードされると、複数のオーディオストリームを単一のステレオストリームまたはモノストリームにダウンミックスすることができ、これをレンダリングするために端末装置に送信することができる。
【0113】
一実施形態では、複数のオーディオストリームがダウンミックスされると、音の大きさなどのオーディオミキシングパラメータを送信側デバイスが定義することができる、またはエンドユーザがカスタマイズすることができる。
【0114】
一実施形態では、送信側デバイスによってオーディオミキシングパラメータが定義されると、送信側デバイスはすべてのオーディオストリームを同じレベルに設定でき、これをSDPシグナリングを介して、送信側デバイスからMRF（またはMCU）に送信することができる。
【0115】
一実施形態では、送信側デバイスは、360度背景ビデオのオーディオレベルが、オーバーレイ・オーディオストリームのオーディオレベルより高くなるように設定することができる。オーバーレイ・オーディオストリームはすべて、同じオーディオパラメータを有することができる。これらのオーディオレベルは、SDPシグナリングを介して、送信側デバイスからMRF（またはMCU）に送信することができる。
【0116】
一実施形態では、送信側デバイスは、360度背景ビデオのオーディオレベルが、オーバーレイ・オーディオストリームのオーディオレベルより高くなるように設定することができる。オーバーレイ・ストリームのオーディオミキシングレベルは、オーバーレイ・ストリームの優先度に基づいて設定することができる。これらのオーディオレベルは、SDPシグナリングを介して、送信側デバイスからMRF（またはMCU）に送信することができる。
【0117】
一実施形態では、MRF（またはMCU）は、複数の端末装置が十分な処理能力を有し得ないときに、複数の端末装置に同じオーディオストリームを送信することができる。
【0118】
一実施形態では、端末装置によってオーディオミキシングパラメータが定義されると、送信側デバイスまたはMRF（またはMCU）によって、個々のオーディオストリームを各ユーザ用にエンコーディングすることができる。オーディオミキシングパラメータは、ユーザの視野（FoV）に基づいて設定することができる。例えば、FoV内にあるオーバーレイ用のオーディオストリームは、他のストリームに比べて、より大きい音でミキシングすることができる。これらのパラメータは、セットアップ中に、またはセッションの合間に、SDPシグナリングを使用して、MRF（またはMCU）とネゴシエーションを行うことができる。
【0119】
本開示の態様によれば、端末装置がMTSI ITT4RTをサポートしていないときは、ビデオ、あるいはオーディオおよびビデオの両方のメディア処理を、端末装置からMRF（またはMCU）などのメディア対応ネットワーク要素までオフロードすることができ、これによってMTSI端末に下位互換性を与える。
【0120】
一実施形態では、端末装置の能力に制限があるときは、MRF（またはMCU）でオーディオミキシングおよびビデオミキシングを行うことができる。
【0121】
一実施形態では、MRF（またはMCU）の能力に制限があるときは、MRF（またはMCU）は、同じ送信側デバイス用に複数のオーディオストリームおよびビデオストリームを結合することによって、同じオーディオストリームおよびビデオストリームを生成し、能力に制限があるすべてのMTSIデバイスに、同じオーディオストリームおよびビデオストリームを送信することができる。
【0122】
一実施形態では、MRF（またはMCU）は、SDPシグナリングを使用して、360度ビデオのオーディオミキシングおよび単一ビデオ合成、ならびに様々なオーバーレイ用の共通の構成のセットについて、MTSIデバイスのすべてまたはサブセットとネゴシエーションを行うことができる。
【0123】
一実施形態では、オーディオミキシングの重みなどのオーディオミキシングパラメータは、各オーディオストリームに定義することができる。オーディオミキシングの重みのデフォルト値は音の強度に基づいて設定でき、これは面積に垂直な方向に、単位面積ごとに音波によって搬送される力と定義することができる。オーディオミキシングの重みのデフォルト値は、オーバーレイの優先度に基づいて設定することもできる。オーディオミキシングの重みのデフォルト値は、送信側デバイスが定義することができる。
【0124】
一実施形態では、オーディオミキシングの重みは、SDPシグナリングを介して、会議セッション中にエンドユーザがカスタマイズすることができる。オーディオミキシングの重みのカスタマイズは、いくつかの状況において有用である。例えば、ユーザが1つの特定のオーディオストリームを聞きたいとき、またはこれに焦点を当てたいときなどである。別の例は、ダウンミックスされたオーディオの品質が、オーディオレベルのばらつき、オーディオの品質、またはSNRチャネルの不良などのなんらかの理由で許容できないときである。
【0125】
一実施形態では、オーディオミキシングの重みのデフォルト値はそれぞれ、360度ビデオ（a0）ではr0、r1、．．、rNであり、オーバーレイ・ビデオではa1、a2、．．、aNである。オーディオ出力はr0＊a0＋r1＊a1＋……＋rN＊aNと等しく、r0＋r1＋…＋rN＝1である。受信機あるいはMRF（またはMCU）は、対応する重みに比例させてオーディオソースをミキシングする。オーディオミキシングの重みのデフォルト値は、使用事例に従って送信側デバイスが変更することができる。
【0126】
一実施形態では、オーディオミキシングの重みは、オーバーレイ用のオーディオストリームの優先度に基づいて定義することができる。オーディオミキシングの重みのデフォルト値は、SDPシグナリングを使用して、会議セッション中に送信側デバイスが定義でき、かつ／またはエンドユーザがカスタマイズすることができる。オーバーレイの優先度が使用されるときは、送信側デバイスに、他の送信側デバイスの全オーバーレイ、およびセッション時のこれらのオーバーレイの優先度を通知することができる。その後、送信側デバイスは、これに従ってオーディオミキシングの重みを割り当てることができる。
【0127】
一実施形態では、端末装置の処理能力によって、オーディオストリームのミキシングを決定することができる。受信機は、全ストリームのダウンミックスをMRF（またはMCU）にオフロードするか、または処理の一部のみをオフロードすることができる。例えば、オーバーレイ・ストリームのダウンミックスはMRF（またはMCU）にオフロードでき、ダウンミックスされたオーバーレイ・ストリームおよび360度ストリームのダウンミックスは、受信機側で処理することができる。
【0128】
一実施形態では、オーディオミキシングは、360度背景ビデオからの全オーディオストリームと、オーバーレイ・ストリームとを共に追加して行うことができる。一例では、集約されたオーディオ（全オーディオストリームの混合）は正規化することができる。この処理は、受信機またはMRF（またはMCU）で行うことができる。この処理は背景雑音や、オーバーレイまたは360度ビデオのオーディオストリームからの妨害がないとき、あるいは全ストリームの強度レベルがほぼ同じであるか、分散が閾値未満のときに適用可能になる。
【0129】
一実施形態では、多数のオーディオストリームが正規化されて単一のオーディオストリームに集約されると、1つのオーディオストリームを他と区別するのが困難になり得る。したがって、送信側デバイスは、選択した数のオーディオストリームのみをミキシングする選択をすることができる。この選定は、アルゴリズムまたはオーバーレイ・ストリームの優先度によって定義された、オーディオミキシングの重みに基づいてもよい。
【0130】
一実施形態では、受信機は、対応するオーディオミキシングの重みを変更することによって、またはオーディオストリームのサブセットをミキシングすることによって、ミキシングされるオーディオストリームの選定を変更する選択をすることができる。
【0131】
一実施形態では、オーディオストリームの音の強度のばらつきが閾値より大きいときは、全オーバーレイおよび360度オーディオストリームに対するオーディオミキシングの重みのデフォルト値を同じレベルに設定することができる。
【0132】
一実施形態では、ダウンミックスされるオーディオストリームの数を制限することができる。このような制限は、受信機のリソース容量に基づいて、あるいは受信機が異なる部屋のオーディオストリームを区別するのが困難なときに、受信機によって課すことができる。このような制限が課された場合は、ダウンミックスされるオーディオストリームの選定基準は、各オーディオストリームに対して送信側デバイスによって定義された、音の強度またはオーバーレイの優先度に基づくことができる。この選定は、SDPシグナリングを介して、セッション中にエンドユーザが変更することができる。
【0133】
一実施形態では、360度ストリームを含め、他のオーディオストリームと比較して、1つのオーディオストリームのみを優位にすることができる。例えば、話している／プレゼンテーションをしている人のオーディオストリームに焦点を当てる必要があるときは、他のストリームのオーディオミキシングの重みを低減することができる。
【0134】
一実施形態では、例えば、リモートユーザがプレゼンテーションをしていて360度オーディオストリームが背景雑音を有するときは、360度背景ビデオのオーディオストリームは、オーバーレイ・ストリームのオーディオミキシングの重みより小さいオーディオミキシングの重みでダウンミックスすることができる。オーディオミキシングの重みは、セッション中にオーディオミキシングの重みを低減することによって、既にセッション中のユーザがカスタマイズできるが、デフォルトのミキシングの重みもまた、送信側デバイスで変更しなければならない場合がある。例えば、新しいリモートユーザが会議に参加したときは、新しいリモートユーザは、送信側デバイスから、オーディオストリームのデフォルトのミキシングの重みを入手することができる。
【0135】
III．フローチャート
図11は、本開示の一実施形態による例示的なプロセス（1100）の概要を示すフローチャートを示している。様々な実施形態では、プロセス（1100）は、端末デバイス（210）、（220）、（230）および（240）の処理回路、ビデオエンコーダ（303）の機能を実行する処理回路、ビデオデコーダ（310）の機能を実行する処理回路、ビデオデコーダ（410）の機能を実行する処理回路、イントラ予測モジュール（452）の機能を実行する処理回路、ビデオエンコーダ（503）の機能を実行する処理回路、予測器（535）の機能を実行する処理回路、イントラエンコーダ（622）の機能を実行する処理回路、イントラデコーダ（772）の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス（1100）はソフトウェア指示中で実行され、したがって、処理回路がソフトウェア指示を実行するときに処理回路がプロセス（1100）を実行する。
図11は、本開示の一実施形態による例示的なプロセス（1100）の概要を示すフローチャートを示している。様々な実施形態では、プロセス（1100）は、端末デバイス（210）、（220）、（230）および（240）の処理回路、ビデオエンコーダ（303）の機能を実行する処理回路、ビデオデコーダ（310）の機能を実行する処理回路、ビデオデコーダ（410）の機能を実行する処理回路、イントラ予測モジュール（452）の機能を実行する処理回路、ビデオエンコーダ（503）の機能を実行する処理回路、予測器（535）の機能を実行する処理回路、イントラエンコーダ（622）の機能を実行する処理回路、イントラデコーダ（772）の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス（1100）はソフトウェア指示中で実行され、したがって、処理回路がソフトウェア指示を実行するときに処理回路がプロセス（1100）を実行する。
【0136】
プロセス（1100）は、通常はステップ（S1110）から開始してよく、プロセス（1100）は、会議通話の複数のオーディオストリームを処理するように構成されたメディア対応ネットワーク要素にメッセージを送信する。メッセージは、複数のオーディオストリームが、メディア対応ネットワーク要素によってダウンミックスされるべきであることを指示する。その後、プロセス（1100）はステップ（S1120）に進む。
【0137】
ステップ（S1120）において、プロセス（1100）は、メディア対応ネットワーク要素から、ダウンミックスされた複数のオーディオストリームを受信する。その後、プロセス（1100）はステップ（S1130）に進む。
【0138】
ステップ（S1130）において、プロセス（1100）は、会議通話を受信するために、ダウンミックスされた複数のオーディオストリームをデコーディングする。その後、プロセス（1100）は停止する。
【0139】
一実施形態では、複数のオーディオストリームが、メディア対応ネットワーク要素によって、単一のステレオストリームおよびモノストリームのうちの1つにダウンミックスされる。
【0140】
一実施形態では、複数のオーディオストリームは、セッション記述プロトコル（SDP）メッセージに含まれる複数のオーディオミキシングパラメータに基づいてダウンミックスされる。
【0141】
一実施形態では、複数のオーディオミキシングパラメータは、ユーザデバイスに表示される視野に基づいて設定される。
【0142】
一実施形態では、複数のオーディオストリームの第1のサブセットのそれぞれが、1つ以上の360度没入型ビデオストリームのうちのそれぞれ1つに関連付けられる。
【0143】
一実施形態では、複数のオーディオストリームの第2のサブセットのそれぞれが、1つ以上のオーバーレイ・ビデオストリームのうちのそれぞれ1つに関連付けられる。
【0144】
一実施形態では、複数のオーディオストリームの第2のサブセットのそれぞれのオーディオミキシングパラメータは、複数のオーディオストリームの第2のサブセットのそれぞれ1つに関連付けられた、オーバーレイ・ビデオストリームの優先度に基づいて設定される。
【0145】
一実施形態では、複数のオーディオストリームの第2のサブセットの数は、複数のオーディオストリームの第2のサブセットに関連付けられた、1つ以上のオーバーレイ・ビデオストリームの1つ以上の優先度に基づいて決定される。
【0146】
一実施形態では、メディア対応ネットワーク要素によってダウンミックスされる複数のオーディオストリームの数は、複数のオーディオストリームのオーディオミキシングパラメータに基づいて決定される。
【0147】
一実施形態では、プロセス（1100）は、ダウンミックスされた複数のオーディオストリーム、およびメディア対応ネットワーク要素によってダウンミックスされていない会議通話のオーディオストリームのダウンミックスを実行する。
【0148】
IV．コンピュータシステム
上記で説明した技術は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実装され、1つまたは複数のコンピュータ可読媒体に物理的に記憶され得る。例えば、図12は、開示された主題の特定の実施形態を実施するために適したコンピュータシステム（1200）を示している。
上記で説明した技術は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実装され、1つまたは複数のコンピュータ可読媒体に物理的に記憶され得る。例えば、図12は、開示された主題の特定の実施形態を実施するために適したコンピュータシステム（1200）を示している。
【0149】
コンピュータソフトウェアは、1つまたは複数のコンピュータ中央処理装置（CPU：central processing unit）およびグラフィックス処理装置（GPU：Graphics Processing Unit）などによって直接的に、または解釈およびマイクロコードの実行などを通して実行され得る命令を含むコードを生成するために、アセンブリ、コンパイル、リンキング、または同様のメカニズムを受け得る任意の適切なマシンコードまたはコンピュータ言語を使用してコーディングされ得る。
【0150】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、インターネット・オブ・シングス・デバイスなどを含む、様々なタイプのコンピュータまたはその構成要素で実行されてもよい。
【0151】
コンピュータシステム（1200）に関して図12に示している構成要素は、本質的に例示であり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関する限定を示唆することを意図していない。また、構成要素の構成について、コンピュータシステム（1200）の典型的な実施形態で示されている構成要素のいずれか1つまたはこれらの組合せに関して何かしら依拠したり必要としたりするようにも当然解釈されない。
【0152】
コンピュータシステム（1200）は特定のヒューマンインターフェース入力装置を含んでもよい。このようなヒューマンインターフェース入力装置は、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、音声入力（音声、拍手など）、視覚入力（ジェスチャなど）、嗅覚入力（図示せず）を通じて1人以上の人間のユーザによる入力に応答するものであってもよい。ヒューマンインターフェースデバイスを用いて、音声（発話、音楽、周囲音など）、画像（スキャン画像、静止画像カメラから取得される写真画像など）、ビデオ（2次元ビデオ、立体ビデオを含む3次元ビデオなど）など、人間による意識的な入力に必ずしも直接関係ない特定の媒体をキャプチャし得る。
【0153】
入力ヒューマンインターフェースデバイスは、キーボード（1201）、マウス（1202）、トラックパッド（1203）、タッチ画面（1210）、データグローブ（図示せず）、ジョイスティック（1205）、マイクロフォン（1206）、スキャナ（1207）、およびカメラ（1208）（それぞれの1つのみが示されている）のうちの1つまたは複数を含み得る。
【0154】
コンピュータシステム（1200）はなんらかのヒューマンインターフェース出力装置も含んでもよい。このようなヒューマンインターフェース出力装置は、例えば、触覚出力、音、光および嗅覚／味覚を通じて1人以上の人間のユーザの感覚を刺激してもよい。このようなヒューマンインターフェース出力装置は触覚出力デバイス（例えば、タッチ画面（1210）、データグローブ（図示せず）やジョイスティック（1205）による触覚フィードバックただし、入力デバイスを担わない触覚フィードバックデバイスも存在することができる）、オーディオ出力デバイス（スピーカ（1209）など、ヘッドホン（図示せず）など）、視覚出力装置（CRT画面、LCD画面、プラズマ画面、OLED画面を含む画面（1210）など画面ごとにタッチ画面入力機能を備えたり備えなかったりする画面ごとに触覚フィードバック機能を備えたり備えなかったりするこれらの画面のいくつかが立体映像出力装置、バーチャルリアリティグラス（図示せず）、ホログラフィディスプレイや発煙タンク（図示せず）などの手段によって2次元視覚的出力または3次元以上の出力を出力する機能を備えてもよい）およびプリンタ（図示せず）を含んでもよい。上記の視覚出力装置（画面（1210）など）をグラフィックスアダプタ（1250）を介してシステムバス（1248）に接続することができる。
【0155】
コンピュータシステム（1200）は、CD／DVDまたはそれに類する媒体（1221）を伴うCD／DVD ROM／RW（1220）を含む光媒体、サムドライブ（1222）、リムーバブルハードドライブやソリッドステートドライブ（1223）、テープやフロッピーディスク（図示せず）などのレガシー磁気媒体、セキュリティドングル（図示せず）などの専用のROM／ASIC／PLDベースのデバイスなど、人間による取扱いが可能な記憶デバイスおよびその関連媒体を含むこともできる。
【0156】
当業者はまた、現在開示された主題に関連して使用される「コンピュータ可読媒体」という用語が、送信媒体、搬送波、または他の一時的な信号を包含しないことを理解するはずである。
【0157】
コンピュータシステム（1200）は1つ以上の通信ネットワーク（1255）に対するネットワークインターフェース（1254）も含むことができる。1つ以上の通信ネットワーク（1255）は例えば、無線ネットワーク、有線ネットワーク、光ネットワークであることが可能である。さらに、1つ以上の通信ネットワーク（1255）はローカル、広域、大都市圏、車両用および産業用、リアルタイム、遅延耐性などのネットワークであることが可能である。1つ以上の通信ネットワーク（1255）の例には、Ethernetなどのローカルエリアネットワーク、無線LAN、GSM、3G、4G、5G、LTEなどを含むセルラネットワーク、ケーブルテレビ、衛星テレビおよび地上波テレビを含むテレビの有線または無線広域デジタルネットワーク、CANBusを含む車両用および産業用などが含まれる。なんらかのネットワークには一般的になんらかの汎用データポートや周辺バス（1249）に取り付けられる外部ネットワークインターフェースアダプタが必要であり（例えば、コンピュータシステム（1200）のUSBポートなど）、その他のものとしては、一般的には、後述されているようにシステムバスに取り付けられることによってコンピュータシステム（1200）の中心部に組み込まれるものがある（例えば、PCコンピュータシステムに組み込まれるEthernetインターフェースや、スマートフォンコンピュータシステムに組み込まれるセルラネットワークインターフェース）。これらのネットワークのいずれを用いても、コンピュータシステム（1200）は相手方と通信することができる。このような通信は、一方向、受信専用（例えば、テレビ放送）、一方向送信専用（例えば、CANbusから特定のCANbusデバイス）または双方向、例えば、ローカルもしくは広域デジタルネットワークを用いた他のコンピュータシステムに対する双方向の通信であることが可能である。特定のプロトコルおよびプロトコルスタックは、上記で説明したように、それらのネットワークおよびネットワークインターフェースのそれぞれで使用され得る。
【0158】
上記のヒューマンインターフェース装置、人間による取扱いが可能な記憶デバイスおよびネットワークインターフェースをコンピュータシステム（1200）の中心部（1240）に取り付けることができる。
【0159】
中心部（1240）は、1つまたは複数の中央処理装置（CPU）（1241）、グラフィックス処理装置（GPU）（1242）、フィールドプログラマブルゲートエリア（FPGA：Field Programmable Gate Area）（1243）の形式の専用のプログラマブル処理ユニット、特定のタスク用のハードウェアアクセラレータ（1244）、およびグラフィックスアダプタ（1250）などを含み得る。これらのデバイスは、読み出し専用メモリ（ROM：Read－only memory）（1245）、ランダムアクセスメモリ（1246）、ユーザアクセス不能な内蔵ハードドライブおよびSSDなどの内蔵型大容量ストレージ（1247）と共に、システムバス（1248）を介して接続され得る。いくつかのコンピュータシステムでは、システムバス（1248）はCPU、GPUなどを追加することによって拡張を可能にする1つ以上の物理的なプラグの形態をとり、手作業可能なものであることが可能である。周辺機器は、中心部のシステムバス（1248）に直接、または周辺バス（1249）を介して接続することができる。一例では、画面（1210）をグラフィックスアダプタ（1250）に接続することができる。周辺バスのアーキテクチャは、PCI、USBなどを含む。
【0160】
CPU（1241）、GPU（1242）、FPGA（1243）およびアクセラレータ（1244）は、組み合わさって上記のコンピュータコードを形成することができるいくつかの指示を実行することができる。このコンピュータコードをROM（1245）に記憶したりRAM（1246）に記憶したりすることができる。変化していくデータもRAM（1246）に記憶することができる一方で、変化しないデータを例えば内蔵型大容量ストレージ（1247）に記憶することができる。1つ以上のCPU（1241）、GPU（1242）、大容量ストレージ（1247）、ROM（1245）、RAM（1246）などに密接に関連付けることができるキャッシュメモリを用いることにより、メモリデバイスのいずれにも高速記憶および読み出しを行うことを可能にすることができる。
【0161】
コンピュータ可読媒体は、様々なコンピュータ実施動作を実行するためのコンピュータコードを有し得る。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであり得るか、またはそれらは、コンピュータソフトウェア技術のスキルを有する人々に周知かつ利用可能な種類であり得る。
【0162】
限定としてではなく一例として、アーキテクチャ（1200）を有するコンピュータシステム、特に中心部（1240）は、プロセッサ（CPU、GPU、FPGA、アクセラレータなどを含む）が1つ以上の有形のコンピュータ可読媒体中で実施されるソフトウェアを実行する結果として機能を発揮することができる。このようなコンピュータ可読媒体は上記で紹介したユーザによる取扱いが可能な大容量ストレージに関連する媒体であることが可能であるだけでなく、中心部内蔵型大容量ストレージ（1247）やROM（1245）など、非一時的な特性を持つ中心部（1240）の特定のストレージであることも可能である。本開示の様々な実施形態を実施するソフトウェアをこのようなデバイスに記憶して中心部（1240）によって実行することができる。コンピュータ可読媒体は個々の要求に応じて1つ以上のメモリデバイスやチップを含むことができる。ソフトウェアによって、中心部（1240）、特に中心部（1240）内のプロセッサ（CPU、GPU、FPGAなどを含む）に、本出願で説明されている特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる（RAM（1246）に記憶されるデータ構造を決めることと、ソフトウェアによって定められたプロセスに従ってこのようなデータ構造を修正することとを含む）。これに加えて、またはこれに代わるものとして、本コンピュータシステムは結線によるロジックの結果として機能を発揮したり、回路において別の仕方で実施して機能を発揮したりすることができ（例えばアクセラレータ（1244））、これは、本出願で説明されている特定のプロセスまたは特定のプロセスの特定の部分を実行するのに、ソフトウェアの代わりに動作したり、ソフトウェアと協働したりすることができる。必要に応じて、「ソフトウェア」と記載されている場合にはロジックを包含する場合があり、逆も可能である。必要に応じて、コンピュータ可読媒体への言及は、実行のためのソフトウェアを記憶する回路（集積回路（IC：integrated circuit）など）、実行のためのロジックを具体化する回路、またはこれらの両方を包含し得る。本開示は、ハードウェアとソフトウェアの任意の適切な組合せを包含する。
【0163】
本開示はいくつかの例示的な実施形態を説明してきたが、本開示の範囲内にある修正例、置換例、および様々な代替均等例がある。したがって、当業者は、本明細書では明示的に示されていないか、または説明されていないが、本開示の原理を具現化し、したがってその精神および範囲内にある多数のシステムおよび方法を考案できることが理解されよう。
付記A：頭字語
ALF：適応ループフィルタ（Adaptive Loop Filter）
AMVP：高度動きベクトル予測（Advanced Motion Vector Prediction）
APS：適応パラメータセット（Adaptation Parameter Set）
ASIC：特定用途向け集積回路（Application－Specific Integrated Circuit）
ATMVP：代替／高度時間動きベクトル予測（Alternative／Advanced Temporal Motion Vector Prediction）
AV1：AOMedia Video 1
AV2：AOMedia Video 2
BMS：ベンチマークセット（Benchmark Set）
BV：ブロックベクトル（Block Vector）
CANBus：コントローラエリアネットワークバス（Controller Area Network Bus）
CB：コーディングブロック（Coding Block）
CC－ALF：クロスコンポーネント適応ループフィルタ（Cross－Component Adaptive Loop Filter）
CD：コンパクトディスク（Compact Disc）
CDEF：コンストレインド・ディレクショナル・エンハンスメント・フィルタ（Constrained Directional Enhancement Filter）
CPR：現在のピクチャ参照（Current Picture Referencing）
CPU：中央処理装置（Central Processing Unit）
CRT：ブラウン管（Cathode Ray Tube）
CTB：コーディングツリーブロック（Coding Tree Block）
CTU：コーディングツリーユニット（Coding Tree Unit）
CU：コーディングユニット（Coding Unit）
DPB：デコーダピクチャバッファ（Decoder Picture Buffer）
DPCM：差動パルス符号変調（Differential Pulse－Code Modulation）
DPS：デコーディングパラメータセット（Decoding Parameter Set）
DVD：デジタルビデオディスク（Digital Video Disc）
FPGA：フィールドプログラマブルゲートエリア（Field Programmable Gate Area）
JCCR：共同CbCr残差コーディング（Joint CbCr Residual Coding）
JVET：共同ビデオ探索チーム（Joint Video Exploration Team）
GOP：ピクチャのグループ（Groups of Pictures）
GPU：グラフィックス処理装置（Graphics Processing Unit）
GSM：グローバル移動体通信システム（Global System for Mobile communication）
HDR：ハイダイナミックレンジ（High Dynamic Range）
HEVC：高効率ビデオコーディング（High Efficiency Video Coding）
HRD：仮想参照デコーダ（Hypothetical Reference Decoder）
IBC：イントラブロックコピー（Intra Block Copy）
IC：集積回路（Integrated Circuit）
ISP：イントラサブパーティション（Intra Sub－Partitions）
JEM：共同探索モデル（Joint Exploration Model）
LAN：ローカルエリアネットワーク（Local Area Network）
LCD：液晶ディスプレイ（Liquid－Crystal Display）
LR：ループ復元フィルタ（Loop Restoration Filter）
LRU：ループ復元ユニット（Loop Restoration Unit）
LTE：ロングタームエボリューション（Long－Term Evolution）
MPM：最確モード（Most Probable Mode）
MV：動きベクトル（Motion Vector）
OLED：有機発光ダイオード（Organic Light－Emitting Diode）
PB：予測ブロック（Prediction Block）
PCI：周辺構成要素相互接続（Peripheral Component Interconnect）
PDPC：位置依存予測組合せ（Position Dependent Prediction Combination）
PLD：プログラマブル論理デバイス（Programmable Logic Device）
PPS：ピクチャパラメータセット（Picture Parameter Set）
PU：予測ユニット（Prediction Unit）
RAM：ランダムアクセスメモリ（Random Access Memory）
ROM：読み出し専用メモリ（Read－Only Memory）
SAO：サンプル適応オフセット（Sample Adaptive Offset）
SCC：画面コンテンツコーディング（Screen Content Coding）
SDR：標準ダイナミックレンジ（Standard Dynamic Range）
SEI：補足拡張情報（Supplementary Enhancement Information）
SNR：信号ノイズ比（Signal Noise Ratio）
SPS：シーケンスパラメータセット（Sequence Parameter Set）
SSD：ソリッドステートドライブ（Solid－state Drive）
TU：変換ユニット（Transform Unit）
USB：ユニバーサルシリアルバス（Universal Serial Bus）
VPS：ビデオパラメータセット（Video Parameter Set）
VUI：ビデオのユーザビリティ情報（Video Usability Information）
VVC：多用途ビデオコーディング（Versatile Video Coding）
WAIP：広角イントラ予測（Wide－Angle Intra Prediction）
付記A：頭字語
ALF：適応ループフィルタ（Adaptive Loop Filter）
AMVP：高度動きベクトル予測（Advanced Motion Vector Prediction）
APS：適応パラメータセット（Adaptation Parameter Set）
ASIC：特定用途向け集積回路（Application－Specific Integrated Circuit）
ATMVP：代替／高度時間動きベクトル予測（Alternative／Advanced Temporal Motion Vector Prediction）
AV1：AOMedia Video 1
AV2：AOMedia Video 2
BMS：ベンチマークセット（Benchmark Set）
BV：ブロックベクトル（Block Vector）
CANBus：コントローラエリアネットワークバス（Controller Area Network Bus）
CB：コーディングブロック（Coding Block）
CC－ALF：クロスコンポーネント適応ループフィルタ（Cross－Component Adaptive Loop Filter）
CD：コンパクトディスク（Compact Disc）
CDEF：コンストレインド・ディレクショナル・エンハンスメント・フィルタ（Constrained Directional Enhancement Filter）
CPR：現在のピクチャ参照（Current Picture Referencing）
CPU：中央処理装置（Central Processing Unit）
CRT：ブラウン管（Cathode Ray Tube）
CTB：コーディングツリーブロック（Coding Tree Block）
CTU：コーディングツリーユニット（Coding Tree Unit）
CU：コーディングユニット（Coding Unit）
DPB：デコーダピクチャバッファ（Decoder Picture Buffer）
DPCM：差動パルス符号変調（Differential Pulse－Code Modulation）
DPS：デコーディングパラメータセット（Decoding Parameter Set）
DVD：デジタルビデオディスク（Digital Video Disc）
FPGA：フィールドプログラマブルゲートエリア（Field Programmable Gate Area）
JCCR：共同CbCr残差コーディング（Joint CbCr Residual Coding）
JVET：共同ビデオ探索チーム（Joint Video Exploration Team）
GOP：ピクチャのグループ（Groups of Pictures）
GPU：グラフィックス処理装置（Graphics Processing Unit）
GSM：グローバル移動体通信システム（Global System for Mobile communication）
HDR：ハイダイナミックレンジ（High Dynamic Range）
HEVC：高効率ビデオコーディング（High Efficiency Video Coding）
HRD：仮想参照デコーダ（Hypothetical Reference Decoder）
IBC：イントラブロックコピー（Intra Block Copy）
IC：集積回路（Integrated Circuit）
ISP：イントラサブパーティション（Intra Sub－Partitions）
JEM：共同探索モデル（Joint Exploration Model）
LAN：ローカルエリアネットワーク（Local Area Network）
LCD：液晶ディスプレイ（Liquid－Crystal Display）
LR：ループ復元フィルタ（Loop Restoration Filter）
LRU：ループ復元ユニット（Loop Restoration Unit）
LTE：ロングタームエボリューション（Long－Term Evolution）
MPM：最確モード（Most Probable Mode）
MV：動きベクトル（Motion Vector）
OLED：有機発光ダイオード（Organic Light－Emitting Diode）
PB：予測ブロック（Prediction Block）
PCI：周辺構成要素相互接続（Peripheral Component Interconnect）
PDPC：位置依存予測組合せ（Position Dependent Prediction Combination）
PLD：プログラマブル論理デバイス（Programmable Logic Device）
PPS：ピクチャパラメータセット（Picture Parameter Set）
PU：予測ユニット（Prediction Unit）
RAM：ランダムアクセスメモリ（Random Access Memory）
ROM：読み出し専用メモリ（Read－Only Memory）
SAO：サンプル適応オフセット（Sample Adaptive Offset）
SCC：画面コンテンツコーディング（Screen Content Coding）
SDR：標準ダイナミックレンジ（Standard Dynamic Range）
SEI：補足拡張情報（Supplementary Enhancement Information）
SNR：信号ノイズ比（Signal Noise Ratio）
SPS：シーケンスパラメータセット（Sequence Parameter Set）
SSD：ソリッドステートドライブ（Solid－state Drive）
TU：変換ユニット（Transform Unit）
USB：ユニバーサルシリアルバス（Universal Serial Bus）
VPS：ビデオパラメータセット（Video Parameter Set）
VUI：ビデオのユーザビリティ情報（Video Usability Information）
VVC：多用途ビデオコーディング（Versatile Video Coding）
WAIP：広角イントラ予測（Wide－Angle Intra Prediction）
【符号の説明】
【0164】
101 サンプル
102 矢印
103 矢印
104 正方形ブロック
105 概略図
111 現在のブロック
112～116 周囲サンプル
200 通信システム
210 端末デバイス
220 端末デバイス
230 端末デバイス
240 端末デバイス
250 通信ネットワーク
301 ビデオソース
302 ビデオピクチャのストリーム
303 ビデオエンコーダ
304 エンコーディングされたビデオデータ
305 ストリーミングサーバ
306 クライアントサブシステム
307 エンコーディングされたビデオデータの入力コピー
308 クライアントサブシステム
309 エンコーディングされたビデオデータのコピー
310 ビデオデコーダ
311 ビデオピクチャ
312 ディスプレイ
313 キャプチャサブシステム
320 電子デバイス
330 電子デバイス
401 チャネル
410 ビデオデコーダ
412 レンダリングデバイス
415 バッファメモリ
420 エントロピーデコーダ／パーサ
421 シンボル
430 電子デバイス
431 受信機
451 スケーラ／逆変換ユニット
452 イントラピクチャ予測ユニット、イントラ予測モジュール
453 動き補償予測ユニット
455 アグリゲータ
456 ループフィルタユニット
457 参照ピクチャメモリ
458 現在のピクチャバッファ
501 ビデオソース
503 ビデオエンコーダ、ビデオコーダ
520 電子デバイス
530 ソースコーダ
532 コーディングエンジン
533 ローカルビデオデコーダ、ローカルデコーダ
534 参照ピクチャメモリ、参照ピクチャキャッシュ
535 予測器
540 送信機
543 ビデオシーケンス
545 エントロピーコーダ
550 コントローラ
560 通信チャネル
603 ビデオエンコーダ
621 汎用コントローラ
622 イントラエンコーダ
623 残差計算器
624 残差エンコーダ
625 エントロピーエンコーダ
626 スイッチ
628 残差デコーダ
630 インターエンコーダ
710 ビデオデコーダ
771 エントロピーデコーダ
772 イントラデコーダ
773 残差デコーダ
774 再構成モジュール
780 インターデコーダ
801 会議室A
802 ユーザB
803 ユーザC
804 全方位カメラ
901～904 会議室
905 ユーザB
906 ユーザC
1001～1004 会議室
1005 MRF（またはMCU）
1006 ユーザB
1007 ユーザC
1100 プロセス
1200 コンピュータシステム、アーキテクチャ
1201 キーボード
1202 マウス
1203 トラックパッド
1205 ジョイスティック
1206 マイクロフォン
1207 スキャナ
1208 カメラ
1209 スピーカ
1210 タッチ画面、視覚出力装置画面
1220 CD／DVD ROM／RW
1221 媒体
1222 サムドライブ
1223 ソリッドステートドライブ
1240 中心部
1241 中央処理装置（CPU）
1242 グラフィックス処理装置（GPU）
1243 フィールドプログラマブルゲートエリア（FPGA）
1244 ハードウェアアクセラレータ
1245 ROM
1246 ランダムアクセスメモリ
1247 中心部内蔵型大容量ストレージ
1248 システムバス
1249 周辺バス
1250 グラフィックスアダプタ
1254 ネットワークインターフェース
1255 通信ネットワーク
102 矢印
103 矢印
104 正方形ブロック
105 概略図
111 現在のブロック
112～116 周囲サンプル
200 通信システム
210 端末デバイス
220 端末デバイス
230 端末デバイス
240 端末デバイス
250 通信ネットワーク
301 ビデオソース
302 ビデオピクチャのストリーム
303 ビデオエンコーダ
304 エンコーディングされたビデオデータ
305 ストリーミングサーバ
306 クライアントサブシステム
307 エンコーディングされたビデオデータの入力コピー
308 クライアントサブシステム
309 エンコーディングされたビデオデータのコピー
310 ビデオデコーダ
311 ビデオピクチャ
312 ディスプレイ
313 キャプチャサブシステム
320 電子デバイス
330 電子デバイス
401 チャネル
410 ビデオデコーダ
412 レンダリングデバイス
415 バッファメモリ
420 エントロピーデコーダ／パーサ
421 シンボル
430 電子デバイス
431 受信機
451 スケーラ／逆変換ユニット
452 イントラピクチャ予測ユニット、イントラ予測モジュール
453 動き補償予測ユニット
455 アグリゲータ
456 ループフィルタユニット
457 参照ピクチャメモリ
458 現在のピクチャバッファ
501 ビデオソース
503 ビデオエンコーダ、ビデオコーダ
520 電子デバイス
530 ソースコーダ
532 コーディングエンジン
533 ローカルビデオデコーダ、ローカルデコーダ
534 参照ピクチャメモリ、参照ピクチャキャッシュ
535 予測器
540 送信機
543 ビデオシーケンス
545 エントロピーコーダ
550 コントローラ
560 通信チャネル
603 ビデオエンコーダ
621 汎用コントローラ
622 イントラエンコーダ
623 残差計算器
624 残差エンコーダ
625 エントロピーエンコーダ
626 スイッチ
628 残差デコーダ
630 インターエンコーダ
710 ビデオデコーダ
771 エントロピーデコーダ
772 イントラデコーダ
773 残差デコーダ
774 再構成モジュール
780 インターデコーダ
801 会議室A
802 ユーザB
803 ユーザC
804 全方位カメラ
901～904 会議室
905 ユーザB
906 ユーザC
1001～1004 会議室
1005 MRF（またはMCU）
1006 ユーザB
1007 ユーザC
1100 プロセス
1200 コンピュータシステム、アーキテクチャ
1201 キーボード
1202 マウス
1203 トラックパッド
1205 ジョイスティック
1206 マイクロフォン
1207 スキャナ
1208 カメラ
1209 スピーカ
1210 タッチ画面、視覚出力装置画面
1220 CD／DVD ROM／RW
1221 媒体
1222 サムドライブ
1223 ソリッドステートドライブ
1240 中心部
1241 中央処理装置（CPU）
1242 グラフィックス処理装置（GPU）
1243 フィールドプログラマブルゲートエリア（FPGA）
1244 ハードウェアアクセラレータ
1245 ROM
1246 ランダムアクセスメモリ
1247 中心部内蔵型大容量ストレージ
1248 システムバス
1249 周辺バス
1250 グラフィックスアダプタ
1254 ネットワークインターフェース
1255 通信ネットワーク
【図1A】
【図1B】
【図1C】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
