特表 2022-548335 マルチセグメント時間リサンプリングを使用した高速対象領域コーディング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-11-17

(54)【発明の名称】マルチセグメント時間リサンプリングを使用した高速対象領域コーディング

(51)【国際特許分類】

   H04N 19/132 20140101AFI20221110BHJP

   H04N 19/167 20140101ALI20221110BHJP

   H04N 19/17 20140101ALI20221110BHJP

   H04N 19/31 20140101ALI20221110BHJP

【ＦＩ】

H04N19/132

H04N19/167

H04N19/17

H04N19/31

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022527739

(86)(22)【出願日】2020-10-20

(85)【翻訳文提出日】2022-06-14

(86)【国際出願番号】 US2020056442

(87)【国際公開番号】W WO2021096644

(87)【国際公開日】2021-05-20

(31)【優先権主張番号】62/934,284

(32)【優先日】2019-11-12

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/721,733

(32)【優先日】2019-12-19

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ワン、ジェイソン

(72)【発明者】

【氏名】クリシュナン、ラティシュ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA33

5C159MB02

5C159MB26

5C159TA07

5C159TB18

5C159TC34

5C159UA02

5C159UA05

(57)【要約】

【解決手段】ビデオ符号化のための方法、システム、及びコンピュータ可読命令は、ピクチャストリーム内及び時間ダウンサンプリング間隔内のピクチャについての１つ以上の対象領域（ＲＯＩ）パラメータを判定することを含む。ピクチャストリーム内のピクチャ内のＲＯＩの外側の１つ以上のエリアは、間隔に従って時間的にダウンサンプリングされる。次いで、結果として生じる時間的ダウンサンプリング済みピクチャが符号化され、符号化された時間的ダウンサンプリング済みピクチャが伝送される。加えて、符号化済みピクチャストリーム内のこのようにして符号化されたピクチャが復号されてもよく、ピクチャのＲＯＩの外側のエリアが時間的にアップサンプリングされてもよい。ＲＯＩの外側の時間的アップサンプリング済みエリアは、復号された符号化済みピクチャストリームに挿入されてもよい。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

ビデオ符号化のための方法であって、
ａ）ピクチャストリーム内及び時間ダウンサンプリング間隔内のピクチャについての１つ以上の対象領域（ＲＯＩ）パラメータを判定することと、
ｂ）時間的ダウンサンプリング済みピクチャを生成するよう、前記時間ダウンサンプリング間隔に従って前記ピクチャストリーム内のピクチャ内のＲＯＩの外側の１つ以上のエリアを時間的にダウンサンプリングすることと、
ｃ）前記時間的ダウンサンプリング済みピクチャを符号化することと、
ｄ）前記符号化された時間的ダウンサンプリング済みピクチャを伝送することと、
を備えた、方法。

【請求項2】

前記ＲＯＩの外側のエリアを時間的にダウンサンプリングすることは、前記ＲＯＩの外側の前記エリアを判定するために前記ＲＯＩパラメータを使用することと、前記時間ダウンサンプリング間隔の内のフレームについての前記ＲＯＩの外側のエリアについて動き情報を省略することと、を含む、請求項１に記載の方法。

【請求項3】

前記動き情報は、動きベクトル、動きベクトルが差す参照ピクチャを識別する情報、または動きベクトルが網羅するセクションサイズを含む、請求項２に記載の方法。

【請求項4】

前記時間的ダウンサンプリング済みピクチャを符号化することは、前記ＲＯＩの外側のダウンサンプリング済みエリアを有する前記ピクチャをエントロピ符号化することを含む、請求項１に記載の方法。

【請求項5】

前記ＲＯＩの外側のエリアを時間的にダウンサンプリングすることは、前記ＲＯＩの外側の前記１つ以上のエリアを判定するために前記ＲＯＩパラメータを使用することと、前記ＲＯＩの外側のエリアについての前記フレームレートを減少させることと、を含む、請求項１に記載の方法。

【請求項6】

前記時間ダウンサンプリング間隔は、前記ＲＯＩの外側の前記エリアについてのフレームレートを決定する、請求項５に記載の方法。

【請求項7】

前記時間ダウンサンプリング間隔は、ピクチャ内のダウンサンプリング位置及び前記対象領域パラメータに基づいて変化する、請求項１に記載の方法。

【請求項8】

前記時間ダウンサンプリング間隔は、前記ピクチャ内の前記ダウンサンプリング位置が前記ＲＯＩの位置から離れて移動するにつれて増大する、請求項７に記載の方法。

【請求項9】

前記時間ダウンサンプリング間隔は、前記ピクチャ内の前記ダウンサンプリング位置が前記ＲＯＩの位置から離れて移動するにつれて線形レートにおいて増大する、請求項８に記載の方法。

【請求項10】

前記時間ダウンサンプリング間隔は、前記ピクチャ内の前記ダウンサンプリング位置が前記ＲＯＩの位置から離れて移動するにつれて非線形レートにおいて増大する、請求項８に記載の方法。

【請求項11】

前記時間ダウンサンプリング間隔は、ＲＯＩからの距離に対するダウンサンプリングレートのＳ字状関数において増大する、請求項１０に記載の方法。

【請求項12】

前記時間ダウンサンプリング間隔は、ＲＯＩからの距離に対するダウンサンプリングレートに応じて指数関数において増大する、請求項１０に記載の方法。

【請求項13】

前記時間的ダウンサンプリング済みピクチャを符号化する前に、サッケードの間に前記ピクチャストリーム内のピクチャにロウパスフィルタを適用することを更に備えた、請求項１に記載の方法。

【請求項14】

前記時間ダウンサンプリング間隔を符号化することと、ネットワークを通じて前記時間ダウンサンプリング間隔を送信することと、を更に備えた、請求項１に記載の方法。

【請求項15】

前記時間的ダウンサンプリング済みピクチャを符号化する前に、前記ＲＯＩの外側の前記エリアにマルチセグメント空間ダウンサンプリングを適用することを更に備えた、請求項１に記載の方法。

【請求項16】

前記ＲＯＩの外側の前記１つ以上のエリアの特定のエリアについての前記時間ダウンサンプリング間隔は、前記ＲＯＩに対する前記特定のエリアの距離に依存する、請求項１に記載の方法。

【請求項17】

前記時間的ダウンサンプリング済みピクチャを前記符号化する前に、前記ＲＯＩの外側の前記エリアにマルチセグメント空間ダウンサンプリングを適用することを更に備えた、請求項１に記載の方法。

【請求項18】

ビデオ復号のための方法であって、
ａ）符号化済みピクチャストリーム内の符号化済みピクチャを復号することと、
ｂ）前記符号化済みピクチャストリームから前記ピクチャのＲＯＩの外側のエリアを時間的にアップサンプリングすることと、
ｃ）前記ＲＯＩの外側の前記時間的アップサンプリング済みエリアを、前記符号化済みピクチャストリームから前記復号された符号化済みピクチャストリームへの前記ピクチャに挿入することと、
ｄ）前記時間的アップサンプリング済みピクチャを記憶することと、
を備えた、方法。

【請求項19】

前記ＲＯＩの外側のエリアを前記時間的にアップサンプリングすることは、前記ダウンサンプリング間隔内のフレームごとに前記ＲＯＩの外側のエリアについての動き情報を生成するよう、時間ダウンサンプリング間隔の先頭フレーム及び最後フレームからの前記ＲＯＩの外側のエリア内の前記動き情報を補間することを含む、請求項１８に記載の方法。

【請求項20】

前記動き情報は、動きベクトルである、請求項１９に記載の方法。

【請求項21】

前記ＲＯＩの外側のエリアを前記時間的にアップサンプリングすることは、前記ダウンサンプリング間隔内のフレームごとに前記ＲＯＩの外側のエリアについての画像を生成するよう、時間ダウンサンプリング間隔の先頭フレームと最後フレームとの間の前記ＲＯＩの外側の前記エリアを補間することを含む、請求項１８に記載の方法。

【請求項22】

ダウンサンプリング間隔を復号することを更に備えた、請求項１８に記載の方法。

【請求項23】

前記ＲＯＩの外側の前記時間的アップサンプリング済みエリアを前記ピクチャに挿入した後、マルチセグメント空間アップサンプリングを実行することを更に備えた、請求項１８に記載の方法。

【請求項24】

ｅ）において記憶装置に前記時間的アップサンプリング済みピクチャを記憶することと、ディスプレイデバイス上で前記時間的アップサンプリング済みピクチャを表示することと、を更に備えた、請求項１８に記載の方法。

【請求項25】

前記符号化済みピクチャストリームから前記ピクチャへの前記ＲＯＩの外側の前記時間的アップサンプリング済みエリアを、前記復号された符号化済みピクチャストリームに前記挿入した後、マルチセグメント空間アップサンプリングを実行することを更に備えた、請求項１８に記載の方法。

【請求項26】

プロセッサと、
前記プロセッサに結合されたメモリと、
前記メモリに組み込まれた非一時的命令と、を備え、前記非一時的命令は、実行されるとき、
ａ）ピクチャストリーム内及び時間ダウンサンプリング間隔内のピクチャについての１つ以上の対象領域（ＲＯＩ）パラメータを判定することと、
ｂ）時間的ダウンサンプリング済みピクチャを生成するよう、前記時間ダウンサンプリング間隔に従って前記ピクチャストリーム内のピクチャ内のＲＯＩの外側の１つ以上のエリアを時間的にダウンサンプリングすることと、
ｃ）前記時間的ダウンサンプリング済みピクチャを符号化することと、
ｄ）前記符号化され時間的ダウンサンプリング済みピクチャを伝送することと、
を含む、ビデオ符号化のための方法を前記プロセッサに実行させる、システム。

【請求項27】

前記ＲＯＩの外側のエリアを時間的にダウンサンプリングすることは、前記ＲＯＩの外側の前記エリアを判定するために前記ＲＯＩパラメータを使用することと、前記時間ダウンサンプリング間隔の内のフレームについての前記ＲＯＩの外側のエリアについて動き情報を省略することと、を含む、請求項２５に記載のシステム。

【請求項28】

前記ＲＯＩの外側のエリアを時間的にダウンサンプリングすることは、前記ＲＯＩの外側の前記１つ以上のエリアを判定するために前記ＲＯＩパラメータを使用することと、前記ＲＯＩの外側のエリアについての前記フレームレートを減少させることと、を含む、請求項２５に記載のシステム。

【請求項29】

ビデオ符号化のための前記方法は、前記時間的ダウンサンプリング済みピクチャを前記符号化する前に、前記ＲＯＩの外側の前記エリアにマルチセグメント空間ダウンサンプリングを適用することを更に含む、請求項２５に記載のシステム。

【請求項30】

コンピュータ可読媒体に組み込まれた非一時的命令であって、前記非一時的命令は、実行されるとき、
ａ）ピクチャストリーム内及び時間ダウンサンプリング間隔内のピクチャについての１つ以上の対象領域（ＲＯＩ）パラメータを判定することと、
ｂ）時間的ダウンサンプリング済みピクチャを生成するよう、前記時間ダウンサンプリング間隔に従って前記ピクチャストリーム内のピクチャ内のＲＯＩの外側の１つ以上のエリアを時間的にダウンサンプリングすることと、
ｃ）前記時間的ダウンサンプリング済みピクチャを符号化することと、
ｄ）前記符号化された時間的ダウンサンプリング済みピクチャを伝送することと、
を含む、ビデオ符号化のための方法をコンピュータに実行させる、非一時的命令。

【請求項31】

前記ＲＯＩの外側のエリアを時間的にダウンサンプリングすることは、前記ＲＯＩの外側の前記エリアを判定するために前記ＲＯＩパラメータを使用することと、前記時間ダウンサンプリング間隔の内のフレームについての前記ＲＯＩの外側のエリアについて動き情報を省略することと、を含む、請求項３０に記載の非一時的命令。

【請求項32】

前記ＲＯＩの外側のエリアを時間的にダウンサンプリングすることは、前記ＲＯＩの外側の前記１つ以上のエリアを判定するために前記ＲＯＩパラメータを使用することと、前記ＲＯＩの外側のエリアについての前記フレームレートを減少させることと、を含む、請求項３０に記載の非一時的命令。

【請求項33】

ビデオ符号化のための前記方法は、前記時間的ダウンサンプリング済みピクチャを前記符号化する前に、前記ＲＯＩの外側の前記エリアにマルチセグメント空間ダウンサンプリングを適用することを更に含む、請求項３０に記載の非一時的命令。

【請求項34】

プロセッサと、
前記プロセッサに結合されたメモリと、
前記メモリに組み込まれた非一時的命令と、を備え、前記非一時的命令は、実行されるとき、
ａ）符号化済みピクチャストリーム内の符号化済みピクチャを復号することと、
ｂ）前記符号化済みピクチャストリームから前記ピクチャのＲＯＩの外側のエリアを時間的にアップサンプリングすることと、
ｃ）前記ＲＯＩの外側の前記時間的アップサンプリング済みエリアを、前記符号化済みピクチャストリームから前記復号された符号化済みピクチャストリームへの前記ピクチャに挿入することと、
ｄ）前記時間的アップサンプリング済みピクチャを記憶することと、
を含む、ビデオ復号のための方法を前記プロセッサに実行させる、システム。

【請求項35】

前記ＲＯＩの外側のエリアを前記時間的にアップサンプリングすることは、前記ダウンサンプリング間隔内のフレームごとに前記ＲＯＩの外側のエリアについての動き情報を生成するよう、時間ダウンサンプリング間隔の先頭フレーム及び最後フレームからの前記ＲＯＩの外側のエリア内の前記動き情報を補間することを含む、請求項３４に記載のシステム。

【請求項36】

前記ＲＯＩの外側のエリアを前記時間的にアップサンプリングすることは、前記ダウンサンプリング間隔内のフレームごとに前記ＲＯＩの外側のエリアについての画像を生成するよう、時間ダウンサンプリング間隔の先頭フレームと最後フレームとの間の前記ＲＯＩの外側の前記エリアを補間することを含む、請求項３４に記載のシステム。

【請求項37】

ビデオ復号のための前記方法は、前記符号化済みピクチャストリームから前記ピクチャへの前記ＲＯＩの外側の前記時間的アップサンプリング済みエリアを、前記復号された符号化済みピクチャストリームに前記挿入した後、マルチセグメント空間アップサンプリングを実行することを更に含む、請求項３４に記載のシステム。

【請求項38】

コンピュータ可読媒体に組み込まれた非一時的命令であって、前記非一時的命令は、実行されるとき、
ａ）符号化済みピクチャストリーム内の符号化済みピクチャを復号することと、
ｂ）前記符号化済みピクチャストリームから前記ピクチャのＲＯＩの外側のエリアを時間的にアップサンプリングすることと、
ｃ）前記ＲＯＩの外側の前記時間的アップサンプリング済みエリアを、前記符号化済みピクチャストリームから前記復号された符号化済みピクチャストリームへの前記ピクチャに挿入することと、
ｄ）前記時間的アップサンプリング済みピクチャを記憶することと、
を含む、ビデオ復号のための方法をコンピュータに実行させる、非一時的命令。

【請求項39】

前記ＲＯＩの外側のエリアを前記時間的にアップサンプリングすることは、前記ダウンサンプリング間隔内のフレームごとに前記ＲＯＩの外側のエリアについての動き情報を生成するよう、時間ダウンサンプリング間隔の先頭フレーム及び最後フレームからの前記ＲＯＩの外側のエリア内の前記動き情報を補間することを含む、請求項３８に記載の非一時的命令。

【請求項40】

前記ＲＯＩの外側のエリアを前記時間的にアップサンプリングすることは、前記ダウンサンプリング間隔内のフレームごとに前記ＲＯＩの外側のエリアについての画像を生成するよう、時間ダウンサンプリング間隔の先頭フレームと最後フレームとの間の前記ＲＯＩの外側の前記エリアを補間することを含む、請求項３８に記載の非一時的命令。

【請求項41】

ビデオ復号のための前記方法は、前記符号化済みピクチャストリームから前記ピクチャへの前記ＲＯＩの外側の前記時間的アップサンプリング済みエリアを、前記復号された符号化済みピクチャストリームに前記挿入した後、マルチセグメント空間アップサンプリングを実行することを更に含む、請求項３８に記載の非一時的命令。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の態様は、デジタル画像符号化及び復号に関連する。特に、本開示は、対象領域コーディングに関連する。

【背景技術】

【0002】

ビデオ処理では、対象領域（ＲＯＩ）コーディングは典型的には、ビデオフレームの残りに対するビデオフレームの選択された部分の視覚品質を高める処理を指す。ＲＯＩコーディングは、帯域幅削減のために使用されることがあり、ネットワーク輻輳の間にシーンの重要部分における視覚的忠実度が維持されることを保証する。

【0003】

慣習的なＲＯＩコーディングは、ＲＯＩの内部のエリアに対してより低い量子化パラメータ（ＱＰ）が使用され、残りに対してより高いＱＰが使用されるように、符号化処理の間にＱＰを操作することを伴う。これは、ＲＯＩの外側のエリアについてのビットの共有を削減することを結果としてもたらし、それは次いで、背景のピクチャ品質を低下させる。このアプローチは、ビットレートを低下させることがあると共に、処理される画素の数を低減させないので、符号化処理を加速化させない。

【0004】

一部の既存の非一様リサンプリング方法は、画像全体に変換関数を適用し、それは、一般的な画像及びビデオ圧縮標準規格に適合しない非矩形画像を結果としてもたらすことがある。非矩形画像配列をコーディングするために、パディング済み画素と共に矩形の境界ボックスが使用され、パディング済み矩形画像は次いで、慣習的な手段を使用して圧縮される。エンコーダが、表示されないパディング済み画素を処理する必要がある場合があるので、このツールは最適でない。

【0005】

他のアプローチは、１つがＲＯＩに対するものであり、もう一方が背景に対するものである、２つの別個のビットストリームを利用することがある。符号化時間を削減するために、より低い分解能に背景がダウンサンプリングされることがある。背景に対してＲＯＩを混合することによって、最終画像が生成される。この方法の欠点は、２つのエンコーダインスタンスが２つのビットストリームを生成する必要があることである。ディスプレイ側において、２つのデコーダインスタンスが必要であり、追加の同期が必要であり、それは、複雑度を増大させる。

【0006】

本開示の態様が生じるのはこのコンテキストにおいてである。

【図面の簡単な説明】

【0007】

【図1A】本開示の態様に従った、時間ダウンサンプリングまたは動き情報により符号化する方法を示す。

【図1B】本開示の態様に従った、時間ダウンサンプリングまたは動き情報により符号化する方法のグラフィカル表現である。

【図2】本開示の態様に従った、時間的ダウンサンプリング済み画像ストリームを復号する方法を表す。

【図3A】本開示の態様に従った、時間ダウンサンプリングする代替的な方法を表す。

【図3B】本開示の態様に従った、フレームレート時間ダウンサンプリングする方法をグラフィカルに表す。

【図3C】本開示の態様に従った、時間ダウンサンプリングの別の実施態様をグラフィカルに示す。

【図3D】本開示の態様に従った、時間ダウンサンプリング及びマルチセグメント空間ダウンサンプリングの両方を有する別の実施態様をグラフィカルに表す。

【図4A】本開示の態様に従った、ダウンサンプリング済みフレームレート情報を有する符号化された時間的ダウンサンプリング済みフレームを復号する方法をグラフィカルに表す。

【図4B】時間的にダウンサンプリングされたフレームレートである、符号化された撮像済みフレームを復号する方法をグラフィカルに表す。

【図4C】本開示の態様に従った、時間的にダウンサンプリングされたフレームレートであり、中間フレーム内のＲＯＩの外側の前のフレームからの情報を含む、画像フレームを復号する別の実施態様をグラフィカルに示す。

【図4D】本開示の態様に従った、時間的にダウンサンプリングされたフレームレートである画像フレーム及びマルチセグメント空間的ダウンサンプリング済みフレームを復号する別の実施態様を示す。

【図5A】本開示の態様に従った、その間に対象領域からの距離に応じて空白にされた情報を有するフレームの事項として時間ダウンサンプリング間隔がどのように変化するかの実施例を例示するグラフである。

【図5B】本開示の態様に従った、凝視トラッキングを使用して符号化済みデータサイズを更に削減する方法を表す。

【図6A】本開示の態様に従った、動き情報時間ダウンサンプリング処理を表す。

【図6B】本開示の態様に従った、フレームレート時間ダウンサンプリング処理を示す。

【図7】本開示の態様に従った、ＲＯＩパラメータにより時間的ダウンサンプリング済みストリーミングデータを復号する実施例の方法を例示する。

【図8A】本開示のコンテキストにおいて使用することができる暗瞳孔凝視トラッキングシステムの実施例を表す。

【図8B】本開示の態様に従った、対象領域を判定するアイトラッキングを示す。

【図9】本開示の態様に従った、時間ダウンサンプリングにより符号化または復号する実施例のシステムを表す。

【発明を実施するための形態】

【0008】

導入
ＲＯＩコーディングを実行する新たな方法は、ＲＯＩ内の詳細の損失なしに、伝送の間に画像のビットカウントを削減するために、時間ダウンサンプリングを使用する。削減したビットカウントは、圧縮済みビットストリームを作成する符号化処理を加速化させ、符号化済みピクチャデータを伝送するために必要とされる帯域幅を削減する。デコーダ側では、元の分解能における元の画像のほぼ複写（ａ ｎｅａｒ ｆａｃｓｉｍｉｌｅ）に画像を再構築するよう、圧縮済みビットストリームが圧縮解除の間に時間的にアップサンプリングされる。提案される方法は、ＲＯＩコーディングを達成すると共に、符号化を実行するために必要な時間を削減し、圧縮済み画像ストリームのサイズを実質的に削減する。

【0009】

本明細書で使用されるように、「時間ダウンサンプリング」は、圧縮の間に使用される画像フレームまたは画像フレームの一部に関する情報を取り除くことによって、或る時間間隔（時間ダウンサンプリング間隔と称される）の間に画像フレームまたは画像フレームの一部についての符号化済みビットカウントの削減を指す。加えて本明細書で使用されるように、「時間アップサンプリング」は、時間ダウンサンプリング間隔の間に符号化済み画像内に存在する画像フレームまたは画像フレームの一部についての情報の生成を指す。

【0010】

提案される解決策は、既存のＲＯＩコーディング技術に対するいくつかの利点を有する。提案される解決策は、ＲＯＩ内の詳細の損失なしに、時間ダウンサンプリング間隔の間に符号化済み入力画像のビットカウントを著しく削減し、より高速な符号化につながる。提案される解決策を使用したＲＯＩコーディングは、既存の圧縮標準規格を使用して実行されてもよい。ＲＯＩ及び背景のピクチャ品質を制御するようＱＰを調節することを回避することができる。提案される解決策を使用したＲＯＩコーディングは、単一のエンコーダインスタンスを使用して実装されてもよい。提案される解決策は、ＲＯＩサイズ及びビデオフレームの間の位置を変えることを可能にする。提案される解決策はまた、ＲＯＩと背景との間のピクチャ品質差の制御を可能にする。更に、提案される解決策の一部の態様は、矩形のＲＯＩ及び同一の画像内の複数のＲＯＩに拡張されてもよい。

【0011】

方法論
上記議論されたような時間ダウンサンプリングは、時間ダウンサンプリング間隔の内部のフレームのビットカウントを相当に削減する。これは、フレームのより効率的な符号化及び伝送を可能にする。時間ダウンサンプリングをＲＯＩ符号化と組み合わせることは、観察者が見ている画像のエリアの高い忠実度またはより正確なレンダリング、及び観察者があまり知覚的能力を有さないエリアのより低い忠実度またはあまり正確でないレンダリングを可能にする。

【0012】

時間ダウンサンプリングする１つのアプローチは、ＲＯＩの外側のエリアについての動き情報を削減することである。例として、及び限定なしに、動き情報は、動きベクトル、動きベクトルが差すピクチャを識別する情報、動きベクトルが網羅するセクションサイズ、例えば、ブロックサイズ、またはそれらのうちの２つ以上の何らかの組み合わせを含んでもよい。

【0013】

それらの詳細に入る前にダウン／アップサンプリングする方法の２つの実施例を簡潔に説明することが有益である。第１の方法は、本明細書でインループダウン／アップサンプリングと称される。この方法に従って、エンコーダ側でのダウンサンプリングは、符号化ループの一部であり、デコーダ側でのアップサンプリングは、復号ループの一部である。この方法では、エンコーダは、ダウンサンプリング間隔内のピクチャについてのＲＯＩの外側の領域についての動き情報を省略し、または部分的に省略する。デコーダは、復号済み画素を再構築するために動き情報を使用する前に、動き情報をアップサンプリングする。

【0014】

第２の方法では、エンコーダは、静止画素を符号化し、またはダウンサンプリング間隔内のピクチャについてのＲＯＩの外側の画素を省略するかのいずれかである。次いで、デコーダは、圧縮済みピクチャを最初に復号する。ピクチャが圧縮解除された後、デコーダは、復号済み画素を時間的にアップサンプリングする。ダウンサンプリングが符号化の前に行われ、アップサンプリングが復号の後に行われることを理由に、ダウンサンプリング及びアップサンプリングは、符号化／復号ループの外側で行われると見なされてもよい。したがって、この方法は、本明細書でアウトオブループアップ／ダウンサンプリングと称される。

【0015】

図１Ａは、本開示の態様に従った、動き情報の時間インループダウン／アップサンプリングにより符号化する方法を示す。１０１に示されるように、例えば、ＲＯＩのサイズ、位置、及び形状に関連するＲＯＩパラメータが判定されてもよい。例として、及び限定なしに、矩形のＲＯＩのケースでは、それらのパラメータは、矩形画像の各々のエッジから対応するＲＯＩ境界までのオフセットと共に、画像及びＲＯＩについての寸法、例えば、長さ及び幅を含んでもよい。参照によりその内容が本明細書に組み込まれる、同一出願人による係属中の米国特許出願第１６／００４，２７１号、Ｋｒｉｓｈｎａｎ ｅｔ ａｌ．「ＦＡＳＴ ＲＥＧＩＯＮ ＯＦ ＩＮＴＥＲＥＳＴ ＣＯＤＩＮＧ ＵＳＩＮＧＭＵＬＴＩ－ＳＥＧＭＥＮＴ ＲＥＳＡＭＰＬＩＮＧ」において、ＲＯＩパラメータ、画素オフセット、及びマルチセグメント空間ダウンサンプリングを判定することに関する更なる情報を発見することができる。

【0016】

ＲＯＩパラメータが判定されると、１０２に示されるように、ＲＯＩパラメータにより画像を符号化することが開始してもよい。画像の符号化は、後のセクションにおいて議論されるように、多段階処理である。多段階処理は、画像ごとの動きベクトル及び関連する情報などの動き情報の計算を含む。復号処理の間にそれらが利用可能であることを保証するために、この符号化ステップと共にＲＯＩパラメータが含まれてもよい。本開示の態様に従って、方法は、ＲＯＩを判定するためにＲＯＩパラメータを使用してもよく、１０３に示されるように、時間ダウンサンプリング間隔においてＲＯＩの外側のエリアについての動き情報の計算を省略してもよい。本開示の態様に従って、時間ダウンサンプリング間隔の先頭フレーム及び最後フレームは、時間ダウンサンプリング間隔内の他のフレームについての動き情報を再生成することができることを保証するために、ＲＯＩの外側の部分についての動き情報を保持することができる。時間ダウンサンプリング間隔内の追加のフレームは、ＲＯＩの外側、例えば、限定なしに、大きな値の動き情報を有するエリアまたは認識された動きパターンを有するエリアの外側のそれらの動き情報を保持することができる。時間ダウンサンプリングは、ＲＯＩの外側の動き情報を簡易化し、それによって、符号化処理を加速化する。いくつかの実施態様は加えて、一部の動きベクトルを取り除き、エンコーダの動き予測の複雑度を削減するために、パターン認識を使用してもよい。

【0017】

いくつかの実施態様では、本開示の態様に従って、１０４に示されるように、符号化済み画像フレームと共に、時間ダウンサンプリング間隔が含まれてもよい。符号化処理が完了した後、１０５に示されるように、符号化済み画像フレームがクライアント、別のメモリ位置、または別のデバイスに伝送されてもよい。そのような伝送は、例えば、デバイス内のデータバス、インターネットなどのワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、またはＢｌｕｅｔｏｏｔｈ（登録商標）ネットワークなどのパーソナルエリアネットワーク（ＰＡＮ）を伴ってもよい。

【0018】

図１Ｂは、図１Ａに関して上記説明された方法をグラフィカルに表す。示されるように、１０２における符号化処理の間、画像フレーム１１２に対して動きベクトルが生成される。示される簡易化された表現では、矢印は、グリッドによって表される、画像のセクションごとに生成された動きベクトルを表す。１０３における動き情報のダウンサンプリングは、ＲＯＩ１１３の外側のエリアからの動き情報を除去することができる。代わりに、ＲＯＩの外側のエリアについての動き情報は、符号化処理の間に単純に計算されなくてもよい（図示せず）。示されるようなＲＯＩ１１３についてのデータは、限定なしに、動きベクトルなどの動き情報を保持することができる。ピクチャのストリームについてのＲＯＩの外側の１つ以上のエリアについての動き情報は、時間ダウンサンプリング間隔において除去されてもよい。時間ダウンサンプリング間隔の先頭ピクチャ１１５及び最後ピクチャ１１６は、それらの動き情報を保持することができると共に、全ての他の中間ピクチャ１１４は、それらの動き情報を省略させ、例えば、計算させないようにし、または除去させる。

【0019】

時間ダウンサンプリング間隔を記述した情報は、ピクチャと共にまたは別個に符号化されてもよい（１０４）。代替的な実施形態では、時間ダウンサンプリング情報は、例えば、限定なしに、ネットワーク抽象レイヤ（ＮＡＬ）符号化において、符号化済みピクチャと共にパッケージ化されてもよい。

【0020】

本開示の態様に従ったいくつかの代替的な実施態様では、時間ダウンサンプリング間隔は、品質の損失なしに、符号化遅延及び符号化済み画像を伝送するために必要とされる帯域幅を最小化するために選択された固定間隔であってもよい。そのような実施態様では、エンコーダ及びデコーダの両方は、時間ダウンサンプリング間隔を単純に保持することができ、デバイスの間で伝送される必要がある時間ダウンサンプリング間隔情報を保持しない。他の実施態様では、時間ダウンサンプリング間隔は、可変であってもよく、したがって、エンコーダは、符号化済みピクチャデータを有する一部の時間ダウンサンプリング情報を含んでもよい。更なる他の実施態様では、時間ダウンサンプリング間隔情報は単純に、デコーダに既知の事前設定された間隔であってもよい。いくつかの実施態様では、時間ダウンサンプリング間隔は、ＲＯＩに対する領域の距離に依存してもよい。ＲＯＩの周りの画像の複数の領域が存在してもよい。ＲＯＩにより近い領域は、ＲＯＩから更に遠い領域よりも小さいダウンサンプリング間隔を要してもよい。

【0021】

図２は、本開示の態様に従った、時間的ダウンサンプリング済み画像ストリームを復号する方法を表す。２０１に示されるように、符号化済み画像ストリームがネットワークを通じてデバイスにおいて最初に受信されてもよい。いくつかの実施態様では、画像ストリームは、画像ストリーム内でまたは別個の伝送として符号化された時間ダウンサンプリング間隔を含んでもよい。２０２に示されるように、デバイスは、画像ストリームを復号することを開始してもよい。復号処理の一部として、時間ダウンサンプリング間隔は、エントロピ復号されてもよく、処理において後に使用されてもよい。

【0022】

標準的な復号処理では、動きベクトルなどの符号化済み動き情報が復号され、画像内のマクロブロック移動を再構築するために使用される。動き情報を使用した時間ダウンサンプリング処理に起因して、ＲＯＩの外側の動き情報は、時間ダウンサンプリング間隔内のフレームに対して存在しない。したがって、ＲＯＩの外側の省略済み動き情報が生成または再構築される必要がある（２０３）。動き情報の生成は、補間を使用して実行されてもよい。本開示の態様に従って、時間ダウンサンプリング間隔内の先頭画像及び最後画像は、それらの動き情報を保持する。デバイスは、時間ダウンサンプリング間隔内のフレームごとの補間済み動き情報を生成するよう、先頭フレームの動き情報と最後フレームの動き情報との間を補間してもよい。いくつかの実施態様では、動き情報を生成するよう、いくつかの時間ダウンサンプリング周期にわたるいくつかの先頭フレーム及び最後フレームが補間されてもよい。他の実施態様では、高い値の動き情報を有するエリア内でなど、時間ダウンサンプリング間隔の間の追加の動き情報は、情報のより正確な再生成のために補間の間に使用されてもよい。補間は、本分野において既知のいずれかの補間方法、例えば、限定なしに、線形補間、多項式補間、またはスプライン補間であってもよい。

【0023】

時間ダウンサンプリング間隔内のフレームについての動き情報の生成の後、２０４に示されるように、ＲＯＩの外側のエリア内の不明動き情報である対応するフレームに動き情報が適用される。生成済み動き情報を有する時間ダウンサンプリング間隔内のフレームは次いで、完全復号済み及び再構築済み画像を生成するよう、復号の間に更に処理されてもよい。２０６に示されるように、完全復号済み画像に対応するデータは、メモリまたは記憶装置に記憶されてもよく、ネットワークを通じて伝送されてもよく、またはディスプレイデバイスに送信されてもよく、ディスプレイデバイス上で表示されてもよい。

【0024】

図３Ａは、本開示の態様に従った、時間ダウンサンプリングする代替的な方法を表す。従来のように、３０１において、ＲＯＩのサイズ、位置、及び形状に関連するＲＯＩパラメータが判定される。３０２において、ＲＯＩを特定するためにＲＯＩパラメータを使用して、ＲＯＩの外側の１つ以上のエリアは、それらのフレームレートを減少させる。ここで、フレームレートは、元の画素の周波数を指してもよく、全体的に、複製されていないクロマ情報及びルマ情報が利用可能であるレートを指してもよい。例として、及び限定なしに、ＲＯＩの外側のマクロブロックについてのクロマ情報及びルマ情報は、ヌル値まで変化してもよく、よって、それらのマクロブロックについての画像情報を取り除く。別の実施例では、ＲＯＩの外側の画素についてのクロマ情報及びルマ情報は、前のフレームからコピーされる。加えて、どのフレームをドロップさせるかを判定するために、時間ダウンサンプリング間隔が使用されてもよい。本実施形態の態様に従って、ＲＯＩの外側の１つ以上のエリアのフレームレートまたはフレームレートの何らかの倍数があってもよい。

【0025】

ＲＯＩの外側の１つ以上のエリア内の削減したフレームレートを有する画像フレームは次いで、後のセクションにおいて議論されるような画像符号化方法を使用して３０３において完全に符号化される。時間的ダウンサンプリング済み画像フレームを符号化することは、少なくともエントロピコーディングを含んでもよい。

【0026】

いくつかの代替的な実施態様では、本開示の態様に従って、３０４に示されるように、時間ダウンサンプリング間隔は、メタデータとして含まれてもよく、各々の画像フレームと共に符号化されてもよく、または画像ストリームに含まれてもよく、画像ストリームと共に符号化されてもよい。他の実施態様では、時間ダウンサンプリング間隔情報は、画像ストリームとは別個のデータとして送信されてもよく、またはネットワーク抽象レイヤに符号化済みデータとして含まれてもよい。

【0027】

最終的に、符号化された時間的ダウンサンプリング済み画像は、ネットワークを通じてデバイスに、またはキャッシュからメモリに伝送されてもよい（３０５）。

【0028】

図３Ｂは、本開示の態様に従った、フレームレート時間ダウンサンプリングする上記方法をグラフィカルに表す。ＲＯＩを有するピクチャは、３０２に関して上記説明されたようにＲＯＩの外側の部分についてのフレームレートを減少させることができる。示されるように、ＲＯＩの外側のフレームレートを減少させた後、ＲＯＩ３１２は、同一のフレームレートを維持すると共に、ＲＯＩ３１２の外側のエリア３１３が取り除かれる。時間ダウンサンプリング間隔は、何個のフレームがＲＯＩの周りの１つ以上のエリア内のクロマ情報及びルマ情報を保持するかを指示する。上記のように、時間ダウンサンプリング間隔内の先頭フレーム３１４及び最後フレーム３１６は、それらのクロマ情報及びルマ情報を保持すると共に、中間フレーム３１５のみが、ＲＯＩについてのクロマ情報及びルマ情報を有する。ＲＯＩの外側の１つ以上のエリア内の削減したフレームレートを有するピクチャは次いで、更に符号化される（３０３）。時間ダウンサンプリング間隔情報は、ピクチャと共に符号化されてもよく（３０４）、またはＮＡＬ符号化の一部としてピクチャと共にパッケージ化されてもよい。符号化の後、符号化済みパッケージは、別のデバイスに、または記憶装置もしくはメモリなどの符号化デバイス上の別の位置に伝送されてもよい。

【0029】

図３Ｃは、本開示の態様に従った、時間ダウンサンプリングの別の実施態様を示す。示される実施態様では、ＲＯＩの３２４、３２５、３２６をそれぞれ有する前のフレーム３２１、中間フレーム３２２、及び最終フレーム３２３は、時間ダウンサンプリング演算において使用される。この演算では、中間フレーム３２２からのＲＯＩの外側のクロマ情報及びルマ情報を取り除く代わりに、前のフレーム３２１からのクロマ情報及びルマ情報が単純に繰り返される（３２７）。加えて、ＲＯＩ位置は、前のフレーム３２４から中間フレーム３２５に移動する。時間ダウンサンプリングの間、前のフレーム３２４のＲＯＩ内のクロマ情報及びルマ情報は、ダウンサンプリング済み中間フレーム内のＲＯＩ３２９の外側のエリア３２８についての不明情報を生成するよう、中間フレーム３２５についてのクロマ情報及びルマ情報と組み合わされる。ＲＯＩ内のクロマ値及びルマ値は、前のフレーム内のＲＯＩの外側から存在することがあるいずれかのクロマ値及びルマ値を置き換える。図３Ｃ及び図３Ｄに示されるパターンは、フレームについての元のクロマ情報及びルマ情報を表し、新たなパターンは、新たなクロマ情報及びルマ情報を表す。時間ダウンサンプリングの後、フレームが符号化されてもよい。

【0030】

図３Ｄは、時間ダウンサンプリング及びマルチセグメント空間ダウンサンプリングの両方を有する別の実施態様を表す。示される実施態様では、ＲＯＩの３３４、３３５、３３６をそれぞれ有する前のフレーム３３１、中間フレーム３３２、及び最終フレーム３３３は、時間ダウンサンプリング演算において使用される。従来のようにこの演算では、中間フレーム３３２からのＲＯＩの外側のクロマ情報及びルマ情報を取り除く代わりに、前のフレーム３３１からのＲＯＩの外側のクロマ情報及びルマ情報は、時間的ダウンサンプリング済み中間フレーム３３７内で複製される。前のフレーム３３７、中間フレーム３４０、及び最終フレーム内のマルチセグメントダウンサンプリングの後のＲＯＩの外側のエリアは、マルチセグメントダウンサンプリング演算に起因して削減される。加えて、示されるように、ＲＯＩ位置は、前のフレーム３２４から中間フレーム３２５に移動する。時間ダウンサンプリング及びマルチセグメントダウンサンプリングの間、前のフレーム３３４のＲＯＩ内のクロマ情報及びルマ情報は、ダウンサンプリング済み中間フレーム内のＲＯＩ３３５の外側のエリア３３９についての不明情報を生成するよう、中間フレーム３３５についてのクロマ情報及びルマ情報と組み合わされる。ＲＯＩ内のクロマ値及びルマ値は、前のフレーム内のＲＯＩの外側から存在することがあるいずれかのクロマ値及びルマ値を置き換える。マルチセグメントダウンサンプリングは、ＲＯＩを包含したセクションフレームに適用されず、したがって、中間フレーム内の前のＲＯＩ３３９の位置の空間分解能が保持される。時間ダウンサンプリング及びマルチセグメントダウンサンプリングの後、フレームが符号化されてもよい。

【0031】

図４Ａは、ダウンサンプリング済みフレームレート情報を有する符号化された時間的ダウンサンプリング済みフレームを復号する方法を表す。４０１に示されるように、最初に、デバイスは、別のデバイスから、またはデバイスの別の部分から、ネットワークを通じて伝送された、符号化済み画像フレームを受信してもよい。

【0032】

４０２に示されるように、符号化された時間的ダウンサンプリング済み画像は、後のセクションにおいて議論される方法に従って、または画像フレームが符号化された何らかの方法に従って復号されてもよい。

【0033】

復号の間、４０３に示されるように、時間アップサンプリングが時間ダウンサンプリング間隔内のフレームに適用されてもよい。時間的ダウンサンプリング済みフレームについての画像を生成するために、前のフレームからの複製された画素情報を有し、または時間ダウンサンプリングに起因してカラー情報もしくは他の画像情報を欠いているフレームにフレームレート時間アップサンプリングが適用されてもよい。例として、及び限定なしに、時間アップサンプリングの１つの方法は、時間ダウンスケーリング間隔内の先頭フレームのＲＯＩの外側のエリアを時間ダウンスケーリング間隔内の最後フレームのＲＯＩの外側のエリアにより補間することである。動き情報に関して上記説明された実施形態とは異なり、現在の実施形態では、１つ以上のエリアのカラー情報またはクロマ情報及びルマ情報などの画像情報が補間される。上記議論されたように、補間方法は、本分野においていずれかの既知の、例えば、限定なしに、オプティカルフロー、線形補間、多項式補間、またはスプライン補間であってもよい。この補間は、ＲＯＩの外側の１つ以上のエリア内の画像または補間によって作成されたＲＯＩの外側の１つ以上のエリア内で作成された合成画像と考えられてもよい。いくつかの実施態様では、補間は、計算サイクルを節約するために、前のフレームを単純に繰り返すことにより置き換えられてもよい。

【0034】

オプティカルフローは、画素の輝度が経時的にスクリーンにわたってどのように移動するかを推定する画素ごとの予測である。オプティカルフローは、所与の時間ｔにおける画素特性（例えば、クロマ値またはルマ値）が後の時間ｔ＋Δｔであるが異なる位置において同一であると推定し、位置における変化は、フローフィールドによって予測される。オプティカルフローは、補間を実行するためにより正確であるが、処理が遅い。参照によって本明細書に組み込まれ、以下のＵＲＬ：ｈｔｔｐｓ：／／ｍｅｄｉｕｍ．ｃｏｍ／ｓｗｌｈ／ｗｈａｔ－ｉｓ－ｏｐｔｉｃａｌ－ｆｌｏｗ－ａｎｄ－ｗｈｙ－ｄｏｅｓ－ｉｔ－ｍａｔｔｅｒ－ｉｎ－ｄｅｅｐ－ｌｅａｒｎｉｎｇ－ｂ３２７８ｂｂ２０５ｂ５においてそのコピーにアクセスすることができる、Ｍａｒｋ Ｇｉｔｕｍａによる「Ｗｈａｔ ｉｓ Ｏｐｔｉｃａｌ Ｆｌｏｗ ａｎｄ ｗｈｙ ｄｏｅｓ ｉｔ ｍａｔｔｅｒ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ」においてオプティカルフローが詳細に説明される。

【0035】

いくつかの合成画像を作るために、時間ダウンサンプリング間隔の先頭画像及び最後画像の補間が使用されてもよい。４０４に示されるように、それらの合成画像は、符号化の間にそれらの情報を保持した、ＲＯＩ内の非合成画像と組み合わされる。再構築済みエリア内での表示のためにより多くのクロマ情報及びルマ情報が利用可能であるように、時間ダウンサンプリング間隔内のフレームのＲＯＩの外側の１つ以上のエリアを再構築することは、画像エリアのフレームレートを効果的に増大させる。

【0036】

時間ダウンサンプリング間隔内のフレームが再生成されると、それは後の使用のために記憶装置に記憶されてもよい（４０５）。代わりに、ディスプレイデバイス上で表示されることになり、またはディスプレイデバイスに送信されることになる再生成済みフレームは、ディスプレイバッファに記憶されてもよい。別の実施態様では、再生成済みフレームが記憶されてもよく、テレビなどのリモートディスプレイデバイスに送信されてもよい。

【0037】

図４Ｂは、時間的にダウンサンプリングされたフレームレートである符号化済み画像フレームを復号する方法をグラフィカルに表す。復号の間、ＲＯＩ４１１の外側のクロマ情報及びルマ情報を有する画像と共に、ＲＯＩ４１２内のクロマ情報及びルマ情報のみを有する画像が復号される。４０３において、ＲＯＩ４１２の外側のエリア内のピクチャ不明クロマ情報及びルマ情報に対して上記説明されたような補間を使用してクロマ情報及びルマ情報が再構築される。生成済み画像内でのＲＯＩ４１３の配置をガイドするために、ＲＯＩパラメータが使用される。再構築済み画像は次いで、時間ダウンサンプリング間隔情報を使用して画像ストリーム内のそれらの適切な位置に挿入される（４１４）。

【0038】

図４Ｃは、時間的にダウンサンプリングされたフレームレートであり、中間フレーム内のＲＯＩの外側の前のフレームからの情報を含む画像フレームを復号する方法を示す。時間的ダウンサンプリング済みピクチャは、限定なしに、後のセクションにおいて全体的に説明されるような、ＡＶＣ／Ｈ．２６４、ＨＥＶＣ／Ｈ．２６５などの既知の符号化方法において最初に符号化されてもよい。復号済み画像フレームは、初期画像フレーム４２１、中間画像４２７、及び最終画像フレーム４２３を含んでもよい。画像フレームは、提示の過程の間に移動するＲＯＩを包含してもよい。示されるように、前のフレームは、ＲＯＩ４２４を有し、中間フレームは、ＲＯＩ４２９を有し、最終フレームは、ＲＯＩ４２６を有する。中間フレームは、符号化処理の間に時間的にダウンサンプリングされており、この実施態様では、前のフレームのＲＯＩの外側のエリアから複製されたＲＯＩの外側のクロマ値及びルマ値を有する。加えて、中間フレーム４２７のＲＯＩ４２９の位置が移動したことを理由に、中間フレームのＲＯＩ４２８の外側のエリアを埋めるために、初期フレーム４２１のＲＯＩ４２４からのクロマ情報及びルマ情報が使用される。

【0039】

ＲＯＩの外側のエリアについてのクロマ情報及びルマ情報は、時間アップサンプリングを通じて復号の間に再構築されてもよい。時間アップサンプリングは、時間ダウンサンプリング間隔４３０を通じて中間フレーム４２２内のＲＯＩ４２５の外側のエリアについてのクロマ値及びルマ値を補間してもよい。示される実施例では、初期フレーム４２１及び最終フレーム４２３のＲＯＩの外側のエリアについてのクロマ値及びルマ値は、中間フレーム４２２のＲＯＩ４２５の外側のエリアについてのクロマ値及びルマ値を作るために補間される。ＲＯＩが前のフレーム４２１から最終フレーム４２６への間に移動することを理由に、中間フレーム内のＲＯＩの外側のエリアを再構築するために、前のフレーム４２４及び最終フレーム４２６のＲＯＩ内のクロマ値及びルマ値が補間の間に使用されてもよい。前のフレーム内のＲＯＩの一部であり、補間の間に使用されていた領域は、正確なフレームサイズを維持するために、中間フレーム内で空間的にアップサンプリングされない。ＲＯＩの位置及び時間ダウンサンプリング間隔に関する情報は、画像フレームについてのメタデータに、または別個に伝送されるデータとして記憶されてもよい。

【0040】

図４Ｄは、時間的にダウンサンプリングされたフレームレートである画像フレーム及びマルチセグメント空間的ダウンサンプリング済みフレームを復号する方法を示す。時間的および空間的ダウンサンプリング済みピクチャは、限定なしに、後のセクションにおいて全体的に説明されるような、ＡＶＣ／Ｈ．２６４、ＨＥＶＣ／Ｈ．２６５などの既知の符号化方法において最初に符号化されてもよい。復号済み画像フレームは、空間的にダウンサンプリングされた、初期画像フレーム４３７、中間画像４３８、及び最終画像フレーム４４０を含んでもよい。示されるように、復号済み画像フレームは、マルチセグメント空間ダウンサンプリングに起因してソース画像フレームよりも小さい。画像フレームは、提示の過程の間に移動するＲＯＩを包含してもよい。示されるように、前のフレームは、ＲＯＩ４３４を有し、中間フレームは、ＲＯＩ４３５を有し、最終フレームは、ＲＯＩ４３６を有する。中間フレームは、符号化処理の間に時間的にダウンサンプリングされており、この実施態様では、前のフレームのＲＯＩの外側のエリアから複製されたＲＯＩの外側のクロマ値及びルマ値を有する。加えて、中間フレーム４３８のＲＯＩ４３５の位置が移動したことを理由に、中間フレームのＲＯＩ４３９の外側のエリアを埋めるために、初期フレーム４３７のＲＯＩ４３４からのクロマ情報及びルマ情報が使用される。

【0041】

ＲＯＩの外側のエリアについてのクロマ情報及びルマ情報は、時間アップサンプリング及びマルチセグメント空間アップサンプリングを通じて復号の間に再構築されてもよい。空間アップサンプリングは、各々の画像フレーム内のＲＯＩの位置を使用してもよく、アップサンプリング済み画像フレームを生成するために、ＲＯＩの外側のエリア内で隣接する画素の間を補間してもよい。いくつかの実施態様では、ＲＯＩは、そのサイズ及び位置がＲＯＩパラメータによって固定されるので、空間アップサンプリングの間に補間を受けなくてもよい。時間アップサンプリングは、時間ダウンサンプリング間隔４３０を通じて中間フレーム４３２内のＲＯＩ４３５の外側のエリアについてのクロマ値及びルマ値を補間してもよい。示される実施例では、初期フレーム４３１及び最終フレーム４３３のＲＯＩの外側のエリアについてのクロマ値及びルマ値は、中間フレーム４３２のＲＯＩ４３５の外側のエリアについてのクロマ値及びルマ値を作るために補間される。ＲＯＩが前のフレーム４３１から最終フレーム４３６への間に移動することを理由に、中間フレーム内のＲＯＩの外側のエリアを再構築するために、前のフレーム４３４及び最終フレーム４２６のＲＯＩ内のクロマ値及びルマ値が補間の間に使用されてもよい。ＲＯＩの位置及び時間ダウンサンプリング間隔に関する情報は、画像フレームについてのメタデータに、または別個に伝送されるデータとして記憶されてもよい。本開示の態様に従って、時間ダウンサンプリング間隔の間に発生するフレーム内の不明情報を生成するために、補間が使用されてもよい。線形補間、多項式補間、及びスプライン補間を含む、多数の異なる既知の補間技術が存在する。概して、補間は、２つ以上のデータ点の間の接続に適合し、曲線を使用した他のデータの生成を可能にする、曲線または直線についての方程式を生成する。

【0042】

本開示の追加の態様に従って、時間ダウンサンプリング間隔は、画像フレームの全体を通じて固定されなくてもよい。時間ダウンサンプリング間隔は、画像フレーム内の位置に応じて変わってもよい。例えば、限定なしに、図５Ａに示されるように、時間ダウンサンプリング間隔は、ＲＯＩに近いと小さくてもよく、フレーム内のＲＯＩから離れると大きくてもよい。図５Ａは、本開示の態様に従った、その間に対象領域からの距離に対して空白にされた情報を有するフレームの事項として時間ダウンサンプリング間隔がどのように変化するかを記述したグラフを示す。線形のケースに示されるように、ＲＯＩにより近いエリアは、ＲＯＩから更に離れたエリアよりも除去された情報を有するフレームが少ない。加えて、ＲＯＩからの距離が増大するにつれての時間ダウンサンプリング間隔内の変化は、例えば、限定なしに、図５Ａに示されるように、線形的、指数関数的、またはＳ字状であってもよい。

【0043】

サッケードの間のロウパスフィルタリング
本開示の態様に従って、サッケードの間に画像をフィルタリングすることによって、伝送帯域幅を更に減少させることができる。ユーザが瞬きするとき、まぶたは、ユーザの目への光の形式において視覚情報を遮断する。人間の目も、サッケードとして既知の素早い目の移動を示す。サッケードマスキングとして既知の現象は、サッケードの間に発生する。サッケードマスキングは、目の移動の間に脳に視覚情報を抑制させる。サッケードまたは瞬きの持続時間内に相対的に大きな変動が存在する。例えば、サッケードは典型的には、２０～２００ミリ秒続く。これは、毎秒１２０フレーム（ｆｐｓ）のフレームレートにおける２～２５フレームに対応する。サッケードの開始を検出するために１０ミリ秒を要し、サッケードが２０ミリ秒のみ続く場合でさえ、グラフィックシステムは、１つのフレームを節約することができ、例えば、計算を削減し、もしくは電力を節約するためにディスプレイをターンオフし、またはその両方のために、レンダリングしない。瞬きは典型的には、約１００ミリ秒～約１５０ミリ秒続き、それは、１２０ｆｐｓにおける１２～１８フレームに対して十分な時間である。

【0044】

図５Ｂは、本開示の態様に従った、凝視トラッキングを使用して符号化済みデータサイズを更に削減する方法を表す。ＲＯＩパラメータの判定は、瞬きまたはサッケードの検出または予測を含んでもよい（５０１）。ＲＯＩパラメータを判定するために使用される凝視トラッキング情報または画像情報は、サッケードまたは瞬きの発現を検出し、その持続時間を予測するよう分析されてもよい。例えば、サッケードの発現は、目の回転速度または加速度に相関付けられてもよい。瞬きの発現は、画像の分析またはセンサによって収集された電気生理学情報から判定されるようなまぶたの移動に相関付けられてもよい。例として、及び限定なしに、サッケードの持続時間は、凝視トラッキングから取得された目の測定済み回転速度及び回転速度とサッケード持続時間との間の既知の相関から推定されてもよい。例えば、サッケードマスキングの持続時間は、サッケードの発現における目の回転速度を増大させると共に増大する傾向がある。瞬き及びサッケードの検出と共に処理操作に関する更なる情報について、Ｙｏｕｎｇ ｅｔ ａｌ．への米国特許第１０，３７２，２０５号を参照されたい。

【0045】

瞬きまたはサッケードに応答して、５０２に示されるように、デバイスは、符号化の間にＲＯＩを含む画像にロウパスフィルタを適用してもよい。サッケードの間に発生する画像フレームがそれらにロウパスフィルタを適用させると共に、サッケードの間に発生しない画像フレームがそれらにロウパスフィルタを適用させないように、デバイスは、ロウパスフィルタの適用をサッケードと同期させてもよい。画像フレームへのロウパスフィルタの適用は、画像フレームを符号化するために必要とされるビットの量を削減する。符号化済み画像のビットカウントを削減するために、ロウパスフィルタのカットオフ及び減衰が選択されてもよい。ユーザのサッケードと同期して発生すると判定された画像フレームにロウパスフィルタが適用された後、５０３に示されるように、画像フレームが完全に符号化される。

【0046】

符号化の後、結果として生じる符号化済み画像データは、例えば、限定なしに、ネットワークを通じてクライアントデバイスに、またはキャッシュからメモリに、またはパーソナルエリアネットワークを通じて別のデバイスに伝送されてもよい（５０４）。上記説明された態様は、符号化済み画像サイズを減少させるために時間ダウンサンプリングと共に適用されてもよい。

【0047】

符号化
図６Ａに示されるような動きベクトル時間ダウンサンプリング符号化処理は、システムによって生成することができ、または一部の他のソースから受信することができる、符号化されていない画像フレームデータ６０１により最初に開始する。システムは、予測的アルゴリズム、凝視トラッキング装置、または他のそのような方法もしくはデバイスを使用して、ＲＯＩパラメータ６１２を解く。６１３において動きベクトル時間ダウンサンプリングを実行するために、デジタルピクチャ６０１のセットと共にＲＯＩパラメータ６１２が使用される。６０８に示されるように、ＲＯＩパラメータが保存及び符号化され、またはコーディング済みピクチャデータ６１１と共に含まれる。デジタルピクチャのセット内の各々のフレームまたはピクチャが、その自身のＲＯＩパラメータを有してもよいこと、及びＲＯＩパラメータがフレームごと、またはピクチャごとに変化してもよいことが理解されるべきである。同様に、いくつかの実施形態では、デジタルピクチャのセットは、限定なしに、静止画像であってもよい。

【0048】

符号化されていないデジタルピクチャデータ６０１は、標準的な手段によって符号化されてもよい。例として、及び限定なしに、デジタルデータは、一般化された方法６００に従って符号化されてもよい。エンコーダは、複数のデジタル画像６０１に対応するデータを受信し、画像ごとにデータを符号化する。デジタルピクチャデータ６０１の符号化は、セクションごとの単位で続行してもよい。セクションごとの符号化処理は任意選択で、パディング６０２、画像圧縮６０４、及び画素再構築６０６を伴ってもよい。イントラコーディング済みピクチャ及びインターコーディング済みピクチャの両方についての共通処理フローを促進するために、６０２に示されるように、現在処理しているピクチャ６０１内の全ての復号されていない画素は、パディング済みピクチャを作成するよう、一時的画素値によりパディングされてもよい。例えば、参照によって本明細書に組み込まれる米国特許第８，７１１，９３３号において上記説明されたように、パディングが続行してもよい。パディング済みピクチャは、バッファに記憶された参照ピクチャ６０３のリストに追加されてもよい。６０２においてピクチャをパディングすることは、画像圧縮６０４及び画素再構築６０６の間の後続の処理において参照ピクチャとして現在処理しているピクチャの使用を促進する。そのようなパディングは、参照によって本明細書に組み込まれる、同一出願人による米国特許第８，２１８，６４１号において詳細に説明される。

【0049】

本明細書で使用されるように、画像圧縮は、デジタル画像へのデータ圧縮の適用を指す。画像圧縮６０４の目的は、圧縮済みデータの効率的な形式にある所与の画像６０１についてのデータを記憶または伝送することを可能にするために、その画像についての画像データの冗長性を削減することである。画像圧縮６０４は、非可逆または可逆であってもよい。可逆圧縮は、製図、アイコン、またはコミックなどの人工的画像に対して好ましいことがある。これは、特に低ビットレートにおいて使用されるとき、非可逆圧縮方法が圧縮アーチファクトを導入するからである。可逆圧縮方法も、記録文書の目的のために行われる医療撮像または画像スキャンなど、高い値のコンテンツに対して好ましいことがある。非可逆方法は、忠実度の僅かな（時に、知覚できない）損失がビットレートにおける相当な削減を達成するために許容可能である適用における写真などの自然な画像に対して特に適切である。

【0050】

可逆画像圧縮のための方法の例は、それらに限定されないが、ＰＣＸにおけるデフォルトの方法として、及びＢＭＰ、ＴＧＡ、ＴＩＦＦの可能な１つとして使用されるランレングス符号化、ＧＩＦ及びＴＩＦＦにおいて使用されるエントロピコーディング、ＬＺＷなどの適応的辞書アルゴリズム、並びにＰＮＧ、ＭＮＧ、及びＴＩＦＦにおいて使用されるデフレーションを含む。非可逆圧縮のための方法の例は、画像内の最も共通したカラーまでピクチャ６０４のカラー空間を削減すること、クロマサブサンプリング、変換コーディング、及びフラクタル圧縮を含む。

【0051】

カラー空間削減では、圧縮済み画像のヘッダ内のカラーパレットにおいて選択済みカラーが指定されてもよい。各々の画素はまさに、カラーパレット内のカラーのインデックスを参照する。この方法は、ポスタリゼーションを回避するために、ディザリングと組み合わされてもよい。クロマサブサンプリングは、画像内のクロミナンス情報の半分またはそれ以上をドロップさせることによって、目がカラーよりも鮮明に輝度を知覚するという事実を利用する。変換コーディングはおそらく、もっとも一般的に使用される画像圧縮方法である。変換コーディングは典型的には、離散コサイン変換（ＤＣＴ）またはウェーブレット変換などのフーリエ関連変換と、それに続いて量子化及びエントロピコーディングを適用する。フラクタル圧縮は、特定の画像内で、画像の部分が同一の画像の他の部分に似ているという事実に依存する。フラクタルアルゴリズムは、符号化済み画像を再度作るために使用される「フラクタルコード」と称される数学的データに、それらの部分、またはより正確に、幾何学形状を変換する。

【0052】

６０４における画像圧縮は、画像６０１の特定の部分が他の部分よりも高い品質により符号化される対象領域コーディングを含んでもよい。これは、画像の特定の部分を最初に符号化し、他の部分を後に符号化することを伴う、スケーラビリティと組み合わされてもよい。圧縮済みデータは、画像を分類、探索、及び閲覧するために使用することができる画像に関する情報（メタ情報またはメタデータと称されることがある）を包含してもよい。そのような情報は、カラー及びテキスチャ統計、小さなプレビュー画像、並びに著者／著作権情報を含んでもよい。

【0053】

例として、及び限定なしに、６０４における画像圧縮の間、エンコーダは、画素のブロックを圧縮するための最良の方式を探索してもよい。エンコーダは、良好な整合のために、現在パディングされているピクチャを含む、参照ピクチャリスト６０３内の参照ピクチャの全てを探索してもよい。現在ピクチャ（または、サブセクション）がイントラピクチャとしてコーディングされる場合、（または、サブセクション）パディング済みピクチャのみが参照リスト内で利用可能である。６０４における画像圧縮は、６０６における画素再構築の間に参照ピクチャ（パディング済みピクチャを含む）のうちの１つ以上に沿ってその後に使用される、動きベクトルＭＶ及び変換係数６０７を作成する。

【0054】

画像圧縮６０４は全体的に、最良のインター予測整合のための動き探索ＭＳ、最良のイントラ予測整合のためのイントラ探索ＩＳ、現在マクロブロックがインターコーディングされるかまたはイントラコーディングされるどうかを決定するためのインター／イントラ比較Ｃ、可逆残差画素６０５を計算するために最良に整合した予測済み画素により符号化されるセクションからの元の入力画素の差し引きＳを含む。残差画素は次いで、変換係数６０７を作成するために、変換及び量子化ＸＱを受ける。変換は典型的には、離散コサイン変換（ＤＣＴ）などのフーリエ変換に基づいている。

【0055】

変換は、計数のセットを出力し、その各々は、標準基底パターンについての重み値である。組み合わされるとき、重み付け基底パターンは、残差サンプルのブロックを再度作る。変換の出力、変換係数のブロックが量子化され、すなわち、各々の係数は、整数値により除算される。量子化は、量子化パラメータ（ＱＰ）に従って変換係数の精度を減少させる。典型的には、結果は、係数のほとんどまたは全てがゼロであると共に、非ゼロ係数が少ないブロックである。高い値にＱＰを設定することは、より多くの係数がゼロに設定されることを意味し、不良な復号済み画像品質を犠牲にして、高い圧縮を結果としてもたらす。低ＱＰ値について、より多くの非ゼロ係数が量子化の後に残り、より良好な復号済み画像品質を結果としてもたらすが、圧縮が低い。逆に、高ＱＰ値について、より少ない非ゼロ係数が量子化の後に残り、より高い画像圧縮を結果としてもたらすが、画像品質が低い。

【0056】

モード決定とも称されるインター／イントラ比較Ｃは、ＱＰに関連するラグランジュ乗数λとして既知のパラメータを使用する。コスト関数Ｊは、ＱＰの値から判定されたλの値を使用して計算される。符号化モードは、インターモードコーディングのための計算済みコスト関数Ｊが、イントラモードコーディングのための計算済みコスト以上であるかどうかに基づいて判定される。例として、Ｈ．２６４／ＡＶＣコーデックは、セクションのオーバヘッド（例えば、動きベクトル、タイプ）を符号化するための実際のビット消費Ｒ及び再構築歪みＤ（例えば、元のセクションと再構築済みセクションとの間の絶対差和（ＳＡＤ）として測定された）を計算することによって最小化されるべきである、コスト関数ＪＨをサポートする。そのようなケースでは、コスト関数ＪＨは、以下の式に従って比較される。

【数1】

【0057】

代替的な実施態様では、歪みＤは、異なって計算されてもよい。歪み、例えば、二乗差和（ＳＳＤ）、絶対変換差和（ＳＡＴＤ）、及び平均絶対差などを表す多数の方式が存在する。当業者は、異なる歪み測定のために、コスト関数がそれに従って修正または再調整される必要があることを認識するであろう。

【0058】

いくつかの状況下で、不適切な符号化モード決定は、不要なＩＤＲまたはＩ－フレーム挿入をトリガすることがある。オンラインビデオゲーミングの間にビデオをストリーミングする例を考える。エンコーダは、ゲームアプリケーションによって生成されたビデオストリームについてのターゲットビットレートを満たすことを試みる。ターゲットビットレートは、フレームごとのビットの数に関連する。ゲームが中断される場合、ビデオは必然的に静止フレームのストリームである。静止フレームについて、レート歪み最適化処理におけるフレームについてのターゲットビットを満たすために、ＱＰが低い。ＱＰが低いとき、モード決定は、静止フレーム内のほとんどのセクション（例えば、マクロブロック）に対してイントラコーディングを選択する。フレーム内のイントラコーディング済みセクションの数が閾値を上回る場合、コーデックは、シーン変化検出をトリガし、符号化するのに大多数のビットを必要とする、極端に低いＱＰにより次のフレームがイントラフレームとしてコーディングされる。これは、ＱＰの極端に低い値（例えば、ＱＰ＝１、２）が、このケースでは、ほぼ可逆のコーディングを暗に意味するという事実に起因する。例として、及び限定なしに、シーン変化検出をトリガするための閾値は、フレーム内の約６０～８０％のイントラＭＢであってもよい。一連の静止フレームは、同一のフレームが繰り返されるときでさえ、一連のシーン変化検出を生じさせる。一連のイントラフレームは、帯域幅制限された通信チャネルにおけるビットレート使用の大きく且つ頻繁なスパイクを生じさせることがある。

【0059】

通常、λとＱＰの間の関係は、コーデックによって固定され、全てのピクチャに対して同一である。本開示の態様に従って、λとＱＰとの間の関係は、ピクチャ内のセクションごとのビットの数に応じてピクチャごとに調節されてもよい。

【0060】

本開示の態様に従って、λとＱＰとの間の関係は、セクションごとのビットの数に基づいて適合されてもよく、その結果、不要なＩＤＲまたはＩ－フレーム挿入の尤度を削減する方式において符号化モード決定を構成することができる。

【0061】

本開示の態様に従って、λとＱＰとの間の関係は、例えば、ビデオストリームの符号化の開始またはストリーム内の各々のビデオフレームの開始において、セクション符号化モード決定が、「イントラ」コーディングモードの代わりに、「インター」コーディング決定を結果としてもたらす可能性をより高くする方式において、符号化の間に選択的に調節されてもよい。

【0062】

いくつかの実施態様では、例えば、Ｈ．２６５において可能であるように、フレーム内で異なるサイズのセクションが存在する場合、セクションごとにλ対ＱＰの関係を変化させることさえ可能である。これは、より良好なコーディングモード決定を行うことができるように、第１のパスがピクチャセクションのコンテンツに関する更なる洞察を提供するので、例えば、２パス符号化ユースケースにおいて有益である。

【0063】

例として、及び限定なしに、λとＱＰとの間の関係への調節は、セクション内のビットの数（ＮＢＳ）に依存してもよく、それは全体的に、ターゲットビットレート（例えば、毎秒ビット内の）、フレームレート（例えば、毎秒フレーム内の）、及びフレーム内のセクションの数に依存する。セクション内のビットの数ＮＢＳは、フレームレートＦＲ及びフレームごとのセクションの数（ＮＳＦ）の積によりターゲットビットレートＢＲを除算することによって計算されてもよい。例として、及び限定なしに、これは、以下の式によって表現されてもよい。

【数2】

【0064】

より一般的に、セクションごとのビットの数（ＮＢＳ）は、ＮＢＳ＝（ＢＰＦ）／（ＮＳＦ）としてより広義に表現されてもよく、ＢＰＦは、フレームごとのビットのターゲット数である。

【0065】

この広義の表現は、例えば、基本的なレート制御スキームによって割り当てられたターゲットビットに応じて、ＮＢＳの値がフレームごとに異なる可能性を許容する。フレームごとのビットの固定のターゲット数のケースでは、ＢＰＦは、ＢＲ／ＦＲになる。

【0066】

フレームごとのセクションの数（例えば、ＭＢ）は、分解能に依存する。テーブルへの変更は、分解能、フレームレート、及びビットレートの組み合わせによってトリガされてもよい。例えば、テーブル変更は、９６０×５４０の分解能、３０ｆｐｓのフレームレート、及び８～１０Ｍｂｐｓまたはそれよりも高いターゲットレートを有するフレームに対してトリガされる。所与のビットレート及びフレームレートについて、分解能が増大する場合、テーブル変更がトリガされる可能性は低い。所与のビットレート及び分解能について、フレームレートが増大する場合、テーブル変更がトリガされる可能性は低い。所与のフレームレート及び分解能について、ビットレートが減少する場合、テーブル変更がトリガされる可能性は低い。

【0067】

λとＱＰとの間の関係は典型的には、非線形的である。全体的に、ＱＰが高く、λが高いとき、及びＱＰが低く、λが低いときである。λとＱＰとの間の関係の例は、参照によってその内容全体が本明細書に組み込まれた、米国特許第９，３８６，３１７号において説明される。

【0068】

ＱＰ値は、ターゲットビットレートに応じて調節されてもよい。ＱＰが符号化においてビット使用率を制御するので、多くの符号化プログラムは、所望のビットレートを達成するためにＱＰを調節するレートコントローラを利用する。エンコーダは、圧縮されていないソースデータ（例えば、入力ビデオ）を受信し、圧縮済み出力を作成する。ビデオコーディング方法は典型的には、ビデオセクションを符号化するためのビット使用率に影響を及ぼし、したがって、ビットレートに影響を及ぼすＱＰ値を使用する。一般的に、より低いＱＰは、より高いビットレートを結果としてもたらす。レートコントローラは、外部アプリケーションによって指定することができる、要望されたビットレートに基づいてＱＰ値を判定する。エンコーダは、レートコントローラによって判定されたＱＰ値を使用し、実際の結果として生じるビット使用率及びビットレートを判定する。レートコントローラは、フィードバックループにおけるＱＰ値を調節するために、実際のビットレートを使用してもよい。

【0069】

ＱＰのビットレートと値との間の関係は、画像の存在の複雑度に部分的に依存する。ビットレート対ＱＰ関係は、異なるレベルの複雑度についての異なる曲線を有する曲線のセットに関して表現されてもよい。レートコントローラによって実装されたアルゴリズムの核心は、ＱＰ、実際のビットレート、及び複雑度の或る測定値の間の関係を記述した定量的モデルである。量子化パラメータＱＰが、変換済み残差において運ばれる情報の詳細にのみ影響することがあることを理由に、関連するビットレート及び複雑度は全体的に、ソース画素と予測済み画素との間の差（残差と称されることが多い）のみと関連付けられる。

【0070】

複雑度は一般的に、ピクチャまたはピクチャの部分内の空間的変動の量を指す。ローカルレベル、例えば、ブロックまたはマクロブロックレベルでは、空間的変動は、関連するセクション内の画素値の分散によって測定されてもよい。しかしながら、ビデオシーケンスについて、複雑度も、一連の画像のシーンの時間的変動に関連することがある。時間予測が単一の参照ピクチャ及び連続の動きベクトルを使用して動きを容易に捕捉することができることを理由に、例えば、視野にわたって低速に移る相当な空間的変動を有する１つのオブジェクトから構成されたビデオシーケンスは、非常に多くのビットを必要としないことがある。計算するのも容易である包括的ビデオ複雑度メトリックを定義するのは困難であるが、予測誤差（ソース画素値と予測済み画素値との間の差）の平均標準差（ＭＡＤ）がこの目的のために使用されることが多い。

【0071】

量子化パラメータＱＰは、それらに限定されないが、ソースピクチャのピクチャタイプ、ソースピクチャの複雑度、推定済みターゲット数のビット、及び基本的なレート歪みモデルを含む複数の因子から判定されてもよいことに留意されよう。例えば、ＱＰは、現在符号化しているピクチャのセクションについての変動、例えば、セクション（例えば、ＭＢ）分散を使用してセクションごとの単位で判定されてもよい。代わりに、現在符号化しているセクションについてのＱＰは、前のフレーム内の同一位置にあるセクション（例えば、ＭＢ）を符号化するための実際のビットカウントを使用して判定されてもよい。そのようなＱＰレベル計算の例は、参照によって本明細書に組み込まれる、例えば、Ｈｕｎｇ－Ｊｕ Ｌｅｅへの同一出願人による米国特許出願公開第２０１１／００５１８０６号明細書、今では米国特許第８，８７９，６２３号において説明される。

【0072】

動き探索及び予測は、符号化されるピクチャのタイプに依存する。図６を再度参照して、イントラピクチャがコーディングされることになる場合、動き探索ＭＳ及びインター／イントラ比較Ｃがターンオフされる。しかしながら、本発明の実施形態では、パディング済みピクチャが参照として利用可能であるので、それらの関数は、ターンオフされない。結果として、６０４における画像圧縮は、イントラコーディング済みピクチャ及びインターコーディング済みピクチャに対して同一である。

【0073】

動き探索ＭＳは、インターコーディング済みピクチャに対する画素再構築の一部として通常行われるように、動き補償のための最良整合ブロックまたはマクロブロックに対してピクチャ６０１を探索することによって、動きベクトルＭＶを生成することができる。対照的に、現在ピクチャ６０１がイントラコーディング済みピクチャである場合、既存のコーデックは典型的には、ピクチャにわたる予測を可能にしない。代わりに、イントラピクチャ（例えば、Ｉ－フレーム）及び変換係数を生成し、画素予測を実行することによってコーディングされたピクチャに対して、全ての動き補償が通常はターンオフされる。いくつかの実施態様では、しかしながら、現在ピクチャ内のセクションをその同一のピクチャ内の別のオフセットセクションに整合させることによって、インター予測を行うためにイントラピクチャが使用されてもよい。２つのセクションの間のオフセットは、６０６における画素再構築のために使用することができる動きベクトルＭＶ’としてコーディングされてもよい。例として、エンコーダは、イントラピクチャ内のブロックまたはマクロブロックを、同一のピクチャ内の一部の他のオフセットセクションと整合させ、次いで、２つの間のオフセットを動きベクトルとしてコーディングすることを試みてもよい。次いで、「イントラ」ピクチャに対する動きベクトル補償を行うために、「インター」ピクチャに対するコーデックの通常の動きベクトル補償が使用されてもよい。特定の既存のコーデックは、６０６における画素再構築を行うために従うことができる、２つのブロックまたはマクロブロックの間のオフセットを動きベクトルに変換することができる関数を有する。しかしながら、それらの関数は、イントラピクチャの符号化のために従来通りターンオフされる。本発明の実施形態では、イントラピクチャの符号化のためのそのような「インター」ピクチャ関数をターンオフしないよう、コーデックが指示されてもよい。

【0074】

本開示の態様に従って、動きベクトルＭＶ及びＭＶ’などの動き情報は、各々のピクチャ内のＲＯＩ６１３の外側の１つ以上のエリアから省略されてもよい。画像フレーム内のＲＯＩの位置を判定するために、ＲＯＩパラメータ６１２が使用されてもよい。イントラピクチャを生成するための間隔（「イントラ間隔」）を時間ダウンサンプリング間隔と、両方の間隔が一定である場合に同期させることが望ましい。例えば、イントラ間隔は、ダウンサンプリング間隔によって分割可能である。イントラピクチャがシーン変化検出の結果として挿入されることになる場合、イントラ間隔が一定ではない。そのようなケースでは、イントラピクチャ決定は、ダウンサンプリング間隔とは独立して行われる。

【0075】

通常、エンコーダは、前に符号化済み動きベクトルと現在動きベクトルとの間の差を符号化するだけである。次いで、デコーダは、現在動きベクトルを再構築するために、差動動きベクトル及び前の動きベクトルを使用してもよい。本開示の態様に従って、フレームが時間ダウンサンプリング間隔内であると判定される場合、ＲＯＩの外側の領域に対して差動動きベクトルが単純に生成されない。ＲＯＩの外側の領域を再構築するために、前に符号化済み動きベクトルが代わりに使用されてもよい。加えて、対応する参照ピクチャは、ヌル値による置き換えによって空白にされたＲＯＩの外側の対応する１つ以上のエリアを有してもよい。よって、再構築されることになる（６０６）情報の量を削減する。加えて、どのピクチャが動き情報を省略させるかを判定するために、時間ダウンサンプリング間隔６１２が使用されてもよい。代替的な実施形態では、計算６１３の後に動きベクトルを空白にする代わりに、動き圧縮６０６の間にＲＯＩの外側の１つ以上のエリアについての動きベクトルが単純に生成されず、参照ピクチャは、この代替的な実施形態では、画素再構築に送信される前に６１３においてＲＯＩの外側の１つ以上のエリアを空白にさせる。ＲＯＩの外側のエリアを空白にさせたままにするとエンコーダが判定する場合、動きベクトル及びＤＣＴ係数の両方が生成されない。

【0076】

本開示の態様に従った、時間ダウンサンプリング間隔は、動きベクトル情報を維持するフレーム内で開始及び終了する。動きベクトル時間ダウンサンプリング間隔は、フレーム動きベクトル情報の量が計算から空白にされ、または計算から省略されることを指示する。時間ダウンサンプリング間隔は、ピクチャのセクションごとに利用可能であってもよい。例えば、限定なしに、ピクチャの各々のマクロブロック、ブロック、またはサブブロックは、時間ダウンサンプリング間隔を有してもよい。時間ダウンサンプリング間隔はまた、動き情報を有さない、イントラ予測済みピクチャを説明するために、符号化の間に修正されてもよい。いくつかの実施形態では、時間ダウンサンプリング間隔はまた、大きな値の動きベクトルを有するＲＯＩの外側のエリアなど、それらの動き情報を保持するフレームを規定することができる。大きな値の動きベクトルを有するエリアは、動きベクトルの省略６１３の間に検出されてもよく、大きな値の動きベクトルを有するそのエリアについての時間ダウンサンプリング間隔６１２内のエントリは、復号の間に追加の情報に適合するよう編集されてもよい。上述したように、領域についてのダウンサンプリング間隔は、ＲＯＩに対するその距離に依存する。

【0077】

本開示の態様に従って、時間アップサンプリング（補間）において支援する残差は、画素再構築の一部として生成されてもよい。本明細書で使用されるように、画素再構築は、現在処理している画像への参照画像の変換に関してピクチャを記述するための技術を指す。概して、画素再構築６０６は、符号化処理６００を実装するエンコーダ内のローカルデコーダとしての役割を果たす。特に、画素再構築６０６は、画像圧縮６０４から動きベクトルＭＶまたはＭＶ’を使用して予測済み画素ＰＰを取得し、参照リスト内のピクチャから参照画素を取得するためのインター予測ＩＰ１及び（任意選択で）イントラ予測ＩＰ２を含む。画像圧縮６０４からの変換係数６０７を使用した逆量子化及び逆変換ＩＱＸは、復号済み画素６０９を生成するよう予測済み画素ＰＰに追加される不可逆残差画素６０５Ｌを生じさせる。復号済み画素６０９は、参照ピクチャに挿入され、現在処理しているピクチャ６０１の後続のセクションに対する画像圧縮６０４及び画素再構築６０６における使用のために利用可能である。復号済み画素が挿入された後、参照ピクチャ内の復号されていない画素は、パディング６０２を受けてもよい。インループダウン／アップサンプリングのために、エンコーダローカルデコーダは、時間アップサンプリング結果を計算してもよい。エンコーダは次いで、元の入力ピクチャ画素と対応するアップサンプリング画素との間の差を残差画素として見なす。ＲＯＩの外側のエリアの品質がより低いことを理由に、それらの残差画素は、より大きな量子化パラメータ（ＱＰ）により符号化される。

【0078】

いくつかのエンコーダの実施態様では、現在ピクチャがイントラコーディングされる場合、画素再構築のために使用することができる他のピクチャが存在しないことを理由に、画素再構築６０６のインター予測部がターンオフされる。代わりに、特定のピクチャがインターコーディングされることになるか、またはイントラコーディングされることになるかどうかとは独立して、いずれかのピクチャ６０１に対して画素再構築が実行されてもよい。いくつかの実施態様では、実装するエンコーダは、参照ピクチャリスト６０３にパディング済みピクチャを追加するよう修正されてもよく、現在処理している画像がイントラコーディングされることになる場合でさえ、画素再構築６０６のインター予測部がターンオフされない。結果として、インターコーディング済みセクション及びイントラコーディング済みセクションの両方についての処理フローは、画素再構築６０６の間は同一である。唯一の大きな差は、符号化のために使用されることになる参照ピクチャの選択である。いくつかの実施態様では、全てのピクチャに対して動き補償が実行される必要がなく、パディング済みピクチャが参照ピクチャリストに追加される必要がないことに留意されよう。

【0079】

例として、及び限定なしに、ブロック画素再構築（ＢＭＣ）として既知の、１つのタイプの画素再構築では、各々の画像は、画素のブロック（例えば、１６×１６の画素のマクロブロック）に区画化されてもよい。各々のブロックは、参照フレーム内の等しいサイズのブロックから予測される。予測済みブロックの位置にシフトされることとは別にいずれの方式においてもブロックが変換されない。動きベクトルＭＶは、このシフトを表す。隣接するブロックベクトルの間の冗長性を活用するために（例えば、複数のブロックによって網羅される単一の動くオブジェクトに対して）、ビットストリーム内の現在動きベクトルと前の動きベクトルとの間の差のみを符号化することが一般的である。この差分処理の結果は、パンニングの能力を有する大域的画素再構築と数学的に同等である。更に、符号化パイプラインの下で、方法６００は任意選択で、出力サイズを削減するよう、ゼロベクトルの周りの動きベクトルの結果として生じる統計的分布を利用するために、エントロピコーディング６０８を使用してもよい。いくつかの実施形態では、ネットワーク抽象レイヤ（ＮＡＬ）内のネットワークラッパの一部として、デジタルピクチャ６１１と共にＲＯＩパラメータ及び時間ダウンサンプリング間隔６１２が含まれる。他の実施形態では、エントロピコーディング６０８の間にＲＯＩパラメータ及び時間ダウンサンプリング間隔６１２がデジタルピクチャに含まれてもよい。

【0080】

部分画素精度と称される、非整数の数の画素だけブロックをシフトさせることが可能である。隣接する画素を補間することによって、その間で画素が生成される。一般的に、１／２画素精度または１／４画素精度が使用される。部分画素精度の計算的労力は、補間のために必要とされる特別の処理に起因してより高く、エンコーダ側では、より多くの数の潜在的なソースブロックが評価されることになる。

【0081】

ブロック画素再構築は、現在符号化している画像を重ならないブロックに分割し、それらのブロックが参照画像から来る場所を示す画素再構築ベクトルを計算する。参照ブロックは典型的には、ソースフレーム内で重なる。いくつかのビデオ圧縮アルゴリズムは、参照画像リスト６０３内のいくつかの異なる参照画像の部分から現在画像を組み立てる。

【0082】

画像圧縮６０４及び画素再構築６０６、並びに（任意選択で）エントロピコーディング６０８の結果は、便宜のためにコーディング済みピクチャと称されるデータのセット６１１である。動きベクトルＭＶ（及び／または、イントラ予測モード動きベクトルＭＶ’）並びに変換係数６０７は、コーディング済みピクチャ６１１に含まれてもよい。

【0083】

図６Ｂは、ピクチャフレームレートを使用した時間ダウンサンプリングを実装する本開示の代替的な実施形態を表す。デジタルピクチャ６０１は、ＲＯＩの外側の１つ以上のエリア内でそれらのフレームレートをダウンサンプリングさせてもよい（６１４）。ＲＯＩの位置、形状、及びサイズを判定するために、ＲＯＩパラメータ６１２が使用される。ＲＯＩの外側のエリアのフレームレートを判定するために、時間ダウンサンプリング間隔が使用される。例えば、限定なしに、ＲＯＩの外側の１つ以上のエリア内のクロマ値及びルマ値をヌル値と置き換えることによって、フレームレートダウンサンプリング６１４を達成することができる。

【0084】

この実施例では、時間ダウンサンプリング間隔は、何個のフレームがクロマ及びルマについてのヌル値を有するエリアを有するかを規定することができる。時間ダウンサンプリング間隔は、異なるサイズのエリアに対して規定されてもよく、例えば、限定なしに、時間ダウンサンプリング間隔は、ライン、マクロブロック、ブロック、またはサブブロックのスケールにあってもよい。上記議論されたように、時間ダウンサンプリング間隔の先頭フレーム及び最後フレームは、ＲＯＩの外側のそれらの情報を保持することができる。ここで、時間ダウンサンプリング間隔の先頭フレーム及び最後フレームについて、ＲＯＩの外側のエリアについてのクロマ情報及びルマ情報が保持される。フレームレートダウンサンプリングを実行した後、時間的ダウンサンプリング済みフレーム６１５は、上記議論されたような６０４における画像圧縮及び（任意選択で）６０２におけるパディングを含む他の符号化演算を受ける。それらの実施形態では、動きベクトル時間ダウンサンプリングが実行されず、したがって、ＲＯＩの外側のエリアについての動きベクトルが除去されないことに留意されるべきである。

【0085】

復号
図７は、本開示の態様と共に使用することができるＲＯＩパラメータにより時間的ダウンサンプリング済みストリーミングデータ７０１を復号する方法７００におけるとり得る処理フローの実施例を例示する。この特定の実施例は、例えば、ＡＶＣ（Ｈ．２６４）標準規格を使用したビデオ復号のための処理フローを示す。コーディング済みストリーミングデータ７０１は、バッファに最初に記憶されてもよい。コーディング済みストリーミングデータ７０１（例えば、ビデオデータビットストリーム）がネットワーク、例えば、インターネットを通じて転送された場合、データ７０１は、７０２において示される、ネットワーク抽象レイヤ（ＮＡＬ）復号と称される処理を最初に受けてもよい。ネットワーク抽象レイヤ（ＮＡＬ）は、Ｈ．２６４／ＡＶＣ及びＨＥＶＣビデオコーディング標準規格など、ストリーミングデータ標準規格の一部である。ＮＡＬの主要な目標は、「会話型」アプリケーション（例えば、ビデオ電話）及び「非会話型」（記憶、ブロードキャスト、またはストリーミング）アプリケーションについてのストリーミングデータの「ネットワークフレンドリ」表現のプロビジョンである。ＮＡＬ復号は、データ７０１から、データを伝送する際に支援する情報を除去することができる。「ネットワークラッパ」と称されるそのような情報は、ビデオデータとしてデータを識別することができ、あるいはビットストリームの先頭もしくは最後、データの整列のためのビット、及び／またはビデオデータ自体に関するメタデータを示すことができる。

【0086】

加えて、例として、ネットワークラッパは、例えば、分解能、ピクチャ表示フォーマット、データを表示するためのカラーパレット変換マトリックス、各々のピクチャ、スライス、またはマクロブロック内のビットの数に関する情報を含む、データ７０１に関する情報と共に、下位レベルの復号において使用される情報、例えば、スライスの先頭または最後を示すデータを含んでもよい。単一のセクション内のタスクグループの各々に渡すマクロブロックの数を判定するために、この情報が使用されてもよい。その複雑度に起因して、ＮＡＬ復号は典型的には、ピクチャ及びスライスレベルで行われる。ＮＡＬ復号のために使用される最小ＮＡＬバッファは通常、スライスのサイズにされる。図７に例示される例は、マクロブロック及びＡＶＣ（Ｈ．２６４）標準規格に関して説明される。しかしながら、それらは、本開示の態様の特徴に限定されない。例えば、最新のＨ．２６５（ＨＥＶＣ）標準規格では、マクロブロックの概念が存在しない。代わりに、より柔軟なコーディングユニット（ＣＵ）、予測ユニット、（ＰＵ）、変換ユニット（ＴＵ）の概念が導入される。本開示の態様は、そのようなコーディング標準規格と共に作用することができる。例として、及び限定なしに、ネットワークラッパは、ＲＯＩパラメータ及び時間ダウンサンプリング間隔７２７を含んでもよい。代わりに、ＲＯＩパラメータ及び時間ダウンサンプリング間隔は、別個に受信されてもよく、または符号化されていなくてもよい。加えて、ビットストリームを成すフレームのヘッダまたは他のフレームメタデータ内で時間ダウンサンプリング間隔が符号化されてもよい。代わりに、ビットストリームに挿入することができる特別な情報である、補足強化情報の一部として時間ダウンサンプリング間隔が含まれてもよい。

【0087】

いくつかの実施形態では、７０２におけるＮＡＬ復号の後、本明細書でビデオコーディングレイヤ（ＶＣＬ）復号７０４、動きベクトル（ＭＶ）再構築７１０、及びピクチャ再構築７１４と称される３つの異なるスレッドグループまたはタスクグループにおいて、図７に例示される残りの復号が実装されてもよい。ピクチャ再構築タスクグループ７１４は、画素予測及び再構築７１６並びに事後処理７２０を含んでもよい。本発明のいくつかの実施形態では、それらのタスクグループは、データ依存性に基づいて選択されてもよく、その結果、マクロブロックが後続の処理のために次のタスクグループに送信される前に、ピクチャ（例えば、フレームもしくはフィールド）またはセクション内の全てのマクロブロックのその処理を完了することができる。

【0088】

特定のコーディング標準規格は、空間ドメインから周波数ドメインへの画素情報の変換を伴うデータ圧縮の形式を使用してもよい。１つのそのような変換は、とりわけ、離散コサイン変換（ＤＣＴ）として既知である。そのような圧縮済みデータに対する復号処理は、周波数ドメインから空間ドメインに戻る逆変換を伴う。ＤＣＴを使用して圧縮されたデータのケースでは、逆の処理は、逆離散コサイン変換（ＩＤＣＴ）として既知である。変換済みデータは、離散変換済みデータ内の数を表すために使用されるビットの数を削減するよう量子化される場合がある。例えば、数１、２、３は全てが２にマッピングされてもよく、数４、５、６は全てが５にマッピングされてもよい。データを圧縮解除するために、周波数ドメインから空間ドメインへの逆変換を実行する前に、逆量子化（ＩＱ）として既知の処理が使用される。ＶＣＬ ＩＱ／ＩＤＣＴ復号処理７０４についてのデータ依存性は典型的には、同一のスライス内のマクロブロックについてのマクロブロックレベルにある。その結果、ＶＣＬ復号処理７０４によって生じた結果は、マクロブロックレベルにおいてバッファリングされてもよい。

【0089】

ＶＣＬ復号７０４は、ＶＣＬシンタックスを復号するために使用される、エントロピ復号７０６と称される処理を含むことが多い。ＡＶＣ（Ｈ．２６４）などの多くのコーデックは、エントロピ符号化と称される符号化のレイヤを使用する。エントロピ符号化は、コード長を信号の確率と整合させるように信号にコードを割り振るコーディングスキームである。典型的には、等しい長さのコードによって表されるシンボルを、負の対数確率に比例したコードによって表されるシンボルと置き換えることによって、データを圧縮するためにエントロピエンコーダが使用される。ＡＶＣ（Ｈ．２６４）は、２つのエントロピ符号化スキーム、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）及びコンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）をサポートする。ＣＡＢＡＣがＣＡＶＬＣよりも約１０％上回る圧縮をもたらす傾向があるので、ＡＶＣ（Ｈ．２６４）ビットストリームを生成する際に、多くのビデオエンコーダによってＣＡＢＡＣが好まれる。ＡＶＣ（Ｈ．２６４）コーディング済みデータストリームのエントロピレイヤを復号することが、計算集中的であることがあり、汎用マイクロプロセッサを使用してＡＶＣ（Ｈ．２６４）コーディング済みビットストリームを復号するデバイスに対して課題を提示することがある。この理由のために、多くのシステムは、ハードウェアデコーダアクセラレータを使用する。

【0090】

エントロピ復号７０６に加えて、ＶＣＬ復号処理７０４は、７０８に示されるような逆量子化（ＩＱ）及び／または逆離散コサイン変換（ＩＤＣＴ）を伴ってもよい。それらの処理は、マクロブロックからのヘッダ７０９及びデータを復号することができる。隣接するマクロブロックのＶＣＬ復号において支援するために、復号済みヘッダ７０９が使用されてもよい。ＲＯＩパラメータが符号化される実施形態では、復号済みヘッダは、ＲＯＩパラメータを包含してもよい。

【0091】

ＶＣＬ復号７０４は、マクロブロックレベルデータ依存性頻度において実装されてもよい。特に、同一のスライス内の異なるマクロブロックは、並列してＶＣＬ復号を受けてもよく、更なる処理のために、動きベクトル再構築タスクグループ７１０に結果が送信されてもよい。

【0092】

本開示の態様に従って、示される復号方法は、動き情報時間ダウンサンプリングと７２９におけるフレームレート時間ダウンサンプリングとの間を区別する。本開示のいくつかの実施形態では、時間ダウンサンプリングタイプは、例えば、限定なしに、メタデータ内の、または時間ダウンサンプリング間隔情報７２７内のビット識別子によって区別されてもよい。加えて、動き情報時間ダウンサンプリング復号能力のみを有するデコーダ、またはフレームレート時間ダウンサンプリング復号能力のみを有するデコーダのいずれかが可能であることが明らかであるはずである。制限された復号能力による実施形態では、動き情報時間ダウンサンプリング復号能力のみによる実施形態について、パスＭＶのみが存在する。同様に、フレームレートダウンサンプリング復号のみによる実施形態について、パスフレームレートのみが存在する。

【0093】

その後、ピクチャまたはセクション内の全てのマクロブロックは、動きベクトル再構築７１０を受けてもよい。ＭＶ再構築処理７１０は、所与のマクロブロック７１１及び／または同一位置にあるマクロブロックヘッダ７１３からのヘッダを使用した動きベクトル再構築７１２を伴ってもよい。動きベクトルは、ピクチャ内の明白な動きを記述する。そのような動きベクトルは、前のピクチャの画素の知識及びピクチャからピクチャへのそれらの画素の相対的な動きに基づいて、ピクチャ（または、それらの一部）の再構築を可能にする。動きベクトルが回復すると、画素は、ＶＣＬ復号処理７０４からの残差画素及びＭＶ再構築処理７１０からの動きベクトルに基づいた処理を使用して、７１６において再構築されてもよい。ＭＶについてのデータ依存性頻度（及び、並列性のレベル）は、ＭＶ再構築処理７１０が他のピクチャからの同一位置にあるマクロブロックを含むかどうかに依存する。他のピクチャからの同一位置にあるＭＢヘッダを伴わないＭＶ再構築のために、ＭＶ再構築処理７１０は、スライスレベルまたはピクチャレベルにおいて並列に実装されてもよい。同一位置にあるＭＢヘッダを伴うＭＶ再構築のために、データ依存性頻度は、ピクチャレベルにあり、ＭＶ再構築処理７１０は、スライスレベルにおいて並列性により実装されてもよい。

【0094】

ピクチャは、動き情報の時間ダウンサンプリングの影響を受けやすく、間隔の間の先頭フレームと最後フレームとの間の時間ダウンサンプリング間隔内のフレームについてのＲＯＩの外側のエリア内の動き情報がない。よって、ＭＶ再構築処理７１０の間、時間ダウンサンプリング間隔内のフレームについての動きベクトルが生成される必要がある。それらのフレームについての動きベクトルの生成は、先頭フレーム及び最後フレームを判定するために、時間ダウンサンプリング間隔情報７２７を使用してもよい。上記議論されたように、時間ダウンサンプリング間隔の先頭フレーム及び最後フレームは、それらの動き情報を保持する。動き再構築処理は、時間ダウンサンプリング間隔内の先頭フレーム及び最後フレームの動きベクトルの間を補間するように構成されてもよい。時間ダウンサンプリング間隔内のフレームの数を説明するために、補間が調節されてもよい。加えて、時間ダウンサンプリング間隔情報７２７は、時間ダウンサンプリング間隔内のそれらの動き情報を保持する追加のフレームを示すことができ、補間の適合を更に精緻化するためにそれらのフレームの動き情報が使用されてもよい。補間は、上記議論されたように、例えば、限定なしに、線形補間であってもよい。

【0095】

フレーム内の動きＲＯＩを特定するために、動きベクトル再構築７１０によってＲＯＩパラメータが使用されてもよい。上記議論されたように、ＲＯＩは、その動きベクトルを保持し、したがって、ＲＯＩの正確な再構築が常に可能である。動きベクトル再構築の間、ＲＯＩの動きベクトルは、補間によって生成された動きベクトルと組み合わされてもよい。ＲＯＩパラメータは、フレーム内のＲＯＩ動きベクトルを特定する際に支援する。

【0096】

動きベクトル生成の間の１つの問題は、サンプルの実際の位置がスクリーンから離れて移動し、またはそうでなければ変化することがあることである。このケースでは、オブジェクトのエッジに対して望ましくない画像効果が発生することがある。このケースでは、符号化の間に残差が生成されることがあり、再構築の間に問題のあるエリアを識別及び補正するために残差が使用されることがある。例として、及び限定なしに、インループダウン／アップサンプリングのために、エンコーダのローカルデコーダは、デコーダと同一のアップサンプリングを実行する。エンコーダは、デコーダのアップサンプリング結果に従って、残差画素を計算する。エンコーダがオブジェクトのエッジに対するアップサンプリングギャップを検出する場合、エンコーダは、そのような望ましくないアップサンプリング効果をカバーするために、より高い品質によりエッジに対して残差画素を符号化する。

【0097】

動きベクトル再構築７１０の結果は、ピクチャ周波数レベルに対して並列化することができる、ピクチャ再構築タスクグループ７１４に送信される。ピクチャ再構築タスクグループ７１４内で、ピクチャまたはセクション内の全てのマクロブロックは、デブロッキング７２０と共に画素予測及び再構築７１６を受けてもよい。画素予測及び再構築タスク７１６並びにデブロッキングタスク７２０は、復号の効率を高めるために並列化されてもよい。それらのタスクは、データ依存性に基づいてマクロブロックレベルにおいてピクチャ再構築タスクグループ７１４内で並列化されてもよい。例えば、画素予測及び再構築７１６は、１つのマクロブロックに対して実行されてもよく、デブロッキング７２０がそれに続いてもよい。デブロッキング７２０によって取得された復号済みピクチャからの参照画素は、後続のマクロブロックに対して画素予測及び再構築７１６において使用されてもよい。画素予測及び再構築７１８は、後続のマクロブロックについての画素予測及び再構築処理７１８への入力として使用することができる隣接画素を含む復号済みセクション７１９（例えば、復号化済みブロックまたはマクロブロック）を作成する。画素予測及び再構築７１６についてのデータ依存性は、同一のスライス内のマクロブロックについてのマクロブロックレベルにおける或る程度の並列処理を可能にする。

【0098】

事後処理タスクグループ７２０は、ブロックコーディング技術が使用されるとき、ブロックの間で形成することができる鮮明なエッジを平滑化することによって、視覚品質及び予測性能を改善するために、復号済みセクション７１９内のブロックに適用されるデブロッキングフィルタ７２２を含んでもよい。結果として生じるデブロッキング済みセクション７２４の外観を改善するために、デブロッキングフィルタ７２２が使用されてもよい。

【0099】

復号済みセクション７１９またはデブロッキング済みセクション７２４は、隣接するマクロブロックをデブロッキングする際に使用するための隣接する画素を提供することができる。加えて、現在復号しているピクチャからのセクションを含む復号済みセクション７１９は、後続のマクロブロックについての画素予測及び再構築７１８のための参照画素を提供することができる。それは、現在ピクチャ内からのその画素が任意選択で、ピクチャ（または、それらのサブセクション）がインターコーディングされ、またはイントラコーディングされているかどうかに関わらず、上記説明されたように、その同一の現在ピクチャ内で画素予測のために使用されてもよい段階の間である。デブロッキング７２０は、同一のピクチャ内のマクロブロックについてのマクロブロックレベルで並列化されてもよい。

【0100】

事後処理７２０の前に作成された復号済みセクション７１９、及び事後処理済みセクション７２４は、同一のバッファ、例えば、伴う特定のコーデック応じた復号済みピクチャバッファ７２５に記憶されてもよい。デブロッキングがＨ．２６４における事後処理フィルタであることに留意されよう。Ｈ．２６４は、隣接するマクロブロックのイントラ予測についての参照としての事前デブロッキングマクロブロック及び後のピクチャマクロブロックインター予測についての事後デブロッキングマクロブロックを使用する。事前デブロッキング画素及び事後デブロッキング画素の両方が予測のために使用されることを理由に、デコーダまたはエンコーダは、事前デブロッキングマクロブロック及び事後デブロッキングマクロブロックの両方をバッファリングする必要がある。最も低いコスト消費者アプリケーションについて、事前デブロッキング済みピクチャ及び事後デブロッキング済みピクチャは、メモリ使用率を削減するために同一のバッファを共有する。ＭＰＥＧ２またはＭＰＥＧ４ ｐａｒｔ １０を除くＭＰＥＧ４などＨ．２６４よりも前に来る標準規格について（注：Ｈ．２６４は、ＭＰＥＧ４ ｐａｒｔ １０とも称される）、他のマクロブロック予測のための参照として、事後－事前処理マクロブロック（例えば、事前－事後デブロッキングマクロブロック）のみが使用される。そのようなコーデックでは、事前フィルタリング済みピクチャは、事後フィルタリング済みピクチャと同一のバッファを共有しなくてもよい。

【0101】

フレームレート時間ダウンサンプリングを含む実施形態について、処理の後、時間ダウンサンプリング間隔内の先頭ピクチャ及び最後ピクチャのＲＯＩの外側の１つ以上のエリアが補間される（７２６）。上述したように、非圧縮処理全体が行われた後に、アウトオブループがある。時間ダウンサンプリングに起因した不明ルマ値及びクロマ値であるＲＯＩの外側のエリアについてのルマ値及びクロマ値を生成するために補間が使用される。フレーム内のＲＯＩを特定するために、ＲＯＩパラメータが使用されてもよい。フレームレート時間ダウンサンプリングに起因したＲＯＩの外側の１つ以上のエリア内の不明クロマ情報及びルマ情報であるフレームの数を判定するために、時間ダウンサンプリング間隔が使用されてもよい。補間ステップ７２６の間、正確なフィッティング補間を生じさせるために、時間ダウンサンプリング間隔が使用されてもよい。

【0102】

ＲＯＩの外側の１つ以上のエリアについての画像が生成されると、復号処理によって生成された、ＲＯＩの内部の実際の画像が組み合わされてもよい。終了済みピクチャ７２８を生成するために、ＲＯＩの内部の画像の配置がＲＯＩパラメータ７２７によってガイドされてもよい。動き情報時間ダウンサンプリングの影響を受けやすかったピクチャについて、補間なしに、復号処理の後に終了済みピクチャ７２８が生成されてもよい。終了済みピクチャ７２８は、出力バッファに記憶されてもよい。

【0103】

Ｈ．２６４について、画素復号の後、復号済みセクション７１９は、復号済みピクチャバッファ７２５に保存されてもよい。後に、事後処理済みセクション７２４は、補間７２６の前に復号済みピクチャバッファ７２５内の復号済みセクション７１９を置き換える。Ｈ．２６４でないケースでは、デコーダは、復号済みピクチャバッファ７２５に復号済みセクション７１９を保存するだけである。補間７２６が表示時間に行われ、アップサンプリング済み出力７２８は、復号済みピクチャバッファ７２５と同一のバッファを共有しなくてもよい。エンコーダ／デコーダプログラムに関する情報は、参照によりその内容が組み込まれる、公開された特許出願第２０１８／０００７３６２号明細書において発見することができる。

【0104】

ＲＯＩ判定
対象領域は、観察者に対して重要となるアプリケーションによって判定されたスクリーン空間の一部を表し、したがって、利用可能なグラフィック計算リソースのより大きな共有を割り当てられる。ＲＯＩデータは、スクリーン空間内の中心窩領域の重心の位置、スクリーン空間に対する中心窩領域のサイズ、及び中心窩領域の形状を識別する情報を含んでもよい。（ａ）観察者が見ている可能性が高い領域であること、（ｂ）観察者が実際に見ている領域であること、または（ｃ）ユーザが見るのに引き付けるのが望ましい領域であること、を理由に、アプリケーションによって、ＲＯＩが観察者に対する対象のものであると判定されてもよい。

【0105】

（ａ）に関して、コンテキストに応じた方式において、中心窩領域が見られる可能性が高いと判定されてもよい。いくつかの実施態様では、アプリケーションは、スクリーン空間の特定の部分または対応する三次元仮想空間内の特定のオブジェクトが「対象のもの」であると判定してもよく、そのようなオブジェクトは、仮想空間内の他のオブジェクトよりも多い数の頂点を使用して一貫して描かれてもよい。中心窩領域は、静的な様式または動的な様式において対象のものであるとコンテキスト的に定義されてもよい。静的な定義の非限定的な実施例として、中心窩領域は、スクリーン空間の固定部分、例えば、この領域が、観察者が見ている可能性が最も高いスクリーン空間の一部であると判定される場合、スクリーンの中心の近くの領域であってもよい。例えば、アプリケーションが、車両のダッシュボード及びフロントガラスの画像を表示するドライビングシミュレータである場合、観察者は、画像のそれらの部分を見ている可能性が高い。この実施例では、中心窩領域は、対象領域がスクリーン空間の固定部分であるという意味で、統計的に定義されてもよい。動的な定義の非限定的な実施例として、ビデオゲーム内で、ユーザのアバタ、フェローゲーマのアバタ、敵の人工知能（ＡＩ）キャラクタ、特定の対象のオブジェクト（例えば、スポーツゲーム内のボール）は、ユーザに対する対象のものであってもよい。そのような対象のオブジェクトは、スクリーン空間に対して移動してもよく、したがって、中心窩領域は、対象のオブジェクトと共に移動するように定義されてもよい。

【0106】

（ｂ）に関して、観察者がディスプレイのどの部分を見ているかを判定するよう、観察者の凝視を追跡することが可能である。観察者の凝視を追跡することは、ユーザの頭部姿勢及びユーザの目の瞳孔の方位の何らかの組み合わせを追跡することによって実装されてもよい。そのような凝視トラッキングのいくつかの実施例は、参照によりその内容の全てが本明細書に組み込まれる、例えば、米国特許出願公開第２０１５／００８５２５０号明細書、米国特許出願公開第２０１５／００８５２５１号明細書、及び米国特許出願公開第２０１５／００８５０９７号明細書において説明される。頭部姿勢の推定の更なる詳細は、参照によりその内容が本明細書に組み込まれる、例えば、“Ｈｅａｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ：Ａ Ｓｕｒｖｅｙ” ｂｙ Ｅｒｉｋ Ｍｕｒｐｈｙ，ｉｎ ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ，Ｖｏｌ．３１，Ｎｏ．４，Ａｐｒｉｌ２００９，ｐｐ６０７－６２６において発見することができる。本発明の実施形態と共に使用することができる頭部姿勢推定の他の例は、参照によりその内容全体が本明細書に組み込まれる、Ａｔｈａｎａｓｉｏｓ Ｎｉｋｏｌａｉｄｉｓによる“Ｆａｃｉａｌ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ａｎｄ ｐｏｓｅ ｄｅｔｅｒｍｉｎａｔｉｏｎ” Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｖｏｌ．３３（Ｊｕｌｙ ７，２０００）ｐｐ．１７８３－１７９１において説明される。本発明の実施形態と共に使用することができる頭部姿勢推定の追加の例は、参照によりその内容全体が本明細書に組み込まれる、Ｙｏｓｈｉｏ Ｍａｔｓｕｍｏｔｏ 及びＡｌｅｘａｎｄｅｒ Ｚｅｌｉｎｓｋｙによる“Ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｒｅａｌ－ｔｉｍｅ Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ Ｈｅａｄ Ｐｏｓｅ ａｎｄ Ｇａｚｅ Ｄｉｒｅｃｔｉｏｎ Ｍｅａｓｕｒｅｍｅｎｔ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｆｏｕｒｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ（ＦＧ ’００），２０００，ｐｐ ４９９－５０５ において説明される。本発明の実施形態と共に使用することができる頭部姿勢推定の更なる例は、参照によりその内容全体が本明細書に組み込まれる、Ｑｉａｎｇ Ｊｉ ａｎｄ Ｒｕｏｎｇ Ｈｕによる“３Ｄ Ｆａｃｅ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｆｒｏｍ ａ Ｍｏｎｏｃｕｌａｒ Ｃａｍｅｒａ”， Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ，Ｖｏｌ．２０，Ｉｓｓｕｅ７，２０ Ｆｅｂｒｕａｒｙ，２００２，ｐｐ ４９９－５１１において説明される。

【0107】

（ｃ）に関して、それは、対象の部分、例えば、話している特定のアクタに焦点を当てるようシーンの焦点の深度を変化させる一般のシネマティックデバイスである。これは、焦点内にある画像の部分への観察者の注意を引くために行われる。本開示の態様に従って、スクリーンの所望の部分がより大きな密度の頂点を有し、結果としてより詳細にレンダリングされるように、その部分に対する中心窩領域を移動させることによって、同様の効果がコンピュータグラフィックにより実装されてもよい。

【0108】

凝視トラッキングとしても既知である、アイトラッキングのためのいくつかの技術が存在する。視線トラッキング及び選択的レンダリング圧縮のための技術は、参照によって本明細書でその内容が組み込まれる、公開された特許出願公開第２０１７／０２８５７３６号明細書において説明される。これら技術の一部は、ユーザの目の瞳孔の方位からユーザの凝視方向を判定する。一部の既知の視線トラッキング技術は、１つ以上の光源から光を放射し、放射された光の角膜からの反射をセンサにより検出することによって目を照射することを伴う。典型的には、これは、赤外線範囲内の非可視光源を使用して、及び赤外線感知カメラによる照射された目の画像データ（例えば、画像またはビデオ）を捕捉して達成される。次いで、視線方向を判定するよう画像データを分析するために、画像処理アルゴリズムが使用される。

【0109】

全体的に、アイトラッキング画像分析は、光が目からどのように反射されるかに特有の特性を利用して、画像から視線方向を判定する。例えば、画像データにおける角膜反射に基づいて目の位置を識別するよう、画像が分析されてもよく、画像内の瞳孔の相対位置に基づいて凝視方向を判定するよう、画像が更に分析されてもよい。

【0110】

瞳孔の位置に基づいて凝視方向を判定するための２つの一般的な凝視トラッキング技術は、明瞳孔トラッキング及び暗瞳孔トラッキングとして既知である。明瞳孔トラッキングは、カメラの光軸と実質的に一致する光源による目の照射を伴い、放射された光を網膜に反射させ、瞳孔を通じてカメラに戻す。瞳孔は、従来のフラッシュ撮影中に画像に発生する赤目効果と同様に、瞳孔の位置に識別可能な明るいスポットとして画像内に存在する。この凝視トラッキングの方法では、瞳孔と虹彩のコントラストが十分でない場合に、瞳孔自体からの明るい反射が、システムが瞳孔を特定することを助ける。

【0111】

暗瞳孔トラッキングは、カメラの光軸から実質的にずれている光源による照射を伴い、瞳孔を通じて方向付けられた光を、カメラの光軸から離れる方に反射させ、その結果、瞳孔の位置において、画像に特定可能な暗いスポットを生じさせる。別の暗瞳孔トラッキングシステムでは、目に向けられた赤外光源及びカメラは、角膜反射を見ることができる。そのようなカメラベースのシステムは、瞳孔及び角膜の反射の位置を追跡し、それは、異なる深度の反射が追加的な精度を与えることに起因した視差をもたらす。

【0112】

図８Ａは、本開示のコンテキストにおいて使用することができる暗瞳孔凝視トラッキングシステム８００の実施例を表す。凝視トラッキングシステムは、可視画像が提示されるディスプレイ画面８０１に対するユーザの目Ｅの方位を追跡する。図８Ａの実施例のシステムではディスプレイスクリーンが使用されると共に、特定の代替的な実施形態は、ユーザの目に直接画像を投影することが可能な画像投影システムを利用してもよい。これらの実施形態では、ユーザの目Ｅは、ユーザの目に投影された画像に対して追跡される。図８Ａの実施例では、目Ｅは、可変虹彩Ｉを通じてスクリーン８０１から光を集め、レンズＬは、網膜Ｒに画像を投影する。虹彩内の開口は、瞳孔として既知である。筋肉は、脳からの神経インパルスに応答して目Ｅの回転を制御する。上まぶた及び下まぶたの筋肉ＵＬＭ、ＬＬＭは、それぞれ、他の神経インパルスに応答して、上まぶた及び下まぶたＵＬ、ＬＬを制御する。

【0113】

網膜Ｒ上の感光性細胞は、視神経ＯＮを介してユーザの脳（図示せず）に送信される電気インパルスを生成する。脳の視覚野は、インパルスを解釈する。網膜Ｒの全ての部分に同等な感光性があるわけではない。具体的には、感光性細胞は、中心窩として知られている領域に集中している。

【0114】

例示される画像トラッキングシステムは、目Ｅに向かって非可視光（例えば、赤外線光）を方向付ける１つ以上の赤外線光源８０２、例えば、発光ダイオード（ＬＥＤ）を含む。非可視光の一部は、目の角膜Ｃから反射し、一部は、虹彩から反射する。反射された非可視光は、波長選択ミラー８０６によって適切なセンサ８０４（例えば、赤外線カメラ）に向かって方向付けられる。ミラーは、スクリーン８０１からの可視光を透過するが、目から反射された非可視光を反射する。

【0115】

センサ８０４は好ましくは、画像センサ、例えば、瞳孔の相対位置から凝視方向ＧＤを判定するために分析することができる目Ｅの画像を作成することができるデジタルカメラである。この画像は、ローカルプロセッサ８２０により、またはリモートコンピューティングデバイス８６０への取得された凝視トラッキングデータの伝送を介して作成されてもよい。ローカルプロセッサ８２０は、例えば、シングルコア、デュアルコア、クアッドコア、マルチコア、プロセッサコプロセッサ、及びセルプロセッサなどの周知のアーキテクチャに従って構成されてもよい。画像トラッキングデータは、有線接続（図示せず）を介してセンサ８０４とリモートコンピューティングデバイス８６０の間で、またはアイトラッキングデバイス８１０に含まれる無線送受信機８２５とリモートコンピューティングデバイス８６０に含まれる第２の無線送受信機８２６との間で、無線で伝送されてもよい。無線送受信機は、ローカルエリアネットワーク（ＬＡＮ）またはパーソナルエリアネットワーク（ＰＡＮ）を、適切なネットワークプロトコル、例えば、ＰＡＮについてのＢｌｕｅｔｏｏｔｈを介して実装するように構成されてもよい。

【0116】

凝視トラッキングシステム８００は、目Ｅの上及び下にそれぞれ配置されるように構成された上部センサ８０８及び下部センサ８０９をも含んでもよい。センサ８０８及び８０９は、独立した構成要素であってもよく、または代わりに、ユーザの頭部に装着された構成要素８１０の一部であってもよく、それらに限定されないが、以下で説明されるセンサ８０４、ローカルプロセッサ８２０、または慣性センサ８１５のいずれかの組み合わせを含んでもよい。図１Ａに示される実施例のシステムでは、センサ８０８及び８０９は、目Ｅを囲むそれらのエリアから、神経系の電気インパルス並びに／または筋肉系の移動及び／もしくは振動に関するデータを収集することが可能である。このデータは、例えば、上部センサ８０８及び下部センサ８０９によって監視されるような目Ｅを囲む筋肉及び／または神経の電気生理学情報及び／または振動情報を含んでもよい。センサ８０８及び８０９によって収集された電気生理学情報は、例えば、脳波記録（ＥＥＧ）、筋電図検査（ＥＭＧ）、または目Ｅを囲むエリア（複数可）内の神経機能の結果として収集された誘発電位情報を含んでもよい。センサ８０８及び８０９は、例えば、筋肉の振動または目Ｅを囲む筋肉のひきつりを検出した結果としての筋音図情報または表面筋電図情報を収集することも可能であってもよい。センサ８０８はまた、例えば、心拍データ、心電図検査（ＥＣＧ）、またはガルバニック皮膚反応データを含む、乗り物酔い反応に関連する情報を収集することが可能であってもよい。センサ８０８及び８０９によって収集されたデータは、画像トラッキングデータと共に、上記説明されたようなローカルプロセッサ８２０及び／またはリモートコンピューティングデバイス８６０に配信されてもよい。

【0117】

凝視トラッキング８００はまた、ユーザの頭部を追跡することも可能であってもよい。頭部トラッキングは、ユーザの頭部の位置、動き、方位、または方位における変化に応答して信号を作成することが可能である慣性センサ８１５によって実行されてもよい。このデータは、ローカルプロセッサ８２０に送信されてもよく、及び／またはリモートコンピューティングデバイス８６０に伝送されてもよい。慣性センサ８１５は、独立した構成要素であってもよく、または代わりに、それらに限定されないが、センサ８０４、ローカルプロセッサ８２０、または上記説明されたセンサ８０８及び８０９のいずれかの組み合わせを含むことができる、ユーザの頭部に装着された構成要素８１０の一部であってもよい。代替的な実施形態では、頭部トラッキングは、構成要素８１０上での光源の追跡を介して実行されてもよい。凝視トラッキングシステム８００はまた、１つ以上のメモリユニット８７７（例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、及びリードオンリメモリ（ＲＯＭ）など）を含んでもよい。

【0118】

ローカルプロセッサ８２０は、ネットワーク接続８２５から符号化済みデータを受信するように構成されてもよい。ローカルプロセッサ８２０は、１つ以上のメモリユニット８７７に動作可能に結合されてもよく、メモリユニット８７７に記憶された１つ以上のプログラムを実行するように構成されてもよい。そのようなプログラムの実行は、システムに、リモートコンピューティングデバイス８６０からのビデオストリームを復号させ、ディスプレイ８０１上での表示のために高い忠実度ＲＯＩによりビデオを生成させることができる。例として、及び限定なしに、プログラムは、ブレンダ／変換空間構成プログラム８７９、時間アップサンプラ／ダウンサンプラプログラム８７６、及びデコーダプログラム８８０を含んでもよい。

【0119】

リモートコンピューティングデバイス８６０は、本開示の態様に従って、視線アイトラッキングを実行し、照明条件を判定するために、アイトラッキングデバイス８１０及びディスプレイスクリーン８０１と連携して動作するように構成されてもよい。コンピューティングデバイス８６０は、１つ以上のプロセッサユニット８７０を含んでもよく、１つ以上のプロセッサユニット８７０は、例えば、シングルコア、デュアルコア、クアッドコア、マルチコア、プロセッサ－コプロセッサ、及びセルプロセッサなどの公知のアーキテクチャに従って構成されてもよい。コンピューティングデバイス８６０はまた、１つ以上のメモリユニット８７２（例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、及びリードオンリメモリ（ＲＯＭ）など）を含んでもよい。

【0120】

プロセッサユニット８７０は、１つ以上のプログラムを実行してもよく、その一部はメモリ８７２に格納されてもよく、プロセッサ８７０は、例えば、データバス８７８を介してメモリにアクセスすることによって、メモリ８７２に動作可能に結合されてもよい。プログラムは、視線トラッキングを実行し、システム８００に対する照明条件を判定するように構成されてもよい。例として、及び限定なしに、プログラムは、その実行によってシステム８００が、例えば、上記議論されたようなユーザの凝視を追跡することができる凝視トラッキングプログラム８７３、ディスプレイデバイスによって提示することができる形式にビデオフレームストリームを変換するカラー空間変換プログラム（ＣＳＣ）８７４、エンコーダプログラム８７５、並びにその実行が、表示の前に符号化済みビデオフレームが復号され、ダウンサンプリング済みセクションが生成される、ディスプレイに送信されることになるそのままの動き情報またはクロマ情報及びルマ情報を有するビデオフレームの時間的ダウンサンプリング済みセクション及び選択済み元のセクションによりストリームビデオフレームを符号化するビデオストリーム時間アップサンプラ／ダウンサンプラプログラム８７６を含んでもよい。

【0121】

例として、及び限定なしに、凝視トラッキングプログラム８７３は、システム８００に、光が光源８０２から放射される間、画像センサ８０４により集められたアイトラッキングデータ並びに上部センサ８０８及び下部センサ８０９から集められた目の動きデータそれぞれから、システム８００の１つ以上の凝視トラッキングパラメータを判定させるプロセッサ実行可能命令を含んでもよい。凝視トラッキングプログラム８７３はまた、照明条件における変化の存在を検出するために、画像センサ８０４により集められた画像を分析する命令を含んでもよい。

【0122】

図８Ｂに見られるように、ユーザの頭部Ｈを示す画像８８１は、瞳孔の相対位置から凝視方向ＧＤを判定するよう分析されてもよい。例えば、画像分析は、画像における目Ｅの中心からの瞳孔Ｐの２次元オフセットを判定することができる。中心に対する瞳孔の位置は、眼球の既知のサイズ及び形状に基づく三次元ベクトルの単純な幾何学的計算によって、画面８０１に対する凝視方向に変換されてもよい。判定された凝視方向ＧＤは、目Ｅが画面８０１に対して動くときの目Ｅの回転及び加速度を示すことが可能である。

【0123】

また、図８Ｂに見られるように、画像は、角膜Ｃ及びレンズＬそれぞれからの非可視光の反射８８７及び８８８を含をも含んでもよい。角膜とレンズが異なる深度にあるので、凝視方向ＧＤを判定する際の精度を高めるために、反射の間の視差と屈折率が使用されてもよい。このタイプのアイトラッキングシステムの例は、デュアルプルキニエトラッカであり、ここで、角膜反射は、第１のプルキニエ像であり、レンズ反射は、第４のプルキニエ像である。ユーザがそれらを装着している場合、ユーザの眼鏡８９３からの反射１９０も存在してもよい。

【0124】

現在のＨＭＤパネルは、製造者に応じて９０または１２０ヘルツ（Ｈｚ）の一定レートにおいてリフレッシュする。高いリフレッシュレートは、パネルの電力消費及びフレーム更新を送信するための伝送媒体の帯域幅要件を増大させる。中心窩視野及びスケーリングされた符号化による凝視トラッキングデバイスに関する情報は、参照によりその内容が組み込まれる、米国特許出願第２０１８０１９２０５８号明細書として公開された、係属中の特許出願第１５／８４０，８９３号において発見することができる。

【0125】

実施態様
図９は、本開示の様々な態様を更に例示するための実施例のシステム９００を表す。システム９００は、アイトラッキングディスプレイシステム９０１に結合されたコンピューティングデバイス９６０を含んでもよい。アイトラッキングディスプレイデバイス９０１は、本開示の態様に従って視線トラッキング及び／またはアイトラッキングに対する較正を実行するために、ローカルプロセッサ９０３、ローカルメモリ９１７、公知のサポート回路９０５、ネットワークインタフェース９１６、アイトラッキングデバイス９０２、及びディスプレイデバイス９０４を含む。ディスプレイデバイス９０４は、陰極線管（ＣＲＴ）、フラットパネルスクリーン、タッチスクリーン、またはテキスト、数字、グラフィックシンボル、もしくは他の視覚的オブジェクトを表示する他のデバイスの形態にあってもよい。ローカルプロセッサ９０３は、例えば、シングルコア、デュアルコア、クアッドコア、マルチコア、プロセッサコプロセッサ、セルプロセッサなどといった周知のアーキテクチャに従って構成されてもよい。アイトラッキングディスプレイシステム９０１はまた、１つ以上のメモリユニット９１７（例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、及びリードオンリメモリ（ＲＯＭ）など）を含んでもよい。

【0126】

ローカルプロセッサユニット９０３は、１つ以上のプログラムを実行してもよく、１つ以上のプログラムの一部は、メモリ９１７に記憶されてもよく、プロセッサ９０３は、例えば、データバス９１８を介してメモリにアクセスすることによって、メモリ９１７に動作可能に結合されてもよい。プログラムは、アイトラッキングディスプレイシステム９０１に対して高い忠実度によりビデオを生成するように構成されてもよい。例として、及び限定なしに、プログラムは、ＣＳＣ９１３、ビデオ時間アップサンプラ／ダウンサンプラプログラム９１４、及びデコーダプログラム９１５を含んでもよい。例として、及び限定なしに、ＣＳＣ９１３は、システム９０１に、上記説明された方法９０４に従ってディスプレイデバイス上での表示のために高い忠実度ＲＯＩによりビデオを生成するよう、時間アップサンプラ／ダウンサンプラプログラム９１４から受信された、再生成済みビデオストリームをフォーマットさせるプロセッサ実行可能命令を含んでもよい。サンプラ９１４は、実行されるとき、ローカルプロセッサに、ダウンサンプリング間隔内にビデオフレームについてのＲＯＩの外側のエリア内の先頭フレームと最後フレームとの間を補間させ、デコーダ９１５から受信された、ビデオストリームを再生成するよう、ＲＯＩ画像データを補間済み画像データと組み合わされる命令を包含してもよい。デコーダプログラム９１５は、ローカルプロセッサによって実行されるとき、システムに、ネットワークインタフェース９１６からの符号化済みビデオストリームデータを受信及び復号させる命令を包含してもよい。デコーダプログラムは代わりに、例えば、メインバス９１８によってローカルプロセッサに通信可能に結合された離散論理ユニット（図示せず）として実装されてもよい。本開示の態様に従って、アイトラッキングディスプレイデバイス９０１は、組み込みシステム、携帯電話、パーソナルコンピュータ、タブレットコンピュータ、ポータブルゲームデバイス、ワークステーション、ゲームコンソール、及びヘッドマウントディスプレイデバイスなどであってもよい。その上、コンピューティングデバイス９６０も、組み込みシステム、携帯電話、パーソナルコンピュータ、タブレットコンピュータ、ポータブルゲームデバイス、ワークステーション、及びゲームコンソールなどであってもよい。

【0127】

アイトラッキングディスプレイデバイス９０１は、コンピューティングデバイス９６０に結合されてもよく、及び図８Ａ～８Ｂの光源９１０と同様の動的光源９１０を含んでもよい。例として、及び限定なしに、光源９１０は、１つ以上の赤外線ＬＥＤ形式にあるの非可視光源であってもよく、これは、センサ９１２によりアイトラッキングデータを集めるために、ユーザの目を照射するように構成されてもよい。アイトラッキングデバイスのセンサ９１２は、光源９１０から放射された光を感知する検出器であってもよい。例えば、センサ９１２は、赤外線カメラなどの光源を感知するカメラであってもよく、カメラ９１２は、光源９１０によって照射されたエリアの画像を捕捉することができるように、アイトラッキングデバイス及び光源に対して位置付けられてもよい。

【0128】

コンピューティングデバイス９６０は、本開示の態様に従って、視線トラッキングを実行し、照明条件を判定するために、アイトラッキングディスプレイシステム９０１と連携して動作するように構成されてもよい。コンピューティングデバイス９６０は、１つ以上のプロセッサユニット９７０を含んでもよく、１つ以上のプロセッサユニット９７０は、例えば、シングルコア、デュアルコア、クアッドコア、マルチコア、プロセッサ－コプロセッサ、及びセルプロセッサなどの公知のアーキテクチャに従って構成されてもよい。コンピューティングデバイス９６０はまた、１つ以上のメモリユニット９７２（例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、及びリードオンリメモリ（ＲＯＭ）など）を含んでもよい。

【0129】

プロセッサユニット９７０は、１つ以上のプログラムを実行してもよく、その一部は、メモリ９７２に記憶されてもよく、プロセッサ９７０は、例えば、データバス９７６を介してメモリにアクセスすることによって、メモリ９７２に動作可能に結合されてもよい。プログラムは、凝視トラッキングを実行し、システム９００についての照明条件を判定するように構成されてもよい。例として、及び限定なしに、プログラムは、その実行により、システム９００がユーザの凝視を追跡することができる、凝視トラッキングプログラム９７３を含んでもよい。例として、及び限定なしに、凝視トラッキングプログラム９７３は、システム９００に、動的光源９１０から光が放射される間、カメラ９１２により集められたアイトラッキングデータからシステム９００の１つ以上の凝視トラッキングパラメータを判定させるプロセッサ実行可能命令を含んでもよい。凝視トラッキングプログラム９７３はまた、例えば、図８Ｂに関して上記説明されたように、カメラ９１２により集められた画像を分析する命令を含んでもよい。凝視トラッキングプログラムは代わりに、例えば、メインバス９１８によってローカルプロセッサに通信可能に結合された離散論理ユニット（図示せず）として実装されてもよい。

【0130】

いくつかの実施態様では、凝視トラッキングプログラム９７３は、例えば、瞬きの間、または非活性、例えば、サッケードの間、ユーザの視覚的知覚が曖昧になる周期を予測するよう、凝視トラッキング情報を分析してもよい。そのような周期を予測することは、不要なレンダリング計算、電力消費、及びネットワーク帯域幅使用を削減するために使用されてもよい。そのような技術の例は、参照によりその内容が本明細書に組み込まれる、２０１６年３月３１日に出願された同一人による米国特許出願第１５／０８６，９５３号において説明される。

【0131】

コンピューティングデバイス９６０及びアイトラッキングディスプレイデバイス９０１は、例えば、バス９７６ ９１８のそれぞれを介してシステムの構成要素と通信することができる、入力／出力（Ｉ／Ｏ）回路９７９ ９０６、電力供給装置（Ｐ／Ｓ）９８０ ９０９、クロック（ＣＬＫ）９８１ ９０８、及びキャッシュ９８２ ９０７などの公知のサポート回路９７８ ９０５をも含んでもよい。コンピューティングデバイス９６０は、アイトラッキングディスプレイデバイス９０１上で同様に構成されたネットワークインタフェース９１６との通信を促進するためのネットワークインタフェース９９０を含んでもよい。プロセッサユニット９７０ ９０３及びネットワークインタフェース９９０ ９１６は、例えば、適切なネットワークプロトコル、例えば、パーソナルエリアネットワーク（ＰＡＮ）についてのＢｌｕｅｔｏｏｔｈを介して、ローカルエリアネットワーク（ＬＡＮ）またはＰＡＮを実装するように構成されてもよい。コンピューティングデバイス９６０は任意選択で、ディスクドライブ、ＣＤ－ＲＯＭドライブ、テープドライブ、及びフラッシュメモリなどの大容量記憶装置９８４を含んでもよく、大容量記憶装置９８４は、プログラム及び／またはデータを記憶してもよい。コンピューティングデバイス９６０はまた、システム９００とユーザとの間の対話を促進するためのユーザインタフェース９８８を含んでもよい。ユーザインタフェース９８８は、キーボード、マウス、ライトペン、ゲームコントロールパッド、タッチインタフェース、または他のデバイスを含んでよい。代替的な実施形態では、ユーザインタフェース９８８はまた、ディスプレイスクリーンを含んでもよく、コンピューティングデバイス９６０は、ネットワークからデータパケット９９９内の符号化済みビデオストリームを復号するエンコーダ／デコーダ（コーデック）９７５を有してもよく、時間アップサンプラ／ダウンサンプラプログラム９７４は、ダウンサンプリング間隔内にビデオフレームについてのＲＯＩの外側のエリア内の先頭フレームと最後フレームとの間を補間し、ビデオストリームの画像フレームを再生成するよう、ＲＯＩ画像データを補間された画像データと組み合わせてもよい。上記説明されたように、ＣＳＣプログラム９７６は、アップサンプリング済みビデオスクリーンを要してもよく、ユーザインタフェース９８８に結合されたディスプレイスクリーン上での表示のためにそれを構成してもよい。例えば、ＣＳＣは、符号化の前に、１つのカラーフォーマットから別のカラーフォーマットに（例えば、ＲＧＢからＹＵＶに、またはその逆）入力画像を変換する。この実施形態では、ヘッドトラッカが存在しなくてもよく、上記説明された予測方法によってＲＯＩ位置が判定されてもよい。他の実施形態では、ヘッドトラッカが存在してもよいが、ディスプレイスクリーンがトラッキングデバイスに結合されなくてもよい。他の実施形態では、エンコーダは、ネットワークインタフェース９１６を通じて、符号化済みビデオストリームデータ及びＲＯＩパラメータを伝送してもよく、符号化済みビデオストリームデータ及びＲＯＩパラメータは、デコーダプログラム９１５によって受信及び処理される。

【0132】

システム９００は、プロセッサユニット９７０によって実行されるプログラムと対話するために、アイトラッキングディスプレイデバイス９０１とインタフェースするコントローラ（描かれず）をも含んでもよい。システム９００は、トラッキングデバイス９０２によって検知され、トラッキングプログラム９９３、ＣＳＣ９７６、ディスプレイデバイスによって提示することができる形式にビデオフレームデータを変換する時間アップサンプラ／ダウンサンプラ９７４、及びビデオストリームエンコーダ９７５によって処理されるように、視線トラッキングの態様を組み込むことができる、ビデオゲームまたはビデオストリームなど、１つ以上の汎用コンピュータアプリケーション（描かれず）をも実行してもよい。

【0133】

コンピューティングデバイス９６０は、Ｗｉ－Ｆｉ、イーサネット（登録商標）ポート、または他の通信方法の使用を可能にするように構成されたネットワークインタフェース９９０を含んでもよい。ネットワークインタフェース９９０は、電気通信ネットワークを介した通信を容易にするために、適切なハードウェア、ソフトウェア、ファームウェア、またはそのなんらかの組み合わせを組み込んでよい。ネットワークインタフェース９９０は、ローカルエリアネットワーク及びインターネットなどのワイドエリアネットワークを通じた有線通信または無線通信を実装するように構成されてもよい。ネットワークインタフェース９９０はまた、アイトラッキングデバイス９０２及びディスプレイデバイス９７９との無線通信を促進する前述の無線送受信機を含んでもよい。コンピューティングデバイス９６０は、ネットワークを通じて１つ以上のデータパケット９９９を介してデータ及び／またはファイルについての要求を送信及び受信してもよい。

【0134】

本開示の態様は、ＲＯＩ内の詳細の損失なしに、画像データの伝送の間にビットカウントを削減することを可能にする。削減したビットカウントは、圧縮されたビットストリームを作成する符号化処理を加速化し、符号化済みピクチャデータを伝送するために必要とされる帯域幅を削減する。削減したビットカウントは有利なことに、符号化済みデータを復号するのに必要な時間を著しく増大させることなく、画像データを符号化するのに必要な時間を削減する。

【0135】

上記は、本発明の好ましい実施形態の完全な説明であるが、多様な代替策、修正、及び均等物を使用することが可能である。したがって、本発明の範囲は、上記説明を参照して判定されるべきでなく、代わりに、均等物のそれらの全範囲に従った、添付の特許請求の範囲を参照して判定されるべきである。好ましいか否かに関わらず、本明細書で説明されたいずれかの特徴は、好ましいか否かに関わらず、本明細書で説明されたいずれかの他の特徴と組み合わされてもよい。以下の請求項では、不定冠詞「Ａ」または「Ａｎ」は、明確に述べられる場合を除き、冠詞に続く項目のうちの１つ以上の量を指す。添付の特許請求の範囲は、ミーンズプラスファンクションの限定が語句「するための手段（ｍｅａｎｓ ｆｏｒ）」を使用し、所与の請求項に明示的に説明されない限り、係る限定を含むものとして解釈されるべきではない。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B】

【図4C】

【図4D】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図9】

【手続補正書】

【提出日】2022-06-16

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ビデオ符号化のための方法であって、
ａ）ピクチャストリーム内及び時間ダウンサンプリング間隔内のピクチャについての１つ以上の対象領域（ＲＯＩ）パラメータを判定することと、
ｂ）時間的ダウンサンプリング済みピクチャを生成するよう、前記時間ダウンサンプリング間隔に従って前記ピクチャストリーム内のピクチャ内のＲＯＩの外側の１つ以上のエリアを時間的にダウンサンプリングすることと、
ｃ）前記時間的ダウンサンプリング済みピクチャを符号化することと、
ｄ）前記符号化された時間的ダウンサンプリング済みピクチャを伝送することと、
を備えた、方法。

【請求項2】

前記ＲＯＩの外側のエリアを時間的にダウンサンプリングすることは、前記ＲＯＩの外側の前記エリアを判定するために前記ＲＯＩパラメータを使用することと、前記時間ダウンサンプリング間隔の内のフレームについての前記ＲＯＩの外側のエリアについて動き情報を省略することと、を含む、請求項１に記載の方法。

【請求項3】

前記動き情報は、動きベクトル、動きベクトルが差す参照ピクチャを識別する情報、または動きベクトルが網羅するセクションサイズを含む、請求項２に記載の方法。

【請求項4】

前記時間的ダウンサンプリング済みピクチャを符号化することは、前記ＲＯＩの外側のダウンサンプリング済みエリアを有する前記ピクチャをエントロピ符号化することを含む、請求項１に記載の方法。

【請求項5】

前記ＲＯＩの外側のエリアを時間的にダウンサンプリングすることは、前記ＲＯＩの外側の前記１つ以上のエリアを判定するために前記ＲＯＩパラメータを使用することと、前記ＲＯＩの外側のエリアについてのフレームレートを減少させることと、を含む、請求項１に記載の方法。

【請求項6】

前記時間ダウンサンプリング間隔は、前記ＲＯＩの外側の前記エリアについてのフレームレートを決定する、請求項５に記載の方法。

【請求項7】

前記時間ダウンサンプリング間隔は、ピクチャ内のダウンサンプリング位置及び前記対象領域パラメータに基づいて変化する、請求項１に記載の方法。

【請求項8】

前記時間ダウンサンプリング間隔は、前記ピクチャ内の前記ダウンサンプリング位置が前記ＲＯＩの位置から離れて移動するにつれて増大する、請求項７に記載の方法。

【請求項9】

前記時間ダウンサンプリング間隔は、前記ピクチャ内の前記ダウンサンプリング位置が前記ＲＯＩの位置から離れて移動するにつれて線形レートにおいて増大する、請求項８に記載の方法。

【請求項10】

前記時間ダウンサンプリング間隔は、前記ピクチャ内の前記ダウンサンプリング位置が前記ＲＯＩの位置から離れて移動するにつれて非線形レートにおいて増大する、請求項８に記載の方法。

【請求項11】

前記時間ダウンサンプリング間隔は、ＲＯＩからの距離に対するダウンサンプリングレートのＳ字状関数において増大する、請求項１０に記載の方法。

【請求項12】

前記時間ダウンサンプリング間隔は、ＲＯＩからの距離に対するダウンサンプリングレートに応じて指数関数において増大する、請求項１０に記載の方法。

【請求項13】

前記時間的ダウンサンプリング済みピクチャを符号化する前に、サッケードの間に前記ピクチャストリーム内のピクチャにロウパスフィルタを適用することを更に備えた、請求項１に記載の方法。

【請求項14】

前記時間ダウンサンプリング間隔を符号化することと、ネットワークを通じて前記時間ダウンサンプリング間隔を送信することと、を更に備えた、請求項１に記載の方法。

【請求項15】

前記時間的ダウンサンプリング済みピクチャを符号化する前に、前記ＲＯＩの外側の前記エリアにマルチセグメント空間ダウンサンプリングを適用することを更に備えた、請求項１に記載の方法。

【請求項16】

前記ＲＯＩの外側の前記１つ以上のエリアの特定のエリアについての前記時間ダウンサンプリング間隔は、前記ＲＯＩに対する前記特定のエリアの距離に依存する、請求項１に記載の方法。

【請求項17】

前記時間的ダウンサンプリング済みピクチャを前記符号化する前に、前記ＲＯＩの外側の前記エリアにマルチセグメント空間ダウンサンプリングを適用することを更に備えた、請求項１に記載の方法。

【請求項18】

ビデオ復号のための方法であって、
ａ）符号化済みピクチャストリーム内の符号化済みピクチャを復号することと、
ｂ）前記符号化済みピクチャストリームから前記ピクチャのＲＯＩの外側のエリアを時間的にアップサンプリングすることと、
ｃ）前記ＲＯＩの外側の前記時間的アップサンプリング済みエリアを、前記符号化済みピクチャストリームから前記復号された符号化済みピクチャストリームへの前記ピクチャに挿入することと、
ｄ）前記時間的アップサンプリング済みピクチャを記憶することと、
を備えた、方法。

【請求項19】

前記ＲＯＩの外側のエリアを前記時間的にアップサンプリングすることは、ダウンサンプリング間隔内のフレームごとに前記ＲＯＩの外側のエリアについての動き情報を生成するよう、時間ダウンサンプリング間隔の先頭フレーム及び最後フレームからの前記ＲＯＩの外側のエリア内の前記動き情報を補間することを含む、請求項１８に記載の方法。

【請求項20】

前記動き情報は、動きベクトルである、請求項１９に記載の方法。

【請求項21】

前記ＲＯＩの外側のエリアを前記時間的にアップサンプリングすることは、ダウンサンプリング間隔内のフレームごとに前記ＲＯＩの外側のエリアについての画像を生成するよう、時間ダウンサンプリング間隔の先頭フレームと最後フレームとの間の前記ＲＯＩの外側の前記エリアを補間することを含む、請求項１８に記載の方法。

【請求項22】

ダウンサンプリング間隔を復号することを更に備えた、請求項１８に記載の方法。

【請求項23】

前記ＲＯＩの外側の前記時間的アップサンプリング済みエリアを前記ピクチャに挿入した後、マルチセグメント空間アップサンプリングを実行することを更に備えた、請求項１８に記載の方法。

【請求項24】

ｅ）において記憶装置に前記時間的アップサンプリング済みピクチャを記憶することと、ディスプレイデバイス上で前記時間的アップサンプリング済みピクチャを表示することと、を更に備えた、請求項１８に記載の方法。

【請求項25】

前記符号化済みピクチャストリームから前記ピクチャへの前記ＲＯＩの外側の前記時間的アップサンプリング済みエリアを、前記復号された符号化済みピクチャストリームに前記挿入した後、マルチセグメント空間アップサンプリングを実行することを更に備えた、請求項１８に記載の方法。

【請求項26】

プロセッサと、
前記プロセッサに結合されたメモリと、
前記メモリに組み込まれた非一時的命令と、を備え、前記非一時的命令は、実行されるとき、
ａ）ピクチャストリーム内及び時間ダウンサンプリング間隔内のピクチャについての１つ以上の対象領域（ＲＯＩ）パラメータを判定することと、
ｂ）時間的ダウンサンプリング済みピクチャを生成するよう、前記時間ダウンサンプリング間隔に従って前記ピクチャストリーム内のピクチャ内のＲＯＩの外側の１つ以上のエリアを時間的にダウンサンプリングすることと、
ｃ）前記時間的ダウンサンプリング済みピクチャを符号化することと、
ｄ）前記符号化され時間的ダウンサンプリング済みピクチャを伝送することと、
を含む、ビデオ符号化のための方法を前記プロセッサに実行させる、システム。

【請求項27】

前記ＲＯＩの外側のエリアを時間的にダウンサンプリングすることは、前記ＲＯＩの外側の前記エリアを判定するために前記ＲＯＩパラメータを使用することと、前記時間ダウンサンプリング間隔の内のフレームについての前記ＲＯＩの外側のエリアについて動き情報を省略することと、を含む、請求項２６に記載のシステム。

【請求項28】

前記ＲＯＩの外側のエリアを時間的にダウンサンプリングすることは、前記ＲＯＩの外側の前記１つ以上のエリアを判定するために前記ＲＯＩパラメータを使用することと、前記ＲＯＩの外側のエリアについてのフレームレートを減少させることと、を含む、請求項２６に記載のシステム。

【請求項29】

ビデオ符号化のための前記方法は、前記時間的ダウンサンプリング済みピクチャを前記符号化する前に、前記ＲＯＩの外側の前記エリアにマルチセグメント空間ダウンサンプリングを適用することを更に含む、請求項２６に記載のシステム。

【請求項30】

コンピュータ可読媒体に組み込まれた非一時的命令であって、前記非一時的命令は、実行されるとき、
ａ）ピクチャストリーム内及び時間ダウンサンプリング間隔内のピクチャについての１つ以上の対象領域（ＲＯＩ）パラメータを判定することと、
ｂ）時間的ダウンサンプリング済みピクチャを生成するよう、前記時間ダウンサンプリング間隔に従って前記ピクチャストリーム内のピクチャ内のＲＯＩの外側の１つ以上のエリアを時間的にダウンサンプリングすることと、
ｃ）前記時間的ダウンサンプリング済みピクチャを符号化することと、
ｄ）前記符号化された時間的ダウンサンプリング済みピクチャを伝送することと、
を含む、ビデオ符号化のための方法をコンピュータに実行させる、非一時的命令。

【請求項31】

前記ＲＯＩの外側のエリアを時間的にダウンサンプリングすることは、前記ＲＯＩの外側の前記エリアを判定するために前記ＲＯＩパラメータを使用することと、前記時間ダウンサンプリング間隔の内のフレームについての前記ＲＯＩの外側のエリアについて動き情報を省略することと、を含む、請求項３０に記載の非一時的命令。

【請求項32】

前記ＲＯＩの外側のエリアを時間的にダウンサンプリングすることは、前記ＲＯＩの外側の前記１つ以上のエリアを判定するために前記ＲＯＩパラメータを使用することと、前記ＲＯＩの外側のエリアについてのフレームレートを減少させることと、を含む、請求項３０に記載の非一時的命令。

【請求項33】

ビデオ符号化のための前記方法は、前記時間的ダウンサンプリング済みピクチャを前記符号化する前に、前記ＲＯＩの外側の前記エリアにマルチセグメント空間ダウンサンプリングを適用することを更に含む、請求項３０に記載の非一時的命令。

【請求項34】

プロセッサと、
前記プロセッサに結合されたメモリと、
前記メモリに組み込まれた非一時的命令と、を備え、前記非一時的命令は、実行されるとき、
ａ）符号化済みピクチャストリーム内の符号化済みピクチャを復号することと、
ｂ）前記符号化済みピクチャストリームから前記ピクチャのＲＯＩの外側のエリアを時間的にアップサンプリングすることと、
ｃ）前記ＲＯＩの外側の前記時間的アップサンプリング済みエリアを、前記符号化済みピクチャストリームから前記復号された符号化済みピクチャストリームへの前記ピクチャに挿入することと、
ｄ）前記時間的アップサンプリング済みピクチャを記憶することと、
を含む、ビデオ復号のための方法を前記プロセッサに実行させる、システム。

【請求項35】

前記ＲＯＩの外側のエリアを前記時間的にアップサンプリングすることは、ダウンサンプリング間隔内のフレームごとに前記ＲＯＩの外側のエリアについての動き情報を生成するよう、時間ダウンサンプリング間隔の先頭フレーム及び最後フレームからの前記ＲＯＩの外側のエリア内の前記動き情報を補間することを含む、請求項３４に記載のシステム。

【請求項36】

前記ＲＯＩの外側のエリアを前記時間的にアップサンプリングすることは、ダウンサンプリング間隔内のフレームごとに前記ＲＯＩの外側のエリアについての画像を生成するよう、時間ダウンサンプリング間隔の先頭フレームと最後フレームとの間の前記ＲＯＩの外側の前記エリアを補間することを含む、請求項３４に記載のシステム。

【請求項37】

ビデオ復号のための前記方法は、前記符号化済みピクチャストリームから前記ピクチャへの前記ＲＯＩの外側の前記時間的アップサンプリング済みエリアを、前記復号された符号化済みピクチャストリームに前記挿入した後、マルチセグメント空間アップサンプリングを実行することを更に含む、請求項３４に記載のシステム。

【請求項38】

コンピュータ可読媒体に組み込まれた非一時的命令であって、前記非一時的命令は、実行されるとき、
ａ）符号化済みピクチャストリーム内の符号化済みピクチャを復号することと、
ｂ）前記符号化済みピクチャストリームから前記ピクチャのＲＯＩの外側のエリアを時間的にアップサンプリングすることと、
ｃ）前記ＲＯＩの外側の前記時間的アップサンプリング済みエリアを、前記符号化済みピクチャストリームから前記復号された符号化済みピクチャストリームへの前記ピクチャに挿入することと、
ｄ）前記時間的アップサンプリング済みピクチャを記憶することと、
を含む、ビデオ復号のための方法をコンピュータに実行させる、非一時的命令。

【請求項39】

前記ＲＯＩの外側のエリアを前記時間的にアップサンプリングすることは、ダウンサンプリング間隔内のフレームごとに前記ＲＯＩの外側のエリアについての動き情報を生成するよう、時間ダウンサンプリング間隔の先頭フレーム及び最後フレームからの前記ＲＯＩの外側のエリア内の前記動き情報を補間することを含む、請求項３８に記載の非一時的命令。

【請求項40】

前記ＲＯＩの外側のエリアを前記時間的にアップサンプリングすることは、ダウンサンプリング間隔内のフレームごとに前記ＲＯＩの外側のエリアについての画像を生成するよう、時間ダウンサンプリング間隔の先頭フレームと最後フレームとの間の前記ＲＯＩの外側の前記エリアを補間することを含む、請求項３８に記載の非一時的命令。

【請求項41】

ビデオ復号のための前記方法は、前記符号化済みピクチャストリームから前記ピクチャへの前記ＲＯＩの外側の前記時間的アップサンプリング済みエリアを、前記復号された符号化済みピクチャストリームに前記挿入した後、マルチセグメント空間アップサンプリングを実行することを更に含む、請求項３８に記載の非一時的命令。

【国際調査報告】