特表 2022-508246 ピクチャのためのブロックベースの空間活性測度

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-01-19

(54)【発明の名称】ピクチャのためのブロックベースの空間活性測度

(51)【国際特許分類】

   H04N 19/12 20140101AFI20220112BHJP

   H04N 19/14 20140101ALI20220112BHJP

   H04N 19/126 20140101ALI20220112BHJP

   H04N 19/119 20140101ALI20220112BHJP

   H04N 19/176 20140101ALI20220112BHJP

【ＦＩ】

H04N19/12

H04N19/14

H04N19/126

H04N19/119

H04N19/176

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021529788

(86)(22)【出願日】2019-11-27

(85)【翻訳文提出日】2021-07-06

(86)【国際出願番号】 US2019063704

(87)【国際公開番号】W WO2020113073

(87)【国際公開日】2020-06-04

(31)【優先権主張番号】62/771,909

(32)【優先日】2018-11-27

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521136080

【氏名又は名称】オーピー ソリューションズ， エルエルシー

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】アジッチ， ヴェリボール

(72)【発明者】

【氏名】カルバ， ハリ

(72)【発明者】

【氏名】ファート， ボリヴォイェ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC09

5C159MA04

5C159MA05

5C159MA23

5C159MC11

5C159ME01

5C159PP04

5C159TA12

5C159TA37

5C159TA46

5C159TB08

5C159TC10

5C159TD12

5C159TD17

5C159UA02

5C159UA05

(57)【要約】

エンコーダは、ビデオフレームを受信することと、ビデオフレームを複数のブロックに分割することと、複数のブロック内のブロック毎に、それぞれの空間活性測度を決定することと、変換行列を使用して、空間活性測度を使用してビデオフレームをエンコードすることとを行うように構成される回路を含む。関連する装置、システム、技法、および物品もまた、説明される。方法は、エンコーダによって、ビデオフレームを受信することと、ビデオフレームを複数のブロックに分割することと、複数のブロック内のブロック毎に、それぞれの空間活性測度を決定することと、変換行列を使用して、空間活性測度を使用してビデオフレームをエンコードすることとを含む。

【特許請求の範囲】

【請求項1】

エンコーダであって、前記エンコーダは、回路を備え、前記回路は、
ビデオフレームを受信することと、
前記ビデオフレームを複数のブロックに分割することと、
前記複数のブロック内のブロック毎に、それぞれの空間活性測度を決定することと、
変換行列を使用して、前記複数のブロックのうちの少なくとも１つに関する前記空間活性測度に従って、前記ビデオフレームをエンコードすることと
を行うように構成される、エンコーダ。

【請求項2】

ブロック毎に前記それぞれの空間活性測度を決定することは、一般化された離散コサイン変換行列を使用することを含む、請求項１に記載のエンコーダ。

【請求項3】

前記一般化された離散コサイン変換行列は、一般化された離散コサイン変換ＩＩ行列を含む、請求項２に記載のエンコーダ。

【請求項4】

離散コサイン変換行列の整数近似を含む、請求項２に記載のエンコーダ。

【請求項5】

各々のそれぞれの空間活性測度に基づいて量子化パラメータを決定するようにさらに構成され、前記エンコードすることは、前記決定された量子化パラメータを使用する、請求項１に記載のエンコーダ。

【請求項6】

前記ブロックのサブセットの第１の群を含む前記ビデオフレーム内の第１の領域を決定するようにさらに構成され、前記第１の群は、前記それぞれの空間活性測度に基づいている、請求項１に記載のエンコーダ。

【請求項7】

前記第１の領域を決定することは、前記複数のブロックの各々にわたって反復することと、現在のブロック毎に、前記現在のブロックの空間活性測度を先行ブロックの空間活性測度と比較し、差異が所定の閾値を下回るかどうかを決定することと、前記現在のブロックを前記第１の領域に割り当てることとを含む、請求項６に記載のエンコーダ。

【請求項8】

前記第１の領域を決定することは、前記差異が前記所定の閾値を上回ることを決定することに応答して、またはそれに基づいて、前記現在のブロックを第２の領域に割り当てることをさらに含む、請求項７に記載のエンコーダ。

【請求項9】

前記ブロックのブロックサイズは、４×４である、請求項１に記載のエンコーダ。

【請求項10】

変換および量子化プロセッサと、
逆量子化および逆変換プロセッサと、
ループ内フィルタと、
デコーダピクチャバッファと、
運動推定および補償プロセッサと、
イントラ予測プロセッサと
をさらに備える、請求項１に記載のエンコーダ。

【請求項11】

方法であって、前記方法は、
エンコーダによって、ビデオフレームを受信することと、
前記ビデオフレームを複数のブロックに分割することと、
前記複数のブロック内のブロック毎に、変換行列の関数としてそれぞれの空間活性測度を決定することと、
前記複数のブロックのうちの少なくとも１つに関する前記空間活性測度に従って、前記ビデオフレームをエンコードすることと
を含む、方法。

【請求項12】

ブロック毎に前記それぞれの空間活性測度を決定することは、一般化された離散コサイン変換行列を使用することを含む、請求項１１に記載の方法。

【請求項13】

前記一般化された離散コサイン変換行列は、一般化された離散コサイン変換ＩＩ行列を含む、請求項１２に記載の方法。

【請求項14】

前記一般化された離散コサイン変換行列は、離散コサイン変換行列の整数近似を含む、請求項１２に記載の方法。

【請求項15】

各々のそれぞれの空間活性測度に基づいて量子化パラメータを決定することをさらに含み、前記エンコードすることは、前記決定された量子化パラメータを使用する、請求項１１に記載の方法。

【請求項16】

前記ブロックのサブセットの第１の群を含む前記ビデオフレーム内の第１の領域を決定することをさらに含み、前記第１の群は、前記それぞれの空間活性測度に基づいている、請求項１１に記載の方法。

【請求項17】

前記第１の領域を決定することは、前記複数のブロックの各々にわたって反復することと、現在のブロック毎に、前記現在のブロックの空間活性測度を先行ブロックの空間活性測度と比較し、差異が所定の閾値を下回るかどうかを決定することと、前記現在のブロックを前記第１の領域に割り当てることとを含む、請求項１６に記載の方法。

【請求項18】

前記第１の領域を決定することは、前記差異が前記所定の閾値を上回ることを決定することに応答して、またはそれに基づいて、前記現在のブロックを第２の領域に割り当てることをさらに含む、請求項１７に記載の方法。

【請求項19】

前記複数のブロックのブロックサイズは、４×４である、請求項１１に記載の方法。

【請求項20】

前記エンコーダは、
変換および量子化プロセッサと、
逆量子化および逆変換プロセッサと、
ループ内フィルタと、
デコーダピクチャバッファと、
運動推定および補償プロセッサと、
イントラ予測プロセッサと
を備える回路を備える、請求項１１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０１８年１１月２７日に出願され、「ＢＬＯＣＫ－ＢＡＳＥＤ ＳＰＡＴＩＡＬ ＡＣＴＩＶＩＴＹ ＭＥＡＳＵＲＥ ＦＯＲ ＰＩＣＴＵＲＥＳ」と題された米国仮特許出願第６２／７７１，９０９号の優先権の利益を主張し、それは、参照することによってその全体として本明細書に援用される。

【0002】

（本発明の分野）
本発明は、概して、ビデオ圧縮の分野に関する。具体的には、本発明は、ピクチャのためのブロックベースの空間活性測度を対象とする。

【背景技術】

【0003】

ビデオコーデックは、デジタルビデオを圧縮または解凍する電子回路またはソフトウェアを含み得る。それは、圧縮されていないビデオを圧縮されたフォーマットに変換することができ、逆もまた同様である。ビデオ圧縮の文脈において、ビデオを圧縮する（および／またはそのうちのいくつかの機能を実施する）デバイスは、典型的には、エンコーダと呼ばれ得、ビデオを解凍する（および／またはそのうちのいくつかの機能を実施する）デバイスは、デコーダと呼ばれ得る。

【0004】

圧縮されたデータのフォーマットは、標準的なビデオ圧縮仕様に適合することができる。圧縮は、圧縮されたビデオが元のビデオの中に存在するある情報を欠く点で非可逆的であり得る。この結果は、元のビデオを正確に再構築するために不十分な情報しか存在しないので、解凍されたビデオが元の圧縮されていないビデオより低い品質を有し得ることを含み得る。

【0005】

ビデオ品質と、ビデオを表現すために使用される（例えば、ビットレートによって決定される）データ量と、エンコーディングアルゴリズムおよびデコーディングアルゴリズムの複雑性と、データ損失ならびに誤差に対する感度と、編集のし易さと、ランダムアクセスと、エンドツーエンド遅延（例えば、待機時間）と、同等物との間に、複雑な関係が存在し得る。

【0006】

エンコード中、ピクチャ（例えば、ビデオフレーム）が、１２８×１２８等の比較的に大きいブロックに区分化され（例えば、分割され）、そのような構造が、固定される。但し、圧縮のために、基礎となるビデオ情報（例えば、ビデオコンテンツ）を考慮することなくピクチャを大きいブロックに区分化することによって、大きいブロックは、効率的なエンコードを可能にする様式でピクチャを分割せず、それによって、不十分なビットレート性能をもたらし得る。

【発明の概要】

【課題を解決するための手段】

【0007】

ある側面では、エンコーダは、回路を含み、回路は、ビデオフレームを受信することと、ビデオフレームを複数のブロックに分割することと、複数のブロック内のブロック毎に、それぞれの空間活性測度を決定することと、変換行列を使用して、空間活性測度を使用してビデオフレームをエンコードすることとを行うように構成される。

【0008】

別の側面では、方法は、エンコーダによって、ビデオフレームを受信することと、ビデオフレームを複数のブロックに分割することと、複数のブロック内のブロック毎に、それぞれの空間活性測度を決定することと、変換行列を使用して、空間活性測度を使用してビデオフレームをエンコードすることとを含む。

【0009】

本明細書に説明される主題の１つ以上の変更の詳細が、付随の図面および下記の説明に記載される。本明細書に説明される主題の他の特徴および利点が、説明および図面から、ならびに請求項から明白となるであろう。

【図面の簡単な説明】

【0010】

本発明を例証する目的のために、図面は、本発明の１つ以上の実施形態の側面を示す。しかしながら、本発明が図面に示される精密な配置および手段に限定されないことを理解されたい。

【0011】

【図1】図１は、向上させられたエンコーダ動作を可能にし得る空間活性測度を決定することにおいて変換行列を利用し得る、ビデオをエンコードするための例示的プロセスを図示するプロセスフロー図である。

【0012】

【図2】図２は、周波数ベースのブロック融合を実施するための例示的プロセスを図示するプロセスフロー図である。

【0013】

【図3】図３は、変換行列を利用して周波数成分を算出することを含み得る、空間活性の測度を使用してエンコードすることが可能である例示的ビデオエンコーダを図示するシステムブロック図である。

【0014】

【図4】図４は、本明細書に開示される方法の任意の１つ以上およびその任意の１つ以上の部分を実装するために使用され得るコンピューティングシステムのブロック図である。

【0015】

図面は、必ずしも、縮尺通りではなく、想像線、図式表現、および部分図によって図示され得る。ある例では、実施形態の理解のためには必要ではない詳細、または他の詳細を知覚困難にする詳細が、省略されている場合がある。種々の図面内の同様の参照記号は、同様の要素を示す。

【発明を実施するための形態】

【0016】

本主題のいくつかの実装は、変換行列を利用して周波数成分を算出することを含み得る、空間活性の測度を使用することを含むビデオをエンコードすることへのアプローチを対象とする。変換行列を利用することは、ハイパスフィルタを利用するエンコーダより多くの周波数における周波数測度を生み出し、付加的な情報が、エンコーディングを向上させ得る。例えば、変換行列を使用して周波数成分を決定することによって、ビデオフレームの周波数成分についてのより精密な情報が、生み出され得る。また、周波数成分についてのより精密な情報を利用することによって、ブロック融合が、向上させられ得、これは、ひいては、予測を向上させ、それによって、残りの結果として生じるビットストリームビットレートを低減させ得る。

【0017】

いくつかの実装では、ピクチャの区分化が、基本単位としてサンプルブロックを使用して実施される。サンプルブロックは、均一なサンプルブロックサイズ（ピクセルの正方形のピクセルにおける辺長であり得る）を有し得、例えば、限定ではないが、本明細書に開示される実施形態は、基本単位として４×４サンプルブロック、および４×４サンプルブロックの周波数成分を算出することを含む空間活性の測度を使用し得る。基本区分化サイズとして４×４ブロックを利用することによって、本主題のいくつかの実装は、エンコーダによってより微細な粒度を可能にし得、そのようなサイズは、確立された変換ブロックサイズと整合し、標準的かつ定義された変換行列の利用を可能にし、これは、エンコーディング効率を向上させ得る。さらに、そのようなアプローチは、比較的大きいサイズの固定されたブロック構造を使用するエンコーディングへのいくつかの既存のアプローチと対照的であり得る。当業者は、本開示の全体を精査した結果、簡潔さのために、４×４サンプルブロックが、多くの後に続く例において説明されるが、概して、任意の測定方法による、任意のサイズまたは形状のサンプルブロックが、ピクチャの分割および／または区分化のために使用され得ることを理解するであろう。

【0018】

図１は、空間活性測度を決定することにおいて変換行列を利用し得るビデオをエンコードするための例示的プロセス１００を図示するプロセスフロー図であり、これは、向上させられたエンコーダ動作を可能にし得る。ステップ１０５において、ビデオフレームが、エンコーダによって受信される。これは、任意のデバイスおよび／または入力ポートから、配信および／またはファイルの形態でビデオを受信するために好適な任意の様式で遂行され得る。ビデオフレームを受信することは、エンコーダのメモリ、ならびに／または、エンコーダと通信し、それを組み込み、および／もしくはその中に組み込まれたコンピューティングデバイスからの読出を含み得る。受信することは、ネットワークを経由して遠隔デバイスから受信することを含み得る。ビデオフレームを受信することは、結合して１つ以上のビデオを構成する複数のビデオフレームを受信することを含み得る。

【0019】

ステップ１１０において、引き続き図１を参照すると、エンコーダが、ビデオフレームをブロックに区分化および／または分割し得る。ブロックは、４ピクセル×４ピクセル（４×４）のサイズを含む、上記に説明されるような任意の好適な形状またはサイズを有し得る。４×４のサイズは、４×４ブロックの整数値に分割され得る多くの標準的なビデオ解像度と互換性があり得る。

【0020】

ステップ１１５において、図１を継続して参照すると、エンコーダは、複数のブロック内のブロック毎に、それぞれの空間活性測度を決定し得る。本開示において使用される場合、「空間活性測度」は、テクスチャがブロック内でどのくらい頻繁に変化するか、およびどのくらいの大きさで変化するかを示す量である。言い換えると、空等の平坦な領域は、低い空間活性測度を有する一方、草等の複雑な領域は、高い空間活性測度を受信する。それぞれの空間活性測度の決定は、限定ではないが、離散コサイン変換行列のような変換行列を使用する決定を含み得る。ブロック毎にそれぞれの空間活性測度を決定することは、一般化された離散コサイン変換行列を使用する決定を含み得る。例えば、上記に説明されるようなブロックが、ピクセルの４×４ブロックである場合、一般化された離散コサイン変換行列は、以下の形態をとる一般化された離散コサイン変換ＩＩ行列を含み得る。

【数1】

式中、ａは、１／２であり、ｂは、

【化1】

であり、ｃは、

【化2】

である。

【0021】

いくつかの実装では、効率的なハードウェアおよびソフトウェア実装のために使用され得る変換行列の整数近似が、利用され得る。例えば、上記に説明されるようなブロックが、ピクセルの４×４ブロックである場合、一般化された離散コサイン変換行列は、以下の形態をとる一般化された離散コサイン変換ＩＩ行列を含み得る。

【数2】

ブロックＢ_ｉ毎に、ブロックの周波数コンテンツが、以下を使用して計算され得る。
Ｆ_Ｂｉ＝Ｔ×Ｂ_ｉ×Ｔ’
式中、Ｔ’は、コサイン変換行列Ｔの転置行列であり、Ｂ_ｉは、上記に説明されるような４×４ブロックを表す４×４行列等のブロック内のピクセルに対応する数値の行列として表されるブロックであり、演算×は、行列の乗算を示す。

【0022】

いくつかの実装では、ブロック融合が、空間活性測度を使用して実施され得る。ブロック融合では、各ブロックが、ある領域に割り当てられ得る。例えば、ブロックのサブセットの第１の群を含むビデオフレーム内の第１の領域が、決定され得る。第１の群は、それぞれの空間活性測度に基づき得る。ブロックは、類似する周波数コンテンツの領域に群化され、それによって、類似する空間活性を有する領域を表し得る。

【0023】

例えば、第１の領域を決定することは、複数のブロックの各々にわたって反復することと、現在のブロック毎に、現在のブロックの空間活性測度を先行ブロックの空間活性測度と比較し、差異が所定の閾値を下回るかどうかを決定することと、現在のブロックを第１の領域に割り当てることとを含み得る。現在のブロックは、差異が所定の閾値を上回ることを決定することに応答して、またはそれに基づいて、第２の領域に割り当てられ得る。当業者は、本開示の全体を精査した結果、第１のブロックへの割当は、代替として、または加えて、類似度がある閾値を超過していることの決定によって遂行され得ること、および／または異なる群への割当は、差異の程度がある閾値を超過していることを決定することによって遂行され得ることを含む、閾値との比較が実施され得る種々の方法を認識するであろう。閾値は、メモリの中に記憶され、ならびに／または、以前もしくは同時に受信および／もしくは計算された値を使用して生成され得、これは、本開示に説明される任意の数値および／または測定値を含み得る。

【0024】

図２は、周波数ベースのブロック融合を実施するための例示的プロセス２００を図示するプロセスフロー図である。２０５において、各ブロックＢ_ｉが、反復される（例えば、２０５において、ｉが、１だけ増分され得る）。ステップ２０５において、ブロックの周波数コンテンツＦ_Ｂｉが、算出され得る。ステップ２１５において、現在のブロックの空間活性測度Ｆ_Ｂｉと先行ブロックの空間活性測度Ｆ_Ｂｉ－１との間の差異が、所定の閾値Ｔ_Ｆを下回るかどうかが、決定され得る。下回る場合、ステップ２２０において、現在のブロックＢ_ｉが、現在の領域に追加される。下回らない場合、ステップ２２５において、現在のブロックＢ_ｉが、新しい領域または異なる領域に追加される。

【0025】

いくつかの実装では、情報の平均測度が、ブロック融合のために使用され得、非限定的な例として、第１の領域内の個々のブロックに関する情報測度の総和に従って決定され得、情報測度の総和は、例えば、以下の総和に示される有意係数によって加重および／または乗算され得る。

【数3】

式中、Ｎは、第１の領域の連番であり、Ｓ_Ｎは、有意係数であり、ｋは、第１の領域を構成する複数のブロックのうちのあるブロックに対応する添字であり、ｎは、第１の領域を構成するブロックの数であり、Ｂ_ｋは、複数のブロックのうちのあるブロックの情報の測度であり、Ａ_Ｎは、情報の第１の平均測度である。Ｂ_ｋは、例えば、ブロックの離散コサイン変換を使用して算出される空間活性の測度を含み得る。

【0026】

有意係数Ｓ_Ｎは、外部の専門家によって提供され、および／または第１の領域（例えば、融合されたブロック）の特性に基づいて計算され得る。領域の「特性」は、本明細書で使用される場合、領域のコンテンツに基づいて決定される領域の測定可能な属性であり、特性は、第１の領域上で実施される１つ以上の演算の出力を使用して、数値的に表わされ得る。１つ以上の演算は、第１の領域によって表わされる任意の信号の任意の分析を含み得る。一つの非限定的な例は、品質モデル化用途において、平滑な背景を有する領域についてより高いＳ_Ｎを割り当て、あまり平滑ではない背景を有する領域についてより低いＳ_Ｎを割り当てることを含み得、非限定的な例として、平滑度は、エッジの数を決定するためのキャニーエッジ検出を使用して決定され得、より低い数値は、より高い程度の平滑度を示す。自動平滑度検出のさらなる例は、ある領域にわたる空間変数内の信号にわたる高速フーリエ変換（ＦＦＴ）の使用を含み得、高速フーリエ変換において、信号が、任意の２次元座標系にわたって、かつ赤‐緑‐青色の色値または同等物を表すチャネルにわたって分析され得、ＦＦＴを使用して算出されるようなより低い周波数成分の周波数ドメインにおけるより高い相対的優位性が、より高い程度の平滑度を示し得る一方、より高い周波数のより高い相対的優位性が、背景領域にわたる色および／または陰影値におけるより頻繁かつ急速な遷移を示し得、これは、より低い平滑度スコアをもたらし得、意味的に重要なオブジェクトが、ユーザ入力によって識別され得る。代替として、または加えて、意味的重要性が、エッジ構成および／またはテクスチャパターンに従って検出され得る。背景は、限定ではないが意味的に重要なオブジェクトを含む、顔または他のアイテム等の有意なオブジェクトもしくは「前景」オブジェクトを表す領域の一部を受信および／または検出することによって（限定ではないが）、識別され得る。別の例は、人の顔等の意味的に重要なオブジェクトを含む領域についてより高いＳ_Ｎを割り当てることを含み得、意味的に重要なオブジェクトは、ユーザ入力によって識別され得る。

【0027】

いくつかの実装では、周波数ベースのブロック融合は、他の情報処理アルゴリズムが計算されたＦＢｉ値を直接使用している実装では、省略され得る。１つのそのような実装は、適応量子化を含み得、適応量子化では、量子化パラメータが、４×４ブロック毎に、もしくは８×８、１６×１６、３２×３２、もしくは６４×６４ブロックに組み合わせられた近傍の４×４ブロックの群毎に、または、任意の他の好適な組み合わせ毎に、Ｆ_Ｂｉ値に基づいて決定される。

【0028】

ステップ１２０において、ビデオフレームが、エンコードされ得る。エンコードすることは、空間活性測度、例えば、４×４ブロックのブロック融合プロセスから結果として生じる第１の領域の平均空間活性測度に基づいて量子化パラメータを制御することを含み得る。量子化パラメータは、量子化サイズの測度を含み、それに等しく、それに比例し、および／またはそれに線形的に関連し得る。本開示において使用される場合、「量子化レベル」および／または「量子化サイズ」は、ビデオフレームの圧縮において破棄されることとなる情報の量を示す数量であり、量子化レベルは、限定ではないが整数等の数値を含み得、エンコードされ続いてデコードされるフレームの情報コンテンツを低減させるために、限定ではないが変換係数を含む１つ以上の係数が、量子化レベルによって除算および／または低減される。制御することは、情報の第１の測度に基づいて第１の量子化サイズを決定することを含み得、量子化レベルは、ブロック内のピクセルの輝度および／または彩度データを説明する情報を捕捉するために必要とされるメモリストレージの直接的または間接的測度を表し得、より高いビット数が、情報の第１の測度によって決定されるようなより高い分散の程度を有する情報を記憶するために必要とされ得る。量子化サイズは、上記に説明されるような情報の第１の測度に基づき得、量子化サイズは、情報のより高い第１の測度に関してより大きく、情報のより低い第１の測度に関してより小さいこともあり、量子化サイズは、情報の第１の測度に比例し、および／または線形的に関連し得る。概して、より多くの情報コンテンツが、より大きい量子化サイズをもたらし得る。量子化サイズを制御することによって、融合されたブロック領域についての情報が、エンコーディングのためのレート歪み最適化のために使用され得る。制御することはさらに、第２の領域の情報の第２の平均測度に基づき得る。

【0029】

図３は、変換行列を利用して周波数成分を算出することを含み得る空間活性の測度を使用してエンコードすることが可能である例示的ビデオエンコーダ２００を図示するシステムブロック図である。例示的ビデオエンコーダ３００は、入力ビデオ３０４を受信し、入力ビデオ３０４は、最初に、さらなる処理のために４×４ブロックに区分化または分割され得る。

【0030】

例示的ビデオエンコーダ３００は、イントラ予測プロセッサ３０８と、運動推定／補償プロセッサ３１２（相互予測プロセッサとも称される）と、変換／量子化プロセッサ３１６と、逆量子化／逆変換プロセッサ３２０と、ループ内フィルタ３２４と、デコード済ピクチャバッファ３２８と、エントロピーコーディングプロセッサ３３２とを含む。ビットストリームパラメータが、出力ビットストリーム３３６での算入のために、エントロピーコーディングプロセッサ３３２に入力され得る。

【0031】

変換／量子化プロセッサ３１３は、ブロック融合を実施することが可能であり、かつブロック毎に変換行列を利用して周波数成分を算出することを含み得る空間活性の測度を算出することが可能であり得る。

【0032】

動作時、イントラピクチャ予測を介してブロックを処理するかまたは運動推定／補償を使用してブロックを処理するかが、入力ビデオ３０４のフレームのブロック毎に決定され得る。ブロックは、イントラ予測プロセッサ３０８または運動推定／補償プロセッサ３１２に提供され得る。ブロックがイントラ予測を介して処理されることとなる場合、イントラ予測プロセッサ３０８は、処理を実施し、予測子を出力し得る。ブロックが運動推定／補償を介して処理されることとなる場合、運動推定／補償プロセッサ３１２が、処理を実施し得る。

【0033】

残差が、入力ビデオから予測子を差し引くことによって形成され得る。残差は、変換／量子化プロセッサ３１６によって受信され得、変換／量子化プロセッサ３１６は、変換処理（例えば、離散コサイン変換（ＤＣＴ））を実施して、量子化され得る係数を生み出し得る。量子化された係数および任意の関連付けられたシグナリング情報が、エントロピーエンコーディングおよび出力ビットストリーム３３６での算入のために、エントロピーコーディングプロセッサ３３２に提供され得る。加えて、量子化された係数は、逆量子化／逆変換プロセッサ３２０に提供され得、逆量子化／逆変換プロセッサ３２０は、ピクセルを再現し得、ピクセルは、予測子と組み合わせられてループ内フィルタ３２４によって処理され得、ループ内フィルタ３２４の出力は、運動推定／補償プロセッサ３１２による使用のために、デコード済ピクチャバッファ３２８の中に記憶される。

【0034】

本明細書に説明される側面および実施形態のうちの任意の１つ以上のものが、コンピュータ技術分野の当業者に明白であるように、本明細書の教示に従ってプログラムされた１つ以上の機械（例えば、電子ドキュメントのためのユーザコンピューティングデバイスとして利用される１つ以上のコンピューティングデバイス、ドキュメントサーバ等の１つ以上のサーバデバイス等）において実現および／または実装されるデジタル電子回路、集積回路、専用に設計された特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせを使用して、便宜的に実装され得ることに留意されたい。これらの種々の側面または特徴は、少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステム上で実行可能かつ／または解読可能である１つ以上のコンピュータプログラムおよび／またはソフトウェア内での実装を含み得、少なくとも１つのプログラム可能なプロセッサは、専用目的もしくは汎用目的であり得、専用目的もしくは汎用目的であり得、データおよび命令を、ストレージシステム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスから受信し、データおよび命令をそれらに伝送するように結合される。適切なソフトウェアコーディングが、ソフトウェア技術分野の当業者に明白であるように、本開示の教示に基づいて、熟練のプログラマによって容易に準備され得る。ソフトウェアおよび／またはソフトウェアモジュールを採用する上記に議論される側面および実装もまた、ソフトウェアおよび／またはソフトウェアモジュールの機械実行可能命令の実装を補助するために適切なハードウェアを含み得る。

【0035】

そのようなソフトウェアは、機械可読記憶媒体を採用するコンピュータプログラム製品であり得る。機械可読記憶媒体は、機械（例えば、コンピューティングデバイス）による実行のための命令のシーケンスを記憶および／またはエンコードすることが可能であり、かつ機械に本明細書に説明される方法および／または実施形態の任意の１つを実施させる任意の媒体であり得る。機械可読記憶媒体の例は、限定ではないが、磁気ディスク、光ディスク（例えば、ＣＤ、ＣＤ－Ｒ、ＤＶＤ、ＤＶＤ－Ｒ等）、光磁気ディスク、読取専用メモリ「ＲＯＭ」デバイス、ランダムアクセスメモリ「ＲＡＭ」デバイス、磁気カード、光学カード、ソリッドステートメモリデバイス、ＥＰＲＯＭ、ＥＥＰＲＯＭ、プログラマブル論理デバイス（ＰＬＤ）、および／またはそれらの任意の組み合わせを含む。機械可読媒体は、本明細書で使用される場合、単一の媒体、ならびに、例えばコンピュータメモリとの組み合わされたコンパクトディスクもしくは１つ以上のハードディスクドライブの集合等の物理的に分離した媒体の集合を含むように意図されている。本明細書で使用される場合、機械可読記憶媒体は、信号伝送の一過性形態を含まない。

【0036】

そのようなソフトウェアはまた、搬送波等のデータキャリア上のデータ信号として搬送される情報（例えば、データ）を含み得る。例えば、機械実行可能情報は、信号が機械（例えば、コンピューティングデバイス）による実行のために命令のシーケンスまたはその一部をエンコードするデータキャリアにおいて具現化されるデータ搬送信号、ならびに機械に本明細書に説明される方法および／または実施形態の任意の１つを実施させる任意の関連する情報（例えば、データ構造およびデータ）として含まれ得る。

【0037】

コンピューティングデバイスの例は、限定ではないが、電子書籍読書デバイス、コンピュータワークステーション、端末コンピュータ、サーバコンピュータ、ハンドヘルドデバイス（例えば、タブレット型コンピュータ、スマートフォン等）、ウェブ装置、ネットワークルータ、ネットワークスイッチ、ネットワークブリッジ、機械よってとられることとなるアクションを規定する命令のシーケンスを実行することが可能である任意の機械、およびそれらの任意の組み合わせを含む。一例では、コンピューティングデバイスは、キオスクを含み、および／またはその中に含まれ得る。

【0038】

図４は、コントロールシステムに本開示の側面および／または方法のうちの任意の１つ以上を実施させるための命令のセットが実行され得るコンピュータシステム４００の例示的形態としてのコンピューティングデバイスの一実施形態の図式表現を示す。複数のコンピューティングデバイスが、デバイスのうちの１つ以上に本開示の側面および／または方法のうちの任意の１つ以上を実施させるために専用に構成された命令のセットを実装するために利用され得ることも、考えられる。コンピュータシステム４００は、プロセッサ４０４とメモリ４０８とを含み、プロセッサ４０４およびメモリ４０８は、バス４１２を介して相互に、および他の構成要素と通信する。バス４１２は、限定ではないが、種々のバスアーキテクチャのうちのいずれかを使用するメモリバス、メモリコントローラ、周辺バス、ローカルバス、およびそれらの任意の組み合わせを含むいくつかのタイプのバス構造のうちのいずれかを含み得る。

【0039】

メモリ４０８は、限定ではないが、ランダムアクセスメモリ構成要素、読取専用構成要素、およびそれらの任意の組み合わせを含む種々の構成要素（例えば、機械可読媒体）を含み得る。一例では、起動中等にコンピュータシステム４００内の要素間で情報を転送することに役立つ基本ルーチンを含む基本入力／出力システム４１６（ＢＩＯＳ）が、メモリ４０８の中に記憶され得る。メモリ４０８はまた、本開示の側面および／または方法のうちの任意の１つ以上を具現化する命令（例えば、ソフトウェア）４２０を含み得る（例えば、１つ以上の機械可読媒体上に記憶されている）。別の例では、メモリ４０８はさらに、限定ではないが、オペレーティングシステム、１つ以上のアプリケーションプログラム、他のプログラムモジュール、プログラムデータ、およびそれらの任意の組み合わせを含む任意の数のプログラムモジュールを含み得る。

【0040】

コンピュータシステム４００はまた、記憶デバイス４２４を含み得る。記憶デバイス（例えば、記憶デバイス４２４）の例は、限定ではないが、ハードディスクドライブ、磁気ディスクドライブ、光学媒体と組み合わせられた光ディスクドライブ、ソリッドステートメモリデバイス、およびそれらの任意の組み合わせを含む。記憶デバイス４２４は、適切なインターフェース（図示せず）によってバス４１２に接続され得る。例示的インターフェースは、限定ではないが、ＳＣＳＩ、アドバンスト・テクノロジー・アタッチメント（ＡＴＡ）、シリアルＡＴＡ、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４（ＦＩＲＥＷＩＲＥ（登録商標））、およびそれらの任意の組み合わせを含む。一例では、記憶デバイス４２４（または１つ以上のその構成要素）は、（例えば、外部ポートコネクタ（図示せず）を介して）コンピュータシステム４００と除去可能にインターフェース接続され得る。特に、記憶デバイス４２４および関連付けられた機械可読媒体４２８は、コンピュータシステム４００のための機械可読命令、データ構造、プログラムモジュール、ならびに／または、他のデータの不揮発性記憶装置および／または揮発性記憶装置を提供し得る。一例では、ソフトウェア４２０は、完全に、または部分的に、機械可読媒体４２８内に常駐し得る。別の例では、ソフトウェア４２０は、完全に、または部分的に、プロセッサ４０４内に常駐し得る。

【0041】

コンピュータシステム４００はまた、入力デバイス４３２を含み得る。一例では、コンピュータシステム４００のユーザは、入力デバイス４３２を介してコンピュータシステム４００内にコマンドおよび／または他の情報を打ち込み得る。入力デバイス４３２の例は、限定ではないが、英数字入力デバイス（例えば、キーボード）、ポインティングデバイス、ジョイスティック、ゲームパッド、オーディオ入力デバイス（例えば、マイクロホン、音声応答システム等）、カーソル制御デバイス（例えば、マウス）、タッチパッド、光学スキャナ、ビデオ捕捉デバイス（例えば、静止カメラ、ビデオカメラ）、タッチスクリーン、およびそれらの任意の組み合わせを含む。入力デバイス４３２は、限定ではないが、シリアルインターフェース、パラレルインターフェース、ゲームポート、ＵＳＢインターフェース、ＦＩＲＥＷＩＲＥ（登録商標）インターフェース、バス４１２への直接的インターフェース、およびそれらの任意の組み合わせを含む種々のインターフェース（図示せず）のうちのいずれかを介して、バス４１２にインターフェース接続され得る。入力デバイス４３２は、タッチスクリーンインターフェースを含み得、タッチスクリーンインターフェースは、さらに下記に議論されるディスプレイ４３６の一部であるかまたはそれと別個であり得る。入力デバイス４３２は、上記に説明されるようなグラフィカルインターフェースにおいて１つ以上のグラフィック表現を選択するためのユーザ選択デバイスとして利用され得る。

【0042】

ユーザはまた、記憶デバイス４２４（例えば、リムーバブルディスクドライブ、フラッシュドライブ等）および／またはネットワークインターフェースデバイス４４０を介してコマンドおよび／または他の情報をコンピュータシステム４００に入力し得る。ネットワークインターフェースデバイス４４０等のネットワークインターフェースデバイスは、ネットワーク４４４等の種々のネットワークのうちの１つ以上、およびそれに接続される１つ以上の遠隔デバイス４４８にコンピュータシステム４００を接続するために利用され得る。ネットワークインターフェースデバイスの例は、限定ではないが、ネットワークインターフェースカード（例えば、モバイルネットワークインターフェースカード、ＬＡＮカード）、モデム、およびそれらの任意の組み合わせを含む。ネットワークの例は、限定ではないが、ワイドエリアネットワーク（例えば、インターネット、企業ネットワーク）、ローカルエリアネットワーク（例えば、オフィス、建物、キャンパス、または他の比較的小さい地理的空間に関連付けられたネットワーク）、電話ネットワーク、電話／音声プロバイダに関連付けられたデータネットワーク（例えば、モバイル通信プロバイダのデータおよび／または音声ネットワーク）、２つのコンピューティングデバイス間の直接的接続、ならびにそれらの任意の組み合わせを含む。ネットワーク４４４等のネットワークは、有線モードおよび／または無線のモードの通信を採用し得る。概して、任意のネットワークトポロジが使用され得る。情報（例えば、データ、ソフトウェア４２０等）が、ネットワークインターフェースデバイス４４０を介して、コンピュータシステム４００に、および／またはコンピュータシステム４００から通信され得る。

【0043】

コンピュータシステム４００はさらに、ディスプレイデバイス４３６等のディスプレイデバイスに表示可能な画像を通信するためのビデオディスプレイアダプタ４５２を含み得る。ディスプレイデバイスの例は、限定ではないが、液晶ディスプレイ（ＬＣＤ）、陰極線管（ＣＲＴ）、プラズマディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、およびそれらの任意の組み合わせを含む。ディスプレイアダプタ４５２およびディスプレイデバイス４３６は、本開示の側面のグラフィック表現を提供するためにプロセッサ４０４と組み合わせて利用され得る。ディスプレイデバイスに加えて、コンピュータシステム４００は、限定ではないが、オーディオスピーカ、プリンタ、およびそれらの任意の組み合わせを含む１つ以上の他の周辺出力デバイスを含み得る。そのような周辺出力デバイスは、周辺インターフェース４５６を介してバス４１２に接続され得る。周辺インターフェースの例は、限定ではないが、シリアルポート、ＵＳＢ接続、ＦＩＲＥＷＩＲＥ（登録商標）接続、パラレル接続、およびそれらの任意の組み合わせを含む。

【0044】

前述は、本発明の例証的実施形態の詳細な説明である。種々の修正および追加が、本発明の精神および範囲から逸脱することなく成され得る。上記に説明される種々の実施形態の各々の特徴が、関連付けられた新しい実施形態において複数の特徴の組み合わせを提供するために、適宜、他の説明される実施形態の特徴と組み合わせられ得る。さらに、前述は、いくつかの別個の実施形態を説明するが、本明細書に説明されているものは、本発明の原理の適用を例証するにすぎない。加えて、本明細書における特定の方法は、具体的な順序で実施されるものとして例証および／または説明され得るが、順序は、本明細書に開示されるような実施形態を達成するために、通常の技術内で大いに変更可能である。故に、本説明は、例としてのみ捉えられることを意図されており、別様に本発明の範囲を限定するようには意図されていない。

【0045】

上記の説明において、および請求項において、「～のうちの少なくとも１つ」または「～のうちの１つ以上」等の語句が生じ、要素または特徴の接続的列挙が後に続き得る。用語「および／または」もまた、２つ以上の要素または特徴の列挙内に生じ得る。そのような語句が使用される文脈によって別様に暗示的または明示的に否定されない限り、これは、個々に列挙される要素もしくは特徴のいずれか、または他の記載される要素もしくは特徴のいずれかと組み合わせて記載される要素もしくは特徴のいずれかを意味することが意図されている。例えば、語句「ＡおよびＢのうちの少なくとも１つ」、「ＡおよびＢのうちの１つ以上」、ならびに「Ａおよび／またはＢ」は、各々、「Ａのみ、Ｂのみ、またはＡおよびＢともに」を意味することが意図されている。同様の解釈が、３つ以上のアイテムを含む列挙に関しても意図されている。例えば、語句「Ａ、Ｂ、およびＣのうちの少なくとも１つ」、「Ａ、Ｂ、およびＣのうちの１つ以上」、ならびに「Ａ、Ｂ、および／またはＣ」は、各々、「Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢともに、ＡおよびＣともに、ＢおよびＣともに、またはＡおよびＢおよびＣともに」を意味することが意図されている。加えて、上記および請求項内での用語「～に基づいて」の使用は、記載されていない特徴または要素も許容可能であるように、「少なくとも、～に基づいて」を意味することが意図されている。

【0046】

本明細書に説明される主題は、所望の構成に応じて、システム、装置、方法、および／または物品として具現化されることができる。前述の説明に記載される実装は、本明細書に説明される主題と一貫した全実装を表すわけではない。代わりに、それらは、単に説明される主題に関連する側面と一貫するいくつかの例にすぎない。いくつかの変更が、上記で詳細に説明されているが、他の修正または追加も、可能である。特に、さらなる特徴および／または変更が、本明細書に記載されるものに加えて提供され得る。例えば、上記で説明される実装は、開示される特徴の種々の組み合わせおよび副次的組み合わせおよび／または上記に開示されるいくつかのさらなる特徴の組み合わせおよび副次的組み合わせを対象とし得る。加えて、付随の図に描写され、かつ／または本明細書に説明される論理フローは、望ましい結果を達成するために、必ずしも、示される特定の順序または連続的順序を要求しない。他の実装も、以下の請求項の範囲内にあり得る。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】