特許 7578566 画像フレームをイントラコードするための方法およびデバイス

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-28

(45)【発行日】2024-11-06

(54)【発明の名称】画像フレームをイントラコードするための方法およびデバイス

(51)【国際特許分類】

   H04N 19/11 20140101AFI20241029BHJP

   H04N 19/14 20140101ALI20241029BHJP

   H04N 19/167 20140101ALI20241029BHJP

   H04N 19/176 20140101ALI20241029BHJP

   H04N 19/593 20140101ALI20241029BHJP

【ＦＩ】

H04N19/11

H04N19/14

H04N19/167

H04N19/176

H04N19/593

【請求項の数】 15

【外国語出願】

(21)【出願番号】P 2021139551

(22)【出願日】2021-08-30

(65)【公開番号】P2022045336

(43)【公開日】2022-03-18

【審査請求日】2024-08-28

(31)【優先権主張番号】20194958

(32)【優先日】2020-09-08

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】ピール， フレードリク

(72)【発明者】

【氏名】ヨハンソン， マルテ

【審査官】田中 崇大

(56)【参考文献】

【文献】特開２００６－３４０１３４（ＪＰ，Ａ）

【文献】特開２００１－２１８０６２（ＪＰ，Ａ）

【文献】特開２００９－８９３５６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／００２１８１７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

画像フレーム（１１２）をイントラコードするための、画像パイプライン（１２０）によって実施される方法であって、前記画像パイプライン（１２０）は、処理部（１２２）と、前記処理部（１２２）に続く、画像フレームをイントラコードするために使用される複数のイントラ予測モードをサポートするエンコーディング部（１２４）とを備え、方法は、
－ 前記処理部（１２２）によって、
－ 画像フレームを受信する（２０２）ステップと、
－ 前記画像フレーム（１１２）内のピクセル値の少なくとも１つのブロックについて、
－ 前記エンコーディング部（１２４）によってサポートされるイントラ予測モードを使用して、ピクセル値の前記少なくとも１つのブロックのピクセル値を予測する（２０６）ステップと、
－ ピクセル値の前記少なくとも１つのブロック内の少なくとも１つのピクセル値と、対応する予測ピクセル値との間の残差を、前記対応する予測ピクセル値が前記少なくとも１つのピクセル値より大きいとき、或るピクセル値範囲内で予め規定された量だけ上方に、または、前記対応する予測ピクセル値が前記少なくとも１つのピクセル値より小さいとき、前記ピクセル値範囲内で前記予め規定された量だけ下方に、ピクセル値の前記少なくとも１つのブロック内の前記少なくとも１つのピクセル値を調整することによって、低減するステップと、
－ ピクセル値の前記少なくとも１つのブロック内の調整された前記少なくとも１つのピクセル値を用いて前記画像フレーム（１１２）を更新する（２０８）ステップと
を実施すること、並びに、
－ 前記エンコーディング部（１２４）によって、
－ 前記複数のイントラ予測モードの中からの少なくとも１つのイントラ予測モードを使用して、更新された前記画像フレーム（１１２’）をイントラコードする（２１０）ステップ
を実施することを含み、前記イントラコードすること（２１０）は、
－ 前記更新された画像フレーム（１１２’）内のピクセル値の各ブロックについて、サポートされる前記イントラ予測モードの１つまたは複数を使用して、ピクセル値を予測し、残差を計算すること、および、
－ ピクセル値のそれぞれの各ブロックのイントラコーディングについて、ピクセル値のそれぞれの前記ブロックについて最小残差を与える前記イントラ予測モードを選択すること
を含む、方法。

【請求項2】

－ 前記画像フレーム（１１２）内の少なくとも１つの非関心領域を識別する（２０４）ことをさらに含み、ピクセル値の前記少なくとも１つのブロックは前記少なくとも１つの非関心領域に含まれる、請求項１に記載の方法。

【請求項3】

前記画像フレーム内の前記少なくとも１つの非関心領域を前記識別する（２０４）ことは、
－ 前記画像フレームを画像セグメントに分割すること、
－ 前記画像セグメントを分類すること、および、
－ 前記画像セグメントのうちの少なくとも１つの画像セグメントを、前記画像セグメントのうちの前記少なくとも１つの画像セグメントが所定のクラスの群に属するときに前記少なくとも１つの非関心領域であると識別すること
を含む、請求項２に記載の方法。

【請求項4】

前記処理部（１２２）によって使用される前記イントラ予測モードは、所定のクラスの前記群に基づいて選択される、請求項３に記載の方法。

【請求項5】

－ 前記処理部（１２２）によって、前記複数のイントラ予測モードのうちの少なくとも２つのイントラ予測モードを使用してピクセル値の前記少なくとも１つのブロック内の各ピクセル値について予測ピクセル値を計算し、前記複数のイントラ予測モードのうちの前記少なくとも２つのイントラ予測モードのうち、前記ピクセル値と前記対応する予測ピクセル値との間の前記残差の絶対値の最小和を与えるイントラ予測モードを選択すること
をさらに含む、請求項２に記載の方法。

【請求項6】

前記画像フレーム（１１２）内の前記少なくとも１つの非関心領域を前記識別する（２０４）ことは、
－ 前記画像フレーム（１１２）内の少なくとも１つの領域に含まれるピクセル値の空間的変動性を決定すること、および、
－ 前記少なくとも１つの非関心領域を、或る領域閾値より小さい空間的変動性を有するピクセル値を含む領域であると識別すること
を含む、請求項２に記載の方法。

【請求項7】

前記非関心領域に含まれるピクセル値の前記少なくとも１つのブロックは、或るブロック閾値より大きいピクセル値の空間的変動性を有する、請求項２から６のいずれか一項に記載の方法。

【請求項8】

ピクセル値の前記少なくとも１つのブロック内の前記少なくとも１つのピクセル値を前記調整することは、
－ 前記ブロック閾値より小さく前記ピクセル値の前記空間的変動性を低減するために、ピクセル値の前記少なくとも１つのブロック内の前記少なくとも１つのピクセル値を調整すること
を含む、請求項７に記載の方法。

【請求項9】

前記処理部（１２２）によって使用される前記イントラ予測モードは、前記エンコーディング部（１２４）によってサポートされる前記複数のイントラ予測モードのサブセットから選択される、請求項１から８のいずれか一項に記載の方法。

【請求項10】

－ 前記処理部（１２２）によって、前記ピクセル値と前記対応する予測ピクセル値との間の前記残差を計算し、前記計算される残差の絶対値が或るピクセル閾値より大きいピクセル値であるように調整される前記少なくとも１つのピクセル値を選択すること
をさらに含む、請求項１から９のいずれか一項に記載の方法。

【請求項11】

ピクセル値の前記少なくとも１つのブロック内の前記少なくとも１つのピクセル値を前記調整することは、
－ 前記残差の絶対値が前記ピクセル閾値以下であるように、ピクセル値の前記少なくとも１つのブロック内の前記少なくとも１つのピクセル値を調整すること
を含む、請求項１０に記載の方法。

【請求項12】

前記少なくとも１つのピクセル値を前記調整することは、
－ 近傍ピクセル値に等しくになるようにピクセル値の前記少なくとも１つのブロック内の前記少なくとも１つのピクセル値を調整すること
を含む、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

前記少なくとも１つのピクセル値を前記調整することは、
－ ピクセル値の前記少なくとも１つのブロック内の前記ピクセル値の全てではないが１つまたは複数を調整すること
を含む、請求項１から１２のいずれか一項に記載の方法。

【請求項14】

画像フレーム（１１２）をイントラコードするための画像パイプライン（１２０）であって、処理部（１２２）と、前記処理部（１２２）に続く、画像フレームをイントラコードするために使用される複数のイントラ予測モードをサポートするように構成されるエンコーディング部（１２４）とを備え、
前記処理部（１２２）は、
－ 画像フレーム（１１２）を受信するように構成され、
－ 前記画像フレーム（１１２）内のピクセル値の少なくとも１つのブロックについて、
－ 前記エンコーディング部（１２４）によってサポートされるイントラ予測モードを使用して、ピクセル値の前記少なくとも１つのブロックのピクセル値を予測し、
－ ピクセル値の前記少なくとも１つのブロック内の少なくとも１つのピクセル値と、対応する予測ピクセル値との間の残差を、前記対応する予測ピクセル値が前記少なくとも１つのピクセル値より大きいとき、或るピクセル値範囲内で予め規定された量だけ上方に、または、前記対応する予測ピクセル値が前記少なくとも１つのピクセル値より小さいとき、前記ピクセル値範囲内で前記予め規定された量だけ下方に、ピクセル値の前記少なくとも１つのブロック内の前記少なくとも１つのピクセル値を調整することによって、低減し、ピクセル値の前記少なくとも１つのブロック内の調整された前記少なくとも１つのピクセル値を用いて前記画像フレーム（１１２）を更新するように構成され、
前記エンコーディング部（１２４）は、
－ 更新された前記画像フレーム（１１２’）内のピクセル値の各ブロックについて、サポートされる前記イントラ予測モードの１つまたは複数を使用して、ピクセル値を予測し、残差を計算し、
－ ピクセル値のそれぞれの各ブロックのイントラコーディングについて、ピクセル値のそれぞれの前記ブロックについて最小残差を与える前記イントラ予測モードを選択する
ように構成されることによって、
－ 前記複数のイントラ予測モードの中からの少なくとも１つのイントラ予測モードを使用して、前記更新された画像フレーム（１１２’）をイントラコードするように構成される、画像パイプライン（１２０）。

【請求項15】

非一時的コンピュータ可読媒体であって、処理能力を有するデバイスによって実行されると請求項１から１３のいずれか一項に記載の方法を実施するように適合されたコンピュータコード命令が、非一時的コンピュータ可読媒体上に記憶されている、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像フレームをイントラコードする分野に関する。特に、本発明は、画像フレームのイントラコーディングの前の画像フレームの処理に関する。

【背景技術】

【0002】

ネットワークカメラモニタリングシステム等のデジタルビデオシステムにおいて、ビデオシーケンスは、記憶する前にまたは通信ネットワークを通じて送信する前に、通常、圧縮される。記憶する前にビデオシーケンスを圧縮する理由は、非圧縮ビデオシーケンスを記憶するために必要とされる記憶リソースと比較して、必要とされる記憶リソースを低減することである。相応して、ビデオシーケンスは、非圧縮ビデオシーケンスを送信するために使用されるネットワークリソースと比較して、使用されるネットワークリソース、例えば、ネットワーク帯域幅を低減するために送信する前に圧縮される。利用可能なネットワークリソースが制限される場合、圧縮されない場合、ビデオシーケンスを送信することが不可能である場合さえある。

【0003】

ビデオシーケンスを、種々のビデオエンコーディング方法を使用して、圧縮する、すなわち、エンコーダーがエンコードすることができる。多くのデジタルビデオエンコーディングシステムにおいて、２つの主要なモード：イントラモードおよびインターモードが、ビデオシーケンスの画像フレームを圧縮するために使用される。本開示において、イントラモード圧縮は、イントラコーディングとも呼ばれ、インターモード圧縮は、相応して、インターコーディングと呼ばれる。

【0004】

イントラコーディングにおいて、輝度（ｌｕｍｉｎａｎｃｅ）および色度（ｃｈｒｏｍｉｎａｎｃｅ）チャネルは、予測、変換、およびエントロピーコーディングによって単一フレームの所与のチャネル内のピクセルの空間的冗長性を利用することによってエンコードされる。エンコードされた画像フレームは、イントラフレームと呼ばれ、Ｉフレームまたはキーフレームとも呼ぶことができる。イントラフレーム内で、ピクセルのブロックまたは複数のブロックを含むマクロブロックは、イントラモードでエンコードされ、それらが、イントラブロックとして、すなわち、個々に、他のブロックに対する参照がない状態でエンコードされることを意味する。

【0005】

インターコーディングは、代わりに、別個の画像フレーム間の時間的冗長性を利用し、動き補償予測技法（ｍｏｔｉｏｎ－ｃｏｍｐｅｎｓａｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ｔｅｃｈｎｉｑｕｅ）に依存し、動き補償予測技法は、ピクセルの選択されたブロックについて１つの画像フレームから別の画像フレームへのピクセルの動きをエンコードすることによって、或る画像フレームの所定の部分を１つまたは複数の直前の画像フレームから予測する。特に、動きベクトル、および、その画像フレームのピクセルと参照フレームのピクセルとの間の動きの差がエンコードされる。エンコードされたフレームは、インターフレームと呼ばれ、デコーディング順序で直前のフレームを参照することができるＰフレーム（前方予測フレーム（ｆｏｒｗａｒｄ－ｐｒｅｄｉｃｔｅｄ ｆｒａｍｅ））、または、２つ以上の直前にデコードされたフレームを参照することができるＢフレーム（双方向予測フレーム）と呼ぶことができ、予測のために使用されるフレームの任意の表示順序関係（ａｒｂｉｔｒａｒｙ ｄｉｓｐｌａｙ－ｏｒｄｅｒ ｒｅｌａｔｉｏｎｓｈｉｐ）を有することができる。インターフレーム内で、ピクセルのブロックは、インターモードでエンコードすることができ、それらが、直前にデコードされた画像フレーム内の類似ブロックを参照してエンコードされることを意味する、または、イントラモードでエンコードすることができ、それらが、イントラブロックとして、すなわち、個々に、他のブロックに対する参照がない状態でエンコードされることを意味する。

【0006】

ピクセルの或るブロックのイントラコーディングを実施するとき、エンコーダーは、イントラ予測を利用することになる。イントラ予測において、エンコーダーは、イントラコードされるピクセルのブロックの上および左のピクセルの値を使用して、そのブロック内のピクセル値を予測することになる。

【0007】

イントラ予測モードのうちの１つのイントラ予測モードを使用して、ピクセル値を予測した後、予測されたピクセル値は、実際のピクセル値から減算され、その差（残差としても知られる）は、ビットストリームで提出される前に、量子化され、エントロピーエンコードされる。予測が完全である場合、残差は存在しないことになる。しかしながら、実際には、イントラコードされるフレームのサイズに寄与する残差が存在することになる。

【0008】

多くのエンコーダーは、イントラ予測を行うための異なるモードを有し、所与のピクセルのブロックについて最小残差を与えるイントラ予測モードを選択することができる。例えば、時として、Ｈ．２６４とも呼ばれる、圧縮規格、高度ビデオコーディング（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）は、９つの異なるイントラ予測モードをサポートし、圧縮規格、高効率ビデオコーディング（ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）は、３５の異なるイントラ予測モードをサポートし、圧縮規格、ＡＯメディアビデオ１（ＡＶ１：ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）は、５４の異なるイントラ予測モードをサポートする。

【0009】

画像フレームをインターコードすることと比較して、画像フレームをイントラコードすることに関する欠点は、結果として得られるＩフレームが、より大きいサイズを有し、インターコードされるＰフレームと比較してビットストリームにおいてスパイクを生じることである。Ｉフレームのサイズがより大きい理由は、空間的冗長性および時間的冗長性が共に利用されるＰフレームのインターコーディングと比較して、イントラコーディングを実施するときに空間的冗長性のみが利用されることである。

【0010】

イントラコードされる画像フレーム、すなわち、Ｉフレームのサイズを低減する１つの手法は、適応的前処理スキームが画像エンコーディングで使用される米国特許出願公開第２０１３／０２５１２７９号に記載される。適応的前処理スキームにおいて、オリジナルの画像のブロックであって、そのブロックが決定済みサイズを有する、ブロックは、参照画像（それについて前処理が既に実施されている画像）のブロックと比較され、参照画像のブロックは、そのブロックが或る閾値内で類似性を有するとき、オリジナル画像のブロックに複製される。複製後、複製された参照ブロックを含むオリジナル画像フレームはエンコードされる。その後、エンコーダーは、デコードされた画像が所望の品質要件を満たしているか否かを評価する。デコードされた画像の品質が低過ぎる場合、やって来る画像の前処理が低下した画像品質をもたらさないように、閾値は、上方に制御されなければならない。従来技術に関する欠点は、オリジナル画像のブロック全体が、参照ブロック全体と置換され、置換されたブロックを含む画像の部分の画像情報の喪失をもたらすことである。結局、結果として得られる画像は、オリジナル画像の多くのブロックが参照ブロックと置換されているときの画像情報の喪失によって、監視目的等の何らかの目的のために無益である場合がある。従来技術は、比較および複製のために使用されるブロックを含む、直前に前処理された画像を必要とするという欠点を有する。さらに、閾値を調整する必要性は、低下した品質の、少なくとも１つの、前処理されかつエンコードされた画像が得られたときに判定される。これは、閾値の調整に遅延をもたらす。さらに、低下した品質の画像が受信機に送信されない場合、オリジナル画像は、新しい閾値を使用して再び前処理されなければならず、圧縮効率の低下をもたらす。

【0011】

したがって、改善の余地が存在する。

【0012】

イントラコードされる画像フレームのサイズを低減する別の手法は、米国特許出願公開第２０２０／０２１８１７号に開示され、広角イントラ予測を有する位置依存（イントラ）予測組み合わせ（ＰＤＰＣ：Ｐｏｓｉｔｉｏｎ Ｄｅｐｅｎｄｅｎｔ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｍｂｉｎａｔｉｏｎ）を使用するコーディング技法が説明される。特に、広角イントラ予測を使用して現在ピクチャの現在ブロックについて予測ブロックを決定する方法、およびその後、予測ブロックの予測サンプルを修正するためにＰＤＰＣを使用する方法が説明される。さらに、修正された予測サンプルに基づいて残差ブロックについて残差値を決定する方法および残差値を示す情報を信号送信する方法が説明される。

【0013】

米国特許出願公開第２０１１／００２３８５号は、画像コーディング装置を開示し、その画像コーディング装置は、入力ピクチャを複数のマクロブロックに分割し、マクロブロックに含まれるピクセル値について、マクロブロックが、計算された平坦度に基づいて平坦マクロブロックであるか否かを判定する。マクロブロックが、平坦マクロブロックであると判定され、平坦エリアに属する場合、装置は、判定結果に基づいてかつインター予測モードおよびイントラ予測モードのコスト値に基づいてマクロブロックをエンコードするために予測モードとしてインター予測モードおよびイントラ予測モードの一方を選択するためにユニットを備える。装置は、選択された予測モードに従って予測コーディングを実施するためにユニットをさらに備える。

【0014】

文献「ＡＨＧ６：Ａ ｔｈｒｅｓｈｏｌｄ ｆｏｒ ＳＡＯ ｅｄｇｅ ｏｆｆｓｅｔ」（Ｓｕｇｉｏ Ｔ等．ｎｏ．ＪＣＴＶＣ－Ｊ０２１３ １０ Ｊｕｌｙ ２０１２（２０１２－０７－１０），ＸＰ０３０２０２３４７９１）は、主観的品質および客観的品質の観点で柔軟性を改善するため、強いエッジおよび弱いエッジについての分類を制御するためにＳＡＯ ＥＯについての閾値を提案する。

【発明の概要】

【0015】

上記を考慮して、したがって、上記問題を軽減し、イントラコードされた画像フレーム、すなわち、Ｉフレームのサイズを低減するための技法を提供することが本発明の目的である。

【0016】

本発明の第１の態様によれば、上記目的は、画像フレームをイントラコードするための、画像パイプラインによって実施される方法によって達成され、画像パイプラインは、処理部と、それに続く、画像フレームをイントラコードするために使用される複数のイントラ予測モードをサポートするエンコーディング部とを備える。方法は、処理部によって、画像フレームを受信すること、画像フレーム内のピクセル値の少なくとも１つのブロックについて、エンコーディング部によってサポートされるイントラ予測モードを使用して、ピクセル値の少なくとも１つのブロックのピクセル値を予測すること、ピクセル値の少なくとも１つのブロック内の少なくとも１つのピクセル値と、対応する予測ピクセル値との間の残差を、対応する予測ピクセル値が少なくとも１つのピクセル値より大きいときピクセル値範囲内で予め規定された量だけ上方に、または、対応する予測ピクセル値が少なくとも１つのピクセル値より小さいときピクセル値範囲内で予め規定された量だけ下方にピクセル値の少なくとも１つのブロック内の少なくとも１つのピクセル値を調整し、ピクセル値の少なくとも１つのブロック内の調整された少なくとも１つのピクセル値を用いて画像フレームを更新することによって、低減することを含む。さらに、方法は、エンコーディング部によって、複数のイントラ予測モードの中からの少なくとも１つのイントラ予測モードを使用して、更新された画像フレームをイントラコードすることを含み、イントラコードすることは、更新された画像フレーム内のピクセル値の各ブロックについて、サポートされるイントラ予測モードの１つまたは複数を使用して、ピクセル値を予測し、残差を計算すること、および、ピクセル値のそれぞれの各ブロックのイントラコーディングについて、ピクセル値のそれぞれのブロックについて最小残差を与えるイントラ予測モードを選択することを含む。

【0017】

そのため、画像パイプライン内のエンコーディング部に先行する処理部は、或るピクセル値範囲内で予め規定された量だけ上方にまたは下方に少なくとも１つのピクセル値を調整することによって画像フレームを更新して、少なくとも１つのピクセル値と、対応する予測ピクセル値との間の残差を低減する。予め規定された量は、ピクセル値範囲内で１または２ステップ上方にまたは下方であるとすることができる。例えば、８ビット／ピクセル（ｂｐｐ）を有するビデオストリームにおいて、少なくとも１つのピクセル値は０～２５５の範囲内の整数であり、１０ｂｐｐを有するビデオストリームにおいて、ピクセル値範囲は０～１０２３である。そのため、ピクセル値範囲が、ビデオストリームの１ピクセル当たりのビット数に依存しており、例として上記で示した範囲以外の別の範囲である場合があることが理解されるべきである。処理部は、エンコーディング部によってサポートされるイントラ予測モードのうちの１つのイントラ予測モードを使用して対応する予測ピクセル値を予測し、その後、少なくとも１つのピクセル値を調整して、残差を低減するため、エンコーディング部が、更新される画像フレームのイントラコーディングにおいてピクセル値の予測を実施するときに、イントラ予測モードのうちの同じイントラ予測モードを使用することになり、したがって、エンコーディング部によって決定される残差が、処理部によって行われる調整がない状態でそうであったと思われるより小さいことになる可能性が高い。残差がより小さいおかげで、イントラコードされた画像フレームのサイズは、処理部によって実施されるピクセル値調整がない状態のシナリオと比較して低減される。したがって、この方法は、Ｉフレームのサイズを低減するために役立つ。

【0018】

本明細書で使用するとき、用語、イントラコーディングは、エンコーディング部によってサポートされる１つまたは複数のイントラ予測モードを使用する画像フレームのエンコーディングを指す。１つまたは複数のイントラ予測モードは、幾つかの例を挙げると、ＡＶＣによってサポートされる９つの異なるイントラ予測モードの中からの１つまたは複数、圧縮規格ＨＥＶＣによってサポートされる３５の異なるイントラ予測モードの中からの１つまたは複数、および／または、圧縮規格ＡＶ１によってサポートされる５４の異なるイントラ予測モードの中からの１つまたは複数であるとすることができる。しかしながら。他の圧縮規格は、エンコーディング部によって、付加的にまたは代替的に、サポートされる他のイントラ予測モードをサポートすることができる。さらに、サポートされるイントラ予測モードは、１つまたは複数の輝度（ルマ）イントラ予測モードおよび／または１つまたは複数の色度（クロマ）イントラ予測モードを含むことができる。

【0019】

用語、ピクセル値のブロックによって、圧縮時に使用される、ピクセル値のユニット、例えば、ピクセル値の処理ユニットが、全体として意味される。例えば、処理ユニットは、線形ブロック変換、典型的には、離散的余弦変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に基づく画像およびビデオ圧縮フォーマットで使用することができる。ブロックは、時として、予測時に使用されるか、圧縮時に使用されるかに応じて、予測ブロックまたは変換ブロッと呼ぶことができる。ブロックは、いわゆるマクロブロックの一部であるとすることができる。ＡＶＣ圧縮規格において、ピクセル値のブロックは、典型的には、４×４ピクセル値または８×８ピクセル値を含む。しかしながら、ブロックサイズが、１６×１６または３２×３２等の別のものであるとすることができる、または、ブロックサイズが、圧縮規格に応じてマクロブロックベースサイズであるとすることができることが理解されるべきである。そのため、ピクセル値のブロック内のピクセル値の数が、例えば、使用される圧縮技法に応じて変動する場合があることが理解されるべきである。

【0020】

上記で述べたように、本開示で使用されるときの用語、残差によって、実際のピクセル値と予測ピクセル値との差が意味される。時として、残差は、実際のピクセル値と予測ピクセル値との差の絶対値として表される。

【0021】

方法の幾つかの変形において、方法は、画像フレーム内の少なくとも１つの非関心領域を識別するステップをさらに含み、ピクセル値の少なくとも１つのブロックは少なくとも１つの非関心領域に含まれる。

【0022】

本開示で使用されるときの用語、非関心領域によって、関心領域ＲＯＩであって、１つまたは複数の関心オブジェクトまたは関心詳細を含む、関心領域ＲＯＩと異なる領域が意味される。換言すれば、非関心領域は、背景領域等、関心オブジェクトまたは関心詳細を含まない領域である。例えば、非関心領域は、幾つかの例を挙げると、空、海、森、芝生、または他の植生の一部を含む領域であるとすることができる。

【0023】

そのため、上記で述べた、ピクセル値と、対応する予測ピクセル値との間の残差を低減するための、非関心領域内のブロック内に含まれる少なくとも１つのピクセル値の調整は、画像フレームの後続のエンコーディングにおいてエンコーダーが使用することになるイントラ予測モードとのよりよい整合を、エンコードされる画像フレームの画像品質に影響を及ぼすことなく、与えるという利点を有するであろう（ｗｏｕｌｄ）。なぜならば、少なくとも１つのピクセル値の調整が関心オブジェクトまたは関心詳細に影響を与えないからである。

【0024】

少なくとも１つの非関心領域の識別は、幾つかの方法で達成することができ、その中の幾つかが、以下で、第１および第２の群の実施形態を参照して説明される。

【0025】

第１の群の実施形態において、画像フレーム内の少なくとも１つの非関心領域を識別することは、画像フレームを画像セグメントに分割すること、画像セグメントを分類すること、および、画像セグメントのうちの少なくとも１つの画像セグメントを、画像セグメントのうちの少なくとも１つの画像セグメントが所定のクラスの群に属するときに少なくとも１つの非関心領域であると識別することを含む。

【0026】

上記で述べた分割するステップ、分類するステップ、および識別するステップの１つまたは複数は、画像セグメント化手順（ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｐｒｏｃｅｄｕｒｅ）によって実施することができ、画像セグメント化手順において、ラベルが、画像フレーム内の全てのピクセルに割り当てられ、それにより、同じラベルを有するピクセルは、或る特徴を共有し、同じ画像セグメントに属すると考えられる。ラベルは、所定のクラスのうちの１つのクラスに関連付ける、または、そのクラスを示すことができる。典型的には、画像セグメント化の結果は、画像フレーム全体をひとまとめにカバーする画像セグメントのセットである。画像セグメント化手順の一例は、セマンティックセグメント化である。画像セグメント化手順の幾つかの他の例は、動きベースセグメント化、および、閾値、ヒストグラムに基づくかまたはクラスタリング法に基づくセグメント化、あるいは、画像エリアの或るエリアを、それらのエリアにおけるオブジュエクト、人々、または動きの存在によって、他のエリアより重要であると判定し、それらのエリアをＲＯＩとしておよび他のエリアを非関心領域として分類するための他の手順である。

【0027】

所定のクラスの群は、均一な画像セグメント、すなわち、組成がほぼ均一である、例えば、色および／またはテキスチャがほぼ均一である画像セグメント、または、閾値より小さい空間的変動性を有する画像セグメントを規定するクラスを含むことができる。例えば、所定のクラスの群は、空および植生等のクラス、および／または、日中の空、夜間の空、雲、並びに、木、低木、および草等のサブクラスをそれぞれ含むことができる。

【0028】

第１の群の実施形態において、処理部は、所定のクラスの群に基づいてイントラ予測モードを選択することができる。複数クラスへのセグメント化のおかげで、或るクラスにより適するイントラ予測モードを、より容易に選択することができる。

【0029】

方法の幾つかの変形において、処理部は、複数のイントラ予測モードのうちの少なくとも２つのイントラ予測モードを使用してピクセル値の少なくとも１つのブロック内の各ピクセル値について予測ピクセル値を計算し、ピクセル値と対応する予測ピクセル値との間の残差の絶対値の最小和を与える、複数のイントラ予測モードのうちの少なくとも２つのイントラ予測モードのイントラ予測モードを選択する。残差の絶対値の最小和を有するイントラ予測モードを選択することによって、エンコーディング部が、画像フレームのイントラ予測を実施するときに同じイントラ予測モードを選択することになり、エンコーディング部が、２つのイントラ予測モードの他のイントラ予測モードを選択するシナリオと比較して、さらに低いエンコードされたフレームサイズをもたらす可能性が増加する。

【0030】

第２の群の実施形態において、画像フレーム内の少なくとも１つの非関心領域を識別することは、画像フレーム内の少なくとも１つの領域に含まれるピクセル値の空間的変動性を決定すること、および、少なくとも１つの非関心領域を、或る領域閾値より小さい空間的変動性を有するピクセル値を含む領域であると識別することを含む。空間的変動性が領域閾値より小さいことによって、領域が、均一である、すなわち、関心オブジェクトまたは関心詳細を含まないことが示される。したがって、その領域を非関心領域として識別することが有利である。

【0031】

非関心領域に含まれるピクセル値の少なくとも１つのブロックは、或るブロック閾値より大きいピクセル値の空間的変動性を有することができる。そのため、少なくとも１つのピクセル値が調整されるブロックを選択するとき、空間的変動性がブロック閾値より大きいブロックを選択することが有利である。なぜならば、そのようなブロックにおいて、画像品質を損なうことなく、低減されエンコードされたフレームサイズを得るために、ピクセル値をより調整することができるからである。

【0032】

方法の幾つかの変形において、ピクセル値の少なくとも１つのブロック内の少なくとも１つのピクセル値を調整することは、ブロック閾値より小さくピクセル値の空間的変動性を低減するために、ピクセル値の少なくとも１つのブロック内の少なくとも１つのピクセル値を調整することを含む。それにより、少なくとも１つのピクセル値についての残差も、低減されることになる。

【0033】

方法の幾つかの変形において、処理部によって使用されるイントラ予測モードは、エンコーディング部によってサポートされる複数のイントラ予測モードのサブセットから選択される。

【0034】

方法は、処理部によって、ピクセル値と、対応する予測ピクセル値との間の残差を計算し、ピクセル値であって、ピクセル値について、計算される残差の絶対値が或るピクセル閾値より大きい、ピクセル値であるように、調整される少なくとも１つのピクセル値を選択することをさらに含むことができる。ピクセル値の少なくとも１つのブロック内の少なくとも１つのピクセル値を調整することは、残差の絶対値がピクセル閾値以下であるように、ピクセル値の少なくとも１つのブロック内の少なくとも１つのピクセル値を調整することを含むことができる。ピクセル値をピクセル閾値と比較することによって、調整されない場合に、エンコードされたフレームサイズの増加およびエンコードされたビットストリームのスパイクをもたらす場合あるピクセル値を、調整のために選択することができる。それにより、低減されエンコードされたフレームサイズを得ることができる。

【0035】

予め規定された量は、ピクセル値範囲内で１または２ステップ上方にまたは下方であるとすることができる。例えば、８ビット／ピクセル（ｂｐｐ）を有するビデオストリームにおいて、少なくとも１つのピクセル値は０～２５５の範囲内の整数であり、１０ｂｐｐを有するビデオストリームにおいて、ピクセル値範囲は０～１０２３である。そのため、ピクセル値範囲が、ビデオストリームの１ピクセル当たりのビット数に依存しており、例として上記で示した範囲以外の別の範囲である場合があることが理解されるべきである。

【0036】

方法の幾つかの変形において、少なくとも１つのピクセル値を調整することは、ピクセル値の少なくとも１つのブロック内の少なくとも１つのピクセル値を近傍ピクセル値に等しくになるように調整することを含む。それにより、画像フレームの後続のエンコーディングは、同じピクセル値を有する近傍ピクセルを、同じ方法でエンコードすることができるため、簡略化されることになる。例えば、これは、垂直イントラ予測モード（例えば、ＡＶＣモード０）または水平イントラ予測モード（例えば、ＡＶＣモード１）について有利であるとすることができる。

【0037】

方法の幾つかの変形において、少なくとも１つのピクセル値を調整することは、ピクセル値の少なくとも１つのブロック内のピクセル値の全てではない、１つまたは複数を調整することを含む。典型的には、調整されるピクセル値の数は、エンコードされた画像フレームの画像品質を低下させることを同時に回避しながら、エンコードされたフレームサイズの求められている低減（ｓｏｕｇｈｔ－ａｆｔｅｒ ｒｅｄｕｃｔｉｏｎ）を得るために、できる限り小さく維持される。

【0038】

本発明の第２の態様によれば、上記目的は、画像フレームをイントラコードするための画像パイプラインによって達成され、画像パイプラインは、処理部と、それに続く、画像フレームをイントラコードするために使用される複数のイントラ予測モードをサポートするように構成されるエンコーディング部とを備える。処理部は、画像フレームを受信するように構成され、画像フレーム内のピクセル値の少なくとも１つのブロックについて、エンコーディング部によってサポートされるイントラ予測モードを使用して、ピクセル値の少なくとも１つのブロックのピクセル値を予測し、ピクセル値の少なくとも１つのブロック内の少なくとも１つのピクセル値と、対応する予測ピクセル値との間の残差を、対応する予測ピクセル値が少なくとも１つのピクセル値より大きいとき、或るピクセル値範囲内で予め規定された量だけ上方に、または、対応する予測ピクセル値が少なくとも１つのピクセル値より小さいとき、ピクセル値範囲内で予め規定された量だけ下方に、ピクセル値の少なくとも１つのブロック内の少なくとも１つのピクセル値を調整し、ピクセル値の少なくとも１つのブロック内の調整された少なくとも１つのピクセル値を用いて画像フレームを更新することによって、低減するように構成される。エンコーディング部は、更新された画像フレーム内のピクセル値の各ブロックについて、サポートされるイントラ予測モードの１つまたは複数を使用して、ピクセル値を予測し、残差を計算し、ピクセル値のそれぞれの各ブロックのイントラコーディングについて、ピクセル値のそれぞれのブロックについて最小残差を与えるイントラ予測モードを選択するように構成されることによって、複数のイントラ予測モードの中からの少なくとも１つのイントラ予測モードを使用して、更新された画像フレームをイントラコードするように構成される。

【0039】

本発明の第３の態様によれば、上記目的は、非一時的コンピュータ可読媒体によって達成され、非一時的コンピュータ可読媒体は、処理能力を有するデバイスによって実行されると第１の態様の方法を実施するように適合されたコンピュータコード命令が、非一時的コンピュータ可読媒体上に記憶されている。

【0040】

第２および第３の態様は、第１の態様と同じ特徴および利点を全体として有することができる。本発明が、別段に明示的に述べられない限り、本明細書で開示される特徴の考えられる全ての組み合わせに関することがさらに留意される。

【0041】

本発明の上記のならびにさらなる目的、特徴、および利点は、添付図面を参照して、本発明の実施形態の以下の例証的かつ非制限的な詳細な説明を通してよりよく理解され、図面において、同じ参照符号は、同様な要素のために使用されることになる。

【図面の簡単な説明】

【0042】

【図1】実施形態による画像パイプラインを備える撮像システムを概略的に示す図である。

【図2】実施形態による画像フレームをイントラコードするための方法のフローチャートである。

【図3】４×４ピクセルを含むブロック内で予測ピクセル値のラベル付けを概略的に示す図である。

【図4】圧縮規格ＡＶＣの、３つのイントラ予測モード、すなわち、モード０、モード１、およびモード２を概略的に示す図である。

【発明を実施するための形態】

【0043】

本発明は、本発明の実施形態が示される添付図面を参照して以降でより完全に説明される。

【0044】

図１は、撮像システム１００の一実施形態を示す。撮像システム１００は、画像源１１０、および、１つまたは複数の画像フレーム１１２をイントラコードするための画像パイプライン１２０を備える。

【0045】

画像源１１０は、シーンの１つまたは複数の画像フレームを取り込むように構成される画像センサ（図示せず）であるとすることができる、または、画像センサ（図示せず）を備えることができる。画像源１１０は、監視カメラ等のビデオカメラの一部を形成することができる。代替的にまたは付加的に、画像源１１０は、画像レンダリングリングエンジンであるとすることができる。画像レンダリングリングエンジンは、画像フレームをレンダリングするように構成される。画像レンダリングリングエンジンは、コンピュータプログラムによって、２Ｄモデルまたは３Ｄモデルからフォトリアルなまたは非フォトリアルな画像フレームをレンダリングするように構成することができる。代替的にまたは付加的に、画像源１１０は、画像源１１０の外部でかつ画像源１１０と通信状態で配置された画像センサ（図示せず）から受信される１つまたは複数の画像フレームを記憶するように構成されるストレージであるとすることができる。さらに、画像源１１０は、画像フレーム１１２を画像パイプライン１２０に転送するように構成することができる。画像パイプライン１２０は、上記で述べた、監視カメラ等のビデオカメラの一部を形成することができる。そのため、幾つかの実施形態において。ビデオカメラは撮像システム１００を備える。

【0046】

図１に示すように、画像パイプライン１２０は、処理部１２２およびエンコーディング部１２４を備える。処理部１２２は、画像パイプライン１２０内でエンコーディング部１２４に先行するように配置され、したがって、エンコーディング部１２４は、処理部１２２に引き続くように配置される。エンコーディング部１２４は、画像フレーム１１２をイントラコードするために使用される複数のイントラ予測モードをサポートするように構成される。画像パイプライン１２０は、画像源１１０から画像フレームを受信し、画像フレームをクライアントデバイスに送信するように構成される受信および送信部（図示せず）を備えることもできる。

【0047】

そのため、画像パイプライン１２０は、画像源１１０から受信された１つまたは複数の画像フレーム１１２を処理し、処理されかつエンコードされた画像フレーム１１２’’を、例えば、無線または有線通信ネットワーク（図示せず）を通じて１つまたは複数のクライアントまで１つまたは複数のビットストリームで送信するように構成される。特に、画像パイプライン１２０は、イントラコードされた画像フレームのエンコードされたフレームサイズ、すなわち、１つまたは複数のビットストリームでエンコーディング部１２４から送信されたＩフレームのエンコードされたフレームサイズを低減するために画像フレームを処理するように構成される。図１にも示すように、各クライアントは、エンコードされた画像フレーム１１２’’の受信ビットストリームをデコードし、デコードされた画像フレームを、ビデオモニター上に等、ディスプレイデバイス１４０上に提示するように構成されるデコーディング部１３０を有することができる。

【0048】

画像フレーム１１２をイントラコードするための方法は、ここで、図２のフローチャートを参照して説明される。方法は、撮像システム１００の画像パイプライン１２０によって実施することができる。方法あるいは方法の１つまたは複数のステップは、画像パイプライン１２０の幾つかの部分で独立に実施することができる。例証のために、以下では、方法のステップが、画像パイプライン１２０の処理部１２２またはエンコーディング部１２４によって実施されることが仮定される。しかしながら、前処理部（図示せず）において等、別の部分において方法の一部のステップを実施する例が同様に示されるであろう。さらに、ステップの一部がオプションである場合があること、および、ステップが別の適切な順序で行うことができることが留意されるべきである。さらに、本開示において、１つまたは複数のステップは、ピクセル値の少なくとも１つのブロックに対して実施されるものとして説明される。これは、１つまたは複数のステップが、画像フレームのまたは画像フレームの一部の、ピクセル値の複数のブロック、例えば、ピクセル値の全てのブロックに対して実施することができるため、理解されるはずである。

【0049】

ステップＳ２０２にて、処理部１２２は画像フレーム１１２を受信する。上記で述べたように、処理部１２２は、画像源１１０から画像フレーム１１２を得ることができる。本開示において、画像フレーム１１２は、イントラコードされるフレームである、すなわち、フレームは、イントラモード圧縮を使用してエンコードされる。

【0050】

オプションのステップＳ２０４にて、画像フレーム１１２内の少なくとも１つの非関心領域が識別される。少なくとも１つの非関心領域は、ピクセル値の少なくとも１つのブロックを含む。ステップＳ２０６およびＳ２０８を参照して以下でより詳細に説明するように、画像フレーム１１２は、ピクセル値の少なくとも１つのブロックの少なくとも１つのピクセル値を調整することによって更新されて、少なくとも１つのピクセル値と、対応する予測ピクセル値との間の残差を低減することになる。非関心領域内の少なくとも１つのピクセル値を調整することによって、画像品質の低下の考えられる欠点は、それが、画像フレーム１１２の非関心領域で起こり、観察体験に悪い影響を与えないことになるため、それほど重大ではない。したがって、幾つかの実施形態において、ピクセル値の少なくとも１つのブロックは、非関心領域に含まれるように選択される。

【0051】

少なくとも１つの非関心領域は、画像パイプライン１２０によって幾つかの方法で識別することができる。例えば、少なくとも１つの非関心領域は、処理部１２２によって識別することができるが、代替的に、処理部１２２に先行する前処理部（図示せず）によって等、画像パイプライン１２０の別の部分によって識別することができる。

【0052】

第１の群の実施形態において、画像パイプライン１２０は、画像フレーム１１２を画像セグメントに分割すること、画像セグメントを分類すること、および、画像セグメントのうちの少なくとも１つの画像セグメントを、画像セグメントのうちの少なくとも１つの画像セグメントが所定のクラスの群に属するときに少なくとも１つの非関心領域であると識別することによって、画像フレーム１１２内で少なくとも１つの非関心領域を識別することができる。例えば、所定のクラスの群は、空および植生等のクラス、および／または、日中の空、夜間の空、雲、並びに、木、低木、および草等のサブクラスをそれぞれ含むことができる。

【0053】

第２の群の実施形態において、画像パイプライン１２０は、画像フレーム１１２の少なくとも１つの領域に含まれるピクセル値の空間的変動性を決定すること、および、少なくとも１つの非関心領域を、或る領域閾値より小さい空間的変動性を有するピクセル値を含む領域であると識別することによって、画像フレーム１１２内の少なくとも１つの非関心領域を識別することができる。そのため、領域閾値は、その値より小さいと、空間的変動性がその領域を非関心であると考えるのに十分に低い、値であるとすることができる。例えば、領域閾値は、フレーム内のピクセルの空間的変動性の１０パーセンタイルに対応する値であるとすることができ、それにより、統計的に、全てのピクセル値の１０パーセントは、領域閾値より小さいことになり、したがって、非関心領域に属すると考えることができる。或る領域についての空間的変動性は、その領域内のピクセル値の分散または標準偏差であるとすることができる。

【0054】

代替的にまたは付加的に、非関心領域に含まれるピクセル値の少なくとも１つのブロックは、ブロック閾値より大きいピクセル値の空間的変動性を有することができる。非関心領域内の幾つかのブロックがブロック閾値より大きいピクセル値の空間的変動性を有する場合、幾つかのブロックの中からの最大空間的変動性を有するブロックを選択することができる。その後、処理部１２２は、ピクセル値の少なくとも１つのブロック内の少なくとも１つのピクセル値を調整して、ピクセル値の空間的変動性をブロック閾値より小さく低減することができる。例えば、ブロック閾値は、ブロックの空間的変動性の、±１～１０パーセントの範囲内、例えば、±１～５パーセントの範囲内の値に等、ブロックの空間的変動性に近い値に設定することができる。ブロックについての空間的変動性は、ブロック内のピクセル値の分散または標準偏差であるとすることができる。これは、ＡＶＣイントラ予測モード２（ＤＣ）において等の上および左手サンプルの平均値を使用するイントラ予測モードで使用することができる。

【0055】

ステップＳ２０６にて、処理部１２２は、エンコーディング部１２４によってサポートされるイントラ予測モードを使用することによって、画像フレーム１１２内のピクセル値の少なくとも１つのブロックについてピクセル値を予測する。上記で述べたように、ピクセル値の少なくとも１つのブロックは、非関心領域等の画像フレームの或る領域に含むことができる。さらに、処理部１２２は、画像フレームの領域、例えば、非関心領域に含まれるピクセル値の全てのブロックについてピクセル値を予測することができる。

【0056】

上記で述べたように、エンコーディング部１２４は、複数のイントラ予測モードをサポートする。そのため、ピクセル値の予測の場合、すなわち、イントラ予測の場合、処理部１２２は、エンコーディング部１２４によってサポートされる複数のイントラ予測モードの中からの１つのイントラ予測モードを使用すべきである。例えば、エンコーディング部１２４は、幾つかの例を挙げると、ＡＶＣによってサポートされる９つの異なるイントラ予測モードの中からの１つまたは複数、圧縮規格ＨＥＶＣによってサポートされる３５の異なるイントラ予測モードの中からの１つまたは複数、および／または、圧縮規格ＡＶ１によってサポートされる５４の異なるイントラ予測モードの中からの１つまたは複数をサポートすることができる。

【0057】

第１の群の実施形態において、処理部１２２は、所定のクラスの群に基づいて、エンコーディング部１２４によってサポートされる複数のイントラ予測モードの中からイントラ予測モードを選択することができる。そのため、処理部１２２は、画像セグメントの分類に基づいてイントラ予測モードを選択するように構成することができる。領域が均一であると分類が示す場合、均一領域に適するイントラ予測モードが選択され使用されるべきである。

【0058】

代替的に、第２の群の実施形態において、処理部１２２は、空間的変動性に基づいて、エンコーディング部１２４によってサポートされる複数のイントラ予測モードの中からイントラ予測モードを選択することができる。例えば、空間的変動性が領域閾値より小さい場合、それは、その領域が均質であること、および、均一領域に適するイントラ予測モードが選択され使用されるべきであることを示すことができる。しかしながら、均一領域に適する異なるイントラ予測モードが異なる均一な領域のために使用することができることが理解されるべきである。そのため、同じイントラ予測モードが、全ての均一領域のために使用される必要はない。例えば、領域閾値より連続的に小さい１つまたは複数のさらなる領域閾値が利用可能である場合があり、空間的変動性が、１つまたは複数のさらなる領域閾値のうちの１つの領域閾値より小さいとき、それは、均一領域に適する別のイントラ予測モードが使用されるべきであることを示すことができる。例えば、それは、イントラ予測モード２（ＤＣ）が、イントラ予測モード０および１の代わりに使用されるべきであることを示すことができる。

【0059】

図３は、４×４ピクセルを含むブロック内の予測ピクセル値が、ａ－ｐとラベル付けされ、ブロックの上および左のピクセル値が、Ｍ、Ａ－Ｈ、およびＩ－Ｌとそれぞれラベル付けされる例を示す。使用されるイントラ予測モードに応じて、ブロックの上のおよび／または左のピクセル値は、ピクセル値ａ－ｐを予測するために使用される。

【0060】

図４は、圧縮規格ＡＶＣについての９つのイントラ予測モードの中からの、３つの第１のイントラ予測モード、すなわち、モード０、モード１、およびモード２（ＤＣモードとも呼ばれる）を概略的に示す。イントラ予測モード、すなわち、モード０、モード１、およびモード２のそれぞれにおいて、ブロックの上のおよび／または左のピクセル値が、ピクセル値ａ－ｐを予測するためにどのように使用されるかが示される。

【0061】

ＡＶＣイントラ予測モード０において、ブロック内のピクセル値のそれぞれの列の上のピクセル値が、予測のために使用されることになり、同じ列内の全てのピクセル値に同じ予測ピクセル値を与える。そのため、ピクセル値ａ、ｅ、ｉ、およびｍは、ピクセル値Ａを有すると予測されることになり；ピクセル値ｂ、ｆ、ｊ、およびｎは、ピクセル値Ｂを有すると予測されることになり；ピクセル値ｃ、ｇ、ｋ、およびｏは、ピクセル値Ｃを有すると予測されることになり；ピクセル値ｄ、ｈ、ｌ、およびｐは、ピクセル値Ｄを有すると予測されることになる。

【0062】

ＡＶＣイントラ予測モード１において、ブロック内のピクセル値のそれぞれの行の左のピクセル値が、予測のために使用されることになり、同じ行内の全てのピクセル値に同じ予測ピクセル値を与える。

【0063】

ＡＶＣイントラ予測モード２において、ブロック内のピクセル値の左および上のピクセル値の平均が、予測のために使用されることになり、ブロック内の全てのピクセル値に同じピクセル値を与える。図４に示す例において、ブロック内の全てのピクセル値は、ピクセル値Ａ－ＤおよびＩ－Ｌの平均値を有すると予測されることになる。

【0064】

均一領域、または、低い空間的変動性を有する、すなわち、領域閾値より小さいピクセル値を含む領域の場合、ＡＶＣによってサポートされるイントラ予測モードの、３つの第１のモード、すなわち、モード０、モード１、またはモード２（ＤＣ）の中の１つのモードは、ピクセル値の少なくとも１つのブロック内のピクセル値の予測のために選択するのに適するとすることができる。

【0065】

別の代替法において、処理部１２２は、複数のイントラ予測モードのうちの少なくとも２つのイントラ予測モードを使用して、ピクセル値の少なくとも１つのブロック内の各ピクセル値について予測ピクセル値を計算し、ピクセル値と対応する予測ピクセル値との間の残差の絶対値の最小和を与える、複数のイントラ予測モードのうちの少なくとも２つのイントラ予測モードのイントラ予測モードを選択することができる。そのため、処理部１２２が、サポートされる複数のイントラ予測モードの全てを使用して、ピクセル値の少なくとも１つのブロック内の各ピクセル値について予測ピクセル値を計算することができる。そのようなシナリオにおいて、処理部１２２は、ピクセル値と対応する予測ピクセル値との間の残差の絶対値の最小和を与える、複数のイントラ予測モードのうちのイントラ予測モードを選択することができる。

【0066】

幾つかの実施形態において、処理部１２２は、エンコーディング部１２４によってサポートされる多数のイントラ予測モードを使用することができる。そのような実施形態において、処理部１２２は、多数のサポートされるイントラ予測モードのうちの１つのイントラ予測モードを選択することができる。例えば、処理部１２２は、エンコーディング部１２４によってサポートされる複数のイントラ予測モードのサブセットからイントラ予測モードを選択することができる。複数のイントラ予測モードのサブセットは、適切なサブセットである場合があり、したがって、エンコーディング部１２４によってサポートされるイントラ予測モードの全てを含まない場合がある。

【0067】

ここで図２に戻ると、ステップＳ２０８にて、処理部１２２は、画像フレーム１１２内のピクセル値の少なくとも１つのブロック内の少なくとも１つのピクセル値を調整することによって、画像フレーム１１２を更新して、少なくとも１つのピクセル値と、対応する予測ピクセル値との間の残差を低減する。これは、処理部１２２が、ステップＳ２０８にて、ピクセル値の少なくとも１つのブロック内の少なくとも１つのピクセル値と、対応する予測ピクセル値との間の残差を、少なくとも１つのブロック内の少なくとも１つのピクセル値を調整し、ピクセル値の少なくとも１つのブロック内の調整された少なくとも１つのピクセル値を用いて画像フレームを更新することによって、低減するとして表現することもできる。

【0068】

処理部１２２は、ピクセル値の少なくとも１つのブロック内の少なくとも１つのピクセル値を、ピクセル値範囲内で予め規定された量だけ上方または下方に調整して、残差を低減することができる。例えば、対応する予測ピクセル値が少なくとも１つのピクセル値より大きいとき、処理部１２２は、ピクセル値の少なくとも１つのブロック内の少なくとも１つのピクセル値を、ピクセル値範囲内で予め規定された量だけ上方に調整して、残差を低減する。相応して、また、対応する予測ピクセル値が少なくとも１つのピクセル値より小さいときに残差を低減するために、処理部１２２は、ピクセル値の少なくとも１つのブロック内の少なくとも１つのピクセル値をピクセル値範囲内で予め規定された量だけ下方に調整する。

【0069】

残差を完全に、すなわち、ゼロに低減することが目標でなく、それが、残差の完全な低減が画像情報の過度の喪失をもたらすため、典型的には当てはまらないことが留意されるべきである。代わりに、予測のために処理部１２２によって使用されるイントラ予測モードによる、調整された少なくとも１つのピクセル値を用いて更新された画像フレームを、エンコーディング部１２４が後段でエンコードする可能性を、残差のさらにわずかの低減が増加させることが留意される。同じイントラ予測モードによる、更新された画像フレーム１１２’のエンコーディングは、オリジナルの未更新の画像フレーム１１２のエンコーディングから生じるＩフレームと比較して、Ｉフレームの、低減されエンコードされたフレームサイズをもたらすことになる。

【0070】

処理部１２２は、調整される少なくとも１つのピクセル値を選択することもできる。例えば、これは、処理部１２２が、ピクセル値と対応する予測ピクセル値との間の残差を計算し、ピクセル値であって、そのピクセル値について、計算される残差の絶対値が或るピクセル閾値より大きい、ピクセル値であるように、調整される少なくとも１つのピクセル値を選択することによって行うことができる。そのため、差の絶対値が、特定のピクセル値についてピクセル閾値より大きい場合、そのピクセル値を調整のために選択することができる。幾つかのピクセル値が、ピクセル閾値より大きい絶対差を有する場合、それらのピクセル値の少なくとも１つまたはそれらの全てを調整することができる。例えば、ピクセル閾値は、ブロックの空間的変動性の、±１～１０パーセントの範囲内、例えば、±１～５パーセントの範囲内の値に等、ブロックの空間的変動性に近い値に設定することができる。これは、ＡＶＣイントラ予測モード２（ＤＣ）において等の上および左手サンプルの平均値を使用するイントラ予測モードで使用することができる。

【0071】

ピクセル値は、選択されると、調整されるべきであり、調整は、異なる方法で実施することができる。例えば、処理部１２２は、残差の絶対値がピクセル閾値以下であるように、ピクセル値の少なくとも１つのブロック内の少なくとも１つのピクセル値を調整する。

【0072】

代替的にまたは付加的に、処理部１２２は、少なくとも１つのピクセル値を、予め規定された量だけ調整する。少なくとも１つのピクセル値を調整することができる規定された量は、ピクセル値範囲内で１または２ステップ上方にまたは下方であるとすることができる。上記で述べたように、ピクセル値範囲は、２つの例を示すと、８ｂｐｐビデオストリームの場合、０～２５５であり、１０ｂｐｐビデオストリームの場合、０～１０２３である。

【0073】

代替的にまたは付加的に、処理部１２２は、ピクセル値の少なくとも１つのブロック内の少なくとも１つのピクセル値を、近傍ピクセル値に等しくなるように調整することができる。それにより、画像フレームの後続のエンコーディングは、同じピクセル値を有する近傍ピクセルを、同じ方法でエンコードすることができるため、簡略化されることになる。上記で述べたように、これは、垂直イントラ予測モード（例えば、ＡＶＣモード０）または水平イントラ予測モード（例えば、ＡＶＣモード１）について有利であるとすることができる。さらに、これは、調整が残差の低減をもたらすときに有利であるとすることができる。なぜならば、これが、エンコーディング部１２６のためのエンコ－ディングを簡略化することができ、また、これが、近傍ピクセル値が異なる場合と比較して少ないエンコーディングリソースを必要とする場合があるからである。

【0074】

しかしながら、処理部１２２が、ピクセル値の少なくとも１つのブロック内の少なくとも１つのピクセル値を、使用されるイントラ予測モードにとって最も好都合であるピクセル値、すなわち、使用されるイントラ予測モードについての最小残差を与えるピクセル値に等しくなるように調整することができることが理解されるべきである。

【0075】

さらに、処理部１２２は、ピクセル値の少なくとも１つのブロック内のピクセル値の全てではない、１つまたは複数を調整することができる。換言すれば、それは、調整される少なくとも１つのブロック内のピクセル値の総数の中からのピクセル値の適切なサブセットのみである。適切なサブセットが、そのブロックの全てのピクセル値を含まないことが留意されるべきである。そのため、意図するものは、ピクセル値のブロックを別のピクセル値のブロックで置換することではない。なぜならば、それが、画像品質を過度に低下させるからである。代わりに、意図するものは、処理部１２２がピクセル値の予測のために使用したのと同じイントラ予測モードをエンコーディング部１２４が選択することになる確率を上げるために、必要に応じて、１つまたは複数のピクセル値あるいは必要とされる程度の数のピクセル値のみを調整することである。上記で述べたように、エンコーディング部１２４が、処理部１２２が使用するイントラ予測モードと同じイントラ予測モードを選択する場合、エンコードされたフレームサイズの求められている低減が得られる。

【0076】

幾つかの代替の実施形態において、処理部１２２は、少なくとも１つのピクセルについての残差がゼロに低減されない限り、すなわち、少なくとも１つのピクセルについての残差が、ゼロより大きくかつピクセル閾値より小さい限り、ピクセル値の少なくとも１つのブロック内のピクセル値の全てを調整することができる。

【0077】

ステップＳ２１０にて、エンコーディング部１２４は、複数のイントラ予測モードの中からの少なくとも１つのイントラ予測モードを使用して、更新された画像フレーム１１２’に対してイントラコーディングを実施する。エンコーディング部１２４によって実施されるイントラコーディングは、標準的技法に従い、更新された画像フレーム内のピクセル値のブロックについて、ピクセル値を予測し、サポートされるイントラ予測モードの１つまたは複数を使用して残差を計算すること、および、ピクセル値のそれぞれの各ブロックのイントラコーディングについて、ピクセル値のそれぞれのブロックについて最小残差を与えるイントラ予測モードを選択することを含む。当業者に知られるように、エンコーディング部１２４は、ブロックが位置する領域に応じて、更新された画像フレーム１１２’の異なるブロックを異なるようにエンコードすることになる。例えば、ブロックが均一領域内に位置する場合、ＡＶＣモード２（ＤＣ）は、最小残差を与えることができ、したがって、それを選択することができる。別の例として、ブロックが、垂直パターンを含む領域内に位置する場合、ＡＶＣモード０（垂直）は、最小残差を与えることができ、したがって、それを選択することができる。そのため、エンコーディング部１２５は、更新された画像フレーム１１２’の異なるブロックをエンコードするために異なるイントラ予測モードを使用することができる。例えば、更新された画像フレーム１１２’のブロックがＲＯＩに含まれる場合、エンコーディング部１２４は、オブジェクトまたは詳細をエンコードするのに適するイントラ予測モードを使用してイントラコーディングを実施することになり、ブロックが非関心領域に含まれる場合、エンコーディング部１２４は、非関心領域をエンコードするのに適するイントラ予測モード、例えば、ＡＶＣの、モード０、モード１、およびモード２の中からの１つのモードを使用してイントラコーディングを実施することになる。エンコーディング部１２４は、サポートされるイントラ予測モードの１つまたは複数を使用して残差を計算し、イントラコーディングについて最小残差を与えるイントラ予測モードを選択することになるため、エンコーディング部１２４が、処理部１２２によって使用されるイントラ予測モードと同じイントラ予測モードを選択する可能性は、少なくとも１つのピクセル値の調整後に増加する。なぜならば、調整の結果が、選択されたイントラ予測モードについての残差の低減であるからである。したがって、エンコーディング部１２４が、処理部１２２によって使用されるイントラ予測モードと同じイントラ予測モードを選択する場合、エンコードされる画像フレーム１２２’’のサイズは低減されることになる。さらに、エンコーディング部１２４が標準的技法に従って動作しているおかげで、標準的デコーディング部１３０、例えば、レガシーデコーディング部は、デコーディング部１３０のいずれの修正も必要とすることなく、エンコードされる画像フレーム１２２’’の受信ビットストリームをデコードすることができる。そのため、エンコーディング部１２４は、標準的デコーディング部に適合する。

【0078】

上記で説明したように、画像パイプライン１２０は、画像フレーム１１２をイントラコードするための方法を実装するように構成することができる。このため、画像パイプライン１２０は、上記で説明した種々の方法ステップを実装するように構成される回路部（ｃｉｒｃｕｉｔｒｙ）を含むことができる。

【0079】

ハードウェア実装形態において、回路部は、方法ステップの１つまたは複数を実装するのに専用でありかつそのように特別に設計することができる。回路部は、１つまたは複数の特定用途向け集積回路あるいは１つまたは複数のフィールドプログラマブルゲートアレイ等の１つまたは複数の集積回路の形態であるとすることができる。例として、画像パイプライン１２０は、したがって、回路部を備えることができ、回路部は、使用中であるときに、ピクセル値の少なくとも１つのブロックのピクセル値を予測し、エンコーディング部１２４によってサポートされるイントラ予測モードを使用してピクセル値の少なくとも１つを調整する。

【0080】

ソフトウェア実装形態において、回路部は、代わりに、マイクロプロセッサ等のプロセッサの形態であるとすることができ、プロセッサは、不揮発性メモリ等の（非一時的）コンピュータ可読媒体上に記憶されたコンピュータコード命令と関連して、本明細書で開示する任意の方法を、画像パイプライン１２０に実施させる。不揮発性メモリの例は、読み出し専用メモリ、フラッシュメモリ、強誘電体ＲＡＭ、磁気コンピュータ記憶デバイス、光ディスク、および同様なものを含む。ソフトウェアの場合、上記で説明した方法ステップのそれぞれは、したがって、コンピュータ可読媒体上に記憶されたコンピュータコード命令の一部分に対応するすることができ、コンピュータコード命令は、プロセッサによって実行されると、本明細書で開示する任意の方法を、画像パイプライン１２０に実施させる。

【0081】

幾つかの方法ステップがハードウェアで実装され、他の方法ステップがソフトウェアで実装されることを意味する、ハードウェアおよびソフトウェア実装形態の組み合わせを有することも可能であることが理解される。

【0082】

当業者が、上記で説明した実施形態を多くの方法で修正し、上記実施形態に示す本発明の利点を依然として使用することができることが認識されるであろう（ｗｉｌｌ）。例えば、画像パイプライン１２０は、１つの場所に処理部１２２およびエンコーディング部１２４を備える単一ユニットである必要があるのではなく、処理部１２２およびエンコーディング部１２４が共に動作するが、異なる場所に設けられる仮想ユニットであることができる。代替的に、処理部１２２は、エンコーディング部１２４の必須部分であるとすることができる。さらに、考えられる前処理部は、画像パイプライン１２０の外部に、例えば、画像源１１０と画像パイプライン１２０との間に配置することができる。そのため、本発明は、示す実施形態に限定されるべきであるのではなく、添付特許請求の範囲によって規定されるだけであるべきである。さらに、当業者が理解するように、示す実施形態を組み合わすことができる。

【図1】

【図2】

【図3】

【図4】