特許 7309676 ビデオ符号化方法およびそのような方法を実行するように構成されたビデオエンコーダ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-07

(45)【発行日】2023-07-18

(54)【発明の名称】ビデオ符号化方法およびそのような方法を実行するように構成されたビデオエンコーダ

(51)【国際特許分類】

   H04N 19/107 20140101AFI20230710BHJP

   H04N 19/137 20140101ALI20230710BHJP

   H04N 19/172 20140101ALI20230710BHJP

【ＦＩ】

H04N19/107

H04N19/137

H04N19/172

【請求項の数】 8

【外国語出願】

(21)【出願番号】P 2020168804

(22)【出願日】2020-10-06

(65)【公開番号】P2021078109

(43)【公開日】2021-05-20

【審査請求日】2021-12-03

【審判番号】

【審判請求日】2022-10-25

(31)【優先権主張番号】19203656

(32)【優先日】2019-10-16

(33)【優先権主張国・地域又は機関】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】502208205

【氏名又は名称】アクシス アーベー

(74)【代理人】

【識別番号】110002077

【氏名又は名称】園田・小林弁理士法人

(72)【発明者】

【氏名】エドパルム， ヴィクトル

【合議体】

【審判長】國分 直樹

【審判官】畑中 高行

【審判官】川崎 優

(56)【参考文献】

【文献】特表２００９－５１８９８１（ＪＰ，Ａ）

【文献】特開２００２－１０２７０（ＪＰ，Ａ）

【文献】国際公開第２０１０／０６９４２７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

H04N19/00-19/98

(57)【特許請求の範囲】

【請求項1】

元のビデオデータの画像のシリーズを、符号化されたビデオストリームに符号化するためのビデオ符号化方法であって、前記方法は、
前記元のビデオデータの画像の前記シリーズの前記符号化のための周期イントラリフレッシュパターンを設定すること（Ｓ５０２）であって、前記周期イントラリフレッシュパターンは、画像のすべての領域が前記周期イントラリフレッシュパターンの１つのサイクルにおいてイントラリフレッシュフレームのセットにわたってイントラリフレッシュされるように、イントラリフレッシュフレームのどの領域がイントラコーディングされた領域として符号化されることを強制されるべきであるかを定義する、周期イントラリフレッシュパターンを設定すること（Ｓ５０２）と、
前記周期イントラリフレッシュパターンの連続イントラリフレッシュフレーム（１０）間に追加されるべき、前記イントラリフレッシュフレームよりも少ないデータを備えたデルタフレーム（１６）の数を設定（Ｓ５０４）し、前記デルタフレーム（１６）の数の設定によって、前記符号化されたビデオストリームのイントラリフレッシュ周期を調整することと、
設定された前記周期イントラリフレッシュパターンと、それぞれのイントラリフレッシュフレーム（１０）がイントラリフレッシュ領域（１２）と前記イントラリフレッシュ領域（１２）以外の部分（１４）を含む連続イントラリフレッシュフレーム（１０）間に追加されたデルタフレーム（１６）の設定された前記数とを使用して、調整された前記イントラリフレッシュ周期に基づいて前記元のビデオデータの画像の前記シリーズを、前記符号化されたビデオストリームに符号化すること（Ｓ５０６）と
を含み、
前記符号化中に、予測のために前のイントラリフレッシュフレーム（１０）のみを参照するように、現在のイントラリフレッシュフレーム（１０）が設定され、
前記符号化中に、２つの連続イントラリフレッシュフレーム（１０）間に追加された前記デルタフレーム（１６）のうちの１つまたは複数を介して、予測のために前記２つの連続イントラリフレッシュフレーム（１０）のうちの前の１つのみを直接または間接的に参照するように、前記２つの連続イントラリフレッシュフレーム（１０）間に追加された各デルタフレーム（１６）が設定される、ビデオ符号化方法。

【請求項2】

前記元のビデオデータにおける動きレベルを決定することをさらに含み、追加されるべきデルタフレーム（１６）の前記数が、決定された前記動きレベルに基づいて設定され、比較的高い動きレベルが比較的少ない数のデルタフレーム（１６）を生じさせ、比較的低い動きレベルが比較的多い数のデルタフレーム（１６）を生じさせる、請求項１に記載の方法。

【請求項3】

イントラリフレッシュサイクルの連続イントラリフレッシュフレーム（１０）間のデルタフレーム（１６）の前記設定された数が同じである、請求項１または２に記載の方法。

【請求項4】

デルタフレーム（１６）の前記設定された数が、前のイントラリフレッシュサイクルと比較して、後続のイントラリフレッシュサイクルのために調整される、請求項１から３のいずれか一項に記載の方法。

【請求項5】

各フレーム、デルタフレーム（１６）またはイントラリフレッシュフレーム（１０）が、元のビデオデータの画像の前記シリーズの１つの画像に対応する、請求項１から４のいずれか一項に記載の方法。

【請求項6】

処理機能を有するデバイス上で実行されたときに、請求項１から５のいずれか一項に記載のビデオ符号化方法を実装するための命令を記憶した非一時的コンピュータ可読記憶媒体。

【請求項7】

元のビデオデータの画像のシリーズを、符号化されたビデオストリームに符号化するように構成されたビデオエンコーダであって、前記ビデオエンコーダは、
前記元のビデオデータの画像の前記シリーズの前記符号化のための周期イントラリフレッシュパターンを設定することであって、前記周期イントラリフレッシュパターンは、画像のすべての領域が前記周期イントラリフレッシュパターンの１つのサイクルにおいてイントラリフレッシュフレームのセットにわたってイントラリフレッシュされるように、イントラリフレッシュフレームのどの領域がイントラコーディングされた領域として符号化されることを強制されるべきであるかを定義する、周期イントラリフレッシュパターンを設定することと、
前記周期イントラリフレッシュパターンの連続イントラリフレッシュフレーム（１０）間に追加されるべき、前記イントラリフレッシュフレームよりも少ないデータを備えたデルタフレーム（１６）の数を設定し、前記デルタフレーム（１６）の数の設定によって、前記符号化されたビデオストリームのイントラリフレッシュ周期を拡大させることと、
設定された前記周期イントラリフレッシュパターンと、それぞれのイントラリフレッシュフレーム（１０）がイントラリフレッシュ領域（１２）と前記イントラリフレッシュ領域（１２）以外の部分（１４）を含む連続イントラリフレッシュフレーム（１０）間に追加されたデルタフレーム（１６）の設定された前記数とを使用して、拡大された前記イントラリフレッシュ周期に基づいて前記元のビデオデータの画像の前記シリーズを、前記符号化されたビデオストリームに符号化することと
を行うように構成され、
前記符号化中に、前記ビデオエンコーダは、予測のために前のイントラリフレッシュフレーム（１０）のみを参照するように、現在のイントラリフレッシュフレーム（１０）を設定するように構成され、
前記符号化中に、前記ビデオエンコーダは、２つの連続イントラリフレッシュフレーム（１０）間に追加された前記デルタフレーム（１６）のうちの１つまたは複数を介して、予測のために前記２つの連続イントラリフレッシュフレーム（１０）のうちの前の１つのみを直接または間接的に参照するように、前記２つの連続イントラリフレッシュフレーム（１０）間に追加された各デルタフレーム（１６）を設定するように構成された、ビデオエンコーダ。

【請求項8】

ビデオカメラ（２００）中に実装された、請求項７に記載のビデオエンコーダ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、元のビデオデータの画像のシリーズを、符号化されたビデオストリームに符号化するためのビデオ符号化方法に関する。また、ビデオ符号化方法を実行するように構成されたビデオエンコーダが提示される。

【背景技術】

【0002】

Ｈ．２６４符号化（および同様の規格）を使用するビデオ符号化の際の一般的な問題は、ＩフレームがＰフレームおよび／またはＢフレームよりもはるかに多い情報を含むことに起因する、Ｉフレームのビットレートスパイクである。この問題は、特に、ネットワーク上で、符号化されたビデオストリームを送信するように構成されたネットワーク監視カメラについて、特に同じネットワーク上に配置されたいくつかのカメラがある場合に、存在する。理想的には、ネットワークは一定のビットレートを選好するであろう。

【0003】

ビットレートスパイクを低減するための１つのソリューションは、複数の画像フレームにわたってＩフレームを分散させ、代わりに各画像フレームの一部（イントラリフレッシュ（intra refresh）領域）をＩブロックとして符号化されるように強制することである。イントラリフレッシュ領域は、画像フレームのセットにわたって画像フレーム上を移動され、それによって画像を「リフレッシュ」する。この方法は周期イントラリフレッシュまたは単にイントラリフレッシュと呼ばれる。したがって、イントラリフレッシュを適用することによって、さもなければ、ＧＯＰごとに、すなわち、１つの画像フレームが単にイントラ符号化を使用して符号化されるときに１回起こるであろうビットレートのスパイクが、複数のフレームにわたってスミアアウトされ得る。イントラリフレッシュにおいて、周期イントラリフレッシュパターンは、画像フレームのどの一部が「リフレッシュ」され（すなわちいかなる他の画像フレームの参照なしに符号化され）、したがって、イントラコーディングされた領域として符号化されることを強制されるべきであるかを定義するために使用される。イントラリフレッシュパターンの異なる例を、ビデオストリームのイントラリフレッシュ符号化されたフレーム１０を示す図１ａ～図１ｃとともに示す。例では、破線エリアがイントラリフレッシュ領域１２を表し、空白エリアが、イントラリフレッシュ符号化されたフレーム１０の残っているインター符号化された部分１４を表す。図１ａの例では、イントラリフレッシュ符号化されたフレーム１０中のマクロブロックの完全な行またはスライスがイントラリフレッシュ領域１２を画定する、周期イントラリフレッシュパターンが示されている。図１ｂの例では、イントラリフレッシュ符号化されたフレーム１０中のマクロブロックの完全な列またはタイルがイントラリフレッシュ領域１２を画定する、周期イントラリフレッシュパターンが示されている。周期イントラリフレッシュパターンを画定する他の方法が等しく可能である。図１ｃは、１つのそのような代替を例として示している。この例によれば、周期イントラリフレッシュパターンは、イントラリフレッシュ符号化されたフレーム１０の１つのコーナーから反対側のコーナーに移動する対角方向イントラリフレッシュ領域１２によって画定される。イントラリフレッシュパターンのすべての例において、符号化された画像フレームのピクセルのすべての画定されたマクロブロックは、パターンの１サイクル中、すなわち、イントラリフレッシュパターンの１サイクルにわたるｎ個の画像フレーム（これらの例ではｎ＝３）にわたってイントラリフレッシュされている。図１ａ～図１ｃとともに示されている周期イントラリフレッシュパターンの例では、パターン中のイントラリフレッシュ領域１２はいくらかの重複を有する。しかしながら、他の例によれば、イントラリフレッシュ領域１２間に重複がない。

【0004】

各示されている例は、リフレッシュされるべき符号化された画像フレーム全体について３つのイントラリフレッシュ符号化されたフレーム１０を含むが、一般的なケースでは、イントラリフレッシュパターンは、６８、３４、２３、１７、１４、１１、１０など、より多くの符号化された画像フレームにわたって循環することを理解されたい。

【0005】

イントラリフレッシュパターンの周期内で、符号化された画像フレームの数を動的に調整する能力は、いくつかのアプリケーション、特に監視アプリケーションのために大いに有益であり、それらのアプリケーションにおいては、符号化されたビデオストリームにおいて描かれたシーンにおける動きレベルがない（またはほとんどない）時間中には、比較的多い数の符号化された画像フレームが好ましく、符号化されたビデオストリームにおいて描かれたシーンにおける動きレベルが比較的高い時間中には、比較的少ない数の符号化された画像フレームが好ましい。イントラリフレッシュにおいて、符号化された画像フレームの数を変更するための知られている方法は、各フレームにおいてイントラコーディングすべき行または列の数を変動させることである。たとえば、６８マクロブロックハイビデオ（ＦＨＤビデオ）の場合、符号化された画像フレームの最大数は（各イントラリフレッシュフレームについてマクロブロックの１つの列が使用される場合）６８に限定される。しかしながら、いくつかのアプリケーション、たとえば監視アプリケーションについては、はるかに多い数の符号化された画像フレームが望まれることもある。

【0006】

したがって、イントラリフレッシュコード化ビデオストリームの１サイクル中の符号化された画像フレームの数の動的調整の改善を行う必要がある。

【先行技術文献】

【特許文献】

【0007】

【文献】ＥＰ３０２１５７９Ａ１

【発明の概要】

【0008】

目的は、上記で特定された当技術分野における不備、および欠点のうちの１つまたは複数を、単独でまたは任意の組合せで軽減、緩和、または除去し、上述の問題を少なくとも部分的に解決することである。

【0009】

第１の態様によれば、元のビデオデータの画像のシリーズを、符号化されたビデオストリームに符号化するためのビデオ符号化方法が提供される。本方法は、元のビデオデータの画像のシリーズの符号化のための周期イントラリフレッシュパターンを設定することと、周期イントラリフレッシュパターンの連続イントラリフレッシュフレーム間に追加されるべきデルタフレームの数を設定し、それによって、符号化されたビデオストリームのイントラリフレッシュ周期が調整されることと、設定された周期イントラリフレッシュパターンと、連続イントラリフレッシュフレーム間に追加されるべきデルタフレームの設定された数とを使用して、元のビデオデータの画像のシリーズを、符号化されたビデオストリームに符号化することとを含む。符号化中に、現在のイントラリフレッシュフレームは、前のイントラリフレッシュフレームを直接参照するように設定される。符号化中に、２つの連続イントラリフレッシュフレーム間に追加される各デルタフレームは、２つの連続イントラリフレッシュフレームのうちの前の１つのみを参照するように設定される。

【0010】

本方法は、１イントラリフレッシュサイクル中のフレームの数を調整することを可能にする。このことは、いくつかのデルタフレームが連続イントラリフレッシュフレーム間に追加されることを可能にすることによって行われる。本方法は、利用可能な符号化規格を使用して容易に実装され得る。したがって、本方法は適応ビデオ符号化を可能にし、１イントラリフレッシュサイクル中の符号化されるフレームの数は動的に調整され得る。

【0011】

言い換えれば、２つの連続イントラリフレッシュフレーム間にデルタフレームを追加することによってイントラリフレッシュパターンに階層コーディング方式（hierarchical coding scheme）を適用することによって、１イントラリフレッシュサイクル中のフレームの数が調整され得る。このことは、イントラリフレッシュフレームのみを使用する際の制限を超えて、１イントラリフレッシュサイクル中のフレームの数を調整することを可能にする。

【0012】

本方法は、元のビデオデータにおける動きレベルを決定することをさらに含み得る。追加されるべきデルタフレームの数は、決定された動きレベルに基づいて設定され得る。動きレベルが比較的高いと、デルタフレームは比較的少なくなり得る。動きレベルが比較的低いと、デルタフレームは比較的多くなり得る。したがって、特定のイントラリフレッシュサイクルのためのフレームの数はシーンにおける動きレベルに基づいて推論され得る。

【0013】

１つのイントラリフレッシュサイクルの連続イントラリフレッシュフレーム間のデルタフレームの設定された数は同じであり得る。

【0014】

デルタフレームの設定された数は、前のイントラリフレッシュサイクルと比較して、後続のイントラリフレッシュサイクルのために調整され得る。調整は、決定された動きレベルに基づいて行われ得る。したがって、イントラリフレッシュサイクル中の符号化されたフレームの数は、撮像されたシーンの変化の結果として調整され得る。代替的に、または組み合わせて、調整は、符号化されたビデオストリームのためのビットレート割振りに基づき得る。たとえば、符号化されたビデオストリームのビットレートは、デルタフレームの設定された数を増加させることによって低減され得る。このことは、たとえば、一時的な要求によりネットワークの帯域幅利用可能性が限られている状況の場合、有用であり得る。代替的に、または組み合わせて、デルタフレームの数は、失われたパッケージにより、またはより安定したストリームの要望（たとえば重要なイベントがトリガされた）により調整され得る。一般に、そのような状況の場合、デルタフレームの数は減少する。

【0015】

各フレーム、デルタフレームまたはイントラリフレッシュフレームは、元のビデオデータの画像のシリーズの１つの画像に対応し得る。

【0016】

第２の態様によれば、非一時的コンピュータ可読記憶媒体が提供される。非一時的コンピュータ可読記憶媒体は、処理機能を有するデバイス上で実行されたときに、第１の態様によるビデオ符号化方法を実装するための命令を記憶している。

【0017】

第１の態様による方法の上述の特徴は、適用可能なとき、この第２の態様にも適用する。過度の反復を回避するために上記を参照されたい。

【0018】

第３の態様によれば、元のビデオデータの画像のシリーズを、符号化されたビデオストリームに符号化するように構成されたビデオエンコーダが提供される。ビデオエンコーダは、元のビデオデータの画像のシリーズの符号化のための周期イントラリフレッシュパターンを設定することと、周期イントラリフレッシュパターンの連続イントラリフレッシュフレーム間に追加されるべきデルタフレームの数を設定し、それによって、符号化されたビデオストリームのイントラリフレッシュ周期を拡大させることと、設定された周期イントラリフレッシュパターンと、連続イントラリフレッシュフレーム間に追加されるべきデルタフレームの設定された数とを使用して、元のビデオデータの画像のシリーズを、符号化されたビデオストリームに符号化することとを行うように構成される。符号化中に、エンコーダは、前のイントラリフレッシュフレームを直接参照するように、現在のイントラリフレッシュフレームを設定するように構成される。さらに、符号化中に、エンコーダは、２つの連続イントラリフレッシュフレームのうちの前の１つのみを参照するように、２つの連続イントラリフレッシュフレーム間に追加される各デルタフレームを設定するように構成される。

【0019】

ビデオエンコーダはビデオカメラ中に実装され得る。

【0020】

第１の態様による方法の上述の特徴は、適用可能なとき、この第３の態様にも適用する。過度の反復を回避するために上記を参照されたい。

【0021】

本発明の適用可能性のさらなる範囲は、以下に与えられる発明を実施するための形態から明らかになろう。しかしながら、本発明の範囲内の様々な変更および改変は、この発明を実施するための形態から当業者に明らかになるであろうことから、発明を実施するための形態および具体例は、本発明の好ましい実施形態を示しながら、単に例としてのみ与えられることを理解されたい。

【0022】

したがって、本発明は、説明されるデバイスの特定の構成部分または説明される方法の特定の行為に限定されず、したがって、デバイスおよび方法は変動し得ることを理解されたい。また、本明細書で使用する用語は、特定の実施形態のみについて説明する目的のためであり、限定的なものではないことを理解されたい。本明細書および添付の請求項で使用する際、「１つの」、「その」および「前記」という冠詞は、文脈上明らかに別段の指示がない限り、要素のうちの１つまたは複数があることを意味するものであることに留意しなければならない。したがって、たとえば、「１つのユニット」または「そのユニット」に対する言及はいくつかのデバイスなどを含み得る。さらに、「備える」、「含む」、「含んでいる」という単語および同様の文言は他の要素またはステップを除外しない。

【0023】

次に、添付の図を参照しながら、本発明の上記および他の態様についてより詳細に説明する。図は限定的に考えられるべきでなく、代わりに、それらの図は説明および理解のために使用される。

【0024】

図に示されているように、レイヤおよび領域のサイズは説明の目的で誇張され、したがって、一般的な構造を示すために与えられ得る。同様の参照番号は全体的に同様の要素を指す。

【図面の簡単な説明】

【0025】

【図1a-c】イントラリフレッシュ符号化されたビデオストリームのためのイントラリフレッシュパターンの例を概略的に示す図である。

【図2】ビデオ符号化システムを概略的に示す図である。

【図3】図２のビデオ符号化システムを備えるカメラを概略的に示す図である。

【図4】本発明による符号化されたビデオストリームのフレーム構造を概略的に示す図である。

【図5】図４に示されたフレーム構造を獲得するためのビデオ符号化方法のブロック図である。

【発明を実施するための形態】

【0026】

次に、本発明の現在好ましい実施形態が示されている添付の図面を参照しながら、本発明について以下でより十分に説明する。本発明は、しかしながら、多くの異なる形式で具現化され得、本明細書に記載された実施形態に限定されると解釈されるべきでなく、むしろ、これらの実施形態は、徹底さと完全性のために、および当業者に本発明の範囲を完全に伝達するために与えられる。

【0027】

図２に関連して、ビデオ符号化システム１００が示されている。ビデオ符号化システム１００は、ビデオソース１０２と、ビデオエンコーダ１１０と、メモリ１２０とを備える。ビデオエンコーダ１１０は、ビデオデータの画像のシリーズを、符号化されたビデオストリームに符号化するように構成される。画像のシリーズの形態のビデオデータがビデオソース１０２から受信される。ビデオソース１０２は画像センサーであり得る。ビデオエンコーダ１１０は、任意の好適な符号化方式を使用するように設定され得る。非限定的な例は、Ｈ．２６４、Ｈ．２６５およびＡＶ１である。ビデオエンコーダ１００はメモリ１２０との通信状態であり得る。メモリ１２０は、ビデオデータの符号化中にバッファメモリとして使用され得る。メモリ１２０は１つまたは複数のメモリ部分を備え得る。特定のメモリ部分は揮発性メモリ部分であり得る。特定のメモリ部分は不揮発性メモリ部分であり得る。したがって、メモリ１２０は揮発性メモリ部分と不揮発性メモリ部分の両方を備え得る。

【0028】

図３に示されているように、ビデオ符号化システム１００はビデオカメラ２００中に実装され得る。ビデオカメラ２００はデジタルビデオカメラであり得る。ビデオカメラ２００は監視カメラであり得る。

【0029】

ビデオエンコーダ１１０は、ビデオデータの画像のシリーズを、符号化されたビデオストリームに符号化するように構成される。ビデオエンコーダ１１０は、イントラリフレッシュを使用してビデオストリームを符号化するように構成される。背景技術セクションに関連して論じたように、イントラリフレッシュにおいて、周期イントラリフレッシュパターンは、符号化された画像フレームのどの一部が「リフレッシュ」され（すなわちいかなる他の画像フレームの参照なしに符号化され）、したがって、イントラコーディングされた領域として符号化されることを強制されるべきであるかを定義するために使用される。したがって、エンコーダは、ビデオデータの画像のシリーズを、符号化されたビデオストリームに符号化するために使用されるべき周期イントラリフレッシュパターンを設定するように構成される。

【0030】

これまでビデオエンコーダ１１０は、すでに知られている符号化方式に従って符号化を行うように設定されている。しかしながら、本発明によれば、ビデオエンコーダ１１０は、周期イントラリフレッシュパターンの連続イントラリフレッシュフレーム間にデルタフレームを追加するようにさらに構成される。デルタフレームは、１つのフレームから次のフレームまでに起こった変化のみを備えるフレームである。したがって、デルタフレームは、一般に、イントラリフレッシュフレームよりも少ないデータを備えている。ビデオ符号化において、デルタフレームは、しばしばＰフレームまたはＢフレームと呼ばれる、インターフレームとしても知られている。Ｐフレームはデータ参照のために前のフレームを参照する。したがって、Ｐフレームを復号するためには、前のフレームのコンテンツが知られていなければならない。Ｂフレームは、データ参照のために前のフレームと後のフレームの両方を参照し得る。したがって、Ｂフレームを復号するためには、前のフレームと後のフレームの両方のコンテンツが知られていなければならない。

【0031】

ビデオエンコーダ１１０は、したがって、周期イントラリフレッシュパターンの連続イントラリフレッシュフレーム間に追加されるべきデルタフレームの数を設定するように構成される。デルタフレームを追加することによって、符号化されたビデオストリームのイントラリフレッシュ周期が調整される。したがって、１イントラリフレッシュサイクル内のフレームの数が調整される。一般に、イントラリフレッシュ周期は、特に、背景技術セクションで論じた従来技術のイントラリフレッシュ方法と比較して拡大される。したがって、１イントラリフレッシュサイクル内のフレームの数は増加する。このことは、１イントラリフレッシュサイクル内のフレームの数をより自由に調整する能力を与える。

【0032】

元のビデオデータの画像のシリーズの符号化のための周期イントラリフレッシュパターンの設定は、周期イントラリフレッシュパターン中のイントラリフレッシュフレームの数を選択することによって行われ得る。選択は、元のビデオデータの画像のピクセルプロパティを所与として、１イントラリフレッシュサイクルについてのフレームの事前決定された数のリストにアクセスすることによって行われ得る。

【0033】

符号化中に、ビデオエンコーダ１１０は、前のイントラリフレッシュフレームを直接参照するように、現在のイントラリフレッシュフレームを設定するように設定される。さらに、ビデオエンコーダ１１０は、前のイントラリフレッシュフレームのみを参照するように、現在のイントラリフレッシュフレームを設定するように設定され得、したがって、イントラリフレッシュフレームは、別のイントラリフレッシュフレームのみを参照しており、デルタフレームを参照していない。イントラリフレッシュフレームを参照するこの方式によって、従来技術のイントラリフレッシュ符号化からの利益が維持される。イントラリフレッシュフレームが別のイントラリフレッシュフレームのみを参照しており、デルタフレームを参照していないことによって、動きベクトルがイントラリフレッシュ領域から外に延びていないことが保証され得る。さらに、フレームの階層構造のこのタイプを使用することによって、デルタフレームの１つまたは複数の「レイヤ」が、符号化されたビデオストリームから容易に削除され得、同時に、符号化されたビデオストリームは、デルタフレームの１つまたは複数の「レイヤ」の削除後も依然として復号可能になる。

【0034】

さらに、符号化中に、ビデオエンコーダ１１０は、２つの連続イントラリフレッシュフレームのうちの前の１つのみを参照するように、２つの連続イントラリフレッシュフレーム間に追加される各デルタフレームを設定するように構成される。符号化のそのような構成は、ビデオストリームを符号化するために使用される通常の構成であり、したがって、この構成を使用すると、すべての標準エンコーダが使用され得る。

【0035】

本発明による符号化されたビデオストリームのフレーム構造の一例が図４に関連して概略的に示されている。符号化されたビデオストリームは、イントラリフレッシュ符号化されたフレーム１０とデルタフレーム１６の両方を備える。図示の例では、デルタフレーム１６はＰフレームである。図示の例では、１つのイントラリフレッシュサイクル中の符号化されたビデオストリームのフレーム構造が示されている。しかしながら、符号化されたビデオストリームは２つ以上のイントラリフレッシュサイクルを備え得ることを理解されたい。さらに、図示の例では、イントラリフレッシュサイクルは３つのイントラリフレッシュ符号化されたフレーム１０を備えるが、一般的なケースでは、イントラリフレッシュパターンは、６８、３４、２３、１７、１４、１１、１０など、より多くの符号化された画像フレームにわたって循環することを理解されたい。

【0036】

各イントラリフレッシュ符号化されたフレーム１０は、破線エリアとして示されているイントラリフレッシュ領域１２と、空白エリアとして示されている、残っているインター符号化された部分１４とを備える。イントラリフレッシュ符号化されたフレーム１０中のマクロブロックの完全な行またはスライスがイントラリフレッシュ領域１２を画定する、周期イントラリフレッシュパターンが示されている。しかしながら、周期イントラリフレッシュパターンを画定する代替方法が本発明について等しく可能であり得る。イントラリフレッシュパターンのいくつかのそのような例が図１ｂおよび図１ｃに関連して示されている。

【0037】

さらに、図４に関連して、イントラリフレッシュパターン中のイントラリフレッシュ領域１２が、いくらかの重複を有するように示されている。しかしながら、他の例によれば、イントラリフレッシュ領域１２間に重複がない。

【0038】

ビデオエンコーダは、各フレーム、デルタフレームまたはイントラリフレッシュフレームが、元のビデオデータの画像のシリーズの１つの画像に対応するように、元のビデオデータの画像のシリーズを符号化するように構成され得る。

【0039】

追加されるべきデルタフレームの数は、元のビデオデータにおける動きレベルに基づいて設定され得る。動きレベルは、元のビデオデータ中の画像のシリーズにおける前の画像の画像と比較した、元のビデオデータの画像の画像データの変化の量の測度である。動きレベルは、ビデオデータ中に存在する最前部（forefront）ビデオ情報の量の測度であると言い得る。動きレベルは、大域的変化値、すなわち、ＥＰ３０２１５７９Ａ１に記載されているようなＣＧ（特に［００３５］～［００４１］を参照のこと）を使用して決定され得る。しかしながら、動きレベルは代替方法で決定され得る。いくつかの非限定的な例は、時間的雑音フィルタからの統計値を使用すること、符号化中に使用された動きベクトルの平均サイズを使用すること、またはピクセル単位比較を実行することである。

【0040】

したがって、ビデオ符号化システム１００は動きレベル決定回路１３０をさらに備え得る。動きレベル決定回路１３０は、元のビデオデータにおける動きレベルを決定するように構成される。動きレベル決定回路１３０は、上述の方法のいずれかに基づいて、元のビデオデータにおける動きレベルを決定するように構成され得る。動きレベル決定回路１３０は、中央処理ユニット（ＣＰＵ）、マイクロコントローラ、またはマイクロプロセッサなど、プロセッサを含み得る。プロセッサは、動きレベル決定回路１３０の機能を実行するために、メモリ１２０に記憶されたプログラムコードを実行するように構成される。動きレベル決定回路１３０の機能は、非一時的コンピュータ可読媒体（たとえばメモリ１２０）上に記憶され、（たとえば、プロセッサを使用して）動きレベル決定回路１３０によって実行される、実行可能な論理ルーチン（たとえば、命令行（lines of code）、ソフトウェアプログラムなど）の形態で具現化され得る。さらに、動きレベル決定回路１３０の機能は、スタンドアロンのソフトウェアアプリケーションであり得るか、または動きレベル決定回路１３０に関する追加のタスクを実行する、ソフトウェアアプリケーションの一部を形成し得る。説明された機能は、対応するデバイスが実行するように構成された方法と考えられ得る。また、説明された機能はソフトウェア中に実装され得るが、そのような機能は、専用のハードウェアもしくはファームウェア、またはハードウェア、ファームウェアおよび／もしくはソフトウェアのいくつかの組合せを介して同様に実行され得る。

【0041】

ビデオエンコーダ１１０は、したがって、元のビデオデータにおける動きレベルに基づいて、追加されるべきデルタフレームの数を決定し得る。比較的高い動きレベルは、比較的少ないデルタフレームを設定するために使用され得る。比較的低い動きレベルは、比較的多いデルタフレームを設定するために使用され得る。

【0042】

ビデオエンコーダ１１０は、１つのイントラリフレッシュサイクルの連続イントラリフレッシュフレーム間のデルタフレームの数を同じになるように設定するように構成され得る。

【0043】

ビデオエンコーダ１１０は、前のイントラリフレッシュサイクルと比較して、後続のイントラリフレッシュサイクルのためのデルタフレームの設定された数を調整するように構成され得る。したがって、１イントラリフレッシュサイクル中のフレームの数は、符号化されたビデオストリーム全体にわたって調整され得る。この場合も、デルタフレームの数は、シーン中の動きレベルに基づいて設定され得、シーン中の動きレベルが変化している場合、符号化されたビデオストリーム中のデルタフレームの数も変更され得る。

【0044】

図５に関連して、元のビデオデータの画像のシリーズを、符号化されたビデオストリームに符号化するように構成されたビデオ符号化方法５００について論じる。ビデオ符号化方法は、カメラによってキャプチャされたビデオデータを符号化するように構成され得る。カメラは監視カメラであり得る。ビデオ処理方法は以下のステップ／行為を含む。

【0045】

元のビデオデータの画像のシリーズの符号化のための周期イントラリフレッシュパターンを設定することＳ５０２。元のビデオデータの画像のシリーズの符号化のための周期イントラリフレッシュパターンを設定することＳ５０２は、周期イントラリフレッシュパターン中のイントラリフレッシュフレームの数を選択することによって行われ得る。選択は、元のビデオデータの画像のピクセルプロパティを所与として、１イントラリフレッシュサイクルについてのフレームの事前決定された数のリストにアクセスすることによって行われ得る。選択は、符号化されたビデオストリームによって描かれたシーンにおける動きレベルに基づいて行われ得る。

【0046】

周期イントラリフレッシュパターンの連続イントラリフレッシュフレーム間に追加されるべきデルタフレームの数を設定することＳ５０４。それによって、符号化されたビデオストリームのイントラリフレッシュ周期が調整され得る。１つのイントラリフレッシュサイクルの連続イントラリフレッシュフレーム間のデルタフレームの設定された数は同じであり得る。デルタフレームの設定された数は、前のイントラリフレッシュサイクルと比較して、後続のイントラリフレッシュサイクルのために調整され得る。

【0047】

設定された周期イントラリフレッシュパターンと、連続イントラリフレッシュフレーム間に追加されるべきデルタフレームの設定された数とを使用して、元のビデオデータの画像のシリーズを、符号化されたビデオストリームに符号化することＳ５０６。符号化することＳ５０６中に、現在のイントラリフレッシュフレームは、前のイントラリフレッシュフレームを直接参照するように設定される。符号化することＳ５０６中に、２つの連続イントラリフレッシュフレーム間に追加される各デルタフレームは、２つの連続イントラリフレッシュフレームのうちの前の１つのみを参照するように設定される。各符号化されたフレーム、デルタフレームまたはイントラリフレッシュフレームは、元のビデオデータの画像のシリーズの１つの画像に対応し得る。

【0048】

本方法は、元のビデオデータにおける動きレベルを決定することをさらに含み得る。設定することＳ５０４の行為中に、追加されるべきデルタフレームの数は、決定された動きレベルに基づいて設定され得る。動きレベルが比較的高いと、デルタフレームは比較的少なくなり得る。動きレベルが比較的低いと、デルタフレームは比較的多くなり得る。

【0049】

当業者は、本発明が、上記で説明した好ましい実施形態に決して限定されないことを認識している。反対に、多くの変更および変形が添付の特許請求の範囲の範囲内で可能である。

【0050】

たとえば、２つの連続イントラリフレッシュフレーム間に追加されるデルタフレームは、複数の時間レイヤを備える階層予測パターン中で編成され得る。

【0051】

さらに、開示された実施形態の変形形態は、クレームされる発明を実践する際に、図面、開示、および添付の特許請求の範囲の研究から、当業者によって理解され、実施され得る。

【符号の説明】

【0052】

１０ イントラリフレッシュ符号化されたフレーム
１２ イントラリフレッシュ領域
１４ 残っているインター符号化された部分
１６ デルタフレーム
１００ ビデオ符号化システム
１０２ ビデオソース
１１０ ビデオエンコーダ
１２０ メモリ
１３０ 動きレベル決定回路
２００ ビデオカメラ
５００ ビデオ符号化方法
Ｓ５０２ 元のビデオデータの画像のシリーズの符号化のための周期イントラリフレッシュパターンを設定すること
Ｓ５０４ 周期イントラリフレッシュパターンの連続イントラリフレッシュフレーム間に追加されるべきデルタフレームの数を設定すること
Ｓ５０４ 設定すること
Ｓ５０６ 設定された周期イントラリフレッシュパターンと、連続イントラリフレッシュフレーム間に追加されるべきデルタフレームの設定された数とを使用して、元のビデオデータの画像のシリーズを、符号化されたビデオストリームに符号化すること
Ｓ５０６ 符号化すること

【図1a-c】

【図2】

【図3】

【図4】

【図5】