特許 6084687 ビデオストリームを符号化するための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6084687

(24)【登録日】2017年2月3日

(45)【発行日】2017年2月22日

(54)【発明の名称】ビデオストリームを符号化するための方法および装置

(51)【国際特許分類】

   H04N 19/117 20140101AFI20170213BHJP

   H04N 19/86 20140101ALI20170213BHJP

   H04N 19/82 20140101ALI20170213BHJP

   H04N 19/174 20140101ALI20170213BHJP

   H04N 19/11 20140101ALI20170213BHJP

   H04N 19/109 20140101ALI20170213BHJP

   H04N 19/136 20140101ALI20170213BHJP

   H04N 19/132 20140101ALI20170213BHJP

【ＦＩ】

   H04N19/117

   H04N19/86

   H04N19/82

   H04N19/174

   H04N19/11

   H04N19/109

   H04N19/136

   H04N19/132

【請求項の数】14

【全頁数】13

(21)【出願番号】特願2015-514424(P2015-514424)

(86)(22)【出願日】2013年5月23日

(65)【公表番号】特表2015-521445(P2015-521445A)

(43)【公表日】2015年7月27日

(86)【国際出願番号】EP2013060573

(87)【国際公開番号】WO2013178521

(87)【国際公開日】20131205

【審査請求日】2015年1月22日

(31)【優先権主張番号】12305619.4

(32)【優先日】2012年6月1日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】391030332

【氏名又は名称】アルカテル−ルーセント

(74)【代理人】

【識別番号】110001173

【氏名又は名称】特許業務法人川口國際特許事務所

(72)【発明者】

【氏名】ステフェンス，クリストフ

(72)【発明者】

【氏名】ロンダオ・オルフェイス，パトリス

(72)【発明者】

【氏名】ファン・ブルーク，シフールト

(72)【発明者】

【氏名】マック，ジャン−フランソワ

【審査官】 堀井 啓明

(56)【参考文献】

【文献】 特開２００５−２５３０８８（ＪＰ，Ａ）

【文献】 特開平０９−０５１５０４（ＪＰ，Ａ）

【文献】 特開２０００−２３６５５１（ＪＰ，Ａ）

【文献】 特開２００６−０６７５７１（ＪＰ，Ａ）

【文献】 特開２００６−２５４３２０（ＪＰ，Ａ）

【文献】 特開２００３−１４３６００（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

マクロブロックに分割されたビデオストリームを符号化スキームを使用して符号化するための方法であって、ビデオストリームが、透明度レベルチャンネルを含み、前記方法が、
前記マクロブロックを、前記透明度レベルチャンネルによって提供される透明度値が実質的に均一であるインナーマクロブロックと、前記透明度レベルチャンネルによって提供される透明度値が実質的に均一でない遷移マクロブロックに分類するステップと、
前記インナーマクロブロックのそれぞれについて前記透明度値の統計値を決定するステップと、
それぞれの統計値の関数において、前記インナーマクロブロックのそれぞれについて前記符号化スキームのそれぞれのパラメータを構成するステップと
を含む、方法。

【請求項2】

前記統計値が、平均透明度レベルまたは中央透明度レベルであり、前記パラメータを構成する前記ステップが、
前記統計値が所定の値を上回るかを判定するステップと、
前記判定が肯定的である場合、符号化の複雑さを軽減するように、前記インナーマクロブロックのそれぞれについて前記符号化スキームの前記パラメータを構成するステップと
を含む、請求項１に記載の方法。

【請求項3】

前記パラメータを構成する前記ステップが、デブロッキングフィルタおよび適応ループフィルタのうちの少なくとも１つを無効化するステップを含む、請求項２に記載の方法。

【請求項4】

前記マクロブロックが、フレームの水平方向に区分された部分を表すスライスにグループ化され、方法が、遷移マクロブロックを含む各スライスについて、前記デブロッキングフィルタおよび前記適応ループフィルタのうちの前記少なくとも１つを無効化するステップをさらに含む、請求項３に記載の方法。

【請求項5】

前記パラメータを構成する前記ステップが、イントラ予測を１６×１６ＤＣモードに設定するステップを含む、請求項２に記載の方法。

【請求項6】

前記パラメータを構成する前記ステップが、動き推定モードをＰ＿ＳＫＩＰモードに変えるステップを含む、請求項２に記載の方法。

【請求項7】

各遷移ブロックについて、
前記遷移ブロックをサブブロックに区分するステップであって、透明度レベルの遷移を含むサブブロックの数を最小化するように実行される、区分するステップをさらに含む、請求項６に記載の方法。

【請求項8】

前記パラメータを構成する前記ステップが、
より透明なマクロブロックがより多くの圧縮を受けられるように、各インナーマクロブロックに前記統計値の関数として適用される圧縮量を構成するステップを含む、請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記遷移マクロブロックのそれぞれについて前記透明度値の統計値を決定するステップと、
より透明なマクロブロックがより多くの圧縮を受けられるように、各遷移マクロブロックに前記統計値の関数として適用される圧縮量を構成するステップと
をさらに含む、請求項８に記載の方法。

【請求項10】

請求項１から９のいずれか一項に記載の方法の各ステップをコンピュータに実行させる、コンピュータプログラム。

【請求項11】

マクロブロックに分割されたビデオストリームを符号化するための装置であって、ビデオストリームが、透明度レベルチャンネルを含み、前記装置が、
符号化スキームに従って前記ビデオストリームを符号化するように構成されたビデオエンコーダと、
前記マクロブロックを、前記透明度レベルチャンネルによって提供される透明度値が実質的に均一であるインナーマクロブロックと、前記透明度レベルチャンネルによって提供される透明度値が実質的に均一でない遷移マクロブロックに分類するための分類エンジンと、
前記インナーマクロブロックのそれぞれについて前記透明度値の統計値を計算するためのプロセッサと、
それぞれの統計値の関数において、前記インナーマクロブロックのそれぞれについて前記ビデオエンコーダのパラメータを構成するように構成された符号化ヒント生成器と
を備える、装置。

【請求項12】

前記統計値が、平均透明度レベルまたは中央透明度レベルであり、前記符号化ヒント生成器が、
前記統計値が所定の値を上回るかを判定し、
前記判定が肯定的である場合、符号化の複雑さを軽減するように、前記インナーマクロブロックのそれぞれについて前記ビデオエンコーダの前記パラメータを構成するようにさらに構成された、請求項１１に記載の装置。

【請求項13】

前記パラメータの前記構成が、より透明なマクロブロックがより多くの圧縮を受けられるように、各インナーマクロブロックに前記統計値の関数として適用される圧縮量を構成することを含む、請求項１１または１２に記載の装置。

【請求項14】

前記プロセッサが、前記遷移マクロブロックのそれぞれについて前記透明度値の統計値を決定するようにさらに構成され、また前記符号化ヒント生成器が、より透明なマクロブロックがより多くの圧縮を受けられるように、各遷移マクロブロックに前記統計値の関数として適用される圧縮量を構成するようにさらに構成される、請求項１３に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像符号化の分野に関し、詳細には、透明度情報を使用した、ビデオストリームの符号化の分野に関する。

【背景技術】

【0002】

透明度チャンネルは、様々なライブ映像のソースを単一のビデオストリームに合成するために、多くの応用例でますます使用されている。

【0003】

現在のところ、ＹＵＶ／ＲＧＢチャンネルおよび考えられる深度情報に対する符号化を実行する際に透明度情報を効率的に考慮する方法はない。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Ｈ．２６４勧告

【発明の概要】

【発明が解決しようとする課題】

【0005】

したがって、符号化のメカニズムを改善するために、特に、出力ビデオ速度および／または計算の複雑さを低減するために、利用可能な透明度情報を活用することが、本発明の実施形態の目的である。

【課題を解決するための手段】

【0006】

本発明の態様によれば、マクロブロックに分割されたビデオストリームを符号化スキームを使用して符号化するための方法であって、ビデオストリームが、透明度レベルチャンネルを含み、方法が、マクロブロックを、透明度情報チャンネルによって提供される透明度値が実質的に均一であるインナーマクロブロックと、透明度レベルチャンネルによって提供される透明度値が実質的に均一でない遷移マクロブロックに分類するステップと、インナーマクロブロックのそれぞれについて透明度値の統計値を決定するステップと、それぞれの統計値の関数において、インナーマクロブロックのそれぞれについて符号化スキームのそれぞれのパラメータを構成するステップとを含む、方法が提供される。

【0007】

本願を通じて、「マクロブロック」という用語は、符号化スキームの符号化単位を指定するために使用される。用語「マクロブロック」は、Ｈ．２６４勧告で定義されており、また通常、当該勧告に従って符号化と関連しているが、この用語は、他の符号化スキームで使用される同等な符号化単位を含むように理解されるであろう。

【0008】

ビデオストリーム（すなわち、ＹＵＶ／ＲＧＢチャンネルおよび考えられる深度情報）が、マクロブロック単位ベースでコンテンツの不透明度／透明度を考慮する形で符号化されることは、本発明による方法の利点である。したがって、（当該マクロブロックに対する透明度値の平均値、中央値、または他の関連する統計値によって決定されるとおりに）透明なコンテンツを優勢に含むマクロブロックが、より効率的で、品質を落とした１組のパラメータを使用して、符号化可能である。こうしたパラメータは、Ｈ．２６４やＨＥＶＣなどのコーデックについての知られている手法に従って、「符号化ヒント」として構成される。透明度に関しては、均一であるとして扱うことができ、一般に、不透明度レベルの（明確な）遷移が起きるマクロブロックよりもより効率的に符号化できるマクロブロック間で違いを識別できることは、本発明による方法のさらなる利点である。

【0009】

本発明による方法の一実施形態では、統計値が、平均透明度レベルまたは中央透明度レベル（ｍｅｄｉａｎ ｔｒａｎｓｐａｒｅｎｃｙ ｌｅｖｅｌ）であり、パラメータを構成するステップが、統計値が所定の値を上回るかを判定するステップと、判定が肯定的である場合、符号化の複雑さを軽減するように、インナーマクロブロックのそれぞれについて符号化スキームのパラメータを構成するステップとを含む。

【0010】

特定のインナーマクロブロックについて符号化の複雑さを軽減するかどうかを判定するために、比較的単純な閾値ベースの評価が使用されることは、本実施形態の利点である。「透明度レベル」は、マクロブロックにおける画素の透明度の程度を表すパラメータであり、「透明度レベル」が高いことは、極めて透明なコンテンツを意味すると理解される。この表現は、透明度が実際には「不透明度レベル」（例えば、「アルファ」パラメータ）によって符号化されている、「不透明度レベル」が低いことが極めて透明なコンテンツを指定するために使用される実施形態、したがってこの場合、低「不透明度レベル」が高「透明度レベル」に対応する実施形態を除外することを意図するものではない。

【0011】

本発明による方法の一実施形態では、パラメータを構成するステップが、デブロッキングフィルタおよび適応ループフィルタのうちの少なくとも１つを無効化するステップを含む。

【0012】

特定の実施形態では、マクロブロックが、フレームの水平方向に区分された部分を表すスライスにグループ化され、方法が、遷移マクロブロックを含む各スライスについて、デブロッキングフィルタおよび適応フィルタのうちの少なくとも１つを無効化するステップをさらに含む。

【0013】

これらの実施形態は、ビデオストリームの実質的に透明な部分における、ブロッキングアーティファクトなどのアーティファクトが、著しくは乱れていないという、発明者の洞察に基づく。したがって、これらの実施形態は、デブロッキングフィルタおよび／または適応ループフィルタを選択的に無効化することにより、符号化の効率性を改善する。

【0014】

本発明による方法の一実施形態では、パラメータを構成するステップが、イントラ予測を１６×１６ＤＣモードに設定するステップを含む。

【0015】

本実施形態は、ビデオストリームの実質的に透明な部分における粗い補間が、画像全体を著しくは劣化させないという、発明者の洞察に基づく。したがって、本実施形態は、補間エンジンをより粗いモードに選択的に設定することにより、符号化の効率性を改善する。

【0016】

本発明による方法の一実施形態では、パラメータを構成するステップが、動き推定モードをＰ＿ＳＫＩＰモードに変えるステップを含む。

【0017】

本実施形態は、ビデオストリームの実質的に透明な部分における粗い動き推定が、画像全体を著しくは劣化させないという、発明者の洞察に基づく。したがって、本実施形態は、動き推定を選択的に無効化することにより、符号化の効率性を改善する。

【0018】

特定の実施形態では、方法が、各遷移ブロックについて、遷移ブロックをサブブロックに区分するステップであって、透明度レベルの遷移を含むサブブロックの数を最小化するように実行される、区分するステップをさらに含む。

【0019】

本実施形態は、透明度情報における遷移の発生を考慮する。遷移を正確に表すこと、すなわちおそらく明確であることと、基礎となる色（および任意選択で深度）情報を効率的に符号化することとの間でバランスが取られることは、本実施形態の利点である。適用された区分の結果として、透明度レベルの遷移を含まないサブブロックは、そこから、「インナーサブブロック」として扱われ、「インナーブロック」に関して、先に述べた扱いを受ける場合がある。

【0020】

本発明による方法の一実施形態では、パラメータを構成するステップが、より透明なマクロブロックがより多くの圧縮を受けられるように、各インナーマクロブロックに統計値の関数として適用される圧縮量を構成するステップを含む。

【0021】

特定の実施形態では、方法は、遷移マクロブロックのそれぞれについて透明度値の統計値を決定するステップと、より透明なマクロブロックがより多くの圧縮を受けられるように、各遷移マクロブロックに統計値の関数として適用される圧縮量を構成するステップとをさらに含む。

【0022】

ビデオストリーム（すなわち、ＹＵＶ／ＲＧＢチャンネルおよび考えられる深度情報）の符号化が、マクロブロック単位ベースでコンテンツの不透明度／透明度を考慮する形で適応的な圧縮速度で実行されることは、これらの実施形態の利点である。したがって、透明なコンテンツを優勢に含むマクロブロックが、より多くの圧縮（例えば、より高いＱＰ値）を使用し、したがってより品質を落とした状態で、符号化されることになる。こうしたパラメータは、Ｈ．２６４やＨＥＶＣなどのコーデックについての知られている手法に従って、「符号化ヒント」として構成される。

【0023】

本発明の態様によれば、上述の方法を実行するためのソフトウェア手段を含む、コンピュータプログラムが提供される。

【0024】

本発明の態様によれば、マクロブロックに分割されたビデオストリームを符号化するための装置であって、ビデオストリームが、透明度レベルチャンネルを含み、装置が、符号化スキームに従ってビデオストリームを符号化するように構成されたビデオエンコーダと、マクロブロックを、透明度情報チャンネルによって提供される透明度値が実質的に均一であるインナーマクロブロックと、透明度レベルチャンネルによって提供される透明度値が実質的に均一でない遷移マクロブロックに分類するための分類エンジンと、インナーマクロブロックのそれぞれについて透明度値の統計値を計算するためのプロセッサと、それぞれの統計値の関数において、インナーマクロブロックのそれぞれについてビデオエンコーダのパラメータを構成するように構成された符号化ヒント生成器とを備える。

【0025】

本発明による装置の一実施形態では、統計値が、平均透明度レベルまたは中央透明度レベルであり、符号化ヒント生成器が統計値が所定の値を上回るかを判定し、判定が肯定的である場合、符号化の複雑さを軽減するように、インナーマクロブロックのそれぞれについてビデオエンコーダのパラメータを構成するようにさらに構成される。

【0026】

本発明による装置の一実施形態では、パラメータの構成が、より透明なマクロブロックがより多くの圧縮を受けられるように、各インナーマクロブロックに統計値の関数として適用される圧縮量を構成することを含む。

【0027】

特定の実施形態では、プロセッサが、遷移マクロブロックのそれぞれについて透明度値の統計値を決定するようにさらに構成され、また符号化ヒント生成器が、より透明なマクロブロックがより多くの圧縮を受けられるように、各遷移マクロブロックに統計値の関数として適用される圧縮量を構成するようにさらに構成される。

【0028】

本発明の実施形態によるコンピュータプログラムおよび装置の技術的な効果ならびに利点は、必要な変更を加えるものの、本発明による方法の対応する実施形態とともに存在する技術的な効果および利点に一致する。

【0029】

次に、本発明の実施形態による装置および／または方法のいくつかの実施形態を、単に例示を目的として、添付の図を参照しながら説明する。

【図面の簡単な説明】

【0030】

【図1】本発明による方法の一実施形態の流れ図である。

【図2】本発明による装置の一実施形態の概略図である。

【発明を実施するための形態】

【0031】

本発明の実施形態はとりわけ、ビデオストリームの、透明のままであることが意図される部分が、品質を落としても、最終（合成）ビデオストリームの全体的な品質を目に見えて劣化させることなく、再生可能であるという、発明者の洞察に基づく。

【0032】

本発明の実施形態はさらに、これらの部分の品質に対する要求の緩和は、好都合なことに、符号化のステップの間、符号化の複雑さおよび／またはビデオストリームのビットレートを低減するために考慮することができるという、発明者の洞察に基づく。

【0033】

本発明の実施形態による符号化の効率性を改善するためにエンコーダ側で行われる一定の選択はまた、復号化プロセスの複雑さの軽減につながる。

【0034】

本発明の実施形態は、以下、Ｈ．２６４エンコーダおよびＨＥＶＣエンコーダの文脈の中で説明されるが、これは分かりやすくする目的のみのために行われ、本発明の範囲を限定することを意図するものではない。本発明の原理はまた、透明度情報を含めることを可能にする、様々なタイプのブロックベースのエンコーダに適合することを当業者なら理解するであろう。また、用語「アルファチャンネル」（式ではαとして示される）は、「透明度情報チャンネル」の代表的な例として使用されるが、本発明を、透明度情報が具体的に実際「アルファチャンネル」という名前または形で提供されるコーデックに限定することを意図するものではない。

【0035】

説明を通じて、「実質的に透明な」画素、ブロック、マクロブロック、またはスライスに言及することになる。画素が「実質的に透明である」のかを判定できるよう適用する、人が選択する厳密な閾値にかかわらず、本発明の原理が適合することが当業者には理解されよう。本発明の文脈の中では、完全に透明な画素のみを実質的に透明であると見なすことができる。また、不透明度が５０％未満（もしくは５０％に等しい）、または場合によっては２５％未満（もしくは２５％に等しい）画素を実質的に透明であると見なすこともできる。また、５０％前後の不透明度である場合がある、別の閾値を適用することもできる。また、様々な閾値が、本発明の様々な段階に適用されてもよい。

【0036】

本発明の範囲を限定することを意図するのではなく、本発明の態様を示すために、以下の数学的表現を取り上げて利用可能な透明度情報について論じることができる。この数学的表現の詳細は、本出願人の名において、本願と同日に、出願番号ＥＰ１２３０５６１７．８で出願され、その内容がこの引用によりその全体が組み込まれる、名称「Ｍｅｔｈｏｄ ａｎｄ ａｐｐａｒａｔｕｓ ｆｏｒ ｅｎｃｏｄｉｎｇ ａ ｖｉｄｅｏ ｓｔｒｅａｍ ｈａｖｉｎｇ ａ ｔｒａｎｓｐａｒｅｎｃｙ ｉｎｆｏｒｍａｔｉｏｎ ｃｈａｎｎｅｌ」の出願において示されている。

【0037】

アルファ画像は、サポートドメインおよび次の陰関数を伴うセグメント化された領域によって数学的に考察される。
Ｆ（ｘ，ｙ，ｚ）＝Ｆ（ｉ，ｊ，α）＝０
この数学的表現は、陰関数の合成として定義されている。Ｆ（ｘ，ｙ，ｚ）と示されるこれらの関数は、３次元空間において（ｘ，ｙ，ｚ）座標で定義されており、組（ｘ，ｙ）は、アルファ画素の（ｉ，ｊ）画素座標に等しく、ｚ座標は（ｉ，ｊ）におけるアルファ値である。関数Ｆは、例えば、以下を例とする、半径ｒの球面であることがある。
Ｆ（ｘ，ｙ，ｚ）＝ｘ^２＋ｙ^２＋ｚ^２−ｒ^２＝０
関数Ｆは、次のようである係数ａ_{ｍ，ｎ，ｐ}によって完全に定義された、（ｘ，ｙ，ｚ）の一般化された多項式である。

【0038】

【数1】

関数Ｆはまた、（ｘ，ｙ）座標における矩形領域によって示されるサポートドメイン上で定義されてもよい。

【0039】

関数の合成（例えば、平面の真ん中の半球）は、（ｘ，ｙ）の組が２つの考えられるアルファ値を受信した場合、最も高いアルファ値のみが（不透明であり過ぎるぐらいの状態で）（ｘ，ｙ）の組に関係することになるという特定の規則のもとで、それぞれのサポートドメインを伴う関数によって定義される。

【0040】

こうした表現の利点は、アルファ形状または深度値のスムーズな遷移に関する正確な表現が可能になることである。さらに、画像の拡大縮小または再サンプリングの場合に、アルファチャンネルは、品質のいかなる低下も伴わず、再計算することができる。

【0041】

アルファチャンネルの「情報事前分布（ｉｎｆｏｒｍａｔｉｏｎ ｐｒｉｏｒ）」または「ヒント」は、ＹＵＶ／ＲＧＢチャンネルの符号化を簡略化するために使用される。アルファチャンネルからもたらされる情報事前分布によって簡略化もしくは迅速化が可能なＡＶＣまたはＨＥＶＣエンコーダの機能ブロックの中には、以下がある：
− 幾何学的形状がアルファチャンネル上で利用可能である場合の、イントラ予測方向およびイントラ予測区分
− 対象物をアルファチャンネルから導き出すことができる場合の、インター予測区分および動き情報（探索領域など）
− 形状がアルファチャンネルで利用可能である場合のループフィルタパラメータ
− レート制御パラメータ
これらの機能ブロックのうちの任意の１つまたは複数は、本発明に従って使用することができる。

【0042】

以下、第１の実施形態を、図１を参照しながら説明する。

【0043】

本発明によれば、以下「インナーマクロブロック」と呼ばれる、実質的に均一な透明度レベルをもつマクロブロックと、以下「遷移マクロブロック」と呼ばれる、均一でない透明度レベルをもつマクロブロックに有利に区分される（１００）。

【0044】

本発明による方法の一実施形態を、以下で、分析および決定が単一のフレーム（「現在のフレーム」）に基づくと仮定して説明するが、１つまたは複数の前のフレームから得られる情報を分析に含めることが一般におそらく有利であることが当業者には理解されよう。したがって、透明度情報が前のフレームから現在のフレームにかけてあまり変わっていないことが判定された場合、先に確立された、インナーマクロブロックと遷移マクロブロックとの間の区分は、この方法の効率性を改善するために、少なくとも部分的に再利用可能である。

【0045】

例によって、方法は、２つのＹＵＶチャンネルを入力として有するとともに１つのアルファチャンネルを有する、Ｈ．２６４エンコーダに適用される。アルファチャンネルは、コンテンツのセグメンテーションを表すことができるか、アプリケーション（例えば、ピクチャインピクチャアプリケーション）によって定義することができる、透明度値を含む。適切な場合には、ＨＥＶＣエンコーダに関連する修正について言及されることになる。分かりやすくするために、様々なチャンネルは、図１において個別には図示されていない。

【0046】

符号化プロセスは、実質的に透明なマクロブロックに対し、圧縮を拡大できる（したがって、ビットレートおよび品質レベルは下げられる）ような形で、マクロブロック単位ベースで誘導される。このレート制御１１０は、好ましくは、以下のように実現される：
− インナーマクロブロックの場合、ＱＰパラメータは、関数ｔ（α，ＱＰ）に基づいて構成され（増分され）、ここでαは、当該マクロブロック上のアルファ値の平均値であり、ＱＰは、以下の制限条件を使用して、このマクロブロックのためにエンコーダによって選択された最初のＱＰである：
αの値が低い（実質的に透明な画素である）場合、ＱＰは、最大（視覚的に許容できる最低の品質）であるものとする。
αの値が高い（実質的に不透明な画素である）場合、ＱＰは、修正されないものとする。
− 遷移マクロブロックの場合、ＱＰは、インナーマクロブロックの場合と同じ形で、マクロブロック上のアルファ値の中央値によって修正される。平均値におけるメディア値の利点は、それが（画素数の点で）最も代表的なマクロブロック領域を支持し、それをマクロブロック全体の代表と見なすであろう点である。

【0047】

（インナーマクロブロックに対する）平均アルファ値および（遷移マクロブロックに対する）中央アルファ値の使用は、特に有利であり、計算的に単純であるが、他の統計値も使用できる。

【0048】

レート制御１１０は、具体的には次のように実現可能である。Ｒ_１が第１のＹＵＶチャンネルのピクチャ当たりの合計レートである（Ｒ_１はＩ、Ｐ、またはＢフレームによって異なる）場合、対応する透明度α_１をもつ当該ＹＵＶチャンネルの各マクロブロックｍ_１は、ヒント付きレートをα_１およびＲ_１の関数として取得することになる（１１１）。有利なことに、ヒント付きレートは、α_１×Ｒ_１／Ｍ_１に設定され、ここでＭ_１は、当該ＹＵＶチャンネルのフレームにおけるマクロブロックの数に等しい。同様に、透明度α_２＝（１−α_１）である、他のＹＵＶチャンネルのマクロブロックｍ_２は、ヒント付きレートを、好都合なことに（１−α_１）＊Ｒ_２／Ｍ_２であるα_２およびＲ_２の関数として受信する（１１２）が、ここでＲ_２は、第２のＹＵＶチャンネルのピクチャ当たりのレートであり、Ｍ_２は、第２のＹＵＶチャンネルのフレームにおけるマクロブロックの数である。

【0049】

本発明の実施形態では、アルファチャンネルにおいて定義され、効果的な圧縮のための優先方向としてヒント付けされた、形状のエッジに従って、ＹＵＶ符号化ストリームのイントラ予測方向が決定される（１２０）。これは、符号化および復号化の計算の複雑さを軽減するとともに、視覚的な品質を改善するという利点をもたらす。

【0050】

好ましくは、マクロブロックが遷移マクロブロックである場合、アルファ遷移を当該マクロブロック上に最適に適合させるために、イントラ予測モードの方向が選択されるようにする（１２１）。好ましくは、マクロブロックがインナーマクロブロックであり、平均アルファ値が閾値ｔ（α，ＱＰ）よりも低い場合（１２２）、１６×１６ＤＣモードなどの、複雑さの少ないモードが選択される（１２３）。

【0051】

本発明の実施形態では、移動対象物がアルファチャンネル形状によって視覚的に示されている場合、探索領域などの動き推定情報、動き区分、および動き方向がヒント付けされる（１３０）。これにより、（実質的に）透明な画素に対する不必要な動きベクトルシグナリングを回避することで、符号化および復号化、特にＨ．２６４符号化および復号化の動き推定部分の計算の複雑さを軽減できる。

【0052】

好ましくは、マクロブロックが遷移マクロブロックである場合、当該遷移を表す最良の区分が、エンコーダにヒント付けされる（１３１）。この「最良の」区分とは、領域境界が交差するサブブロックの数が最小である区分である。好ましくは、マクロブロックがインナーマクロブロックであり、平均アルファ値が閾値ｔ（α，ＱＰ）よりも低い場合（１３２）、Ｐ＿ＳＫＩＰモードなどの、複雑さの少ないモードが選択されることになる（１３３）。

【0053】

Ｈ．２６４のデブロッキングフィルタまたはＨＥＶＣの適応ループフィルタは、アルファチャンネルの形状エッジの存在とに応じて、所与のマクロブロックエッジに対し、オンまたはオフすることができる（１４０）。フィルタをオフにすると、符号化および復号化の計算の複雑さが軽減される。決定は、好ましくは、スライス単位ベースで行われる。「スライス」は、スライス単位ベースによって、隣接するマクロブロックを水平方向にグループ化したものである。

【0054】

好ましくは、スライスのマクロブロックの大部分が、所定の閾値ｔ（α）を下回るアルファ値をもつインナーマクロブロック（すなわち、実質的に透明なマクロブロック）である場合（１４３）、デブロッキングフィルタは、当該スライスについて無効化される（１４２）。好ましくは、遷移マクロブロックがスライスにある場合（１４１）、デブロッキングフィルタは、当該スライスについて無効化されることになる（１４２）。別の場合、フィルタに関する符号化ヒントは、省略される場合がある。

【0055】

深度チャンネルが追加入力として存在する場合、深度量子化のレートはさらに、透明度値に従って構成されてもよく、そこでは、より透明な領域が、深度チャンネルにおける精細度の少ない量子化を要求する。好ましくは、２つのＹＵＶチャンネルマクロブロックの符号化率は次いで、以下を例とする、関心のある透明度および深度の両方の関数に従って構成される：

【0056】

【数2】

ここでは、ｆ（ｄｅｐｔｈ_１）は、所与の深度に対して求められる品質を表す関数である。

【0057】

動き推定もまた、探索領域を、対応するアルファに一致した、また深度に一致した領域、すなわち、アルファ値の分散および深度値の分散が小さくなる領域に限定することにより、深度値に基づいてヒント付けされてもよい。

【0058】

Ｈ．２６４およびＨＥＶＣの代わりの選択肢として使用される場合がある、テンプレートマッチングベースの映像符号化では、ヒント付けは、現在のフレームの既に符号化され、再構築された領域における相関関係の探索に限定されてもよい（現在のフレームの既に符号化された領域内の動き推定であり、領域は、現在の処理対象の画像ブロックの上および左の領域である）。本発明の任意の実施形態によれば、探索領域は、アルファチャンネルの形状および値によって、すなわち隣接する不透明な形状によって限定される。

【0059】

図２は、透明度レベルチャンネルを含む、マクロブロックに分割されたビデオストリームを符号化するための装置２００を示す。分かりやすくする目的のために、入力インタフェースおよび出力インタフェースは詳細には示されていない。（符号化前および符号化後の）ビデオストリームが、簡略化した形で、太い矢印として示されている。装置２００の様々なブロック間で交換された情報（マクロブロック分類情報、計算された統計値、および符号化ヒントを含む）が、通常の矢印として示されている。装置２００は、Ｈ．２６４やＨＥＶＣなどの符号化スキームに従ってビデオストリームを符号化するように構成されたビデオエンコーダ２１０を備える。装置２００は、透明度情報チャンネルによって提供される透明度値が実質的に均一か、均一でないかに従って、ビデオストリームのマクロブロックをインナーマクロブロックと遷移マクロブロックに分類するための分類エンジン２２０をさらに備える。装置２００は、インナーマクロブロックのそれぞれについて透明度値の統計値を計算するための、分類エンジン２２０に作動的に結合されたプロセッサ２３０をさらに備える。プロセッサ２３０およびビデオエンコーダ２１０に作動的に結合された符号化ヒント生成器２４０が提供され、それぞれの統計値の関数において、インナーマクロブロックのそれぞれについてビデオエンコーダ２１０のパラメータを構成するように構成される。

【0060】

好ましくは、統計値は、平均透明度レベルまたは中央透明度レベルであり、符号化ヒント生成器２４０はさらに、統計値が所定の値を上回るかを判定するように構成される。その場合（すなわち、判定が肯定的な結果を生む場合）、ビデオエンコーダ２１０のパラメータは、符号化の複雑さを軽減するように、そうした各インナーマクロブロックについて構成される。

【0061】

パラメータの構成は、より透明なマクロブロックがより多くの圧縮を受けられるように、各インナーマクロブロックに統計値の関数として適用される圧縮量（例えば、ＱＰパラメータ）を構成することを含んでもよい。

【0062】

プロセッサ２３０はさらに、遷移マクロブロックのそれぞれについて透明度値の統計値を決定するように構成されてもよい。対応する符号化ヒント生成器２４０は、次いで、より透明なマクロブロックがより多くの圧縮を受けられるように、各遷移マクロブロックに統計値の関数として適用される圧縮量を構成するように構成される。

【0063】

方法および装置は、別個の実施形態として先に述べられているが、これは分かりやすくする目的のみのために行われ、方法の実施形態に関連してのみ説明された特徴が、同じ技術的な効果および利点を得るために本発明による装置に適用されてもよく、また逆も同様であることに留意されたい。

【0064】

「プロセッサ」として分類された任意の機能ブロックを含む、図に示される様々な要素の機能は、専用のハードウェア、ならびに適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアを使用することによって、提供されてもよい。プロセッサによって提供されるとき、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、またはその一部を共有することができる複数の個々のプロセッサによって、提供されてもよい。さらに、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に指すものと解釈されるべきではなく、暗黙的に、デジタル信号プロセッサ（ＤＳＰ）のハードウェア、ネットワークプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ソフトウェアを記憶するための読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、および不揮発性記憶装置を非限定的に含んでもよい。また、従来の、および／または特注の、他のハードウェアも含まれてもよい。同様に、図に示されるあらゆるスイッチは単に概念的なものである。それらの機能は、プログラム論理の動作によって、専用論理によって、プログラム制御と専用論理の相互作用によって、またはさらには手動で実施されてもよく、文脈からより具体的に理解されるように、特定の技術が実装者によって選択可能である。

【0065】

当業者であれば、様々な前述の方法のステップが、プログラムされたコンピュータによって実行され得ることを容易に認識するであろう。本明細書において、一部の実施形態は、例えばデジタルデータ記憶媒体などのプログラム記憶デバイスを包含することも意図されるが、このプログラム記憶デバイスとは、マシンまたはコンピュータにより読み取り可能であり、またマシンが実行可能なまたはコンピュータが実行可能な、命令のプログラムを符号化し、前記命令が前記前述の方法のステップの一部またはすべてを実行するものである。

【0066】

プログラム記憶デバイスは、例えば、デジタルメモリ、磁気ディスクや磁気テープなどの磁気記憶媒体、ハードドライブ、または光学的に読み取り可能なデジタルデータ記憶媒体などでもよい。各実施形態は、前述の方法の前記ステップを実施するためにプログラムされたコンピュータを包含することも意図される。

【図1】

【図2】