特許 6067563 ブロックに基づいたミクスドレゾリューションのデータプルーニングを使用した映像符号化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6067563

(24)【登録日】2017年1月6日

(45)【発行日】2017年1月25日

(54)【発明の名称】ブロックに基づいたミクスドレゾリューションのデータプルーニングを使用した映像符号化

(51)【国際特許分類】

   H04N 19/132 20140101AFI20170116BHJP

   H04N 19/14 20140101ALI20170116BHJP

   H04N 19/176 20140101ALI20170116BHJP

   H04N 19/85 20140101ALI20170116BHJP

【ＦＩ】

   H04N19/132

   H04N19/14

   H04N19/176

   H04N19/85

【請求項の数】14

【全頁数】22

(21)【出願番号】特願2013-528309(P2013-528309)

(86)(22)【出願日】2011年9月9日

(65)【公表番号】特表2013-539934(P2013-539934A)

(43)【公表日】2013年10月28日

(86)【国際出願番号】US2011050919

(87)【国際公開番号】WO2012033966

(87)【国際公開日】20120315

【審査請求日】2014年8月22日

(31)【優先権主張番号】61/403,087

(32)【優先日】2010年9月10日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ザン，ドン−チン

【審査官】 久保 光宏

(56)【参考文献】

【文献】 特開２００６−２０３７４４（ＪＰ，Ａ）

【文献】 特開２００４−２２２２１８（ＪＰ，Ａ）

【文献】 特開２００５−３０３５３５（ＪＰ，Ａ）

【文献】 特開２００８−２７８０４２（ＪＰ，Ａ）

【文献】 特開２００４−２８０６３３（ＪＰ，Ａ）

【文献】 特開２０１１−１５１５５５（ＪＰ，Ａ）

【文献】 特表２０１０−５１４３２５（ＪＰ，Ａ）

【文献】 国際公開第２００８／０６６０２５（ＷＯ，Ａ１）

【文献】 嶋内和博（外２名），「JPEGを利用した適応的多重解像度変換を伴う画像符号化方式」，第１７回 回路とシステム軽井沢ワークショップ論文集，日本，電子情報通信学会 システムと信号処理サブソサイエティ，２００４年 ４月２７日，第１４７〜１５２頁

【文献】 K.R.Rao（外１名）著，安田浩（外１名）監訳，「デジタル放送・インターネットのための情報圧縮技術」，日本，共立出版株式会社，１９９９年 ６月１０日，初版，第６０〜６１頁（第5.6節と図5.20(a)），ISBN:4-320-02936-4

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

ＣＳＤＢ（日本国特許庁）

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

映像系列におけるピクチャを符号化する方法であって、
前記ピクチャのオリジナルバージョンから周波数領域において除去されるべき１以上のオリジナルブロックを識別する段階と、
前記除去されるべき１以上のオリジナルブロックについて１以上の平坦な置換えブロックをそれぞれ生成することで、前記ピクチャの除去されたバージョンを周波数領域において生成する段階と、
前記ピクチャの除去されたバージョンを回復するためのメタデータを生成する段階と、前記メタデータは、前記１以上の平坦な置換えブロックの位置情報を含み、
少なくとも１つのエンコーダを使用して、前記ピクチャの除去されたバージョンと前記メタデータを符号化する段階と、
を含み、
前記ピクチャの除去されたバージョンは、前記ピクチャのオリジナルバージョンを複数のブロックに分割し、前記除去されるべき１以上のオリジナルブロックを前記１以上の平坦な置換えブロックでそれぞれ置き換えることで生成され、
前記１以上の平坦な置換えブロックの少なくとも１つにおける全ての画素は、同じ色値又は低解像度のうちの１つを有し、前記低解像度は、前記除去されるべき１以上のオリジナルブロックに関して決定される、
方法。

【請求項2】

前記同じ色値は、前記複数のブロックの前記少なくとも１つのブロック内の前記全ての画素の平均の色値に等しい、
請求項１記載の方法。

【請求項3】

前記ピクチャの除去されたバージョンは、混合された解像度のピクチャである、
請求項１記載の方法。

【請求項4】

前記１以上の除去されたブロックは、前記除去されるべき１以上のオリジナルブロックのそれぞれのブロックよりも、特定の周波数を超える周波数では、より少ない情報を含む、
請求項１記載の方法。

【請求項5】

前記位置情報は、前記１以上の平坦な置換えブロックの座標情報を含む、
請求項１記載の方法。

【請求項6】

前記除去されるべき１以上のオリジナルブロックを識別する段階は、前記ピクチャのオリジナルバージョンから除去されるべき１以上のオリジナルブロックを識別する識別プロセスを実行する段階を含み、
前記除去されるべき１以上のオリジナルブロックの所与の１つのブロックは、指定された周波数よりも大きい、前記除去されるべき１以上のオリジナルブロックの前記所与の１つのブロックの信号成分のエネルギーの量に基づいて、前記識別プロセスにより識別される、
請求項１記載の方法。

【請求項7】

前記メタデータは、前記識別プロセスに関して誤検出のブロックの位置情報と、見逃したブロックの位置情報とを含む、
請求項６記載の方法。

【請求項8】

映像系列におけるピクチャを符号化する装置であって、
前記ピクチャのオリジナルバージョンから周波数領域において除去されるべき１以上のオリジナルブロックを識別する手段と、
前記除去されるべき１以上のオリジナルブロックについて１以上の平坦な置換えブロックをそれぞれ生成することで、周波数領域において前記ピクチャの除去されたバージョンを生成する手段と、
前記ピクチャの除去されたバージョンを回復するためのメタデータを生成する手段と、前記メタデータは、前記１以上の平坦な置換えブロックの位置情報を含み、
前記ピクチャの除去されたバージョンと前記メタデータを符号化する手段と、
を備え、
前記ピクチャの除去されたバージョンは、前記ピクチャのオリジナルバージョンを複数のブロックに分割し、前記除去されるべき１以上のオリジナルブロックを前記１以上の平坦な置換えブロックでそれぞれ置き換えることで生成され、
前記１以上の平坦な置換えブロックの少なくとも１つにおける全ての画素は、同じ色値又は低解像度のうちの１つを有し、前記低解像度は、前記除去されるべき１以上のオリジナルブロックに関して決定される、
装置。

【請求項9】

前記同じ色値は、前記複数のブロックの前記少なくとも１つのブロック内の前記全ての画素の平均の色値に等しい、
請求項８記載の装置。

【請求項10】

前記ピクチャの除去されたバージョンは、混合された解像度のピクチャである、
請求項８記載の装置。

【請求項11】

前記１以上の除去されたブロックは、前記除去されるべき１以上のオリジナルブロックのそれぞれのブロックよりも、特定の周波数を超える周波数では、より少ない情報を含む、
請求項８記載の装置。

【請求項12】

前記位置情報は、前記１以上の平坦な置換えブロックの座標情報を含む、
請求項８記載の装置。

【請求項13】

前記識別する手段は、前記ピクチャのオリジナルバージョンから除去されるべき１以上のオリジナルブロックを識別する識別プロセスを実行し、
前記除去されるべき１以上のブロックの所与の１つのブロックは、指定された周波数よりも大きい、前記除去されるべき１以上のオリジナルブロックの前記所与の１つのブロックの信号成分のエネルギーの量に基づいて、前記識別プロセスにより識別される、
請求項８記載の装置。

【請求項14】

前記メタデータは、前記識別プロセスに関して誤検出のブロックの位置情報と、見逃したブロックの位置情報を含む、
請求項１３記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像符号化及び復号化に関し、より詳細には、映像圧縮効率を改善するための、ブロックに基づいたミクスドレゾリューションのデータプルーニング（mixed-resolution data pruning）の方法及び装置に関する。

【0002】

本出願は、2010年9月10日に提出された“BLOCK-BASED MIXED-RESOLUTION DATA PRUNING FOR IMPROVING VIDEO COMPRESSION EFFICIENCY”と題された米国特許仮出願第61/403087号（Technicolor Docket No.PU100194）の利益を特許請求するものである。

【0003】

本出願は、以下の同時係属の共同所有された特許出願に関連する。
(1) 2011年1月20日に提出された“A SAMPLING-BASED SUPER-RESOLUTION APPROACH FOR EFFICIENT VIDEO COMPRESSION”と題された国際特許出願（PCT/US 11/000107）（Technicolor Docket No.PU100004）；
(2) 2011年1月21日に提出された“DATA PRUNING FOR VIDEO COMPRESSION USING EXAMPLE-BASED SUPER-RESOLUTION”と題された国際特許出願（PCT/US 11/000117）（Technicolor Docket No.PU100014）；
(3) 2011年9月XX日に提出された“METHODS AND APPARATUS FOR ENCODING VIDEO SIGNALS USING MOTION COMPENSATED EXAMPLE-BASED SUPER-RESOLUTION FOR VIDEO COMPRESSION”と題された国際特許出願（XXXX）（Technicolor Docket No.PU100190）；
(4) 2011年9月XXに提出された“METHODS AND APPARATUS FOR DECODING VIDEO SIGNALS USING MOTION COMPENSATED EXAMPLE-BASED SUPER-RESOLUTION FOR VIDEO COMPRESSION”と題された国際特許出願（XXXX）（Technicolor Docket No.PU100266）；
(5) 2011年9月XX日に提出された“METHODS AND APPARATUS FOR ENCODING VIDEO SIGNALS USING EXAMPLE-BASED DATA PRUNING FOR IMPROVED VIDEO COMPRESSION EFFICIENCY”と題された国際特許出願（XXXX）（Technicolor Docket No.PU100193）；
(6) 2011年9月XX日に提出された“METHODS AND APPARATUS FOR DECODING VIDEO SIGNALS USING EXAMPLE-BASED DATA PRUNING FOR IMPROVED VIDEO COMPRESSION EFFICIENCY”と題された国際特許出願（XXXX）（Technicolor Docket No.PU100267）；
(7) 2011年9月XX日に提出された“METHODS AND APPARATUS FOR DECODING VIDEO SIGNALS FOR BLOCK-BASED MIXED-RESOLUTION DATA PRUNING”と題された国際特許出願（XXXX）（Technicolor Docket No.PU100268）；
(8) 2011年9月XX日に提出された“METHODS AND APPARATUS FOR EFFICIENT REFERENCE DATA ENCODING FOR VIDEO COMPRESSION BY IMAGE CONTENT BASED SEARCH AND RANKING”と題された国際特許出願（XXXX）（Technicolor Docket No.PU100195）；
(9) 2011年9月XX日に提出された“METHOD AND APPARATUS FOR EFFICIENT REFERENCE DATA DECODING FOR VIDEO COMPRESSION BY IMAGE CONTENT BASED SEARCH AND RANKING”と題された国際特許出願（XXXX）（Technicolor Docket No.PU110106）；
(10) 2011年9月XX日に提出された“METHOD AND APPARATUS FOR ENCODING VIDEO SIGNALS FOR EXAMPLE-BASED DATA PRUNING USING INTRA-FRAME PATCH SIMILARITY”と題された国際特許出願（XXXX）（Technicolor Docket No.PU100196）；
(11) 2011年9月XX日に提出された“METHOD AND APPARATUS FOR DECODING VIDEO SIGNALS WITH EXAMPLE-BASED DATA PRUNING USING INTRA-FRAME PATCH SIMILARITY”と題された国際特許出願（XXXX）（Technicolor Docket No.PU100269）；及び
(12) 2011年9月XX日に提出された“PRUNING DECISION OPTIMIZATION IN EXAMPLE-BASED DATA PRUNING COMPRESSION”と題された国際特許出願（XXXX）（Technicolor Docket No.PU10197）。

【背景技術】

【0004】

映像圧縮効率を改善するためのデータプルーニングについて幾つかの異なるアプローチが存在する。例えば、第一のアプローチは、垂直及び水平ラインの除去である。第一のアプローチは、符号化前にビデオフレームにおける垂直及び水平ラインを除去し、復号化後に非線形補間によりラインを回復する。どのラインが除去されるかは、ラインが高周波信号を含むか否かにより決定される。第一のアプローチの問題は、このアプローチは画素を選択的に除去するための柔軟性を欠いていることである。すなわち、第一のアプローチは、ライン全体が高周波を有する少量の信号を含むが、容易に回復することができない重要な画素を含むラインを除去する場合がある。

【0005】

上述した第一のアプローチに関する別のカテゴリのアプローチは、ブロックの除去に基づくものであり、このブロックの除去は、ラインではなくブロックを除去して回復する。しかし、他のカテゴリのアプローチは、ループ内（in-loop）の方法を使用し、これは、エンコーダのアーキテクチャがブロックの除去を収容するために変更される必要があることを意味する。従って、他のカテゴリのアプローチは、エンコーダが変更される必要があるために、厳密には、前処理に基づいたアプローチではない。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、これらのアプローチのこれらの問題点及び課題、並びに他の問題点及び課題に対処するものであり、映像圧縮符号化の効率を改善するため、ブロックに基づいたミクスドレゾリューションのデータプルーニングの方法及び装置に向けられる。

【課題を解決するための手段】

【0007】

本発明の態様によれば、映像系列におけるピクチャを符号化する装置が提供される。本装置は、オリジナルバージョンのピクチャから除去されるべき１以上のオリジナルブロックを識別するプルーニングブロック識別器を含む。本装置は、除去されるべき１以上のオリジナルブロックについて１以上の置換えブロックをそれぞれ生成することで、除去されたバージョンのピクチャを生成するブロック置換え器を更に含む。また、本装置は、除去されたバージョンのピクチャを回復するためのメタデータを生成するメタデータ生成器を含む。メタデータは、１以上の置換えブロックの位置情報を含む。本装置は、除去されたバージョンのピクチャ及びメタデータを符号化する符号化器を更に含む。

【0008】

本発明の別の態様によれば、映像系列におけるピクチャを符号化する方法が提供される。本方法は、オリジナルバージョンのピクチャから除去されるべき１以上のオリジナルブロックを識別する段階を含む。本方法は、除去されるべき１以上のオリジナルブロックについて１以上の置換えブロックをそれぞれ生成することで、除去されたバージョンのピクチャを生成する段階を更に含む。また、本方法は、除去されたバージョンのピクチャを回復するためのメタデータを生成する段階を含む。メタデータは、１以上の置換えブロックの位置情報を含む。本方法は、少なくとも１つのエンコーダを使用して、除去されたバージョンのピクチャ及びメタデータを符号化する段階を更に含む。

【0009】

本発明の更に別の態様によれば、映像系列における除去されたバージョンのピクチャを回復する装置が提供される。本装置は、除去されたバージョンのピクチャにおける１以上の除去されたブロックを識別する除去されたブロックの識別器を含む。本装置は、除去されたバージョンのピクチャを回復するためのメタデータを復号化するメタデータ復号化器を更に含む。メタデータは、１以上の置換えブロックの位置情報を含む。また、本装置は、１以上の除去されたブロックについて１以上の置換えブロックをそれぞれ生成するブロック回復器を含む。

【0010】

本発明の更なる態様によれば、映像系列において除去されたバージョンのピクチャを回復する方法が提供される。本方法は、除去されたバージョンのピクチャにおいて１以上の除去されたブロックを識別する段階を含む。本方法は、デコーダを使用して、除去されたバージョンのピクチャを回復するためのメタデータを復号化する段階を更に含む。メタデータは、１以上の置換えブロックの位置情報を含む。また、本方法は、１以上の除去されたブロックについて１以上の置換えブロックをそれぞれ生成する段階を含む。

【0011】

本発明の更なる態様によれば、映像系列におけるピクチャを符号化する装置が提供される。本装置は、オリジナルバージョンのピクチャから除去されるべき１以上のオリジナルブロックを識別する手段を含む。本装置は、除去されるべき１以上のオリジナルブロックについて１以上の置換えブロックをそれぞれ生成することで、除去されたバージョンのピクチャを生成する手段を更に含む。また、本装置は、除去されたバージョンのピクチャを回復するメタデータを生成する手段を含む。メタデータは、１以上の置換えブロックの位置情報を含む。本装置は、除去されたバージョンのピクチャ及びメタデータを符号化する手段を更に含む。

【0012】

本発明のなお更なる態様によれば、映像系列における除去されたバージョンのピクチャを回復する装置が提供される。本装置は、除去されたバージョンのピクチャにおいて１以上の除去されたブロックを識別する手段を含む。本装置は、除去されたバージョンのピクチャを回復するメタデータを復号化する手段を含む。メタデータは、１以上の置換えブロックの位置情報を含む。本装置は、１以上の除去されたブロックについて１以上の置換えブロックをそれぞれ生成する手段を含む。

【0013】

本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれることとなる、例示的な実施の形態に関する以下の詳細な説明から明らかとなるであろう。

【図面の簡単な説明】

【0014】

本発明は以下の例示的な図面に従って良好に理解されるであろう。

【図1】本発明の実施の形態に係る、ブロックに基づいたミクスドレゾリューションのデータプルーニングシステム／方法の高水準のブロック図である。

【図2】本発明の実施の形態に係る、本発明が適用される例示的なビデオエンコーダを示すブロック図である。

【図3】本発明の実施の形態に係る、本発明が適用される、例示的なビデオデコーダを示すブロック図である。

【図4】本発明の実施の形態に係る、ブロックに基づいたミクスドレゾリューションのデータプルーニングの例示的なシステムを示すブロック図である。

【図5】本発明の実施の形態に係る、映像圧縮のためのブロックに基づいたミクスドレゾリューションのデータプルーニングの例示的な方法を示すフローダイアグラムである。

【図6】本発明の実施の形態に係る、ブロックに基づいたミクスドレゾリューションのデータプルーニングのデータ回復のための例示的なシステムを示すブロック図である。

【図7】本発明の実施の形態に係る、映像圧縮のためのブロックに基づいたミクスドレゾリューションのデータプルーニングのデータ回復のための例示的な方法を示すフローダイアグラムである。

【図8】本発明の実施の形態に係る、例示的なミクスドレゾリューションのフレームを示す図である。

【図9】本発明の実施の形態に係る、空間−周波数で示されるブロックに基づいたミクスドレゾリューションのデータプルーニングプロセスの例を示す図である。

【図10】本発明の実施の形態に係る、メタデータの符号化のための例示的な方法を示すフローダイアグラムである。

【図11】本発明の実施の形態に係る、メタデータの例示的な方法を示すフローダイアグラムである。

【図12】本発明の実施の形態に係る、例示的なブロックＩＤを示す図である。

【発明を実施するための形態】

【0015】

本発明は、映像圧縮効率を改善するための、ブロックに基づいたミクスドレゾリューションのデータプルーニングの方法及び装置に向けられる。

【0016】

本実施の形態は、本発明を例示するものである。従って、本明細書で明示的に記載又は図示されないが、本発明を実施する様々なアレンジメントであって、本発明の範囲及び精神に含まれるアレンジメントを当業者であれば創作することができることを理解されたい。

【0017】

本実施の形態で記載される全ての例及び条件付き言語は、教育的な目的のために、本発明、及び当該技術分野を促進するために本発明者により寄与される概念の理解において読者を支援することが意図され、係る特に引用された例及び条件に限定されるものではないと解釈されるべきである。

【0018】

さらに、本発明の原理、態様及び実施の形態、並びに本発明の特定の例を示している本実施の形態での全ての説明は、本発明の構造的に等価な概念及び機能的に等価な概念を包含することが意図される。さらに、係る等価な概念は、現在知られている等価な概念と同様に、将来において開発される等価な概念、すなわち構造に係わらず同じ機能を実行する開発されたエレメントをも含むことが意図される。

【0019】

従って、例えば、本実施の形態で与えられるブロック図は、本発明を実施する例示的な回路の概念図を表すことを当業者により理解されるであろう。同様に、フローチャート、フローダイアグラム、状態遷移図、擬似コード等はコンピュータ読み取り可能な記録媒体で実質的に表現され、コンピュータ又はプロセッサが明示的に示されているか否かに係わらず、係るコンピュータ又はプロセッサにより実行される様々なプロセスを表すことを理解されたい。

【0020】

図示される様々なエレメントの機能は、専用のハードウェアの使用と同様に、適切なソフトウェアと関連してソフトウェアを実行可能なハードウェアの使用を通して提供される。プロセッサにより提供された特に、機能は単一の専用プロセッサにより提供されるか、単一の共有プロセッサにより提供されるか、又はそのうちの幾つかが共有される複数の個々のプロセッサにより提供される場合がある。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すように解釈されるべきではなく、限定されることなしに、デジタルシグナルプロセッサ（DSP）ハードウェア、ソフトウェアを記憶するリードオンリメモリ（ROM）、ランダムアクセスメモリ（RAM）及び不揮発性メモリを暗黙的に含む。

【0021】

コンベンショナル及び／又はカスタムといった他のハードウェアが含まれる場合もある。同様に、図示されるスイッチは概念的なものである。それらの機能は、プログラムロジックの動作を通して、専用ロジックを通して、プログラム制御の相互作用を通して、又は手動的に実行される場合があり、特定の技術は、コンテクストからより詳細に理解されるように、実現者により選択可能である。

【0022】

専用の機能を実行する手段として解釈されるエレメントは、例えばａ）その機能を実行する回路エレメントの組み合わせ、又はｂ）機能を実行するためにソフトウェアを実行する適切な回路と組み合わされるファームウェア、マイクロコードを含む任意の形式でのソフトウェア、を含むその機能を実行する任意のやり方を包含することが意図される。請求項により定義される本発明は、様々な引用された手段により提供される機能が請求項が求めるやり方で組み合わされ、纏められる事実にある。従って、それらの機能を提供する任意の手段は、本実施の形態で示されるものに等価であることを意味すると考えられる。

【0023】

本発明の「１実施の形態」又は「実施の形態」に対する明細書における参照は、その他のバリエーションと同様に、特定の機能、構造、特性及び本実施の形態と共に記載されるものが本発明の少なくとも１つの実施の形態に含まれることを意味する。従って、フレーズ「１実施の形態において」又は「実施の形態において」の出現は、明細書を通して様々な位置で現れる他のバリエーションと同様に、同じ実施の形態を全て引用することは必須ではない。

【0024】

例えば「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢの少なくとも１つ」のケースにおける「／」、「及び／又は」及び「〜の少なくとも１つ」の使用は、第一の列挙されたオプションＡのみの選択、又は第二の列挙されたオプションＢのみの選択、又はオプション（Ａ及びＢ）の選択を包含することが意図される。更なる例として、「Ａ、Ｂ及び／又はＣ」及び「Ａ、Ｂ及びＣの少なくとも１つ」のケースでは、係るフレーズは、第一の列挙されたオプション（Ａ）のみの選択、第二の列挙されたオプション（Ｂ）のみの選択、又は第三の列挙されたオプション（Ｃ）のみの選択、又は第一及び第二の列挙されたオプション（Ａ及びＢ）のみの選択、又は第一及び第三の列挙されたオプション（Ａ及びＣ）のみの選択、又は第二及び第三の列挙されたオプション（Ｂ及びＣ）のみのオプションの選択、或いは全ての３つのオプション（Ａ及びＢ及びＣ）の選択を包含することが意図される。これは、列挙される多数のアイテムについて、当業者により容易に明らかなように拡張される。

【0025】

また、本実施の形態で使用されたとき、単語「ピクチャ」及び「イメージ」は、交換可能に使用され、映像系列からの静止画像又はピクチャを示す。知られているように、ピクチャは、フレーム又はフィールドである場合がある。

【0026】

さらに、単語「回復“recovery”」及び「復元“restoration”」は、本実施の形態では交換可能に使用される。

【0027】

先に述べたように、本発明は、映像圧縮効率を改善するブロックに基づいたミクスドレゾリューションのデータプルーニングに向けられる。データプルーニングは、入力ビデオデータが符号化される前に、入力ビデオデータの一部を除去することで、良好な映像符号化効率を達成する映像の前処理技術である。除去されたビデオデータは、復号化されたデータから推測することで、デコーダ側で回復される。データプルーニングの１つの例は、イメージラインの除去であり、これは、入力映像における水平走査線及び垂直走査線の幾つかを除くものである。

【0028】

映像を除去するミクスドレゾリューションのデータプルーニングのフレームワークは、本発明に従って開示され、この場合、映像における高解像度（high-res）ブロックは、低解像度（low-res）ブロック又はフラットブロックにより置き換えられる。また、本発明に従って開示されるのは、メタデータエンコードスキームであり、このスキームは、画像処理技術及びエントロピー符号化の組み合わせを使用して、除去されたブロックの位置を符号化する。

【0029】

本発明の実施の形態によれば、ビデオフレームは、オーバラップしないブロックに分割され、ブロックの幾つかは、低解像度ブロック又は単なるフラットなブロックで置き換えられる。次いで、除去されたビデオは、圧縮のためにビデオエンコーダに送出される。プルーニングプロセスにより、より効率的な映像符号化となる。これは、ビデオフレームにおける幾つかのフレームは、高周波信号を有さない、低解像度又はフラットなブロックで置き換えられるためである。置き換えられたブロックは、修復“inpainting”、テクスチャ合成“texture synthesis”等の様々なアルゴリズムで回復される。本発明によれば、回復プロセスのために必要とされるメタデータをどのように符号化して送出するかを開示する。

【0030】

映像圧縮を改善するためにデータプルーニングに対する上述された他のカテゴリのアプローチとは異なり、本発明は、厳密には、ループ外（out-of-loop）のアプローチを提供するものであり、このループ外のアプローチでは、エンコーダ及びデコーダは、失われた部分がないままであり、ブロックボックスとして扱われ、符号化（及び復号化）規格又は実現により置き換えられる。係るループ外のアプローチの利点は、これは特定の状況において実現可能でない場合がある、符号化及び復号化のワークフローをユーザが変更する必要がないことである。

【0031】

図１を参照して、ブロックに基づいたミクスドレゾリューションのデータプルーニングの高水準のブロック図は、参照符号１００により示されている。ステップ１１０で、入力映像が提供され、前処理されたフレームを取得するため、（エンコーダ側のプリプロセッサ１５１により）エンコーダ側の前処理に向けられる。ステップ１１５で、（エンコーダ１５２により）前処理されたフレームが符号化される。ステップ１２０で、符号化されたフレームは、（デコーダ１５３により）復号化される。復号化されたフレームは、ステップ１２５で、出力映像を提供するため、（デコーダ側のポストプロセッサ１５４により）後処理に向けられる。

【0032】

データプルーニング処理は、エンコーダ側のプリプロセッサ１５１で実行される。除去された映像は、後に、エンコーダ１５２に送出される。符号化されたビデオは、回復のために必要とされるメタデータと共に、デコーダ１５３に送出される。デコーダ１５３は、除去されたビデオを伸張し、デコーダ側のポストプロセッサ１５４は、受信メタデータの有無に係わらず、除去されたビデオからオリジナルビデオを回復する（幾つかの状況におけるように、メタデータは必要とされず、従って、回復のために使用されないことが可能である）。

【0033】

図２を参照して、本発明が適用される例示的なビデオエンコーダは、参照符号２００により示される。ビデオエンコーダ２００は、例えば図１に示されるビデオエンコーダ１５２として使用される。ビデオエンコーダ２００は、減算器２８５の非反転入力と接続される出力を有するフレームオーダリングバッファ２１０を含む。減算器２８５の出力は、変換器及び量子化器２２５の第一の入力と接続される。変換器及び量子化器２２５の出力は、エントロピーコーダ２４５と第一の入力、及び逆変換器及び逆量子化器２５０の第一の入力と接続される。エントロピーコーダ２４５の出力は、加算器２９０の第一の非反転入力と接続される。加算器２９０の出力は、出力バッファ２３５の第一の入力と接続される。

【0034】

エンコーダコントローラ２０５の第一の出力は、フレームオーダリングバッファ２１０の第二の入力、逆変換器及び逆量子化器２５０の第二の入力、ピクチャタイプ判定モジュール２１５の入力、マクロブロックタイプ（MB-Type）判定モジュール２２０の第一の入力、イントラ予測モジュール２６０の第二の入力、デブロッキングフィルタ２６５の第二の入力、動き補償器２７０の第一の入力、動き予測器２７５の第一の入力、及び参照ピクチャバッファ２８０の第二の入力と接続される。

【0035】

エンコーダコントローラ２０５の第二の出力は、SEI（Supplemental Enhancement Information）挿入器２３０の第一の入力、変換器及び量子化器２２５の第二の入力、エントロピーコーダ２４５の第二の入力、出力バッファ２３５の第二の入力、及びSPS（Sequence Parameter Set）及びPPS（Picture Parameter Set）挿入器２４０の入力と接続される。

【0036】

SEI挿入器２３０の出力は、加算器の第二の非反転入力と接続される。

【0037】

ピクチャタイプ判定モジュール２１５の第一の出力は、フレームオーダリングバッファ２１０の第三の入力と接続される。ピクチャタイプ判定モジュール２１５の第二の出力は、マクロブロックタイプ判定モジュール２２０の第二の入力と接続される。

【0038】

SPS（Sequence Parameter Set）及びPPS（Picture Parameter Set）挿入器２４０は、加算器２９０の第三の非反転入力と接続される。

【0039】

逆量子化器及び逆変換器２５０の出力は、加算器２１９の第一の非反転入力と接続される。加算器２１９の出力は、イントラ予測モジュール２６０の第一の入力、及びデブロッキングフィルタ２６５の第一の入力と接続される。デブロッキングフィルタ２６５の出力は、参照ピクチャバッファ２８０の第一の入力と接続される。参照ピクチャバッファ２８０の出力は、動き予測器２７５の第二の入力及び動き補償器２７０の第三の入力と接続される。動き予測器２７５の第一の出力は、動き補償器２７０の第二の入力と接続される。動き予測器２７５の第二の出力は、エントロピーコーダ２４５の第三の入力と接続される。

【0040】

動き補償器２７０の出力は、スイッチ２９７の第一の入力と接続される。イントラ予測モジュール２６０の出力は、スイッチ２９７の第二の入力と接続される。マクロブロックタイプ判定モジュール２２０の出力は、スイッチ２９７の第三の入力と接続される。スイッチ２９７の第三の入力は、（制御入力、すなわち第三の入力と比較して）スイッチの「データ入力」が動き補償器２７０のより提供されるべきか又はイントラ予測モジュール２６０により提供されるべきかを判定する。スイッチ２９７の出力は、加算器２１９の第二の非反転入力、及び減算器１８５の反転入力と接続される。

【0041】

フレームオーダリングバッファ２１０の第一の入力、及びエンコーダコントローラ２０５の入力は、入力ピクチャを受信するため、エンコーダ２００の入力として利用可能である。さらに、SEI（Supplemental Enhancement Information）挿入器２３０の第二の入力は、メタデータを受信するため、エンコーダ２００の入力として利用可能である。出力バッファ２３５の出力は、ビットストリームを出力するため、エンコーダ２００の出力として利用可能である。

【0042】

図３を参照して、本発明が適用される例示的なビデオデコーダは、参照符号３００により示される。ビデオデコーダ３００は、例えば図１で示されるビデオデコーダ１５３として使用される。ビデオデコーダ３００は、エントロピーデコーダ３４５の第一の入力と接続される出力を有する入力バッファ３１０を含む。エントロピーデコーダ３４５の第一の出力は、逆変換器及び逆量子化器３５０の第一の入力と接続される。逆変換器及び逆量子化器３５０の出力は、加算器３２５の第二の非反転入力と接続される。加算器３２５の出力は、デブロッキングフィルタ３６５の第二の入力及びイントラ予測モジュール３６０の第一の入力と接続される。デブロッキングフィルタ３６５の第二の出力は、参照ピクチャバッファ３８０の第一の入力と接続される。参照ピクチャバッファ３８０の出力は、動き補償器３７０の第二の入力と接続される。

【0043】

エントロピーデコーダ３４５の第二の出力は、動き補償器３７０の第三の入力、デブロッキングフィルタ３６５の第一の入力、及びイントラ予測器３６０の第三の入力と接続される。エントロピーデコーダ３４５の第三の出力は、デコーダコントローラ３０５の入力と接続される。デコーダコントローラ３０５の第一の出力は、エントロピーデコーダ３４５の第二の入力と接続される。デコーダコントローラ３０５の第二の出力は、逆変換器及び逆量子化器３５０の第二の入力と接続される。デコーダコントローラ３０５の第三の出力は、デブロッキングフィルタ３６５の第三の入力と接続される。デコーダコントローラ３０５の第四の出力は、イントラ予測モジュール３６０の第二の入力、動き補償器３７０の第一の入力、参照ピクチャバッファ３８０の第二の入力と接続される。

【0044】

動き補償器３７０の出力は、スイッチ３９７の第一の入力と接続される。イントラ予測モジュール３６０の出力は、スイッチ３９７の第二の入力と接続される。スイッチ３９７の出力は、加算器３２５の第一の非反転入力と接続される。

【0045】

入力バッファ３１０の入力は、例えば入力ビットストリームを受信するため、デコーダ３００の入力として利用可能である。デブロッキングフィルタ３６５の第一の出力は、出力ピクチャを出力するため、デコーダ３００の出力として利用可能である。

【0046】

図４を参照して、ブロックに基づいたミクスドレゾリューションのデータプルーニングの例示的なシステムは、参照符号４００により示される。システム４００は、プルーニングブロック識別器４１０の入力と接続される出力を有する分割器４０５を含む。プルーニングブロック識別器４１０の第一の出力は、ブロック置換え器４１５の入力と接続される。プリーニングブロック識別器４１０の第二の出力は、メタデータエンコーダ４２０の入力と接続される。分割器４０５の入力は、オーバラップしないブロックに分割するためにオリジナルビデオを受信するため、システム４００への入力として利用可能である。ブロック置換え器４１５の出力は、混合された解像度（ミクスドレゾリューション）のビデオを出力するため、システム４００の出力として利用可能である。メタデータエンコーダの出力は、符号化されたメタデータを出力するため、システム４００の出力として利用可能である。

【0047】

図５を参照して、映像圧縮のためのブロックに基づいたミクスドレゾリューションのデータプルーニングの例示的な方法は、参照符号５００により示される。ステップ５０５で、ビデオフレームが入力される。ステップ５１０で、ビデオフレームは、オーバラップしないブロックに分割される。ステップ５１５で、それぞれのブロックに付いてループが実行される。ステップ５２０で、現在のブロックを除去すべきか否かが判定される。現在のブロックを除去すべきであると判定された場合、本方法はステップ５２５に進む。さもなければ、本方法はステップ５１５に戻る。ステップ５２５で、ブロックが除去され、対応するメタデータが保存される。ステップ５３０で、全てのブロックについて（処理が）終了したか否かが判定される。全てのブロックについて終了したと判定された場合、制御は機能ブロック５３５に進む。さもなければ、本方法はステップ５１５に戻る。ステップ５３０で、除去られたフレーム及びメタデータが出力される。

【0048】

図４及び図５を参照して、プルーニングプロセスの間、入力フレームは、はじめに、オーバラップしないブロックに分割される。次いで、プルーニングブロックを識別するプロセス行われ、除去することができる回復可能なブロックを識別する。除去されたブロックの座標は、メタデータとして保存され、保存されたメタデータは、符号化され、デコーダ側に送出される。プルーニングの用意があるブロックは、低解像度ブロック又は単にフラットなブロックと置き換えられる。結果として、高解像度を有するブロックの幾つかと、低解像度を有するブロックの幾つかとをもつビデオフレーム（すなわちミクスドレゾリューションフレーム）が得られる。

【0049】

図６を参照して、ブロックに基づいたミクスドレゾリューションのデータプルーニングのデータを回復のための例示的なシステムは、参照符号６００により示される。システム６００は、プルーニングブロック識別器６１０の第一の入力と接続される出力を有する分割器６０５を含む。メタデータデコーダ６１５の出力は、プルーニングブロック識別子６１０の第二の入力及びブロック回復器６２０の第二の入力と接続される。プルーニングブロック識別器６１０の出力は、ブロック回復器６２０の第一の入力と接続される。分割器６０５の入力は、オーバラップしないブロックに分割するために除去された混合された解像度の映像を受信するため、システム６００の入力として利用可能である。メタデータエンコーダ６１５の出力は、符号化されたメタデータを受信するため、システム６００の入力として利用可能である。ブロック回復器６２０の出力は、回復されたビデオを出力するため、システム６００の出力として利用可能である。

【0050】

図７を参照して、映像圧縮のための、ブロックに基づいたミクスドレゾリューションのデータプルーニングのデータを回復するための例示的な方法は、参照符号７００により示される。ステップ７０５で、除去された混合された解像度のフレームが入力される。ステップ７１０で、フレームはオーバラップしないブロックに分割される。ステップ７１５で、それぞれのブロックについてループが実行される。ステップ７２０で、現在のブロックが除去されたブロックであるか否かが判定される。現在のブロックが除去されたブロックであると判定された場合、本方法はステップ７２５に進む。さもなければ、本方法はステップ７１５に戻る。ステップ７２５で、ブロックが回復される。ステップ７３０で、全てのブロックが終了されたか（処理されたか）否かが判定される。全てのブロックが終了されたと判定された場合、本方法はステップ７３５に進む。さもなければ、本方法は、ステップ７１５に戻る。ステップ７３５で、回復されたフレームが出力される。

【0051】

図６及び図７を参照して、回復プロセスの間、除去されたブロックは、メタデータにより識別される。また、除去されたブロックは、修復“inpainting”のような様々なアルゴリズムを使用して、メタデータの有無に関係なしに、ブロック回復プロセスにより回復される。ブロックの回復及び識別は、本発明の焦点ではない異なるプラグイン方法と置き換えられる。すなわち、本発明は、特定のブロックの回復及び識別プロセスに基づくものではなく、従って、本発明の精神を維持しつつ、本発明の教示に従って、何れかの適用可能なブロック回復及び識別プロセスが使用される場合がある。

【0052】

［プルーニングプロセス］
入力ビデオフレームは、はじめに、オーバラップしないブロックに分割される。ブロックのサイズは、例えば16×16画素又は8×8画素のように変化させることができる。しかし、ブロックの分割は、最大の圧縮効率が達成されるように、エンコーダにより使用された分割と同じであることが望ましい。例えば、符号化では、ISO/IEC（International Organization for Standardization/International Electrotechnical Commission）MPEG-4（Moving Picture Experts Group-4）Part10 AVC（Advanced Video Coding）規格／ITU-T（International Telecommunication Union, Telecommunication Sector）H.264勧告（以下、「MPEG-4 AVC規格」）に従って、マクロブロックは、16×16画素である。従って、MPEG-4 AVC規格を含む実施の形態では、好適なデータプルーニングのためのデータサイズの選択は、16×16画素である。

【0053】

それぞれのブロックについて、ブロック識別プロセスは、ブロックを除去すべきか否かを判定する。これは、様々な基準に基づくことができるが、基準は、回復プロセスにより決定される。例えば、ブロックを回復するために修復アプローチが使用される場合、基準は、特定の修復プロセスを使用してブロックが回復されるべきか否かである。ブロックが修復プロセスにより回復可能である場合、ブロックはプルーニングブロックとしてマークされる。

【0054】

プルーニングブロックが識別された後、プルーニングブロックは、低解像度ブロック又は平坦なブロックと置き換えられ、混合された解像度のフレームが得られる。図８を参照して、例示的な混合された解像度のフレームは、参照符号８００により示される。図８から、フレームの幾つかの部分は高解像度を有しており、フレームの幾つかの部分は平坦な部分で置き換えられていることがわかる。低解像度又は平坦なブロックにおける低周波信号は、プルーニングプロセスの間に除去される。従って、低解像度又は平坦なブロックは、効率的に符号化することができる。図９を参照して、空間−周波数のスペースで示されるブロックに基づいたミクスドレゾリューションのデータプルーニングプロセスの例は、参照符号９００により示される。平坦なブロックは、基本的に、そのＤＣ成分のみが保持されるブロックであり、低解像度ブロックは、ＡＣ成分の幾つかが除去されるブロックである。実際に、除去されたブロックが平坦なブロックで置き換えられる場合、はじめに、入力ブロックの平均の色を計算することが可能であり、次いで、ブロック内の全ての画素の色は、平均の色に設定される。プロセスは、ブロックのＤＣ成分のみを保持することに等価である。プルーニングされたブロックが低解像度ブロックと置き換えられるように判定された場合、低域通過フィルタは、入力ブロックに適用され、ブロックは、低域通過フィルタが施されたバージョンと置き換えられる。平坦なブロックを使用するか、又は低解像度ブロックを使用するかに係わらず、低域通過フィルタのパラメータは、どのようなタイプの回復アルゴリズムが使用されるかにより決定される。

【0055】

［メタデータ符号化及び復号化］
回復プロセスについて除去されたブロックを正しく回復するため、メタデータにより表されるブロックの位置は、デコーダ側に送出される必要がある。１つのシンプルなアプローチは、一般的な無損失データ圧縮アルゴリズムを使用して位置データを比較することである。しかし、本システムについて、除去されたブロックが低解像度ブロック又は平坦なブロックである事実により、良好な圧縮効率を達成することができ、除去されたブロックが高周波信号を含むか否かを検出することで、低解像度ブロック又は平坦なブロックが識別される。

【0056】

プルーニング及び回復アルゴリズムにより予め決定された、除去されたブロックの最大周波数がＦmであると想定すると、最大周波数Ｆmよりも大きい信号成分のエネルギーを計算することが可能である。エネルギーがある閾値よりも小さい場合、ブロックは、潜在的に除去されたブロックである。これは、はじめに、低域通過フィルタをブロック画像に適用し、フィルタリングされたブロック画像を入力ブロック画像から引いて、続いて、高周波信号のエネルギーを計算することで達成される。

【0057】

数学的には、以下の式の通りである。

【0058】

【数1】

ここでＥは高周波信号のエネルギーであり、Ｂは入力ブロック画像であり、Ｈは帯域幅Ｆmを有する低域通過フィルタであり、ＨＢは、Ｂの低域通過フィルタが施されたバージョンである。｜.｜は、画像のエネルギーを計算する関数である。

【0059】

しかし、先に記載のプロセスは、除去されていないブロックも平坦又は平滑である可能性があるため、１００％信頼できるものではない。従って、「残余“residuals”」、すなわち識別プロセスにより誤検出のブロックの座標と見逃されたブロックの座標を、デコーダに送出する必要もある。

【0060】

理論的に、それら３つの成分、すなわち閾値、誤検出のブロックの座標、見逃され多ブロックの座標をデコーダ側に送出することが可能である。しかし、類似のプロセスについて、エンコーダ側で、閾値は、全ての除去されたブロックが識別されるように変更される場合がある。従って、見逃されたブロックが存在しない。このプロセスにより、幾つかの誤検出されたブロックが得られ、誤検出されたブロックは、低い高周波のエネルギーを有する除去されていないブロックである。従って、誤検出されたブロックの数が除去されたブロックの数よりも大きい場合、全ての除去されたブロックの座標は、送出され、シグナリングフラグは、０に設定される。さもなければ、誤検出のブロックの座標は送出され、シグナリングフラグは、１に設定される。

【0061】

図１０参照して、メタデータ符号化の例示的な方法は、参照符号１０００により示される。ステップ１００５で、除去されたフレームが入力される。ステップ１０１０で、低解像度ブロックの識別が実行される。ステップ１０１５で、低解像度ブロックの識別において失敗がないか否か判定される。失敗がないと判定された場合、本方法は、ステップ１０２０に進む。さもなければ、本方法はステップ１０５０に進む。ステップ１０２０で、除去されたブロックよりも多くの誤検出があるか否かが判定される。除去されたブロックよりも多くの誤検出があると判定された場合、本方法はステップ１０４０に進む。さもなければ、本方法はステップ１０４５に進む。ステップ１０４０で、除去されたブロックの系列が使用され、フラグがゼロに設定される。ステップ１０２５で、差分（differentiation）が行われる。ステップ１０３０で、無損失符号化が実行される。ステップ１０３５で、符号化されたメタデータが出力される。ステップ１０４５で、誤検出の系列が使用され、フラグが１に設定される。ステップ１０５０で、閾値が調節される。

【0062】

従って、以下の例示的なメタデータの系列が供給される。

【0063】

【数2】

「フラグ」セグメントは、以下の系列が誤検出ブロックの座標であるか又は除去されたブロックの座標であるかを示す２進数である。式（１）を使用して低解像度又は平坦なブロック識別のために「閾値」の数が使用される。

【0064】

図１１を参照して、メタデータ復号化の例示的な方法は、参照符号１１００により示される。ステップ１１０５で、符号化されたメタデータが入力される。ステップ１１１０で、無損失復号化が実行される。ステップ１１１５で、逆差分が行われる。ステップ１１２０で、Flag=0であるか否かが判定される。Flag=0であると判定された場合、本方法はステップ１１２５に進む。さもなければ、本方法はステップ１１３０に進む。ステップ１１２５で、座標系列が出力される。ステップ１１３０で、低解像度ブロックの識別が実行される。ステップ１１３５で、誤検出が除去される。ステップ１１４０で、座標系列が出力される。

【0065】

図１１を継続して参照して、ブロックの座標をデコーダ側に送出するため、画素の座標の代わりにブロックの座標が使用される。フレームにおいてＭブロックが存在する場合、座標の数は、１からＭに及ぶ。さらに、回復プロセスの間のブロックに依存しない場合、ブロックの座標数はソートされ、増加する数列となり、ある座標の数とその前の数との間の差がはじめに計算され、差の系列が符号化される。例えば、座標系列が３，４，５，８，１３，１４であると想定すると、差分の系列は３，１，１，３，５，１となる。差分プロセスにより、数は１に近くなり、従って小さいエントロピーをもつ数の分布となる。データが小さいエントロピーを有する場合、データは、情報理論に従って短い符号長で符号化される。結果として得られる差分された系列は、ハフマン符号のような無損失圧縮スキームにより更に符号化される。回復プロセスの間にブロックに依存する場合、差分プロセスは、単にスキップされる。ブロックの依存が存在するか否かは、回復アルゴリズムの性質により実際に決定される。

【0066】

メタデータ復号化プロセスの間、デコーダ側のプロセッサは、受信された閾値を使用して低解像度ブロックの識別プロセスをはじめに実行する。受信された「フラグ」セグメントに従って、メタデータ復号化プロセスは、後続の系列が誤検出のブロックの系列であるか又は除去されたブロックの系列であるかを判定する。回復プロセスの間のブロックの依存がない場合、後続の系列は、座標系列を生成するため、はじめに逆に差分される。「フラグ」に従い、系列が除去されたブロックの系列の座標である場合、誤検出系列である場合、デコーダ側のプロセスは、はじめに、低解像度ブロック識別プロセスにより識別された結果として得られたブロック系列を取得し、次いで、誤検出の系列に含まれる全ての座標を除去する。

【0067】

例えばブロックＩＤをデコーダ側に直接的に送出することのような、異なるメタデータ符号化スキームが使用されることを理解されたい。これら及び他のバリエーションは、本実施の形態で提供された本発明の教示が与えられると、当業者により容易に創作される。

【0068】

［回復プロセス］
回復プロセスは、除去されたビデオが復号化された後に実行される。回復前に、除去されたブロックの位置は、本実施の形態で記載されるようにメタデータを復号化することで得られる。

【0069】

それぞれのブロックについて、回復プロセスは、除去されたブロックにおけるコンテンツを回復するために実行される。様々なアルゴリズムを回復のために使用することができる。回復の１つの例は、画像の修復であり、隣接する画素からの補間により画像において欠けている画素を回復する。提案されるアプローチでは、それぞれの除去されたブロックは、低解像度ブロック又は平坦なブロックにより置換えられ、低解像度ブロック又は平坦なブロックによりカバーされる情報は、より高い回復の精度が達成されるように、回復プロセスを容易にするために副情報として使用される。ブロック回復モジュールは、従来の修復及びテクスチャ合成に基づく方法のような、回復スキームにより置き換えられる。図１２を参照して、例示的なブロックＩＤは、参照符号１２００により示される。

【0070】

本発明のこれらの特徴及び利点、並びに他の特徴及び利点は、本実施の形態の教示に基づいて当業者により容易に確かめられる。本発明の教示はハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ、又はこれらの組み合わせの様々な形式で実現される。

【0071】

より好ましくは、本発明の教示は、ハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージユニットで実施されるアプリケーションプログラムとして実現される。アプリケーションプログラムは、適切なアーキテクチャを有するコンピュータにアップロードされ、コンピュータにより実行される。好ましくは、コンピュータは、１以上の中央処理装置（CPU）、ランダムアクセスメモリ（RAM）、及び入力／出力（I/O）インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む。本実施の形態で記載される様々なプロセス及び機能は、CPUにより実行される、マイクロ命令コードの一部であるか又はアプリケーションプログラムの一部であるか、或いはこれらの組み合わせである場合がある。さらに、様々な他の周辺ユニットは、更なるデータストレージユニット及びプリンティングユニットのようなコンピュータプラットフォームに接続される。

【0072】

添付図面に示される構成要素又は方法の幾つかはソフトウェアで好ましくは実現されるため、システムコンポーネント又はプロセス間の実際の接続は、本発明がプログラムされる方式に依存して異なる場合があることを理解されたい。本実施の形態の教示が与えられると、当業者であれば、本発明のこれらの実現、類似の実現又はコンフィギュレーションを想定することができる。

【0073】

例示的な実施の形態は添付図面を参照して本実施の形態で記載されたが、本発明はそれら正確な実施の形態に限定されるものではなく、本発明の精神又は範囲から逸脱することなしに、様々な変更及び修正が当業者により実施される場合があることを理解されたい。全ての係る変形及び変更は、特許請求の範囲で述べたように本発明の原理の範囲に含まれることが意図される。
以上の実施例に関し、以下の付記を開示する。
［付記１］
映像系列におけるピクチャを符号化する装置であって、
前記ピクチャのオリジナルバージョンから除去されるべき１以上のオリジナルブロックを識別するプルーニングブロック識別器と、
前記除去されるべき１以上のオリジナルブロックについて１以上の置換えブロックをそれぞれ生成することで、前記ピクチャの除去されたバージョンを生成するブロック置換え器と、
前記ピクチャの除去されたバージョンを回復するためのメタデータを生成するメタデータ生成器と、前記メタデータは、前記１以上の置換えブロックの位置情報を含み、
前記ピクチャの除去されたバージョンと前記メタデータを符号化する符号化器と、
を備える装置。
［付記２］
前記ピクチャの除去されたバージョンは、前記ピクチャのオリジナルバージョンを複数のブロックに分割し、前記除去されるべき１以上のオリジナルブロックを前記１以上の置換えブロックでそれぞれ置き換えることで生成され、
前記１以上の置換えブロックの少なくとも１つにおける全ての画素は、同じ色値又は低解像度のうちの１つを有し、前記低解像度は、前記除去されるべき１以上のオリジナルブロックに関して決定される、
付記１記載の装置。
［付記３］
前記同じ色値は、前記複数のブロックの前記少なくとも１つのブロック内の前記全ての画素の平均の色値に等しい、
付記２記載の装置。
［付記４］
前記ピクチャの除去されたバージョンは、混合された解像度のピクチャである、
付記２記載の装置。
［付記５］
前記１以上の除去されたブロックは、前記除去されるべき１以上のオリジナルブロックのそれぞれのブロックよりも、特定の周波数を超えて少ない情報を含む、
付記２記載の装置。
［付記６］
前記位置情報は、前記１以上の置換えブロックの座標情報を含む、
付記１記載の装置。
［付記７］
前記プルーニングブロック識別器は、前記ピクチャのオリジナルバージョンから除去さ
れるべき１以上のオリジナルブロックを識別する識別プロセスを実行し、
前記除去されるべき１以上のオリジナルブロックの所与の１つのブロックは、指定された周波数よりも大きい、前記除去されるべき１以上のオリジナルブロックの前記所与の１つのブロックの信号成分のエネルギーの量に基づいて、前記識別プロセスにより識別される、
付記１記載の装置。
［付記８］
前記メタデータは、前記識別プロセスに関して誤検出のブロックの位置情報と、見逃したブロックの位置情報を含む、
付記７記載の装置。
［付記９］
映像系列におけるピクチャを符号化する方法であって、
前記ピクチャのオリジナルバージョンから除去されるべき１以上のオリジナルブロックを識別する段階と、
前記除去されるべき１以上のオリジナルブロックについて１以上の置換えブロックをそれぞれ生成することで、前記ピクチャの除去されたバージョンを生成する段階と、
前記ピクチャの除去されたバージョンを回復するためのメタデータを生成する段階と、前記メタデータは、前記１以上の置換えブロックの位置情報を含み、
少なくとも１つのエンコーダを使用して、前記ピクチャの除去されたバージョンと前記メタデータを符号化する段階と、
を含む方法。
［付記１０］
前記ピクチャの除去されたバージョンは、前記ピクチャのオリジナルバージョンを複数のブロックに分割し、前記除去されるべき１以上のオリジナルブロックを前記１以上の置換えブロックでそれぞれ置き換えることで生成され、
前記１以上の置換えブロックの少なくとも１つにおける全ての画素は、同じ色値又は低解像度のうちの１つを有し、前記低解像度は、前記除去されるべき１以上のオリジナルブロックに関して決定される、
付記９記載の方法。
［付記１１］
前記同じ色値は、前記複数のブロックの前記少なくとも１つのブロック内の前記全ての画素の平均の色値に等しい、
付記１０記載の方法。
［付記１２］
前記ピクチャの除去されたバージョンは、混合された解像度のピクチャである、
付記１０記載の方法。
［付記１３］
前記１以上の除去されたブロックは、前記除去されるべき１以上のオリジナルブロックのそれぞれのブロックよりも、特定の周波数を超えて少ない情報を含む、
付記１０記載の方法。
［付記１４］
前記位置情報は、前記１以上の置換えブロックの座標情報を含む、
付記９記載の方法。
［付記１５］
前記除去されるべき１以上のオリジナルブロックを識別する段階は、前記ピクチャのオリジナルバージョンから除去されるべき１以上のオリジナルブロックを識別する識別プロセスを実行する段階を含み、
前記除去されるべき１以上のオリジナルブロックの所与の１つのブロックは、指定された周波数よりも大きい、前記除去されるべき１以上のオリジナルブロックの前記所与の１つのブロックの信号成分のエネルギーの量に基づいて、前記識別プロセスにより識別される、
付記９記載の方法。
［付記１６］
前記メタデータは、前記識別プロセスに関して誤検出のブロックの位置情報と、見逃したブロックの位置情報とを含む、
付記１５記載の方法。
［付記１７］
映像系列におけるピクチャを符号化する装置であって、
前記ピクチャのオリジナルバージョンから除去されるべき１以上のオリジナルブロックを識別する手段と、
前記除去されるべき１以上のオリジナルブロックについて１以上の置換えブロックをそれぞれ生成することで、前記ピクチャの除去されたバージョンを生成する手段と、
前記ピクチャの除去されたバージョンを回復するためのメタデータを生成する手段と、前記メタデータは、前記１以上の置換えブロックの位置情報を含み、
前記ピクチャの除去されたバージョンと前記メタデータを符号化する手段と、
を備える装置。
［付記１８］
前記ピクチャの除去されたバージョンは、前記ピクチャのオリジナルバージョンを複数のブロックに分割し、前記除去されるべき１以上のオリジナルブロックを前記１以上の置換えブロックでそれぞれ置き換えることで生成され、
前記１以上の置換えブロックの少なくとも１つにおける全ての画素は、同じ色値又は低解像度のうちの１つを有し、前記低解像度は、前記除去されるべき１以上のオリジナルブロックに関して決定される、
付記１７記載の装置。
［付記１９］
前記同じ色値は、前記複数のブロックの前記少なくとも１つのブロック内の前記全ての画素の平均の色値に等しい、
付記１８記載の装置。
［付記２０］
前記ピクチャの除去されたバージョンは、混合された解像度のピクチャである、
付記１８記載の装置。
［付記２１］
前記１以上の除去されたブロックは、前記除去されるべき１以上のオリジナルブロックのそれぞれのブロックよりも、特定の周波数を超えて少ない情報を含む、
付記１８記載の装置。
［付記２２］
前記位置情報は、前記１以上の置換えブロックの座標情報を含む、
付記１７記載の装置。
［付記２３］
前記識別する手段は、前記ピクチャのオリジナルバージョンから除去されるべき１以上のオリジナルブロックを識別する識別プロセスを実行し、
前記除去されるべき１以上のブロックの所与の１つのブロックは、指定された周波数よりも大きい、前記除去されるべき１以上のオリジナルブロックの前記所与の１つのブロックの信号成分のエネルギーの量に基づいて、前記識別プロセスにより識別される、
付記１７記載の装置。
［付記２４］
前記メタデータは、前記識別プロセスに関して誤検出のブロックの位置情報と、見逃したブロックの位置情報を含む、
付記２３記載の装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】