特許 5934210 画像の現在のブロックを再構築する方法および対応する符号化方法、対応する符号化装置、さらに、ビットストリームに符号化された画像を保持する記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5934210

(24)【登録日】2016年5月13日

(45)【発行日】2016年6月15日

(54)【発明の名称】画像の現在のブロックを再構築する方法および対応する符号化方法、対応する符号化装置、さらに、ビットストリームに符号化された画像を保持する記憶媒体

(51)【国際特許分類】

   H04N 19/51 20140101AFI20160602BHJP

   H04N 19/46 20140101ALI20160602BHJP

【ＦＩ】

   H04N19/51

   H04N19/46

【請求項の数】11

【全頁数】14

(21)【出願番号】特願2013-524408(P2013-524408)

(86)(22)【出願日】2011年8月8日

(65)【公表番号】特表2013-537764(P2013-537764A)

(43)【公表日】2013年10月3日

(86)【国際出願番号】EP2011063623

(87)【国際公開番号】WO2012022648

(87)【国際公開日】20120223

【審査請求日】2014年7月16日

(31)【優先権主張番号】10305898.8

(32)【優先日】2010年8月19日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】ボルデ，フイリツプ

(72)【発明者】

【氏名】ソロー，ドミニク

(72)【発明者】

【氏名】ビエロン，ジエローム

(72)【発明者】

【氏名】フランソワ，エドウアルド

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 特表２００９−５４５９１９（ＪＰ，Ａ）

【文献】 特開２００５−２７７９６８（ＪＰ，Ａ）

【文献】 特表２０１０−５２４３９６（ＪＰ，Ａ）

【文献】 国際公開第２００８／０５４６８８（ＷＯ，Ａ１）

【文献】 Abdullah A. Muhit, et al.，MOTION COMPENSATION USING GEOMETRY AND AN ELASTIC MOTION MODEL，2009 16TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)，米国，IEEE，２００９年１１月 ７日，pp.621-624

【文献】 Peisong Chen, et al.，Geometry Motion Partition，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH，２０１０年 ７月２１日，JCTVC-B049，pp.1-3

【文献】 Liwei Guo, et al.，TE 3: Simplified Geometry Block Partitioning，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH，２０１０年 ７月２１日，JCTVC-B085，pp.1-5

【文献】 Xiaozhen Zheng, et al.，TE3: Huawei & Hisilicon report on flexible motion partitioning，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH，２０１０年 ７月２１日，JCTVC-B041，pp.1-5

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

画像の現在のブロックを再構築する方法であって、前記現在のブロックは、当該現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントの予測符号化を使用して符号化されており、前記方法は、
少なくとも１つのフラグおよび複数の動きベクトルを含む符号化されたデータを復号するステップであって、前記動きベクトルによって参照されるブロックは、前記現在のブロックのセグメントの予測に使用される、前記復号するステップと、
前記符号化されたデータにおける前記少なくとも１つのフラグおよび前記動きベクトルの符号化順を使用して、前記参照されたブロックのうちのいずれが前記現在のブロックのジオメトリと一致するジオメトリを示すかを特定し、かつ、前記現在のブロックの前記複数のセグメントのうちの１つを予測するために前記特定されたブロックのセグメントを特定するステップと、を含み、
前記セグメントの特定の前に、前記特定されたブロックが複数のセグメントにジオメトリ適応ブロック分割される、前記方法。

【請求項2】

前記符号化されたデータは前記現在のブロックの予測画素値と実際の画素値との間の残差をさらに含み、前記方法は、
前記動きベクトルを使用して記憶装置から前記ブロックを取得するステップと、
前記特定されたセグメントを使用して少なくとも１つの追加的に参照されたブロック内の少なくとも１つのセグメントを選択するステップであって、前記選択された少なくとも１つのセグメントは、前記特定されたセグメントに対して輪郭が相補的である、前記選択するステップと、
前記特定されたセグメント、前記選択された少なくとも１つのセグメント、および前記残差を使用して前記現在のブロックを再構築するステップと、
をさらに含む、請求項１に記載の方法。

【請求項3】

画像の現在のブロックを予測符号化する方法であって、該方法は、
前記現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントの予測符号化を使用するステップと、
少なくとも１つのフラグおよび複数の動きベクトルを含むデータを符号化するステップと、を含み、
前記動きベクトルは、前記現在のブロックのセグメントの予測に使用されるブロックを参照するために使用され、
前記少なくとも１つのフラグおよび前記動きベクトルの符号化順は、前記参照されたブロックのうちのいずれが前記現在のブロックのジオメトリと一致するジオメトリを示すかを特定するために用いられることによって、前記現在のブロックの前記ジオメトリ適応ブロック分割を表し、
前記少なくとも１つのフラグおよび前記動きベクトルの前記符号化順は、前記現在のブロックの前記複数のセグメントのうちの１つを予測するために前記特定されたブロックのどのセグメントが使用されるかをさらに示し、
前記動きベクトルによって参照される少なくとも１つの更なるブロックは、前記現在のブロックの少なくとも１つの更なるセグメントの予測に使用される、前記方法。

【請求項4】

前記現在のブロックの前記１つのセグメントを使用して、記憶装置に記憶された複数の再構築されたブロックから、前記現在のブロックの前記ジオメトリと一致するジオメトリを示す前記ブロックを特定するステップと、
前記特定されたブロックのセグメントを使用して前記少なくとも１つの更なるセグメントを特定するステップと、
前記少なくとも１つの更なるセグメントを使用して前記少なくとも１つの更なるブロックを特定するステップと、
前記特定されたブロックの前記セグメントおよび前記少なくとも１つの更なるブロックに含まれる少なくとも１つの更なるセグメントを使用して前記現在のブロックの前記セグメントを予測するステップと、
前記特定されたブロックおよび前記特定された少なくとも１つの更なるブロックを使用して前記動きベクトルを特定するステップと、
前記予測を使用して前記現在のブロックの予測画素値と実際の画素値との間の残差を特定するステップと、
前記現在のブロックの予測画素値と実際の画素値との間の残差を量子化するステップであって、前記符号化されたデータは、前記量子化された残差をさらに含む、前記量子化するステップと、
をさらに含む、請求項３に記載の方法。

【請求項5】

前記予測および前記量子化された残差を使用して前記現在のブロックを再構築するステップをさらに含む、請求項４に記載の方法。

【請求項6】

前記再構築された現在のブロックを前記記憶装置に記憶するステップをさらに含む、請求項２または４に記載の方法。

【請求項7】

ジオメトリ適応ブロック分割は、Ｓｏｂｅｌオペレータを使用して各々のブロックのための階調ブロックを特定するステップを含む、請求項１〜６のいずれか１項に記載の方法。

【請求項8】

前記画像は、画像シーケンスに含まれ、少なくとも１つの動きベクトルは、前記画像シーケンスに含まれる少なくとも１つの異なる画像に含まれるブロックを参照する、請求項１〜７のいずれか１項に記載の方法。

【請求項9】

画像の現在のブロックを再構築する装置であって、前記現在のブロックは、当該現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントの予測符号化を使用して符号化されており、前記装置は、
少なくとも１つのフラグおよび複数の動きベクトルを含む符号化されたデータを復号する手段であって、前記現在のブロックのセグメントは、前記動きベクトルによって参照されるブロックのセグメントを使用して予測可能である、前記復号する手段と、
前記符号化されたデータにおける前記少なくとも１つのフラグおよび前記動きベクトルの符号化順を使用して、前記参照されたブロックのうちのいずれが前記現在のブロックのジオメトリと一致するジオメトリを示すかを特定し、かつ、前記特定されたブロックのセグメントを特定する手段と、
前記セグメントの特定の前に、前記特定されたブロックを複数のセグメントにジオメトリ適応ブロック分割する手段と、
を含む、前記装置。

【請求項10】

画像の現在のブロックを予測符号化する装置であって、該装置は、
前記現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントを予測符号化する手段と、
少なくとも１つのフラグおよび複数の動きベクトルを含むデータを符号化する手段と、
を含み、
前記動きベクトルは、前記現在のブロックのセグメントの予測に使用されるブロックを参照するために使用され、
前記少なくとも１つのフラグおよび前記動きベクトルの符号化順は、前記参照されたブロックのうちのいずれが前記現在のブロックのジオメトリと一致するジオメトリを示すかを特定するために用いられることによって、前記現在のブロックの前記ジオメトリ適応ブロック分割を表し、
前記少なくとも１つのフラグおよび前記動きベクトルの前記符号化順は、前記現在のブロックの前記複数のセグメントのうちのいずれが前記特定されたブロックのセグメントを使用して予測可能であるかを特定することをさらに可能にし、
前記現在のブロックの少なくとも１つの更なるセグメントは、前記動きベクトルによって参照される少なくとも１つの更なるブロックを使用して予測可能である、前記装置。

【請求項11】

符号化されたデータ内に符号化された画像を保持する記憶媒体であって、前記画像の少なくとも１つのブロックは、請求項３に記載の方法に従って符号化されている、前記記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ジオメトリ適応ブロック分割の結果として得られるセグメントが予測される、予測画像ブロック符号化および再構築の分野においてなされる。

【背景技術】

【0002】

Ｈ．２６４／ＡＶＣ規格などの、多くの最新のビデオ符号化手法は、マクロブロックの符号化に四分木ベースのパーティション構造を使用する。このような構造は、符号化アルゴリズムが、自然画像の複雑かつ非定常な性質に適応できるようにする。四分木のパーティションには、適応性の点でフレキシビリティがあるものの、Ｃ．Ｄａｉ氏、 Ｏ．Ｅｓｃｏｄａ氏、Ｐ．Ｙｉｎ氏、Ｘ．Ｌｉ氏、Ｃ．Ｇｏｍｉｌａ氏による最近の研究「画像およびビデオの符号化におけるイントラ予測のためのジオメトリ適応ブロック分割（Ｇｅｏｍｅｔｒｙ−Ａｄａｐｔｉｖｅ ｂｌｏｃｋ Ｐａｒｔｉｔｉｏｎｉｎｇ ｆｏｒ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ ｉｎ Ｉｍａｇｅ ＆ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）」、ＩＥＥＥ ＩＣＩＰ ２００７ 画像処理の国際会議２００７年、第６回、２００７年９月１６日〜２００７年１０月１９日、ＶＩ−８５頁〜ＶＩ−８８頁（Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ２００７，ＩＣＩＰ ２００７，ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｖｏｌｕｍｅ ６， Ｓｅｐｔ． １６ ２００７−Ｏｃｔ． １９ ２００７， ｐｐ ＶＩ − ８５ − ＶＩ − ８８）によれば、これらは、画像が２Ｄピースワイズ・スムーズ信号として局所的にモデル化することができる場合に、（レート歪み性能の点からは）十分に効率的なものではない。

【0003】

従って、Ｄａｉ氏らは、上記の研究において、マクロブロック内で２Ｄピースワイズ・データをモデル化するためにジオメトリ・ベースのブロック分割の使用を研究した。Ｄａｉ氏らは、複数のブロック内での複数のジオメトリック・パーティションを提案しており、ここで、これらのパーティションは、或る線のインプリシット・パラメトリック・モデル、ｆ（ｘ，ｙ）＝ｘｃｏｓθ＋ｙｓｉｎθ−ρによって定義される。ｆ（ｘ，ｙ）の零レベル線によって生成される分割線は、角度θおよび距離ρによって決定される。そして、θおよびρは、モード「ｇｅｏ」を用いて複数のブロックのビットストリームに符号化されて送信される。イントラにおけるθおよびρの追加符号化コストが発生するが、１２％までのＰＳＮＲにおける利得が得られた。

【0004】

Ｒ．Ｍａｔｈｅｗ氏およびＤ．Ｓ．Ｔａｕｂｍａｎ氏は、「四分木ノード結合を用いた動きおよび境界ジオメトリのジョイント・スケーラブル・モデル化（Ｊｏｉｎｔ Ｓｃａｌａｂｌｅ Ｍｏｄｅｌｉｎｇ ｏｆ Ｍｏｔｉｏｎ ａｎｄ Ｂｏｕｎｄａｒｙ Ｇｅｏｍｅｔｒｙ ｗｉｔｈ Ｑｕａｄ−ｔｒｅｅ ｎｏｄｅ ｍｅｒｇｉｎｇ）」、ＩＣＩＰ ２００９において、ジオメトリ・ツリーにおける所与のサブブロックは、ブロック境界を有する線分の２つの切片を示すことによって伝達できることを記載している。これらの２つの切片は、親ブロックの境界ジオメトリを参照して差分符号化される。

【0005】

さらに、既存ではあるが、次善最適（ｓｕｂ−ｏｐｔｉｍａｌ）な四分木の符号化コストを減少させるために、Ｒ．Ｄ．Ｆｏｒｎｉ氏およびＤ．Ｓ．Ｔａｕｂｍａｎ氏は、「四分木動きモデルにおけるリーフ結合の利点について（Ｏｎ ｔｈｅ Ｂｅｎｅｆｉｔｓ ｏｆ Ｌｅａｆ Ｍｅｒｇｉｎｇ ｉｎ Ｑｕａｄ−Ｔｒｅｅ Ｍｏｔｉｏｎ Ｍｏｄｅｌｓ）」、ＩＥＥＥ ＩＣＩＰ ２００５ 画像処理の国際会議２００５年、第２回、２００５年９月１１〜１４日、ＩＩ−８５８〜６１頁（Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ２００５， ＩＣＩＰ ２００５， ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ， Ｖｏｌｕｍｅ ２， １１−１４ Ｓｅｐｔ． ２００５， ｐｐ ＩＩ − ８５８−６１）において、隣接リーフが結合される必要があるかどうかを示す追加的なバイナリ結合フラグを符号化することを提案している。リーフが結合されるべき場合には、追加的な０、１、または２ビットが特定の結合方向を識別するために符号化される。その実施を通じて、著者は、Ｈ．２６４／ＡＶＣの場合と比較して、ＰＳＮＲにおいて、０．５ｄＢ〜１ｄＢの利得が得られることを経験している。

【発明の概要】

【0006】

発明者らは、従来技術によれば、符号化モード「ｇｅｏ」の適切な選択のために、想定可能な全てのジオメトリの輪郭が符号化器側でテストされなければならないが、これにより、従来技術に従ったジオメトリの特定が相対的に複雑となっていることを認識した。発明者は、さらに、従来技術に従って特定可能なジオメトリが相対的に単純であることを認識した。

【0007】

これらの点を研究した結果、発明者は、ジオメトリ情報またはオブジェクトの境界情報を、本質的に同一のジオメトリを描き、かつ、ジオメトリ情報を示そうとするブロックよりも前に復号されるように特定されたブロックを参照することによって、インプリシット（黙示的）に示すことができることを発見した。

【0008】

従って、発明者らは、請求項１に記載の画像の現在のブロックを再構築する方法、さらに、請求項３に記載の予測符号化のための対応する方法を提案する。

【0009】

画像の現在のブロックを再構築する上記の方法では、現在のブロックは、現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントの予測符号化を使用して符号化される。この方法は、少なくとも１つのフラグおよび複数の動きベクトルを含む符号化されたデータを復号するステップであって、動きベクトルによって参照されるブロックが現在のブロックのセグメントの予測に使用される上記復号するステップと、符号化されたデータにおける少なくとも１つのフラグおよび動きベクトルの符号化順を使用して、参照されたブロックのうちのいずれが現在のブロックのジオメトリと一致するジオメトリを示すかを特定し、かつ、特定されたブロックのセグメントを特定するステップと、を含み、セグメントの特定の前に、特定されたブロックが複数のセグメントにジオメトリ適応ブロック分割され、これらのセグメントのうちから、現在のブロックの複数のセグメントのうちの１つを予測するセグメントが特定される。

【0010】

この再構築方法の一態様においては、符号化されたデータは残差をさらに含み、この方法は、動きベクトルを使用して記憶装置からブロックを取得するステップと、特定されたセグメントを使用して少なくとも１つの追加的に参照されたブロック内の少なくとも１つのセグメントを選択するステップであって、選択された少なくとも１つのセグメントは特定されたセグメントに対して輪郭が相補的である上記選択するステップと、特定されたセグメント、選択された少なくとも１つのセグメント、および残差を使用して現在のブロックを再構築するステップと、をさらに含む。

【0011】

現在のブロックを予測符号化する上記の方法は、現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントの予測符号化を使用するステップと、少なくとも１つのフラグおよび符号化順にある複数の動きベクトルを含むデータを符号化するステップと、を含み、少なくとも１つのフラグおよび符号化順は、動きベクトルのうちのいずれが現在のブロックのジオメトリと一致するジオメトリを示すブロックを参照するかを示し、かつ、現在のブロックの複数のセグメントのうちの１つを予測するために上記示されたブロックのどのセグメントが使用されるかをさらに示し、動きベクトルによって参照される少なくとも１つの更なるブロックが現在のブロックの少なくとも１つの更なるセグメントの予測に使用される。

【0012】

従って、発明者は、直線よりもより複雑なジオメトリ輪郭の抽出を可能にし、さらに、符号化コストを減少させるステップによって、画像ブロック符号化のためのジオメトリ適応ブロック分割の原理を改良することを提案する。この原理は、ソース画像特性から独立してジオメトリ・パラメータを決定するのではなく、画像からジオメトリ情報を抽出することにより、ソース画像におけるインプリシット（黙示的）なジオメトリを利用することである。

【0013】

一態様においては、上記の予測符号化方法は、現在のブロックの１つのセグメントを使用して、記憶装置に記憶された複数の再構築されたブロックから、現在のブロックのジオメトリと一致するジオメトリを示すブロックを特定するステップと、特定されたブロックのセグメントを使用して少なくとも１つの更なるセグメントを特定するステップと、少なくとも１つの更なるセグメントを使用して少なくとも１つの更なるブロックを特定するステップと、特定されたブロックのセグメントおよび少なくとも１つの更なるブロックに含まれる少なくとも１つの更なるセグメントを使用して現在のブロックのセグメントを予測するステップと、特定されたブロックおよび特定された少なくとも１つの更なるブロックを使用して動きベクトルを特定するステップと、予測を使用して現在のブロックの残差を特定するステップと、残差を量子化するステップであって、符号化されたデータは量子化された残差をさらに含む上記量子化するステップと、をさらに含む。

【0014】

他の態様においては、予測符号化方法は、予測および量子化された残差を使用して現在のブロックを再構築するステップをさらに含む。

【0015】

他のブロックの再構築または符号化のために、再構築された現在のブロックを記憶装置に記憶することができる。

【0016】

ジオメトリ適応ブロック分割は、Ｓｏｂｅｌオペレータを使用して各々のブロックのための階調ブロックを特定するステップを含むことができる。

【0017】

これらの方法の各態様において、画像は画像シーケンスに含まれ、少なくとも１つの動きベクトルが画像シーケンスに含まれる少なくとも１つの異なる画像に含まれるブロックを参照する。

【0018】

さらに、請求項９に記載の装置を提案する。

【0019】

この装置は、画像の現在のブロックを再構築するものであり、現在のブロックは、現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントの予測符号化を使用して符号化されており、少なくとも１つのフラグおよび複数の動きベクトルを含む符号化されたデータを復号する手段であって、現在のブロックのセグメントが、動きベクトルによって参照されるブロックのセグメントを使用して予測可能である上記復号する手段と、符号化されたデータにおける少なくとも１つのフラグおよび動きベクトルの符号化順を使用して、参照されたブロックのうちのいずれが現在のブロックのジオメトリと一致するジオメトリを示すかを特定し、かつ、特定されたブロックのセグメントを特定する手段と、セグメントの特定の前に、特定されたブロックを複数のセグメントにジオメトリ適応ブロック分割する手段と、を含む。

【0020】

さらに、請求項１０に記載の別の装置を提案する。

【0021】

この装置は、画像の現在のブロックを予測符号化するためのものであり、現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントを予測符号化する手段と、少なくとも１つのフラグおよび複数の動きベクトルを含むデータを符号化する手段と、を含み、少なくとも１つのフラグおよび動きベクトルの符号化順は、動きベクトルのうちのいずれが現在のブロックのジオメトリと一致するジオメトリを示すブロックを参照するかを特定することを可能にし、かつ、現在のブロックの複数のセグメントのうちのいずれが特定可能なブロックのセグメントを使用して予測可能であるかを特定することをさらに可能にし、現在のブロックの少なくとも１つの更なるセグメントが動きベクトルによって参照された少なくとも１つの更なるブロックを使用して予測可能である。

【0022】

記憶媒体が提案され、この記憶媒体は、符号化されたデータ内に符号化された画像を保持する記憶媒体であって、画像の少なくとも１つのブロックが請求項３に記載の方法に従って符号化されている。

【0023】

図面を参照して、以下の記載の中で、本発明の例示的な実施形態をより詳細に説明する。例示的な実施形態は、本発明を分かりやすくするために説明されているだけであり、本発明の開示内容を限定するものではない。本発明の開示内容は、出願明細書の内容のみによって限定されるものであり、例示的な実施形態は、権利保護を求める各請求項において規定される範囲を限定するものではない。

【図面の簡単な説明】

【0024】

【図1】例示的なソース画像を描いた図である。

【図2】ソース画像のために定められた例示的な階調画像を描いた図である。

【図3】ソース画像内の例示的に抽出されたジオメトリ・ラインを描いた図である。

【図4】多項式ブロック・パーティションの例を描いた図である。

【図5】任意の形状のブロック・パーティションの例を描いた図である。

【図6】図５に描かれた任意の形状のブロック・パーティションに対応するバイナリ・マスクの例を描いた図である。

【図7】予測のために第１の参照ブロックの左上のセグメントおよび別の第２の参照ブロックの相補セグメントが使用される例を描いた図である。

【図8】予測のために第１の参照ブロックの右下のセグメントおよび別の第２の参照ブロックの相補セグメントが使用される例を描いた図である。

【発明を実施するための形態】

【0025】

本発明は、相応に適応する処理装置を含むどのような電子装置上でも実現することができる。例えば、本発明は、テレビジョン、セット・トップ・ボックス、携帯電話、パーソナル・コンピュータ、ディジタル・スチル・カメラ、ディジタル・ビデオ・カメラ、ナビゲーション・システム、または、カー・ビデオ・システムにおいて実現することができる。

【0026】

第１の実施形態においては、ジオメトリは、従来のエッジ輪郭抽出器を使用して計算される。例えば、ソース画像および／または復号された画像の（色）階調が使用される。階調画像は、良く知られているｓｏｂｅｌアルゴリズムを使用して計算することができる。ブロック・サイズＭｘＮを使用した画像の所与のマクロブロック分解では、従来の主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、または線形回帰を使用して、各ＭｘＮブロック内の階調点と最良に一致する直線のパラメータを決定することができる。

【0027】

第２の実施形態においては、非線形パラメータ、例えば、多項式パラメータを特定することによって、ＰＣＡを使用した方法を非線形ジオメトリの特定に拡張することができる。

【0028】

この第２の実施形態の代わりに、キャニー・オペレータ（Ｃａｎｎｙ ｏｐｅｒａｔｏｒ）やハフ変換（Ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）のような任意の旧来のエッジ検出を使用して、ブロックを複数のパーティションに分離する１つ以上の連続したエッジを決定してもよい。

【0029】

どのようにエッジが検出されるかにかかわらず、検出されたエッジを、例えば、１つ以上のバイナリ・マスクを生成することによって、各ブロックをセグメント化するために使用することができる。

【0030】

結果として得られるセグメントは、参照ブロックを使用して予測される。より正確には、参照ブロックのセグメントが、符号化すべき現在のブロックのセグメントを予測するために使用される。

【0031】

正確な符号化のために、予測のために使用される参照ブロックを参照する動きベクトルを用いた復号器を提供する必要がある。予測のために使用される参照ブロックのセグメントを決定できるようにする追加的な情報を提供する必要がある。

【0032】

追加的な情報は、参照ブロックを複数のセグメントにセグメント化することができる分割スキームを復号器が決定できるようにする。さらに、追加的な情報は、復号器が各参照ブロックのセグメントを選択できるようにする。選択した複数のセグメントを組み合わせることにより、その結果として、再構築すべきブロックの予測が得られる。この予測を、符号化器にさらに伝達される残差と組み合わせることにより、最終的に、再構築すべきブロックの再構築が得られる。

【0033】

部分的には、追加的な情報は、例えば、送信またはブロードキャストによってインプリシット（黙示的）に伝達され、エッジを予測する役目を果たすセグメント予測のために使用される参照ブロックも存在する。或いは、セグメント予測のために使用される単一の参照ブロックが、全てのエッジを予測する役目を果たす。

【0034】

第１の実施形態：
第１の実施形態は、符号化すべきブロックを２つのセグメントに分離する単一のエッジを示すブロックの符号化に関する。２つのセグメントの各々は、１つの参照ブロックによって予測され、従って、２つの動きベクトルによって参照される予測のために特定される２つのブロックが存在する。２つの参照されるブロックは、これらのうちの一方が、セグメントだけでなく、単一のエッジを予測するように選択される。即ち、復号器側で、１つの参照ブロックのみをセグメント化してエッジを特定することができ、次に、このエッジを使用して、一方および他方のブロックを使用したセグメント予測を決定する。エッジ予測のために２つの参照ブロックのうちのいずれを使用するかを決定し、さらに、使用すべきエッジ予測参照ブロックにおいて特定されるエッジによって分離される２つのセグメントのうちのいずれかを特定するのに必要な情報を復号器に提供するために、２つの動きベクトルの符号化順およびフラグが使用される。

【0035】

或る場合には、符号化順における所定の位置、例えば、第１の位置にある動きベクトルによって参照されるブロックが、エッジの検出のために使用されるものとなる。この場合には、所定の位置にある動きベクトルによって参照されるこのブロックが、所定の画素、例えば、ブロックの左上隅の画素または右下隅の画素を含むセグメントの予測のために使用される場合に、フラグがセットされる。

【0036】

そうでない場合には、フラグは、符号化順における第１の動きベクトルまたは第２の動きベクトルがエッジの予測のために追加的に使用されるブロックを参照するかどうかを示す。この場合には、符号化順は予測のために使用するべきセグメントを特定する役目を果たす。

【0037】

第２の実施形態：
第２の実施形態は、符号化すべきブロックを３つのセグメントに分離する２つのエッジを描いたブロックの符号化に関する。３つのセグメントの各々は、１つの参照ブロックによって予測され、従って、３つの動きベクトルによって参照される予測のために特定される３つのブロックが存在する。３つの参照されたブロックは、これらのうちの２つの各々が、複数のセグメントのうちの１つだけでなく、複数のエッジのうちの１つを予測するように選択される。即ち、復号器側で、これらの２つの参照ブロックをセグメント化してエッジを特定することができ、次に、このエッジを使用して、これら２つおよび残りの１つの参照ブロックを使用したセグメント予測を決定する。３つの参照ブロックのうちのいずれをエッジ予測に使用するかを決定し、さらに、使用すべき予測されたエッジによって分離されるセグメントのうちのいずれかを特定するのに必要な情報を復号器に提供するために、３つの動きベクトルの符号化順および２つのフラグが使用される。

【0038】

例えば、符号化順で第１番目の動きベクトルは、第１のエッジを予測するブロックを参照し、第１のフラグは、第１の参照されたブロックを使用してこのエッジによって分離されるセグメントのうちのいずれを予測するかを示す。符号化順で第２番目の動きベクトルは、第２のエッジを予測するブロックを参照する。第２のエッジは、第１の動きベクトルによって参照されるブロックによって予測すべきセグメントに対して相補的なセグメントを、２つの更なるセグメントに分離する。第２のフラグは、更なるセグメントのうちのいずれが第２の参照されたブロックを使用して予測されるべきかを示す。更なるセグメントのうちの他方は、次に、最後の動きベクトルによって参照されるブロックを使用して予測される。

【0039】

或いは、これらのフラグは、３つの動きベクトルのうちのいずれの２つがエッジの予測のために追加的に使用されるべきブロックを参照するかを示す。この場合、符号化順は予測のために使用すべきセグメントを特定する役目を果たす。

【0040】

第２の実施形態は、実際には、ブロックをセグメント化する第１のセグメント化、さらに、第１のセグメント化の結果により得られるセグメントをセグメント化する第２のセグメント化を用いて、第１の実施形態を反復処理するものである。ｎ個の参照ブロックを使用してｎ個のエッジを決定し、これにより、ｎ個のエッジによって分離される（ｎ＋１）個のセグメントのうちのｎ個のセグメントを追加的に予測し、残りのセグメントが更なる参照ブロックによって予測されるように、さらに反復処理することもできる。この場合、ｎ個のフラグおよび動きベクトルの符号化順により、正確な復号が可能となる。

【0041】

第３の実施形態：
第３の実施形態もまた、符号化すべきブロックを３つのセグメントに分離する２つのエッジを描くブロックの符号化に関する。第３の実施形態によれば、３つの参照ブロックは、これらのうちの１つがセグメントのうちの１つだけでなく、両方のエッジを予測するように選択される。即ち、復号器側で、この１つの参照ブロックをセグメント化してエッジを特定することができ、次に、このエッジを使用してこれらの２つおよび残りの１つの参照ブロックを使用したセグメント予測を決定する。３つの参照ブロックのうちのいずれをエッジ検出に使用するかを決定し、さらに、使用すべき予測されたエッジによって分離されるセグメントのうちのいずれかを特定するために必要な情報を復号器に提供するために、３つの動きベクトルの符号化順および２つのフラグが使用される。

【0042】

例えば、符号化順で第１番目の動きベクトルは、２つのエッジを予測するブロックを参照し、さらに、フラグは、このエッジによって分離される結果として得られる３つのセグメントのうちのいずれを第１の参照されたブロックを使用して予測するかを示す。残りの２つのセグメントは、所定の基準、例えば、第１の参照されたブロックによって予測されたセグメントと共通のエッジの長さに従って、順序が決められる。この順序に従った第１のセグメントは、次に、符号化順で第２番目の動きベクトルによって参照されたブロックによって予測され、この順序に従った第２のセグメントは、次に、符号化順で最後の動きベクトルによって参照されたブロックにより予測される。

【0043】

或いは、これらのフラグは、３つの動きベクトルのうちのいずれが、エッジの予測のために追加的に使用すべきブロックを参照するかを示す。この場合、符号化順は予測のために使用すべきセグメントを特定する役目を果たす。

【0044】

この場合もまた、この原理をｎ個のエッジ、（ｎ＋１）個の参照ブロックによって予測される（ｎ＋１）個のセグメント、およびｎ個のフラグに一般化することができる。

【0045】

本発明は、ブロック内に少なくとも部分的に描かれたオブジェクトのオブジェクト境界の輪郭情報が、最も類似する、または、同一であるオブジェクト境界を描く別のブロックを参照した形態で伝達可能であるという原理に基づくものである。特に、画像が画像シーケンスに含まれる実施形態においては、オブジェクトは、このオブジェクトの動きのために異なる複数の位置にある可能性があるが、幾つかの画像に描かれるであろう。

【0046】

この別のブロックは、結果として得られるセグメントのうちの１つの予測のために使用されるものである。

【0047】

第１の実施形態の特定の例においては、ブロックの再構築は、以下のステップを含む。

【0048】

Ｇｅｏブロック・データの解析（パーシング；ｐａｒｓｉｎｇ）：
ジオメトリのためのバイナリ・フラグは、ｇｅｏモードを示し、図７および図８において例示的に描かれているような、左上（ＴＬ：ｔｏｐ−ｌｅｆｔ）または右下（ＢＲ：ｂｏｔｔｏｍ−ｒｉｇｈｔ）のインプリシット（黙示的な）・パーティションを使用してジオメトリが計算されるかどうかを示す。

【0049】

図７に例示的に描かれているように、ＢＲがジオメトリを特定することをバイナリ・フラグが示す場合には、上述したセグメント化方法のうちのいずれか１つを使用し、参照ピクチャ内の動きベクトルＶ２によって示されたブロック領域を使用して境界輪郭の抽出を行う。

【0050】

図８に例示的に描かれているように、ＴＬがジオメトリを特定することをバイナリ・フラグが示す場合には、上述したセグメント化方法のうちのいずれか１つを使用し、参照ピクチャ内の動きベクトルＶ１によって示されたブロック領域を使用して境界輪郭の抽出を行う。

【0051】

境界輪郭が抽出されると、対応するマスクが計算され、領域ＢＲおよび領域ＴＬに対応する画素を選択的に動き補償する。このマスクは、各画素について、動き補償処理の間に使用されるべき重み［０；１］を含む。

【0052】

第１の実施形態のこの例は、符号化器側でのジオメトリの特定が単純になるという利点があり、さらに、これにより、より複雑なジオメトリの抽出が可能となる。さらに、このより複雑なジオメトリは、描かれたオブジェクトの境界により良好に一致するため、符号化コストが減少し、結果として、予測が良好になる。さらに、ジオメトリの複雑さにかかわらず、単一のビットで十分となる。
＜付記１＞
画像の現在のブロックを再構築する方法であって、前記現在のブロックは、当該現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントの予測符号化を使用して符号化されており、前記方法は、
少なくとも１つのフラグおよび複数の動きベクトルを含む符号化されたデータを復号するステップであって、前記動きベクトルによって参照されるブロックが前記現在のブロックのセグメントの予測に使用される、前記復号するステップと、
前記符号化されたデータにおける前記少なくとも１つのフラグおよび前記動きベクトルの符号化順を使用して、前記参照されたブロックのうちのいずれが前記現在のブロックのジオメトリと一致するジオメトリを示すかを特定し、かつ、前記現在のブロックの前記複数のセグメントのうちの１つを予測する前記特定されたブロックのセグメントを特定するステップと、を含み、
前記セグメントの特定の前に、前記特定されたブロックが複数のセグメントにジオメトリ適応ブロック分割される、前記方法。
＜付記２＞
前記符号化されたデータは残差をさらに含み、前記方法は、
前記動きベクトルを使用して記憶装置から前記ブロックを取得するステップと、
前記特定されたセグメントを使用して少なくとも１つの追加的に参照されたブロック内の少なくとも１つのセグメントを選択するステップであって、前記選択された少なくとも１つのセグメントは前記特定されたセグメントに対して輪郭が相補的である、前記選択するステップと、
前記特定されたセグメント、前記選択された少なくとも１つのセグメント、および前記残差を使用して前記現在のブロックを再構築するステップと、
をさらに含む、付記１に記載の方法。
＜付記３＞
画像の現在のブロックを予測符号化する方法であって、該方法は、
前記現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントの予測符号化を使用するステップと、
少なくとも１つのフラグおよび符号化順にある複数の動きベクトルを含むデータを符号化するステップと、を含み、
前記少なくとも１つのフラグおよび前記動きベクトルの符号化順は、前記動きベクトルのうちのいずれが前記現在のブロックのジオメトリと一致するジオメトリを示すブロックを参照するかを示すことによって、前記現在のブロックの前記ジオメトリ適応ブロック分割を表し、
前記少なくとも１つのフラグおよび前記動きベクトルの前記符号化順は、前記現在のブロックの前記複数のセグメントのうちの１つを予測するために前記示されたブロックのどのセグメントが使用されるかをさらに示し、
前記動きベクトルによって参照される少なくとも１つの更なるブロックが前記現在のブロックの少なくとも１つの更なるセグメントの予測に使用される、前記方法。
＜付記４＞
前記現在のブロックの前記１つのセグメントを使用して、記憶装置に記憶された複数の再構築されたブロックから、前記現在のブロックの前記ジオメトリと一致するジオメトリを示す前記ブロックを特定するステップと、
前記特定されたブロックのセグメントを使用して前記少なくとも１つの更なるセグメントを特定するステップと、
前記少なくとも１つの更なるセグメントを使用して前記少なくとも１つの更なるブロックを特定するステップと、
前記特定されたブロックの前記セグメントおよび前記少なくとも１つの更なるブロックに含まれる少なくとも１つの更なるセグメントを使用して前記現在のブロックの前記セグメントを予測するステップと、
前記特定されたブロックおよび前記特定された少なくとも１つの更なるブロックを使用して前記動きベクトルを特定するステップと、
前記予測を使用して前記現在のブロックの残差を特定するステップと、
残差を量子化するステップであって、前記符号化されたデータは前記量子化された残差をさらに含む、前記量子化するステップと、
をさらに含む、付記３に記載の方法。
＜付記５＞
前記予測および前記量子化された残差を使用して前記現在のブロックを再構築するステップをさらに含む、付記４に記載の方法。
＜付記６＞
前記再構築された現在のブロックを前記記憶装置に記憶するステップをさらに含む、付記２または４に記載の方法。
＜付記７＞
ジオメトリ適応ブロック分割は、Ｓｏｂｅｌオペレータを使用して各々のブロックのための階調ブロックを特定するステップを含む、付記１〜６のいずれか１つに記載の方法。
＜付記８＞
前記画像は画像シーケンスに含まれ、少なくとも１つの動きベクトルが前記画像シーケンスに含まれる少なくとも１つの異なる画像に含まれるブロックを参照する、付記１〜７のいずれか１つに記載の方法。
＜付記９＞
画像の現在のブロックを再構築する装置であって、前記現在のブロックは、当該現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントの予測符号化を使用して符号化されており、前記装置は、
少なくとも１つのフラグおよび複数の動きベクトルを含む符号化されたデータを復号する手段であって、前記現在のブロックのセグメントが、前記動きベクトルによって参照されるブロックのセグメントを使用して予測可能である、前記復号する手段と、
前記符号化されたデータにおける前記少なくとも１つのフラグおよび前記動きベクトルの符号化順を使用して、前記参照されたブロックのうちのいずれが前記現在のブロックのジオメトリと一致するジオメトリを示すかを特定し、かつ、前記特定されたブロックのセグメントを特定する手段と、
前記セグメントの特定の前に、前記特定されたブロックを複数のセグメントにジオメトリ適応ブロック分割する手段と、
を含む、前記装置。
＜付記１０＞
画像の現在のブロックを予測符号化する装置であって、該装置は、
前記現在のブロックのジオメトリ適応ブロック分割の結果として得られる複数のセグメントを予測符号化する手段と、
少なくとも１つのフラグおよび複数の動きベクトルを含むデータを符号化する手段と、
を含み、
前記少なくとも１つのフラグおよび前記動きベクトルの符号化順は、前記動きベクトルのうちのいずれが前記現在のブロックの前記ジオメトリと一致するジオメトリを示すブロックを参照するかを特定することを可能にすることによって、前記現在のブロックの前記ジオメトリ適応ブロック分割を表し、
前記少なくとも１つのフラグおよび前記動きベクトルの前記符号化順は、前記現在のブロックの前記複数のセグメントのうちのいずれが前記特定可能なブロックのセグメントを使用して予測可能であるかを特定することをさらに可能にし、
前記現在のブロックの少なくとも１つの更なるセグメントが前記動きベクトルによって参照される少なくとも１つの更なるブロックを使用して予測可能である、前記装置。
＜付記１１＞
符号化されたデータ内に符号化された画像を保持する記憶媒体であって、前記画像の少なくとも１つのブロックが付記３に記載の方法に従って符号化されている、前記記憶媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】