特許 5743496 多重参照映像を利用した動き推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5743496

(24)【登録日】2015年5月15日

(45)【発行日】2015年7月1日

(54)【発明の名称】多重参照映像を利用した動き推定方法

(51)【国際特許分類】

   H04N 19/105 20140101AFI20150611BHJP

   H04N 19/134 20140101ALI20150611BHJP

   H04N 19/176 20140101ALI20150611BHJP

   H04N 19/196 20140101ALI20150611BHJP

   H04N 19/573 20140101ALI20150611BHJP

【ＦＩ】

   H04N19/105

   H04N19/134

   H04N19/176

   H04N19/196

   H04N19/573

【請求項の数】19

【全頁数】25

(21)【出願番号】特願2010-249899(P2010-249899)

(22)【出願日】2010年11月8日

(65)【公開番号】特開2011-101374(P2011-101374A)

(43)【公開日】2011年5月19日

【審査請求日】2013年11月6日

(31)【優先権主張番号】10-2009-0107191

(32)【優先日】2009年11月6日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

(73)【特許権者】

【識別番号】592127149

【氏名又は名称】韓国科学技術院

【氏名又は名称原語表記】ＫＯＲＥＡ ＡＤＶＡＮＣＥＤ ＩＮＳＴＩＴＵＴＥ ＯＦ ＳＣＩＥＮＣＥ ＡＮＤ ＴＥＣＨＮＯＬＯＧＹ

(74)【代理人】

【識別番号】110000051

【氏名又は名称】特許業務法人共生国際特許事務所

(72)【発明者】

【氏名】羅 炳 斗

(72)【発明者】

【氏名】朴 玄 旭

(72)【発明者】

【氏名】全 東 山

【審査官】 川崎 優

(56)【参考文献】

【文献】 国際公開第２００８／０８０１５８（ＷＯ，Ａ１）

【文献】 Shen,L., et al，An Adaptive and Fast H.264 Multi-Frame Selection Algorithm Based on Information from Previous Searches，Proc. of Int. Conf. on Multimedia and Expo 2007，２００７年 ７月，P.1591-1594

【文献】 松尾翔平ほか，複数参照フレームによる動き補償の処理量削減に関する検討，電子情報通信学会２００６年総合大会講演論文集 情報・システム２ PROCEEDINGS OF THE 2006 IEICE GENERAL CONFERENCE，２００６年 ３月，p.10

【文献】 Lee,H.,et al，Effective multi-frame motion estimation method for H.264，Proc. of Picture Coding Symp. 2009，２００９年 ５月

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−９８

(57)【特許請求の範囲】

【請求項1】

時間的に先行する複数のフレームのビデオ信号を、複数の参照映像として用いる動き推定方法であって、
（ａ）現在ブロックの周辺ブロックのうち、既に符号化が終わった周辺ブロックの参照映像を表わす参照インデックス情報を分析する段階と、
（ｂ）前記周辺ブロックの参照インデックス情報が同一である場合には、前記複数の参照映像のうち、前記周辺ブロックの参照インデックス情報が示す一つの参照映像を選択し、前記選択された一つの参照映像に対して前記現在ブロックの動き推定を行う段階と、
（ｃ）前記周辺ブロックの参照インデックス情報が同一ではない場合には、前記複数の参照映像の全てに対して前記現在ブロックの動き推定を行う段階と、を含み、
前記（ｂ）段階は、
前記周辺ブロックの参照インデックス情報が、同一であるとしても、
（ｂ１）前記現在ブロック及び前記周辺ブロックのブロックサイズ、前記周辺ブロックの前記現在ブロックに対する位置、及び前記周辺ブロックの参照インデックスが示す参照映像に基づいて、前記複数の参照映像のうち、前記一つの参照映像を選択するか否かを決定する段階をさらに含むことを特徴とする多重参照映像を利用した動き推定方法。

【請求項2】

前記（ｂ）段階は、
前記現在ブロックのサイズが、前記動き推定方法によって発生した参照インデックス情報を伝送できる最小ブロックのサイズより小さい場合、前記参照インデックスを発生できる最小ブロックの参照インデックス情報が示す参照映像に対して前記現在ブロックの動き推定を行うことを特徴とする請求項１に記載の多重参照映像を利用した動き推定方法。

【請求項3】

前記（ｂ１）段階は、
前記現在ブロック及び前記周辺ブロックのブロックサイズが、動き推定を行う最大ブロックのサイズより小さい場合、前記現在ブロックの上位ブロックの参照インデックス情報が、前記周辺ブロックの参照インデックス情報と同一であるか否かに基づいて、前記周辺ブロックの参照インデックスが示す参照映像を前記一つの参照映像に選択するか否かを決定する段階を含むことを特徴とする請求項１に記載の多重参照映像を利用した動き推定方法。

【請求項4】

時間的に先行する複数のフレームのビデオ信号を、複数の参照映像として用いる動き推定方法であって、
（ａ）現在ブロックの周辺ブロックのうち、既に符号化が終わった周辺ブロックの参照映像を表わす参照インデックス情報、及び前記現在ブロックの位置に対応する直前フレームのブロックとその周辺ブロックとの参照インデックス情報を分析する段階と、
（ｂ）前記現在ブロックの周辺ブロックのうち、同じ参照インデックス情報を有する第１ブロックの数、及び前記現在ブロックの位置に対応する前記直前フレームのブロックとその周辺ブロックとのうち、前記同じ参照インデックス情報を有する第２ブロックの数の線形組み合わせ値に基づいて、前記複数の参照映像のうち何れか一つの参照映像を選択し、
前記選択された一つの参照映像に対して前記現在ブロックの動き推定を行う段階と、
を含むことを特徴とする多重参照映像を利用した動き推定方法。

【請求項5】

前記（ｂ）段階は、
（ｂ１）前記線形組み合わせ値が、既定の臨界値より大きい場合には、前記同じ参照インデックス情報が示す参照映像に対して前記現在ブロックの動き推定を行う段階と、
（ｂ２）前記線形組み合わせ値が、前記既定の臨界値より小さい場合には、前記複数の参照映像の全てに対して前記現在ブロックの動き推定を行う段階と、
を含むことを特徴とする請求項４に記載の多重参照映像を利用した動き推定方法。

【請求項6】

前記（ｂ）段階において、
前記第１ブロックの数と前記第２ブロックの数のそれぞれに相異なる加重値を乗算して前記線形組み合わせ値を得、前記第１ブロックの数に対する加重値は、前記第２ブロックの数に対する加重値より大きいことを特徴とする請求項４に記載の多重参照映像を利用した動き推定方法。

【請求項7】

時間的に先行する複数のフレームのビデオ信号を、複数の参照映像として用いる動き推定方法であって、
（ａ）現在ブロックの周辺ブロックのうち、既に符号化が終わった周辺ブロックの動きベクトルの平均値のノーム（ｎｏｒｍ）値（ベクトル成分の２乗和の平方根値）に基づいて、現在ブロックの動きベクトルのノーム値を予測する段階と、
（ｂ）前記予測された現在ブロックの動きベクトルのノーム値を特徴ベクトルにして、前記予測された現在ブロックの動きベクトルのノーム値の複数の参照映像に対する事後確率を計算する段階と、
（ｃ）前記計算された事後確率が最大となる参照映像を前記現在ブロックの参照映像に選択し、前記選択された参照映像に対して前記現在ブロックの動き推定を行う段階と、
を含むことを特徴とする多重参照映像を利用した動き推定方法。

【請求項8】

前記（ａ）段階は、
（ａ１）実測された前記現在ブロックの動きベクトルのノーム値と前記周辺ブロックの動きベクトルの平均値のノーム値との関係を表わす複数の訓練サンプルを発生させる段階と、
（ａ２）前記訓練サンプルのうち、最小エラーを有する訓練サンプルに相応する前記周辺ブロックの動きベクトルの平均値のノーム値を前記現在ブロックの動きベクトルのノーム値として予測する段階と、
を含むことを特徴とする請求項７に記載の多重参照映像を利用した動き推定方法。

【請求項9】

前記（ｂ）段階は、
（ｂ１）前記予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事前確率を計算する段階と、
（ｂ２）前記予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する確率密度関数を計算する段階と、
（ｂ３）前記計算された事前確率及び確率密度関数に基づいて、前記予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事後確率を計算する段階と、
を含むことを特徴とする請求項７に記載の多重参照映像を利用した動き推定方法。

【請求項10】

時間的に先行する複数のフレームのビデオ信号を、複数の参照映像として用いる動き推定方法であって、
（ａ）現在ブロックの周辺ブロックのうち、既に符号化が終わった周辺ブロックの参照映像を表わす参照インデックス情報、及び前記現在ブロックの位置に対応する直前フレームのブロックとその周辺ブロックとのインデックス情報を分析する段階と、
（ｂ）前記現在ブロックの周辺ブロックのうち、同じ参照インデックス情報を有する第１ブロックの数、及び前記現在ブロックの位置に対応する前記直前フレームのブロックとその周辺ブロックとのうち、前記同じ参照インデックス情報を有する第２ブロックの数を線形に組み合わせて第１の線形組み合わせ値を得る段階と、
（ｃ）前記現在ブロックの周辺ブロックの動きベクトルの平均値のノームに基づいて、現在ブロックの動きベクトルのノーム値を予測し、前記予測された現在ブロックの動きベクトルのノーム値を特徴ベクトルにして、前記予測された現在ブロックの動きベクトルの値のノーム値の前記複数の参照映像に対する事後確率を計算する段階と、
（ｄ）前記複数の参照映像のそれぞれに対する前記第１の線形組み合わせ値と、前記予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事後確率とを線形に組み合わせて第２の線形組み合わせ値を得、前記第２の線形組み合わせ値の大きさによって順次に前記複数の参照映像に対する動き推定を行う段階と、
を含むことを特徴とする多重参照映像を利用した動き推定方法。

【請求項11】

前記（ｂ）段階において、
前記第１ブロックの数と前記第２ブロックの数のそれぞれに相異なる加重値を乗算して前記第１の線形組み合わせ値を得、前記第１ブロックの数に対する加重値は、前記第２ブロックの数に対する加重値より大きいことを特徴とする請求項１０に記載の多重参照映像を利用した動き推定方法。

【請求項12】

前記（ｄ）段階において、
前記第１の線形組み合わせ値と前記予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事後確率のそれぞれに、相異なる加重値を乗算して前記第１の線形組み合わせ値を得、
前記第１の線形組み合わせ値に対する加重値は、前記予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事後確率に対する加重値より大きいことを特徴とする請求項１０に記載の多重参照映像を利用した動き推定方法。

【請求項13】

前記（ｃ）段階で、前記現在ブロックの周辺ブロックの動きベクトルの平均値のノームに基づいて、現在ブロックの動きベクトルのノーム値を予測する段階は、
（ｃ１）実測された前記現在ブロックの動きベクトルのノーム値と前記周辺ブロックの動きベクトルの平均値のノーム値との関係を表わす複数の訓練サンプルを発生させる段階と、
（ｃ２）前記訓練サンプルのうち、最小エラーを有する訓練サンプルに相応する前記周辺ブロックの動きベクトルの平均値のノーム値を前記現在ブロックの動きベクトルのノーム値として予測する段階と、
を含むことを特徴とする請求項１０に記載の多重参照映像を利用した動き推定方法。

【請求項14】

前記（ｃ）段階で、前記現在ブロックの動きベクトルのノーム値の複数の参照映像に対する事後確率を計算する段階は、
（ｃ４）前記予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事前確率を計算する段階と、
（ｃ５）前記予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する確率密度関数を計算する段階と、
（ｃ６）前記計算された事前確率及び確率密度関数に基づいて、前記予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事後確率を計算する段階と、
を含むことを特徴とする請求項１０に記載の多重参照映像を利用した動き推定方法。

【請求項15】

時間的に先行する複数のフレームのビデオ信号を、複数の参照映像として用いる動き推定方法であって、
（ａ）現在ブロックの周辺ブロックのうち、既に符号化が終わった周辺ブロックの参照映像を表わす参照インデックス情報、及び前記現在ブロックの位置に対応する直前フレームのブロックとその周辺ブロックのインデックス情報を分析する段階と、
（ｂ）前記周辺ブロックの参照インデックス情報が同一であるか否か、前記現在ブロック及び前記周辺ブロックのブロックサイズ、前記周辺ブロックの前記現在ブロックに対する位置、及び前記周辺ブロックの参照インデックスが示す参照映像に基づいて、前記複数の参照映像のうち、前記一つの参照映像を選択するか否かを決定する段階と、
（ｃ）前記（ｂ）段階で、前記複数の参照映像のうち、前記一つの参照映像が選択された場合には、前記選択された一つの参照映像に対してのみ前記現在ブロックの動き推定を行う段階と、
（ｄ）前記（ｂ）段階で、前記複数の参照映像のうち、前記一つの参照映像が選択されていない場合には、前記現在ブロックの周辺ブロック及び前記現在ブロックの位置に対応する前記直前フレームのブロックとその周辺ブロックとが同じ参照インデックスを有するか否かと、前記現在ブロックの周辺ブロックの動きベクトルに基づいて予測された前記現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事後確率の線形組み合わせを行い、得られた線形組み合わせ値の大きさ順に前記複数の参照映像に対する動き推定を行う段階と、
を含むことを特徴とする多重参照映像を利用した動き推定方法。

【請求項16】

前記（ｄ）段階は、
（ｄ１）前記現在ブロックの周辺ブロックのうち、同じ参照インデックス情報を有する第１ブロックの数及び前記現在ブロックの位置に対応する前記直前フレームのブロックとその周辺ブロックとのうち、前記同じ参照インデックス情報を有する第２ブロックの数を線形組み合わせて第１の線形組み合わせ値を得る段階と、
（ｄ２）前記現在ブロックの周辺ブロックの動きベクトルの平均値のノームに基づいて、現在ブロックの動きベクトルのノーム値を予測し、前記予測された現在ブロックの動きベクトルのノーム値を特徴ベクトルにして、前記現在ブロックの動きベクトルのノーム値の複数の参照映像に対する事後確率を計算する段階と、
（ｄ３）前記第１の線形組み合わせ値と、前記現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事後確率とを線形に組み合わせて得た第２の線形組み合わせ値の大きさによって順次に前記複数の参照映像に対する動き推定を行う段階と、
を含むことを特徴とする請求項１５に記載の多重参照映像を利用した動き推定方法。

【請求項17】

前記（ｄ２）段階で、前記現在ブロックの周辺ブロックの動きベクトルの平均値のノームに基づいて、現在ブロックの動きベクトルのノーム値を予測する段階は、
（ｄ２１）実測された前記現在ブロックの動きベクトルのノーム値と前記周辺ブロックの動きベクトルの平均値のノーム値との関係を表わす複数の訓練サンプルを発生させる段階と、
（ｄ２２）前記訓練サンプルのうち、最小エラーを有する訓練サンプルに相応する前記周辺ブロックの動きベクトルの平均値のノーム値を前記現在ブロックの動きベクトルのノーム値として予測する段階と、
を含むことを特徴とする請求項１６に記載の多重参照映像を利用した動き推定方法。

【請求項18】

前記（ｄ２）段階で、前記予測された現在ブロックの動きベクトルのノーム値を特徴ベクトルにして、前記予測された現在ブロックの動きベクトルのノーム値の複数の参照映像に対する事後確率を計算する段階は、
（ｄ２３）前記予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事前確率を計算する段階と、
（ｄ２４）前記予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する確率密度関数を計算する段階と、
（ｄ２５）前記計算された事前確率及び確率密度関数に基づいて、前記予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事後確率を計算する段階と、
を含むことを特徴とする請求項１６に記載の多重参照映像を利用した動き推定方法。

【請求項19】

請求項１、４、７、１０、１５のうちの何れか一項に記載の多重参照映像を利用した動き推定方法を実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イメージ圧縮技術に係り、より詳細には、多重参照映像を利用したビデオ信号圧縮時に、演算量を効率的に減らすと同時に、最適の参照映像に対する動き推定を行う方法に関する。

【背景技術】

【0002】

最近、移動通信及び衛星通信の急速な発達につれて、情報化社会における無線通信サービスの役割がますます重要となり、従来の音声や文字情報の伝送だけではなく、無線でインターネットに接続するか、動画通信が可能なマルチメディア無線通信サービスが普及している。特に、ＩＭＴ−２０００事業と衛星ＤＭＢ（Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）システムを利用した第４世代移動通信などでは、高画質の動画をリアルタイムで伝送できる環境が構築されている。

【0003】

このような技術の商用化は、アナログ映像信号をデジタル信号に圧縮して符号化（Ｅｎｃｏｄｉｎｇ）した後、これをデジタル信号として送信し、受信された端末機では、これを再び復号化（Ｄｅｃｏｄｉｎｇ）する多様な映像圧縮技術の発達につれて可能になった。このような映像信号の符号化は、国際標準化機構であるＩＳＯ／ＩＥＣ傘下のＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）とＩＴＵ−Ｔ傘下のＶＣＥＧ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）が主導している。現在、最新の映像信号符号化標準であるＨ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）もＭＰＥＧとＶＣＥＧとが共同で結成したＪＶＴ（Ｊｏｉｎｔ ＶｉｄｅｏＴｅａｍ）によって完成された。

【0004】

Ｈ．２６４／ＡＣＶには、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６１、Ｈ．２６３などの既存の他のビデオコーデック（ｃｏｄｅｃ）とは異なる多様な技術を導入することによって、既存コーデックに比べて卓越した圧縮性能を示す。例えば、Ｈ．２６４／ＡＶＣは、４Ｘ４ブロックに対する動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）を行うことによって、１６Ｘ１６サイズのマクロブロック（ｍａｃｒｏ ｂｌｏｃｋ）で最大１６個の４Ｘ４ブロックに対する動き推定を行い、動きベクトル（ｍｏｔｉｏｎ ｖｅｃｔｏｒ）の解像度を１／４ピクセル（ｐｉｘｅｌ）まで高めることで、既存コーデックに比べてより精巧な動き推定過程を実行できる。

【0005】

しかし、Ｈ．２６４／ＡＶＣは、複数の参照映像を用いて画面間の残差信号（ｒｅｓｉｄｕａｌ）を求めているので、動き推定過程の複雑度が既存のコーデックに比べて増加し、動きベクトルの推定精度は向上できるけれども、動き推定過程の演算処理時間が増加する原因となる。このようなＨ．２６４／ＡＶＣ化過程での複雑性は、Ｈ．２６４／ＡＶＣのリアルタイムビデオ符号化器のようなアプリケーション（ａｐｐｌｉｃａｔｉｏｎ）への適用を困難にし、よって、圧縮性能を維持しつつ、効率的に複雑度を除去できる技術が必要となった。このような問題点は、前述したＨ．２６４／ＡＶＣに限定されるものではなく、これから標準として採択される圧縮技術にも共通して生じるであろう。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明が解決しようとする技術的な課題は、複数の参照映像を用いて動き推定を行い、動きベクトルの解像度が高くなっても、高速で動き推定を行うことができる方法を提供することである。

【課題を解決するための手段】

【0007】

前記技術的課題を解決するための本発明の実施形態による多重参照映像を利用した動き推定方法は、時間的に先行する複数のフレームのビデオ信号を、複数の参照映像として用いる動き推定方法であって、（ａ）現在ブロックの周辺ブロックのうち、既に符号化が終わった周辺ブロックの参照映像を表わす参照インデックス情報を分析する段階と、（ｂ）前記周辺ブロックの参照インデックス情報が同一である場合には、前記複数の参照映像のうち、前記周辺ブロックの参照インデックス情報が示す一つの参照映像を選択し、前記選択された一つの参照映像に対して前記現在ブロックの動き推定を行う段階と、前記周辺ブロックの参照インデックス情報が同一ではない場合には、前記複数の参照映像の全てに対して前記現在ブロックの動き推定を行う段階と、を含むことを特徴とする。

【0008】

前記技術的課題を解決するための本発明の他の実施形態による多重参照映像を利用した動き推定方法は、時間的に先行する複数のフレームのビデオ信号を、複数の参照映像として用いる動き推定方法であって、現在ブロックの周辺ブロックのうち、既に符号化が終わった周辺ブロックの参照映像を表わす参照インデックス情報、及び前記現在ブロックの位置に対応する直前フレームのブロックとその周辺ブロックとの参照インデックス情報を分析する段階と、（ｂ）前記現在ブロックの周辺ブロックのうち、同じ参照インデックス情報を有する第１ブロックの数、及び前記現在ブロックの位置に対応する前記直前フレームのブロックとその周辺ブロックとのうち、前記同じ参照インデックス情報を有する第２ブロックの数の線形組み合わせ値に基づいて、前記複数の参照映像のうち何れか一つの参照映像を選択し、前記選択された一つの参照映像に対して前記現在ブロックの動き推定を行う段階と、を含むことを特徴とする。

【0009】

前記技術的課題を解決するための本発明の他の実施形態による多重参照映像を利用した動き推定方法は、時間的に先行する複数のフレームのビデオ信号を、複数の参照映像として用いる動き推定方法であって、現在ブロックの周辺ブロックのうち、既に符号化が終わった周辺ブロックの動きベクトルの平均値のノーム（ｎｏｒｍ）値（ベクトル成分の２乗和の平方根値）に基づいて、現在ブロックの動きベクトルのノーム値を予測する段階と、（ｂ）前記予測された現在ブロックの動きベクトルのノーム値を特徴ベクトルにして、前記予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事後確率を計算する段階と、（ｃ）前記計算された事後確率が最大となる参照映像を前記現在ブロックの参照映像に選択し、前記選択された参照映像に対して前記現在ブロックの動き推定を行う段階と、を含むことを特徴とする。

【0010】

前記技術的課題を解決するための本発明の他の実施形態による多重参照映像を利用した動き推定方法は、時間的に先行する複数のフレームのビデオ信号を、複数の参照映像として用いる動き推定方法であって、（ａ）現在ブロックの周辺ブロックのうち、既に符号化が終わった周辺ブロックの参照映像を表わす参照インデックス情報、及び前記現在ブロックの位置に対応する直前フレームのブロックとその周辺ブロックとのインデックス情報を分析する段階と、（ｂ）前記現在ブロックの周辺ブロックのうち、同じ参照インデックス情報を有する第１ブロックの数及び前記現在ブロックの位置に対応する前記直前フレームのブロックとその周辺ブロックとのうち、前記同じ参照インデックス情報を有する第２ブロックの数を線形に組み合わせて第１の線形組み合わせ値を得る段階と、（ｃ）前記現在ブロックの周辺ブロックの動きベクトルの平均値のノームに基づいて、現在ブロックの動きベクトルのノーム値を予測し、前記予測された現在ブロックの動きベクトルのノーム値を特徴ベクトルにして、前記予測された現在ブロックの動きベクトルの値のノーム値の前記複数の参照映像に対する事後確率を計算する段階と、（ｄ）前記複数の参照映像のそれぞれに対する前記第１の線形組み合わせ値と、前記予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事後確率とを線形に組み合わせて第２の線形組み合わせ値を得、前記第２の線形組み合わせ値の大きさによって順次に前記複数の参照映像に対する動き推定を行う段階と、を含むことを特徴とする。

【0011】

前記技術的課題を解決するための本発明の他の実施形態による多重参照映像を利用した動き推定方法は、時間的に先行する複数のフレームのビデオ信号を、複数の参照映像として用いる動き推定方法であって、現在ブロックの周辺ブロックのうち、既に符号化が終わった周辺ブロックの参照映像を表わす参照インデックス情報、及び前記現在ブロックの位置に対応する直前フレームのブロックとその周辺ブロックのインデックス情報を分析する（ａ）段階と、前記周辺ブロックの参照インデックス情報が同一であるか否か、前記現在ブロック及び前記周辺ブロックのブロックサイズ、前記周辺ブロックの前記現在ブロックに対する位置、及び前記周辺ブロックの参照インデックスが示す参照映像に基づいて、前記複数の参照映像のうち、前記一つの参照映像を選択するか否かを決定する（ｂ）段階と、前記（ｂ）段階で、前記複数の参照映像のうち、前記一つの参照映像が選択された場合には、前記選択された一つの参照映像に対してのみ前記現在ブロックの動き推定を行う（ｃ）段階と、前記（ｂ）段階で、前記複数の参照映像のうち、前記一つの参照映像が選択されていない場合には、前記現在ブロックの周辺ブロック及び前記現在ブロックの位置に対応する前記直前フレームのブロックとその周辺ブロックとが同じ参照インデックスを有するか否かと、前記現在ブロックの周辺ブロックの動きベクトルに基づいて予測された前記現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事後確率の線形組み合わせを行い、得られた線形組み合わせ値の大きさ順に前記複数の参照映像に対する動き推定を行う（ｄ）段階と、を含むことを特徴とする。

【0012】

前述した本発明の実施形態による動き推定方法のそれぞれは、コンピュータで読み取り可能な記録媒体に保存された前記イメージプロセッシング方法を実行するためのコンピュータプログラムを実行することで具現可能である。

【発明の効果】

【0013】

本発明の実施形態による動き推定方法は、Ｈ．２６４／ＡＶＣのように多重参照映像を用いて動き推定を行う映像圧縮標準において、高速で動き推定結果を提供することができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施形態によるコーデックのブロック図である。

【図2】多重参照映像の原理を説明するための概念図である。

【図3】本発明の実施形態による多重参照映像を利用した動き推定方法を説明するためのフローチャートである。

【図4】連続されるフレームの間の複数の参照映像に対する相関関係を説明するための図である。

【図5】図３の動き推定方法に利用される現在ブロックとその周辺ブロックとの一例を示す。

【図6】数式Ｘで変数ａの変化による現在ブロックと周辺ブロックとの相関関係を表わすグラフである。

【図7】図３の動き推定に利用される現在ブロックとその周辺ブロックとの位置による例を示す。

【図8】本発明の他の実施形態による多重参照映像を利用した動き推定方法を説明するためのフローチャートである。

【図9】図８の動き推定方法に利用される現在フレームと直前フレームとのブロックを示す。

【図10】本発明の他の実施形態による多重参照映像を利用した動き推定方法を説明するためのフローチャートである。

【図11】図１０の連続されるフレームに対する動き推定方法での予測された現在ブロックのノーム値の複数の参照映像に対する確率密度関数を表わすグラフである。

【図12】本発明の他の実施形態による多重参照映像を利用した動き推定方法を説明するためのフローチャートである。

【図13】本発明の他の実施形態による多重参照映像を利用した動き推定方法を説明するためのフローチャートである。

【図14】図１３の動き推定方法に利用される現在ブロックとその周辺ブロックとを示す。

【図15】ＭＯＢＩＬＥ ＣＩＦシーケンスに対する本発明の実施形態による多重参照映像を利用した動き推定方法の効果を説明するためのグラフである。

【図16】ＴＥＭＰＥＴＥ ＣＩＦシーケンスに対する本発明の実施形態による多重参照映像を利用した動き推定方法の効果を説明するためのグラフである。

【図17】ＦＯＲＥＭＡＮ ＱＣＩＦシーケンスに対する本発明の実施形態による多重参照映像を利用した動き推定方法の効果を説明するためのグラフである。

【発明を実施するための形態】

【0015】

本発明と本発明の動作上の利点及び本発明の実施によって達成される目的を十分に理解するためには、本発明の望ましい実施形態を例示する添付図面及び添付図面に記載の内容を参照しなければならない。以下、添付した図面を参照して、本発明の望ましい実施形態を説明することによって、本発明を詳しく説明する。各図面に付された同じ参照符号は、同じ部材を表わす。

【0016】

図１は、本発明の実施形態によるＨ．２６４／ＡＶＣの符号化器１００のブロック図である。Ｈ．２６４／ＡＶＣのビデオ信号符号化方法は、画面内のブロックの空間的類似性を用いるイントラ（ｉｎｔｒａ）符号化方法と画面間の時間的差によって映像フレームの類似性を用いるインター（ｉｎｔｅｒ）符号化方法とに分けられる。すなわち、符号化器１００でビデオ信号は、イントラモード（Ｉｎｔｒａ Ｍｏｄｅ）またはインターモード（Ｉｎｔｅｒ Ｍｏｄｅ）により符号化される。図１を参照すると、符号化器１００は、フレーム保存部１０５、動き推定部１１０、動き補償部１２０、差分器１３０、変換部１４０、量子化部１５０、エントロピー符号化器１６０、逆量子化部１７０、逆変換部１８０、加算器１８５、フィルター１９０、モード選択部２００、及びイントラ予測部２１０を含む。

【0017】

動き推定部（Ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ｂｌｏｃｋ）１１０は、インターモードで既に符号化が終わりフレーム保存部１０５に保存した、先行する複数のフレームの参照映像Ｆ（ｎ−１）、Ｆ（ｎ−２）、．．．Ｆ（ｎ−ｋ）から現在フレームＦｎに対する動き推定を行う。すなわち、動き推定部１１０は、一つの参照映像を参照するものではなく、複数の参照映像を参照して動き推定を行い、これを多重参照映像（Ｍｕｌｔｉ−Ｒｅｆｅｒｅｎｃｅ Ｆｒａｍｅｓ）を利用した動き推定と言う。図２は、多重参照映像の原理を説明するための概念図である。図２を参照すると、動き推定部１１０は、時刻ｎの現在フレーム映像Ｆｎに対する動き推定を、先行するｋ個（ｋは２以上の整数とする）のフレームの参照映像Ｆ（ｎ−１）、Ｆ（ｎ−２）．．．Ｆ（ｎ−ｋ）を用いて実行することが分かる。

【0018】

動き推定には、複数のブロックに対する動きベクトルを探す過程と、複数のブロックに対してビット率とエラーが最も少ない最適のマクロブロックタイプを探すマクロブロックモード決定機能などが含まれる。動き補償部（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ Ｂｌｏｃｋ）１２０は、動き推定部１１０で行われた動き推定結果として発生する動きベクトルとマクロブロックモードタイプによって複数の参照映像から現在フレームの補償映像を発生する。差分器１３０は、現在フレーム映像と動き補償部１２０から出力される補償映像に基づいて、差分信号を発生して出力する。

【0019】

差分器１３０から出力される信号は、変換部１４０による離散余弦変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：ＤＣＴ）及び量子化部（Ｑｕａｎｔｉｚａｔｉｏｎ ｂｌｏｃｋ）１５０による量子化過程を経て出力され、エントロピー符号化器１６０は、量子化部１５０から出力される信号を符号化し、該符号化されたビットストリーム（ＮＡＬ）を出力する。量子化部１５０から出力される信号は、逆量子化部（Ｉｎｖｅｒｓｅ Ｑｕａｎｔｉｚａｔｉｏｎ）１７０及び逆変換部（Ｉｎｖｅｒｓｅ Ｔｒａｎｓｆｏｒｍ ｂｌｏｃｋ）１８０での逆量子化及び逆離散余弦変換過程を経て復元される。前記復元された映像は、加算器１８５とフィルター１９０とを経てフレーム保存部１０５に保存される。モード選択部２００によって符号化器１００の動作モードがイントラモードに転換されると、イントラ予測部２１０は、マクロブロックに対する隣接した周りのブロックからのイントラ予測を行い、イントラ予測結果による補償映像を獲得する機能を行う。

【0020】

図３は、本発明の実施形態による多重参照映像を利用した動き推定方法を説明するためのフローチャートである。図３に示された動き推定方法は、複数の参照映像の全てに対して動き推定を行わず、既に符号化された現在フレームで、現在ブロックの周辺ブロックの情報を用いて選択された一つの参照映像に対してのみ動き推定を行う方法を示す。これは、現在ブロックと既に符号化が終わった現在ブロックの周辺ブロックとの間に存在する動きベクトルの大きさと方向、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）値の大きさなどの類似性、すなわち、現在ブロックとその周辺ブロックとの相関関係（Ｎｅｉｇｈｂｏｒｉｎｇ Ｒｅｆｅｒｅｃｎｅ Ｆｒａｍｅ Ｃｏｒｒｅｌａｔｉｏｎ、以下、ＮＲＦＣと称する）を用いる動き推定方法である。以下、ＮＲＦＣが、現在ブロックの動き推定のための参照映像を決定するのに適した特徴（Ｆｅａｔｕｒｅ）になりうるということを説明する。

【0021】

Ｈ．２６４／ＡＶＣ標準で、多重参照映像を利用した動き推定時に、参照された映像を表わす参照インデックス情報は、最小８ｘ８ブロックごとに復号化器に伝送されるように定義されており、このような情報は、符号化／復号化時にミスマッチ（Ｍｉｓｍａｔｃｈ）を防止するための情報である。

【0022】

図４は、連続するフレームの間の、複数の参照映像に対する相関関係を説明するための図である。図４を参照すると、現在ブロックの最適の参照映像は、既に符号化が終わった周辺ブロックの最適の参照映像と相当な相関関係を有し、連続するフレームの間では、現在ブロックを基準に画面間／画面内参照インデックス情報に対する相関関係が大きいということが確認できる。参考までに、図４は、符号化器１００が、総５枚の参照映像を利用した動き推定を行う場合であり、Ｒｅｆ０は、現在フレームを基準として直前のフレームの参照映像を、Ｒｅｆ４は、現在フレームから時間的に最も遠く離れたフレームの参照映像を示す。

【0023】

画面内ＮＲＦＣに対する強い相関関係は、確率モデルを通じて数式的に証明されうる。実際に、多様なビデオシーケンスを通じて使われる参照インデックス情報の分布を分析して見ると、最も近い（直前のフレームの）参照映像が現在フレームの符号化するブロックに対する最適の参照映像として選択される確率が非常に高く、現在フレームから遠くなるほど最適の参照映像に選択される確率が急激に落ちる。図５は、図３の動き推定方法に利用される現在ブロックＸとその周辺ブロックＡないしＤの一例を示す。

【0024】

現在ブロックＸに対する参照映像インデックス情報ｉｘをランダム変数と定義する時、ｉｘに対する確率分布（Ｐｒｏｂａｂｉｌｉｔｙ Ｄｉｓｔｒｉｂｕｔｉｏｎ）は、数式１のように指数分布（Ｅｘｐｏｎｅｎｔｉａｌ Ｄｉｓｔｒｉｂｕｔｉｏｎ）として定義できる。

【数1】

【0025】

ここで、ｒは、参照映像の個数を意味し、

は、参照インデックス情報ｋに対する周辺ブロックの確率を意味する。

は、参照インデックス情報ｋに対する現在ブロックＸと周辺ブロックとの間のＮＲＦＣ、すなわち、現在ブロックＸの参照インデックス情報がｋであると同時に、周辺ブロックのうち少なくとも一つのブロックの参照映像の参照インデックス情報がｋである時の確率を意味する。

は、周辺ブロックが参照インデックス番号ｋを有さない確率を意味し、

は、現在ブロックＸの参照インデックス情報がｋや周辺ブロックのうち或るブロックの参照インデックス情報もｋではない確率を意味する。

【0026】

数式２では、数式１でＮＲＦＣを意味する

を展開する。

【数2】

【0027】

図６は、数式２で変数ａの変化によるＮＲＦＣを表わすグラフである。図６を参照すると、ａの変化によるＮＲＦＣは、実験的に分析された指数分布と類似している分布を有することが分かるが、これは、ＮＲＦＣが、現在ブロックＸの最適の参照映像を決定するのに適した特徴であることを意味する。

【0028】

以上では、ＮＲＦＣが、現在ブロックの参照映像を決定する重要な特徴になりうるということを説明した。以下、図１、図３、及び図５を参照して、動き推定部１１０で行われる本発明の実施形態による動き推定方法を説明する。

【0029】

動き推定部１１０は、既に符号化が終わった現在ブロックＸの周辺ブロックＡ、Ｂ、Ｃ、Ｄの参照映像を表わす参照インデックス情報を分析し（ステップＳ３０）、周辺ブロックＡ、Ｂ、Ｃ、Ｄの参照インデックス情報が、いずれも同一であるか否かを判断する（ステップＳ３１）。周辺ブロックＡ、Ｂ、Ｃ、Ｄの参照インデックス情報が、いずれも同一ではない場合、動き推定部１１０は、複数の参照映像ＲＥＦ０ないしＲＥＦ４の全てに対して前記現在ブロックの動き推定を行う（ステップＳ３２）。

【0030】

周辺ブロックＡ、Ｂ、Ｃ、Ｄの参照インデックス情報が、いずれも同一である場合、動き推定部１１０は、参照映像ＲＥＦ０ないしＲＥＦ４のうち、周辺ブロックＡ、Ｂ、Ｃ、Ｄの参照インデックス情報が示す一つの参照映像を選択し、前記選択された一つの参照映像に対して前記現在ブロックの動き推定を行う（ステップＳ３３）。この際、動き推定部１１０は、周辺ブロックＡ、Ｂ、Ｃ、Ｄの参照インデックス情報が、いずれも同一であるとしても、現在ブロックＸ及び周辺ブロックＡ、Ｂ、Ｃ、Ｄのブロックサイズ、周辺ブロックＡ、Ｂ、Ｃ、Ｄの現在ブロックＸに対する位置、及び周辺ブロックＡ、Ｂ、Ｃ、Ｄの参照インデックスが示す参照映像に基づいて、前記複数の参照映像のうち、前記一つの参照映像を選択するか否かを決定できる。

【0031】

また、動き推定部１１０は、現在ブロックＸ及び周辺ブロックＡ、Ｂ、Ｃ、Ｄのサイズが、前記動き推定方法によって発生した参照インデックス情報を伝送することができる最小ブロックのサイズより小さな場合、前記最小ブロックの参照インデックス情報が示す参照映像に対してのみ現在ブロックＸの動き推定を行うことができる。例えば、Ｈ．２６４／ＡＶＣで８ｘ８より小さなブロックサイズに対しては、８ｘ８サイズのブロックと同じ参照映像に対してのみ動き推定を行うことができる。なぜならば、Ｈ．２６４／ＡＶＣで参照インデックス情報は、最小８ｘ８サイズのブロックに対してのみ伝送できるからである。

【0032】

また、動き推定部１１０は、周辺ブロックＡ、Ｂ、Ｃ、Ｄの参照インデックス情報が、いずれも同一であるとしても、現在ブロックＸ及び周辺ブロックＡ、Ｂ、Ｃ、Ｄのブロックサイズが動き推定を行う最大ブロックのサイズより小さな場合には、現在ブロックＸとその上位ブロックとの参照インデックス情報が周辺ブロックＡ、Ｂ、Ｃ、Ｄの参照インデックス情報と同一であるか否かに基づいて、周辺ブロックＡ、Ｂ、Ｃ、Ｄの参照インデックスが示す参照映像を動き推定部１１０が動き推定を行う一つの参照映像として選択することもできる。これは、現在ブロックＸとそれに対する周辺ブロックＡ、Ｂ、Ｃ、Ｄとの位置によって異なって設定しうる。

【0033】

図７は、図３の動き推定に利用される現在ブロックＸとその周辺ブロックとの相対位置の例ＣＡＳＥ１、２、３、４を示す。以下、図１、図３、及び図７を参照して、動き推定部１１０で行われる動き推定過程をさらに具体的に説明する。

【0034】

表１及び表２のそれぞれは、図７の各ケースで周辺ブロックの参照インデックス情報が、いずれも同一である場合、Ｈ．２６４／ＡＶＣによる８ｘ８サイズと１６ｘ８及び８ｘ１６サイズとの現在ブロックの最適の参照映像を実験的に決定したものである。

【表1】

【表2】

【0035】

表２の太線ボックスで表示された場合を例とすれば、第１ケースＣＡＳＥ１のブロック配列において、現在ブロックＸのサイズは８ｘ８であり、周辺ブロックの参照インデックス情報が、いずれもＲＥＦ２の参照映像を示しているならば、動き推定部１１０は、現在８ｘ８ブロックに対しては、５枚の参照映像を用いて動き推定を行わず、ＲＥＦ２に対応する参照映像に対してのみ動き推定を実行できる。この際、Ｈ．２６４／ＡＶＣによれば、８ｘ８サイズより小さなブロックに対しては、現在ブロックＸと同じＲＥＦ２に対応する参照映像に対してのみ動き推定が行われる。これは、Ｈ．２６４／ＡＶＣで参照インデックス情報は、最小８ｘ８ブロックに対してのみ伝送できるからである。前述した過程は、表１及び表２でＯ（ＥＮＡＢＬＥ）に表示された場合に、同様に適用可能である。

【0036】

しかし、表２の太線ボックスの右側ボックスを例とすれば、第２ケースＣＡＳＥ２のブロック配列において、現在ブロックＸのサイズは８ｘ８であり、周辺ブロックの参照インデックス情報が、いずれもＲＥＦ２の参照映像を示しているとしても、動き推定部１１０は、現在８ｘ８ブロックに対しては、ＲＥＦ２に対応する参照映像のみを用いて動き推定を行うものではなく、５枚の参照映像をいずれも用いて動き推定を行う。前述した過程は、表１及び表２でＸ（ＤＩＳＡＢＬＥ）が表示された場合に、同様に適用可能である。

【0037】

表２で、第４ケースＣＡＳＥ４のブロック配列においては、現在ブロックＸのサイズは８ｘ８であり、周辺ブロックの参照インデックス情報が、いずれもＲＥＦ３の参照映像を示し、現在ブロックＸの上位ブロックの参照インデックス情報が周辺ブロックの参照インデックス情報と同一である場合にのみ、動き推定部１１０は、ＲＥＦ３に相応する参照映像に対してのみ動き推定を行い、そうではない場合には、５枚の参照映像をいずれも用いて動き推定を行う。前述した過程は、表１及び表２でＲ（ＲＥＦＩＮＥＭＥＮＴ）が表示された場合に、同様に適用可能である。

【0038】

表３は、Ｒが表示された場合において、現在ブロックの上位ブロックを定義したものである。

【表3】

【0039】

表３を参照すると、マクロブロックのサイズが１６ｘ１６である場合、１番目の１６ｘ８サイズのブロック及び１番目の８ｘ１６サイズのブロックの上位ブロックは、１６ｘ１６サイズのマクロブロックであり、２番目の１６ｘ８サイズのブロックの上位ブロックは、１番目の１６ｘ８サイズのブロックであり、２番目の８ｘ１６サイズのブロックの上位ブロックは、１番目の８ｘ１６サイズのブロックであるということが分かる。また、１番目ないし４番目の８ｘ８サイズのブロックそれぞれの上位ブロックは、前記８ｘ８サイズのブロックのそれぞれを含む上位ブロックである１６ｘ１６サイズのブロック、１６ｘ８サイズのブロック、８ｘ１６サイズのブロックのうち一つの上位ブロックになりうるということが分かる。

【0040】

前述したように、図３の動き推定方法は、ＮＲＦＣを用いて複数の参照映像のうち、現在ブロックに対する一つの最適の参照映像を選択し、該選択された参照映像に対してのみ動き推定を行い、残りの参照映像に対する動き推定を行わないこともあるので、既存の多重参照映像を利用した動き推定方法に比べて、高速の動き推定結果を提供することができる。

【0041】

図８は、本発明の他の実施形態による多重参照映像を利用した動き推定方法を説明するためのフローチャートである。図８の動き推定方法は、現在フレーム内のＮＲＦＣと現在フレームと直前フレームとの間のＮＲＦＣとをともに利用する。図９は、図８の動き推定方法に利用される現在フレームと直前フレームとのブロックを示す。以下、図１、図８、及び図９を参照して、前記動き推定方法を具体的に説明する。

【0042】

動き推定部１１０は、既に符号化が終わった現在ブロックＸの周辺ブロックの参照インデックス情報及び前記現在ブロックＸの位置に対応する直前フレームのブロックＸ’とその周辺ブロックとの参照インデックス情報を分析して（ステップＳ８０）、前記現在ブロックＸの周辺ブロックのうち、同じ参照インデックス情報を有する第１ブロックの数及び前記現在ブロックＸの位置に対応する前記直前フレームのブロックＸ’とその周辺ブロックとのうち、前記同じ参照インデックス情報を有する第２ブロックの数の線形組み合わせ値を計算する（ステップＳ８１）。この際、前記第１ブロックの数と前記第２ブロックの数には、相異なる加重値が付与されうる。例えば、前記第１ブロックの数に対する加重値は、前記第２ブロックの数に対する加重値より大きくとれる。これは、現在ブロックＸの動き推定対象となる参照映像を選択するに当たり、現在ブロックＸのＮＲＦＣに直前フレームでの現在ブロックＸに相応するブロックＸ’のＮＲＦＣよりさらに大きい比重を付与するためである。

【0043】

数式３は、ステップＳ８１段階で計算された第１ブロックと第２ブロックとの線形組み合わせ（ＲＰ）を示す。

【数3】

【0044】

ここで、ＳＲＰ［ｒｅｆ＿ｉｄｘ］は、現在ブロックＸに対する既に符号化が終わった周辺の４個のブロックのうち、参照インデックス情報がｒｅｆ＿ｉｄｘである第１ブロックの数を表わし、ＴＲＰ［ｒｅｆ＿ｉｄｘ］は、現在ブロックＸの位置に対応する前記直前フレームのブロックＸ’とその周辺ブロックとのうち、参照インデックス情報がｒｅｆ＿ｉｄｘである第２ブロックの数を示す。数式３を参照すると、第１ブロックの数に対する加重値が第２ブロックの数に対する加重値より３倍大きく、数式３は、最大値１に正規化された第１ブロックと第２ブロックとの線形組み合わせを示す。しかし、本発明の範囲が、これに限定されるものではない。

【0045】

第１ブロックと第２ブロックとの線形組み合わせ（ＲＰ）が計算されれば、動き推定部１１０は、前記線形組み合わせ（ＲＰ）値が既定の臨界値より大きいか否かを判断し（ステップＳ８２）、それに基づいて複数の参照映像のうち何れか一つの参照映像を選択し、前記選択された一つの参照映像に対して前記現在ブロックの動き推定を行うことができる（ステップＳ８３及びステップＳ８４）。

【0046】

例えば、動き推定部１１０は、第１ブロックの数と第２ブロックの数との線形組み合わせ値が、既定の臨界値より大きい場合には、前記同じ参照インデックス情報が示す参照映像に対してのみ前記現在ブロックの動き推定を行う（ステップＳ８４）。しかし、第１ブロックの数と前記第２ブロックの数との線形組み合わせ値が、前記既定の臨界値より小さな場合には、前記複数の参照映像の全てに対して前記現在ブロックの動き推定を行う（ステップＳ８３）。

【0047】

前述したように、図８の動き推定方法は、現在ブロックのＮＲＦＣ及び直前フレームの現在ブロックに対応するブロックのＮＲＦＣを用いて複数の参照映像のうち、現在ブロックに対する一つの最適の参照映像を選択し、該選択された参照映像に対してのみ動き推定を行い、残りの参照映像に対する動き推定を行わないこともあるので、既存の多重参照映像を利用した動き推定方法に比べて、高速の動き推定結果を提供することができる。

【0048】

図１０は、本発明の他の実施形態による多重参照映像を利用した動き推定方法を説明するためのフローチャートである。図１０の動き推定方法は、現在ブロックの動きベクトルのノーム（ｎｏｒｍ）値を予測し、該予測された現在ブロックの動きベクトルのノーム値にベイズ決定理論（Ｂａｙｅｓ Ｄｅｃｉｓｉｏｎ Ｔｈｅｏｒｙ）を適用して、現在ブロックの最適の参照映像を決定する方法である。
ベイズ決定理論を図１０の動き推定方法に適用すれば、動き推定部１１０は、現在ブロックの動きベクトルのノーム値を特徴ベクトルにして、複数の参照映像に対する現在ブロックの動きベクトルのノーム値の事後確率（Ｐｏｓｔｅｒｉｏｒ ｐｒｏｂａｂｉｌｉｔｙ）を計算し、該計算された事後確率値が最大となる参照映像を現在ブロックに対する参照映像として選択し、該選択された参照映像に対して動き推定を行う。

【0049】

数式４は、現在ブロックの動きベクトルのノームＮＭＶ値を示す。

【数4】

【0050】

ここで、ＭＶｘは、現在ブロックの動きベクトルのｘ成分を意味し、ＭＶｙは、現在ブロックの動きベクトルのｙ成分を意味する。

【0051】

数式５は、現在ブロックの動きベクトルのノーム値の複数の参照映像に対する事後確率 を表わす。

【数5】

【0052】

ここで、ＮＭＶは、現在ブロックの動きベクトルのノーム値を意味し、

は、任意のｒｅｆ＿ｉｄｘに対するＮＭＶの確率密度関数（Ｐｒｏｂａｂｉｌｉｔｙ Ｄｅｎｓｉｔｙ Ｆｕｎｃｔｉｏｎ：ＰＤＦ）を意味し、

は、参照映像の事前確率（Ｐｒｉｏｒ ｐｒｏｂａｂｉｌｉｔｙ）を意味し、Ｐ（ＮＭＶ）は、現在ブロックの動きベクトルのノーム値の確率を意味する。

【0053】

図１１は、連続したフレーム（５番目及び６番目のフレーム）に対する、上記図１０の動き推定方法に係り予測された現在ブロックのノーム値の複数の参照映像に対する確率密度関数ＰＤＦを表わすグラフ（（ａ）は５番目のフレームの場合、及び（ｂ）は６番目のフレームの場合）である。図１１を参照すると、一フレーム内のＰＤＦは、参照映像によって相異なる分布を示し、連続したフレームで同一参照映像に対するＰＤＦは、類似した分布を示しているということが分かる。したがって、動き推定部１１０は、現在ブロックに対する動きベクトルのノーム値を求めた後、前述したベイズ決定理論によって現在ブロックの動きベクトルのノーム値の複数の参照映像に対する事後確率を比較して、現在ブロックに対する最適の参照映像を選択することができる。但し、動き推定部１１０は、実際に現在ブロックを符号化するのに先立って現在ブロックの動きベクトルをあらかじめ求めることはできず、既に符号化が終わった周辺ブロックの動きベクトルから現在ブロックの動きベクトルを予測するしかない。

【0054】

以上では、予測された現在ブロックの参照映像のノーム値が、現在ブロックの最適の参照映像を決定する重要な特徴になりうるということを説明した。以下、図１及び図１０を参照して、動き推定部１１０で行われる本発明の実施形態による他の動き推定方法を説明する。

【0055】

まず、動き推定部１１０は、現在ブロックの周辺ブロックの動きベクトルの平均値のノーム値に基づいて、現在ブロックの動きベクトルのノーム値を予測する（ステップＳ１００）。現在ブロックの動きベクトルのノーム値は、実験的に求められた実際動きベクトルのノーム値と周辺ブロックの平均動きベクトルの関係を表わす訓練サンプルに基づいて予測されうる。

【0056】

さらに具体的に説明すれば、動き推定部１１０は、実測された前記現在ブロックの動きベクトルのノーム値と前記周辺ブロックの動きベクトルの平均値のノーム値との関係を表わす複数の訓練サンプルを発生させ、前記発生した訓練サンプルのうち、最小エラーを有する訓練サンプルに相応する前記周辺ブロックの動きベクトルの平均値のノーム値を前記現在ブロックの動きベクトルのノーム値として予測する。

【0057】

数式６は、現在ブロックの動きベクトルのノーム値Ｘと周辺ブロックの動きベクトルの平均値のノーム値ｙとの関係を表わし、数式７は、数式６で現在ブロックの動きベクトルのノームＸ値と周辺ブロックの動きベクトルの平均値のノーム値ｙとの間のエラーＥを表わし、数式８は、数式７によって得られる現在ブロックの動きベクトルのノーム値Ｘと周辺ブロックの動きベクトルの平均値のノーム値ｙとの間のエラーが最小となるパラメータであり、前記パラメータは、ＬＭＳ（Ｌｅａｓｔ Ｍｅａｎ Ｓｑｕａｒｅ）方法によって求められうる。

【数6】

【0058】

ここで、ｙは、周辺ブロックの動きベクトルの平均値のノーム値を意味し、ｘは、現在ブロックの動きベクトルのノーム値を意味する。アルファとベータは、両者の関係を表わすパラメータである。

【数7】

【数8】

【0059】

数式８のパラメータは、数式７のエラーのアルファに対する微分値が０になり、数式７のエラーのベータに対する微分値が０になるアルファとベータ値、すなわち、訓練サンプルのうち、エラーが最小となるパラメータである。

【0060】

現在ブロックの動きベクトルのノーム値が予測されると、動き推定部１１０は、前記予測された現在ブロックの動きベクトルのノーム値を特徴ベクトルにして、前記予測された現在ブロックの動きベクトルのノーム値の複数の参照映像に対する事後確率を計算した後（ステップＳ１０１）、前記計算された事後確率が最大となる参照映像を前記現在ブロックの参照映像に選択し、前記選択された参照映像に対して前記現在ブロックの動き推定を行う（ステップＳ１０２）。

【0061】

予測された現在ブロックの動きベクトルのノーム値の複数の参照映像に対する事後確率を計算する段階（ステップＳ１０１）は、数式５及び数式６を参照して説明したように、予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事前確率を計算する段階、前記予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する確率密度関数を計算する段階、及び前記計算された事前確率及び確率密度関数に基づいて、前記予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事後確率を計算する段階を含む。

【0062】

前述したように、図１０の動き推定方法は、予測された現在ブロックの動きベクトルのノーム値を用いて複数の参照映像のうち、現在ブロックに対する一つの最適の参照映像を選択し、該選択された参照映像に対してのみ動き推定を行い、残りの参照映像に対する動き推定を行わないこともあるので、既存の多重参照映像を利用した動き推定方法に比べて、高速の動き推定結果を提供することができる。

【0063】

図１２は、本発明の他の実施形態による多重参照映像を利用した動き推定方法を説明するためのフローチャートである。図１２の動き推定方法は、図８の動き推定方法と図１０の動き推定方法との組み合わせによる動き推定方法である。以下、図１、図８、図１０、及び図１２を参照して、図１２の動き推定方法を説明する。

【0064】

動き推定部１１０は、図８のＳ８０及びＳ８１段階に相応する既に符号化が終わった現在ブロックの周辺ブロックの参照映像を表わす参照インデックス情報及び前記現在ブロックの位置に対応する直前フレームのブロックとその周辺ブロックとのインデックス情報を分析し、前記現在ブロックの周辺ブロックのうち、同じ参照インデックス情報を有する第１ブロックの数及び前記現在ブロックの位置に対応する前記直前フレームのブロックとその周辺ブロックとのうち、前記同じ参照インデックス情報を有する第２ブロックの数から第１の線形組み合わせ値を得る過程を行う（ステップＳ１２０）。Ｓ８０及びＳ８１段階は、図８を参照して説明したので、それについての詳細な説明は省略する。

【0065】

次いで、動き推定部１１０は、図１０のＳ１００及びＳ１０１段階に相応する現在ブロックの周辺ブロックの動きベクトルの平均値のノームに基づいて、現在ブロックの動きベクトルのノーム値を予測し、前記予測された現在ブロックの動きベクトルのノーム値を特徴ベクトルにして、前記予測された現在ブロックの動きベクトルの値のノーム値の複数の参照映像に対する事後確率を計算する段階を行う（ステップＳ１２１）。Ｓ１００及びＳ１０１段階は、図１０を参照して説明されたので、それについての詳細な説明は省略する。

【0066】

次いで、動き推定部１１０は、複数の参照映像のそれぞれに対する前記第１ブロックの数と前記第２ブロックの数とを線形に組み合わせて得られた第１の線形組み合わせ値と前記予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事後確率を線形に組み合わせて第２の線形組み合わせ値を得る（ステップＳ１２２）。Ｓ１２２段階では、前記第１の線形組み合わせ値と前記予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事後確率に、相異なる加重値を乗算しうる。この際、前記第１の線形組み合わせ値に対する加重値は、前記予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事後確率に対する加重値より大きく設定しうる。これは、画面チェンジ（ＳｃｅｎｅＣｈａｎｇｅ）のような現象において、すぐ直前に符号化が終わった参照映像に影響を受ける予測された現在ブロックの動きベクトルのノーム値の影響を減らすためである。

【0067】

数式９は、複数の参照映像のそれぞれに対する前記第１の線形組み合わせ値と前記予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事後確率から得た第２の線形組み合わせ値を示す。

【数9】

【0068】

ここで、ＷＲＰは、前記第１の線形組み合わせ値に対する加重値を意味し、ＷＭＰは、予測された現在ブロックの動きベクトルのノーム値の前記複数の参照映像に対する事後確率に対する加重値を意味し、ＲＰ［ｒｅｆ＿ｉｄｘ］は、数式３を参照して説明したＮＲＦＣを数値的に表わしたものであり、ＭＰ［ｒｅｆ＿ｉｄｘ］は、数式５を参照して説明した予測された現在ブロックの動きベクトルのノーム値の事後確率を数値的に表わしたものである。

【0069】

数式１０は、数式９の予測された現在ブロックの動きベクトルのノーム値の事後確率（ＭＰ［ｒｅｆ＿ｉｄｘ］）を表わし、数式３のように最大値１に正規化されたものである。

【数10】

【0070】

数式１０は、複数の参照映像に対する動きベクトルのノーム値の事後確率を比較するためのものである。

【0071】

Ｓ１２２段階での第２の線形組み合わせ値が計算されると、動き推定部１１０は、前記第２の線形組み合わせ値が既定の臨界値より大きい参照映像に対して現在ブロックの動き推定を実行する（ステップＳ１２３）。この際、前記第２の線形組み合わせ値が、既定の臨界値より大きい参照映像に対する動き推定部１１０の動き推定は、前記第２の線形組み合わせ値の大きさによって順次に行われることが望ましい。なぜならば、前記第２の線形組み合わせ値が大きい参照映像であるほど現在ブロックの最適の参照映像である可能性が高いからである。

【0072】

図１３は、本発明の他の実施形態による多重参照映像を利用した動き推定方法を説明するためのフローチャートである。図１４は、図１３の動き推定方法に利用される現在ブロックＸとその周辺ブロックＬ、Ｕ、ＵＲとを示す。以下、図１、図８、図１０、図１２ないし図１４を参照して、その過程を説明する。

【0073】

動き推定部１１０は、現在ブロックＸの周辺ブロックの参照インデックス情報を分析し（ステップＳ１３０）、現在ブロックＸの左側ブロックＬ、上部ブロックＵ、及び上部右側ブロックＵＲの参照インデックス情報が、いずれも同一であるか否かを判断する（ステップＳ１３１）。

【0074】

もし、現在ブロックＸの左側ブロックＬ、上部ブロックＵ、及び上部右側ブロックＵＲの参照インデックス情報が、いずれも同一であれば、動き推定部１１０は、前記参照インデックス情報に相応する参照映像に対してのみ動き推定を行う（ステップＳ１３２）。しかし、現在ブロックＸの左側ブロックＬ、上部ブロックＵ、及び上部右側ブロックＵＲの参照インデックス情報に相異なる参照インデックス情報があれば、動き推定部１１０は、図１２で説明したＳ１２０ないしＳ１２３段階によって現在ブロックＸに対する動き推定を行う（ステップＳ１３３）。

【0075】

図１５は、ＭＯＢＩＬＥ ＣＩＦ（Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）シーケンスに対する本発明の実施形態による多重参照映像を利用した動き推定方法の効果を説明するためのグラフである。図１６は、ＴＥＭＰＥＴＥ ＣＩＦシーケンスに対する本発明の実施形態による多重参照映像を利用した動き推定方法の効果を説明するためのグラフである。図１７は、ＦＯＲＥＭＡＮ ＱＣＩＦシーケンスに対する本発明の実施形態による多重参照映像を利用した動き推定方法の効果を説明するためのグラフである。

【0076】

図１５ないし図１７で、‘ＦＦＳ５’は、５個の参照映像に対して現在ブロックの動き推定を行った場合のビット率（ｂｉｔ＿ｒａｔｅ）によるＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）であり、‘ＦＦＳ１’は、一つの参照映像に対して現在ブロックの動き推定を行った場合のビット率によるＰＳＮＲである。図１５ないし図１７を参照すると、ＭＯＢＩＬＥ ＣＩＦシーケンス、ＴＥＭＰＥＴＥ ＣＩＦシーケンス、ＦＯＲＥＭＡＮ ＱＣＩＦシーケンスの全てにおいて、本発明の実施例による動き推定方法によるＰＳＮＲは、‘Ｐｒｏｐｏｓａｌ’で示したように、５個の参照映像に対する動き推定を全て行った結果‘ＦＦＳ５’に近接したＰＳＮＲを有することが分かる。

【0077】

本発明の実施形態による動き推定方法は、またコンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現可能である。本発明の実施形態による動き推定方法は、コンピュータで読み取り可能な記録媒体に保存された前記動き推定方法を実行するためのコンピュータプログラムを実行することで具現可能である。

【0078】

コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取れるデータが保存されるあらゆる種類の記録装置を含む。例えば、コンピュータで読み取り可能な記録媒体には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、また、本発明の実施形態による動き推定方法を行うためのプログラムコードは、キャリアウェーブ（例えば、インターネットを通じる伝送）の形態で伝送することができる。

【0079】

また、コンピュータで読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式のコンピュータで読み取り可能なコードで保存している場合でも実行可能である。そして、本発明の実施形態による動き推定方法を具現するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーによって容易に推論できるであろう。

【0080】

以上では、Ｈ．２６４／ＡＶＣベースの符号化器を、例を挙げて本発明の実施形態による動き推定方法を説明した。しかし、本発明の範囲が、これに限定されるものではなく、本発明の実施形態による動き推定方法は、多重参照映像を利用した多様な動き推定方法に利用されうる。

【0081】

また、前述した本発明の実施形態による動き推定方法を行う符号化器は、多様な形態のパッケージを用いて実装されうる。例えば、前記符号化器は、ＰｏＰ（Ｐａｃｋａｇｅ ｏｎ Ｐａｃｋａｇｅ）、Ｂａｌｌ ｇｒｉｄ ａｒｒａｙｓ（ＢＧＡｓ）、Ｃｈｉｐ ｓｃａｌｅ ｐａｃｋａｇｅｓ（ＣＳＰｓ）、Ｐｌａｓｔｉｃ Ｌｅａｄｅｄ Ｃｈｉｐ Ｃａｒｒｉｅｒ（ＰＬＣＣ）、Ｐｌａｓｔｉｃ Ｄｕａｌ Ｉｎ−Ｌｉｎｅ Ｐａｃｋａｇｅ（ＰＤＩＰ）、Ｄｉｅ ｉｎ Ｗａｆｆｌｅ Ｐａｃｋ、Ｄｉｅ ｉｎ Ｗａｆｅｒ Ｆｏｒｍ、Ｃｈｉｐ Ｏｎ Ｂｏａｒｄ（ＣＯＢ）、Ｃｅｒａｍｉｃ Ｄｕａｌ Ｉｎ−Ｌｉｎｅ Ｐａｃｋａｇｅ（ＣＥＲＤＩＰ）、Ｐｌａｓｔｉｃ Ｍｅｔｒｉｃ Ｑｕａｄ Ｆｌａｔ Ｐａｃｋ（ＭＱＦＰ）、Ｔｈｉｎ Ｑｕａｄ Ｆｌａｔｐａｃｋ（ＴＱＦＰ）、Ｓｍａｌｌ Ｏｕｔｌｉｎｅ（ＳＯＩＣ）、Ｓｈｒｉｎｋ Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｐａｃｋａｇｅ（ＳＳＯＰ）、Ｔｈｉｎ Ｓｍａｌｌ Ｏｕｔｌｉｎｅ（ＴＳＯＰ）、Ｔｈｉｎ ＱｕａｄＦｌａｔｐａｃｋ（ＴＱＦＰ）、Ｓｙｓｔｅｍ Ｉｎ Ｐａｃｋａｇｅ（ＳＩＰ）、Ｍｕｌｔｉ Ｃｈｉｐ Ｐａｃｋａｇｅ（ＭＣＰ）、Ｗａｆｅｒ−ｌｅｖｅｌ Ｆａｂｒｉｃａｔｅｄ Ｐａｃｋａｇｅ（ＷＦＰ）、Ｗａｆｅｒ−Ｌｅｖｅｌ Ｐｒｏｃｅｓｓｅｄ Ｓｔａｃｋ Ｐａｃｋａｇｅ（ＷＳＰ）などのようなパッケージを用いて実装されうる。

【0082】

前述した符号化器は、イメージ信号を圧縮して符号化する機能を行う多様な電子装置に利用されうる。前記電子装置には、カメラ、ＴＶ、ＬＣＤ、ＰＤＰなどであり、携帯用コンピュータ（ｐｏｒｔａｂｌｅ ｃｏｍｐｕｔｅｒ）、デジタルカメラ（ｄｉｇｉｔａｌ ｃａｍｅｒａ）、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｃｅ）、携帯電話機（ｃｅｌｌｕｌａｒ ｔｅｌｅｐｈｏｎｅ）、ＭＰ３プレーヤー、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、カーナビゲーション（ａｕｔｏｍｏｔｉｖｅ ｎａｖｉｇａｔｉｏｎ ｓｙｓｔｅｍ）などの携帯用電子装置などが含まれうるが、本発明の範囲が、これに限定されるものではない。

【0083】

本発明は、図面に示された一実施形態を参考にして説明されたが、これは例示的なものに過ぎず、当業者ならば、これより多様な変形及び均等な他実施形態が可能であるという点を理解できるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決定されるべきである。

【産業上の利用可能性】

【0084】

本発明は、多重参照映像を利用した高速動き推定方法関連の技術分野に適用可能である。

【符号の説明】

【0085】

１００ 符号化器
１０５ フレーム保存部
１１０ 動き推定部
１２０ 動き補償部
１３０ 差分器
１４０ 変換部
１５０ 量子化部
１６０ エントロピー符号化器
１７０ 逆量子化部
１８０ 逆変換部
１８５ 加算器
１９０ フィルター
２００ モード選択部
２１０ イントラ予測部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】