知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-06
(45)【発行日】2024-11-14
(54)【発明の名称】画像復号装置、画像復号方法及びプログラム
(51)【国際特許分類】
H04N 19/513 20140101AFI20241107BHJP
H04N 19/117 20140101ALI20241107BHJP
H04N 19/157 20140101ALI20241107BHJP
H04N 19/46 20140101ALI20241107BHJP
【ＦＩ】
H04N19/513
H04N19/117
H04N19/157
H04N19/46
【請求項の数】
7
(21)【出願番号】P 2023117078
(22)【出願日】2023-07-18
(62)【分割の表示】P 2019172234の分割
【原出願日】2019-09-20
(65)【公開番号】P2023126544
(43)【公開日】2023-09-07
【審査請求日】2023-07-18
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】110001564
【氏名又は名称】フェリシテ弁理士法人
(72)【発明者】
【氏名】木谷 佳隆
(72)【発明者】
【氏名】河村 圭
(72)【発明者】
【氏名】海野 恭平
(72)【発明者】
【氏名】内藤 整
【審査官】田中 純一
(56)【参考文献】
【文献】特表２０２２－５２７８９６（ＪＰ，Ａ）
【文献】特表２０２２－５３９４５５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
画像復号装置であって、マージインデックスから、動きベクトル及び動き補償予測画素信号を生成するための内挿フィルタの種別を示すハーフペルインデックスを復号するように構成されているマージ部と、
前記動きベクトルと前記ハーフペルインデックスとに基づいて、内挿フィルタの使用有無及び内挿フィルタ種別を判定するように構成されているフィルタ判定部と、
前記内挿フィルタを用いて、動き補償予測画素信号を生成するように構成されているフィルタ適用部とを備え、
前記マージ部は、所定のマージリスト構築方法により、マージリストを生成し、前記マージリスト及び前記マージインデックスから、前記動きベクトル及び前記ハーフペルインデックスを復号するように構成されており、
対象ブロックは、マージであり、
前記マージ部は、ペアワイズ平均マージにより導出される前記動きベクトルの参照位置に応じて、導出するハーフペルインデックスの値を制御するように構成されていることを特徴とする画像復号装置。
【請求項2】
画像復号装置であって、マージインデックスから、動きベクトル及び動き補償予測画素信号を生成するための内挿フィルタの種別を示すハーフペルインデックスを復号するように構成されているマージ部と、
前記動きベクトルと前記ハーフペルインデックスとに基づいて、内挿フィルタの使用有無及び内挿フィルタ種別を判定するように構成されているフィルタ判定部と、
前記内挿フィルタを用いて、動き補償予測画素信号を生成するように構成されているフィルタ適用部とを備え、
前記マージ部は、所定のマージリスト構築方法により、マージリストを生成し、前記マージリスト及び前記マージインデックスから、前記動きベクトル及び前記ハーフペルインデックスを復号するように構成されており、
対象ブロックは、マージであり、
前記マージ部は、ペアワイズ平均マージにより導出される前記ハーフペルインデックスに応じて、導出する前記動きベクトルの参照位置を制御するように構成されていることを特徴とする画像復号装置。
【請求項3】
画像復号装置であって、マージインデックスから、動きベクトル及び動き補償予測画素信号を生成するための内挿フィルタの種別を示すハーフペルインデックスを復号するように構成されているマージ部と、
ＭＭＶＤ（Ｍｅｒｇｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）により、前記動きベクトルを洗練化するように構成されている動きベクトル洗練化部と、
洗練化された前記動きベクトルと前記ハーフペルインデックスとに基づいて、内挿フィルタの使用有無及び内挿フィルタ種別を判定するように構成されているフィルタ判定部と、
前記内挿フィルタを用いて、動き補償予測画素信号を生成するように構成されているフィルタ適用部とを備え、
前記マージ部は、所定のマージリスト構築方法により、マージリストを生成し、前記マージリスト及び前記マージインデックスから、前記動きベクトル及び前記ハーフペルインデックスを復号するように構成されており、
対象ブロックは、マージであり、
前記動きベクトル洗練化部は、ＭＭＶＤが適用される場合、前記ハーフペルインデックスに応じて、ＭＭＶＤの適用後の動きベクトルの参照位置を制御するように構成されていることを特徴とする画像復号装置。
【請求項4】
画像復号装置であって、マージインデックスから、動きベクトル及び動き補償予測画素信号を生成するための内挿フィルタの種別を示すハーフペルインデックスを復号するように構成されているマージ部と、
ＤＭＶＲ（Ｄｅｃｏｄｅｒ-ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）により、前記動きベクトルを洗練化するように構成されている動きベクトル洗練化部と、
洗練化された前記動きベクトルと前記ハーフペルインデックスとに基づいて、内挿フィルタの使用有無及び内挿フィルタ種別を判定するように構成されているフィルタ判定部と、
前記内挿フィルタを用いて、動き補償予測画素信号を生成するように構成されているフィルタ適用部とを備え、
前記マージ部は、所定のマージリスト構築方法により、マージリストを生成し、前記マージリスト及び前記マージインデックスから、前記動きベクトル及び前記ハーフペルインデックスを復号するように構成されており、
対象ブロックは、マージであり、
前記動きベクトル洗練化部は、ＤＭＶＲが適用される場合、ＤＭＶＲの適用後の動きベクトルの参照位置に応じて、前記ハーフペルインデックスを制御するように構成されていることを特徴とする画像復号装置。
【請求項5】
画像復号装置であって、マージインデックスから、動きベクトル及び動き補償予測画素信号を生成するための内挿フィルタの種別を示すハーフペルインデックスを復号するように構成されているマージ部と、
ＤＭＶＲ（Ｄｅｃｏｄｅｒ-ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）により、前記動きベクトルを洗練化するように構成されている動きベクトル洗練化部と、
洗練化された前記動きベクトルと前記ハーフペルインデックスとに基づいて、内挿フィルタの使用有無及び内挿フィルタ種別を判定するように構成されているフィルタ判定部と、
前記内挿フィルタを用いて、動き補償予測画素信号を生成するように構成されているフィルタ適用部とを備え、
前記マージ部は、所定のマージリスト構築方法により、マージリストを生成し、前記マージリスト及び前記マージインデックスから、前記動きベクトル及び前記ハーフペルインデックスを復号するように構成されており、
対象ブロックは、マージであり、
前記動きベクトル洗練化部は、ＤＭＶＲが適用される場合、前記ハーフペルインデックスに応じて、ＤＭＶＲの適用後の動きベクトルの参照位置を制御するように構成されていることを特徴とする画像復号装置。
【請求項6】
マージインデックスから、動きベクトル及び動き補償予測画素信号を生成するための内挿フィルタの種別を示すハーフペルインデックスを復号する工程Ａと、前記動きベクトルと前記ハーフペルインデックスとに基づいて、内挿フィルタの使用有無及び内挿フィルタ種別を判定する工程Ｂと、
前記内挿フィルタを用いて、動き補償予測画素信号を生成する工程Ｃとを備え、
前記工程Ａにおいて、所定のマージリスト構築方法により、マージリストを生成し、前記マージリスト及び前記マージインデックスから、前記動きベクトル及び前記ハーフペルインデックスを復号し、
対象ブロックは、マージであり、
前記工程Ａにおいて、ペアワイズ平均マージにより導出される前記動きベクトルの参照位置に応じて、導出するハーフペルインデックスの値を制御することを特徴とする画像復号方法。
【請求項7】
コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、
マージインデックスから、動きベクトル及び動き補償予測画素信号を生成するための内挿フィルタの種別を示すハーフペルインデックスを復号するように構成されているマージ部と、
前記動きベクトルと前記ハーフペルインデックスとに基づいて、内挿フィルタの使用有無及び内挿フィルタ種別を判定するように構成されているフィルタ判定部と、
前記内挿フィルタを用いて、動き補償予測画素信号を生成するように構成されているフィルタ適用部とを備え、
前記マージ部は、所定のマージリスト構築方法により、マージリストを生成し、前記マージリスト及び前記マージインデックスから、前記動きベクトル及び前記ハーフペルインデックスを復号するように構成されており、
対象ブロックは、マージであり、
前記マージ部は、ペアワイズ平均マージにより導出される前記動きベクトルの参照位置に応じて、導出するハーフペルインデックスの値を制御するように構成されていることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像復号装置、画像復号方法及びプログラムに関する。
【背景技術】
【0002】
非特許文献１では、動き補償予測（以下、ＭＣ予測）という技術について、マージ符号化（以下、マージ）と適応ベクトル符号化（以下、ＡＭＶＰ）という動きベクトル（以下、ｍｖ）を導出する技術が用意されており、導出したｍｖを用いてＭＣ予測画像信号を生成するための２種類の内挿フィルタが用意されている。
【0003】
１つ目は、非特許文献２と同じ内挿フィルタ（以下、ＨＥＶＣフィルタ）であり、２つ目は、非特許文献１で新たに導入された内挿フィルタ（以下、平滑化フィルタ）である。
【0004】
いずれもｍｖの参照先が小数画素精度位置にある場合に適用されるが、上述の平滑化フィルタは、ｍｖの参照先が１/２画素精度位置である場合に限定され、さらに、上述の平滑化フィルタが有効であるかどうかを示すハーフペルインデックス（以下、ｈｐｅｌＩｆＩｄｘ）が有効と示す場合にのみ適用される。それ以外の場合は、ＨＥＶＣフィルタが適用される。
【0005】
上述のｈｐｅｌＩｆＩｄｘは、符号化対象のブロック（以下、対象ブロック）がマージである場合、既に処理が完了した隣接ブロックから継承され、対象ブロックがＡＭＶＰである場合は、導出されたｍｖからｈｐｅｌＩｆＩｄｘの値が決定される。
【先行技術文献】
【非特許文献】
【0006】
【文献】Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ ６）、ＪＶＥＴ-Ｎ１００１
【文献】ＩＴＵ-Ｔ Ｈ.２６５ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上述の非特許文献１では、対象ブロックがマージであって且つペアワイズ平均マージ（ｐａｉｒ-ｗｉｓｅ ａｖｅｒａｇｅ ｍｅｒｇｅ）又はＭＭＶＤ（Ｍｅｒｇｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）或いはＤＭＶＲ（Ｄｅｃｏｄｅｒ-ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）が有効な場合、隣接ブロックから継承されるｈｐｅｌＩｆＩｄｘが、平滑化フィルタが有効と示す場合であっても、ペアワイズ平均マージ又はＭＭＶＤ又はＤＭＶＲによりｍｖの参照先が１/２画素精度位置ではなくなる場合がある。
【0008】
このとき、対象ブロック及び対象ブロックからｈｐｅｌＩｆＩｄｘとｍｖとを継承する未来のブロックにて、以下２つの課題が生じる。
１．対象ブロックのＭＣ予測における異なるフィルタの混在使用。
２．未来のブロックに対する平滑化フィルタの有効条件の不一致（ｈｐｅｌＩｆＩｄｘとｍｖとの不一致）の伝搬。
１．対象ブロックのＭＣ予測における異なるフィルタの混在使用。
２．未来のブロックに対する平滑化フィルタの有効条件の不一致（ｈｐｅｌＩｆＩｄｘとｍｖとの不一致）の伝搬。
【0009】
そこで、本発明は、上述の課題に鑑みてなされたものであり、ハーフペルインデックスに応じてペアワイズ平均マージ又はＭＭＶＤ又はＤＭＶＲによって導出される動きベクトルの参照画素精度位置を制御する、或いは、導出された動きベクトルに応じてハーフペルインデックスを制御することができるようになり、対象ブロックの平滑化フィルタの有効条件の不備を解消し、さらに、未来のブロックに対して平滑化フィルタの有効条件の不備の伝搬を回避することができる画像復号装置、画像復号方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の第１の特徴は、画像復号装置であって、マージインデックスから、動きベクトル及び前記動きベクトルが１/２画素精度位置を参照するかどうかを示すハーフペルインデックスを復号するように構成されているマージ部と、ＭＭＶＤ（Ｍｅｒｇｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）或いはＤＭＶＲ（Ｄｅｃｏｄｅｒ-ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）により、前記動きベクトルを洗練化するように構成されている動きベクトル洗練化部と、洗練化された前記動きベクトルと前記ハーフペルインデックスとに基づいて、内挿フィルタの使用有無及び内挿フィルタ種別を判定するように構成されているフィルタ判定部と、前記内挿フィルタを用いて、動き補償予測画素信号を生成するように構成されているフィルタ適用部とを備え、前記マージ部は、所定のマージリスト構築方法により、マージリストを生成し、前記マージリスト及び前記マージインデックスから、前記動きベクトル及び前記ハーフペルインデックスを復号するように構成されていることを要旨とする。
【0011】
本発明の第２の特徴は、画像復号方法であって、マージインデックスから、動きベクトル及び前記動きベクトルが１/２画素精度位置を参照するかどうかを示すハーフペルインデックスを復号する工程Ａと、ＭＭＶＤ（Ｍｅｒｇｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）或いはＤＭＶＲ（Ｄｅｃｏｄｅｒ-ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）により、前記動きベクトルを洗練化する工程Ｂと、洗練化された前記動きベクトルと前記ハーフペルインデックスとに基づいて、内挿フィルタの使用有無及び内挿フィルタ種別を判定する工程Ｃと、前記内挿フィルタを用いて、動き補償予測画素信号を生成する工程Ｄとを備え、前記工程Ａにおいて、所定のマージリスト構築方法により、マージリストを生成し、前記マージリスト及び前記マージインデックスから、前記動きベクトル及び前記ハーフペルインデックスを復号することを要旨とする。
【0012】
本発明の第３の特徴は、コンピュータを、画像復号装置として機能させるプログラムであって、前記画像復号装置は、マージインデックスから、動きベクトル及び前記動きベクトルが１/２画素精度位置を参照するかどうかを示すハーフペルインデックスを復号するように構成されているマージ部と、ＭＭＶＤ（Ｍｅｒｇｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）或いはＤＭＶＲ（Ｄｅｃｏｄｅｒ-ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）により、前記動きベクトルを洗練化するように構成されている動きベクトル洗練化部と、洗練化された前記動きベクトルと前記ハーフペルインデックスとに基づいて、内挿フィルタの使用有無及び内挿フィルタ種別を判定するように構成されているフィルタ判定部と、前記内挿フィルタを用いて、動き補償予測画素信号を生成するように構成されているフィルタ適用部とを備え、前記マージ部は、所定のマージリスト構築方法により、マージリストを生成し、前記マージリスト及び前記マージインデックスから、前記動きベクトル及び前記ハーフペルインデックスを復号するように構成されていることを要旨とする。
【発明の効果】
【0013】
本発明によれば、ハーフペルインデックスに応じてペアワイズ平均マージ又はＭＭＶＤ又はＤＭＶＲによって導出される動きベクトルの参照画素精度位置を制御する、或いは、導出された動きベクトルに応じてハーフペルインデックスを制御することができるようになり、対象ブロックの平滑化フィルタの有効条件の不備を解消し、さらに、未来のブロックに対して平滑化フィルタの有効条件の不備の伝搬を回避することができる画像復号装置、画像復号方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0014】
【図1】一実施形態に係る画像処理システム１の構成の一例を示す図である。
【図2】一実施形態に係る画像符号化装置１００の機能ブロックの一例を示す図である。
【図3】一実施形態に係る画像符号化装置１００のインター予測部１１１の機能ブロックの一例を示す図である。
【図4】一実施形態に係る画像復号装置２００の機能ブロックの一例を示す図である。
【図5】一実施形態に係る画像復号装置２００のインター予測部２４１の機能ブロックの一例を示す図である。
【図6】一実施形態に係るフィルタ判定部１１１Ｄ１/２４１Ｃ１における内挿フィルタの適用有無及びフィルタ種別の判定処理の一例について示すフローチャートである。
【図7】一実施形態に係るに係るハーフペルインデックス（ｈｐｅｌＩｆＩｄｘ）の判定処理の一例について示すフローチャートである。
【図8】非特許文献１の判定処理について説明するための図である。
【図9】一実施形態に係る画像復号装置２００のｍｖ洗練化部２４１Ｂの機能ブロックの一例を示す図である。
【図10】一実施形態に係るマージリスト構築処理の一例について示すフローチャートである。
【図11】一実施形態に係るマージリスト構築処理にて生成されるマージリストの一例について示す図である。
【図12】一実施形態に係る空間マージの一例について示す図である。
【図13】一実施形態に係る時間マージの一例について示す図である。
【図14】一実施形態に係る時間マージにおける動きベクトルのスケーリング処理の一例について説明するための図である。
【図15】一実施形態に係るヒストリーマージの一例について示す図である。
【図16】一実施形態に係るペアワイズ平均マージにより算出される新たな動きベクトルとハーフペルインデックスとの組の一例について示す図である。
【図17】一実施形態に係るペアワイズ平均マージにより生成される新たなハーフペルインデックスの設定処理の一例について示すフローチャートである。
【図18】一実施形態に係るペアワイズ平均マージにおけるハーフペルインデックスの設定条件の不備解消方法の一例について説明するための図である。
【図19】一実施形態に係るペアワイズ平均マージにおけるハーフペルインデックスの設定条件の不備解消方法の一例について説明するための図である。
【図20】一実施形態に係るペアワイズ平均マージにおけるハーフペルインデックスの設定条件の不備解消方法の一例について説明するための図である。
【図21】一実施形態に係るＭＭＶＤにおけるハーフペルインデックスの設定条件の不備解消方法の一例について説明するための図である。
【図22】一実施形態に係るＭＭＶＤにおけるハーフペルインデックスの設定条件の不備解消方法の一例について説明するための図である。
【図23】一実施形態に係るＭＭＶＤにおけるハーフペルインデックスの設定条件の不備解消方法の一例について説明するための図である。
【図24】一実施形態に係るＭＭＶＤにおけるハーフペルインデックスの設定条件の不備解消方法の一例について説明するための図である。
【図25】一実施形態に係るＭＭＶＤにおけるハーフペルインデックスの設定条件の不備解消方法の一例について説明するための図である。
【図26】一実施形態に係るペアワイズ平均マージによって導出された動きベクトルがＭＭＶＤ又はＤＭＶＲによって修正される場合の変更例について説明するための図である。
【図27】一実施形態に係るペアワイズ平均マージによる動きベクトルの導出例について説明するための図である。
【図28】一実施形態に係るペアワイズ平均マージによる動きベクトルの導出例について説明するための図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【0016】
【0017】
図１に示すように、本実施形態に係る画像処理システム１０は、画像符号化装置１００及び画像復号装置２００を有する。
【0018】
画像符号化装置１００は、入力画像信号を符号化することによって符号化データを生成するように構成されている。画像復号装置２００は、符号化データを復号することによって出力画像信号を生成するように構成されている。
【0019】
符号化データは、画像符号化装置１００から画像復号装置２００に対して伝送路を介して送信されてもよい。符号化データは、記憶媒体に格納された上で、画像符号化装置１００から画像復号装置２００に提供されてもよい。
【0020】
【0021】
図２に示すように、画像符号化装置１００は、インター予測部１１１と、イントラ予測部１１２と、減算器１２１と、加算器１２２と、変換・量子化部１３１と、逆変換・逆量子化部１３２と、符号化部１４０と、インループフィルタ処理部１５０と、フレームバッファ１６０とを有する。
【0022】
インター予測部１１１は、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。
【0023】
具体的には、インター予測部１１１は、符号化対象のフレーム（以下、対象フレーム）とフレームバッファ１６０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトル（ｍｖ）を決定するように構成されている。
【0024】
また、インター予測部１１１は、参照ブロック及び動きベクトルに基づいて符号化対象のブロック（以下、対象ブロック）に含まれる予測信号を対象ブロック毎に生成するように構成されている。インター予測部１１１は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。ここで、参照フレームは、対象フレームとは異なるフレームである。
【0025】
イントラ予測部１１２は、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。
【0026】
具体的には、イントラ予測部１１２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を対象ブロック毎に生成するように構成されている。また、イントラ予測部１１２は、予測信号を減算器１２１及び加算器１２２に出力するように構成されている。
【0027】
ここで、参照ブロックは、対象ブロックについて参照されるブロックである。例えば、参照ブロックは、対象ブロックに隣接するブロックである。
【0028】
減算器１２１は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部１３１に出力するように構成されている。ここで、減算器１２１は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成するように構成されている。
【0029】
加算器１２２は、逆変換・逆量子化部１３２から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、かかるフィルタ処理前復号信号をイントラ予測部１１２及びインループフィルタ処理部１５０に出力するように構成されている。
【0030】
ここで、フィルタ処理前復号信号は、イントラ予測部１１２で用いる参照ブロックを構成する。
【0031】
変換・量子化部１３１は、予測残差信号の変換処理を行うとともに、係数レベル値を取得するように構成されている。さらに、変換・量子化部１３１は、係数レベル値の量子化を行うように構成されていてもよい。
【0032】
ここで、変換処理は、予測残差信号を周波数成分信号に変換する処理である。かかる変換処理では、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよく、離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよい。
【0033】
逆変換・逆量子化部１３２は、変換・量子化部１３１から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部１３２は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。
【0034】
ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。
【0035】
符号化部１４０は、変換・量子化部１３１から出力された係数レベル値を符号化し、符号化データを出力するように構成されている。
【0036】
ここで、例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。
【0037】
また、符号化部１４０は、係数レベル値に加えて、復号処理で用いる制御データを符号化するように構成されている。
【0038】
ここで、制御データは、符号化ブロック（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）サイズ、予測ブロック（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）サイズ、変換ブロック（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）サイズ等のサイズデータを含んでもよい。
【0039】
また、制御データは後述するようにシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライスヘッダなどのヘッダ情報を含んでも良い。
【0040】
インループフィルタ処理部１５０は、加算器１２２から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ１６０に出力するように構成されている。
【0041】
ここで、例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック又は変換ブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。
【0042】
フレームバッファ１６０は、インター予測部１１１で用いる参照フレームを蓄積するように構成されている。
【0043】
ここで、フィルタ処理後復号信号は、インター予測部１１１で用いる参照フレームを構成する。
【0044】
（インター予測部１１１）
以下、図３を参照して、本実施形態に係る画像符号化装置１００のインター予測部１１１について説明する。図３は、本実施形態に係る画像符号化装置１００のインター予測部１１１の機能ブロックの一例について示す図である。
以下、図３を参照して、本実施形態に係る画像符号化装置１００のインター予測部１１１について説明する。図３は、本実施形態に係る画像符号化装置１００のインター予測部１１１の機能ブロックの一例について示す図である。
【0045】
図３に示すように、インター予測部１１１は、ｍｖ導出部１１１Ａと、ＡＭＶＲ部１１１Ｂと、ｍｖ洗練化部１１１Ｂと、予測信号生成部１１１Ｄとを有する。
【0046】
インター予測部１１１は、動きベクトルに基づいて対象ブロックに含まれる予測信号を生成するように構成されている予測部の一例である。
【0047】
ｍｖ導出部１１１Ａは、図３に示すように、ＡＭＶＰ（Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）部１１１Ａ１と、マージ部１１１Ａ２とを有し、フレームバッファ１６０からの対象フレーム及び参照フレームを入力とし、動きベクトルを取得するように構成されている。
【0048】
ＡＭＶＰ部１１１Ａ１は、対象フレームと参照フレームとの比較によって、参照フレームに含まれる参照ブロックを特定し、特定された参照ブロックに対する動きベクトルを探索するように構成されている。
【0049】
また、上述の探索処理を複数の参照フレーム候補に対して行い、対象ブロックで予測に用いる参照フレーム及び動きベクトルを決定し、後段の予測信号生成部１１１Ｄに出力する。
【0050】
参照フレーム及び動きベクトルについては、１つのブロックに対して最大２つずつ用いることができる。１つのブロックに対して参照フレーム及び動きベクトルを１組のみ用いる場合を「片予測」と呼び、参照フレームと動きベクトルを２組用いる場合を「双予測」と呼ぶ。以下、１組目を「Ｌ０」と呼び、２組目を「Ｌ１」と呼ぶ。
【0051】
更に、ＡＭＶＰ部１１１Ａは、上述の決定した動きベクトルを最終的に復号装置に伝送する際に、符号量を削減するために、隣接する符号化済みの動きベクトルから導出された動きベクトル予測子（ｍｖｐ：ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）の候補の中から、かかる対象ブロックの動きベクトルとの差分、すなわち、動きベクトル差分（ｍｖｄ：ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）が小さくなるｍｖｐを選択する。
【0052】
このように選択されたｍｖｐ及びｍｖｄを示すインデックス及び参照フレームを示すインデックス（以下、Ｒｅｆｉｄｘ）が符号化部１４０で符号化され、画像復号装置２００に伝送される。かかる処理は、適応動きベクトル予測符号化（ＡＭＶＰ：Ａｄａｐｔｉｖｅ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｉｄｉｃｉｏｎ）と一般に呼ばれる。
【0053】
なお、上記の動きベクトルの探索方法、参照フレーム及び動きベクトルの決定方法、ｍｖｐの選択方法、ｍｖｄの算出方法については、既知の手法を採用することが可能であるため、その詳細については省略する。
【0054】
ＡＭＶＲ部１１１Ｂは、ＡＭＶＰ部１１１Ａで算出したｍｖｄの伝送精度を変えるＡＭＶＲ（Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｓｏｌｕｔｉｏｎ）の機能を有する。
【0055】
ｍｖｄは、上述のように対象ブロックの動きベクトルとｍｖｐとの和から導出しているため、ｍｖｄの伝送精度を変更することは、対象ブロックの動きベクトル自体の精度を変更することを意味する。
【0056】
非特許文献１では、ＡＭＶＲによるｍｖｄの伝送精度のバリエーションが３種類用意されている。通常のｍｖｄの伝送精度は１/１６画素精度であり、このとき、動きベクトルは、最終的に１/１６画素精度の位置を参照することになるが、ＡＭＶＲが有効時には、ｍｖｄの伝送精度が１/４画素精度、１/２画素精度、１画素精度（すなわち、整数画素精度）から選択される。
【0057】
ただし、対象ブロックがアフィンである場合は、ｍｖｄの伝送精度が１/４画素精度、１/１６画素精度、１画素精度が選択される。ここで、アフィンとは、非特許文献１のＡｆｆｉｎｅである。
【0058】
さらに、非特許文献１では、上述のｍｖｄの伝送精度として１/２画素精度が選択される場合に限り、１/２画素精度以外が選択される場合に適用される内挿フィルタとは別の内挿フィルタが後段の予測信号生成部１１１Ｄにて選択される構成となっている。詳細は後述する。
【0059】
また、ＡＭＶＲ部１１１ＢでＡＭＶＲ処理が有効と判定される場合は、ＡＭＶＲが有効と示すフラグ及びＡＭＶＲによりｍｖｄがどの精度に修正されるかを示すインデックスを、画像復号装置２００に伝送する。
【0060】
マージ部１１１Ａ２では、対象ブロックの動き情報をＡＭＶＰ部１１１Ａ１のように探索して導出することや、隣接ブロックとの差分としてｍｖｄとして伝送はせず、対象フレーム及び参照フレームを入力として、対象ブロックと同一フレームにある隣接ブロック又は対象フレームと異なるフレームにある同一位置のブロックを参照ブロックとして、かかる参照ブロックの動き情報をそのまま継承して利用する。この処理は、マージ符号化（以下、マージ）と一般に呼ばれる。
【0061】
かかる対象ブロックがマージの場合、初めに、かかる対象ブロックに対するマージリストを作成する。マージリストは、参照フレームと動きベクトルとの組み合わせが複数列挙されたリストである。各組み合わせには、インデックス（以下、マージインデックス）が振られており、Ｒｅｆｉｄｘ及び動きベクトルの情報を個別に符号化する代わりに、上述のマージインデックスのみを符号化し、画像復号装置２００に伝送する。
【0062】
ここで、画像符号化装置１００側と画像復号装置２００側とで、マージリストの作成方法を共通化しておくことで、画像復号装置２００側ではマージインデックス情報のみからＲｅｆｉｄｘ及び動きベクトルの情報を復号することができる。マージリストの作成方法の詳細については後述する。
【0063】
ｍｖ洗練化部１１１Ｃは、マージ部１１１Ａ２から出力される動きベクトルを修正する洗練化処理を行うように構成されている。詳細は後述する。
【0064】
予測信号生成部１１１Ｄは、動きベクトルを入力としてＭＣ予測画像信号を出力するように構成されており、フィルタ判定部１１１Ｄ１とフィルタ適用部１１１Ｄ２を有する。
【0065】
フィルタ判定部１１１Ｄ１は、動きベクトルに基づいて内挿フィルタの適用有無及びフィルタ種別を判定する。詳細は後述する。
【0066】
フィルタ適用部１１１Ｄ２は、フィルタ判定部１１１Ｄ１で内挿フィルタが有効と判定された場合、選択された内挿フィルタ、動きベクトル及び参照フレームから予測信号を生成するように構成されている。
【0067】
フィルタ判定部１１１Ｄ１で内挿フィルタが無効と判定された場合は、内挿フィルタは使用されず、動きベクトル及び参照フレームにより予測信号が生成される。
【0068】
【0069】
図４に示すように、画像復号装置２００は、復号部２１０と、逆変換・逆量子化部２２０と、加算器２３０と、インター予測部２４１と、イントラ予測部２４２と、インループフィルタ処理部２５０と、フレームバッファ２６０とを有する。
【0070】
復号部２１０は、画像符号化装置１００によって生成される符号化データを復号し、係数レベル値を復号するように構成されている。
【0071】
ここで、復号は、例えば、符号化部１４０で行われるエントロピー符号化とは逆の手順のエントロピー復号である。
【0072】
また、復号部２１０は、符号化データの復号処理によって制御データを取得するように構成されていてもよい。
【0073】
なお、上述したように、制御データは、符号化ブロックサイズ、予測ブロックサイズ、変換ブロックサイズ等のサイズデータを含んでもよい。
【0074】
逆変換・逆量子化部２２０は、復号部２１０から出力される係数レベル値の逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部２２０は、逆変換処理に先立って、係数レベル値の逆量子化を行うように構成されていてもよい。
【0075】
ここで、逆変換処理及び逆量子化は、変換・量子化部１３１で行われる変換処理及び量子化とは逆の手順で行われる。
【0076】
加算器２３０は、逆変換・逆量子化部２２０から出力される予測残差信号に予測信号を加算してフィルタ処理前復号信号を生成し、フィルタ処理前復号信号をイントラ予測部２４２及びインループフィルタ処理部２５０に出力するように構成されている。
【0077】
ここで、フィルタ処理前復号信号は、イントラ予測部２４２で用いる参照ブロックを構成する。
【0078】
インター予測部２４１は、インター予測部１１１と同様に、インター予測（フレーム間予測）によって予測信号を生成するように構成されている。
【0079】
具体的には、インター予測部２４１は、符号化データから復号した動きベクトルと参照フレームに含まれる参照信号に基づいて予測信号を予測ブロック毎に生成するように構成されている。インター予測部２４１は、予測信号を加算器２３０に出力するように構成されている。
【0080】
イントラ予測部２４２は、イントラ予測部１１２と同様に、イントラ予測（フレーム内予測）によって予測信号を生成するように構成されている。
【0081】
具体的には、イントラ予測部２４２は、対象フレームに含まれる参照ブロックを特定し、特定された参照ブロックに基づいて予測信号を予測ブロック毎に生成するように構成されている。イントラ予測部２４２は、予測信号を加算器２３０に出力するように構成されている。
【0082】
インループフィルタ処理部２５０は、インループフィルタ処理部１５０と同様に、加算器２３０から出力されるフィルタ処理前復号信号に対してフィルタ処理を行うとともに、フィルタ処理後復号信号をフレームバッファ２６０に出力するように構成されている。
【0083】
ここで、例えば、フィルタ処理は、ブロック（符号化ブロック、予測ブロック、変換ブロック、あるいはそれらを分割したサブブロック）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。
【0084】
フレームバッファ２６０は、フレームバッファ１６０と同様に、インター予測部２４１で用いる参照フレームを蓄積するように構成されている。
【0085】
ここで、フィルタ処理後復号信号は、インター予測部２４１で用いる参照フレームを構成する。
【0086】
【0087】
図５に示すように、インター予測部２４１は、ｍｖ復号部２４１Ａと、ｍｖ洗練化部２４１Ｂと、予測信号生成部１１１Ｃとを有する。
【0088】
インター予測部２４１は、動きベクトルに基づいて予測ブロックに含まれる予測信号を生成するように構成されている予測部の一例である。
【0089】
ｍｖ復号部２４１Ａは、ＡＭＶＰ部２４１Ａ１とマージ部２４１Ａ２とを有し、フレームバッファ２６０から入力される対象フレーム及び参照フレーム、及び、画像符号化装置１００から受信する制御データの復号によって、動きベクトルを取得するように構成されている。
【0090】
ＡＭＶＰ部２４１Ａ１は、対象フレーム及び参照フレームと、画像符号化装置１００から、ｍｖｐ及びｍｖｄを示すインデックス、Ｒｅｆｉｄｘ、ＡＭＶＲ部１１１Ｂからのｍｖｄの伝送精度を示すインデックスを受信し、動きベクトルを復号するように構成されている。動きベクトルの復号方法については、既知の手法を採用すること可能であるため、その詳細については省略する。
【0091】
マージ部２４１Ａ２は、画像符号化装置１００から、マージインデックスを受信し、動きベクトルを復号するように構成されている。
【0092】
具体的には、マージ部２４１Ａ２は、画像符号化装置１００と同じ方法で、マージリストを構築して、受信したマージインデックスに対応する動きベクトルを構築したマージリストから取得するように構成されている。マージリストの構築方法の詳細は、後述する。
【0093】
ｍｖ洗練化部２４１Ｂは、洗練化部１１１Ｃと同様に、動きベクトルを修正する洗練化処理を実行するように構成されている。
【0094】
予測信号生成部２４１Ｃは、フィルタ判定２４１Ｃ１とフィルタ適用部２４１Ｃ２とを有し、予測信号生成部１１１Ｃと同様に、動きベクトルに基づいて予測信号を生成するように構成されている。
【0095】
なお、画像復号装置２００のフィルタ判定部２４１Ｃ１は、画像符号化装置１００のフィルタ判定部１１１Ｄ１と全く同じ構成となるため、本実施形態では、以下、フィルタ判定部１１１Ｄ１の動作について代表して説明する。
【0096】
（内挿フィルタの判定処理）
以下、図６を参照して、本実施形態に係るフィルタ判定部１１１Ｄ１/２４１Ｃ１における内挿フィルタの適用有無及びフィルタ種別の判定処理について説明する。
以下、図６を参照して、本実施形態に係るフィルタ判定部１１１Ｄ１/２４１Ｃ１における内挿フィルタの適用有無及びフィルタ種別の判定処理について説明する。
【0097】
図６は、本実施形態に係るフィルタ判定部１１１Ｄ１における内挿フィルタの適用有無及びフィルタ種別の判定処理順の一例を示すフローチャートである。
【0098】
図６に示すように、ステップＳ６-１において、フィルタ判定部１１１Ｄ１は、ｍｖの参照位置が小数画素位置かどうかを判定する。ｍｖの参照位置が小数画素位置である場合は、本処理は、ステップＳ６-２に進み、ｍｖの参照位置が小数画素位置でない場合、即ち、ｍｖの参照位置が整数画素値位置の場合は、本処理は、ステップＳ６-３に進む。
【0099】
ステップＳ６-２において、フィルタ判定部１１１Ｄ１は、内挿フィルタを適用すると判定し、本処理は、ステップＳ６-４に進む。
【0100】
ステップＳ６-３において、フィルタ判定部１１１Ｄ１は、内挿フィルタを適用しないと判定し、本処理を終了する。
【0101】
ステップＳ６-４において、フィルタ判定部１１１Ｄ１は、後述するハーフペルインデックス（ｈｐｅｌＩｆＩｄｘ）が無効すなわち「０」であるかどうかを判定する。ｈｐｅｌＩｆＩｄｘが「０」である場合は、本処理は、ステップＳ６-５に進み、ｈｐｅｌＩｆＩｄｘが有効すなわち「０」ではない場合は、本処理は、ステップＳ６-６に進む。
【0102】
ステップＳ６-５において、フィルタ判定部１１１Ｄ１は、内挿フィルタとしてＨＥＶＣフィルタを利用すると判定し、本処理を終了する。
【0103】
ここで、ＨＥＶＣフィルタとは、非特許文献２と同様の８タップの線形内挿フィルタである。
【0104】
ステップＳ６-６において、フィルタ判定部１１１Ｄ１は、内挿フィルタとして平滑化フィルタを利用すると判定する。
【0105】
ここで、平滑化フィルタとは、例えば、非特許文献１で採用されている６タップのガウシアンフィルタを用いてもよい。また、ｈｐｅｌＩｆＩｄｘの示す値によって、内挿フィルタとして複数のフィルタの利用を設定してもよい。
【0106】
このように、ｍｖの参照位置が小数画素位置である際に、ｈｐｅｌＩｆＩｄｘに基づいて、２種類以上の内挿フィルタの利用を適応的に切り換えることができるため、画像特性に併せて利用する内挿フィルタを選択できるため、結果として符号化性能の向上効果が期待できる。
【0107】
（ハーフペルインデックス（ｈｐｅｌＩｆＩｄｘ）の設定処理）
以下、図７を参照して、本実施形態に係るハーフペルインデックス（ｈｐｅｌＩｆＩｄｘ）の判定処理について説明する。
以下、図７を参照して、本実施形態に係るハーフペルインデックス（ｈｐｅｌＩｆＩｄｘ）の判定処理について説明する。
【0108】
図７は、本実施形態に係るフィルタ判定部１１１Ｄ１におけるｈｐｅｌＩｆＩｄｘの判定処理順の一例を示すフローチャートである。
【0109】
ｈｐｅｌＩｆＩｄｘは、上述したように、内挿フィルタの種別の判定に関わり、ｈｐｅｌＩｆＩｄｘが「０」である場合、すなわち、無効の場合は、非特許文献２と同様の内挿フィルタを用いる。他方、ｈｐｅｌＩｆＩｄｘが「０」でない場合、すなわち有効である場合は、平滑化フィルタを用いる。
【0110】
ｈｐｅｌＩｆＩｄｘは、対象ブロックがマージである場合は、動きベクトルとＲｅｆＩｄｘとを合わせて、参照ブロックから取得し、マージインデックスに対応付けられる。
【0111】
他方、対象ブロックがマージモードではなく、ＡＭＶＰにより動きベクトルが復号される場合には、上述したＡＭＶＲの適用有無及び所定条件によって、ｈｐｅｌＩｆＩｄｘの値が判定される。
【0112】
図７に示すように、ステップＳ７-１において、フィルタ判定部１１１Ｄ１は、ＡＭＶＲが有効かどうかを判定する。判定には、例えば、非特許文献１と同様に、ＡＭＶＲの適用有無を示すフラグ（ａｍｖｒ#ｆｌａｇ）を復号することで判定してもよい。
【0113】
ステップＳ７-１において、ＡＭＶＲが有効と判定される場合は、本処理は、ステップＳ７-２に進み、ＡＭＶＲが無効と判定される場合は、本処理は、ステップＳ７-３に進む。
【0114】
ステップＳ７-２において、フィルタ判定部１１１Ｄ１は、所定条件１により、ｈｐｅｌＩｆＩｄｘの値が「０」であるかどうかを判定する。
【0115】
ステップＳ７-２において、所定条件１が満たされていると判定された場合、本処理は、ステップＳ７-４に進み、所定条件１が満たされていないと判定された場合は、本処理は、ステップＳ７-５に進む。
【0116】
ここで、ステップＳ７-２の所定条件１において、ＡＭＶＲの伝送精度を示すインデックス（ａｍｖｒ#ｐｒｅｃｉｓｉｏｎ#ｉｄｘ）を復号して判定してもよく、ＡＭＶＲの伝送精度が１/２画素精度の場合に所定条件１を満たすと判定し、それ以外の場合は所定条件１を満たさないと判定する。
【0117】
また、ステップＳ７-２の所定条件１では、対象ブロックがアフィンであるかで判定してもよく、対象ブロックがアフィンである場合は、所定条件１を満たさないと判定し、アフィンでない場合はａｍｖｒ#ｐｒｅｃｉｓｉｏｎ#ｉｄｘがｍｖｄの伝送精度を１/２画素精度を示す場合に所定条件１を満たすと判定する。
【0118】
ここで、アフィンとは、非特許文献１で採用されているＡｆｆｉｎｅのことであり、本発明では、既知の手法を採用することが可能であるため、説明は省略する。
【0119】
また、ステップＳ７-２の所定条件１では、対象ブロックがＩＢＣであるかで判定してもよく、対象ブロックがＩＢＣである場合は、所定条件１を満たさないと判定し、ＩＢＣでない場合はａｍｖｒ#ｐｒｅｃｉｓｉｏｎ#ｉｄｘがｍｖｄの伝送精度を１/２画素精度を示す場合に所定条件１を満たすと判定する。
【0120】
ここで、ＩＢＣとは、非特許文献1で採用されているＩＢＣ（Ｉｎｔｒａ#Ｂｌｏｃｋ#Ｃｏｐｙ）のことであり、本発明では、既知の手法を採用することが可能であるため、説明は省略する。
【0121】
ステップＳ７-３において、フィルタ判定部１１１Ｄ１は、ｈｐｅｌＩｆＩｄｘが「０」であると判定し、本処理を終了する。
【0122】
ステップＳ７-４において、フィルタ判定部１１１Ｄ１は、ｈｐｅｌＩｆＩｄｘが「１」であると判定し、本処理を終了する。
【0123】
ステップＳ７-５において、フィルタ判定部１１１Ｄ１は、ｈｐｅｌＩｆＩｄｘが「０」であると判定し、本処理を終了する。
【0124】
なお、ここまで、ｈｐｅｌＩｆＩｄｘの判定処理をフローチャートで説明したが、図８に示す非特許文献１の判定処理のように、フィルタ判定部１１１Ｄ１は、ａｍｖｒ#ｆｌａｇ、ａｍｖｒ#ｐｒｅｃｉｓｉｏｎ#ｉｄｘ、ｉｎｔｅｒ#ａｆｆｉｎｅ#ｆｌａｇの復号結果及び対象ブロックがＩＢＣであるかどうかに基づいて、Ａｖｍｒｓｈｉｆｔ値を決定し、かかるＡｍｖｒ#ｓｈｉｆｔ値によってｈｐｅｌＩｆｉｄｘの値を判定してもよい。
【0125】
（ｍｖ洗練化部）
以下、図９を参照して、本実施形態に係るｍｖ洗練化部２４１Ｂについて説明する。なお、符号化装置のｍｖ洗練化部１１１Ｃは復号装置のｍｖ洗練化部２４１Ｂと全く同じ構成となるため、本実施形態では、ｍｖ洗練化部２４１Ｂについて代表して説明する。
以下、図９を参照して、本実施形態に係るｍｖ洗練化部２４１Ｂについて説明する。なお、符号化装置のｍｖ洗練化部１１１Ｃは復号装置のｍｖ洗練化部２４１Ｂと全く同じ構成となるため、本実施形態では、ｍｖ洗練化部２４１Ｂについて代表して説明する。
【0126】
図９は、本実施形態に係るｍｖ洗練化部２４１Ｂの機能ブロックの一例について示す図である。
【0127】
図９に示すように、ｍｖ洗練化部２４１Ｂは、ＭＭＶＤ部２４１Ｂ１と、ＤＭＶＲ部２４１Ｂ２とを有する。
【0128】
ＭＭＶＤ部２４１Ｂ１及びＤＭＶＲ部２４１Ｂ２において、具体的には、非特許文献１で採用されているＭＭＶＤ（Ｍｅｒｇｅ ｍｏｄｅ ｗｉｔｈ ＭＶＤ）及びＤＭＶＲ（Ｄｅｃｏｄｅｒ ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）で動きベクトルが洗練化される。
【0129】
具体的には、ＭＭＶＤ部２４１Ｂ１は、マージ部１１１Ａ２から出力される動きベクトルの参照位置を基準として、図９に示すように、参照位置の修正範囲を距離及び方向（垂直および水平）によって設定するように構成されている。
【0130】
ＭＭＶＤ部２４１Ｂ１は、修正距離について、修正範囲の中から所定コストが最も小さい修正位置を特定し、修正参照位置に基づいて動きベクトルを修正する洗練化処理を行うように構成されている。
【0131】
また、ＤＭＶＲ部２４１Ｂ２は、マージ部１１１Ａ２から出力される動きベクトルによって特定される参照位置を基準として探索範囲を設定し、探索範囲の中から所定コストが最も小さい修正参照位置を特定し、修正参照位置に基づいて動きベクトルを修正する洗練化処理を行うように構成されている。
【0132】
ここで、ｍｖ洗練化部２４１Ｂにおいて、対象ブロックへのＭＭＶＤの適用有無、ＤＭＶＲの適用有無も判定されるが、その判定処理は、非特許文献１に記載の既知の手法を本発明では用いることが可能であるため、説明は省略する。
【0133】
なお、ＭＭＶＤ及びＤＭＶＲのいずれも無効である場合は、マージ部１１１Ａ２から出力される動きベクトルは、修正されずに、そのまま後段の予測信号生成部２４１Ｃに出力される。
【0134】
【0135】
図１０に示すように、本発明に係るマージリスト構築処理は、非特許文献１と同様に、合計５つのマージリストの構築処理によって構成される。
【0136】
具体的には、ステップＳ１０-１の空間マージ、ステップＳ１０-２の時間マージ、ステップＳ１０-３のヒストリーマージ、ステップＳ１０-４のペアワイズ平均マージ、ステップＳ１０-５のゼロマージによるマージリストの構築処理から構成される。それぞれのマージリスト構築処理については、後述する。
【0137】
図１１は、本実施形態に係るマージリスト構築処理にて生成されるマージリストの一例を示した図である。
【0138】
マージリストとは、上述したように、マージインデックスに対応する動きベクトル、Ｒｅｆｉｄｘ、ｈｅｐｅｌＩｆＩｄｘが登録されたリストである。
【0139】
ここで、マージインデックスの最大数は、非特許文献１では「５」と設定されているが、設計者の意図により、自由に設定してもよい。
【0140】
また、図１１にあるｍｖＬ０、ｍｖＬ１、ＲｅｆＩｄｘＬ０、ＲｅｆＩｄｘＬ１は、それぞれ参照画像リストＬ０、Ｌ１の動きベクトルと参照画像インデックスを示す。
【0141】
ここで、参照画像リストＬ０、Ｌ１とは、参照フレームが登録されたリストのことを示し、ＲｅｆＩｄｘによって、その参照フレームが特定される。
【0142】
なお、図１１に示すマージリストには、Ｌ０及びＬ１双方の動きベクトルと参照画像インデックスを示しているが、参照ブロックによっては片方向予測である場合がある。その場合は、片方向分の動きベクトル及び参照画像インデックスが、かかるマージリストに登録される。また、そもそも参照ブロックに動きベクトルが存在しない場合は、その参照ブロックに対するマージリストの構築処理がスキップされる。
【0143】
（空間マージ）
図１２は、空間マージについて示した図である。空間マージとは、対象ブロックと同一フレームに存在する隣接ブロックから、ｍｖ、ＲｅｆＩｄｘ、ｈｐｅｌＩｆＩｄｘを継承する技術である。
図１２は、空間マージについて示した図である。空間マージとは、対象ブロックと同一フレームに存在する隣接ブロックから、ｍｖ、ＲｅｆＩｄｘ、ｈｐｅｌＩｆＩｄｘを継承する技術である。
【0144】
【0145】
なお、マージリスト処理では、上述の処理順でマージリストへのパラメータ登録がなされるが、マージリストに対して同じ動きベクトルと参照画像インデックスが登録されないようなチェック機構が存在する。これをｐｒｕｎｉｎｇ処理と呼ぶ。
【0146】
ｐｒｕｎｉｎｇ処理の存在理由は、マージリストに登録される動きベクトル及び参照画像インデックスのバリエーションを増やすことであり、画像符号化装置１００の観点では、画像特性に併せて所定コストが最も小さくなる動きベクトルが選択できるということであり、画像復号装置２００では、その選択された動きベクトル及び参照画像インデックスに基づいて予測精度の高い予測信号を生成することができるため、結果的に符号化性能の向上効果が期待できるという点にある。
【0147】
空間マージでは、例えば、隣接ブロックＡ1が登録されれば、次の処理順にある隣接ブロックＢ1で、隣接ブロックＡ1で登録された動きベクトルと参照画像インデックスとの同一性が確認され、もし同一性が確認されれば、隣接ブロックＢ1の動きベクトル及び参照画像インデックスはマージリストに登録されない構成となっている。
【0148】
なお、非特許文献１では、隣接ブロックＢ0、隣接ブロックＡ0、隣接ブロックＢ2については、既にマージリストに登録済みの動きベクトルと参照画像インデックスとの同一性のチェック以外に、対象ブロックがトライアングルマージであるかどうかの確認が存在する。
【0149】
本実施形態では、ｐｒｕｎｉｎｇ処理に対して、このトライアングルマージによる判定を追加してもよく、またトライアングマージとしては既知の手法を取ることが可能であるため、説明は省略する。
【0150】
また、非特許文献１では、空間マージによるマージインデックスの登録最大可能数を「４」と設定しており、隣接ブロックＢ2に関しては、それまでの空間マージ処理によって、既に４つのマージインデックスが登録されている場合は、Ｂ2の処理がスキップされる。
【0151】
本実施形態では、非特許文献１と同様に、隣接ブロックＢ2の処理を、既存のマージインデックス登録数によって判定してもよい。
【0152】
（時間マージ）
図１３は、時間マージについて示した図である。時間マージとは、対象ブロックと異なるフレームに存在するが、同一位置の左下の隣接ブロック（図１３のＣ1）又は同一位置にあるブロック（図１３のＣ0）を参照ブロックと特定して、動きベクトルと参照画像インデックスを継承する技術である。
図１３は、時間マージについて示した図である。時間マージとは、対象ブロックと異なるフレームに存在するが、同一位置の左下の隣接ブロック（図１３のＣ1）又は同一位置にあるブロック（図１３のＣ0）を参照ブロックと特定して、動きベクトルと参照画像インデックスを継承する技術である。
【0153】
かかる時間マージリストによるマージインデックスのマージリストへの登録最大可能数は、非特許文献１では、「１」となっており、本実施形態においても、登録最大可能数を同様に設定しもよい。
【0154】
また、時間マージにおいて継承される動きベクトルは、スケーリングされる特徴があり、図１４は、かかるスケーリング処理を示した図である。
【0155】
具体的には、図１４に示すように、対象ブロックの参照フレームと対象フレームが存在するフレームとの距離ｔｂと、参照ブロックの参照フレームと参照ブロックの参照フレームの距離ｔｄとに基づいて、参照ブロックのｍｖが、以下のようにスケーリングされる。
【0156】
ｍｖ’＝（ｔｄ/ｔｂ）×ｍｖ
時間マージでは、このスケーリングされたｍｖ’がマージインデックスに対応する動きベクトルとしてマージインデックスに登録される構成となっている。
時間マージでは、このスケーリングされたｍｖ’がマージインデックスに対応する動きベクトルとしてマージインデックスに登録される構成となっている。
【0157】
（ヒストリーマージ）
図１５は、ヒストリーマージについて示した図である。ヒストリーマージとは、対象ブロックよりも過去に符号化済みのインター予測ブロックが有する動きベクトル、参照画像インデックス、ハーフペルインデックスを、ヒストリーマージテーブルと呼ばれる記憶領域に別途記憶しておき、マージリストが前段の空間マージ処理、時間マージ処理で埋まっていない場合に、かかるヒストリーマージテーブルに登録されているマージインデックスをマージリストに登録するという技術である。
図１５は、ヒストリーマージについて示した図である。ヒストリーマージとは、対象ブロックよりも過去に符号化済みのインター予測ブロックが有する動きベクトル、参照画像インデックス、ハーフペルインデックスを、ヒストリーマージテーブルと呼ばれる記憶領域に別途記憶しておき、マージリストが前段の空間マージ処理、時間マージ処理で埋まっていない場合に、かかるヒストリーマージテーブルに登録されているマージインデックスをマージリストに登録するという技術である。
【0158】
図１５は、ヒストリーマージテーブル構築処理の一例を示した図であり、ヒストリーマージインデックスによって、過去に符号化済みのブロックに対応する動きベクトル、参照画像インデックス、ハーフペルインデックスがヒストリーマージテーブルに登録される構成となっている。
【0159】
このヒストリーマージテーブルのヒストリーマージインデックスの最大登録数は、非特許文献１では、最大で「６」と設定されているが、設計者の意図によって自由に設定してもよい。
【0160】
また、このヒストリーマージテーブルへのヒストリーマージインデックスの登録処理は、ＦＩＦＯ処理となっており、ヒストリーマージテーブルがいっぱいになると新しいヒストリーマージテーブルが追加されるたびに、最後に登録されたヒストリーマージインデックスが削除される構成となっている。
【0161】
また、ヒストリーマージテーブルに登録されているヒストリーマージインデックスは、非特許文献１と同様に、対象ブロックが符号化ツリーブロック（ＣＴＵ：Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）を跨ぐと初期化されてもよい。
【0162】
（ペアワイズ平均マージ）
図１６は、ペアワイズ平均マージにより算出される新たな動きベクトルとハーフペルインデックスとの組について示した図である。
図１６は、ペアワイズ平均マージにより算出される新たな動きベクトルとハーフペルインデックスとの組について示した図である。
【0163】
ペアワイズ平均マージとは、マージリストに既に登録されている２組のマージインデックスに対応する動きベクトル、参照画像インデックス、ハーフペルインデックスを用いて、新たな動きベクトル、参照画像インデックス、ハーフペルインデックスを生成する技術である。
【0164】
ペアワイズ平均マージに利用する２組のマージインデックスは、非特許文献１と同様に、マージリストに登録されているマージインデックスの０番目及び１番目を固定で利用してもよいし、或いは、設計者の意図で、別の２組の組合せを自由に設定してもよい。
【0165】
ペアワイズ平均マージにおける新たな動きベクトルの生成方法は、図１６に示すように、マージリストの２組のマージインデックスに対応する動きベクトルを平均化して生成する。
【0166】
具体的には、例えば、２組のマージインデックスに対応する動きベクトルがそれぞれ２つある場合（すなわち、双予測である場合）、Ｌ０及びＬ１方向の動きベクトルｍｖＬ０Ｐ0/ｍｖＬ１Ｐ0及びｍｖＬ０Ｐ1/ｍｖＬ１Ｐ1によって、ペアワイズ平均マージの動きベクトルであるｍｖＬ０Ａｖｇ及びｍｖＬ１Ａｖｇは、それぞれ以下のように独立して算出される。
【0167】
ｍｖＬ０Ａｖｇ＝（ｍｖＬ０Ｐ0＋ｍｖＬ０Ｐ1）/２
ｍｖＬ１Ａｖｇ＝（ｍｖＬ１Ｐ0＋ｍｖＬ１Ｐ1）/２
ここで、ｍｖＬ０Ｐ0/ｍｖＬ１Ｐ0又はｍｖＬ０Ｐ1/ｍｖＬ１Ｐ1の片方が存在しない場合は、存在しない動きベクトルを除いて、上述の計算が行われる。
ｍｖＬ１Ａｖｇ＝（ｍｖＬ１Ｐ0＋ｍｖＬ１Ｐ1）/２
ここで、ｍｖＬ０Ｐ0/ｍｖＬ１Ｐ0又はｍｖＬ０Ｐ1/ｍｖＬ１Ｐ1の片方が存在しない場合は、存在しない動きベクトルを除いて、上述の計算が行われる。
【0168】
このとき、非特許文献１では、ペアワイズ平均マージインデックスに紐づく参照画像インデックスをマージインデックスＰ0に紐づく参照画像インデックスＲｅｆＩｄｘＬ０Ｐ0及びＲｅｆＩｄｘＬ１Ｐ0を常に使用するように定めている。
【0169】
また、ペアワイズ平均マージにより生成される新たなハーフペルインデックスｈｐｅｌＩｆＩｄｘＡｖｇは、図１７（ａ）及び図１７（ｂ）に示すように、既にマージリストに登録済みの２組のマージインデックスに対応する２組のハーフペルインデックスｈｐｅｌＩｆＩｄｘＰ0及びｈｐｅｌＩｆＩｄｘＰ1に基づいて設定する。
【0170】
具体的には、ステップＳ１７-１において、ｈｐｅｌＩｆＩｄｘＰ0及びｈｐｅｌＩｆＩｄｘＰ1が同じであるかどうかを判定する。同じである場合は、本処理は、ステップＳ１７-２に進み、同じでない場合は、本処理は、ステップＳ１７-３に進む。
【0171】
ステップＳ１７-２において、ｈｐｅｌＩｆＩｄｘＡｖｇをｈｐｅｌＩｆＩｄｘＰ0と設定する。
【0172】
ステップＳ１７-３において、ｈｐｅｌＩｆＩｄｘＡｖｇを無効すなわち「０」と設定する。
【0173】
ここで、ｈｐｅｌＩｆＩｄｘＰ0及びｈｐｅｌＩｆＩｄｘＰ1の取り得る値が「０」又は「１」である場合、図１７（ａ）に示すステップＳ１７-１及びステップＳ１７-３の処理について、図１７（ｂ）のステップＳ１７-４からステップＳ１７-６のような処理に置き換えてもよい。
【0174】
（ペアワイズ平均マージにおけるハーフペルインデックスの設定条件不備解消）
以下、図１８～図２０を参照して、本実施形態に係るペアワイズ平均マージにおけるハーフペルインデックスの設定条件の不備解消方法の一例について説明する。
以下、図１８～図２０を参照して、本実施形態に係るペアワイズ平均マージにおけるハーフペルインデックスの設定条件の不備解消方法の一例について説明する。
【0175】
図１８は、本実施形態に係るペアワイズ平均マージによりハーフペルインデックスの設定条件に不備が生じる事例を示した図である。
【0176】
具体的には、ペアワイズ平均マージにより生成される新たな動きベクトル及びハーフペルインデックスは、上述のように、既にマージリストに登録された異なる２組のマージインデックスに対応する動きベクトルの平均化及び所定条件によるハーフペルインデックス値の判定により導出されると説明した。
【0177】
図１６で示した例では、ペアワイズ平均マージにより生成されたｈｐｅｌＩｆＩｄｘＡｖｇが「１」であり、ｍｖＬ０Ａｖｇ及びｍｖＬ１Ａｖｇがいずれも１/２画素精度位置にあるため、上述の平滑化フィルタの有効条件について対象ブロックが満たすことになる。
【0178】
一方、図１８のように、ペアワイズ平均マージにより生成されたｈｐｅｌＩｆＩｄｘＡｖｇが有効すなわち「１」である場合で且つｍｖＬ０Ｐ0、ｍｖＬ１Ｐ0、ｍｖＬ０Ｐ1及びｍｖＬ１Ｐ1がいずれも１/２画素精度位置にある場合であっても、平均化されるｍｖＬ０Ｐ0及びｍｖＬ０Ｐ1の一方が１/２画素位置にあり、他方が整数画素位置にある場合は、ｍｖＬ０Ａｖｇは、１/４画素精度位置を参照することとなる。これは、図１８のように、ｍｖＬ１Ｐ0及びｍｖＬ１Ｐ1の平均化により生成されるｍｖＬ１Ａｖｇについても同様の構成となっている。
【0179】
対象ブロックがペアワイズ平均マージによる動きベクトルを用いて予測信号を生成することを考えると、この場合、周囲の参照ブロックから継承したハーフペルインデックスが「１」であるにも拘わらず、動きベクトルが１/４画素精度位置を参照するため、平滑化フィルタの有効条件を満たさないことになる。これは、対象ブロックの内挿フィルタにはＨＥＶＣフィルタが利用される一方で、参照先の周囲のブロックの内挿フィルタには平滑化フィルタが利用されるため、ブロック間で異なる内挿フィルタの利用が混在することを引き起こす。
【0180】
さらに、当該対象ブロックを参照する未来のブロックは、かかる対象ブロックからハーフペルインデックス＝１と参照先が１/４画素精度位置にあるｍｖを継承するため、未来のブロックに対して、この平滑化フィルタの有効条件に対する不一致を伝搬することに繋がる。
【0181】
【0182】
まず、１つ目の方法について図１９に示す。図１９では、具体的には、上述したようなケース、すなわち、ステップＳ１９-４に示すような、継承により生成したｈｐｅｌＩｆＩｄｘＡｖｇが「１」である場合にも拘らず、ｍｖＬ０Ａｖｇ又はｍｖＬ１Ａｖｇが１/２画素精度位置以外を参照する場合、本処理は、ステップＳ１９-５に進み、継承したｈｐｅｌＩｆＩｄｘＡｖｇを「１」から「０」に修正する。これにより、上述したような対象ブロック並びに未来のブロックに対する平滑化フィルタの有効条件の設定不備及びそれに伴う伝搬を回避することが可能となる。
【0183】
また、２つ目の方法について図２０に示す。図２０に示す処理は、図２０のステップＳ２０-５及び図１９のステップＳ１９-５以外は、図１９に示す処理と同じ処理になり、本実施形態では、ステップ１９-５に相当する別の解消方法として、ステップＳ２０-５に示す解消方法を提案する。
【0184】
ステップＳ２０-５において、具体的には、前段のステップで、ｈｐｅｌＩｆＩｄｘＡｖｇが「１」であるにも拘らず、ｍｖＬ０Ａｖｇ及びｍｖＬ１Ａｖｇの参照先が１/２画素精度位置以外となる場合、ｍｖＬ０Ａｖｇ及びｍｖＬ１Ａｖｇの参照先を１/２画素精度位置に丸めるという方法である。これにより、対象ブロック並びに未来のブロック対して、平滑化フィルタの有効条件の設定不備及びそれに伴う伝搬を回避することが可能となる。
【0185】
前者の解決方法は、ｍｖに応じてｈｐｅｌＩｆＩｄｘを修正するという技術であり、後者の解決方法は、ｈｐｅｌＩｆＩｄｘに応じてｍｖを修正する技術である。どちらの解決方法を採用するかは、設計者の意思で自由に設定しもよい。
【0186】
（ＭＭＶＤにおける不備解消）
上述したペアワイズ平均マージにおけるハーフペルインデックス及び動きベクトルに基づく平滑化フィルタの設定条件の不備は、ＭＭＶＤが有効となる対象ブロックでも生じる可能性がある。何故ならば、マージ部２４１Ａ２から出力される動きベクトルの参照先が１/２画素精度位置であり且つハーフペルインデックスが「１」である場合であっても、ＭＭＶＤ部２４１Ｂ１において、かかる動きベクトルがＭＭＶＤにより修正され、動きベクトルの参照先が１/２画素精度位置からずれる可能性があるためである。
上述したペアワイズ平均マージにおけるハーフペルインデックス及び動きベクトルに基づく平滑化フィルタの設定条件の不備は、ＭＭＶＤが有効となる対象ブロックでも生じる可能性がある。何故ならば、マージ部２４１Ａ２から出力される動きベクトルの参照先が１/２画素精度位置であり且つハーフペルインデックスが「１」である場合であっても、ＭＭＶＤ部２４１Ｂ１において、かかる動きベクトルがＭＭＶＤにより修正され、動きベクトルの参照先が１/２画素精度位置からずれる可能性があるためである。
【0187】
そのため、本発明では、ペアワイズ平均マージと同様に、ｍｖに応じてｈｐｅｌＩｆＩｄｘを修正するという解決手段と、ｈｐｅｌＩｆＩｄｘに応じてｍｖを修正する解決手段を提案する。
【0188】
【0189】
図２１は、ＭＭＶＤについて示した図である。ＭＭＶＤは、上述したように、マージ部２４１Ａ２が出力した動きベクトルを基準として、新たな動きベクトルの参照位置を、図２１に示すｍｍｖｄ#ｄｉｓｔａｎｃｅ#ｉｄｘ及びｍｍｖｄ#ｄｉｒｅｃｔｉｏｎ#ｉｄｘの値に基づき修正するという構成となっている。
【0190】
非特許文献１では、上述の２つのインデックスに基づいて、ｍｖｄが計算され、もともとの動きベクトルに加算される構成となっている。かかるｍｖｄが１/４画素精度を取る際に、ＭＭＶＤの適用後の動きベクトルは、１/２画素精度位置からずれることになる。
【0191】
なお、ＭＭＶＤのｍｖｄが整数精度であっても、元々の動きベクトルの画素精度は、上述のＡＭＶＲの場合とは異なり、変わらない。例えば、元々の動きベクトルが１/２画素精度位置にあり、ｍｖｄが「１」である場合は、新たな動きベクトルは変わらず１/２精度位置を参照する。
【0192】
【0193】
図２２は、ｍｖに応じてｈｐｅｌＩｆＩｄｘを修正するという解決手段を示している。
【0194】
具体的には、ステップＳ２２-１において、ｈｐｅｌＩｆＩｄｘが「１」である場合は、本処理は、ステップＳ２２-２に進み、ｈｐｅｌＩｆＩｄｘが「１」でない場合は、本処理は、終了する。
【0195】
ステップＳ２２-２において、所定条件２を満たす場合は、本処理は、終了し、所定条件２を満たさない場合は、本処理は、ステップＳ２２-３に進む。
【0196】
ここで、所定条件２には、ＭＭＶＤの適用後のｍｖが１/２画素精度位置を参照するかどうかの判定を追加してもよい。また、ＭＭＶＤ部２４１Ｂ１に入力されるｍｖが１/２画素位置にあり且つＭＭＶＤにより追加されるｍｖｄが１/２画素精度であるかどうかの判定を追加してもよい。
【0197】
ステップＳ２２-３において、ステップＳ２２-２でＭＭＶＤによりｍｖが１/２画素精度位置からずれるため、ハーフペルインデックスを「１」から「０」に修正して、本処理は終了する。
【0198】
図２３は、ｈｐｅｌＩｆＩｄｘに応じてｍｖを修正するという解決手段を示している。
【0199】
具体的には、図２２に示すステップＳ２２-３で示した解決手段に相当する別の解決手段、すなわち、ＭＭＶＤの適用後のｍｖを１/２画素精度位置に丸めるという処理を、ステップＳ２３-３にて実施する構成となっている。
【0200】
［変更例：ＭＭＶＤに関する丸め処理のバリエーション］
以下に、上述のステップＳ２３－３で示したＭＭＶＤでｍｖが修正された場合のｍｖの丸め処理のバリエーションについて説明する。
以下に、上述のステップＳ２３－３で示したＭＭＶＤでｍｖが修正された場合のｍｖの丸め処理のバリエーションについて説明する。
【0201】
上述した方法は、ＭＭＶＤ適用後のｍｖを直接１/２画素精度位置に丸めるという処理を取っていたが、１つ目の代替方法としては、ＭＭＶＤ適用時のｍｖｄを１/２画素精度位置に丸めることで、ＭＭＶＤの適用後のｍｖを間接的に丸めてもよい。
【0202】
例えば、ｍｍｖｄ#ｄｉｓｔａｎｃｅ#ｉｄｘに対応するｍｖｄのオフセット値を示した図２４のテーブルを変更するという方法が考えられる。具体的には、以下の２つの方法が考えられる。
【0203】
【0204】
図２４に示す従来のテーブルでは、ＭＭＶＤによるｍｖｄのオフセット値は、ＭＭＶＤの修正精度を整数画素精度とするかを示すスライスレベルの判定フラグであるｓｌｉｃｅ#ｆｐｅｌ#ｍｍｖｄ#ｅｎａｂｌｅｄ#ｆｌａｇのみで判定されていたが、図２５では、ｓｌｉｃｅ#ｆｐｅｌ#ｍｍｖｄ#ｅｎａｂｌｅｄ#ｆｌａｇが「０」である場合、すなわち、ＭＭＶＤによる動きベクトルの修正精度が小数画素精度まで許容される場合のテーブルをｈｐｅｌＩｆＩｄｘの値によって２つに分けている。
【0205】
ｈｐｅｌＩｆＩｄｘが「０」である場合は、ｍｍｖｄ#ｄｉｓｔａｎｃｅ#ｉｄｘは、「１」から開始され、ｈｐｅｌＩｆＩｄｘが「１」である場合は、ｍｍｖｄ#ｄｉｓｔａｎｃｅ#ｉｄｘが「２」から開始される。
【0206】
非特許文献１におけるＭＭＶＤの実際のＭＶＤのオフセット値は、かかるテーブルに示された値に対して４倍され、非特許文献１における動きベクトルの演算精度である１/１６画素精度に対して掛けられるため、図２５に示すＭｍｖｄＤｉｓｔａｎｃｅが「１」である場合は、ＭＭＶＤの適用後の動きベクトルは、１/４画素精度となり、ＭｍｖｄＤｉｓｔａｎｃｅが「２」である場合は、ＭＭＶＤの適用後の動きベクトルは、１/２画素精度となる。その結果、上述したハーフペルインデックス及びＭＭＶＤの適用後のｍｖの不備の解消が可能となる。
【0207】
（ＤＭＶＲにおける不備解消）
上述したペアワイズ平均マージ、ＭＭＶＤにおけるハーフペルインデックス及び動きベクトルに基づく平滑化フィルタの設定条件の不備は、ＤＭＶＲが有効となる対象ブロックでも生じる可能性がある。何故ならば、マージ部２４１Ａ２から出力される動きベクトルの参照先が１/２画素精度位置であり且つハーフペルインデックスが「１」である場合であっても、ＤＭＶＲ部２４１Ｂ２で、かかる動きベクトルがＤＭＶＲにより修正され、動きベクトルの参照先が１/２画素精度位置からずれる可能性があるためである。
上述したペアワイズ平均マージ、ＭＭＶＤにおけるハーフペルインデックス及び動きベクトルに基づく平滑化フィルタの設定条件の不備は、ＤＭＶＲが有効となる対象ブロックでも生じる可能性がある。何故ならば、マージ部２４１Ａ２から出力される動きベクトルの参照先が１/２画素精度位置であり且つハーフペルインデックスが「１」である場合であっても、ＤＭＶＲ部２４１Ｂ２で、かかる動きベクトルがＤＭＶＲにより修正され、動きベクトルの参照先が１/２画素精度位置からずれる可能性があるためである。
【0208】
そのため、本変更例では、ペアワイズ平均マージと同様に、ｍｖに応じてｈｐｅｌＩｆＩｄｘを修正するという解決手段、並びに、ｈｐｅｌＩｆＩｄｘに応じてｍｖを修正する解決手段を提案するが、その構成例は、上述したＭＭＶＤでの解決手段、すなわち、図２２及び図２３で示した構成例と全く同じになるため、説明は省略する。
【0209】
［変更例：ＤＭＶＲに関する丸め処理のバリエーション］
以下に、上述したＭＭＶＤの適用後のｍｖに対する丸め処理のバリエーションと同様に、ＤＭＶＲの適用後のｍｖに対する丸め処理について説明する。
以下に、上述したＭＭＶＤの適用後のｍｖに対する丸め処理のバリエーションと同様に、ＤＭＶＲの適用後のｍｖに対する丸め処理について説明する。
【0210】
ＭＭＶＤでは、丸め処理のバリエーション例として、ＭＭＶＤの適用後のｍｖを直接丸めるか、或いは、ＭＭＶＤの適用時のｍｖｄに丸め処理を施し、間接的に、ＭＭＶＤの適用後のｍｖを丸めるという技術を紹介したが、ＤＭＶＲに関するバリエーションも基本は同じであるため、重複部分の説明は省略する。他方、ＤＭＶＲ及びＭＭＶＤの丸め処理で差異が存在する部分を説明する。
【0211】
具体的には、ＤＭＶＲでは、ｍｖｄの計算が、整数部分と小数部分とで独立に算出される。よって、ｍｖｄを丸める処理の対象に選択する場合、上述のＭＭＶＤと同様に、ｍｖｄの総和を直接丸める対象としてもよいが、ＤＭＶＲでは、ｍｖｄの小数部分のみを丸める対象としてもよい。ｍｖが１/２画素精度位置からずれるケースは、ＤＭＶＲによるｍｖｄの小数部分が１/２画素精度以外になる場合に限定されているためである。
【0212】
また、ＤＭＶＲにおいてのｍｖｄの導出は、上述のように修正する動きベクトルの位置を探索によって特定した後、パラボラフィッティング処理によって計算で算出する構成となっており、丸め処理をこのパラボラフィッティング処理にて実施することで、ＤＭＶＲの適用後のｍｖを１/２画素精度位置に丸めてもよい。
【0213】
［変更例：ＤＭＶＲに関するその他の変更例］
以下では、ＤＭＶＲに関するその他の変更例について説明する。
以下では、ＤＭＶＲに関するその他の変更例について説明する。
【0214】
ＤＭＶＲは、修正する動きベクトルの探索を伴う処理のため、画像復号装置２００にとっては、比較的重い処理であることが知られている。そのため、ブロック処理の並列化実現性を容易にするべく、ＤＭＶＲの適用後の動きベクトルは、例えば、デブロッキングフィルタの判定条件には利用されず、ＤＭＶＲの適用前の動きベクトルが利用される。
【0215】
ハーフペルインデックスについても同様で、非特許文献１では、対象ブロックの予測信号生成に利用される動きベクトルは、ＤＭＶＲの適用後のものが利用されるが、例えば、マージ処理で周囲の未来のブロックに継承する動きベクトルは、ＤＭＶＲの適用前のものが継承される構成となっている。
【0216】
【0217】
しかし、この解決方法では、ＤＭＶＲの適用を待ってから修正処理を施さなければならず、ブロック処理の並列化の実現性容易度を低下させてしまうことが考えられる。
【0218】
そのため、以下のような３つの手段を代替として講じることが可能である。
【0219】
１つ目は、対象ブロックでＤＭＶＲが有効となる場合、上述のように、ｍｖを修正するのは、対象ブロックに限定し、対象ブロックを参照する未来のブロックについて継承するｍｖは、ＤＭＶＲの適用前のｍｖを継承するという方法である。
【0220】
２つ目は、対象ブロックでＤＭＶＲが有効となる可能性があると判定された時点で、ｈｐｅｌＩｆＩｄｘを常に「０」に設定するという方法である。対象ブロックでＤＭＶＲが有効となる可能性があると判定できるタイミングは、ＣＡＢＡＣによる制御データの復号時であり、本変更例において、そのタイミングとして既知の手法を取ることが可能であるため、説明は省略する。
【0221】
３つ目は、ｈｐｅｌＩｆＩｄｘが「１」となる対象ブロックに対して、ＤＭＶＲを無効にするという方法である。
【0222】
上述した３つの代替方法のいずれかを講じることで、上述で挙げたブロックの処理並列化の実現性容易度の低下を回避することが期待できる。
【0223】
［変更例：ペアワイズ平均及びＭＭＶＤ/ＤＭＶＲが直列時の不備解消］
以下、図２６を参照して、本実施形態に係るペアワイズ平均マージによって導出された動きベクトルがＭＭＶＤ又はＤＭＶＲによって修正される場合の変更例について説明する。
以下、図２６を参照して、本実施形態に係るペアワイズ平均マージによって導出された動きベクトルがＭＭＶＤ又はＤＭＶＲによって修正される場合の変更例について説明する。
【0224】
図２６は、ペアワイズ平均マージによって導出された動きベクトルがＭＭＶＤ又はＤＭＶＲによって修正される場合の変更例を示した図である。
【0225】
上述の例において、ペアワイズ平均マージによりハーフペルインデックスが「１」であり且つ動きベクトルが１/２画素精度位置からずれる場合に、ハーフペルインデックスを「０」に修正する解決手段について説明した。
【0226】
しかし、このハーフペルインデックスを「０」に修正した後で、ＭＭＶＤ又はＤＭＶＲによって、１/２画素精度位置からずれた動きベクトルが、再度、１/２画素精度位置に戻る可能性が考えられる。
【0227】
このようなケースにおいて、一度「１」から「０」に修正したハーフペルインデックスを再度「１」に修正することが理想的であり、図２６を用いて、その手法の一例を説明する。
【0228】
なお、非特許文献１におけるＭＭＶＤの対象は、マージインデックスが「０」と１番目の動きベクトルに限定されており、このとき、ペアワイズ平均マージにより導出された動きベクトルは、ＮＮＶＤの対象とはならないが、ＭＭＶＤの有効対象が、将来、マージインデックスが「２」以上である動きベクトルにも拡張された場合を想定して、以下で、かかる手法の一例を説明する。
【0229】
まず、ステップＳ２６-４までは、上述したペアワイズ平均マージにおけるフローチャート、すなわち、図１９に示すフローチャートと同じであるが、ステップＳ２６-４以降の処理が、上述のケースを考慮して変更となっている。
【0230】
具体的には、ステップＳ２６-４において、動きベクトルが１/２画素精度位置からずれる場合は、ｈｐｅｌＩｆＩｄｘＡｖｇを「０」に修正すると共に、ｈｐｅｌＩｆＩｄｘＡｖｇ’に「１」を設定する。
【0231】
ここで、ｈｐｅｌＩｆＩｄｘＡｖｇ’は、ペアワイズ平均マージのハーフペルインデックスの修正前の値を保持するためのインデックスである。
【0232】
なお、ステップＳ２６-４において、動きベクトルが１/２画素精度位置からずれない場合は、ｈｐｅｌＩｆＩｄｘは「１」のまま修正せず、ｈｐｅｌＩｆＩｄｘＡｖｇ’に「１」を設定する。
【0233】
次に、ステップＳ２６-７において、所定条件３に関する判定を行い、所定条件３が満たされていると判定された場合は、本処理は、ステップＳ２６-８に進み、所定条件３が満たされていないと判定された場合は、本処理は終了する。
【0234】
ここで、所定条件３には、ＭＭＶＤ又はＤＭＶＲの適用後の動きベクトルが１/２画素精度位置を参照するかの判定を追加してもよい。また、ＭＭＶＤ又はＤＭＶＲにより動きベクトルに追加されるｍｖｄが１/２画素精度であるかの判定を追加してもよい。
【0235】
次に、ステップＳ２６-８において、所定条件４を判定し、所定条件４が満たされると判定された場合は、本処理は、ステップＳ２６-９に進み、所定条件４が満たされないと判定された場合は、本処理は終了する。
【0236】
ここで、所定条件４は、ｈｐｅｌＩｆＩｄｘＡｖｇ及びｈｐｅｌＩｆＩｄｘＡｖｇ’が双方とも「１」であるかどうかの判定を含めてもよい。
【0237】
ステップＳ２６-９において、前段のステップで、一度、「１」から「０」に修正されたｈｐｅｌＩｆＩｄｘが、ＭＭＶＤ又はＤＭＶＲにより、ｍｖが１/２画素精度位置を参照すると判定されたため、ｈｐｅｌＩｆＩｄｘを「１」に再修正するという構成になっている。
【0238】
（ペアワイズ平均マージにおける動きベクトルのスケーリング処理）
以下、図２７及び図２８を参照して、本実施形態に係るペアワイズ平均マージにおける動きベクトルのスケーリング処理について説明する。図２７は、本実施形態に係るペアワイズ平均マージによる動きベクトルの導出例について示す図である。
以下、図２７及び図２８を参照して、本実施形態に係るペアワイズ平均マージにおける動きベクトルのスケーリング処理について説明する。図２７は、本実施形態に係るペアワイズ平均マージによる動きベクトルの導出例について示す図である。
【0239】
図２７に示すように、ペアワイズ平均マージは、マージリストに既に登録されている異なる２つのマージインデックスに紐づく動きベクトルと参照画像インデックスを用いて導出される。
【0240】
ここで、非特許文献１では、ペアワイズ平均マージに用いられるマージインデックスが０番目と１番目に指定されている。なお、ペアワイズ平均マージで使用する２組のマージインデックスのうち、１組しか利用できない場合は、利用可能な１組をペアワイズ平均マージインデクスに紐づくマージインデックスとしてマージリストに登録する。
【0241】
すなわち、利用可能な１組の動きベクトル及び参照画像インデックスが、そのままペアワイズ平均マージインデックスに紐づく動きベクトル及び参照画像インデックスとして登録される。
【0242】
また、異なる２つのマージインデックスが、いずれも利用不可である場合は、マージリストにペアワイズ平均マージを登録しない。
【0243】
例えば、ペアワイズ平均マージにより新たに導出されるベクトルであるｍｖＬ０Ａｖｇ及びｍｖＬ１Ａｖｇは、導出に使用する異なる２組のマージインデックスに紐づく動きベクトルであるｍｖＬ０Ｐ0/ｍｖＬ１Ｐ0及びｍｖＬ０Ｐ1/ｍｖＬ１Ｐ1が存在する場合、以下のように導出される。
【0244】
ｍｖＬ０Ａｖｇ＝（ｍｖＬ０Ｐ0＋ｍｖＬ０Ｐ1）/２
ｍｖＬ１Ａｖｇ＝（ｍｖＬ１Ｐ0＋ｍｖＬ１Ｐ1）/２
ここで、ｍｖＬ０Ｐ0/ｍｖＬ１Ｐ0又はｍｖＬ０Ｐ1/ｍｖＬ１Ｐ1の片方が存在しない場合は、存在しない動きベクトルを除いて、上述の計算が行われる。
ｍｖＬ１Ａｖｇ＝（ｍｖＬ１Ｐ0＋ｍｖＬ１Ｐ1）/２
ここで、ｍｖＬ０Ｐ0/ｍｖＬ１Ｐ0又はｍｖＬ０Ｐ1/ｍｖＬ１Ｐ1の片方が存在しない場合は、存在しない動きベクトルを除いて、上述の計算が行われる。
【0245】
このとき、非特許文献１では、ペアワイズ平均マージインデックスに紐づく参照画像インデックスをマージインデックスＰ0に紐づく参照画像インデックスＲｅｆＩｄｘＬ０Ｐ0及びＲｅｆＩｄｘＬ１Ｐ0を常に使用するように定めている。
【0246】
しかしながら、上述の式で平均化されるｍｖＬ０Ｐ1及びｍｖＬ１Ｐ1の参照フレームは、マージインデックス「１」に紐づく参照画像インデックスであるＲｅｆＩｄｘＬ０Ｐ1及びＲｅｆＩｄｘＬ１Ｐ1に対応しているはずである。
【0247】
そこで、本実施形態では、ｍｖＬ０Ｐ1及びｍｖＬ１Ｐ1を、ＲｅｆＩｄｘＬ０Ｐ0、ＲｅｆＩｄｘＬ１Ｐ0、ＲｅｆＩｄｘＬ０Ｐ1及びＲｅｆＩｄｘＬ１Ｐ1によってスケーリングしたｍｖＬ０Ｐ1’及びｍｖＬ０Ｐ1’を置換し、ペアワイズ平均マージにより新たな動きベクトルを導出する。
【0248】
ここで、上述の動きベクトルに対して行うスケーリング処理を、図２８を用いて説明する。
【0249】
例えば、図２８に示すように、ペアワイズ平均マージの導出に使用する異なる２つのマージインデックスに対応する動きベクトル及び参照画像インデックスが存在する。
【0250】
このとき、スケーリング処理したｍｖＬ０Ｐ1’及びｍｖＬ０Ｐ1’は、対象フレーム及び各マージインデックスの参照画像インデックスであるＲｅｆＩｄｘＬ０Ｐ0、ＲｅｆＩｄｘＬ１Ｐ0、ＲｅｆＩｄｘＬ０Ｐ1及びＲｅｆＩｄｘＬ１Ｐ1が示す参照フレームとの距離に基づいて修正されることを意味する。
【0251】
具体的には、図２８に示すように、対象フレームと各参照フレームとの距離がｔＬ０Ｐ０、ｔＬ０Ｐ１、ｔＬ１Ｐ０及びｔＬ１Ｐ１と表される場合、ｍｖＬ０Ｐ1’及びｍｖＬ０Ｐ1’は、以下のように算出される。
【0252】
ｍｖＬ０Ｐ1’＝（ｔＬ０Ｐ１/ｔＬ０Ｐ０）×ｍｖＬ０Ｐ1
ｍｖＬ１Ｐ1’＝（ｔＬ１Ｐ１/ｔＬ１Ｐ０）×ｍｖＬ１Ｐ1
ペアワイズ平均マージに使用するマージインデックスの１が、時間マージに紐づく動きベクトル及び参照画像インデックスに対応する場合（すなわち、空間マージやヒストリーマージのように、参照フレームが対象フレームと同じではない場合）、時間マージの際に対象ブロックと異なるフレームの共通位置にある参照ブロックが含まれる参照フレームを起点として距離を計算してスケーリングする。
ｍｖＬ１Ｐ1’＝（ｔＬ１Ｐ１/ｔＬ１Ｐ０）×ｍｖＬ１Ｐ1
ペアワイズ平均マージに使用するマージインデックスの１が、時間マージに紐づく動きベクトル及び参照画像インデックスに対応する場合（すなわち、空間マージやヒストリーマージのように、参照フレームが対象フレームと同じではない場合）、時間マージの際に対象ブロックと異なるフレームの共通位置にある参照ブロックが含まれる参照フレームを起点として距離を計算してスケーリングする。
【0253】
上述のスケーリング処理の導入効果として、ペアワイズ平均マージが異なる２つのマージインデックスに紐づく動きベクトルから計算される際に、一方の参照画像インデックスに他方の片方の動きベクトルをスケーリングすることで、共通の参照画像インデックスが示す参照フレームに対応した２組の動きベクトルを平均化できるため、動きベクトルの精度が向上し、結果的に、符号化性能の向上が期待できる。
【0254】
［変更例：スケーリング対象の変更］
上述の例では、スケーリング対象を、一律、Ｐ1のマージインデックスに紐づく動きベクトルとしたが、対象フレームからの距離が遠い参照フレームを参照する動きベクトルをスケーリングの対象としてもよい。これにより、ペアワイズ平均マージの参照フレームを対象フレームに対して近づけることが出来るため、予測精度の向上効果が期待できる。
上述の例では、スケーリング対象を、一律、Ｐ1のマージインデックスに紐づく動きベクトルとしたが、対象フレームからの距離が遠い参照フレームを参照する動きベクトルをスケーリングの対象としてもよい。これにより、ペアワイズ平均マージの参照フレームを対象フレームに対して近づけることが出来るため、予測精度の向上効果が期待できる。
【0255】
（ブロックサイズによるハーフペルインデックスの制御）
以下、本実施形態に係る対象ブロックサイズによるハーフペルインデックスの制御について説明する。
以下、本実施形態に係る対象ブロックサイズによるハーフペルインデックスの制御について説明する。
【0256】
上述の例では、ハーフペルインデックスが有効であり、動きベクトルが１/２画素位置にある場合は、平滑化フィルタを適用すると説明した。
【0257】
一方で、対象ブロックのブロックサイズが小さい場合は、対象ブロックに平滑化フィルタを適用しない方がよい。
【0258】
何故なら、一般にブロックサイズと画像特性には相関があることが知られており、ブロックサイズが小さい場合はエッジや複雑な模様を有することが多く、逆に、ブロックサイズが大きい場合は平坦でシンプルであることが多いためである。
【0259】
また、対象ブロックの参照ブロックも同じ特性を有すると想定されるため、この特性を考慮して、対象ブロックのブロックサイズが小さい場合は、平滑化フィルタの適用を禁止する、すなわち、ハーフペルインデックスの値を常に「０」にすることが考えられる。
【0260】
例えば、ハーフペルインデックスを常に0にするブロックサイズの閾値を、３２画素以下である場合と設定してもよい。
【0261】
期待される効果は、以下の２つである。
【0262】
１つ目は、ハーフペルインデックスを常に「０」にする所定のブロックサイズにおいて、平滑化フィルタの適用を禁止するため、画像符号化装置１００側でのＲＤＯ処理が不要となる。そのため、画像符号化装置１００の高速化効果が期待できる。
【0263】
２つ目は、図８で示した対象ブロックがＡＭＶＰ且つＡＭＶＲの場合に、ハーフペルインデックスの判定に使用していたフラグ、具体的には、ａｍｖｒ＿ｐｒｅｃｉｓｉｏｎ＿ｉｄｘのビット長を短くできる。
【0264】
図８では、対象ブロックが１/２画素精度位置を示すバリエーションが存在するためａｍｖｒ＿ｐｒｅｃｉｓｉｏｎ＿ｉｄｘのビット長は３ｂｉｔ必要だが、上記所定のブロックサイズでは２ｂｉｔに短縮可能であるため、結果的に、画像符号化装置１００から画像復号装置２００に伝送が必要な符号量が削減されることにより、符号化性能向上が期待できる。
【0265】
本発明によれば、ハーフペルインデックスに応じてペアワイズ平均マージ又はＭＭＶＤ又はＤＭＶＲによって導出される動きベクトルの参照画素精度位置を制御する、或いは、導出された動きベクトルに応じてハーフペルインデックスを制御することができるようになり、対象ブロックの平滑化フィルタの有効条件の不備を解消し、さらに、未来のブロックに対して平滑化フィルタの有効条件の不備の伝搬を回避することができる画像復号装置、画像復号方法及びプログラムを提供することができる。
【0266】
上述の画像符号化装置１００及び画像復号装置２００は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。
【0267】
なお、上述の各実施形態では、本発明を画像符号化装置１００及び画像復号装置２００への適用を例にして説明したが、本発明は、これのみに限定されるものではなく、画像符号化装置１００及び画像復号装置２００の各機能を備えた画像符号化システム及び画像復号システムにも同様に適用できる。
【符号の説明】
【0268】
１０…画像処理システム
１００…画像符号化装置
１１１、２４１…インター予測部
１１１Ａ…ｍｖ導出部
１１１Ａ１、２４１Ａ１…ＡＭＶＰ部
１１１Ａ２、２４１Ａ２…マージ部
１１１Ｂ…ＡＭＶＲ部
１１１Ｃ、２４１Ｂ…ｍｖ洗練化部
１１１Ｄ、２４１Ｃ…予測信号生成部
１１１Ｄ１、２４１Ｃ１…フィルタ判定部
１１１Ｄ２、２４１Ｃ２…フィルタ適用部
１１２、２４２…イントラ予測部
１２１…減算器
１２２、２３０…加算器
１３１…変換・量子化部
１３２、２２０…逆変換・逆量子化部
１４０…符号化部
１５０、２５０…インループフィルタ処理部
１６０、２６０…フレームバッファ
２００…画像復号装置
２１０…復号部
２４１Ａ…ｍｖ復号部
２４１Ｂ１…ＭＭＶＤ部
２４１Ｂ２…ＤＭＶＲ部
１００…画像符号化装置
１１１、２４１…インター予測部
１１１Ａ…ｍｖ導出部
１１１Ａ１、２４１Ａ１…ＡＭＶＰ部
１１１Ａ２、２４１Ａ２…マージ部
１１１Ｂ…ＡＭＶＲ部
１１１Ｃ、２４１Ｂ…ｍｖ洗練化部
１１１Ｄ、２４１Ｃ…予測信号生成部
１１１Ｄ１、２４１Ｃ１…フィルタ判定部
１１１Ｄ２、２４１Ｃ２…フィルタ適用部
１１２、２４２…イントラ予測部
１２１…減算器
１２２、２３０…加算器
１３１…変換・量子化部
１３２、２２０…逆変換・逆量子化部
１４０…符号化部
１５０、２５０…インループフィルタ処理部
１６０、２６０…フレームバッファ
２００…画像復号装置
２１０…復号部
２４１Ａ…ｍｖ復号部
２４１Ｂ１…ＭＭＶＤ部
２４１Ｂ２…ＤＭＶＲ部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】