(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-02
(45)【発行日】2024-09-10
(54)【発明の名称】画像復号装置、画像符号化装置、画像復号方法及びプログラム
(51)【国際特許分類】
H04N 19/105 20140101AFI20240903BHJP
H04N 19/117 20140101ALI20240903BHJP
H04N 19/157 20140101ALI20240903BHJP
H04N 19/176 20140101ALI20240903BHJP
H04N 19/583 20140101ALI20240903BHJP
【ＦＩ】
H04N19/105
H04N19/117
H04N19/157
H04N19/176
H04N19/583
【請求項の数】
8
(21)【出願番号】P 2023098271
(22)【出願日】2023-06-15
(62)【分割の表示】P 2022004524の分割
【原出願日】2018-12-28
(65)【公開番号】P2023107974
(43)【公開日】2023-08-03
【審査請求日】2023-06-15
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】110001564
【氏名又は名称】フェリシテ弁理士法人
(72)【発明者】
【氏名】木谷 佳隆
(72)【発明者】
【氏名】河村 圭
(72)【発明者】
【氏名】海野 恭平
(72)【発明者】
【氏名】内藤 整
【審査官】岩井 健二
(56)【参考文献】
【文献】特表２０１５－５０２０９４（ＪＰ，Ａ）
【文献】国際公開第２０１７／１９５５５４（ＷＯ，Ａ１）
【文献】国際公開第２０１６／１２３０６８（ＷＯ，Ａ１）
【文献】Zhi-Yi Lin et al.，CE10-related: OBMC bandwidth reduction and line buffer reduction，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-K0259-v2，11th Meeting: Ljubljana, SI，2018年07月11日，pp.1-11
【文献】Zhi-Yi Lin et al.，CE10.2.1: Uni-prediction-based CU-boundary-only OBMC，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0178-v2，13th Meeting: Marrakech, MA，2019年01月13日，pp.1-7
【文献】Yoshitaka Kidani et al.，CE10-related: Reduction of the worst-case memory bandwidth and operation number of OBMC，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-M0357-v4，13th Meeting: Marrakech, MA，2019年01月13日，pp.1-10
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
複数のブロックから構成された画像信号を復号するように構成されている画像復号装置であって、前記ブロック単位の動きベクトル及び参照フレームに係る情報に基づいて、予測対象ブロックの予測画像信号を生成するように構成されている動き補償予測部と、
前記予測対象ブロックの予測画像信号と、前記予測対象ブロックの隣接ブロックの動きベクトル及び参照フレームに係る情報に基づいて生成される予測画像信号とを加重平均することによって、前記予測対象ブロックの予測画像信号を補正する重複動き補償処理を行うように構成されている重複動き補償部と、
前記予測対象ブロックに対して前記重複動き補償処理における重複動き補償フィルタのタップ数を前記予測対象ブロックのサイズに基づいて制御するように構成されている判定部とを備えることを特徴とする画像復号装置。
【請求項2】
前記判定部は、前記予測対象ブロックのサイズに基づいて、前記隣接ブロックの重複動き補償フィルタのタップ数及び予測方向の種類を制御するように構成されていることを特徴とする請求項１に記載の画像復号装置。
【請求項3】
前記判定部は、前記予測対象ブロックサイズが所定閾値よりも小さい場合に、前記隣接ブロックの重複動き補償フィルタのタップ数を標準動き補償フィルタのタップ数よりも短いタップ数に変更するように構成されていることを特徴とする請求項１に記載の画像復号装置。
【請求項4】
前記判定部は、前記予測対象ブロックサイズが前記所定閾値よりも小さい場合に、前記隣接ブロックの重複動き補償フィルタのタップ数を８タップから４タップ或いは２タップに変更するように構成されていることを特徴とする請求項３に記載の画像復号装置。
【請求項5】
前記隣接ブロックの重複動き補償フィルタとして、色差信号向けの４タップの標準動き補償フィルタを流用する ことを特徴とする請求項４に記載の画像復号装置。
【請求項6】
前記隣接ブロックの重複動き補償フィルタとして、バイリニアフィルタを使用することを特徴とする請求項４に記載の画像復号装置。
【請求項7】
複数のブロックから構成された画像信号を復号する画像復号方法であって、前記ブロック単位の動きベクトル及び参照フレームに係る情報に基づいて、予測対象ブロックの予測画像信号を生成する工程Ａと、
前記予測対象ブロックの予測画像信号と、前記予測対象ブロックの隣接ブロックの動きベクトル及び参照フレームに係る情報に基づいて生成される予測画像信号とを加重平均することによって、前記予測対象ブロックの予測画像信号を補正する重複動き補償処理を行う工程Ｂと、
前記予測対象ブロックに対して前記重複動き補償処理における重複動き補償フィルタのタップ数を前記予測対象ブロックのサイズに基づいて制御する工程Ｃとを有することを特徴とする画像復号方法。
【請求項8】
コンピュータを、複数のブロックから構成された画像信号を復号するように構成されている画像復号装置として機能させるプログラムであって、前記画像復号装置は、
前記ブロック単位の動きベクトル及び参照フレームに係る情報に基づいて、予測対象ブロックの予測画像信号を生成するように構成されている動き補償予測部と、
前記予測対象ブロックの予測画像信号と、前記予測対象ブロックの隣接ブロックの動きベクトル及び参照フレームに係る情報に基づいて生成される予測画像信号とを加重平均することによって、前記予測対象ブロックの予測画像信号を補正する重複動き補償処理を行うように構成されている重複動き補償部と、
前記予測対象ブロックに対して前記重複動き補償処理における重複動き補償フィルタのタップ数を前記予測対象ブロックのサイズに基づいて制御するように構成されている判定部とを備えることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像復号装置、画像符号化装置、画像復号方法及びプログラムに関する。
【背景技術】
【0002】
非特許文献１に、重複動き補償予測（ＯＢＭＣ：Ｏｖｅｒｌａｐｐｅｄ Ｂｌｏｃｋ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）という技術が開示されている。ＯＢＭＣは、動き補償予測の予測画素生成過程において、予測対象ブロック及び隣接ブロックの動きベクトルがそれぞれ指し示す参照画素値を、予め設定した重み係数マトリクスに基づいて加重平均し、最終的な予測画素を生成する技術である。
【0003】
また、特許文献１には、ＯＭＢＣを適用した場合のメモリバンド幅を低減させるために、予測対象ブロックのサイズや予測方向の種類（片方向予測又は双方向予測）や動きベクトルの精度に基づいて、ＯＢＭＣの適否を判定する技術が記されている。
【0004】
さらに、特許文献２には、符号化対象ブロック内にある複数の予測対象ブロック間の境界に対してＯＢＭＣを適用する際に、デブロッキングフィルタの強度を判定するパラメータであるｂＳ値を修正する技術が記されている。かかる技術によれば、ＯＢＭＣの適用により予測対象ブロック間の境界に対して平滑化効果が既に施されている場合に、デブロッキングフィルタによる不要なフィルタ効果を回避することができる。
【先行技術文献】
【非特許文献】
【0005】
【文献】Ａｌｇｏｒｉｔｈｍ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ ７（ＪＥＭ ７）
【文献】ＩＴＵ-Ｔ Ｈ.２６５ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ
【特許文献】
【0006】
【文献】特開２０１６-１８４９３６号公報
【文献】特許６１６９０９１号
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、非特許文献１に開示されているＯＢＭＣは、予測対象ブロック又は隣接ブロックのサイズや予測方向の種類に関係なく適用されるように構成されているため、ＯＢＭＣの適用時に必要なメモリバンド幅及び演算回数が増大してしまうという問題点があった。
【0008】
また、特許文献１に開示されているＯＢＭＣでは、かかるＯＢＭＣが適用されている場合に必要なメモリバンド幅及び演算回数が、ＯＢＭＣが適用されていない場合に必要なメモリバンド幅及び演算回数を超えてしまう場合があり、また、ＯＢＭＣが適用されているブロック数が意図しない規模で減少しまい、符号化性能が低下してしまうことが考えられるという問題点があった。
【0009】
さらに、特許文献２では、ＯＢＭＣが適用されている場合にデブロッキングフィルタの強度判定に用いるｂＳ値を修正することが開示されているが、ＯＢＭＣの適用対象としているのは符号化対象ブロック内の複数の予測対象ブロック境界のみであるという問題点があった。
という問題点があった。
という問題点があった。
【0010】
そこで、本発明は、上述の課題に鑑みてなされたものであり、ＯＭＢＣの適用条件に、予測対象ブロックのサイズや予測方向の種類や隣接ブロックの予測方向の種類に基づく判定（制限）を加えることで、ＯＢＭＣの適用時に必要なメモリバンド幅及び演算回数の増大を抑制することができ、また、符号化性能の向上を実現することができる画像復号装置、画像符号化装置、画像復号方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明の第１の特徴は、複数のブロックから構成された画像信号を復号するように構成されている画像復号装置であって、前記ブロック単位の動きベクトル及び参照フレームに係る情報に基づいて、予測対象ブロックの予測画像信号を生成するように構成されている動き補償予測部と、前記予測対象ブロックの予測画像信号と、前記予測対象ブロックの隣接ブロックの動きベクトル及び参照フレームに係る情報に基づいて生成される予測画像信号とを加重平均することによって、前記予測対象ブロックの予測画像信号を補正する重複動き補償処理を行うように構成されている重複動き補償部と、前記予測対象ブロックに対して前記重複動き補償処理を適用するかについて判定するように構成されている判定部とを備え、前記判定部は、前記隣接ブロックに片方向予測が適用されている場合、前記予測対象ブロックに対して前記重複動き補償処理を適用すると判定するように構成されていることを要旨とする。
【0012】
本発明の第２の特徴は、複数のブロックから構成された画像信号を復号するように構成されている画像復号装置であって、前記ブロック単位の動きベクトル及び参照フレームに係る情報に基づいて、予測対象ブロックの予測画像信号を生成するように構成されている動き補償予測部と、前記予測対象ブロックの予測画像信号と、前記予測対象ブロックの隣接ブロックの動きベクトル及び参照フレームに係る情報に基づいて生成される予測画像信号とを加重平均することによって、前記予測対象ブロックの予測画像信号を補正する重複動き補償処理を行うように構成されている重複動き補償部と、前記予測対象ブロックのサイズに基づいて、前記隣接ブロックに適用されている予測方向の種類を制御して、前記予測対象ブロックに対して前記重複動き補償処理を適用するかについて判定するように構成されている判定部とを備えることを要旨とする。
【0013】
本発明の第３の特徴は、複数のブロックから構成された画像信号を復号するように構成されている画像復号装置であって、前記ブロック単位の動きベクトル及び参照フレームに係る情報に基づいて、予測対象ブロックの予測画像信号を生成するように構成されている動き補償予測部と、前記予測対象ブロックの予測画像信号と、前記予測対象ブロックの隣接ブロックの動きベクトル及び参照フレームに係る情報に基づいて生成される予測画像信号とを加重平均することによって、前記予測対象ブロックの予測画像信号を補正する重複動き補償処理を行うように構成されている重複動き補償部と、前記予測対象ブロックに対して前記重複動き補償処理を適用するかについて判定するように構成されている判定部とを備え、
前記判定部は、前記予測対象ブロックのサイズに基づいて、前記隣接ブロックの重複動き補償タップ数を制御して、前記予測対象ブロックに対して前記重複動き補償処理を適用するかについて判定するように構成されていることを要旨とする。
前記判定部は、前記予測対象ブロックのサイズに基づいて、前記隣接ブロックの重複動き補償タップ数を制御して、前記予測対象ブロックに対して前記重複動き補償処理を適用するかについて判定するように構成されていることを要旨とする。
【0014】
本発明の第４の特徴は、複数のブロックから構成された画像信号を復号するように構成されている画像復号装置であって、前記ブロック単位の動きベクトル及び参照フレームに係る情報に基づいて、予測対象ブロックの予測画像信号を生成するように構成されている動き補償予測部と、前記予測対象ブロックの予測画像信号と、前記予測対象ブロックの隣接ブロックの動きベクトル及び参照フレームに係る情報に基づいて生成される予測画像信号とを加重平均することによって、前記予測対象ブロックの予測画像信号を補正する重複動き補償処理を行うように構成されている重複動き補償部と、前記予測対象ブロックに対して前記重複動き補償処理を適用するかについて判定するように構成されている判定部とを備え、前記判定部は、前記隣接ブロックに双方向予測が適用されている場合、所定方法により、前記隣接ブロックに適用されている予測方法を双方向予測から片方向予測に変換するように構成されていることを要旨とする。
【0015】
本発明の第５の特徴は、複数のブロックから構成された画像信号を復号するように構成されている画像復号装置であって、前記ブロック単位の動きベクトル及び参照フレームに係る情報に基づいて、予測対象ブロックの予測画像信号を生成するように構成されている動き補償予測部と、前記予測対象ブロックの予測画像信号と、前記予測対象ブロックの隣接ブロックの動きベクトル及び参照フレームに係る情報に基づいて生成される予測画像信号とを加重平均することによって、前記予測対象ブロックの予測画像信号を補正する重複動き補償処理を行うように構成されている重複動き補償部と、前記予測対象ブロックに対して前記重複動き補償処理を適用するかについて判定するように構成されている判定部とを備え、前記重複動き補償部は、前記隣接ブロックの数又は前記予測対象ブロックのサイズに基づいて、前記加重平均で用いる重み係数マトリクスの重み値を変更するように構成されていることを要旨とする。
【0016】
本発明の第６の特徴は、複数のブロックから構成された画像信号を復号するように構成されている画像復号装置であって、前記ブロック単位の動きベクトル及び参照フレームに係る情報に基づいて、予測対象ブロックの予測画像信号を生成するように構成されている動き補償予測部と、前記予測対象ブロックの予測画像信号と、前記予測対象ブロックの隣接ブロックの動きベクトル及び参照フレームに係る情報に基づいて生成される予測画像信号とを加重平均することによって、前記予測対象ブロックの予測画像信号を補正する重複動き補償処理を行うように構成されている重複動き補償部と、前記予測対象ブロックに対して前記重複動き補償処理を適用するかについて判定するように構成されている判定部とを備え、前記重複動き補償部は、前記重複動き補償予測処理が適用されるか否かに基づいて、デブロッキングフィルタの適用条件を変更するように構成されていることを要旨とする。
【0017】
本発明の第７の特徴は、複数のブロックから構成された画像信号を復号するように構成されている画像復号装置であって、前記ブロック単位の動きベクトル及び参照フレームに係る情報に基づいて、予測対象ブロックの予測画像信号を生成するように構成されている動き補償予測部と、前記予測対象ブロックの予測画像信号と、前記予測対象ブロックの隣接ブロックの動きベクトル及び参照フレームに係る情報に基づいて生成される予測画像信号とを加重平均することによって、前記予測対象ブロックの予測画像信号を補正する重複動き補償処理を行うように構成されている重複動き補償部と、前記予測対象ブロックに対して前記重複動き補償処理を適用するかについて判定するように構成されている判定部とを備え、前記動き補償予測部は、前記予測対象ブロックの動きベクトル及び前記隣接ブロックの動きベクトルが異なる場合、所定の削減手法により前記重複動き補償予測処理に必要な動きベクトル及び参照フレームの数を削減するように構成されていることを要旨とする。
【0018】
本発明の第８の特徴は、複数のブロックから構成された画像信号を符号化して符号化データを生成するように構成されている画像符号化装置であって、前記ブロック単位の動きベクトル及び参照フレームに係る情報に基づいて、予測対象ブロックの予測画像信号を生成するように構成されている動き補償予測部と、前記予測対象ブロックの予測画像信号と、前記予測対象ブロックの隣接ブロックの動きベクトル及び参照フレームに係る情報に基づいて生成される予測画像信号とを加重平均することによって、前記予測対象ブロックの予測画像信号を補正する重複動き補償処理を行うように構成されている重複動き補償部と、前記予測対象ブロックに対して前記重複動き補償処理を適用するかについて判定するように構成されている判定部とを備え、前記判定部は、前記隣接ブロックに片方向予測が適用されている場合、前記予測対象ブロックに対して前記重複動き補償処理を適用すると判定するように構成されていることを要旨とする。
【0019】
本発明の第９の特徴は、複数のブロックから構成された画像信号を復号する画像復号方法であって、前記ブロック単位の動きベクトル及び参照フレームに係る情報に基づいて、予測対象ブロックの予測画像信号を生成する工程Ａと、前記予測対象ブロックの予測画像信号と、前記予測対象ブロックの隣接ブロックの動きベクトル及び参照フレームに係る情報に基づいて生成される予測画像信号とを加重平均することによって、前記予測対象ブロックの予測画像信号を補正する重複動き補償処理を行う工程Ｂと、前記予測対象ブロックに対して前記重複動き補償処理を適用するかについて判定する工程Ｃとを備え、前記工程Ｃにおいて、前記隣接ブロックに片方向予測が適用されている場合、前記予測対象ブロックに対して前記重複動き補償処理を適用すると判定することを要旨とする。
【0020】
本発明の第１０の特徴は、コンピュータを、複数のブロックから構成された画像信号を復号するように構成されている画像復号装置として機能させるプログラムであって、前記画像復号装置は、前記ブロック単位の動きベクトル及び参照フレームに係る情報に基づいて、予測対象ブロックの予測画像信号を生成するように構成されている動き補償予測部と、前記予測対象ブロックの予測画像信号と、前記予測対象ブロックの隣接ブロックの動きベクトル及び参照フレームに係る情報に基づいて生成される予測画像信号とを加重平均することによって、前記予測対象ブロックの予測画像信号を補正する重複動き補償処理を行うように構成されている重複動き補償部と、前記予測対象ブロックに対して前記重複動き補償処理を適用するかについて判定するように構成されている判定部とを備え、前記判定部は、前記隣接ブロックに片方向予測が適用されている場合、前記予測対象ブロックに対して前記重複動き補償処理を適用すると判定するように構成されていることを要旨とする。
【発明の効果】
【0021】
本発明によれば、ＯＭＢＣの適用条件に、予測対象ブロックのサイズや予測方向の種類や隣接ブロックの予測方向の種類に基づく判定（制限）を加えることで、ＯＢＭＣの適用時に必要なメモリバンド幅及び演算回数の増大を抑制することができ、また、符号化性能の向上を実現することができる画像復号装置、画像符号化装置、画像復号方法及びプログラムを提供すること
【図面の簡単な説明】
【0022】
【図1】一実施形態に係る画像処理システム１の構成の一例を示す図である。
【図2】一実施形態に係る画像符号化装置１０の機能ブロックの一例を示す図である。
【図3】一実施形態に係る画像符号化装置１０のインター予測部１１の機能ブロックの一例を示す図である。
【図4】一実施形態に係る画像符号化装置１０のインター予測部１１のＭＣ予測部１１ｃの機能ブロックの一例を示す図である。
【図5】一実施形態に係る画像復号装置３０の機能ブロックの一例を示す図である。
【図6】一実施形態に係る画像復号装置３０のインター予測部３４の機能ブロックの一例を示す図である。
【図7】一実施形態に係る画像復号装置３０のインター予測部３４のＭＣ予測部３４ｂの機能ブロックの一例を示す図である。
【図8】一実施形態に係る画像復号装置３０のインター予測部３４のＭＣ予測部３４ｂの動作の一例を示すフローチャートである。
【図9】一実施形態に係る画像復号装置３０のインター予測部３４のＭＣ予測部３４ｂの動作の一例を示すフローチャートである。
【図10】一実施形態に係る画像復号装置３０のインター予測部３４のＭＣ予測部３４ｂの動作の一例を示すフローチャートである。
【図11】一変更例に係る画像復号装置３０のインター予測部３４のＭＣ予測部３４ｂの動作の一例を示すフローチャートである。
【図12】一変更例で用いられるテーブルの一例を示す図である。
【図13】一変更例で用いられるテーブルの一例を示す図である。
【図14】一実施形態に係る画像復号装置３０のインター予測部３４のＭＣ予測部３４ｂの動作の一例を示すフローチャートである。
【図15】一実施形態で用いられるテーブルの一例を示す図である。
【図16】一実施形態で用いられるテーブルの一例を示す図である。
【図17】一変更例で用いられるテーブルの一例を示す図である。
【図18】一実施形態に係る画像復号装置３０のインター予測部３４のＭＣ予測部３４ｂの動作の一例を示すフローチャートである。
【図19】一実施形態について説明するための図である。
【図20】一実施形態について説明するための図である。
【図21】一実施形態について説明するための図である。
【図22】一実施形態について説明するための図である。
【図23】一実施形態について説明するための図である。
【発明を実施するための形態】
【0023】
【0024】
図１に示すように、本実施形態に係る画像処理システム１は、画像符号化装置１０及び画像復号装置３０を有する。
【0025】
画像符号化装置１０は、入力画像信号を符号化することによって符号化データを生成するように構成されている。画像復号装置３０は、符号化データを復号することによって出力画像信号を生成するように構成されている。
【0026】
符号化データは、画像符号化装置１０から画像復号装置３０に対して伝送路を介して送信されてもよい。符号化データは、記憶媒体に格納された上で、画像符号化装置１０から画像復号装置３０に提供されてもよい。
【0027】
【0028】
図２に示すように、画像符号化装置１０は、インター予測部１１と、イントラ予測部１２と、減算器１３と、加算器１４と、変換・量子化部１５と、逆変換・逆量子化部１６と、符号化部１７と、インループフィルタ１８と、フレームバッファ１９とを有する。
【0029】
インター予測部１１は、インター予測（フレーム間予測）によって予測画像信号を生成するように構成されている。
【0030】
具体的には、インター予測部１１は、符号化対象フレーム（以下、対象フレーム）とフレームバッファ１９に格納されている参照フレームとの比較によって、かかる参照フレームに含まれる参照ユニットを特定し、特定された参照ユニットに対する予測対象ブロック（予測ユニット、例えば、ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）の動きベクトルを決定するように構成されている。
【0031】
ここで、かかる参照フレームは、対象フレームとは異なるフレームである。また、かかる参照ユニットは、予測対象ブロックについて参照されるブロックである。
【0032】
また、インター予測部１１は、予測対象ブロック毎に、予測対象ブロック及び動きベクトルに基づいて、予測画像信号を生成するように構成されている。インター予測部１１は、かかる予測画像信号を減算器１３及び加算器１４に出力するように構成されている。
【0033】
イントラ予測部１２は、イントラ予測（フレーム内予測）によって予測画像信号を生成するように構成されている。
【0034】
具体的には、イントラ予測部１２は、対象フレームに含まれる参照ユニットを特定し、特定された参照ユニットに基づいて、予測対象ブロック毎に予測画像信号を生成するように構成されている。また、イントラ予測部１２は、かかる予測画像信号を減算器１３及び加算器１４に出力するように構成されている。
【0035】
例えば、かかる参照ユニットは、予測対象ブロックに隣接するブロック（隣接ブロック）である。
【0036】
減算器１３は、入力画像信号から予測画像信号を減算し、入力画像信号と予測画像信号との差分である予測残差信号を生成して変換・量子化部１５に出力するように構成されている。
【0037】
加算器１４は、逆変換・逆量子化部１６から出力される予測残差信号にインター予測部１１１又はイントラ予測部１１２から出力される予測画像信号を加算してフィルタ前復号信号を生成し、かかるフィルタ前復号信号をイントラ予測部１２及びインループフィルタ１８に出力するように構成されている。
【0038】
ここで、フィルタ前復号信号は、イントラ予測部１２で用いられる参照ユニットを構成する。
【0039】
変換・量子化部１５は、入力された予測残差信号に対する変換処理を行い、係数レベル値を取得するように構成されている。さらに、変換・量子化部１５は、かかる係数レベル値の量子化を行うように構成されていてもよい。
【0040】
ここで、かかる変換処理は、上述の予測残差信号を周波数成分信号に変換する処理である。なお、かかる変換処理では、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよく、離散サイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよい。
【0041】
逆変換・逆量子化部１６は、変換・量子化部１５から出力された係数レベル値に対する逆変換処理を行うように構成されている。ここで、逆変換・逆量子化部１６は、かかる逆変換処理に先立って、かかる係数レベル値の逆量子化を行うように構成されていてもよい。
【0042】
ここで、かかる逆変換処理及び逆量子化は、変換・量子化部１５で行われる変換処理及び量子化とは逆の手順で行われる。
【0043】
符号化部１７は、変換・量子化部１７から出力された係数レベル値を符号化し、符号化データを生成して出力するように構成されている。
【0044】
例えば、かかる符号化は、かかる係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。
【0045】
また、符号化部１７は、かかる係数レベル値に加えて、画像復号装置３０における復号処理で用いられる制御データを符号化するように構成されている。
【0046】
ここで、かかる制御データは、符号化対象ユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）のサイズや、予測対象ブロックのサイズや、変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）のサイズ等のサイズデータを含んでもよい。
【0047】
インループフィルタ１８は、加算器１４から出力されるフィルタ前復号信号に対してフィルタ処理を行うことでフィルタ後復号信号を生成し、かかるフィルタ後復号信号をフレームバッファ１９に出力するように構成されている。
【0048】
例えば、かかるフィルタ処理は、ブロック（予測対象ブロック又は変換ユニット）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。
【0049】
フレームバッファ１９は、インター予測部１１で用いられる参照フレームを蓄積するように構成されている。
【0050】
ここで、かかるフィルタ後復号信号は、インター予測部１１で用いられる参照フレームを構成する。
【0051】
【0052】
図３に示すように、インター予測部１１は、動き探索部１１ａと、マージ部１１ｂと、動き補償予測部（以下、ＭＣ予測部）１１ｃとを有する。
【0053】
動き探索部１１ａは、入力画像信号（原画像）やフレームバッファ１９に格納されている参照フレーム（再構成画像）や予測対象ブロックの隣接ブロックの動きベクトルを入力とし、予測対象ブロック毎に動きベクトル及び参照フレームを決定するように構成されている。
【0054】
例えば、具体的には、動き探索部１１ａは、動き補償（ＭＣ）予測部１１ａ１と、コスト算出部１１ａ２とを有する。
【0055】
動き補償（ＭＣ）予測部１１ａ１は、予測対象ブロックに対応する入力画像信号に対して、参照フレーム及び参照フレーム内の参照位置を変えながら予測画像信号を生成するように構成されている。
【0056】
コスト算出部１１ａ２は、動き補償予測部１１ａ１によって生成された予測画像信号と入力画像信号とのコストが最小となり、かつ、隣接ブロックの動きベクトルとの符号量差が最小になる参照位置（すなわち、動きベクトル）及び参照フレームを決定するように構成されている。
【0057】
ここで、コスト算出部に１１ａ２において用いられるコスト関数として、例えば、二乗誤差和（ＳＳＥ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）や絶対値誤差和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）等が想定され、コスト算出部１１ａ２は、演算負荷に基づいて、適宜、どのコスト関数を用いるべきか選択するように構成されていてもよい。
【0058】
画像符号化装置１０は、コスト算出部１１ａ２によって決定された動きベクトル及び参照フレームに係る情報を、符号化データに重畳して画像復号装置３０に伝送するように構成されている。
【0059】
マージ部１１ｂは、入力画像信号とフームバッファ１９に格納されている参照フレームと隣接ブロックの動きベクトルとから、予測対象ブロックに対するマージ候補（動きベクトル）を決定するように構成されている。
【0060】
画像符号化装置１０は、マージ部１１ｂによって決定されたマージ候補に係る情報を、符号化データに重畳して画像復号装置３０に伝送するように構成されている。
（ＭＣ予測部１１ｃについて）
以下、図４を参照して、本実施形態に係る画像符号化装置１０のインター予測部１１のＭＣ予測部１１ｃについて説明する。図４は、本実施形態に係る画像符号化装置１０のインター予測部１１のＭＣ予測部１１ｃについて示す図である。
（ＭＣ予測部１１ｃについて）
以下、図４を参照して、本実施形態に係る画像符号化装置１０のインター予測部１１のＭＣ予測部１１ｃについて説明する。図４は、本実施形態に係る画像符号化装置１０のインター予測部１１のＭＣ予測部１１ｃについて示す図である。
【0061】
図４に示すように、ＭＣ予測部１１ｃは、標準動き補償予測部（標準ＭＣ予測部）１１ｃ１と、ＯＢＭＣ適用判定部１１ｃ２と、ＯＢＭＣ適用部１１ｃ３とを有する。
【0062】
ここで、ＭＣ予測部１１ｃは、動き探索部１１ａからの動きベクトル及び参照フレームに係る情報（参照画像リスト及び参照画像インデックス）や、マージ部１１ｂからのマージ候補に係る情報に基づいて、予測画像信号（予測画素値）を出力するように構成されている。なお、出力される予測画像信号は、ＯＢＭＣが適用されるか否かによって変わる。
【0063】
また、画像符号化装置１０からＯＢＭＣ適用判定フラグが送られる場合は、ＭＣ予測部１１ｃは、かかるＯＢＭＣ適用判定フラグに基づいて、ＯＢＭＣの適否について判定するように構成されている。
【0064】
具体的には、標準ＭＣ予測部１１ｃ１は、ブロック単位の動きベクトル及び参照フレームに基づいて、予測対象ブロックの予測画像信号を生成するように構成されている。
【0065】
ＯＢＭＣ適用判定部１１ｃ２は、予測対象ブロックに対してＯＢＭＣを適用するか否かについて判定するように構成されている。ここで、ＯＢＭＣを適用しないと判定された場合は、ＯＢＭＣ適用判定部１１ｃ２は、標準ＭＣ予測部１１ｃ１によって生成された予測画像信号をそのまま出力するように構成されている。
【0066】
一方、ＯＢＭＣを適用すると判定された場合は、ＯＢＭＣ適用部１１ｃ３は、予測対象ブロックに対してＯＢＭＣを適用し、生成された予測画像信号を出力するように構成されている。ここで、ＯＢＭＣが適用される場合には、画像符号化装置１０は、ＯＢＭＣ適用判定フラグを符号化データに重畳して画像復号装置３０に伝送するように構成されている。
【0067】
なお、具体的なＯＢＭＣを適用するか否かについての判定方法やＯＢＭＣの適用方法については後述する。
【0068】
【0069】
図５に示すように、画像復号装置３０は、復号部３１と、逆変換・逆量子化部３２と、加算器３３と、インター予測部３４と、イントラ予測部３５と、インループフィルタ３６と、フレームバッファ３７とを有する。
【0070】
復号部３１は、画像符号化装置１０によって生成された符号化データを復号し、係数レベル値を復号するように構成されている。
【0071】
ここで、例えば、復号は、画像符号化装置１０の符号化部１７で行われるエントロピー符号化とは逆の手順のエントロピー復号である。
【0072】
また、復号部３１は、符号化データの復号処理によって制御データを取得するように構成されていてもよい。
【0073】
上述したように、かかる制御データは、符号化ユニットのサイズや予測対象ブロックのサイズや変換ユニットのサイズ等のサイズデータを含んでもよい。また、かかる制御データは、第２成分の予測サンプルの生成に用いられる入力ソースを示す情報要素を含んでもよい。ここで、第２成分とは、例えば、画像信号を構成する輝度信号以外の色差信号を指す。
【0074】
逆変換・逆量子化部３２は、復号部３１から出力された係数レベル値に対する逆変換処理を行うように構成されている。なお、逆変換・逆量子化部３２は、かかる逆変換処理に先立って、かかる係数レベル値の逆量子化を行うように構成されていてもよい。
【0075】
ここで、かかる逆変換処理及び逆量子化は、変換・量子化部１５で行われる変換処理及び量子化とは逆の手順で行われる。
【0076】
加算器３３は、逆変換・逆量子化部３２から出力された予測残差信号に予測画像信号を加算してフィルタ前復号信号を生成し、かかるフィルタ前復号信号をイントラ予測部３５及びインループフィルタ３６に出力するように構成されている。
【0077】
ここで、かかるフィルタ前復号信号は、イントラ予測部３５で用いられる参照ユニットを構成する。
【0078】
インター予測部３４は、画像符号化装置１０のインター予測部１１と同様に、インター予測（フレーム間予測）によって予測画像信号を生成するように構成されている。
【0079】
具体的には、インター予測部３４は、符号化対象フレームとフレームバッファ３７に格納される参照フレームとの比較によって、かかる参照フレームに含まれる参照ユニットを特定し、特定された参照ユニットに対する予測対象ブロックの動きベクトルを決定するように構成されている。
【0080】
ここで、インター予測部３４は、予測対象ブロック及び動きベクトルに基づいて、予測対象ブロック毎に予測画像信号を生成するように構成されている。インター予測部３４は、かかる予測画像信号を加算器３３に出力するように構成されている。
【0081】
イントラ予測部３５は、画像符号化装置１０のイントラ予測部１２と同様に、イントラ予測（フレーム内予測）によって予測画像信号を生成するように構成されている。
【0082】
具体的には、イントラ予測部３５は、符号化対象フレームに含まれる参照ユニットを特定し、特定された参照ユニットに基づいて、予測対象ブロック毎に予測画像信号を生成するように構成されている。イントラ予測部３５は、かかる予測画像信号を加算器３３に出力するように構成されている。
【0083】
インループフィルタ３６は、画像符号化装置１０のインループフィルタ１８と同様に、加算器３３から出力されたフィルタ前復号信号に対してフィルタ処理を行うことでフィルタ後復号信号を生成し、かかるフィルタ後復号信号をフレームバッファ３７に出力するように構成されている。
【0084】
例えば、かかるフィルタ処理は、ブロック（予測対象ブロック又は変換ユニット）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。
【0085】
フレームバッファ３７は、画像符号化装置１０のフレームバッファ１９と同様に、インター予測部３４で用いられる参照フレームを蓄積するように構成されている。
【0086】
ここで、かかるフィルタ後復号信号は、インター予測部１１で用いられる参照フレームを構成する。
【0087】
（インター予測部３４について）
以下、図６を参照して、本実施形態に係る画像復号装置３０のインター予測部３４について説明する。図６は、本実施形態に係る画像復号装置３０のインター予測部３４について示す図である。
以下、図６を参照して、本実施形態に係る画像復号装置３０のインター予測部３４について説明する。図６は、本実施形態に係る画像復号装置３０のインター予測部３４について示す図である。
【0088】
図６に示すように、インター予測部３４は、動きベクトル復号部３４ａと、動き補償（ＭＣ）予測部３４ｂとを有する。
【0089】
動きベクトル復号部３４ａは、符号化データに重畳されたブロック毎の動きベクトル及び参照フレームに係る情報（参照画像リスト及び参照画像インデックス）や、マージ候補に係る情報や、ＯＢＭＣ適用判定フラグを復号し、ＭＣ予測部３４ｂに出力するように構成されている。
【0090】
ＭＣ予測部３４ｂは、動きベクトル復号部３４ａによって復号された動きベクトル及び参照フレームに係る情報やマージ候補に係る情報を入力とし、出力画像信号（予測画素値）を生成して出力するように構成されている。
【0091】
（ＭＣ予測部３４ｂについて）
以下、図７を参照して、本実施形態に係る画像復号装置３０のインター予測部３４のＭＣ予測部３４ｂについて説明する。図７は、本実施形態に係る画像復号装置３０のインター予測部３４のＭＣ予測部３４ｂについて示す図である。
以下、図７を参照して、本実施形態に係る画像復号装置３０のインター予測部３４のＭＣ予測部３４ｂについて説明する。図７は、本実施形態に係る画像復号装置３０のインター予測部３４のＭＣ予測部３４ｂについて示す図である。
【0092】
図７に示すように、ＭＣ予測部３４ｂは、標準動き補償予測部（標準ＭＣ予測部）３４ｂ１と、ＯＢＭＣ適用判定部３４ｂ２と、ＯＢＭＣ適用部３４ｂ３とを有する。
【0093】
ＭＣ予測部３４ｂは、動きベクトル復号部３４ａからの動きベクトル及び参照フレームに係る情報（参照画像リスト及び参照画像インデックス）やマージ候補に係る情報やＯＢＭＣ適用判定フラグに基づいて、予測画像信号（予測画素値）を生成して出力するように構成されている。なお、出力される予測画像信号は、ＯＢＭＣが適用されるか否かによって変わる。
【0094】
具体的には、標準ＭＣ予測部３４ｂ１は、ブロック単位の動きベクトル及び参照フレームに係る情報に基づいて、予測対象ブロックの予測画像信号を生成するように構成されている。
【0095】
ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックに対してＯＢＭＣを適用するか否かについて判定するように構成されている。ここで、ＯＢＭＣを適用しないと判定された場合は、ＯＢＭＣ適用判定部３４ｂ２は、標準ＭＣ予測部３４ｂ１によって生成された予測画像信号をそのまま出力するように構成されている。
【0096】
一方、ＯＢＭＣを適用すると判定された場合は、ＯＢＭＣ適用部３４ｂ３は、予測対象ブロックに対してＯＢＭＣを適用し、生成された予測画像信号を出力するように構成されている。
【0097】
なお、具体的なＯＢＭＣを適用するか否かについての判定方法やＯＢＭＣの適用方法については後述する。
【0098】
ＯＢＭＣ適用部３４ｂ３は、ＯＢＭＣ適用判定部３４ｂ２による判定結果に基づいて、すなわち、ＯＢＭＣを適用すると判定された場合に、予測対象ブロックに対してＯＢＭＣを適用するように構成されている。
【0099】
ここで、ＯＢＭＣは、予測対象ブロックの予測画像信号と、予測対象ブロックの隣接ブロックの動きベクトル及び参照フレームに係る情報に基づいて生成される予測画像信号とを加重平均することによって、予測対象ブロックの予測画像信号を補正する重複動き補償処理である。
【0100】
以下、図８～図２３を参照して、具体的なＯＢＭＣを適用するか否かについての判定方法やＯＢＭＣの適用方法について説明する。以下の例では、画像復号装置３０におけるＭＣ予測部３４ｂについて説明するが、画像符号化装置１０におけるＭＣ予測部１１ｃについても同様の機能を有するものとする。
【0101】
また、上述の判定方法及び適用方法は、予測対象ブロックの動きベクトルと隣接ブロックの動きベクトルがそれぞれ異なる場合に適用される。両者の動きベクトルが等しい又はその差分が小さいとみなされる場合には、予測対象ブロックと隣接ブロックとの境界にＯＢＭＣを適用する意味がない。したがって、以下、本明細書では、予測対象ブロックの動きベクトルと隣接ブロックの動きベクトルがそれぞれ異なることを前提として説明する。
【0102】
なお、書面簡略化のために、上述の判定方法及び適用方法が予測対象ブロック単位で行われる場合について事例として挙げるが、上述の判定方法及び適用方法は、予測対象ブロックを分割したサブブロック単位で実施されてもよい。
【0103】
【0104】
本実施形態において、ＭＣ予測部３４ｂのＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックの予測方向の種類（片方向予測又は双方向予測）に基づいて、予測対象ブロックに対してＯＢＭＣを適用するかについて判定するように構成されている。
【0105】
図８に示すように、ステップＳ１０１において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックに片方向予測が適用されているか否かについて判定する。
【0106】
予測対象ブロックに片方向予測が適用されていると判定された場合、本手順は、ステップＳ１０２に進み、予測対象ブロックに片方向予測が適用されていないと判定された場合、本手順は、ステップＳ１０３に進む。
【0107】
ステップＳ１０２において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックに対してＯＢＭＣを適用すると判定し、ＯＢＭＣ適用部３４ｂ３は、予測対象ブロックに対してＯＢＭＣを適用する。
【0108】
ステップＳ１０３において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックに対してＯＢＭＣを適用しないと判定し、標準ＭＣ予測部３４ｂ１によって生成された予測画像信号をそのまま出力する。
【0109】
なお、予測対象ブロックに双方向予測が適用されている場合に予測対象ブロックに対してＯＢＭＣを適用する場合、予測対象ブロックに片方向予測が適用されている場合に予測対象ブロックに対してＯＢＭＣを適用する場合と比べて、追加でフェッチが必要なメモリバンド幅と演算回数が増大する。したがって、本実施形態に係る画像符号化装置１０及び画像復号装置３０によれば、予測対象ブロックに片方向予測が適用されている場合に限り予測対象ブロックに対してＯＢＭＣを適用することによって、意図しないメモリバンド幅及び演算回数の増大を防ぐことができる。
【0110】
【0111】
本実施形態において、ＭＣ予測部３４ｂのＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックのサイズが所定閾値以上である場合に、予測対象ブロックに対してＯＢＭＣを適用すると判定するように構成されている。
【0112】
図９に示すように、ステップＳ２０１において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックのサイズが所定閾値以上であるか否かについて判定する。
【0113】
予測対象ブロックのサイズが所定閾値以上であると判定された場合、本手順は、ステップＳ２０２に進み、予測対象ブロックのサイズが所定閾値未満であると判定された場合、本手順は、ステップＳ２０３に進む。
【0114】
ステップＳ２０２において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックに対してＯＢＭＣを適用すると判定し、ＯＢＭＣ適用部３４ｂ３は、予測対象ブロックに対してＯＢＭＣを適用する。
【0115】
ステップＳ２０３において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックに対してＯＢＭＣを適用しないと判定し、標準ＭＣ予測部３４ｂ１によって生成された予測画像信号をそのまま出力する。
【0116】
ここで、かかる所定閾値は、例えば、ＯＢＭＣを適用する際に必要なメモリバンド幅及び演算回数が、ＯＢＭＣを適用しない場合の双方向予測におけるメモリバンド幅及び演算回数と比較して、小さくなる値に設定してもよい。
【0117】
また、上述の例では、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックの画素数を用いて予測対象ブロックのサイズを判定しているが、その他の手法として、予測対象ブロックの高さ及び幅を用いて予測対象ブロックのサイズを判定するように構成されていてもよい。
【0118】
また、ＯＢＭＣ適用判定部３４ｂ２は、かかる所定閾値ではなく、テーブルを用いて、予測対象ブロックに対してＯＢＭＣを適用すると判定するように構成されていてもよい。
【0119】
なお、サイズが比較的小さい予測対象ブロックに対してＯＢＭＣを適用する場合、追加でフェッチが必要なメモリバンド幅と演算回数が増大する。したがって、本実施形態に係る画像符号化装置１０及び画像復号装置３０によれば、予測対象ブロックのサイズに基づいて予測対象ブロックに対してＯＢＭＣを適用するか否かについて制御することによって、意図しないメモリバンド幅及び演算回数の増大を防ぐことができる。
【0120】
【0121】
本実施形態において、ＭＣ予測部３４ｂのＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックの隣接ブロックの予測方向の種類（片方向予測又は双方向予測）に基づいて、予測対象ブロックに対してＯＢＭＣを適用するかについて判定するように構成されている。
【0122】
図１０に示すように、ステップＳ３０１において、ＯＢＭＣ適用判定部３４ｂ２は、隣接ブロックに片方向予測が適用されているか否かについて判定する。
【0123】
隣接ブロックに片方向予測が適用されていると判定された場合、本手順は、ステップＳ３０２に進み、隣接ブロックに片方向予測が適用されていないと判定された場合、本手順は、ステップＳ３０３に進む。
【0124】
ステップＳ３０２において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックに対してＯＢＭＣを適用すると判定し、ＯＢＭＣ適用部３４ｂ３は、予測対象ブロックに対してＯＢＭＣを適用する。
【0125】
ステップＳ３０３において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックに対してＯＢＭＣを適用しないと判定し、標準ＭＣ予測部３４ｂ１によって生成された予測画像信号をそのまま出力する。
【0126】
なお、隣接ブロックに双方向予測が適用されている場合に予測対象ブロックに対してＯＢＭＣを適用する場合、隣接ブロックに片方向予測が適用されている場合に予測対象ブロックに対してＯＢＭＣを適用する場合と比べて、追加でフェッチが必要なメモリバンド幅と演算回数が増大する。したがって、本実施形態に係る画像符号化装置１０及び画像復号装置３０によれば、隣接ブロックに片方向予測が適用されている場合に限り予測対象ブロックに対してＯＢＭＣを適用することによって、意図しないメモリバンド幅及び演算回数の増大を防ぐことができる。
【0127】
（変更例１）
以下、図１１を参照して、本発明の変更例１について、上述の第１～第３実施形態との相違点に着目して説明する。図１１は、本変更例１におけるインター予測部３４のＭＣ予測部３４ｂの動作の一例を示すフローチャートである。
以下、図１１を参照して、本発明の変更例１について、上述の第１～第３実施形態との相違点に着目して説明する。図１１は、本変更例１におけるインター予測部３４のＭＣ予測部３４ｂの動作の一例を示すフローチャートである。
【0128】
図１１に示すように、ステップＳ４０１において、ＭＣ予測部３４ｂは、予測対象ブロックに片方向予測が適用されているか否かについて判定する。
【0129】
予測対象ブロックに片方向予測が適用されていると判定された場合、本手順は、ステップＳ４０３に進み、予測対象ブロックに片方向予測が適用されていないと判定された場合、本手順は、ステップＳ４０２に進む。
【0130】
ステップＳ４０２において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックに対してＯＢＭＣを適用しないと判定し、標準ＭＣ予測部３４ｂ１によって生成された予測画像信号をそのまま出力する。
【0131】
ステップＳ４０３において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックのサイズが所定閾値以上であるか否かについて判定する。
【0132】
予測対象ブロックのサイズが所定閾値以上であると判定された場合、本手順は、ステップＳ４０５に進み、予測対象ブロックのサイズが所定閾値未満であると判定された場合、本手順は、ステップＳ４０４に進む。
【0133】
ステップＳ４０４において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックに対してＯＢＭＣを適用しないと判定し、標準ＭＣ予測部３４ｂ１によって生成された予測画像信号をそのまま出力する。
【0134】
ステップＳ４０５おいて、ＭＣ予測部３４ｂは、隣接ブロックに片方向予測が適用されているか否かについて判定する。
【0135】
隣接ブロックに片方向予測が適用されていると判定された場合、本手順は、ステップＳ４０６に進み、隣接ブロックに片方向予測が適用されていないと判定された場合、本手順は、ステップＳ４０７に進む。
【0136】
ステップＳ４０６において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックに対してＯＢＭＣを適用すると判定し、ＯＢＭＣ適用部３４ｂ３は、予測対象ブロックに対してＯＢＭＣを適用する。
【0137】
ステップＳ４０７において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックに対してＯＢＭＣを適用しないと判定し、標準ＭＣ予測部３４ｂ１によって生成された予測画像信号をそのまま出力する。
【0138】
上述のように、本変更例１では、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックに対してＯＢＭＣを適用するに際して、第１に、予測対象ブロックに対して片方向予測が適用されているか否かについて判定し、第２に、予測対象ブロックのサイズが所定閾値以上であるか否かについて判定し、第３に、隣接ブロックに対して片方向予測が適用されているか否かについて判定する。
【0139】
本変更例１において、予測対象ブロックに対して片方向予測が適用されているか否かについての判定の後に、予測対象ブロックのサイズが所定閾値以上であるか否かについての判定が行われる効果は、以下の通りである。
【0140】
上述の第１実施形態によれば、予測対象ブロックに対して片方向予測が適用されている場合には、一律にＯＢＭＣを適用するとしていたが、予測対象ブロックに対して片方向予測が適用されているか否かについての判定の後に予測対象ブロックのサイズに基づく制約を導入することで、ＯＢＭＣ適用時のワーストケースを回避することができるためである。
【0141】
かかるワーストケースとは、符号化ツリーブロックが最小の符号化対象ブロック或いは予測対象ブロックで埋め尽くされる場合に発生し得るもので、このときにＯＢＭＣ適用に必要なメモリバンド幅及び演算回数は最大となる。つまり、このワーストケースこそが、ＯＢＭＣ適用時に必要なメモリバンド幅及び演算回数といえる。
【0142】
したがって、ＯＢＭＣの適否の判定に予測対象ブロックのサイズを導入することで、例えば、予測対象ブロックに対して片方向予測が適用されており且つＯＢＭＣが適用される場合に必要なメモリバンド幅及び演算回数を、ＯＢＭＣが適用されず且つ予測対象ブロックに対して双方向予測が適用される場合の標準ＭＣに必要なメモリバンド幅及び演算回数と比較して、小さくすることができる。
【0143】
また、本変更例１において、予測対象ブロックのサイズが所定閾値以上であるか否かについての判定の後に、隣接ブロックに対して片方向予測が適用されているか否かについての判定が行われる効果は、以下の通りである。
【0144】
上述の構成によれば、予測対象ブロックに対して片方向予測が適用されており且つ予測対象ブロックのサイズが所定閾値以上である場合には、一律にＯＢＭＣを適用するとしていたが、かかる場合であっても、隣接ブロックに双方向予測が適用されている場合には、必要なメモリバンド幅及び演算回数がワーストケースを超える可能性がある。
【0145】
これに対して、隣接ブロックに対して双方向予測が適用されている場合には、ＯＢＭＣを非適用とすることで、ＯＢＭＣ適用時に必要なメモリバンド幅及び演算回数を、ＯＢＭＣが適用されず且つ予測対象ブロックに対して双方向予測が適用される場合の標準ＭＣに必要なメモリバンド幅及び演算回数と比較して、小さくすることができる。
【0146】
ここで、例えば、予測対象ブロック及びＯＢＭＣ関連のパラメータが以下のような値を持つ場合の条件分岐の具体例を示す。
・ 符号化ツリーブロック：１２８×１２８
・ 予測対象ブロックの最小サイズ：４×４
・ 輝度に対する標準動き補償タップ数：８
・ 色差に対する標準動き補償タップ数：４
・ 輝度に対するＯＢＭＣのタップ数：８
・ 色差に対するＯＢＭＣのタップ数：４
・ ＯＢＭＣライン数：４ライン
・ 予測対象ブロックでの双方向予測禁止サイズ：４×４
ここで、図１１の条件分岐に従えば、ＯＢＭＣが適用されるか否かについての判定条件は、以下のように設定される。なお、以下の所定閾値は、ＯＢＭＣが適用されず且つ予測対象ブロックに対して双方向予測が適用される場合の標準ＭＣに必要なメモリバンド幅を超えないように設定されている。ここで、Ｓ及びＬは、予測対象ブロックの高さと横幅とを比較して得られた短辺と長辺を示している（Ｓ≦Ｌ）。
・ 予測対象ブロックに対して片方向予測が適用されている場合で、
-（Ｓ＝４且つＬ＜６４）又は（Ｓ＝８且つＬ＝８）⇒ ＯＢＭＣを適用しない。
・ 符号化ツリーブロック：１２８×１２８
・ 予測対象ブロックの最小サイズ：４×４
・ 輝度に対する標準動き補償タップ数：８
・ 色差に対する標準動き補償タップ数：４
・ 輝度に対するＯＢＭＣのタップ数：８
・ 色差に対するＯＢＭＣのタップ数：４
・ ＯＢＭＣライン数：４ライン
・ 予測対象ブロックでの双方向予測禁止サイズ：４×４
ここで、図１１の条件分岐に従えば、ＯＢＭＣが適用されるか否かについての判定条件は、以下のように設定される。なお、以下の所定閾値は、ＯＢＭＣが適用されず且つ予測対象ブロックに対して双方向予測が適用される場合の標準ＭＣに必要なメモリバンド幅を超えないように設定されている。ここで、Ｓ及びＬは、予測対象ブロックの高さと横幅とを比較して得られた短辺と長辺を示している（Ｓ≦Ｌ）。
・ 予測対象ブロックに対して片方向予測が適用されている場合で、
-（Ｓ＝４且つＬ＜６４）又は（Ｓ＝８且つＬ＝８）⇒ ＯＢＭＣを適用しない。
【0147】
-（Ｓ＝４且つＬ≧６４）又は（Ｓ＝８且つＬ≧１６）又は（Ｓ≧１６）⇒隣接ブロックに対して片方向予測が適用されている場合にＯＢＭＣを適用する。・ 予測対象ブロックが双方向予測である場合、ＯＢＭＣを適用しない。
【0148】
一方で、ＯＢＭＣ適用判定部３４ｂ２は、所定閾値の代わりに、例えば、図１２に示すようなテーブルに基づいて、ＯＢＭＣの適否について判定するように構成されていてもよい。
【0149】
図１２の「短辺」及び「長辺」は、予測対象ブロックの高さと横幅とを比較して得られた短辺及び長辺を示しており、図１２の「非適用」は、ＯＢＭＣを適用しないことを示し、図１２の「片方向」は、隣接ブロックに対して片方向予測が適用されている場合にＯＢＭＣを適用することを示す。また、図１２において、図示されていないが、「双方向」は、隣接ブロックに対して片方向予測又は双方向予測が適用されている場合にＯＢＭＣを適用することを意味する。
【0150】
上述の例では、メモリバンド幅を超えない値を目安に設定した所定閾値或いはテーブル（図１２）について述べたが、演算回数を目安とした場合には、かかる所定閾値の設定方法が、メモリバンド幅で述べたように、予測対象ブロックのサイズ（高さと横幅）で対称な閾値にはならない。
【0151】
何故なら、演算回数は、ＭＣの処理順によって変わるためである。そのため、演算回数を目安としたテーブルは、例えば、図１３に示すように、サイズで非対称な値となり得る。
【0152】
実際の所定閾値の設定やテーブルの設計については、上記で挙げたパラメータより、ＯＢＭＣが適用されず且つ予測対象ブロックに対して双方向予測が適用されている場合よりも、メモリバンド幅及び演算回数が小さくなるように設定するが、メモリバンド幅及び演算回数に対してそれぞれ求まる条件のうち、より厳しい条件を設定するようにする。
【0153】
【0154】
上述の変更例１では、予測対象ブロックのサイズが所定閾値以上となる場合は、ＯＢＭＣの適用対象となるが、実際に、ＯＢＭＣが適用されるケースは、隣接ブロックに対して片方向予測が適用されている場合に制限されていた。
【0155】
しかしながら、予測対象ブロックのサイズによっては、隣接ブロックに対して双方向予測が適用される場合であっても、ＯＢＭＣの適用に必要なメモリバンド幅と演算回数が、ＯＢＭＣが適用されず且つ予測対象ブロックに対して双方向予測が適用されている場合の標準ＭＣに必要なメモリバンド幅及び演算回数よりも小さくできるケースがあり、その場合は、隣接ブロックに対して双方向予測が適用されている場合であっても、ＯＢＭＣを適用した方が、符号化性能が向上する。
【0156】
図１４に示すように、ステップＳ５０１において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックに片方向予測が適用されているか否かについて判定する。
【0157】
予測対象ブロックに片方向予測が適用されていると判定された場合、本手順は、ステップＳ５０３に進み、予測対象ブロックに片方向予測が適用されていないと判定された場合、本手順は、ステップＳ５０２に進む。
【0158】
ステップＳ５０２において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックに対してＯＢＭＣを適用しないと判定し、標準ＭＣ予測部３４ｂ１によって生成された予測画像信号をそのまま出力する。
【0159】
ステップＳ５０３において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックのサイズについて判定する。
【0160】
予測対象ブロックのサイズが閾値ＴＨ１未満であると判定された場合、本手順は、ステップＳ５０４に進み、予測対象ブロックのサイズが閾値ＴＨ１以上閾値ＴＨ２未満であると判定された場合、本手順は、ステップＳ５０６に進み、予測対象ブロックのサイズが閾値ＴＨ以上であると判定された場合、本手順は、ステップＳ５０５に進む。
【0161】
ステップＳ５０４において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックに対してＯＢＭＣを適用しないと判定し、標準ＭＣ予測部３４ｂ１によって生成された予測画像信号をそのまま出力する。
【0162】
ステップＳ５０５において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックに対してＯＢＭＣを適用すると判定し、ＯＢＭＣ適用部３４ｂ３は、予測対象ブロックに対してＯＢＭＣを適用する。
【0163】
ステップＳ５０６において、ＯＢＭＣ適用判定部３４ｂ２は、隣接ブロックに片方向予測が適用されているか否かについて判定する。
【0164】
隣接ブロックに片方向予測が適用されていると判定された場合、本手順は、ステップＳ５０７に進み、隣接ブロックに片方向予測が適用されていないと判定された場合、本手順は、ステップＳ５０８７に進む。
【0165】
ステップＳ５０７において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックに対してＯＢＭＣを適用すると判定し、ＯＢＭＣ適用部３４ｂ３は、予測対象ブロックに対してＯＢＭＣを適用する。
【0166】
ステップＳ５０８において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックに対してＯＢＭＣを適用しないと判定し、標準ＭＣ予測部３４ｂ１によって生成された予測画像信号をそのまま出力する。
【0167】
本実施形態では、ＯＢＭＣ適用判定部３４ｂ２は、２つの閾値（ただし、閾値ＴＨ１≦閾値ＴＨ２）を用いるように構成されている。
【0168】
そして、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックのサイズが閾値ＴＨ１未満である場合には、予測対象ブロックに対してＯＢＭＣを適用しないと判定し、予測対象ブロックのサイズが閾値ＴＨ１以上且つ閾値ＴＨ２未満である場合には、隣接ブロックに対して片方向予測が適用されているか否かについての判定に移行し、予測対象ブロックのサイズが閾値ＴＨ２以上である場合には、隣接ブロックに対して双方向予測が適用されているか否かに関わらず予測対象ブロックに対してＯＢＭＣを適用すると判定する。
【0169】
すなわち、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックのサイズに基づいて、隣接ブロックに適用されている予測方向の種類（片方向予測或いは双方向予測）を制御して、予測対象ブロックに対してＯＢＭＣを適用するかについて判定するように構成されている。
【0170】
ここで、例えば、予測対象ブロック及びＯＢＭＣ関連のパラメータが以下のような値を持つ場合の条件分岐の具体例（閾値の設定方法）を示す。
・ 符号化ツリーブロック：１２８×１２８
・ 予測対象ブロックの最小サイズ：４×４
・ 輝度信号に対する標準動き補償タップ数：８
・ 色差信号に対する標準動き補償タップ数：４
・ 輝度信号に対するＯＢＭＣのタップ数：８
・ 色差信号に対するＯＢＭＣのタップ数：４
・ ＯＢＭＣライン数：４ライン
・ 予測対象ブロックでの双方向予測禁止サイズ：４×４
なお、上記は画像信号が輝度信号（Ｙ）と色差信号（ＣｂＣｒ）がそれぞれ４：２：０で構成される事例を示しており、これが他の構成（４：４：４や４：２：２）となる場合は適宜ＯＢＭＣのタップ数などを変更してもよい。
・ 符号化ツリーブロック：１２８×１２８
・ 予測対象ブロックの最小サイズ：４×４
・ 輝度信号に対する標準動き補償タップ数：８
・ 色差信号に対する標準動き補償タップ数：４
・ 輝度信号に対するＯＢＭＣのタップ数：８
・ 色差信号に対するＯＢＭＣのタップ数：４
・ ＯＢＭＣライン数：４ライン
・ 予測対象ブロックでの双方向予測禁止サイズ：４×４
なお、上記は画像信号が輝度信号（Ｙ）と色差信号（ＣｂＣｒ）がそれぞれ４：２：０で構成される事例を示しており、これが他の構成（４：４：４や４：２：２）となる場合は適宜ＯＢＭＣのタップ数などを変更してもよい。
【0171】
ここで、ＯＢＭＣが適用されるか否かについての判定条件は、以下のように設定される。なお、以下の閾値は、ＯＢＭＣが適用されず且つ予測対象ブロックに対して双方向予測が適用される場合の標準ＭＣに必要なメモリバンド幅を超えないように設定されている。ここで、Ｓ及びＬは、予測対象ブロックの高さと横幅を比較して得られた短辺と長辺を示している（Ｓ≦Ｌ）。
・ 予測対象ブロックに対して片方向予測が適用されている場合で、
-（Ｓ＝４且つＬ＜６４）又は（Ｓ＝８且つＬ＝８）⇒ ＯＢＭＣを適用しない。
・ 予測対象ブロックに対して片方向予測が適用されている場合で、
-（Ｓ＝４且つＬ＜６４）又は（Ｓ＝８且つＬ＝８）⇒ ＯＢＭＣを適用しない。
【0172】
-（Ｓ＝４且つ＆Ｌ≧６４）又は（Ｓ＝８且つＬ≧１６）又は（Ｓ≧１６）⇒ 隣接ブロックに対して片方向予測が適用されている場合にＯＢＭＣを適用する。
【0173】
-（Ｓ≧１６）⇒ 隣接ブロックに対して双方向予測が適用されている場合であってもＯＢＭＣを適用する。・ 予測対象ブロックが双方向予測である場合、ＯＢＭＣを適用しない。
【0174】
一方で、ＯＢＭＣ適用判定部３４ｂ２は、所定閾値の代わりに、例えば、図１５に示すようなテーブルに基づいて、ＯＢＭＣの適否について判定するように構成されていてもよい。なお、図１５のグレーアウトされた箇所は、上述の短辺Ｓと長辺ＬでＳ≧Ｌとなる個所のために、考慮不要である。
【0175】
（第５実施形態）
以下、図１６を参照して、本発明の第４実施形態について説明する。
以下、図１６を参照して、本発明の第４実施形態について説明する。
【0176】
上述の第４実施形態では、ＯＢＭＣのタップ数（重複動き補償タップ数）が「８」であるケースについて説明したが、ＯＢＭＣのタップ数が「８」から「４」になった場合及びＯＢＭＣのタップ数が「８」から「２」になった場合には、ＯＢＭＣ適用時に必要なメモリバンド幅及び演算回数が小さくなるため、ＯＢＭＣ適用の制約が緩和される。
【0177】
例えば、上述の実施形態では、フィルタのタップ数のみを変更した場合に、ＯＢＭＣが適用されるか否かについての判定条件は、以下のように設定される。ただし、以下の閾値は、上述のケースと同様に、ＯＢＭＣが適用されず且つ予測対象ブロックに対して双方向予測が適用される場合の標準ＭＣに必要なメモリバンド幅を超えないように設定されている。
・ 予測対象ブロックに対して片方向予測が適用されている場合で、
-（Ｓ＝４且つＬ＝４）⇒ ２タップのＯＢＭＣを適用する（ただし、隣接ブロックには片方向予測が適用されている場合）。
・ 予測対象ブロックに対して片方向予測が適用されている場合で、
-（Ｓ＝４且つＬ＝４）⇒ ２タップのＯＢＭＣを適用する（ただし、隣接ブロックには片方向予測が適用されている場合）。
【0178】
-（Ｓ＝４且つＬ＞４且つＬ＜６４）又は（Ｓ＝８且つＬ＝８）⇒ ４タップのＯＢＭＣを適用する（ただし、隣接ブロックには片方向予測が適用されている場合）。
【0179】
-（Ｓ＝４且つＨ≦６４）又は（Ｓ＝８且つＬ≧１６）又は（Ｓ≧１６）⇒ ８タップのＯＢＭＣを適用する（ただし、隣接ブロックには片方向予測が適用されている場合）。
・ 予測対象ブロックが双方向予測である場合、ＯＢＭＣを適用しない。
・ 予測対象ブロックが双方向予測である場合、ＯＢＭＣを適用しない。
【0180】
一方で、ＯＢＭＣ適用判定部３４ｂ２は、所定閾値の代わりに、例えば、図１６に示すようなテーブルに基づいて、ＯＢＭＣの適否について判定するように構成されていてもよい。
【0181】
ここで、上述の条件で分岐されるタップ数は、下位互換であり、例えば、８タップのＯＢＭＣが使用できる条件では、８タップの代わりに４タップ或いは２タップのＯＢＭＣを使用してもよい。
【0182】
さらに、上述のように、予測対象ブロックのサイズに基づいて、隣接ブロックのＯＢＭＣタップ数を制御することにより、サイズの小さな予測対象ブロックに対するＯＢＭＣの適用制約を緩和させてもよい。例えば、上述の例では、図１５でＯＢＭＣが非適用であったサイズの小さな予測対象ブロック（４×４）に対して、タップ数を８タップから２タップに変更することで、当該サイズの予測対象ブロックに対してもＯＢＭＣの適用を可能としている。
【0183】
図１６において、「２ｔａｐ」は、２タップのＯＢＭＣを適用する（ただし、隣接ブロックには片方向予測が適用されている場合）ことを示し、「４ｔａｐ」は、４タップのＯＢＭＣを適用する（ただし、隣接ブロックには片方向予測が適用されている場合）ことを示し、「８ｔａｐ」は、８タップのＯＢＭＣを適用する（ただし、隣接ブロックには片方向予測が適用されている場合）ことを示す。ただし、図１６中のタップ数は、下位互換であり、例えば、「４ｔａｐ」の場合には、２タップのＯＢＭＣを適用してもよいし、「８ｔａｐ」の場合には、２タップ又は４タップのＯＢＭＣを適用してもよい。
【0184】
ここで、４タップについては、例えば、色差信号向けの標準ＭＣフィルタ（４タップ）を流用してもよい。また、２タップについては、例えば、ｂｉ-ｌｉｎｅａｒフィルタを用いてもよい。なお、４タップにおいて、色差信号向けの標準ＭＣを流用すれば、ハードウェア実装時に追加のフィルタ設計が不要となるという効果が得られる。
【0185】
上述のように、本実施形態では、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックのサイズに基づいて、ＯＢＭＣのタップ数を制御して、予測対象ブロックに対してＯＢＭＣを適用するかについて判定するように構成されている。
【0186】
（変更例２）
ここまでは、予測対象ブロックのサイズに応じた隣接ブロックの予測方向の種類或いはＯＢＭＣのタップ数を制御する方法について述べたが、ＯＢＭＣが適用されず且つ予測対象ブロックに対して双方向予測が適用されている場合の標準ＭＣに必要なメモリバンド幅及び演算回数よりも、ＯＢＭＣ適用時に必要なメモリバンド幅と演算回数が下回り且つ符号化性能向上幅を最大限に狙うために、予測対象ブロックのサイズに応じた隣接ブロックの予測方向の種類及びＯＢＭＣのタップ数の双方を組み合わせて、ＯＢＭＣの適用可否の条件を最大限緩和する手法が考えられる。
ここまでは、予測対象ブロックのサイズに応じた隣接ブロックの予測方向の種類或いはＯＢＭＣのタップ数を制御する方法について述べたが、ＯＢＭＣが適用されず且つ予測対象ブロックに対して双方向予測が適用されている場合の標準ＭＣに必要なメモリバンド幅及び演算回数よりも、ＯＢＭＣ適用時に必要なメモリバンド幅と演算回数が下回り且つ符号化性能向上幅を最大限に狙うために、予測対象ブロックのサイズに応じた隣接ブロックの予測方向の種類及びＯＢＭＣのタップ数の双方を組み合わせて、ＯＢＭＣの適用可否の条件を最大限緩和する手法が考えられる。
【0187】
かかる場合、閾値或いはテーブルは、上述と同じ思想で設計される。例えば、閾値については、
・ 予測対象ブロックに対して片方向予測が適用されている場合で、
-（Ｓ＝４且つＬ＝４）⇒ ２タップのＯＢＭＣを適用する（ただし、隣接ブロックには片方向予測が適用されている場合）。
・ 予測対象ブロックに対して片方向予測が適用されている場合で、
-（Ｓ＝４且つＬ＝４）⇒ ２タップのＯＢＭＣを適用する（ただし、隣接ブロックには片方向予測が適用されている場合）。
【0188】
-（Ｓ＝４且つＬ＝８）⇒ ２タップのＯＢＭＣを適用する（ただし、隣接ブロックに双方向予測が適用されている場合も許容）。
【0189】
-（Ｓ＝４且つＬ≧１６）又は（Ｓ＝８且つＬ≧８）⇒ ４タップのＯＢＭＣを適用する（ただし、隣接ブロックに双方向予測が適用されている場合も許容）。
【0190】
-（Ｓ≧１６）⇒ ８タップのＯＢＭＣを適用する（ただし、隣接ブロックに双方向予測が適用されている場合も許容）。
・ 予測対象ブロックが双方向予測である場合、ＯＢＭＣを適用しない。
・ 予測対象ブロックが双方向予測である場合、ＯＢＭＣを適用しない。
【0191】
ここで、上述の条件で分岐されるＯＢＭＣのタップ数は、下位互換であり、例えば、８タップのＯＢＭＣが使用できる条件では、８タップの代わりに４タップ或いは２タップのＯＢＭＣを使用してもよい。
【0192】
また、上述の条件で分岐される隣接ブロックの予測方向について、双方向予測の適用が許容されている条件は、片方向予測を使用してもよい。
【0193】
さらに、上述のように、予測対象ブロックのサイズに基づいて、隣接ブロックのＯＢＭＣタップ数又は予測方向の種類を制御することにより、サイズの小さな予測対象ブロックに対するＯＢＭＣの適用制約を緩和させてもよい。
【0194】
例えば、上述の例では、図１５でＯＢＭＣが非適用であったサイズの小さな予測対象ブロック（４×４）に対して、タップ数を８タップから２タップに変更することで、当該サイズの予測対象ブロックに対してもＯＢＭＣの適用を可能としている。また、４×８又は８×４の予測対象ブロックに対しては、タップ数を８タップから２タップに変更することで、双方向予測である隣接ブロックに対してもＯＢＭＣを適用しても、ＯＢＭＣを適用せず且つ双方向予測である予測対象ブロックの標準ＭＣに対するメモリバンド幅と演算回数を超えないことから、２タップの隣接双方向予測のＯＢＭＣを可能としている。
【0195】
フィルタのタップ数及び予測方向の種類の組み合わせについては、上述の通り、ＯＢＭＣを適用せず且つ予測対象ブロックが双方向予測である場合の標準ＭＣに必要なメモリバンド幅及び演算回数に対して、ＯＢＭＣ適用時に必要なメモリバンド幅及び演算回数が超えないような組み合わせ条件であれば、設計者の意思で自由に設定してもよい。
【0196】
一方で、ＯＢＭＣ適用判定部３４ｂ２は、所定閾値の代わりに、例えば、図１７に示すようなテーブルに基づいて、ＯＢＭＣの適否について判定するように構成されていてもよい。
【0197】
なお、図１７のテーブルによれば、ＯＢＭＣ適用判定部３４ｂ２は、第１サイズ（例えば、４×４）の予測対象ブロックに対して適用される隣接ブロックのＯＢＭＣのタップ数（「２」）を、第１サイズよりも大きい第２サイズ（例えば、１２８×１２８）の予測対象ブロックに対して適用される隣接ブロックのＯＢＭＣのタップ数（「８」）よりも小さくするように構成されている。
【0198】
或いは、図１７のテーブルによれば、ＯＢＭＣ適用判定部３４ｂ２は、第１サイズ（例えば、４×４）の予測対象ブロックに対して適用される隣接ブロックの予測方向の種類（片方向）を、第１サイズよりも大きい第２サイズ（例えば、４×８または８×４）の予測対象ブロックに対して適用される隣接ブロックの予測方向の種類（双方向）よりも少なくするように構成されている。
【0199】
ここで、上記隣接ブロックに対するＯＢＭＣフィルタタップ数または予測方向の種類を分岐させる閾値は、図１７に示すように、複数あってもよい。
（変更例３）
ここまでは、予測対象ブロックのサイズに応じた隣接ブロックの予測方向の種類或いはＯＢＭＣのタップ数を制御する方法について述べたが、ＯＢＭＣ適用時のメモリバンド幅及び演算回数を低減させる同様な手段として、予測対象ブロックのサイズに応じたＯＢＭＣ適用時の隣接ブロックの動きベクトルの精度の変更やＯＢＭＣの適用ライン数の変更が挙げられる。
（変更例３）
ここまでは、予測対象ブロックのサイズに応じた隣接ブロックの予測方向の種類或いはＯＢＭＣのタップ数を制御する方法について述べたが、ＯＢＭＣ適用時のメモリバンド幅及び演算回数を低減させる同様な手段として、予測対象ブロックのサイズに応じたＯＢＭＣ適用時の隣接ブロックの動きベクトルの精度の変更やＯＢＭＣの適用ライン数の変更が挙げられる。
【0200】
動きベクトルの精度の変更に関しては、例えば、予測対象ブロックのサイズが所定閾値よりも小さい場合には、動きベクトルの精度を小数から整数化し、予測対象ブロックのサイズが所定閾値よりも大きい場合には、動きベクトルの精度を小数とするように構成されていてもよい。
【0201】
また、予測対象ブロックのサイズが所定閾値よりも小さい場合には、ＯＢＭＣの適用ライン数を減少させ、一方で、予測対象ブロックのサイズが所定閾値よりも大きい場合には、ＯＢＭＣの適用ライン数を増大させるように構成されていてもよい。
【0202】
かかる場合における閾値やテーブルの設定方法については、上述の実施形態や変更例のケースと同様であるため、説明を省略する。
【0203】
（変更例４）
以下、図１８及び図１９を参照して、本発明の変更例４について、上述の実施形態或いは変更例との相違点に着目して説明する。図１８は、本変更例４におけるインター予測部３４のＭＣ予測部３４ｂの動作の一例を示すフローチャートである。
以下、図１８及び図１９を参照して、本発明の変更例４について、上述の実施形態或いは変更例との相違点に着目して説明する。図１８は、本変更例４におけるインター予測部３４のＭＣ予測部３４ｂの動作の一例を示すフローチャートである。
【0204】
図１８に示すように、ステップＳ６０１において、ＯＢＭＣ適用判定部３４ｂ２は、隣接ブロックに片方向予測が適用されているか否かについて判定する。
【0205】
隣接ブロックに片方向予測が適用されていると判定された場合、本手順は、ステップＳ６０３に進み、隣接ブロックに片方向予測が適用されていないと判定された場合、本手順は、ステップＳ６０２に進む。
【0206】
ステップＳ６０２において、ＯＢＭＣ適用判定部３４ｂ２は、所定方法により、隣接ブロックに適用されている予測方法を双方向予測から片方向予測に変換する。
【0207】
ステップＳ６０３において、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックに対してＯＢＭＣを適用すると判定し、ＯＢＭＣ適用部３４ｂ３は、予測対象ブロックに対してＯＢＭＣを適用する。
【0208】
本変更例４によれば、隣接ブロックに対して双方向予測が適用されている場合に、所定方法により、隣接ブロックに対して適用されている予測方法を双方向予測から片方向予測に変換することで、ＯＢＭＣを適用するように構成されている。なお、かかる所定方法については後述する。
【0209】
かかる変更例４によれば、隣接ブロックに対して適用されている予測方法を双方向予測から片方向予測に変換することで、ＯＢＭＣが適用される予測対象ブロックの数を増やし且つＯＢＭＣに必要なメモリバンド幅及び演算回数を低減することができる。
【0210】
上述のように、ＯＢＭＣ適用判定部３４ｂ２は、隣接ブロックに対して双方向予測が適用されている場合に、所定方法により、前記隣接ブロックに適用されている予測方法を双方向予測から片方向予測に変換するように構成されている。
【0211】
【0212】
図１９において、「Ｃp」は、予測対象ブロックの現フレームであり、「Ｃn」は、隣接ブロックの現フレームであり、両者のＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）は、同じ（「５」）である。
【0213】
また、「Ｌp0」及び「Ｌp1」は、予測対象ブロックの２つの参照フレームであり、「Ｌn0」及び「Ｌn1」は、隣接ブロックの２つの参照フレームをそれぞれ示す。
【0214】
なお、図２０のテーブルには、「Ｌp0」、「Ｌp1」、「Ｌn0」及び「Ｌn1」は、それぞれ１つのＰＯＣしか記載されていないが、これは、符号化データに重畳された参照画像リストと参照画像インデックスとが指し示すＰＯＣであり、「Ｌp0」、「Ｌp1」、「Ｌn0」及び「Ｌn1」のＰＯＣが、必ず１つであるとは限らない。ただし、設計者によって自由に参照フレームの枚数が設定できるが、参照画像リストと参照画像インデックスとによって一意にＰＯＣは決まる。
【0215】
ここで、隣接ブロックの予測方向を双方向予測から片方向予測に変換するには、隣接ブロックの参照フレームを一意に選択する必要があるが、以下では、予測対象ブロックの現フレームと予測対象ブロックの参照フレームと隣接ブロックの参照フレームとの相関に応じた手法について説明する。
【0216】
（方法１）
方法１では、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックの現フレームＣpと隣接ブロックの２つの参照フレームＬn0/Ｌn1のそれぞれとのＰＯＣの差の絶対値を比較するように構成されている。
方法１では、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックの現フレームＣpと隣接ブロックの２つの参照フレームＬn0/Ｌn1のそれぞれとのＰＯＣの差の絶対値を比較するように構成されている。
【0217】
例えば、図１９及び図２０の例のように、予測対象ブロックの現フレームＣpのＰＯＣが「５」であり、隣接ブロックの参照フレームＬn0のＰＯＣが「０」であり、隣接ブロックの参照フレームＬn1のＰＯＣが「８」である場合、｜Ｃp－Ｌn0｜＝５、｜Ｃp－Ｌn0｜＝３となるため、ＯＢＭＣ適用判定部３４ｂ２は、隣接ブロックの参照フレームＬn1を選択する。
【0218】
かかる方法は、ＰＯＣの差の絶対値が小さい方が、予測精度が高くなりやすいという考えに基づいている。
【0219】
すなわち、方法１では、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックの現フレームＣpと隣接ブロックの参照フレームＬn0/Ｌn1との間のＰＯＣ差の絶対値が小さい方を選択し、選択した隣接ブロックの参照フレームＬn1を用いた片方向予測が隣接ブロックに適用されていると判定するように構成されている。
【0220】
（方法２）
ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックの参照フレームＬp0/Ｌp1と隣接ブロックの参照フレームＬn0/Ｌn1とのＰＯＣの差の絶対値を比較するように構成されている。
ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックの参照フレームＬp0/Ｌp1と隣接ブロックの参照フレームＬn0/Ｌn1とのＰＯＣの差の絶対値を比較するように構成されている。
【0221】
例えば、図１９及び図２０の例のように、予測対象ブロックの参照フレームＬp0/Ｌp1のＰＯＣが「４」/「６」であり、隣接ブロックの参照フレームＬn0/Ｌn1のＰＯＣが「０」/「８」である場合、｜Ｌp0－Ｌn0｜＝４、｜Ｌp0－Ｌn1｜＝４、｜Ｌp1－Ｌn0｜＝６、｜Ｌp1－Ｌn1｜＝２となるため、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックが参照フレームＬp1を有する場合は、ＰＯＣの差の絶対値が小さい隣接ブロックの参照フレームＬn1を選択する。
【0222】
ここで、予測対象ブロックが参照フレームＬp0を有する場合は、ＰＯＣの差の絶対値が隣接ブロックの参照フレームＬn0/Ｌn1で等しいため、後述する選択手法で、隣接ブロックの参照フレームを一意に決定する。
【0223】
かかる方法は、ＰＯＣの差の絶対値が小さい方が、予測精度が高くなりやすいという考えに基づいている。
【0224】
すなわち、方法２では、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックの参照フレームＬp0/Ｌp1と隣接ブロックの参照フレームＬn0/Ｌn1との間のＰＯＣ差の絶対値が小さい方を選択し、選択した隣接ブロックの参照フレームＬn1を用いた片方向予測が隣接ブロックに適用されていると判定するように構成されている。
【0225】
（方法３）
方法３では、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックの参照フレームＬp0/Ｌp1と隣接ブロックの参照フレームＬn0/Ｌn1とのＰＯＣの差の絶対値を比較することで選択するように構成されている。
方法３では、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックの参照フレームＬp0/Ｌp1と隣接ブロックの参照フレームＬn0/Ｌn1とのＰＯＣの差の絶対値を比較することで選択するように構成されている。
【0226】
例えば、図１９及び図２０の例のように、予測対象ブロックの参照フレームＬp0/Ｌp1のＰＯＣが「４」/「６」であり、隣接ブロックの参照フレームＬn0/Ｌn1のＰＯＣが「０」/「８」である場合、｜Ｌp0－Ｌn0｜＝４、｜Ｌp0－Ｌn1｜＝４、｜Ｌp1－Ｌn0｜＝６、｜Ｌp1－Ｌn1｜＝２となるため、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックが参照フレームＬp1を有する場合は、ＰＯＣの差の絶対値が大きい隣接ブロックの参照フレームＬn0を選択する。
【0227】
ここで、予測対象ブロックが参照フレームＬp0を有する場合は、ＰＯＣの差の絶対値が隣接ブロックの参照フレームＬn0/Ｌn1で等しいため、後述する選択手法で、隣接ブロックの参照フレームを一意に大きい方が、予測誤差が生じやすくなり、そのようなブロック（ブロック境界）に対してＯＢＭＣを寧ろ積極的に適用した方がよいという考えに基づいている。
【0228】
すなわち、方法３では、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックの参照フレームＬp0/Ｌp1と隣接ブロックの参照フレームＬn0/Ｌn1との間のＰＯＣ差の絶対値が大きい方を選択し、選択した隣接ブロックの参照フレームＬn1を用いた片方向予測が隣接ブロックに適用されていると判定するように構成されている。
【0229】
（方法４）
方法４では、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックの参照画像リスト及び参照画像インデックスが等しい隣接ブロックの参照フレームを選択するように構成されている。
方法４では、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックの参照画像リスト及び参照画像インデックスが等しい隣接ブロックの参照フレームを選択するように構成されている。
【0230】
すなわち、方法４では、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックの参照フレームと等しい隣接ブロックの参照フレームを選択し、選択した隣接ブロックの参照フレームを用いた片方向予測が接ブロックに適用されていると判定するように構成されている。
【0231】
かかる方法は、予測対象ブロックの参照画像リスト及び参照画像インデックスが等しい方の参照フレームを隣接ブロックで選択した場合に、予測対象ブロック及び隣接ブロックの予測方向が等しくなりやすいため、予測精度を向上させられるという考えに基づいている。
【0232】
（方法５）
方法５では、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックの参照画像リスト及び参照画像インデックスが異なる隣接ブロックの参照フレームを選択するように構成されている。
方法５では、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックの参照画像リスト及び参照画像インデックスが異なる隣接ブロックの参照フレームを選択するように構成されている。
【0233】
かかる方法は、予測対象ブロックの参照画像リスト及び参照画像インデックスが異なる方の参照フレームを隣接ブロックで選択した場合に、予測対象ブロック及び隣接ブロックの予測方向が異なりやすいため、その影響で生じた予測誤差が生じやすくなり、予測誤差が生じやすくなり、そのようなブロック（ブロック境界）に対してはＯＢＭＣを積極的に適用した方がよいという考えに基づいている。
【0234】
（方法６）
方法６では、予測対象ブロックの現フレームＣpと隣接ブロックの参照フレームＬn0/Ｌn1との間のＰＯＣの差の絶対値の比較において、絶対値が等しくなった場合の選択方法について説明する。
方法６では、予測対象ブロックの現フレームＣpと隣接ブロックの参照フレームＬn0/Ｌn1との間のＰＯＣの差の絶対値の比較において、絶対値が等しくなった場合の選択方法について説明する。
【0235】
例えば、予測対象ブロックの現フレームＣpと隣接ブロックの参照フレームＬn0/Ｌn1との間のＰＯＣの差の絶対値が、|Ｃp－Ｌn0|＝Ａ、|Ｃp－Ｌn1|＝Ｂで、Ａ＝Ｂとなる場合、ＯＢＭＣ適用判定部３４ｂ２は、新たに予測対象ブロックの参照フレームＬp0/Ｌp1と隣接ブロックの参照フレームＬn0/Ｌn1との間のＰＯＣの差の絶対値を比較することで、隣接ブロックの参照フレームを一意に選択するように構成されている。
【0236】
例えば、予測対象ブロックが参照フレームＬp0を有する場合に、|Ｌp0－Ｌn0|＝Ｃ、|Ｌp0－Ｌn1|＝Ｄで、Ｃ＜Ｄとなる場合は、ＯＢＭＣ適用判定部３４ｂ２は、絶対値が小さいＬn0を隣接ブロックの参照フレームとして選択するように構成されている。
【0237】
（方法７）
方法７では、予測対象ブロックの参照フレームＬp0/Ｌp1と隣接ブロックの参照フレームＬn0/Ｌn1との間のＰＯＣの差の絶対値の比較において、絶対値が等しくなった場合の選択方法について説明する。
方法７では、予測対象ブロックの参照フレームＬp0/Ｌp1と隣接ブロックの参照フレームＬn0/Ｌn1との間のＰＯＣの差の絶対値の比較において、絶対値が等しくなった場合の選択方法について説明する。
【0238】
例えば、予測対象ブロックの参照現フレームＬp0/Ｌp1と隣接ブロックの参照フレームＬn0/Ｌn1との間のＰＯＣの差の絶対値が、|Ｌp0－Ｌn0|＝Ｘ、|Ｌp0－Ｌn1|＝Ｙで、Ｘ＝Ｙとなる場合、ＯＢＭＣ適用判定部３４ｂ２は、新たに予測対象ブロックの現フレームＣpと隣接ブロックの参照フレームＬn0/Ｌn1との間のＰＯＣの差の絶対値を比較することで、隣接ブロックの参照フレームを一意に選択するように構成されている。
【0239】
例えば、|Ｃp－Ｌn0|＝Ｕ、|Ｃp－Ｌn1|＝Ｖで、Ｕ＜Ｖとなる場合は、ＯＢＭＣ適用判定部３４ｂ２は、絶対値が小さいＬn0を隣接ブロックの参照フレームとして選択するように構成されている。
【0240】
（方法８）
方法８では、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックの参照フレームと隣接ブロックの参照フレームとの間のＰＯＣの差の絶対値の比較で、絶対値が等しくなった場合に、隣接ブロックの参照フレームを予め定められたＬn0（或いは、Ｌn1）に選択するように構成されている。
方法８では、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックの参照フレームと隣接ブロックの参照フレームとの間のＰＯＣの差の絶対値の比較で、絶対値が等しくなった場合に、隣接ブロックの参照フレームを予め定められたＬn0（或いは、Ｌn1）に選択するように構成されている。
【0241】
また、方法８では、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロックの参照フレームと隣接ブロックの参照フレームとの間のＰＯＣの差の絶対値の比較の結果に関わらず、隣接ブロックの参照フレームを予め定められたＬn0（或いは、Ｌn1）に選択するように構成されていてもよい。
【0242】
（変更例５）
なお、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロック単位ではなく、非特許文献１に記載されているように、予測対象ブロックを分割した予測対象サブブロック単位で、ＯＢＭＣを適用するか否かについて判定するように構成されていてもよい。
なお、ＯＢＭＣ適用判定部３４ｂ２は、予測対象ブロック単位ではなく、非特許文献１に記載されているように、予測対象ブロックを分割した予測対象サブブロック単位で、ＯＢＭＣを適用するか否かについて判定するように構成されていてもよい。
【0243】
【0244】
図２１の例では、符号化対象ブロックに２つの予測対象ブロック＃１/＃２（１６×３２単位）が含まれている。ここで、ＯＢＭＣ適用判定部３４ｂ２は、かかる予測対象ブロック＃１/＃２の境界を４×４単位の予測対象サブブロックに分割して、かかる予測対象サブブロックに対してＯＢＭＣを適用するか否かについて判定する。
【0245】
ここで、隣接ブロックが予測対象ブロックと異なる動きベクトルを持つ場合は、上述したように、ＯＢＭＣの適否が判定され、ＯＢＭＣが適用されると判定された場合は、予測対象ブロックの境界がＯＢＭＣによって平滑化され、予測誤差を低減し、結果的に、客観性能が向上する。
【0246】
図２２の例は、予測対象ブロックが符号化対象ブロック内で異なる動きベクトルを持つケースについて示す。
【0247】
予測対象ブロックが符号化対象ブロック内で異なる動きベクトルを持つ場合とは、例えば、非特許文献１で提案されているＡＴＭＶＰ（Ａｌｔｅｒｎａｔｉｖｅ Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）モード、ＡＦＦＩＮＥモード、ＦＲＵＣ（Ｆｒａｍｅ-Ｒａｔｅ-Ｕｐ Ｃｏｎｖｅｒｓｉｏｎ）モードが適用された場合等が挙げられる。
【0248】
かかる場合、予測対象ブロックに対するＯＢＭＣの適用判定領域は、予測対象ブロック境界のみならず、予測対象サブブロック境界にも及ぶことになる。この場合、予測対象ブロックの境界のみに対してＯＢＭＣを適用する場合に比べて、必要なメモリバンド幅や演算負荷が増大するため、上述の通り、ＯＢＭＣの適用ライン数を減らす等の方法を取ることができる。
【0249】
（第６実施形態）
以下、本発明の第６実施形態について、上述の実施形態及び変更例との相違点に着目して説明する。本実施形態では、ＯＢＭＣ適用時に使用する重み係数マトリクスの重み値の決定方法について説明する。
以下、本発明の第６実施形態について、上述の実施形態及び変更例との相違点に着目して説明する。本実施形態では、ＯＢＭＣ適用時に使用する重み係数マトリクスの重み値の決定方法について説明する。
【0250】
第１に、重み係数マトリクスのサイズは、予測対象ブロックに対してＯＢＭＣを適用する領域によって決定される。
【0251】
例えば、予測対象ブロック境界から４ライン分（４×４予測対象サブブロック単位）でＯＢＭＣが適用される場合は、重み係数マトリクスは、４ライン分（４×４）となる。
【0252】
第２に、予測対象ブロックの参照画素値及び隣接ブロックの参照画素値についての重み係数マトリクスの重み値は、予測対象ブロック境界からの距離の比に基づいて決定される。ＯＢＭＣが適用される場合、予測対象ブロックの参照画素値の重み値は、予測対象ブロック境界から近い順に（３/４、７/８、１５/１６、３１/３２）となり、隣接ブロックの参照画素値は、予測対象ブロック境界から近い順に（１/４、１/８、１/１６、１/３２）となる。
【0253】
一方で、予測サブブロックの上左或いは上下左右の境界がＯＢＭＣの対象となる場合は、隣接ブロック数に基づいて、重み係数マトリクスの重み値を変えてもよい。
【0254】
ただし、隣接ブロックが予測対象サブブロックと同じ動きベクトルと参照フレームをもつ場合はＯＢＭＣが適用されないため、隣接ブロック数にカウントするのは、予測対象サブブロックとは異なる動きベクトル又は参照フレームを持つ隣接ブロックに限定する。
【0255】
例えば、予測対象サブブロックが上左に対してＯＢＭＣの対象となる隣接ブロックを持つ場合、予測対象ブロックの参照画素値の重み値は、予測対象ブロック境界から近い順に（２/４、６/８、１４/１６、３０/３２）となり、上隣接ブロックの参照画素値の重み値は、予測対象ブロック境界から近い順に（１/４、１/８、１/１６、１/３２）となり、左隣接ブロックの参照画素値の重み値は、予測対象ブロック境界から近い順に（１/４、１/８、１/１６、１/３２）となる。
【0256】
これは、上隣接ブロックと左隣接ブロックをそれぞれ別々に予測対象ブロックに対して重み値（１/４、１/８、１/１６、１/３２）として加重平均すると、処理の順番によって掛かる重み値が変わってしまうため、処理順によらず、重み値を一定とするためである。
【0257】
また、以下、かかる重み値を予測対象ブロックと隣接ブロックのサイズに基づいて決定する方法について説明する。
【0258】
重みマトリクスの重み値は、非特許文献１に記載の従来手法では、予測対象ブロック境界からの距離に基づいて重み付けするとされているが、予測対象ブロックのサイズが大きい場合は、平坦な画像である可能性が高いため、ＯＢＭＣで加重平均する際の予測対象ブロックと隣接ブロックの参照画素値との重み付け比は小さいほうが良いと考えられる。
【0259】
一方で、予測対象ブロックのサイズが小さい場合は、複雑な模様やエッジを含む画像である可能性が高いため、予測対象ブロックと隣接ブロックとの重み付け比を大きくしてエッジを保存するようにしたほうが良いと考えられる。
【0260】
本実施形態では、ＯＢＭＣ適用部３４ｂ３は、隣接ブロックの数又は予測対象ブロックのサイズに基づいて、ＯＢＭＣにおける加重平均で用いる重み係数マトリクスの重み値を変更するように構成されている。
【0261】
（第７実施形態）
以下、図２３を参照して、本発明の第７実施形態について、上述の実施形態及び変更例との相違点に着目して説明する。本実施形態では、ＯＢＭＣ適用時にデブロッキングフィルタの適用条件を修正するＭＣ予測部３４ｂについて説明する。
以下、図２３を参照して、本発明の第７実施形態について、上述の実施形態及び変更例との相違点に着目して説明する。本実施形態では、ＯＢＭＣ適用時にデブロッキングフィルタの適用条件を修正するＭＣ予測部３４ｂについて説明する。
【0262】
非特許文献２で採用されているデブロッキングフィルタは、ブロック境界の平滑化効果があることが知られているが、その適用判定の１に、境界強度（ＢＳ値：Ｂｏｕｎｄａｒｙ Ｓｔｒｅｎｇｔｈ値）が用いられる。
【0263】
例えば、ＨＥＶＣでは、図２３に示すように、ＢＳ値は、ブロック境界を挟む２つのブロックの条件ごとに規定されており、ＢＳ値が「０」の場合は、デブロッキングフィルタがブロック境界に適用されず、ＢＳ値が「１」以上のときにブロック境界に対してデブロッキングフィルタが適用されることが知られている。
【0264】
ここで、ＯＢＭＣは、上述の通り、予測対象ブロック及び隣接ブロックが異なる動きベクトルを持つ場合に、それぞれの動きベクトルが参照フレーム内で指す参照画素値を加重平均することで、ブロック境界を平滑化するように構成されている。
【0265】
そのため、ＯＢＭＣが適用された上で、デブロッキングフィルタを適用すると、ブロック境界が二重で平滑化されることとなるため、意図せず境界付近が平坦になりすぎてしまう可能性がある。
【0266】
したがって、ＯＢＭＣが適用された場合に、デブロッキングフィルタによる意図しない二重の平滑化を防ぐため、デブロッキングフィルタの適否を判定するために、図２３に示すように、ＢＳ値を修正する。
【0267】
図２３では、ＯＢＭＣが適用される場合において、条件３及び条件４におけるＢＳ値を修正した。
【0268】
条件３及び条件４は、ブロック境界に生じるブロック歪の発生起因を、２つのブロックの動きベクトルが異なること、２つのブロックの動き補償の参照画像が異なること、２つのブロックの動きベクトルの数が異なることとしている。
【0269】
そのため、本実施形態は、ブロック境界を挟む２つのブロックが異なる動きベクトルを持つ場合に、基本的に適用されるＯＢＭＣが、ブロック境界に対して既に適用されている場合、条件３及び条件４についてはＢＳ値を「０」として、デブロッキングフィルタによる二重の平滑化を禁止してもよいという考えに基づいている。
【0270】
すなわち、本実施形態では、ＯＢＭＣ適用部３４ｂ３は、ＯＢＭＣが適用されるか否かに基づいて、デブロッキングフィルタの適用条件を変更するように構成されている。
【0271】
（第８実施形態）
以下、本発明の第８実施形態について、上述の実施形態及び変更例との相違点に着目して説明する。本実施形態では、ＯＢＭＣ適用時のメモリバンド幅や演算回数の削減方法として、予測対象ブロックの隣接ブロックが有する動きベクトルが異なる場合、所定の削減手法によりＯＢＭＣに必要な動きベクトル及び参照フレームの数を削減するように構成されているＭＣ予測部３４ｂについて説明する。
以下、本発明の第８実施形態について、上述の実施形態及び変更例との相違点に着目して説明する。本実施形態では、ＯＢＭＣ適用時のメモリバンド幅や演算回数の削減方法として、予測対象ブロックの隣接ブロックが有する動きベクトルが異なる場合、所定の削減手法によりＯＢＭＣに必要な動きベクトル及び参照フレームの数を削減するように構成されているＭＣ予測部３４ｂについて説明する。
【0272】
予測対象ブロックの隣接ブロックが異なる動きベクトルを有する場合、予測対象ブロックのＯＢＭＣ適用に必要なメモリバンド幅や演算回数は、隣接ブロックの数だけ増大する。
【0273】
そのため、隣接ブロックが異なる動きクトルを有する場合に、ＯＢＭＣ適用に必要な動きベクトル及び参照フレームの数を削として、例えば、以下のような手法が考えられる。
・ 異なる動きベクトルを有する隣接ブロックについて所定のブロックサイズにマージする（例えば、４×４の隣接ブロックについては４×８の隣接ブロック又は８×４の隣接ブロックにマージする）方法。
・ 異なる動きベクトルを有する隣接ブロックが並ぶ場合、ＯＢＭＣ適用時に用いる隣接ブロックを間引く（例えば、１６×１６の予測対象ブロックの上部に対して、４×４の隣接ブロックが４つ並ぶ場合、ＯＢＭＣ適用時に用いる隣接ブロックとして左端及び左端から数えて３番目の２つを用いる、或いは、左端及び右端の隣接ブロックを用いる等）手法。
・ 異なる動きベクトルを有する隣接ブロックについて所定のブロックサイズにマージする（例えば、４×４の隣接ブロックについては４×８の隣接ブロック又は８×４の隣接ブロックにマージする）方法。
・ 異なる動きベクトルを有する隣接ブロックが並ぶ場合、ＯＢＭＣ適用時に用いる隣接ブロックを間引く（例えば、１６×１６の予測対象ブロックの上部に対して、４×４の隣接ブロックが４つ並ぶ場合、ＯＢＭＣ適用時に用いる隣接ブロックとして左端及び左端から数えて３番目の２つを用いる、或いは、左端及び右端の隣接ブロックを用いる等）手法。
【0274】
また、上述した隣接ブロックのマージ方法や間引き方法は、閾値を用いて決定されてもよい。
【0275】
例えば、異なる動きベクトルを有する隣接ブロックの動きベクトルの差が１画素未満の場合は、同じ動きベクトルを持つ隣接ブロックとして扱う。
【0276】
また、かかる動きベクトルの差の閾値は、隣接ブロックに対して片方向予測又は双方向予測が適用されているかに基づいて変更されてもよい。例えば、片方向予測が適用されている場合は、１.５画素未満、双方向予測が適用されている場合は、１画素未満等）。
【0277】
すなわち、本実施形態において、ＯＢＭＣ適用部３４ｂ３は、予測対象ブロックの動きベクトル及び隣接ブロックの動きベクトルが異なる場合、所定の削減手法によりＯＢＭＣに必要な動きベクトル及び参照フレームの数を削減するように構成されている。
【0278】
また、上述の画像符号化装置１０及び画像復号装置３０は、コンピュータに各機能（各工程）を実行させるプログラムであって実現されていてもよい。
【0279】
なお、上記の各実施形態では、本発明を画像符号化装置１０及び画像復号装置３０への適用を例にして説明したが、本発明は、これのみに限定されるものではなく、画像符号化装置１０及び画像復号装置３０の各機能を備えた符号化/復号システムにも同様に適用できる。
【符号の説明】
【0280】
１…画像処理システム
１０…画像符号化装置
１１、３４…インター予測部
１１ａ…動き探索部
１１ａ１、３４ｂ…動き補償（ＭＣ）予測部
１１ａ２…コスト算出部
１１ｂ…マージ部
１１ｃ…ＭＣ予測部
１１ｃ１、３４ｂ１…標準動き補償予測部（標準ＭＣ予測部）
１１ｃ２、３４ｂ２…ＯＢＭＣ適用判定部
１１ｃ３、３４ｂ３…ＯＢＭＣ適用部
１２、３５…イントラ予測部
１３…減算器
１４、３３…加算器
１５…変換・量子化部
１６、３２…逆変換・逆量子化部
１７…符号化部
１８、３６…インループフィルタ
１９、３７…フレームバッファ
３０…画像復号装置
３１…復号部
３４ａ…動きベクトル復号部
１０…画像符号化装置
１１、３４…インター予測部
１１ａ…動き探索部
１１ａ１、３４ｂ…動き補償（ＭＣ）予測部
１１ａ２…コスト算出部
１１ｂ…マージ部
１１ｃ…ＭＣ予測部
１１ｃ１、３４ｂ１…標準動き補償予測部（標準ＭＣ予測部）
１１ｃ２、３４ｂ２…ＯＢＭＣ適用判定部
１１ｃ３、３４ｂ３…ＯＢＭＣ適用部
１２、３５…イントラ予測部
１３…減算器
１４、３３…加算器
１５…変換・量子化部
１６、３２…逆変換・逆量子化部
１７…符号化部
１８、３６…インループフィルタ
１９、３７…フレームバッファ
３０…画像復号装置
３１…復号部
３４ａ…動きベクトル復号部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】