特許 7418152 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-11

(45)【発行日】2024-01-19

(54)【発明の名称】画像符号化装置、画像符号化方法、画像復号装置、画像復号方法

(51)【国際特許分類】

   H04N 19/117 20140101AFI20240112BHJP

   H04N 19/159 20140101ALI20240112BHJP

   H04N 19/176 20140101ALI20240112BHJP

   H04N 19/86 20140101ALI20240112BHJP

【ＦＩ】

H04N19/117

H04N19/159

H04N19/176

H04N19/86

【請求項の数】 16

(21)【出願番号】P 2018235911

(22)【出願日】2018-12-17

(65)【公開番号】P2020098985

(43)【公開日】2020-06-25

【審査請求日】2021-12-16

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】大川 浩司

(72)【発明者】

【氏名】志摩 真悟

【審査官】鉢呂 健

(56)【参考文献】

【文献】国際公開第２０２０／１１４５１３（ＷＯ，Ａ１）

【文献】国際公開第２０２０／１２３４４２（ＷＯ，Ａ１）

【文献】特表２００７－５０３７７５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／００９１８１２（ＵＳ，Ａ１）

【文献】BROSS, Benjamin et al.，Versatile Video Coding (Draft 3)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Macao, CN, 3-12 Oct. 2018, [JVET-L1001-v7]，JVET-L1001 (version 11)，ITU-T，2018年12月20日，＜URL:https://jvet-experts.org/doc_end_user/documents/12_Macao/wg11/JVET-L1001-v11.zip＞: JVET-L1001-v7.docx: pp.141-142,158-161

【文献】WANG, Biao et al.，CE10-related: modification for blocks applied with combined inter-intra prediction，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakesh, Morocco, 9-18 Jan. 2019, [JVET-M0294]，JVET-M0294 (version 2)，ITU-T，2019年01月13日，＜URL:https://jvet-experts.org/doc_end_user/documents/13_Marrakech/wg11/JVET-M0294-v2.zip＞: JVET-M0294-r2.docx: pp.1-6

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

画像をブロックごとに予測処理を行って符号化する符号化手段と、
第１のブロックと、当該第１のブロックと隣接する第２のブロックとの境界に対して行うデブロッキングフィルタ処理のｂＳ値を、前記第１のブロックの予測処理で用いられるモード、および、前記第２のブロックの予測処理で用いられるモードの少なくともいずれか１つに基づいて決定する決定手段と、
前記第１のブロックの第１の量子化パラメータと、前記第２のブロックの第２の量子化パラメータと、前記決定手段が決定したｂＳ値とを用いて導出されたｔｃ値に基づき、デブロッキングフィルタ処理を、前記境界に対して行う処理手段と
を備え、
前記符号化手段は、
符号化の対象のブロックが含まれる画像内の画素を用いて、当該対象のブロックの予測画素を導出する第１のモード、
符号化の対象のブロックが含まれる画像とは異なる画像の画素を用いて、当該対象のブロックの予測画素を導出する第２のモード、及び、
イントラ予測を用いて得られた予測画素の値と、インター予測を用いて得られた予測画素の値と、画像における当該対象のブロックの位置に依存する重みの値と、を用いて、当該対象のブロックの予測画素を生成する第３のモードのいずれかを、
予測処理において用いることが可能であり、
前記決定手段は、
前記第１のブロックと前記第２のブロックの内の少なくともいずれかにおいて、前記第３のモードが用いられる場合、前記第３のモードにおいて用いられる重みの値に関わらず、
前記第１のブロックと前記第２のブロックの前記境界に対して行うデブロッキングフィルタ処理のｂＳ値を、
前記第１のブロックと前記第２のブロックの内の少なくともいずれかにおいて前記第１のモードが用いられる場合と同一のｂＳ値とする
ことを特徴とする画像符号化装置。

【請求項2】

前記決定手段は、
前記第１のブロックと前記第２のブロックとの内の少なくともいずれかにおいて、前記第３のモードが用いられる場合、
前記第１のブロックと前記第２のブロックの境界に対して行うデブロッキングフィルタ処理のｂＳ値を、
前記第１のブロックと前記第２のブロックの両方において前記第２のモードが用いられる場合よりも強いｂＳ値とする
ことを特徴とする請求項１に記載の画像符号化装置。

【請求項3】

前記処理手段は、前記ブロックにおける輝度成分及び色差成分の中から前記ｂＳ値に応じて前記デブロッキングフィルタ処理の対象とする成分を選択することで、前記ｔｃ値に基づき、デブロッキングフィルタ処理を行う
ことを特徴とする請求項１または２に記載の画像符号化装置。

【請求項4】

前記処理手段は、前記デブロッキングフィルタ処理を行うか否かを前記ｂＳ値に応じて選択することで、前記ｔｃ値に基づき、デブロッキングフィルタ処理を行う
ことを特徴とする請求項１乃至３の何れか１項に記載の画像符号化装置。

【請求項5】

前記決定手段は、平滑化効果の異なるフィルタのうち前記境界における輝度成分に適用するフィルタを、前記境界における画素の画素値に基づいて決定する
ことを特徴とする請求項１乃至４の何れか１項に記載の画像符号化装置。

【請求項6】

前記第３のモードにおいて、イントラ予測を用いて得られた予測画素の値と、インター予測を用いて得られた予測画素の値と、前記重みの値と、から得られた値を右に所定数だけビットシフトさせることで、前記対象のブロックの予測画素が生成されることを特徴とする請求項１乃至５のいずれか１項に記載の画像符号化装置。

【請求項7】

ブロックごとに予測処理を行って画像を復号する復号手段と、
第１のブロックと、当該第１のブロックと隣接する第２のブロックの境界に対して行うデブロッキングフィルタ処理のｂＳ値を、前記第１のブロックの予測処理で用いられるモード、および、前記第２のブロックの予測処理で用いられるモードの少なくともいずれか１つに基づいて決定する決定手段と、
前記第１のブロックの第１の量子化パラメータと、前記第２のブロックの第２の量子化パラメータと、前記決定手段が決定したｂＳ値とを用いて導出されたｔｃ値に基づき、デブロッキングフィルタ処理を前記境界に対して行う処理手段と
を備え、
前記復号手段は、
復号の対象のブロックが含まれる画像内の画素を用いて、当該対象のブロックの予測画素を導出する第１のモード、
復号の対象のブロックが含まれる画像とは異なる画像の画素を用いて、当該対象のブロックの予測画素を導出する第２のモード、及び、
イントラ予測を用いて得られた予測画素の値と、インター予測を用いて得られた予測画素の値と、画像における当該対象のブロックの位置に依存する重みの値と、を用いて、当該対象のブロックの予測画素を生成する第３のモードのいずれかを、
予測処理において用いることが可能であり、
前記決定手段は、
前記第１のブロックと前記第２のブロックの内の少なくともいずれかにおいて、前記第３のモードが用いられる場合、前記第３のモードにおいて用いられる重みの値に関わらず、
前記第１のブロックと前記第２のブロックの前記境界に対して行うデブロッキングフィルタ処理のｂＳ値を、
前記第１のブロックと前記第２のブロックの内の少なくともいずれかにおいて前記第１のモードが用いられる場合と同一のｂＳ値とする
ことを特徴とする画像復号装置。

【請求項8】

前記決定手段は、
前記第１のブロックと前記第２のブロックの内の少なくともいずれかにおいて、前記第３のモードが用いられる場合、
前記第１のブロックと前記第２のブロックの境界に対して行うデブロッキングフィルタ処理のｂＳ値を、
前記第１のブロックと前記第２のブロックの両方において前記第２のモードが用いられる場合よりも強いｂＳ値とする
ことを特徴とする請求項７に記載の画像復号装置。

【請求項9】

前記処理手段は、前記ブロックにおける輝度成分及び色差成分の中から前記ｂＳ値に応じて前記デブロッキングフィルタ処理の対象とする成分を選択することで、前記ｔｃ値に基づき、デブロッキングフィルタ処理を行う
ことを特徴とする請求項７または８に記載の画像復号装置。

【請求項10】

前記処理手段は、前記デブロッキングフィルタ処理を行うか否かを前記ｂＳ値に応じて選択することで、前記ｔｃ値に基づき、デブロッキングフィルタ処理を行う
ことを特徴とする請求項７乃至９の何れか１項に記載の画像復号装置。

【請求項11】

前記決定手段は、平滑化効果の異なるフィルタのうち前記境界における輝度成分に適用するフィルタを、前記境界における画素の画素値に基づいて決定する
ことを特徴とする請求項７乃至１０の何れか１項に記載の画像復号装置。

【請求項12】

前記第３のモードにおいて、イントラ予測を用いて得られた予測画素の値と、インター予測を用いて得られた予測画素の値と、前記重みの値と、から得られた値を右に所定数だけビットシフトさせることで、前記対象のブロックの予測画素が生成されることを特徴とする請求項７乃至１１のいずれか１項に記載の画像復号装置。

【請求項13】

画像をブロックごとに予測処理を行って符号化する符号化工程と、
第１のブロックと、当該第１のブロックと隣接する第２のブロックとの境界に対して行うデブロッキングフィルタ処理のｂＳ値を、前記第１のブロックの予測処理で用いられるモード、および、前記第２のブロックの予測処理で用いられるモードの少なくともいずれか１つに基づいて決定する決定工程と、
前記第１のブロックの第１の量子化パラメータと、前記第２のブロックの第２の量子化パラメータと、前記決定工程において決定したｂＳ値とを用いて導出されたｔｃ値に基づき、デブロッキングフィルタ処理を前記境界に対して行う処理工程と
を有し、
前記符号化工程において、
復号の対象のブロックが含まれる画像内の画素を用いて、当該対象のブロックの予測画素を導出する第１のモード、
復号の対象のブロックが含まれる画像とは異なる画像の画素を用いて、当該対象のブロックの予測画素を導出する第２のモード、及び、
イントラ予測を用いて得られた予測画素の値と、インター予測を用いて得られた予測画素の値と、画像における当該対象のブロックの位置に依存する重みの値と、を用いて、当該対象のブロックの予測画素を生成する第３のモードのいずれかを、
予測処理において用いることが可能であり、
前記決定工程において、
前記第１のブロックと前記第２のブロックの内の少なくともいずれかにおいて、前記第３のモードが用いられる場合、前記第３のモードにおいて用いられる重みの値に関わらず、
前記第１のブロックと前記第２のブロックの前記境界に対して行うデブロッキングフィルタ処理のｂＳ値を、
前記第１のブロックと前記第２のブロックの内の少なくともいずれかにおいて前記第１のモードが用いられる場合と同一のｂＳ値とする
ことを特徴とする画像符号化方法。

【請求項14】

ブロックごとに予測処理を行って画像を復号する復号工程と、
第１のブロックと、当該第１のブロックと隣接する第２のブロックの境界に対して行うデブロッキングフィルタ処理のｂＳ値を、前記第１のブロックの予測処理で用いられるモード、および、前記第２のブロックの予測処理で用いられるモードの少なくともいずれか１つに基づいて決定する決定工程と、
前記第１のブロックの第１の量子化パラメータと、前記第２のブロックの第２の量子化パラメータと、前記決定工程において決定したｂＳ値とを用いて導出されたｔｃ値に基づき、デブロッキングフィルタ処理を前記境界に対して行う処理工程と
を有し、
前記復号工程において、
復号の対象のブロックが含まれる画像内の画素を用いて、当該対象のブロックの予測画素を導出する第１のモード、
復号の対象のブロックが含まれる画像とは異なる画像の画素を用いて、当該対象のブロックの予測画素を導出する第２のモード、及び、
イントラ予測を用いて得られた予測画素の値と、インター予測を用いて得られた予測画素の値と、画像における当該対象のブロックの位置に依存する重みの値と、を用いて、当該対象のブロックの予測画素を生成する第３のモードのいずれかを、
予測処理において用いることが可能であり、
前記決定工程において、
前記第１のブロックと前記第２のブロックの内の少なくともいずれかにおいて、前記第３のモードが用いられる場合、前記第３のモードにおいて用いられる重みの値に関わらず、
前記第１のブロックと前記第２のブロックの前記境界に対して行うデブロッキングフィルタ処理のｂＳ値を、
前記第１のブロックと前記第２のブロックの内の少なくともいずれかにおいて前記第１のモードが用いられる場合と同一のｂＳ値とする
ことを特徴とする画像復号方法。

【請求項15】

コンピュータを、請求項１乃至６の何れか１項に記載の画像符号化装置の各手段として機能させるためのコンピュータプログラム。

【請求項16】

コンピュータを、請求項７乃至１２の何れか１項に記載の画像復号装置の各手段として機能させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像符号化技術、画像復号技術に関するものである。

【背景技術】

【0002】

動画像の圧縮記録の符号化方式として、Ｈ．２６４／ＡＶＣ符号化方式（以下、Ｈ．２６４と記す）やＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）符号化方式（以下、ＨＥＶＣと記す）が知られている。ＨＥＶＣでは符号化効率向上のため、従来のマクロブロック（１６画素×１６画素）より大きなサイズの基本ブロックが採用された。この大きなサイズの基本ブロックはＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）と呼ばれ、そのサイズは最大６４画素×６４画素である。ＣＴＵはさらに予測や変換を行う単位となるサブブロックに分割される。

【0003】

またＨＥＶＣにおいては、逆量子化・逆変換処理後の信号と予測画像とを加算した再構成画像のブロック境界に適応的なデブロッキングフィルタ処理を行う事で、視覚的に目立ち易いブロック歪を抑える事ができ、予測画像への画質劣化の伝搬を防ぐ事ができた。特許文献１では、このようなデブロッキングフィルタに関する技術が開示されている。

【0004】

近年、ＨＥＶＣの後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。ＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ）がＩＳＯ／ＩＥＣとＩＴＵ－Ｔの間で設立され、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）符号化方式（以下、ＶＶＣ）として標準化が進められている。符号化効率向上のため、従来のイントラ予測、インター予測に加え、イントラ予測画素とインター予測画素の両方を用いた新たな予測方法（以下、重み付きイントラ・インター予測と呼称する）が検討されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特表２０１４－５０７８６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ＶＶＣにおいても、ＨＥＶＣと同様にデブロッキングフィルタの導入が検討されている。またＶＶＣでは、従来のイントラ予測、インター予測に加えて、イントラ予測画素とインター予測画素の両方を用いて新しい予測画素を生成する重み付きイントラ・インター予測の導入が検討されている。ＨＥＶＣではデブロッキングフィルタの強度の決定方法はイントラ予測・インター予測といった予測方法を前提としている。一方、新しい予測方法である重み付きイントラ・インター予測に対する方法もインター予測と同一の方法でデブロッキングフィルタの強度が決定されるが、これではブロック境界の歪を十分に抑える事ができないという課題があった。本発明では、重み付きイントラ・インター予測に対するデブロッキングフィルタ処理の強度を適切に決定し、ブロック境界に発生する歪を抑制するための技術を提供する。

【課題を解決するための手段】

【0007】

本発明の一様態は、画像をブロックごとに予測処理を行って符号化する符号化手段と、
第１のブロックと、当該第１のブロックと隣接する第２のブロックとの境界に対して行うデブロッキングフィルタ処理のｂＳ値を、前記第１のブロックの予測処理で用いられるモード、および、前記第２のブロックの予測処理で用いられるモードの少なくともいずれか１つに基づいて決定する決定手段と、
前記第１のブロックの第１の量子化パラメータと、前記第２のブロックの第２の量子化パラメータと、前記決定手段が決定したｂＳ値とを用いて導出されたｔｃ値に基づき、デブロッキングフィルタ処理を、前記境界に対して行う処理手段と
を備え、
前記符号化手段は、
符号化の対象のブロックが含まれる画像内の画素を用いて、当該対象のブロックの予測画素を導出する第１のモード、
符号化の対象のブロックが含まれる画像とは異なる画像の画素を用いて、当該対象のブロックの予測画素を導出する第２のモード、及び、
イントラ予測を用いて得られた予測画素の値と、インター予測を用いて得られた予測画素の値と、画像における当該対象のブロックの位置に依存する重みの値と、を用いて、当該対象のブロックの予測画素を生成する第３のモードのいずれかを、
予測処理において用いることが可能であり、
前記決定手段は、
前記第１のブロックと前記第２のブロックの内の少なくともいずれかにおいて、前記第３のモードが用いられる場合、前記第３のモードにおいて用いられる重みの値に関わらず、
前記第１のブロックと前記第２のブロックの前記境界に対して行うデブロッキングフィルタ処理のｂＳ値を、
前記第１のブロックと前記第２のブロックの内の少なくともいずれかにおいて前記第１のモードが用いられる場合と同一のｂＳ値とする
ことを特徴とする。

【発明の効果】

【0008】

本発明の構成によれば、重み付きイントラ・インター予測に対するデブロッキングフィルタ処理の強度を適切に決定し、ブロック境界に発生する歪を抑制することができる。

【図面の簡単な説明】

【0009】

【図1】画像符号化装置の機能構成例を示すブロック図。

【図2】画像復号装置の機能構成例を示すブロック図。

【図3】符号化処理のフローチャート。

【図4】復号処理のフローチャート。

【図5】コンピュータ装置のハードウェア構成例を示すブロック図。

【図6】ビットストリームの構成例を示す図。

【図7】デブロッキングフィルタ処理の一例を示す図。

【発明を実施するための形態】

【0010】

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。例えば、以下の説明において、「基本ブロック」や「サブブロック」といった語句を用いるが、各実施形態は画像符号化技術において「ブロック」や「ユニット」等の名称で呼ばれる種々の処理単位に応用可能である。

【0011】

［第１の実施形態］
先ず、本実施形態に係る画像符号化装置の機能構成例について図１のブロック図を用いて説明する。制御部１９９は、画像符号化装置全体の動作制御を行う。ブロック分割部１０２は、入力画像（動画像を構成する各フレームの画像もしくは静止画像）を複数の基本ブロックに分割し、該分割したそれぞれの基本ブロック（分割画像）を出力する。

【0012】

予測部１０３は、基本ブロックごとに、該基本ブロックを複数のサブブロック（分割画像）に分割する。そして予測部１０３は、サブブロックごとに、フレーム内予測（イントラ予測）、フレーム間予測（インター予測）、又は、フレーム内予測とフレーム間予測の両者を重み付けして組み合わせる重み付きイントラ・インター予測を行って予測画像を生成する。そして予測部１０３はサブブロックごとに、予測画像とサブブロックとの差分を予測誤差として求める。また予測部１０３は、基本ブロックをどのようにサブブロックに分割したのかを示す情報、予測モード、動きベクトル等の予測に必要な情報、を予測情報として生成する。

【0013】

変換・量子化部１０４は、サブブロックごとの予測誤差を直交変換することで、サブブロックごとの変換係数（直交変換係数）を生成する。そして変換・量子化部１０４はそれぞれのサブブロックの変換係数を量子化することで該サブブロックの量子化係数を生成する。

【0014】

逆量子化・逆変換部１０５は、変換・量子化部１０４により生成されたそれぞれのサブブロックの量子化係数を、該サブブロックの量子化に用いた量子化マトリクスを用いて逆量子化して変換係数を生成し、該変換係数を逆直交変換して予測誤差を生成する。

【0015】

画像再生部１０６は、予測部１０３が生成した予測情報に基づいて、フレームメモリ１０７に格納されている符号化済の画像データから予測画像を生成し、該予測画像と、逆量子化・逆変換部１０５が生成した予測誤差と、から画像を再生する。そして画像再生部１０６は、該再生した画像をフレームメモリ１０７に格納する。フレームメモリ１０７に格納されている画像は、予測部１０３が他のフレームの画像について予測（予測処理）を行う際に参照される画像となる。

【0016】

インループフィルタ部１０８は、フレームメモリ１０７に格納されている画像に対して、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行う。

【0017】

フィルタ処理強度計算部１１２は、予測部１０３から出力される予測情報と、変換・量子化部１０４から出力される量子化係数と、を用いて、互いに隣接するサブブロックの境界に対して行うデブロッキングフィルタ処理の強度（ｂＳ値）を計算する。

【0018】

互いに隣接する２つのサブブロックのうち一方をサブブロックＰ、他方をサブブロックＱと称すると、サブブロックＰとサブブロックＱとの境界に対して行うデブロッキングフィルタ処理の強度であるｂＳ値は以下のようにして計算される。

【0019】

・ サブブロックＰおよびサブブロックＱのうち少なくとも一方がイントラ予測あるいは重み付きイントラ・インター予測が適用されたサブブロックである場合はｂＳ値＝２とする
・ 上記以外、サブブロックＰおよびサブブロックＱのうち少なくとも一方のサブブロックに非零の直交変換係数が存在する場合はｂＳ値＝１
・ 上記以外、サブブロックＰの動きベクトルとサブブロックＱの動きベクトルとの差の絶対値（大きさ）が規定値以上（例えば１画素以上）である場合はｂＳ値＝１
・ 上記以外、サブブロックＰとサブブロックＱの動き補償の参照画像が異なるか、動きベクトルの数が異なる場合、ｂＳ値＝１
・ 上記以外、ｂＳ値＝０
ここで、ｂＳ値が大きいほど、強度の強いデブロッキングフィルタを用いたデブロッキングフィルタ処理を施すものとする。本実施形態では、ｂＳ値＝０ではデブロッキングフィルタ処理が実施されず、ｂＳ値＝１では輝度成分にのみデブロッキングフィルタ処理が実施される。ｂＳ値＝２では輝度成分および色差成分にデブロッキングフィルタ処理が実施される。すなわち本実施形態においては、ｂＳ値は、デブロッキングフィルタ処理を行うか否かを示したり、輝度成分や色差成分といったデブロッキングフィルタ処理の対象となる信号（画像成分）の種類を示しているが、これに限定されるものではない。デブロッキングフィルタ処理の強度の種類はもっと数が多くてもいいし少なくてもよい。デブロッキングフィルタ処理の強度に応じた処理の内容も異なっていてもよい。
例えば、Ｈ．２６４のデブロッキングフィルタ処理のように、ｂＳ値が０～４の五段階の値をとっても良い。本実施形態では重み付きイントラ・インター予測を使用したサブブロックの境界に対するデブロッキングフィルタ処理の強度は、該サブブロックがイントラ予測を使用した時と同一の値となっている。これはｂＳ値＝２、即ち最大の強度であることを示しているが、本実施形態はこれに限定されるものではない。本実施形態におけるｂＳ値＝１とｂＳ値＝２との間に中間的なｂＳ値を設け、サブブロックＰとサブブロックＱの少なくとも一方が重み付きイントラ・インター予測の場合は、この中間的なｂＳ値を用いる構成としても良い。その場合、輝度成分には通常のｂＳ値＝２の時と同様のデブロッキングフィルタ処理を実施し、色差成分にはｂＳ値＝２の時よりも平滑効果の強度が弱いデブロッキングフィルタ処理を実施することも可能である。これにより、重み付きイントラ・インター予測を用いたサブブロックの境界に対しては、中間的な平滑する度合のデブロッキングフィルタ処理を実施することができる。以上のように、単に「デブロッキングフィルタ処理の強度」と称する場合は、デブロッキングフィルタ処理を行う対象となる信号（輝度成分又は色差成分）を変えたり、デブロッキングフィルタによって信号を補正する平滑効果の強度を変えたりすることで、デブロッキングフィルタ処理の強度を変えることを意味するものとする。

【0020】

以上のように、フレームメモリ１０７に格納されている再生画像（復号画像）において隣接するそれぞれのブロックの境界に対して行うデブロッキングフィルタ処理の強度を、該それぞれのブロックの予測符号化の過程で得た情報に基づいて決定する。

【0021】

本実施形態では、サブブロックの境界を含む８画素×８画素の画像領域に対してデブロッキングフィルタを適用することで、該画像領域に対するデブロッキングフィルタ処理を実現させる。

【0022】

ここで、インループフィルタ部１０８が行うデブロッキングフィルタ処理について、図７の例を挙げて詳細に説明する。図７では、８画素×８画素のサイズを有するサブブロックＰ（図７ではブロックＰと称している）の右隣に８画素×８画素のサイズを有するサブブロックＱ（図７ではブロックＱと称している）が隣接している。ここで、サブブロックＰとサブブロックＱとの境界部分（サブブロックＰの右端の４画素（横）×８画素（縦）とサブブロックＱの左端の４画素（横）×８画素（縦）から成る８画素（横）×８画素（縦））に対してデブロッキングフィルタ処理を行うとする。このとき、境界部分の上半分と下半分のそれぞれに対して以下に説明する処理を行うことで、該上半分と該下半分のそれぞれに対してデブロッキングフィルタ処理を実現させることができる。ここで、境界部分の上半分とは、サブブロックＰの右上の４画素（横）×４画素（縦）とサブブロックＱの左上の４画素（横）×４画素（縦）とから成る８画素（横）×４画素（縦）の画像領域を指す。また境界部分の下半分とは、サブブロックＰの右下の４画素（横）×４画素（縦）とサブブロックＱの左下の４画素（横）×４画素（縦）とから成る８画素（横）×４画素（縦）の画像領域を指す。

【0023】

以下では、境界部分の下半分に対するデブロッキングフィルタ処理について説明する。以下に説明するデブロッキングフィルタ処理は、境界部分の上半分にも同様に適用される。

【0024】

図７のｐ００～ｐ３３が記された各矩形は、サブブロックＰの右下の４画素（横）×４画素（縦）の画像領域における各画素を表しており、ｐ００～ｐ３３は画素値を示している。図７のｑ００～ｑ３３は、サブブロックＱの左下の４画素（横）×４画素（縦）の画像領域における各画素を表しており、ｑ００～ｑ３３は画素値を示している。まず、輝度信号に関し、ｂＳ値≧１の場合、下記の式を用いてフィルタリング処理を行うか否かを判定する。

【0025】

｜ｐ２０－２×ｐ１０＋ｐ００｜＋｜ｐ２３－２×ｐ１３＋ｐ０３｜＋｜ｑ２０－２×ｑ１０＋ｑ００｜＋｜ｑ２３－２×ｑ１３＋ｑ０３｜＜β
ここで、βはサブブロックＰの量子化パラメータとサブブロックＱの量子化パラメータとの平均値から求められる値である。この不等式が満たされている場合にのみ、デブロッキングフィルタ処理を行うと判断する。デブロッキングフィルタ処理を行う場合、次に、平滑化効果の異なるストロングフィルタリングとウィークフィルタリングの何れを使用するのかを判定する。以下の（１）～（６）の不等式が全て満たされていれば平滑効果が強いストロングフィルタリングを使用すると判断し、それ以外の場合は平滑効果がストロングフィルタリングよりも弱いウィークフィルタリングを使用すると判断する。
（１） ２×（｜ｐ２０－２×ｐ１０＋ｐ００｜＋｜ｑ２０－２×ｑ１０＋ｑ００｜）＜（β＞＞２）
（２） ２×（｜ｐ２３－２×ｐ１３＋ｐ０３｜＋｜ｑ２３－２×ｑ１３＋ｑ０３｜）＜（β＞＞２）
（３） ｜ｐ３０－ｐ００｜＋｜ｑ００－ｑ３０｜＜（β＞＞３）
（４） ｜ｐ３３－ｐ０３｜＋｜ｑ０３－ｑ３３｜＜（β＞＞３）
（５） ｜ｐ００－ｑ００｜＜（（５×ｔｃ＋１）＞＞１）
（６） ｜ｐ０３－ｑ０３｜＜（（５×ｔｃ＋１）＞＞１）
ここで、＞＞Ｎ（Ｎ＝１～３）はＮビット算術右シフト演算を意味し、ｔｃはｂＳ値とサブブロックＰの量子化パラメータとサブブロックＱの量子化パラメータとから求められる値である。

【0026】

輝度信号に対する、平滑効果が強いストロングフィルタリング処理は、フィルタリング後の画素をｐ’０ｋ，ｐ’１ｋ，ｐ’２ｋ，ｑ’０ｋ，ｑ’１ｋ，ｑ’２ｋ（ｋ＝０～３）とすると、以下の式で表される。

【0027】

ｐ’０ｋ＝Ｃｌｉｐ３（ｐ０ｋ－２×ｔｃ，ｐ０ｋ＋２×ｔｃ，（ｐ２ｋ＋２×ｐ１ｋ＋２×ｐ０ｋ＋２×ｑ０ｋ＋ｑ１ｋ＋４）＞＞３）
ｐ’１ｋ＝Ｃｌｉｐ３（ｐ１ｋ－２×ｔｃ，ｐ１ｋ＋２×ｔｃ，（ｐ２ｋ＋ｐ１ｋ＋ｐ０ｋ＋ｑ０ｋ＋２）＞＞２）
ｐ’２ｋ＝Ｃｌｉｐ３（ｐ２ｋ－２×ｔｃ，ｐ２ｋ＋２×ｔｃ，（２×ｐ３ｋ＋３×ｐ２ｋ＋ｐ１ｋ＋ｐ０ｋ＋ｑ０ｋ＋４）＞＞３）
ｑ’０ｋ＝Ｃｌｉｐ３（ｑ０ｋ－２×ｔｃ，ｑ０ｋ＋２×ｔｃ，（ｑ２ｋ＋２×ｑ１ｋ＋２×ｑ０ｋ＋２×ｐ０ｋ＋ｐ１ｋ＋４）＞＞３）
ｑ’１ｋ＝Ｃｌｉｐ３（ｑ１ｋ－２×ｔｃ，ｑ１ｋ＋２×ｔｃ，（ｑ２ｋ＋ｑ１ｋ＋ｑ０ｋ＋ｐ０ｋ＋２）＞＞２）
ｑ’２ｋ＝Ｃｌｉｐ３（ｑ２ｋ－２×ｔｃ，ｑ２ｋ＋２×ｔｃ，（２×ｑ３ｋ＋３×ｑ２ｋ＋ｑ１ｋ＋ｑ０ｋ＋ｐ０ｋ＋４）＞＞３）
ここで、Ｃｌｉｐ３（ａ，ｂ，ｃ）は、ｃの範囲がａ≦ｂ≦ｃとなるようにクリップ処理する関数である。一方、輝度信号に対する、平滑効果が弱いウィークフィルタリング処理は以下のように実施される。

【0028】

Δ＝（９×（ｑ０ｋ－ｐ０ｋ）－３×（ｑ１ｋ－ｐ１ｋ）＋８）＞＞４
｜Δ｜＜１０×ｔｃ
この不等式が満たされない場合は、デブロッキングフィルタ処理は実施されず、満たす場合は、画素値ｐ０ｋ及び画素値ｑ０ｋに対して以下に示す処理を行うものとする。

【0029】

Δ＝Ｃｌｉｐ３（－ｔｃ，ｔｃ，Δ）
ｐ’０ｋ＝Ｃｌｉｐ１Ｙ（ｐ０ｋ＋Δ）
ｑ’０ｋ＝Ｃｌｉｐ１Ｙ（ｑ０ｋ－Δ）
ここで、Ｃｌｉｐ１Ｙ（ａ）は、ａの範囲が０≦ａ≦（輝度信号のビット深度で表現可能な最大値）となるようにクリップ処理を行う関数である。さらに次の条件を満たすとき、
｜ｐ２０－２×ｐ１０＋ｐ００｜＋｜ｐ２３－２×ｐ１３＋ｐ０３｜＜（β＋（β＞＞１））＞＞３）
｜ｑ２０－２×ｑ１０＋ｑ００｜＋｜ｑ２３－２×ｑ１３＋ｑ０３｜＜（β＋（β＞＞１））＞＞３）
それぞれｐ１ｋ，ｑ１ｋに対して以下のフィルタ処理が行われる。

【0030】

Δｐ＝Ｃｌｉｐ３（－（ｔｃ＞＞１），ｔｃ＞＞１，（（（ｐ２ｋ＋ｐ０ｋ＋１）＞＞１）－ｐ１ｋ＋Δ）＞＞１）
ｐ’１ｋ＝Ｃｌｉｐ１Ｙ（ｐ１ｋ＋Δｐ）
Δｑ＝Ｃｌｉｐ３（－（ｔｃ＞＞１），ｔｃ＞＞１，（（（ｑ２ｋ＋ｑ０ｋ＋１）＞＞１）－ｑ１ｋ＋Δ）＞＞１）
ｑ’１ｋ＝Ｃｌｉｐ１Ｙ（ｑ１ｋ＋Δｑ）
色差信号のデブロッキングフィルタ処理については、ｂＳ値＝２の時のみ以下の処理が行われる。

【0031】

Δ＝Ｃｌｉｐ３（－ｔｃ，ｔｃ，（（（（ｑ０ｋ－ｐ０ｋ）＜＜２）＋ｐ１ｋ－ｑ１ｋ＋４）＞＞３））
ｐ’０ｋ＝Ｃｌｉｐ１Ｃ（ｐ０ｋ＋Δ）
ｐ’０ｋ＝Ｃｌｉｐ１Ｃ（ｐ０ｋ－Δ）
ここで、Ｃｌｉｐ１Ｃ（ａ）は、ａの範囲が０≦ａ≦（色差信号のビット深度で表現可能な最大値）となるようにクリップ処理を行う関数である。本実施形態では、デブロッキングフィルタ処理の強度を示すｂＳ値は、デブロッキングフィルタの処理対象の信号の種類を示し、それとは別に平滑化効果の高いストロングフィルタ、平滑化効果の弱いウィークフィルタを画素値の条件に応じて使い分けた。しかしこれに限定されるものではない。例えば、ｂＳ値に応じて信号の種類だけでなく平滑化効果の強弱が決定されてもよいし、平滑化効果の強弱だけがｂＳ値によって決定され、信号の種類はまた別の条件によって決定されてもよい。

【0032】

符号化部１０９は、変換・量子化部１０４により生成された量子化係数と、予測部１０３により生成された予測情報と、を符号化して符号化データを生成する。統合符号化部１１０は、符号化部１０９により生成された符号化データと、入力画像の復号に必要な情報を含むヘッダデータと、を含むビットストリームを生成して出力する。

【0033】

次に、本実施形態に係る画像符号化装置の動作について説明する。ブロック分割部１０２は、入力画像を複数の基本ブロックに分割し、該分割したそれぞれの基本ブロックを出力する。

【0034】

予測部１０３は、基本ブロックごとに、該基本ブロックを複数のサブブロック（分割画像）に分割する。そして予測部１０３は、サブブロックごとに、以下の何れの予測方法を用いて符号化するのかを決定する。

【0035】

・ 水平予測や垂直予測などのイントラ予測
・ 参照フレームから動き補償を行うインター予測
・ イントラ予測とインター予測を組み合わせた重み付きイントラ・インター予測
本実施形態で用いられる予測方法について、改めて説明する。イントラ予測では、符号化対象となるブロック（符号化対象ブロック）の空間的に周辺に位置する符号化済画素を用いて符号化対象ブロックの予測画素を生成（導出）し、水平予測や垂直予測、ＤＣ予測などのイントラ予測方法を示すイントラ予測モードも生成する。

【0036】

インター予測では、符号化対象ブロックとは時間的に異なるフレームの符号化済画素を用いて符号化対象ブロックの予測画素を生成し、参照するフレームや動きベクトルなどを示す動き情報も生成する。

【0037】

重み付きイントラ・インター予測では、前述のイントラ予測により生成された画素値と前述のインター予測により生成された画素値とを加重平均して（両方を用いて）、符号化対象ブロックの予測画素の画素値を生成する。予測画素の画素値は、例えば、下記の式（１）を用いて計算する（基本ブロックのサイズが８画素×８画素の場合の式）。

【0038】

ｐ［ｘ］［ｙ］＝（ｗ×ｐＩｎｔｅｒ［ｘ］［ｙ］＋（８－ｗ）×ｐＩｎｔｒａ［ｘ］［ｙ］）＞＞３）…（１）
ただし、「＞＞」は右へのビットシフトを表す。上記の式（１）において、ｐ［ｘ］［ｙ］は符号化対象ブロック内の座標（ｘ，ｙ）における算出された重み付きイントラ・インター予測による予測画素の画素値である。ｐＩｎｔｅｒ［ｘ］［ｙ］は符号化対象ブロック内の座標（ｘ，ｙ）におけるインター予測による画素値、ｐＩｎｔｅｒ［ｘ］［ｙ］は符号化対象ブロック内の座標（ｘ，ｙ）におけるインター予測による画素値を表している。ｗはインター予測の画素値およびイントラ予測の画素値に対する重み値を表しており、本実施形態ではｗ＝４の時にインター予測の画素値とイントラ予測の画素値に対する重みが同一となる。言い換えれば、ｗ＞４であればインター予測の画素値に対する重みが増し、ｗ＜４であればイントラ予測の画素値に対する重みが増す。重み値ｗの決定方法は特に限定しないが、イントラ予測モードやインター予測の動きベクトルの大きさ、符号化対象ブロックの位置などに応じて決定されるものとする。こうして重み付きイントラ・インター予測では、符号化対象ブロックの予測画素を生成し、予測画素の生成に用いられたイントラ予測モードや動き情報も生成する。

【0039】

そして予測部１０３は、決定した予測方法および符号化済の画素から予測画像を生成し、サブブロックと予測画像から予測誤差を生成する。また予測部１０３は、基本ブロックをどのようにサブブロックに分割したのかを示す情報、予測モード、動きベクトル等の予測に必要な情報を予測情報として生成する。

【0040】

変換・量子化部１０４は、サブブロックごとの予測誤差を直交変換することで、サブブロックごとの変換係数を生成する。そして変換・量子化部１０４はそれぞれのサブブロックの変換係数を量子化することで該サブブロックの量子化係数を生成する。

【0041】

逆量子化・逆変換部１０５は、変換・量子化部１０４により生成されたそれぞれのサブブロックの量子化係数を、該サブブロックの量子化に用いた量子化マトリクスを用いて逆量子化して変換係数を生成し、該変換係数を逆直交変換して予測誤差を生成する。

【0042】

画像再生部１０６は、予測部１０３が生成した予測情報に基づいて、フレームメモリ１０７に格納されている符号化済画像データから予測画像を生成し、該予測画像と、逆量子化・逆変換部１０５が生成した予測誤差と、から画像を再生する。そして画像再生部１０６は、該再生した画像をフレームメモリ１０７に格納する。

【0043】

フィルタ処理強度計算部１１２は、予測部１０３から出力される予測情報と、変換・量子化部１０４から出力される量子化係数と、を用いて上記の処理を行うことで、互いに隣接するサブブロックの境界に対して行うデブロッキングフィルタ処理の強度を計算する。

【0044】

インループフィルタ部１０８は、フレームメモリ１０７に格納されている画像に対して、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行う。インループフィルタ部１０８にて行うデブロッキングフィルタ処理は、フィルタ処理強度計算部１１２が求めた強度に基づいている。

【0045】

符号化部１０９は、変換・量子化部１０４により生成された量子化係数と、予測部１０３により生成された予測情報と、をエントロピー符号化して符号化データを生成する。エントロピー符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。

【0046】

統合符号化部１１０は、符号化部１０９により生成された符号化データやヘッダデータなどを多重化してビットストリームを生成し、該生成したビットストリームを出力する。

【0047】

以上説明した画像符号化装置による入力画像の符号化処理について、図３のフローチャートに従って説明する。ステップＳ３０１では、統合符号化部１１０は、画像の符号化に必要なヘッダを符号化してヘッダデータ（符号化データ）を生成する。

【0048】

ステップＳ３０２では、ブロック分割部１０２は、入力画像を複数の基本ブロックに分割する。ステップＳ３０３では、予測部１０３は、ステップＳ３０２で分割されたそれぞれの基本ブロックのうち未選択の１つを選択基本ブロックとして選択する。そして予測部１０３は、サブブロック分割方法（本実施形態ではイントラ予測、インター予測、重み付きイントラ・インター予測の何れか１つの予測方法）を決定し、該決定したサブブロック分割方法に従って選択基本ブロックを複数のサブブロックに分割する。また予測部１０３は、サブブロック単位で予測方法を決定する。そして予測部１０３は、サブブロックごとに、フレームメモリ１０７内の画像を用いて、決定した予測方法に従って予測を行うことで予測画像を生成し、サブブロックと該予測画像との差分を予測誤差として求める。また予測部１０３は、サブブロック分割方法を示す情報、予測モード、動きベクトル等の予測に必要な情報を予測情報として生成する。

【0049】

ステップＳ３０４では、変換・量子化部１０４は、サブブロックごとの予測誤差を直交変換することで、サブブロックごとの変換係数を生成する。そして変換・量子化部１０４はそれぞれのサブブロックの変換係数を量子化して、該サブブロックの量子化係数を生成する。

【0050】

ステップＳ３０５では、逆量子化・逆変換部１０５は、ステップＳ３０４で生成されたそれぞれのサブブロックの量子化係数を、該サブブロックの量子化で用いた量子化マトリクスを用いて逆量子化して変換係数を生成する。そして逆量子化・逆変換部１０５は、該生成された変換係数を逆直交変換して予測誤差を生成する。

【0051】

ステップＳ３０６では、画像再生部１０６は、予測部１０３が生成した予測情報に基づいて、フレームメモリ１０７に格納されている符号化処理済の画像データから予測画像を生成する。そして画像再生部１０６は、該予測画像と、逆量子化・逆変換部１０５が生成した予測誤差と、から画像を再生する。そして画像再生部１０６は、該再生した画像をフレームメモリ１０７に格納する。

【0052】

ステップＳ３０７では、符号化部１０９は、変換・量子化部１０４により生成された量子化係数と、予測部１０３により生成された予測情報と、をエントロピー符号化して符号化データを生成する。統合符号化部１１０は、符号化部１０９により生成された符号化データと、ヘッダデータと、を多重化してビットストリームを生成する。

【0053】

ステップＳ３０８では、制御部１９９は、全ての基本ブロックが符号化されたか否かを判断する。この判断の結果、全ての基本ブロックが符号化された場合には、処理はステップＳ３０９に進み、未だ符号化されていない基本ブロックが残っている場合には、処理はステップＳ３０３に進む。

【0054】

ステップＳ３０９でフィルタ処理強度計算部１１２は、予測部１０３が求めた予測情報と変換・量子化部１０４が求めた量子化係数とを用いて上記の処理を行うことで、互いに隣接するサブブロックの境界に対して行うデブロッキングフィルタ処理の強度を計算する。

【0055】

ステップＳ３１０では、インループフィルタ部１０８は、フレームメモリ１０７に格納されている画像に対して、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行う。互いに隣接するサブブロックの境界に対して行うデブロッキングフィルタ処理は、該境界についてフィルタ処理強度計算部１１２が求めた強度に基づいている。

【0056】

このように本実施形態によれば、特にステップＳ３０９において、重み付きイントラ・インター予測を使用したサブブロックの境界に対して歪み補正効果の高いデブロッキングフィルタを設定できる。これにより、ブロック歪を抑制することができ、主観画質を向上させることができる。また、デブロッキングフィルタ処理の強度の計算に新たな演算を必要としないため、実装の複雑度を高めることもない。

【0057】

また、本実施形態では、デブロッキングフィルタ処理の強度（ｂＳ値）によって、輝度または色差のブロック境界に対するデブロッキングフィルタ処理の有無が変更される構成としたが、強度（ｂＳ値）によって、フィルタ自体の平滑効果の強度を変更する構成としても良い。例えば、デブロッキングフィルタ処理の強度（ｂＳ値）が大きい際にはよりタップ長が長く補正効果の高いフィルタを用い、デブロッキングフィルタ処理の強度（ｂＳ値）が小さい際にはよりタップ長の短い補正効果の低いフィルタを用いることもできる。これにより、デブロッキングフィルタ処理の有無以外の手法でフィルタの強度、すなわち補正効果を調整することが可能となる。

【0058】

［第２の実施形態］
本実施形態を含む以下の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。本実施形態では、画像符号化装置は図３のフローチャートに従って以下のような処理を行う。

【0059】

本実施形態に係るビットストリームの構成例を図６に示す。ピクチャヘッダにはデブロッキングフィルタリング処理の強度の重み付け閾値（強度重み付け閾値）であるｆｉｌｔｅｒ＿ｗｅｉｇｈｔ＿ｔｈｒｅｓｈｏｌｄが格納されている。これは重み付きイントラ・インター予測における重み値ｗによって、デブロッキングフィルタのｂＳ値の算出において、当該のサブブロックをイントラ予測を適用したサブブロック、インター予測を適用したサブブロックのどちらとして扱うかを決める閾値である。

【0060】

ステップＳ３０９では、フィルタ処理強度計算部１１２はｂＳ値を計算する。具体的には以下の不等式が成立する場合には、重み付きイントラ・インター予測のサブブロックはイントラ予測のサブブロックとしてｂＳ値が計算される。

【0061】

ｗ＜ｆｉｌｔｅｒ＿ｗｅｉｇｈｔ＿ｔｈｒｅｓｈｏｌｄ
例えばｆｉｌｔｅｒ＿ｗｅｉｇｈｔ＿ｔｈｒｅｓｈｏｌｄの値が４の時、４未満のｗを持つ重み付きイントラ・インター予測のサブブロックは全てイントラ予測のサブブロックとして扱われる。４以上のｗを持つ重み付きイントラ・インター予測のサブブロックは全てインター予測のサブブロックとして扱われる。以下の表に、図７のサブブロックＰとサブブロックＱが、イントラ予測、インター予測、重み付きイントラ・インター予測（ｗ＝３）、重み付きイントラ・インター予測（ｗ＝５）のそれぞれで符号化された際のｂＳ値の一例を示す。

【0062】

【表1】

【0063】

この表では、ｆｉｌｔｅｒ＿ｗｅｉｇｈｔ＿ｔｈｒｅｓｈｏｌｄ＝４としている。例えば、隣接するサブブロックＰおよびサブブロックＱのうち少なくとも一方がイントラ予測あるいは重み付きイントラ・インター予測（ｗ＝３）で符号化されている場合、該一方はイントラ予測ブロックとして扱われるため、ｂＳ値を２とする。また、サブブロックＰおよびサブブロックＱのいずれもインター予測あるいは重み付きイントラ・インター予測（ｗ＝５）で符号化されている場合は、サブブロックＰもサブブロックＱもインター予測ブロックとして扱われるため、ｂＳ値は０または１とする。０とするか１とするかの判断は第１の実施形態におけるフィルタ処理強度計算部１１２と同様であり、サブブロックＰおよびサブブロックＱの非零の直交変換係数の有無や動きベクトルの数や大きさの差、参照画像の差などにより決定される。

【0064】

フィルタ処理強度計算部１１２は、このような表のデータを参照してｂＳ値を決定している。なお、本実施形態ではｆｉｌｔｅｒ＿ｗｅｉｇｈｔ＿ｔｈｒｅｓｈｏｌｄをピクチャヘッダに格納しているが、格納先は特定の格納先に限定されるものではなく、例えば、シーケンスヘッダに格納してもよい。また本実施形態では、ｂＳ値の計算の際に重み付きイントラ・インター予測のサブブロックをイントラ予測のサブブロック、インター予測のサブブロックのどちらとして扱うかを判定するための情報として強度重み付け閾値をヘッダに格納した。しかし、これに限定されるものではない。必ずイントラ予測のサブブロックとして扱うという事を示すフラグ情報を格納してもよいし、必ずインター予測のサブブロックとして扱うという事を示す情報を格納してもよい。あるいは、ｆｉｌｔｅｒ＿ｗｅｉｇｈｔ＿ｔｈｒｅｓｈｏｌｄの値から予め４を減算しておいたものを強度重み付け閾値ｆｉｌｔｅｒ＿ｗｅｉｇｈｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎｕｓ４としてもよい。これにより、ｆｉｌｔｅｒ＿ｗｅｉｇｈｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎｕｓ４の値は０およびその周辺の値に設定される可能性が高まるため、ゴロム符号化などにより情報自体の符号量を減少することができる。

【0065】

このように、本実施形態によれば、複雑な処理を必要とせず、重み付きイントラ・インター予測のサブブロックに対するデブロッキングフィルタ処理の強度を決定する事ができる。また、ユーザが自由に重み付きイントラ・インター予測のブロックのデブロッキングフィルタ処理の強度を調整する事ができる。

【0066】

また、本実施形態ではフィルタの強さを決定するための情報をヘッダに出力したが、これに限定されるものではない。予めｗの値によって重み付きイントラ・インター予測のサブブロックをイントラ・インターのどちらとして扱うかを一意に定めていてもよい。また、ｂＳ値に関係なく、イントラの重みが強いほど強く平滑化するデブロッキングフィルタがかかっていてもよい。これにより、強度重み付け閾値分の符号量を節約するとともに、予測モードによりデブロッキングフィルタ処理を固定化することで、実装複雑度を低下させることができる。

【0067】

［第３の実施形態］
本実施形態では、第１の実施形態に係る画像符号化装置によって符号化された入力画像を復号する画像復号装置について説明する。本実施形態に係る画像復号装置の機能構成例について、図２のブロック図を用いて説明する。

【0068】

制御部２９９は、画像復号装置全体の動作制御を行う。分離復号部２０２は、画像符号化装置によって生成されたビットストリームを取得し、該ビットストリームから復号処理に関する情報や係数に関する符号化データを分離し、ビットストリームのヘッダに存在する符号化データを復号する。本実施形態では、分離復号部２０２は上記の統合符号化部１１０と逆の動作を行う。

【0069】

復号部２０３は、分離復号部２０２によってビットストリームから分離された符号化データを復号することで、量子化係数および予測情報を取得する。逆量子化・逆変換部２０４は、上記の画像符号化装置が有する逆量子化・逆変換部１０５と同様の動作を行うものである。逆量子化・逆変換部２０４は、量子化係数に対する逆量子化を行うことで変換係数を取得し、該変換係数に対して逆直交変換を行うことで予測誤差を取得する。

【0070】

画像再生部２０５は、復号部２０３によって復号された予測情報に基づいてフレームメモリ２０６に格納されている画像を参照することで予測画像を生成する。そして画像再生部２０５は、該生成された予測画像と、逆量子化・逆変換部２０４によって得られた予測誤差と、を用いて、再生画像を生成し、該生成した再生画像をフレームメモリ２０６に格納する。

【0071】

フィルタ処理強度計算部２０９は、復号部２０３によって復号された予測情報と量子化係数を用いて、隣接するサブブロック間の境界に対するデブロッキングフィルタ処理の強度であるｂＳ値をフィルタ処理強度計算部１１２と同様に決定する。

【0072】

インループフィルタ部２０７は、フレームメモリ２０６に格納されている再生画像に対して、インループフィルタ部１０８と同様にデブロッキングフィルタなどのインループフィルタ処理を行う。インループフィルタ部２０７によるデブロッキングフィルタ処理は、フィルタ処理強度計算部２０９が求めたｂＳ値に対応するデブロッキングフィルタ処理である。

【0073】

フレームメモリ２０６に格納されている再生画像は、制御部２９９によって適宜出力される。再生画像の出力先は特定の出力先に限らず、例えば、ディスプレイなどの表示装置の表示画面に再生画像を表示しても良いし、プロジェクタなどの投影装置に対して該再生画像を出力しても良い。

【0074】

次に、上記の構成を有する画像復号装置の動作（ビットストリームの復号処理）について説明する。本実施形態では、分離復号部２０２に入力されるビットストリームは、動画像におけるフレームごとのビットストリームであるものとするが、静止画像のビットストリームであっても構わない。

【0075】

分離復号部２０２は、画像符号化装置によって生成された１フレーム分のビットストリームを取得し、該ビットストリームから復号処理に関する情報や係数に関する符号化データを分離し、ビットストリームのヘッダに存在する符号化データを復号する。また分離復号部２０２は、ピクチャデータの基本ブロック単位の符号化データを復号部２０３に出力する。

【0076】

復号部２０３は、分離復号部２０２によってビットストリームから分離された符号化データを復号することで、量子化係数および予測情報を取得する。この予測情報には、それぞれのサブブロックが以下の何れの予測方法で符号化されたのかを示す情報が含まれている。

【0077】

・ 水平予測や垂直予測などのイントラ予測
・ 参照フレームから動き補償を行うインター予測
・イントラ予測とインター予測を組み合わせた重み付きイントラ・インター予測
逆量子化・逆変換部２０４は、それぞれのサブブロックの量子化係数に対する逆量子化を行うことで変換係数を取得し、該変換係数に対して逆直交変換を行うことで予測誤差を取得する。

【0078】

画像再生部２０５は、復号部２０３によって復号された予測情報に基づいてフレームメモリ２０６に格納されている画像を参照することで予測画像を生成する。そして画像再生部２０５は、該生成された予測画像と、逆量子化・逆変換部２０４によって得られた予測誤差と、を用いて、再生画像を生成し、該生成した再生画像をフレームメモリ２０６に格納する。

【0079】

フィルタ処理強度計算部２０９は、復号部２０３によって復号された予測情報と量子化係数を用いて、隣接するサブブロック間の境界に対するデブロッキングフィルタ処理の強度であるｂＳ値をフィルタ処理強度計算部１１２と同様に決定する。

【0080】

インループフィルタ部２０７は、フレームメモリ２０６に格納されている再生画像に対して、インループフィルタ部１０８と同様にデブロッキングフィルタなどのインループフィルタ処理を行う。インループフィルタ部２０７によるデブロッキングフィルタ処理は、フィルタ処理強度計算部２０９が求めたｂＳ値に対応するデブロッキングフィルタ処理である。

【0081】

本実施形態では、第１の実施形態と同様にｂＳ値は、デブロッキングフィルタの処理対象の信号（画像成分）の種類を示し、それとは別に平滑化効果の高いストロングフィルタ、平滑化効果の弱いウィークフィルタを画素値の条件に応じて使い分ける。しかしこれに限定されるものではない。例えばｂＳ値に応じて信号の種類だけでなく平滑化効果の強弱が決定されてもよいし、平滑化効果の強弱だけがｂＳ値によって決定され、信号の種類はまた別の条件によって決定されてもよい。

【0082】

以上説明した画像復号装置による１フレーム分のビットストリームの復号処理について、図４のフローチャートに従って説明する。ステップＳ４０１では、分離復号部２０２は、画像符号化装置によって生成された１フレーム分のビットストリームを取得する。そして分離復号部２０２は、該ビットストリームから復号処理に関する情報や係数に関する符号化データを分離し、ビットストリームのヘッダに存在する符号化データを復号する。

【0083】

ステップＳ４０２～Ｓ４０５の処理は、入力画像における（画像内の）それぞれの基本ブロックについて行われる。ステップＳ４０２では、復号部２０３は、分離復号部２０２によってビットストリームから分離された符号化データを復号することで、量子化係数および予測情報を取得する。

【0084】

ステップＳ４０３では、逆量子化・逆変換部２０４は、復号対象のサブブロックの量子化係数に対する逆量子化を行うことで変換係数を取得し、該変換係数に対して逆直交変換を行うことで予測誤差を取得する。

【0085】

ステップＳ４０４では、画像再生部２０５は、復号部２０３によって復号された予測情報に基づいてフレームメモリ２０６に格納されている画像を参照することで予測画像を生成する。そして画像再生部２０５は、該生成された予測画像と、逆量子化・逆変換部２０４によって得られた予測誤差と、を用いて、再生画像を生成し、該生成した再生画像をフレームメモリ２０６に格納する。

【0086】

ステップＳ４０５では、制御部２９９は、ビットストリームに含まれている全ての基本ブロックの復号が完了したか否かを判断する。この判断の結果、ビットストリームに含まれている全ての基本ブロックの復号が完了した場合には、処理はステップＳ４０６に進む。一方、ビットストリームに含まれている全ての基本ブロックのうち未だ復号が完了していない基本ブロックが残っている場合には、該未だ復号が完了していない基本ブロックについてステップＳ４０２以降の処理を繰り返す。

【0087】

ステップＳ４０６では、フィルタ処理強度計算部２０９は、復号部２０３によって復号された予測情報と量子化係数を用いて、隣接するサブブロック間の境界に対するデブロッキングフィルタ処理の強度であるｂＳ値をフィルタ処理強度計算部１１２と同様に決定する。

【0088】

ステップＳ４０７では、インループフィルタ部２０７は、ステップＳ４０４でフレームメモリ２０６に格納した再生画像に対して、インループフィルタ部１０８と同様にデブロッキングフィルタなどのインループフィルタ処理を行う。インループフィルタ部２０７によるデブロッキングフィルタ処理は、ステップＳ４０６でフィルタ処理強度計算部２０９が求めたｂＳ値に対応するデブロッキングフィルタ処理である。

【0089】

このように、本実施形態によれば、第１の実施形態に係る画像符号化装置によって生成された、重み付きイントラ・インター予測で符号化されたサブブロックに対して適切なデブロッキングフィルタを適用したビットストリーム、を復号することができる。

【0090】

また、本実施形態では、デブロッキングフィルタ処理の強度（ｂＳ値）によって、輝度または色差のブロック境界のフィルタの有無が変更される構成としたが、デブロッキングフィルタ処理の強度（ｂＳ値）によって、フィルタ自体の平滑効果の強度を変更する構成としても良い。例えば、デブロッキングフィルタ処理の強度（ｂＳ値）が大きい際にはよりタップ長が長く補正効果の高いフィルタを用い、デブロッキングフィルタ処理の強度（ｂＳ値）が小さい際にはよりタップ長の短い補正効果の低いフィルタを用いることもできる。これにより、フィルタの有無以外の手法でフィルタの強度、すなわち補正効果を調整したビットストリームを復号することが可能となる。

【0091】

［第４の実施形態］
本実施形態では、第２の実施形態に係る画像符号化装置によって符号化された入力画像を復号する画像復号装置について説明する。本実施形態では、図４のフローチャートに従った処理において、以下の点が第３の実施形態と異なる。

【0092】

ステップＳ４０１では、分離復号部２０２は、図６で示されるビットストリームから復号処理に関する情報や係数に関する符号化データを分離し、ビットストリームのヘッダに存在する符号化データを復号する。この復号では、ピクチャヘッダ中の強度重み付け閾値であるｆｉｌｔｅｒ＿ｗｅｉｇｈｔ＿ｔｈｒｅｓｈｏｌｄを復号する。

【0093】

ステップＳ４０６では、フィルタ処理強度計算部２０９はｂＳ値を計算する。なお、本実施形態では、ｂＳ値を０とするか１とするかの判断は第３の実施形態のフィルタ処理強度計算部２０９と同様である。

【0094】

本実施形態では、ｆｉｌｔｅｒ＿ｗｅｉｇｈｔ＿ｔｈｒｅｓｈｏｌｄはピクチャヘッダ内に存在しているが、これに限定されるものではなく、例えば、シーケンスヘッダ内に存在してもよい。また本実施形態では、ｂＳ値の計算の際に重み付きイントラ・インター予測のブロックをイントラ予測のサブブロック、インター予測のサブブロックのどちらとして扱うかを判定するための情報として強度重み付け閾値を復号した。しかし、これに限定されるものではない。必ずイントラ予測のサブブロックとして扱うという事を示すフラグ情報を復号してもよいし、必ずインター予測のサブブロックとして扱うという事を示す情報を復号してもよい。あるいは、ｆｉｌｔｅｒ＿ｗｅｉｇｈｔ＿ｔｈｒｅｓｈｏｌｄの値から予め４を減算しておいたものを強度重み付け閾値ｆｉｌｔｅｒ＿ｗｅｉｇｈｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎｕｓ４として復号してもよい。これにより、ｆｉｌｔｅｒ＿ｗｅｉｇｈｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎｕｓ４の値は０およびその周辺の値に設定される可能性が高くなるため、情報自体の符号量が少ないビットストリームを復号することができる。

【0095】

このように、本実施形態によれば、複雑な処理を必要とせず、重み付きイントラ・インター予測のサブブロックに対するデブロッキングフィルタ処理の強度を決定する事ができる。また、ユーザが自由に重み付きイントラ・インター予測のサブブロックのデブロッキングフィルタ処理の強度を調整したビットストリームを復号できる。

【0096】

また、本実施形態ではフィルタの強さを決定する情報をヘッダから復号したが、これに限定されるものではない。予めｗの値によって重み付きイントラ・インター予測のサブブロックをイントラ・インターのどちらとして扱うかを一意に定めていてもよい。また、ｂＳ値に関係なく、イントラの重みが強いほど強く平滑化するデブロッキングフィルタがかかっていてもよい。これにより、強度重み付け閾値分の符号量を節約したビットストリームを復号するとともに、予測モードによりデブロッキングフィルタ処理を固定化することで、実装複雑度を低下させることができる。

【0097】

［第５の実施形態］
図１，図２に示した各機能部は全てハードウェアで実装しても良いが、一部をソフトウェア（コンピュータプログラム）で実装しても良い。その場合、フレームメモリ１０７やフレームメモリ２０６をメモリ装置として有し、該コンピュータプログラムを実行可能なコンピュータ装置は、上記の画像符号化装置や画像復号装置に適用することができる。上記の画像符号化装置や画像復号装置に適用可能なコンピュータ装置のハードウェア構成例について、図５のブロック図を用いて説明する。

【0098】

ＣＰＵ５０１は、ＲＡＭ５０２やＲＯＭ５０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ５０１は、コンピュータ装置全体の動作制御を行うと共に、上記の画像符号化装置や画像復号装置が行うものとして上述した各処理を実行若しくは制御する。

【0099】

ＲＡＭ５０２は、ＲＯＭ５０３や外部記憶装置５０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）５０７を介して外部から受信したデータ（例えば上記の動画像や静止画像のデータ）を格納するためのエリアを有する。さらにＲＡＭ５０２は、ＣＰＵ５０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ５０２は、各種のエリアを適宜提供することができる。ＲＯＭ５０３には、コンピュータ装置の設定データや起動プログラムなどが格納されている。

【0100】

操作部５０４は、キーボード、マウス、タッチパネルなどのユーザインターフェースであり、ユーザが操作することで、各種の指示をＣＰＵ５０１に対して入力することができる。

【0101】

表示部５０５は、液晶画面やタッチパネル画面などにより構成されており、ＣＰＵ５０１による処理結果を画像や文字などでもって表示することができる。例えば、上記の画像復号装置によって復号される再生画像をこの表示部５０５に表示させても良い。なお、表示部５０５は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。

【0102】

外部記憶装置５０６は、ハードディスクドライブ装置などの大容量情報記憶装置である。外部記憶装置５０６には、ＯＳ（オペレーティングシステム）、上記の画像符号化装置や画像復号装置が行うものとして上述した各種の処理をＣＰＵ５０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置５０６に保存されているコンピュータプログラムには、上記のフレームメモリ１０７やフレームメモリ２０６以外の各機能部の機能をＣＰＵ５０１に実現させるためのコンピュータプログラムが含まれている。また、外部記憶装置５０６に保存されているデータには、上記の説明で既知の情報として説明したもの（強度重み付け閾値、表１のテーブルのデータなど）等、符号化や復号に必要な各種の情報が含まれている。

【0103】

外部記憶装置５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ５０１による制御に従って適宜ＲＡＭ５０２にロードされ、ＣＰＵ５０１による処理対象となる。なお、上記のフレームメモリ１０７やフレームメモリ２０６は、ＲＡＭ５０２、外部記憶装置５０６などのメモリ装置によって実装可能である。

【0104】

Ｉ／Ｆ５０７は外部の機器との間のデータ通信を行うためのインターフェースとして機能するものである。例えば、外部のサーバ装置や撮像装置から動画像や静止画像をＩ／Ｆ５０７を介してＲＡＭ５０２や外部記憶装置５０６に取得することができる。

【0105】

ＣＰＵ５０１、ＲＡＭ５０２、ＲＯＭ５０３、操作部５０４、表示部５０５、外部記憶装置５０６、Ｉ／Ｆ５０７は何れもバス５０８に接続されている。なお、図５に示した構成は、上記の画像符号化装置や画像復号装置に適用可能なコンピュータ装置のハードウェア構成の一例に過ぎず、各種の変更／変形が可能である。

【0106】

［第６の実施形態］
上記の各実施形態ではサブブロックを符号化単位とした。しかし、符号化単位はサブブロックに限らず、例えば、基本ブロックを符号化単位としても良い。また、上記の説明において使用した数値は具体的な説明を行うために使用したものであり、上記の各実施形態が、使用した数値に限定されることを意図したものではない。例えば、上記の説明において使用したｗの値や強度重み付け閾値の値やブロックのサイズなどは一例であり、上記の数値に限らない。

【0107】

また、上記の各実施形態では、画像復号装置は画像符号化装置とは別個の装置であるものとして説明したが、画像復号装置と画像符号化装置とを１つの装置に統合しても良い。その場合、この装置は、入力画像を符号化し、必要に応じて該符号化した入力画像を復号することができる。

【0108】

また、デブロッキングフィルタを適用する対象はサブブロックの境界に限らず、例えば、変換ユニットの境界であっても良い。また、上記の実施形態では、デブロッキングフィルタのサイズを８画素×８画素としたが、このサイズに限らない。また、変換ユニットのサイズは、サブブロックと同じサイズであっても良いし、サブブロックと異なるサイズであっても良い。

【0109】

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

【0110】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0111】

１０２：ブロック分割部 １０３：予測部 １０４：変換・量子化部 １０５：逆量子化・逆変換部 １０６：画像再生部 １０７：フレームメモリ １０８：インループフィルタ部 １０９：符号化部 １１０：統合符号化部 １１２：フィルタ処理強度計算部 ２０２：分離復号部 ２０３：復号部 ２０４：逆量子化・逆変換部 ２０５：画像再生部 ２０６：フレームメモリ ２０７：インループフィルタ部 ２０９：フィルタ処理強度計算部 ２９９：制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】