知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6985287
(24)【登録日】2021年11月29日
(45)【発行日】2021年12月22日
(54)【発明の名称】符号化装置、復号装置、符号化方法、及び復号方法
(51)【国際特許分類】
H04N 19/117 20140101AFI20211213BHJP
H04N 19/136 20140101ALI20211213BHJP
H04N 19/176 20140101ALI20211213BHJP
H04N 19/86 20140101ALI20211213BHJP
H04N 19/82 20140101ALI20211213BHJP
H04N 19/157 20140101ALI20211213BHJP
【ＦＩ】
H04N19/117
H04N19/136
H04N19/176
H04N19/86
H04N19/82
H04N19/157
【請求項の数】12
【全頁数】17
(21)【出願番号】特願2018-553007(P2018-553007)
(86)(22)【出願日】2017年11月27日
(86)【国際出願番号】JP2017042461
(87)【国際公開番号】WO2018097299
(87)【国際公開日】20180531
【審査請求日】2019年5月27日
(31)【優先権主張番号】特願2016-230524(P2016-230524)
(32)【優先日】2016年11月28日
(33)【優先権主張国】JP
(31)【優先権主張番号】特願2017-23345(P2017-23345)
(32)【優先日】2017年2月10日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001106
【氏名又は名称】キュリーズ特許業務法人
(72)【発明者】
【氏名】市ヶ谷 敦郎
(72)【発明者】
【氏名】岩村 俊輔
【審査官】
松元 伸次
(56)【参考文献】
【文献】
特開２０１３−０５８９３５（ＪＰ，Ａ）
【文献】
国際公開第２０１５／１３０５４１（ＷＯ，Ａ１）
【文献】
特開２００４−３４７９０１（ＪＰ，Ａ）
【文献】
特表２０１５−５１２６００（ＪＰ，Ａ）
【文献】
大久保 榮，Ｈ．２６５／ＨＥＶＣ教科書，第１版，日本，株式会社インプレスジャパン 土田 米一，2013年10月21日，ｐｐ．４７，９２，１５０−１５４
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ７／１２
１９／００−１９／９８
(57)【特許請求の範囲】
【請求項1】
入力画像を符号化する符号化装置であって、
入力画像と該入力画像の予測画像との差を示す残差画像に対して変換処理を行って変換係数を算出する変換部と、
量子化パラメータに基づいて、前記変換係数を量子化して量子化係数を生成する量子化部と、
前記量子化係数を符号化して符号化データを生成するエントロピー符号化部と、
前記量子化パラメータに基づいて、前記量子化係数から変換係数を復元し、該変換係数に対して逆変換を行って復元した残差画像に前記予測画像を加算して再構成画像を生成する画像復号部と、
前記再構成画像に対してフィルタ処理を行うデブロッキングフィルタ部と、を備え、
前記デブロッキングフィルタ部は、前記再構成画像において隣接する２つのブロックのうち一方のブロックに含まれる輝度成分の画素値と他方のブロックに含まれる輝度成分の画素値との平均値を輝度信号レベルとして算出し、前記輝度信号レベルと前記量子化パラメータとに応じて前記フィルタ処理を制御するパラメータを決定する、符号化装置。
入力画像と該入力画像の予測画像との差を示す残差画像に対して変換処理を行って変換係数を算出する変換部と、
量子化パラメータに基づいて、前記変換係数を量子化して量子化係数を生成する量子化部と、
前記量子化係数を符号化して符号化データを生成するエントロピー符号化部と、
前記量子化パラメータに基づいて、前記量子化係数から変換係数を復元し、該変換係数に対して逆変換を行って復元した残差画像に前記予測画像を加算して再構成画像を生成する画像復号部と、
前記再構成画像に対してフィルタ処理を行うデブロッキングフィルタ部と、を備え、
前記デブロッキングフィルタ部は、前記再構成画像において隣接する２つのブロックのうち一方のブロックに含まれる輝度成分の画素値と他方のブロックに含まれる輝度成分の画素値との平均値を輝度信号レベルとして算出し、前記輝度信号レベルと前記量子化パラメータとに応じて前記フィルタ処理を制御するパラメータを決定する、符号化装置。
【請求項2】
入力画像を符号化する符号化装置であって、
入力画像と該入力画像の予測画像との差を示す残差画像に対して変換処理を行って変換係数を算出する変換部と、
量子化パラメータに基づいて、前記変換係数を量子化して量子化係数を生成する量子化部と、
前記量子化係数を符号化して符号化データを生成するエントロピー符号化部と、
前記量子化パラメータに基づいて、前記量子化係数から変換係数を復元し、該変換係数に対して逆変換を行って復元した残差画像に前記予測画像を加算して再構成画像を生成する画像復号部と、
前記再構成画像に対してフィルタ処理を行うデブロッキングフィルタ部と、を備え、
前記デブロッキングフィルタ部は、前記再構成画像の輝度信号レベルと、前記量子化パラメータと、前記入力画像の輝度値のダイナミックレンジを規定したフォーマットとに応じて前記フィルタ強度を制御する、符号化装置。
入力画像と該入力画像の予測画像との差を示す残差画像に対して変換処理を行って変換係数を算出する変換部と、
量子化パラメータに基づいて、前記変換係数を量子化して量子化係数を生成する量子化部と、
前記量子化係数を符号化して符号化データを生成するエントロピー符号化部と、
前記量子化パラメータに基づいて、前記量子化係数から変換係数を復元し、該変換係数に対して逆変換を行って復元した残差画像に前記予測画像を加算して再構成画像を生成する画像復号部と、
前記再構成画像に対してフィルタ処理を行うデブロッキングフィルタ部と、を備え、
前記デブロッキングフィルタ部は、前記再構成画像の輝度信号レベルと、前記量子化パラメータと、前記入力画像の輝度値のダイナミックレンジを規定したフォーマットとに応じて前記フィルタ強度を制御する、符号化装置。
【請求項3】
前記デブロッキングフィルタ部は、
前記量子化パラメータから算出される第１の値と前記フィルタ強度を定める第２の値との対応関係を示すフィルタ強度設定情報と、
前記フィルタ強度設定情報の修正方法をフォーマットごとに定義する修正用情報とを保持し、
前記デブロッキングフィルタ部は、
前記入力画像に適用された前記フォーマットに対応する前記修正方法を前記修正用情報に基づいて特定し、
特定された修正方法を用いて、前記再構成画像の輝度信号レベルに応じて前記フィルタ強度設定情報を修正し、
修正されたフィルタ強度設定情報に前記第１の値を適用することによって前記第２の値を導出する、請求項２に記載の符号化装置。
前記量子化パラメータから算出される第１の値と前記フィルタ強度を定める第２の値との対応関係を示すフィルタ強度設定情報と、
前記フィルタ強度設定情報の修正方法をフォーマットごとに定義する修正用情報とを保持し、
前記デブロッキングフィルタ部は、
前記入力画像に適用された前記フォーマットに対応する前記修正方法を前記修正用情報に基づいて特定し、
特定された修正方法を用いて、前記再構成画像の輝度信号レベルに応じて前記フィルタ強度設定情報を修正し、
修正されたフィルタ強度設定情報に前記第１の値を適用することによって前記第２の値を導出する、請求項２に記載の符号化装置。
【請求項4】
前記第１の値は、前記再構成画像において隣接する２つのブロックの量子化パラメータの平均値によって定まる値である、請求項３に記載の符号化装置。
【請求項5】
前記第２の値は、前記フィルタ強度を切り替えるための閾値として機能する値であり、
前記デブロッキングフィルタ部は、前記第２の値を用いて前記フィルタ強度を切り替える、請求項３又は４に記載の符号化装置。
前記デブロッキングフィルタ部は、前記第２の値を用いて前記フィルタ強度を切り替える、請求項３又は４に記載の符号化装置。
【請求項6】
入力画像の符号化データを復号する復号装置であって、
符号化データを復号して、変換係数を量子化した量子化係数を取得するエントロピー復号部と、
量子化パラメータに基づいて、前記量子化係数から変換係数を復元し、該変換係数に対して逆変換を行って復元した残差画像に予測画像を加算して再構成画像を生成する画像復号部と、
前記再構成画像に対してフィルタ処理を行うデブロッキングフィルタ部と、を備え、
前記デブロッキングフィルタ部は、前記再構成画像において隣接する２つのブロックのうち一方のブロックに含まれる輝度成分の画素値と他方のブロックに含まれる輝度成分の画素値との平均値を輝度信号レベルとして算出し、前記輝度信号レベルと前記量子化パラメータとに応じて前記フィルタ処理を制御するパラメータを決定する、復号装置。
符号化データを復号して、変換係数を量子化した量子化係数を取得するエントロピー復号部と、
量子化パラメータに基づいて、前記量子化係数から変換係数を復元し、該変換係数に対して逆変換を行って復元した残差画像に予測画像を加算して再構成画像を生成する画像復号部と、
前記再構成画像に対してフィルタ処理を行うデブロッキングフィルタ部と、を備え、
前記デブロッキングフィルタ部は、前記再構成画像において隣接する２つのブロックのうち一方のブロックに含まれる輝度成分の画素値と他方のブロックに含まれる輝度成分の画素値との平均値を輝度信号レベルとして算出し、前記輝度信号レベルと前記量子化パラメータとに応じて前記フィルタ処理を制御するパラメータを決定する、復号装置。
【請求項7】
入力画像の符号化データを復号する復号装置であって、
符号化データを復号して、変換係数を量子化した量子化係数を取得するエントロピー復号部と、
量子化パラメータに基づいて、前記量子化係数から変換係数を復元し、該変換係数に対して逆変換を行って復元した残差画像に予測画像を加算して再構成画像を生成する画像復号部と、
前記再構成画像に対してフィルタ処理を行うデブロッキングフィルタ部と、を備え、
前記デブロッキングフィルタ部は、前記再構成画像の輝度信号レベルと、前記量子化パラメータと、前記入力画像の輝度値のダイナミックレンジを規定したフォーマットとに応じて前記フィルタ強度を制御する、復号装置。
符号化データを復号して、変換係数を量子化した量子化係数を取得するエントロピー復号部と、
量子化パラメータに基づいて、前記量子化係数から変換係数を復元し、該変換係数に対して逆変換を行って復元した残差画像に予測画像を加算して再構成画像を生成する画像復号部と、
前記再構成画像に対してフィルタ処理を行うデブロッキングフィルタ部と、を備え、
前記デブロッキングフィルタ部は、前記再構成画像の輝度信号レベルと、前記量子化パラメータと、前記入力画像の輝度値のダイナミックレンジを規定したフォーマットとに応じて前記フィルタ強度を制御する、復号装置。
【請求項8】
前記デブロッキングフィルタ部は、
前記量子化パラメータから算出される第１の値と前記フィルタ強度を定める第２の値との対応関係を示すフィルタ強度設定情報と、
前記フィルタ強度設定情報の修正方法をフォーマットごとに定義する修正用情報とを保持し、
前記デブロッキングフィルタ部は、
前記入力画像に適用された前記フォーマットに対応する前記修正方法を前記修正用情報に基づいて特定し、
特定された修正方法を用いて、前記再構成画像の輝度信号レベルに応じて前記フィルタ強度設定情報を修正し、
修正されたフィルタ強度設定情報に前記第１の値を適用することによって前記第２の値を導出する、請求項７に記載の復号装置。
前記量子化パラメータから算出される第１の値と前記フィルタ強度を定める第２の値との対応関係を示すフィルタ強度設定情報と、
前記フィルタ強度設定情報の修正方法をフォーマットごとに定義する修正用情報とを保持し、
前記デブロッキングフィルタ部は、
前記入力画像に適用された前記フォーマットに対応する前記修正方法を前記修正用情報に基づいて特定し、
特定された修正方法を用いて、前記再構成画像の輝度信号レベルに応じて前記フィルタ強度設定情報を修正し、
修正されたフィルタ強度設定情報に前記第１の値を適用することによって前記第２の値を導出する、請求項７に記載の復号装置。
【請求項9】
前記第１の値は、前記再構成画像において隣接する２つのブロックの量子化パラメータの平均値によって定まる値である、請求項８に記載の復号装置。
【請求項10】
前記第２の値は、前記フィルタ強度を切り替えるための閾値として機能する値であり、
前記デブロッキングフィルタ部は、前記第２の値を用いて前記フィルタ強度を切り替える、請求項８に記載の復号装置。
前記デブロッキングフィルタ部は、前記第２の値を用いて前記フィルタ強度を切り替える、請求項８に記載の復号装置。
【請求項11】
入力画像を符号化する符号化方法であって、
入力画像と該入力画像の予測画像との差を示す残差画像に対して変換処理を行って変換係数を算出することと、
量子化パラメータに基づいて、前記変換係数を量子化して量子化係数を生成することと、
前記量子化係数を符号化して符号化データを生成することと、
前記量子化パラメータに基づいて、前記量子化係数から変換係数を復元することと、
該変換係数に対して逆変換を行って復元した残差画像に前記予測画像を加算して再構成画像を生成することと、
前記再構成画像に対してフィルタ処理を行うことと、を備え、
前記フィルタ処理を行うことは、前記再構成画像において隣接する２つのブロックのうち一方のブロックに含まれる輝度成分の画素値と他方のブロックに含まれる輝度成分の画素値との平均値を輝度信号レベルとして算出し、前記輝度信号レベルと前記量子化パラメータとに応じて前記フィルタ処理を制御するパラメータを決定することを含む、符号化方法。
入力画像と該入力画像の予測画像との差を示す残差画像に対して変換処理を行って変換係数を算出することと、
量子化パラメータに基づいて、前記変換係数を量子化して量子化係数を生成することと、
前記量子化係数を符号化して符号化データを生成することと、
前記量子化パラメータに基づいて、前記量子化係数から変換係数を復元することと、
該変換係数に対して逆変換を行って復元した残差画像に前記予測画像を加算して再構成画像を生成することと、
前記再構成画像に対してフィルタ処理を行うことと、を備え、
前記フィルタ処理を行うことは、前記再構成画像において隣接する２つのブロックのうち一方のブロックに含まれる輝度成分の画素値と他方のブロックに含まれる輝度成分の画素値との平均値を輝度信号レベルとして算出し、前記輝度信号レベルと前記量子化パラメータとに応じて前記フィルタ処理を制御するパラメータを決定することを含む、符号化方法。
【請求項12】
入力画像の符号化データを復号する復号方法であって、
符号化データを復号することと、
変換係数を量子化した量子化係数を取得することと、
量子化パラメータに基づいて、前記量子化係数から変換係数を復元することと、
該変換係数に対して逆変換を行って復元した残差画像に予測画像を加算して再構成画像を生成することと、
前記再構成画像に対してフィルタ処理を行うことと、を備え、
前記フィルタ処理を行うことは、前記再構成画像において隣接する２つのブロックのうち一方のブロックに含まれる輝度成分の画素値と他方のブロックに含まれる輝度成分の画素値との平均値を輝度信号レベルとして算出し、前記輝度信号レベルと前記量子化パラメータとに応じて前記フィルタ処理を制御するパラメータを決定することを含む、復号方法。
符号化データを復号することと、
変換係数を量子化した量子化係数を取得することと、
量子化パラメータに基づいて、前記量子化係数から変換係数を復元することと、
該変換係数に対して逆変換を行って復元した残差画像に予測画像を加算して再構成画像を生成することと、
前記再構成画像に対してフィルタ処理を行うことと、を備え、
前記フィルタ処理を行うことは、前記再構成画像において隣接する２つのブロックのうち一方のブロックに含まれる輝度成分の画素値と他方のブロックに含まれる輝度成分の画素値との平均値を輝度信号レベルとして算出し、前記輝度信号レベルと前記量子化パラメータとに応じて前記フィルタ処理を制御するパラメータを決定することを含む、復号方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デブロッキングフィルタ処理を行う符号化装置、復号装置、符号化方法、及び復号方法に関する。【背景技術】
【0002】
主流となっているＭＰＥＧに代表される映像符号化方式では、リアルタイム処理の実現のし易さから、フレーム（あるいはピクチャ）などと呼ばれる映像の単位をブロック状の小領域に分割し、ブロック単位で変換や予測などの技術を駆使して符号化(圧縮)を行っている。このような符号化方式では、隣接するブロック間の符号化制御の違いに起因して、ブロック境界において品質差がひずみとなって知覚される。Ｈ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣと呼ばれる近年の符号化方式ではこのような符号化ひずみを低減するために、デブロッキングフィルタと呼ばれる処理が採用されている。【0003】
ブロックひずみは、隣接する両ブロックの境界における信号が直交変換係数を量子化したことにより生じる信号劣化により、本来スムーズであるべき隣接領域において急峻な信号変動となって生じる。このひずみを軽減するためのデブロッキングフィルタは、一般的に信号の変動を緩やかにするローパスフィルタとして設計されている。量子化の粗さによって信号の劣化量が変動することから、量子化の粗さを規定する量子化パラメータによってフィルタの強度が制御されている（例えば、非特許文献１参照）。【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ＩＴＵ−Ｔ Ｈ．２６５，（０４／２０１３）“，Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ，Ａｐｒｉｌ ２０１３
【発明の概要】
【0005】
一実施形態に係る符号化装置は、入力画像を符号化する符号化装置であって、入力画像と該入力画像の予測画像との差を示す残差画像に対して直交変換処理を行って直交変換係数を算出する変換部と、量子化パラメータに基づいて、前記直交変換係数を量子化して量子化係数を生成する量子化部と、前記量子化係数を符号化して符号化データを生成するエントロピー符号化部と、前記量子化パラメータに基づいて、前記量子化係数から直交変換係数を復元し、該直交変換係数に対して逆直交変換を行って復元した残差画像に前記予測画像を加算して再構成画像を生成する画像復号部と、前記再構成画像に対してフィルタ処理を行うデブロッキングフィルタ部と、を備える。前記デブロッキングフィルタ部は、前記再構成画像の輝度信号レベルと前記量子化パラメータに応じてフィルタ強度を制御することを特徴とする。【0006】
一実施形態に係る復号装置は、入力画像の符号化データを復号する復号装置であって、符号化データを復号して、直交変換係数を量子化した量子化係数を取得するエントロピー復号部と、量子化パラメータに基づいて、前記量子化係数から直交変換係数を復元し、該直交変換係数に対して逆直交変換を行って復元した残差画像に予測画像を加算して再構成画像を生成する画像復号部と、前記再構成画像に対してフィルタ処理を行うデブロッキングフィルタ部と、を備える。前記デブロッキングフィルタ部は、前記再構成画像の輝度信号レベルと前記量子化パラメータに応じてフィルタ強度を制御することを特徴とする。【図面の簡単な説明】
【0007】
【図1】信号レベルと輝度レベルとの対応関係を示す図である。
【図2】本発明の一実施形態に係る符号化装置の構成例を示すブロック図である。
【図3】デブロッキングフィルタ処理を行うブロック境界を示す図である。
【図4】本発明の一実施形態に係る復号装置の構成例を示すブロック図である。
【発明を実施するための形態】
【0008】
新たな映像メディアの特徴として、従来の映像信号で表現できない黒と白の表現範囲を拡大したＨＤＲ（high dynamic range）信号の標準化が行われた。このＨＤＲ信号では、従来のＳＤＲ（Standard Dynamic Range）信号に比べて、光の強度が低いところから高いところ（すなわち、暗いところから明るいところ）までを限られたビット深度の中に記録するため、従来よりも極端なγ補正と呼ばれる信号抑圧処理が加えられている。ＨＤＲの方式としては、現在、ＡＲＩＢ ＳＴＤ−Ｂ６７で規定されているＨＬＧ（Hybrid-Log Gamma）方式と、ＳＭＰＴＥ ＳＴ.２０８４で規定されているＰＱ（Perceptual Quantize）方式がありこれらの方式はITU-RにおいてRecommendation ITU-R BT.2100として国際標準化されている。なお、将来的にはこれら以外の方式が規定される可能性もある。【0009】
図１に、ＳＤＲ信号と、ＨＬＧ方式及びＰＱ方式のＨＤＲ信号について、画像の輝度信号レベルと、表示装置に表示される表示輝度レベルとの対応関係（逆γ補正）を示す。なお、ＨＬＧ方式は表示装置のピーク輝度を最大値とする相対的なシステムであるため、図中ではピーク輝度を１０００ｃｄ/ｍ２として示す。また同様に、従来のＳＤＲ信号も表示装置のピーク輝度を最大値とする相対的なシステムであるため、現在市販されているディスプレイを例としてピーク輝度を２５０ｃｄ/ｍ２として示す。【0010】
ＨＤＲ信号では、輝度信号レベルの変動に対する、表示輝度レベル（明るさ）の変化が、従来のＳＤＲ信号に比べ大きくなっている。そのため、信号レベルの大きい領域では、量子化ひずみによるブロックノイズが従来の信号劣化に比べ誇張されて表現される。特に、最も信号の抑圧度合いが大きいＰＱ方式では、輝度信号レベルに対する表示輝度レベルの変動が顕著であり、ブロックひずみによる信号劣化の影響もまた顕著である。この現象を低減するために、信号レベルに応じて量子化パラメータを小さくするという対策を行うことが一般的になっている。【0011】
従来のデブロッキングフィルタでは、ブロック間のスムージングを実現するフィルタの強度を切り替えるための閾値がフレーム単位で量子化パラメータに応じて予め決められており、輝度信号レベルに応じた制御は行われていなかった。そのため、ＨＤＲ信号では、輝度信号レベルの差と表示輝度レベルの差の非線形性が強く、従来のデブロッキングフィルタではブロックひずみを十分に低減することが困難であった。また、従来のＳＤＲ信号でもガンマ補正による非線形性があるため、輝度レベルが高い領域においてデブロッキングフィルタの効果が低減するという課題があった。【0012】
また、量子化パラメータを必要以上に小さくすることにより、ブロックの平均的な誤差量を低減させることは可能であるが、量子化パラメータが小さくなることによりデブロッキングフィルタの作用も小さくなり、境界部において輝度信号レベルの差が顕著に表示されてしまうことを十分に改善することはできなかった。また、量子化パラメータを小さくすると情報量が増加するため、圧縮効果も低減してしまうという課題があった。【0013】
かかる事情に鑑み、本開示は、圧縮効果を損なうことなく、ＳＤＲ信号の高輝度部、及びＨＤＲ信号に対してもブロックひずみを低減することが可能な符号化装置、復号装置、符号化方法、及び復号方法を提供することを目的とする。【0014】
一実施形態に係る符号化装置は、入力画像を符号化する符号化装置であって、入力画像と該入力画像の予測画像との差を示す残差画像に対して直交変換処理を行って直交変換係数を算出する変換部と、量子化パラメータに基づいて、前記直交変換係数を量子化して量子化係数を生成する量子化部と、前記量子化係数を符号化して符号化データを生成するエントロピー符号化部と、前記量子化パラメータに基づいて、前記量子化係数から直交変換係数を復元し、該直交変換係数に対して逆直交変換を行って復元した残差画像に前記予測画像を加算して再構成画像を生成する画像復号部と、前記再構成画像に対してフィルタ処理を行うデブロッキングフィルタ部と、を備える。前記デブロッキングフィルタ部は、前記再構成画像の輝度信号レベルと前記量子化パラメータに応じてフィルタ強度を制御する。【0015】
一実施形態に係る復号装置は、入力画像の符号化データを復号する復号装置であって、符号化データを復号して、直交変換係数を量子化した量子化係数を取得するエントロピー復号部と、量子化パラメータに基づいて、前記量子化係数から直交変換係数を復元し、該直交変換係数に対して逆直交変換を行って復元した残差画像に予測画像を加算して再構成画像を生成する画像復号部と、前記再構成画像に対してフィルタ処理を行うデブロッキングフィルタ部と、を備える。前記デブロッキングフィルタ部は、前記再構成画像の輝度信号レベルと前記量子化パラメータに応じてフィルタ強度を制御する。【0016】
かかる符号化装置及び復号装置によれば、輝度信号レベルに応じてフィルタ強度を変更可能となり、圧縮効果を損なうことなく、ＳＤＲ信号のみならずＨＤＲ信号に対してもブロックひずみを低減することができる。【0017】
以下、一実施形態について、図面を参照して詳細に説明する。（符号化装置）
一実施形態に係る符号化装置について、以下に説明する。図２に、一実施形態に係る符号化装置の構成例を示す。図２に示す符号化装置１は、ブロック分割部１１と、減算部１２と、変換部１３と、量子化部１４と、逆量子化部１５と、逆変換部１６と、加算部１７と、デブロッキングフィルタ部１８と、サンプルアダプティブオフセット部１９と、記憶部２０と、イントラ予測部２１と、動き補償予測部２２と、切替部２３と、エントロピー符号化部２４とを備える。なお、サンプルアダプティブオフセット部１９に代えてあるいは追加して、他のポストフィルタ処理を行う処理部を設けてもよい。
【0018】
ブロック分割部１１は、入力画像である符号化対象フレームを複数のブロックに分割し、ブロック画像を減算部１２に出力する。ブロックのサイズは可変サイズであってもよく、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素とする。【0019】
減算部１２は、ブロック分割部１１から入力されたブロック画像の各画素値から、入力画像の予測画像の各画素値を減算して、ブロック画像と予測画像との差を示す残差画像を生成し、変換部１３に出力する。予測画像は、後述するイントラ予測部２１又は動き補償予測部２２から切替部２３を介して入力される。【0020】
変換部１３は、減算部１２から入力された残差画像に対して直交変換処理を行って直交変換係数を算出し、ブロックごとの直交変換係数を量子化部１４に出力する。【0021】
量子化部１４は、量子化の粗さを規定する量子化パラメータ（ｑＰ）に基づいて、変換部１３から入力されたブロックごとの直交変換係数を量子化して量子化係数を生成し、量子化係数を逆量子化部１５及びエントロピー符号化部２４に出力する。より詳細には、量子化部１４は、変換部１３から入力されたブロックごとの直交変換係数を、量子化パラメータから導出される量子化ステップで除することにより、量子化係数を生成する。例えば、量子化パラメータの値は０から５１までであり、量子化パラメータが６増加すると量子化ステップが２倍となる（すなわち、量子化パラメータと量子化ステップの対数が比例する）ように対応付けられている。【0022】
逆量子化部１５は、量子化パラメータに基づいて、量子化部１４から入力された量子化係数から直交変換係数を復元し、逆変換部１６に出力する。より詳細には、逆量子化部１５は、量子化部１４から入力された量子化係数に対して、量子化パラメータから導出される量子化ステップを乗ずることにより、ブロックごとの直交変換係数を復元する。【0023】
逆変換部１６は、逆量子化部１５から入力された直交変換係数に対して逆直交変換を行って残差画像を生成し、生成された残差画像を加算部１７に出力する。例えば、変換部１３が離散コサイン変換を行った場合には、逆変換部１６は逆離散コサイン変換を行う。【0024】
加算部１７は、逆変換部１６から入力された残差画像と、切替部２３から入力された予測画像の各画素値を加算して再構成画像を生成し、再構成画像をデブロッキングフィルタ部１８に出力する。【0025】
デブロッキングフィルタ部１８は、加算部１７から入力された再構成画像に対してフィルタ処理を行い、フィルタ処理後の再構成画像をサンプルアダプティブオフセット部１９に出力する。デブロッキングフィルタ部１８は、再構成画像の輝度信号レベル（輝度成分の画素値）と量子化パラメータに応じてフィルタ強度を制御する。この処理の詳細については後述する。【0026】
サンプルアダプティブオフセット部１９は、デブロッキングフィルタ部１８から入力された画像を画素単位で分類し、各画素値に分類に応じたオフセットを加算し、その結果を復号画像として記憶部２０に出力する。また、サンプルアダプティブオフセット部１９は、サンプルアダプティブオフセットの情報をエントロピー符号化部２４に出力する。【0027】
イントラ予測部２１は、記憶部２０に記憶された復号画像を参照して、イントラ予測を行ってイントラ予測画像を生成し、イントラ予測画像を切替部２３に出力する。また、イントラ予測部２１は、選択したイントラ予測モードをエントロピー符号化部２４に出力する。【0028】
動き補償予測部２２は、記憶部２０に記憶された復号画像を参照して、ブロックマッチングなどの手法により動きベクトルを生成し、動きベクトルの情報をエントロピー符号化部２４に出力する。さらに、動き補償予測部２２は、動きベクトルに基づいて動き補償予測画像を生成し、動き補償予測画像を切替部２３に出力する。【0029】
切替部２３は、イントラ予測部２１から入力されたイントラ予測画像と、動き補償予測部２２から入力された動き補償予測画像とを切替えて、復号画像の予測画像（イントラ予測画像又は動き補償予測画像）を減算部１２及び加算部１７に出力する。【0030】
逆量子化部１５と、逆変換部１６と、加算部１７と、イントラ予測部２１と、動き補償予測部２２と、切替部２３とにより、画像復号部１０を構成する。画像復号部１０は、上記のように、量子化パラメータに基づいて、量子化係数から直交変換係数を復元し、該直交変換係数に対して逆直交変換を行って復元した残差画像に予測画像を加算することにより再構成画像を生成する。【0031】
エントロピー符号化部２４は、量子化部１４から入力された量子化係数、イントラ予測部２１から入力されたイントラ予測モード、動き補償予測部２２から入力された予測動きベクトルの情報、デブロッキングフィルタ部１８から入力されたフィルタに関する情報、及びサンプルアダプティブオフセット部１９から入力されたサンプルアダプティブオフセットの情報に対してエントロピー符号化を行い、データ圧縮を行って符号化データを生成し、符号化データを符号化装置１の外部に出力する。エントロピー符号化は、０次指数ゴロム符号やＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding；コンテキスト適応型２値算術符号）など、任意のエントロピー符号化方式を用いることができる。【0032】
（デブロッキングフィルタ部）次に、デブロッキングフィルタ部１８の詳細について説明する。本実施形態では、デブロッキングフィルタ部１８が処理を行うブロックサイズを例えば８×８画素とする。デブロッキングフィルタ部１８は、まずブロックごとに平滑化処理の強さを示す境界強度Ｂｓ（Boundary Strength）値を求める。Ｂｓ値は０，１，２のいずれかとする。
【0033】
図３にデブロッキングフィルタ処理を行うブロック境界を示す。図３を参照して、Ｈ．２６５／ＨＥＶＣ方式に準拠したデブロッキングフィルタ処理の一例について説明する。ブロックＰ又はＱがイントラ予測を行うブロックである場合には、Ｂｓ値を２とする。ブロックＰ及びＱがインター予測を行うブロックであり、且つ少なくとも以下の一つの条件を満たす場合には、Ｂｓ値を１とし、その他の場合には、Ｂｓ値を０とする。・ブロックＰ又はＱが有意な（非ゼロの）直交変換係数を含み、変換ユニットＴＵ（Transform Unit）の境界であること。
・ブロックＰ及びＱの動きベクトルの本数あるいは参照画像が異なること。
・ブロックＰ及びＱの動きベクトルの差の絶対値が４画素以上であること。
【0034】
デブロッキングフィルタ部１８は、Ｂｓ値が０の場合にはフィルタ処理を行わない。以下、図３に示す垂直ブロック境界を例に説明する。Ｂｓ値が１又は２の場合には、次式（１）を満たす場合にのみ、フィルタリング処理を行う。【0035】
【数1】
【0036】
また、フィルタリング処理を行う際には、デブロッキングフィルタ部１８は、以下の条件式（２）〜（７）を全て満たす場合に強いフィルタを適用し、それ以外の場合に弱いフィルタを適用する。【0037】
【数2】
【0038】
閾値β及びｔＣの値は、隣接するブロックＰとブロックＱの量子化パラメータの平均値Ｑａｖに応じて変わる。デブロッキングフィルタ部１８は、Ｑａｖと閾値β及びｔＣとの対応関係を示す基準テーブルを有する。基準テーブルの一例を表１に示す。画像のビット深度が８ビットの場合の閾値β，ｔＣをそれぞれ閾値β’，ｔＣ’として表記している。なお、Ｑａｖ，β’，ｔＣ’は、フレーム又はスライス単位でそれぞれオフセットを加えた値とすることも可能である。【0039】
【表1】
【0040】
ビット深度をＢとすると、閾値β及びｔＣは、それぞれ式（８）（９）で表される。ここで、＜＜１は１ビットの算術左シフト演算を意味する。【0041】
【数3】
【0042】
本発明では、デブロッキングフィルタ部１８は、新たに追加する輝度信号レベル（輝度成分の画素値）Ｌによって基準テーブルをシフトして閾値β及びｔＣを設定する。輝度信号レベルＬの値は、例えば（p00＋p03＋q00＋q03）/4や、（p00＋p01＋p02＋p03＋q00＋q01＋q02＋q03）/8とする。なお、輝度信号レベルＬの求め方は一例であり、これに限定されるものではない。【0043】
デブロッキングフィルタ部１８は、入力画像の輝度値のダイナミックレンジを規定したフォーマットを取得する。映像フォーマットについては、例えばＨ．２６５／ＨＥＶＣ方式ではSequence parameter setと呼ばれる高位シンタックスによって伝送されるものであり、復号装置で信号の種別を識別することが一般的に可能である。本実施形態では、このフォーマットは、例えばＳＤＲ，ＨＬＧ，ＰＱの三種類とする。デブロッキングフィルタ部１８は、ＰＱ方式やＨＬＧ方式などのＨＤＲ方式はＳＤＲ方式に比べて輝度信号レベルの差が表示輝度に与える影響が一段と高いことを考慮し、輝度信号レベルＬに応じてフィルタ強度を制御する。具体的には、表１に示すβ’及びｔＣ’を、Ｑａｖをインデックスとするβ’［Ｑａｖ］及びｔＣ’［Ｑａｖ］とし、輝度信号レベルＬに応じて閾値β’［Ｑａｖ−ａ］及びｔＣ’［Ｑａｖ−ｂ］をシフト量ａ，ｂによって制御する。シフト量ａ，ｂは、例えば式（１０）の基準によって決定する。式（１０）では、輝度信号レベルＬを０〜１．０に正規化した場合のシフト量ａ，ｂの一例を示す。また、デブロッキングフィルタ部１８は、アプリケーションごとの要求条件に応じてシフト量ａ，ｂを決定してもよく、簡単にはａ＝ｂとしてもよい。また、ａ＝０又はｂ＝０として、閾値β’，ｔＣ’の一方のみをシフトさせるようにしてもよい。ＳＤＲ信号の場合
if (L < 0.75)
a=0;
else if (L >= 0.75)
a=2;
if (L < 0.75)
b=0;
else if (L >= 0.75)
b=1;
ＨＬＧ信号の場合
if (L < 0.5)
a=0;
else if (L >= 0.5 && L < 0.75)
a=2;
else if (L >= 0.75)
a=5;
if (L < 0.5)
b=0;
else if (L >= 0.5 && L < 0.7)
b=3;
else if (L >= 0.7)
b=6;
ＰＱ信号の場合
if (L < 0.3)
a=-1;
else if (L >= 0.3 && L < 0.4)
a=0;
else if (L >= 0.4 && L < 0.5)
a=1;
else if (L >= 0.5 && L < 0.7)
a=5;
else if (L >= 0.7 && L < 0.85)
a=10;
else if (L >= 0.85 && L < 0.95)
a=12;
else if (L >= 0.95)
a=15;
if (L < 0.3)
b=-1;
else if (L >= 0.3 && L < 0.5)
b=0;
else if (L >= 0.5 && L < 0.7)
b=1;
else if (L >= 0.7 && L < 0.95)
b=5;
else if (L >= 0.95)
b=7; （１０）
【0044】
例えば、シフト量ａ＝ｂ＝５のとき、デブロッキングフィルタ部１８は、基準テーブルの閾値β’及びｔＣ’を左に５だけシフトする。その結果を表２に示す。なお、シフト量ａがマイナスであれば、右にシフトする。なお、表に示すように閾値β’及びｔＣ’が０となった場合には、それ以降の閾値も下限０とする。閾値β’及びｔＣ’が上限値６４及び２４に至った場合には、それ以降は上限値で補完する。【0045】
【表2】
【0046】
デブロッキングフィルタ部１８は、輝度信号レベルＬに応じて規定されたシフト量ａに従って基準テーブルの閾値β’及びｔＣ’をシフトすることにより、Ｑａｖに応じたフィルタ強度の切替えの閾値を適応的に制御することができる。基準テーブルの閾値β’及びｔＣ’を右にシフトすると、閾値β及びｔＣの値が大きくなるので、上記条件式（２）〜（７）を満たしやすくなり、強いフィルタが適用されやすくなる。したがって、本発明に係る符号化装置１においては、輝度信号レベルＬが大きい場合にはデブロッキングフィルタ部１８で強いフィルタが適用されやすくなり、その結果、圧縮効果を損なうことなくブロックひずみの発生を低減することができる。【0047】
このように、符号化装置１において、デブロッキングフィルタ部１８は、再構成画像の輝度信号レベルと量子化パラメータに応じてフィルタ強度を制御する。一実施形態では、デブロッキングフィルタ部１８は、量子化パラメータから算出される第１の値（Ｑａｖ）とフィルタ強度を定める第２の値（β、ｔＣ）との対応関係を示すフィルタ強度設定情報（基準テーブル）を保持する。デブロッキングフィルタ部１８は、再構成画像の輝度信号レベルに応じてフィルタ強度設定情報を修正し、修正されたフィルタ強度設定情報に第１の値を適用することによって第２の値を導出する。第１の値は、再構成画像において隣接する２つのブロックの量子化パラメータの平均値によって定まる値である。第２の値は、フィルタ強度を切り替えるための閾値として機能する値である。デブロッキングフィルタ部１８は、第２の値を用いてフィルタ強度を切り替える。【0048】
一実施形態では、デブロッキングフィルタ部１８は、入力画像の輝度値のダイナミックレンジを規定したフォーマットに応じてフィルタ強度を制御する。デブロッキングフィルタ部１８は、量子化パラメータから算出される第１の値（Ｑａｖ）とフィルタ強度を定める第２の値（β、ｔＣ）との対応関係を示すフィルタ強度設定情報（基準テーブル）と、フィルタ強度設定情報の修正方法をフォーマットごとに定義する修正用情報（式（１０）参照）とを保持する。デブロッキングフィルタ部１８は、入力画像に適用されたフォーマットに対応する修正方法を修正用情報に基づいて特定し、特定された修正方法を用いて、再構成画像の輝度信号レベルに応じてフィルタ強度設定情報を修正し、修正されたフィルタ強度設定情報に第１の値を適用することによって第２の値を導出する。【0049】
なお、上述した符号化装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。【0050】
（復号装置）次に、一実施形態に係る復号装置について説明する。図４は、一実施形態に係る復号装置の構成例を示すブロック図である。図４に示す復号装置２は、エントロピー復号部３１と、逆量子化部３２と、逆変換部３３と、加算部３４と、デブロッキングフィルタ部３５と、サンプルアダプティブオフセット部３６と、記憶部３７と、イントラ予測部３８と、動き補償予測部３９と、切替部４０とを備える。復号装置２は、符号化装置１によって符号化された、入力画像の符号化データを復号する。
【0051】
エントロピー復号部３１は、符号化装置１が出力する符号化データを復号し、量子化係数、イントラ予測モード、動き予測情報、フィルタに関する情報、及びサンプルアダプティブオフセットの情報を取得する。そして、エントロピー復号部３１は、量子化係数を逆量子化部３２に出力し、イントラ予測モードをイントラ予測部３８に出力し、動き予測情報を動き補償予測部３９に出力し、フィルタに関する情報をデブロッキングフィルタ部３５に出力し、サンプルアダプティブオフセットの情報をサンプルアダプティブオフセット部３６に出力する。【0052】
逆量子化部３２は、エントロピー復号部３１から量子化係数及び量子化パラメータを入力し、量子化係数に量子化パラメータから導出される量子化ステップを乗算してブロックごとの直交変換係数を復元し、直交変換係数を逆変換部３３に出力する。【0053】
逆変換部３３は、逆量子化部３２から入力された直交変換係数に対して逆変換を行って残差画像を生成し、残差画像を加算部３４に出力する。【0054】
加算部３４は、逆変換部３３から入力された残差画像と、切替部４０から入力された予測画像の各画素値を加算して再構成画像を生成し、再構成画像をデブロッキングフィルタ部３５に出力する。【0055】
デブロッキングフィルタ部３５は、加算部３４から入力された再構成画像に対してフィルタ処理を行い、フィルタ処理後の再構成画像をサンプルアダプティブオフセット部３６に出力する。デブロッキングフィルタ部３５は、再構成画像の輝度信号レベル（輝度成分の画素値）と量子化パラメータに応じてフィルタ強度を制御する。【0056】
サンプルアダプティブオフセット部３６は、エントロピー復号部３１から入力されたサンプルアダプティブオフセットの情報に従って、デブロッキングフィルタ部３５から入力された画像にオフセットを加算し、その結果を復号画像として記憶部３７に出力する。【0057】
記憶部３７は、１フレーム分の画像を記憶するとともに、記憶した画像を復号装置２の外部に出力する。【0058】
イントラ予測部３８は、記憶部３７に記憶された復号画像を参照し、エントロピー復号部３１から入力されたイントラ予測モードに従って予測処理を行ってイントラ予測画像を生成し、イントラ予測画像を切替部４０に出力する。【0059】
動き補償予測部３９は、記憶部３７に記憶された復号画像を参照し、エントロピー復号部３１から入力された動きベクトルの情報に従って予測処理を行って動き補償予測画像を生成し、動き補償予測画像を切替部４０に出力する。【0060】
切替部４０は、イントラ予測部３８から入力されたイントラ予測画像と、動き補償予測部３９から入力された動き補償予測画像とを切替えて、イントラ予測画像又は動き補償予測画像を加算部３４に出力する。【0061】
逆量子化部３２と、逆変換部３３と、加算部３４と、イントラ予測部３８と、動き補償予測部３９と、切替部４０とにより、画像復号部３０を構成する。画像復号部３０は、上記のように、量子化パラメータに基づいて、量子化係数から直交変換係数を復元し、該直交変換係数に対して逆直交変換を行って復元した残差画像に復号画像の予測画像を加算することにより再構成画像を生成する。【0062】
デブロッキングフィルタ部３５の処理はデブロッキングフィルタ部１８と同様である。すなわち、デブロッキングフィルタ部３５は、輝度信号レベルＬに応じて規定されたシフト量ａに従って基準テーブルの閾値β’及びｔＣ’をシフトすることにより、Ｑａｖに応じたフィルタ強度の切替えの閾値を適応的に制御することができる。基準テーブルの閾値β’及びｔＣ’を右にシフトすると、閾値β及びｔＣの値が大きくなるので、上記条件式（２）〜（７）を満たしやすくなり、強いフィルタが適用されやすくなる。したがって、本発明に係る復号装置２においては、輝度信号レベルＬが大きい場合にはデブロッキングフィルタ部３５で強いフィルタが適用されやすくなり、その結果、圧縮効果を損なうことなくブロックひずみの発生を低減することができる。【0063】
このように、復号装置２において、デブロッキングフィルタ部３５は、再構成画像の輝度信号レベルと量子化パラメータに応じてフィルタ強度を制御する。一実施形態では、デブロッキングフィルタ部３５は、量子化パラメータから算出される第１の値（Ｑａｖ）とフィルタ強度を定める第２の値（β、ｔＣ）との対応関係を示すフィルタ強度設定情報（基準テーブル）を保持する。デブロッキングフィルタ部３５は、再構成画像の輝度信号レベルに応じてフィルタ強度設定情報を修正し、修正されたフィルタ強度設定情報に第１の値を適用することによって第２の値を導出する。第１の値は、再構成画像において隣接する２つのブロックの量子化パラメータの平均値によって定まる値である。第２の値は、フィルタ強度を切り替えるための閾値として機能する値である。デブロッキングフィルタ部３５は、第２の値を用いてフィルタ強度を切り替える。【0064】
一実施形態では、デブロッキングフィルタ部３５は、入力画像の輝度値のダイナミックレンジを規定したフォーマットに応じてフィルタ強度を制御する。デブロッキングフィルタ部３５は、量子化パラメータから算出される第１の値とフィルタ強度を定める第２の値との対応関係を示すフィルタ強度設定情報（基準テーブル）と、フィルタ強度設定情報の修正方法をフォーマットごとに定義する修正用情報（式（１０）参照）とを保持する。デブロッキングフィルタ部３５は、入力画像に適用されたフォーマットに対応する修正方法を修正用情報に基づいて特定し、特定された修正方法を用いて、再構成画像の輝度信号レベルに応じてフィルタ強度設定情報を修正し、修正されたフィルタ強度設定情報に第１の値を適用することによって第２の値を導出する。【0065】
なお、上述した復号装置２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、復号装置２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。【0066】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。【0067】
本願は日本国特許出願第２０１６−２３０５２４（２０１６年１１月２８日出願）及び日本国特許出願第２０１７−２３３４５（２０１７年２月１０日出願）の優先権を主張し、その内容の全てが本願明細書に組み込まれている。【符号の説明】
【0068】
１ 符号化装置２ 復号装置
１０ 画像復号部
１１ ブロック分割部
１２ 減算部
１３ 変換部
１４ 量子化部
１５ 逆量子化部
１６ 逆変換部
１７ 加算部
１８ デブロッキングフィルタ部
１９ サンプルアダプティブオフセット部
２０ 記憶部
２１ イントラ予測部
２２ 動き補償予測部
２３ 切替部
２４ エントロピー符号化部
３０ 画像復号部
３１ エントロピー復号部
３２ 逆量子化部
３３ 逆変換部
３４ 加算部
３５ デブロッキングフィルタ部
３６ サンプルアダプティブオフセット部
３７ 記憶部
３８ イントラ予測部
３９ 動き補償予測部
４０ 切替部