IP Force 特許公報掲載プロジェクト 2022.1.31 β版

ホーム > 特許ランキング > テンセント・アメリカ・エルエルシー

このエントリーをはてなブックマークに追加

知財求人 - 知財ポータルサイト「IP Force」

▶ テンセント・アメリカ・エルエルシーの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-11
(45)【発行日】2022-11-21
(54)【発明の名称】画像処理方法および電子デバイス
(51)【国際特許分類】
   H04N 19/117 20140101AFI20221114BHJP
   H04N 19/139 20140101ALI20221114BHJP
   H04N 19/14 20140101ALI20221114BHJP
   H04N 19/159 20140101ALI20221114BHJP
   H04N 19/176 20140101ALI20221114BHJP
   H04N 19/186 20140101ALI20221114BHJP
【ＦＩ】
H04N19/117
H04N19/139
H04N19/14
H04N19/159
H04N19/176
H04N19/186
【請求項の数】 20
(21)【出願番号】P 2021557679
(86)(22)【出願日】2020-12-16
(65)【公表番号】
(43)【公表日】2022-05-25
(86)【国際出願番号】 US2020065439
(87)【国際公開番号】W WO2021133620
(87)【国際公開日】2021-07-01
【審査請求日】2021-09-30
(31)【優先権主張番号】17/092,157
(32)【優先日】2020-11-06
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/953,458
(32)【優先日】2019-12-24
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ドゥ，イシン
(72)【発明者】
【氏名】ジャオ，シン
(72)【発明者】
【氏名】ジャオ，リアン
(72)【発明者】
【氏名】リ，シアン
(72)【発明者】
【氏名】リィウ，シャン
【審査官】久保 光宏
(56)【参考文献】
【文献】Kiran Misra, et al.，"On Cross Component Adaptive Loop Filter for Video Compression"，Proceedings of 2019 Picture Coding Symposium (PCS)，IEEE，2019年11月15日，全５頁，ISBN: 978-1-7281-4704-8, <DOI: 10.1109/PCS48520.2019.8954547>.
【文献】Kiran Misra, et al.，"Cross-Component Adaptive Loop Filter for chroma"，JVET-O0636，version 2，[online], Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年07月07日，Pages 1-9，[令和4年10月4日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=7252> and <URL: https://jvet-experts.org/doc_end_user/documents/15_Gothenburg/wg11/JVET-O0636-v2.zip>.
【文献】Hua Yang, et al.，"CE5-related: Joint chroma cross-component adaptive loop filtering"，JVET-P0372，version 8，[online], Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年10月09日，Pages 1-6，[令和4年10月4日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=8161> and <URL: https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0372-v8.zip>.
【文献】Che-Wei Kuo, et al.，"CE5-related: Unification of CCALF and ALF"，JVET-P0178，version 2，[online], Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年10月02日，Pages 1-5，[令和4年10月4日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=7967> and <URL: https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0178-v2.zip>.
【文献】Kiran Misra，"CE5-2.1, CE5-2.2: Cross Component Adaptive Loop Filter"，JVET-P0080，version 1，[online], Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年09月18日，Pages 1-7，[令和4年10月4日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=7869> and <URL: https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0080-v1.zip>.
【文献】K. Misra, et al.，"CE5-related: On the design of CC-ALF"，JVET-P1008，version 3，[online], Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年10月09日，Pages 1-6，[令和4年10月4日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=8823> and <URL: https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P1008-v3.zip>.
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ１９／００－１９／９８
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）
(57)【特許請求の範囲】
【請求項1】
電子デバイスが実行する画像処理方法であって、
画像フレームのブロックの統計情報を取得するステップと、
前記統計情報が条件を満たすかどうかを決定するステップと、
前記統計情報が前記条件を満たすことに応答して、前記ブロックに対して交差成分フィルタリング（ＣＣＦ）を無効にするステップと、
を含むことを特徴する画像処理方法。
【請求項2】
前記ブロックに対してＣＣＦを無効にするステップは、
前記ブロックのための符号化されたデータを含むビットストリームにＣＣＦフラグが含まれないと決定するステップ、を含む、
ことを特徴とする請求項１に記載の方法。
【請求項3】
前記ブロックの統計情報を取得するステップは、
前記ブロックの平滑度情報を取得するステップ、を含む、
ことを特徴とする請求項１又は２に記載の方法。
【請求項4】
前記ブロックの平滑度情報を取得するステップは、
前記ブロックにおける画素値または勾配値に基づいて前記ブロックの平滑度を測定するステップ、を含む、
ことを特徴とする請求項３に記載の方法。
【請求項5】
前記統計情報が前記条件を満たすかどうかを決定するステップは、
前記ブロックの平滑度が閾値よりも小さいかどうかを決定するステップ、を含む、
ことを特徴とする請求項４に記載の方法。
【請求項6】
前記統計情報が前記条件を満たすかどうかを決定するステップは、
前記ブロックの平滑度が閾値よりも大きいかどうかを決定するステップ、を含む、
ことを特徴とする請求項４に記載の方法。
【請求項7】
前記ブロックにおける画素値に基づいて前記ブロックの平滑度を測定するステップは、
前記ブロックにおける画素の輝度成分値または色度成分値のうちの少なくとも１つに基づいて、前記ブロックの平滑度を測定するステップ、を含む、
ことを特徴とする請求項４乃至６のうちいずれか一項に記載の方法。
【請求項8】
前記ブロックの平滑度を測定するステップは、
前記ブロックにおける画素値の範囲、前記ブロックにおける画素値の四分位範囲、前記ブロックにおける画素値の分散、または前記ブロックにおける画素値の標準偏差の、うちの少なくとも１つに基づいて、前記ブロックの平滑度を測定するステップ、を含む、
ことを特徴とする請求項４乃至６のうちいずれか一項に記載の方法。
【請求項9】
前記ブロックの平滑度を測定するステップは、
前記ブロックにおける勾配値の範囲、前記ブロックにおける勾配値の四分位範囲、前記ブロックにおける勾配値の分散、または前記ブロックにおける勾配値の標準偏差の、うちの少なくとも１つに基づいて、前記ブロックの平滑度を測定するステップ、を含む、
ことを特徴とする請求項４乃至６のうちいずれか一項に記載の方法。
【請求項10】
前記ブロックの統計情報を取得するステップは、
前記ブロックのモード情報を取得するステップ、を含む、
ことを特徴とする請求項１に又は２記載の方法。
【請求項11】
前記統計情報が前記条件を満たすかどうかを決定するステップは、
前記ブロックのモード情報に所定の情報が含まれるかどうかを決定するステップ、を含む、
ことを特徴とする請求項１０に記載の方法。
【請求項12】
前記ブロックのモード情報を取得するステップは、
前記ブロックのための予測モード、係数符号化に関連する情報、ブロックサイズ、量子化パラメータ、別の画像フレームのＣＣＦフラグ、または前記ブロックに関連付けられた動きベクトル、のうちの少なくとも１つを取得するステップ、を含む、
ことを特徴とする請求項１０又は１１に記載の方法。
【請求項13】
前記ブロックのモード情報を取得するステップは、
前記ブロックのための予測モードを取得するステップ、を含み、および、
前記統計情報が前記条件を満たすかどうかを決定するステップは、
前記ブロックのための予測モードが、フレーム内ＤＣ（直流）モードであるかどうかを決定するステップ、を含む、
ことを特徴とする請求項１０又は１１に記載の方法。
【請求項14】
前記ブロックの統計情報を取得するステップは、
前記ブロックの中間情報を取得するステップであって、前記ブロックの中間情報がエンコーダおよびデコーダの両方で使用可能であるステップ、を含む、
ことを特徴とする請求項１又は２に記載の方法。
【請求項15】
前記統計情報が前記条件を満たすかどうかを決定するステップは、
前記ブロックの中間情報が所定の情報を含むかどうかを決定するステップ、を含む、
ことを特徴とする請求項１４に記載の方法。
【請求項16】
前記ブロックの中間情報を取得するステップは、
ループフィルタリングプロセス中に導出されるサンプル分類情報、デブロッキングプロセス、制約付き指向性強化フィルタリング（ＣＤＥＦ）プロセスまたはループ復元プロセス中に導出されるフィルタリング強度、またはＣＤＥＦプロセス中に導出されるエッジ方向、のうちの少なくとも１つを取得するステップ、を含む、
ことを特徴とする請求項１４又は１５に記載の方法。
【請求項17】
前記ブロックの中間情報を取得するステップは、
制約付き指向性強化フィルタリング（ＣＤＥＦ）プロセス中に導出されるフィルタリング強度を取得するステップ、を含み、および、
前記統計情報が前記条件を満たすかどうかを決定するステップは、
前記ＣＤＥＦプロセスのフィルタリング強度が０であるかどうかを決定するステップ、を含む、
ことを特徴とする請求項１４又は１５に記載の方法。
【請求項18】
電子デバイスであって、
プロセッサと、
命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体と、を含み、前記命令が前記プロセッサによって実行されると、
画像フレームのブロックの統計情報を取得するステップと、
前記統計情報が条件を満たすかどうかを決定するステップと、
前記統計情報が前記条件を満たすことに応答して、前記ブロックに対して交差成分フィルタリング（ＣＣＦ）を無効にするステップと、を前記プロセッサに実行させる、
ことを特徴とする電子デバイス。
【請求項19】
前記命令は、さらに、
前記統計情報が前記条件を満たすことに応答して、前記ブロックのための符号化されたデータを含むビットストリームにＣＣＦフラグを含まないステップ、を前記プロセッサに実行させる、
ことを特徴とする請求項１８に記載の電子デバイス。
【請求項20】
前記ブロックの統計情報には、前記ブロックの平滑度情報、前記ブロックのモード情報、または、前記ブロックの、エンコーダおよびデコーダの両方で使用可能な中間情報、のうちの少なくとも１つが含まれる、
ことを特徴とする請求項１８又は１９に記載の電子デバイス。
【発明の詳細な説明】
【技術分野】
【0001】
［関連出願への相互参照］
本願は、２０２０年１１月６日に出願された米国特許出願第１７／０９２,１５７号、および２０１９年１２月２４日に出願された米国仮特許出願第６２／９５３,４５８号に対する優先権を主張し、これらの両方の内容の全体は、参照により本明細書に組み込まれる。
【0002】
［技術分野］
本願は、ビデオコーディング技術の分野に関し、特に、適応交差成分フィルタを使用するビデオコーディングのためのシステムおよび方法に関する。
【背景技術】
【0003】
ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）は、インターネットを介したビデオ伝送のために設計されたオープンビデオコーディングフォーマットである。ＡＶ１は、半導体企業、ビデオオンデマンドプロバイダー（ｖｉｄｅｏ ｏｎ ｄｅｍａｎｄ ｐｒｏｖｉｄｅｒｓ）、ビデオコンテンツ制作者（ｖｉｄｅｏ ｃｏｎｔｅｎｔ ｐｒｏｄｕｃｅｒｓ）、ソフトウェア開発会社（ｓｏｆｔｗａｒｅ ｄｅｖｅｌｏｐｍｅｎｔ ｃｏｍｐａｎｉｅｓ）およびＷｅｂブラウザベンダー（ｗｅｂ ｂｒｏｗｓｅｒ ｖｅｎｄｏｒｓ）を含むコンソーシアム（ｃｏｎｓｏｒｔｉｕｍ）である、オープンメディア同盟（ＡＯＭｅｄｉａ：Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ）によって、ＶＰ９の後継として開発されたものである。ＡＶ１プロジェクトの多くの構成部分は、同盟メンバーによる以前の研究活動に由来している。実験的な技術プラットフォームには、Ｘｉｐｈ／ＭｏｚｉｌｌａによるＤａａｌａ、Ｇｏｏｇｌｅによる実験的なＶＰ９の進化プロジェクトＶＰ１０、およびＣｉｓｃｏ（シスコ）によるＴｈｏｒが含まれている。ＶＰ９のコードベースに基づいて構築されたＡＶ１には、付加的な技術が組み込まれており、それらの技術のうちのいくつかは、これらの実験的な形式で開発されたものである。ＡＶ１参照コーデックおよびビットストリーム仕様のさまざまなバージョンがリリースされた。ＡＶ１ビットストリーム仕様には、参照ビデオコーデックが含まれている。
【0004】
ＩＴＵ－ＴＶＣＥＧ（Ｑ６／１６）およびＩＳＯ／ＩＥＣ ＭＰＥＧ（ＪＴＣ １／ＳＣ ２９／ＷＧ １１）は、Ｈ．２６５／ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、高効率ビデオコーディング）規格の様々なバージョンを公開した。これらの２つの標準化組織は、ＨＥＶＣを超える次のビデオコーディング標準を開発する可能性を探るために、共同ビデオ探索チーム（ＪＶＥＴ：Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｇｒｏｕｐ）を共同で設立した。これらの２つの組織によって発表された、ＨＥＶＣを超える機能を有するビデオ圧縮に関する共同提案募集（ＣｆＰ：Ｃａｌｌ ｆｏｒ Ｐｒｏｐｏｓａｌ）に応答して、標準ダイナミックレンジ（ＳＤＲ：ｓｔａｎｄａｒｄ ｄｙｎａｍｉｃ ｒａｎｇｅ）、ハイダイナミックレンジ（ＨＤＲ：ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ）および３６０個のビデオカテゴリに関する、４０件以上の回答が提出された。ＣｆＰへの受け取られたすべての回答は、第１２２回のＭＰＥＧ／第１０回のＪＶＥＴ会議で評価された。この会議の結果として、ＪＶＥＴは、ＨＥＶＣを超える次世代ビデオコーディングの標準化プロセスを正式に開始した。新しい規格は、汎用ビデオコーディング（ＶＶＣ：ＶｅｒｓａｔｉｌｅＶｉｄｅｏ Ｃｏｄｉｎｇ）と命名され、ＪＶＥＴは、共同ビデオ専門家チームと改名された。ＶＴＭ（ＶＶＣ Ｔｅｓｔ Ｍｏｄｅｌ）の最新バージョンは、ＶＴＭ ７である。
【0005】
交差成分フィルタリング（ＣＣＦ：Ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｆｉｌｔｅｒｉｎｇ）は、１つの成分のサンプル値を使用して別の成分を細分化するフィルタリングプロセスである。ＣＣＦの一例は、ＪＶＥＴ－Ｏ０６３６で提案された交差成分適応ループフィルタ（ＣＣ－ＡＬＦ：ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）である。フラグは、処理中のフレーム内のブロックのためのＣＣＦオン／オフなどを信号で通知するために使用される。例えば、平滑領域内のブロックは、ＣＣＦをオフにするように信号で通知される。しかしながら、ＣＣＦが平滑領域内で実行されないため、平滑領域でのＣＣＦのシグナリングは、ビットオーバーヘッドと必要な記憶空間、および／または伝送帯域幅を増加させ、これは、大きな平滑領域（複数）を有する画像フレームについて特に当てはまる。
【0006】
開示される方法およびシステムは、上記１つまたは複数の問題、および他の問題を解決することを目的としている。
【発明の概要】
【0007】
本開示によれば、画像フレームのブロックの統計情報を取得するステップと、前記統計情報が条件を満たすかどうかを決定するステップと、前記統計情報が条件を満たすことに応答して、前記ブロックに対して交差成分フィルタリング（ＣＣＦ）を無効にするステップと、を含む画像処理方法が提供されている。
【0008】
また、本開示によれば、プロセッサと、命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体とを含む電子デバイスが提供されており、前記命令が前記プロセッサによって実行されると、画像フレームのブロックの統計情報を取得するステップと、前記統計情報が条件を満たすかどうかを決定するステップと、前記統計情報が前記条件を満たすことに応答して、前記ブロックに対して交差成分フィルタリング（ＣＣＦ）を無効にするステップと、を前記プロセッサに実行させる。
【図面の簡単な説明】
【0009】
【図1】本開示に係る例示的な動作環境を示す図である。
【図2】本開示に係る例示的なコンピュータシステムを示す図である。
【図3】ＣＣ－ＡＬＦが適用された例示的なＨＥＶＣ符号化構造を示す図である。
【図4A】他のループフィルタに対するＣＣ－ＡＬＦの配置を示す図である。
【図4B】ＣＣ－ＡＬＦで使用されているひし形フィルタを示す図である。
【図5】本開示に係る例示的な画像処理方法を示すフローチャートである。
【図6】本開示に係る別の例示的な画像処理方法を示すフローチャートである。
【図7】本開示に係る別の例示的な画像処理方法を示すフローチャートである。
【図8】本開示に係る別の例示的な画像処理方法を示すフローチャートである。
【図9】本開示に係る別の例示的な画像処理方法を示すフローチャートである。
【図10A】本開示に係る別の例示的な画像処理方法を示すフローチャートである。
【図10B】本開示に係る別の例示的な画像処理方法を示すフローチャートである。
【図11A】本開示に係る別の例示的な画像処理方法を示すフローチャートである。
【図11B】本開示に係る別の例示的な画像処理方法を示すフローチャートである。
【図12】本開示に係る別の例示的な画像処理方法を示すフローチャートである。
【図13】本開示に係る例示的な電子デバイスのブロック図である。
【発明を実施するための形態】
【0010】
以下、添付図面を参照しながら、本開示の実施形態における技術的解決手段を説明する。可能な限り、同じ参照符号は、同じまたは類似の構成要素を示すために、図面全体を通して使用される。明らかに、説明される実施形態は、本発明の一部の実施形態に過ぎず、すべての実施形態ではない。創造的な努力なしに本発明の実施形態に基づいて当業者によって得られる他の実施形態は、本開示の範囲に属するものとする。
【0011】
本開示において使用されるいくつかの頭字語および用語は、以下のようにリストアップされている。
【0012】
ＡＬＦ：Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ、適応ループフィルタ
ＡＰＳ：Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、適応パラメータセット
ＣＢＦ：Ｃｏｄｅｄ Ｂｌｏｃｋ Ｆｌａｇ、符号化されたブロックのフラグ
ＣＣ－ＡＬＦ：Ｃｒｏｓｓ－Ｃｏｍｐｏｎｅｎｔ Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ／Ｆｉｌｔｅｒｉｎｇ、交差成分適応ループフィルタ／フィルタリング
ＣＣＦ：Ｃｒｏｓｓ－Ｃｏｍｐｏｎｅｎｔ Ｆｉｌｔｅｒ／Ｆｉｌｔｅｒｉｎｇ、交差成分フィルタ／フィルタリング
ＣＤＥＦ：Ｃｏｎｓｔｒａｉｎｅｄ Ｄｉｒｅｃｔｉｏｎａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｆｉｌｔｅｒ／Ｆｉｌｔｅｒｉｎｇ、制約付き指向性強化フィルタ／フィルタリング
ＤＣ：Ｄｉｒｅｃｔ Ｃｕｒｒｅｎｔ、直流
ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、高効率ビデオコーディング
ＪＶＥＴ：Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ、共同ビデオ探索チーム
ＱＰ：Ｑｕａｎｔｉｚａｔｉｏｎ Ｐａｒａｍｅｔｅｒ、量子化パラメータ
ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ、サンプル適応オフセット
ＶＶＣ：Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、汎用ビデオコーディング

ビットストリーム（Ｂｉｔｓｔｒｅａｍ）：符号化された画像フレームおよび関連付けられたデータの表現を形成するビットのシーケンスである。
フラグ（Ｆｌａｇ）：いくつかの可能な値のうちの１つ、例えば、２つの可能な値（例えば、０と１）のうちの１つ、を取ることができる、変数またはシングルビット構文要素である。
構文要素（Ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）：ビットストリームで表現されるデータ要素である。
構文構造（Ｓｙｎｔａｘ ｓｔｒｕｃｔｕｒｅ）：指定された順序でビットストリームに一緒に存在する０個以上の構文要素である。
【0013】
図１は、本開示に係る例示的な動作環境１００を示す。動作環境１００は、ビデオ機能を有する様々なデバイスを含むことができる。例えば、図１に示されるように、動作環境１００は、モバイルデバイス１０２と、端末デバイス１０４と、電子デバイス１０６と、を含む。他のタイプのデバイスも含まれてよい。
【0014】
いくつかの実施形態では、図１に示されるように、動作環境１００は、サーバ１２０と、１つまたは複数のユーザ１３０と、様々なデバイスとサーバ１２０とを接続する通信ネットワーク１４０と、をさらに含む。ユーザ１３０は、様々なデバイスのうちの１つまたは複数を使用、アクセス、または制御することができる。
【0015】
モバイルデバイス１０２、端末デバイス１０４、および電子デバイス１０６は、一般に、端末デバイスと呼ばれることもあり、これは、例えばパーソナルデジタルアシスタント（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、携帯電話、スマートフォン、統合メッセージングデバイス（ＩＭＤ：ｉｎｔｅｇｒａｔｅｄ ｍｅｓｓａｇｉｎｇ ｄｅｖｉｃｅ）、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、または別のコンピューティングデバイスのような任意のユーザ端末を含むことができる。端末デバイスはまた、例えばデジタルカメラ、ビデオカメラ、セキュリティカメラ、車載カメラまたはステレオカメラなどの、任意の画像またはビデオキャプチャデバイス；または、例えばデジタルドアベル、自動運転センサー、デジタル音声アシスタント、スマートスピーカー、スマート家電またはビデオ処理能力を有する任意の工業用もしくは商業用、モノのインターネット（ＩｏＴ：Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）システムなどの、ビデオ機能を有する任意の電子デバイスを含むこともできる。モバイルデバイス１０２、端末デバイス１０４および電子デバイス１０６のいずれかは、移動している個人によって運ばれるときに静止または移動することができ、輸送の一部として、または輸送モードで配置されてもよく、輸送モードには、自動車、トラック、タクシー、バス、電車、船、飛行機、自転車、オートバイ、または任意の類似の適切な輸送モードが含まれる。
【0016】
ネットワーク１４０は、任意の適切なタイプの通信ネットワークを含むことができ、また、有線または無線ネットワークの任意の組み合わせを含むことができ、この有線または無線ネットワークは、無線セルラー電話ネットワーク、無線ローカルエリアネットワーク（ＷＬＡＮ：ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈパーソナルエリアネットワーク、イーサネットローカルエリアネットワーク、トークンリングローカルエリアネットワーク、ワイドエリアネットワーク、およびインターネットを含むが、これらに限定されない。ネットワーク１４０はまた、音声／データ通信のためのプライベート又はクラウドコンピューティングプラットフォームを含むこともできる。インターネットまたは他のタイプのネットワークが含まれる場合、インターネットへの接続には、長距離無線接続、短距離無線接続、および／または様々な有線接続が含まれることができ、有線接続には、電話回線、ケーブル回線、電力線、および／または類似な通信経路が含まれている。
【0017】
サーバ１２０は、サーバクラスタ内に配置された、または異なる場所で配布された、任意のタイプのサーバコンピュータシステムまたは複数のコンピュータシステムを含むことができる。上記サーバ１２０はまた、クラウドコンピューティングプラットフォーム上のクラウドサーバを含むこともできる。サーバ１２０はまた、サーバエンティティとも呼ばれることもがあり、これは、ビデオ復号およびアプリケーション処理のサーバ側機能を実行するための任意の適切なデバイス（電子デバイスを含む）と集積されてもよい。
【0018】
図２は、様々な端末デバイス１０２、１０４および／または１０６、および／またはサーバ１２０の特定の態様を実現する例示的なコンピュータシステムを示す。図２に示されるように、コンピュータシステム２００は、ハードウェアプロセッサ２０２と、メモリ２０４と、カードリーダ２０６と、ディスプレイ２０８と、キーボード２１０と、無線周波数（ＲＦ：ｒａｄｉｏ－ｆｒｅｑｕｅｎｃｙ）インターフェース２１２と、ベースバンド２１４と、アンテナ２１６と、符号化回路２２２と、復号回路２２４と、カメラ２２６と、スピーカ２３２と、マイクロフォン２３４とを含む。図２に示される構成要素は、例示的なものであり、特定の構成要素は省略されてもよく、他の構成要素が追加されてもよい。
【0019】
プロセッサ２０２は、コンピュータシステム２００を制御するために提供され得る。プロセッサ２０２は、他の構成要素にデータを送信し、また他の構成要素からデータを受信するために、１つまたは複数のバスまたは他の電気接続を介して他の構成要素に接続することができる。プロセッサ２０２は、１つまたは複数の処理コアを含むことができ、例えば、プロセッサ２０２は、４コアプロセッサまたは８コアプロセッサであってもよい。プロセッサ２０２は、デジタル信号処理（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、またはプログラマブルロジックアレイ（ＰＬＡ：ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ａｒｒａｙ）のうちの少なくとも１つのハードウェア形態を使用することによって実現され得る。プロセッサ２０２はまた、メインプロセッサおよびコプロセッサを含むことができる。メインプロセッサは、中央処理ユニット（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）であってもよく、コプロセッサは、ディスプレイスクリーンが表示する必要のあるコンテンツのレンダリングおよび描画を担当するように構成されたグラフィックス処理ユニット（ＧＰＵ：ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）であってもよい。いくつかの実施形態では、プロセッサ２０２は、人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）プロセッサをさらに含むことができる。ＡＩプロセッサは、機械学習に関連するコンピューティング動作を処理するように構成される。
【0020】
メモリ２０４は、高速ランダムアクセスメモリおよび／または不揮発性メモリなどの１つまたは複数のコンピュータ読み取り可能な記憶媒体、例えば、１つまたは複数のディスク記憶デバイスまたはフラッシュ記憶デバイスを含むことができる。メモリ２０４は、画像および音声データの形式でデータを記憶することができ、また、プロセッサ２０２のための命令を記憶することもできる。カードリーダ２０６は、任意のタイプのポータブルカードインタフェース、例えば、スマートカードインタフェース、通信カードインタフェース（例えば、近距離通信（ＮＦＣ：ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）カード）、または加入者識別子モジュール（ＳＩＭ：ｓｕｂｓｃｒｉｂｅｒ ｉｄｅｎｔｉｆｉｅｒ ｍｏｄｕｌｅ）カード、またはユーザ情報を提供するための、かつユーザ１３０の認証および許可のための認証情報を提供するのに適している他のカードインタフェースなどを含むことができる。
【0021】
さらに、ディスプレイ２０８は、画像またはビデオを表示するのに適している任意の適切なディスプレイを含むことができる。例えば、ディスプレイ２０８は、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）スクリーン、有機発光ダイオード（ＯＬＥＤ：ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）スクリーンなどを含むことができ、また、タッチスクリーンであってもよい。キーボード２１０は、ユーザが情報を入力するために、物理キーボードまたは仮想キーボードを含むことができ、また、他のタイプの入力／出力デバイスを含むこともできる。スピーカ２３２およびマイクロフォン２３４は、コンピュータシステム２００に対して音声を入力および出力するために使用され得る。
【0022】
ＲＦインターフェース２１２（アンテナ２１６と共に）は、ＲＦ信号を送受信するためのＲＦ回路を含むことができる。ＲＦインターフェース２１２は、電気信号を送信用の電磁信号に変換し、または受信した電磁信号を受信用の電気信号に変換することができる。ＲＦインターフェース２１２は、少なくとも１つの無線通信プロトコルを介して他の電子デバイスと通信することができる。無線通信プロトコルは、メトロポリタンエリアネットワーク、様々な世代の移動通信ネットワーク（２Ｇ、３Ｇ、４Ｇおよび５Ｇ）、無線ローカルエリアネットワーク（ＬＡＮ：ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、および／または無線フィディリティー（ＷｉＦｉ：ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ）ネットワークを含むことができる。いくつかの実施形態では、ＲＦインターフェース２１２はまた、近距離通信（ＮＦＣ）に関連する回路を含むことができる。ベースバンド２１４は、ＲＦインターフェース２１２への信号およびそれからの信号を処理するための回路を含むことができる。
【0023】
さらに、カメラ２２６は、画像またはビデオを収集するように構成された任意のタイプの、画像またはビデオキャプチャデバイスを含むことができる。コンピュータシステム２００がユーザによって携帯されるポータブルデバイスである場合、カメラ２２６は、フロントカメラおよびリアカメラを含むことができる。フロントカメラは、電子デバイスのフロントパネルに配置することができ、リアカメラは、電子デバイスの背面に配置することができる。いくつかの実施形態では、少なくとも２つのリアカメラが存在しており、各リアカメラは、メインカメラ、被写界深度カメラ、広角カメラ、および望遠カメラのうちのいずれかであるため、メインカメラと被写界深度カメラとを融合させることによって背景ぼかし機能を実現し、また、メインカメラと広角カメラとを融合させることによってパノラマ撮影や仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）撮影機能、または他の融合撮影機能を実現する。いくつかの実施形態では、カメラ２２６は、さらに、フラッシュを含むことができる。
【0024】
符号化回路２２２および復号回路２２４は、音声および／またはビデオデータの符号化および復号を実行すること、またはプロセッサ２０２によって実行される符号化および復号を支援することに適した電子デバイスのコーデック回路と呼ばれることもある。
【0025】
図２に示されるようなコンピュータシステム２００はまた、任意の特定のシステムを実現するための付加的な構造を含むことができる。例えば、コンピュータシステム２００は、サーバ１２０が実現される場合にデータベースおよび／または地上回線ベースのネットワーク通信インターフェースを含むことができ、または、モバイルデバイス１０２などが実現される場合に無線通信システムのモバイル端末またはユーザ機器の構造と類似している構造を含むことができる。しかしながら、コンピュータシステム２００は、ビデオの符号化および復号、またはビデオの符号化、またはビデオの復号を必要とする任意の電子デバイスまたは装置を実現するための任意の構造を含むか、または省略することができる。例えば、エンコーダを実現するようにまたはそれを含むように構成されている場合、コンピュータシステム２００は、符号化回路２２２を含み得るが、復号回路２２４を含まなくてもよい一方、デコーダを実現するようにまたはそれを含むように構成されている場合、コンピュータシステム２００は、復号回路２２４を含み得るが、符号化回路２２２を含まなくてもよい。
【0026】
再び図１を参照すると、コンピュータシステム２００（すなわち、様々なデバイス１０２、１０４および／または１０６のうちの任意の１つまたは複数）は、様々なデータ（例えば、音声データ、環境／動作データ、画像データおよび／またはビデオデータ）をキャプチャまたは収集することができ、また、ネットワーク１４０を介してそれらのデータをサーバ１２０に送信することができる。コンピュータシステム２００は、データをサーバ１２０に送信する前にデータを処理または前処理することができ、または未処理のデータをサーバ１２０に送信することができる。
【0027】
動作中に、端末デバイスのユーザは、ビデオアプリケーションを使用して、サーバ１２０との間でビデオコンテンツを伝送および／または受信することができ、または、様々な端末デバイスのユーザは、様々なビデオアプリケーションを使用して、ビデオコンテンツを相互に通信することができる。一実施形態では、１つのユーザは、サーバ１２０を介して他のユーザとビデオコンテンツを通信することができ、または、サーバ１２０は、ユーザ間の通信チャネルを設定することができ、これにより、１つのユーザは、上記通信チャネルを介して他のユーザとビデオを直接に通信することができる。
【0028】
交差成分フィルタリング（ＣＣＦ）は、第１成分（例えば、ＹＣｂＣｒ色空間におけるＹ、ＣｂまたはＣｒ）の再構築されたサンプルを入力として使用し、出力を第１成分とは異なる成分である第２成分に適用するフィルタプロセスである。エンコーダでは、ＣＣＦプロセスは、例えばフィルタリング係数の導出またはフィルタリングの実行のうちの少なくとも１つを含むことができる。デコーダでは、ＣＣＦプロセスは、例えばフィルタリングの実行を含むことができる。
【0029】
ＣＣＦの一例は、ＡＬＦの特定のタイプである交差成分適応ループフィルタリング（ＣＣ－ＡＬＦ：ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒｉｎｇ）である。ＡＬＦは、通常、再構築されたフレームに対してフィルタリングをフレーム間予測のために実行するインループフィルタリングプロセスにおける最後のフィルタリングステップとして使用される。図３は、ＣＣ－ＡＬＦが適用された例示的なＨＥＶＣ符号化構造を概略的に示す。図３に示される符号化プロセスは、符号化端（エンコーダ）で実行可能であり、例えば、符号化回路２２２単独、プロセッサ２０２単独、符号化回路２２２とプロセッサ２０２の組み合わせ、または、コンピュータシステム２００の他の構成要素／回路と共に符号化回路２２２および／またはプロセッサ２０２によって実現され得る。
【0030】
図３に示されるように、画像フレームは、残差を取得するために、参照（参照フレームまたは参照ブロック）に基づいて、フレーム間予測またはフレーム内予測を使用して処理され得、この残差は、次に、変換および量子化される。変換／量子化された残差は、エントロピー符号化され、これにより、ビットストリームは生成され、復号側に伝送される。変換／量子化された残差はまた、逆変換および逆量子化され、次に、参照フレームと結合され、これにより、再構築されたフレームは得られる。再構築されたフレームは、デブロッキングフィルタ（ＤＢＦ：ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）、サンプル適応オフセット（ＳＡＯ）フィルタおよび交差成分適応ループフィルタ（ＣＣ－ＡＬＦ：ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）を含むインループフィルタに供給される。フィルタリングされたフレームは、後続フレームのフレーム間予測プロセスで使用するために、バッファ（復号された画像のバッファ）に記憶される。ＣＣ－ＡＬＦのための係数は、符号化端で導出され、符号化端でのＣＣ－ＡＬＦプロセスで使用され得る。符号化端は、復号端での対応するＣＣ－ＡＬＦプロセスで使用するために、ＣＣ－ＡＬＦ係数を復号端に送信することができ、または、復号端での対応するＣＣ－ＡＬＦプロセスで使用するための正しいＣＣ－ＡＬＦ係数を選択するために、ＣＣ－ＡＬＦ係数のシグナリングを復号端に送信することができる。いくつかの実施形態では、ＳＡＯフィルタは、例えば制約付き指向性強化フィルタ（ＣＤＥＦ）に置き換えることができる。
【0031】
復号側（デコーダ）では、復号プロセスは、基本的に、図３に示される符号化プロセスの逆のプロセスである。復号端でのＣＣ－ＡＬＦプロセスは、符号化端から受信されたＣＣ－ＡＬＦ係数、または符号化端からのシグナリングに従って取得されたＣＣ－ＡＬＦ係数を使用することができる。復号プロセスは、例えば、復号回路２２４単独、プロセッサ２０２単独、復号回路２２４とプロセッサ２０２の組み合わせ、または、コンピュータシステム２００の他の構成要素／回路と共に復号回路２２４および／またはプロセッサ２０２によって実現可能である。
【0032】
図４Ａは、他のループフィルタに対するＣＣ－ＡＬＦの配置を示す。図４Ｂは、ＣＣ－ＡＬＦで使用されているひし形フィルタを示す。フィルタは、線形フィルタであってもよい。図４Ａに示されるように、ＣＣ－ＡＬＦは、フィルタを各色度成分のための輝度チャンネルに適用する。フィルタ係数は、適応パラメータセット（ＡＰＳ）で伝送され、因子２１０でスケーリングされ、固定小数点表現のために丸められる。いくつかの実施形態では、１つのＡＰＳにおいて、最大２５個の、輝度フィルタ係数とクリッピング値インデックスとのセット、および、最大８個の、色度フィルタ係数とクリッピング値インデックスとのセットが、信号で通知され得る。スライスヘッドにおいて、現在のスライスのために使用されるＡＰＳのインデックスは、信号で通知される。フィルタの適用は、可変ブロックサイズによって制御され、サンプルのブロックごとに受信された、コンテキスト符号化されたフラグを介して、信号で通知される。ブロックサイズとＣＣ－ＡＬＦ有効化フラグ（ｅｎａｂｌｉｎｇ ｆｌａｇ）は、色度成分ごとに、スライスレベルで受信される。サポートされているブロックサイズ（色度サンプル内）には、例えば１６×１６、３２×３２および６４×６４が含まれている。
【0033】
以下の表１は、ＣＣ－ＡＬＦに関連付けられた構文の相関部分を示す。
【表1】
ＣＣ－ＡＬＦに関連付けられた構文のセマンティクスは、以下の通りである。
【0034】
ａｌｆ＿ｃｔｂ＿ｃｒｏｓｓ＿ｃｏｍｐｏｎｅｎｔ＿ｃｂ＿ｉｄｃ［ ｘＣｔｂ ＞＞ ＣｔｂＬｏｇ２ＳｉｚｅＹ ］［ ｙＣｔｂ ＞＞ ＣｔｂＬｏｇ２ＳｉｚｅＹ ］が０に等しいことは、交差成分Ｃｂフィルタが輝度位置（ｘＣｔｂ、ｙＣｔｂ）でのＣｂ色成分サンプルのブロックに適用されていないことを示す。
【0035】
ａｌｆ＿ｃｒｏｓｓ＿ｃｏｍｐｏｎｅｎｔ＿ｃｂ＿ｉｄｃ［ ｘＣｔｂ ＞＞ ＣｔｂＬｏｇ２ＳｉｚｅＹ ］［ ｙＣｔｂ ＞＞ ＣｔｂＬｏｇ２ＳｉｚｅＹ ］が０に等しくないことは、第ａｌｆ＿ｃｒｏｓｓ＿ｃｏｍｐｏｎｅｎｔ＿ｃｂ＿ｉｄｃ［ ｘＣｔｂ ＞＞ ＣｔｂＬｏｇ２ＳｉｚｅＹ ］［ ｙＣｔｂ ＞＞ ＣｔｂＬｏｇ２ＳｉｚｅＹ ］番目の交差成分Ｃｂフィルタが輝度位置（ｘＣｔｂ、ｙＣｔｂ）でのＣｂ色成分サンプルのブロックに適用されていることを示す。
【0036】
ａｌｆ＿ｃｔｂ＿ｃｒｏｓｓ＿ｃｏｍｐｏｎｅｎｔ＿ｃｒ＿ｉｄｃ［ ｘＣｔｂ ＞＞ ＣｔｂＬｏｇ２ＳｉｚｅＹ ］［ ｙＣｔｂ ＞＞ ＣｔｂＬｏｇ２ＳｉｚｅＹ ］が０に等しいことは、交差成分Ｃｒフィルタが輝度位置（ｘＣｔｂ、ｙＣｔｂ）でのＣｒ色成分サンプルのブロックに適用されていないことを示す。
【0037】
ａｌｆ＿ｃｒｏｓｓ＿ｃｏｍｐｏｎｅｎｔ＿ｃｒ＿ｉｄｃ［ ｘＣｔｂ ＞＞ ＣｔｂＬｏｇ２ＳｉｚｅＹ ］［ ｙＣｔｂ ＞＞ ＣｔｂＬｏｇ２ＳｉｚｅＹ ］が０に等しくないことは、第ａｌｆ＿ｃｒｏｓｓ＿ｃｏｍｐｏｎｅｎｔ＿ｃｒ＿ｉｄｃ［ ｘＣｔｂ ＞＞ ＣｔｂＬｏｇ２ＳｉｚｅＹ ］［ ｙＣｔｂ ＞＞ ＣｔｂＬｏｇ２ＳｉｚｅＹ ］番目の交差成分Ｃｒフィルタが輝度位置（ｘＣｔｂ、ｙＣｔｂ）でのＣｒ色成分サンプルのブロックに適用されていることを示す。
【0038】
以下、本開示に係る例示的な画像処理方法を詳細に説明する。本開示に係る画像処理方法は、本開示に係る電子デバイスによって実行され得る。電子デバイスは、例えば１つ以上のプロセッサまたは１つ以上の集積回路などのような処理回路によって実現され得る。例えば、電子デバイスは、１つ以上のプロセッサと、プログラムが記憶されている非一時的なコンピュータ読み取り可能な記憶媒体とを含むことができ、前記プログラムが１つ以上のプロセッサによって実行されるとき、以下に説明する例示的な画像処理方法のうちの１つなど、本開示に係る方法を１つ以上のプロセッサに実行させる。いくつかの実施形態では、電子デバイスは、図２に示されるコンピュータシステム２００、またはコンピュータシステム２００の一部を含むことができる。例えば、電子デバイスが、以下に説明する符号化関連プロセスを実現するように構成されたエンコーダである場合、電子デバイスは、例えば、符号化回路２２２および／または１つまたは複数のプロセッサとしてのプロセッサ２０２と、非一時的なコンピュータ読み取り可能な記憶媒体としてのメモリ２０４とを含むことができる。一方、電子デバイスが、以下に説明する復号関連プロセスを実現するように構成されたデコーダである場合、電子デバイスは、例えば、復号回路２２４および／または１つまたは複数のプロセッサとしてのプロセッサ２０２と、非一時的なコンピュータ読み取り可能な記憶媒体としてのメモリ２０４とを含むことができる。さらに、電子デバイスが、符号化関連プロセスおよび復号関連プロセスの両方を実現するように構成されたコーデックである場合、電子デバイスは、例えば、符号化回路２２２、復号回路２２４、および／または１つまたは複数のプロセッサとしてのプロセッサ２０２と、非一時的なコンピュータ読み取り可能な記憶媒体としてのメモリ２０４とを含むことができる。
【0039】
本開示のいくつかの実施形態では、サンプル領域の統計情報は取得／導出され、さらなる決定のために使用され得る。処理に応じて、サンプル領域は、処理に関連付けられた特定の領域を指すことができる。例えば、ＣＣＦ関連処理では、サンプル領域は、ＣＣＦがさらに適用され得る領域を指すことができる。具体的なアプリケーションシナリオに応じて、サンプル領域は、画像フレーム（例えばコンピュータシステム２００のカメラ２２６のような画像取得デバイスによって取得された画像フレームなど）、または画像フレームの一部、あるいは処理された（例えば、再構築された）画像フレームまたは処理された画像フレームの一部であってもよい。例えば、サンプル領域は、ブロックまたはブロックの一部を含むことができる。ブロックは、４×４ブロック（すなわち、４画素×４画素の画素アレイを含む）、８×８ブロック、１６×１６ブロック、または３２×３２ブロックであってもよい。
【0040】
さらに、画像フレームは、異なる成分を有する色空間で表現され得る。例えば、ＹＣｂＣｒ色空間では、画像フレーム（またはその一部）は、輝度成分（Ｙ）と２つの色度成分（ＣｂおよびＣｒ）に分解され得る。したがって、画像における各ブロックについて、ブロックの輝度情報を含む１つの輝度ブロック（Ｙブロック）と、ブロックの色度情報を含む２つの色度ブロック（ＣｂブロックおよびＣｒブロック）とが存在している。
【0041】
以下により詳細に説明するように、様々な情報／データは、統計情報として使用可能である。いくつかの実施形態では、統計情報は、平滑度情報、すなわち、サンプル領域内の再構築されたサンプルの平滑度の測定値を含むことができる。再構築されたサンプルは、例えば、図３に関連して先に説明された符号化プロセス中にまたは復号プロセス中に取得可能である。いくつかの実施形態では、サンプル領域の平滑度は、サンプル領域内の画素値に基づいて測定され得る。画素の画素値は、例えば、少なくとも画素での輝度成分値または色度成分値を含むことができる。
【0042】
いくつかの実施形態では、サンプル領域の平滑度は、サンプル領域内の画素値の範囲から計算可能である。画素値の範囲は、例えば、サンプル領域内の最大画素値と最小画素値との間の絶対差であってもよい。
【0043】
いくつかの実施形態では、サンプル領域の平滑度は、サンプル領域内の画素値の四分位範囲（ｉｎｔｅｒｑｕａｒｔｉｌｅ ｒａｎｇｅ）から計算可能である。画素値の四分位範囲は、例えば、サンプル領域内の画素値の第１パーセンタイルと第２パーセンタイルとの間の絶対差であってもよい。第１パーセンタイルは、例えば７５％であってもよく、第２パーセンタイルは、例えば２５％であってもよい。
【0044】
いくつかの実施形態では、サンプル領域の平滑度は、サンプル領域内の画素値の分散から計算可能である。例えば、サンプル領域には、ｎ個のサンプル（例えば、画素）が含まれているとすると、サンプル領域内の画素値の分散Ｓ２は、以下のように計算可能であり、即ち、
【数1】
ここで、ｉは、１からｎまでの値を持つ整数であり、また、サンプル領域内のｉ番目のサンプルを表し、ｘｉは、ｉ番目のサンプルの画素値であり、
は、ｎ個のサンプルにわたる平均（中位）画素値を表す。
【0045】
いくつかの実施形態では、サンプル領域内の画素値の分散Ｓ２の代わりに、サンプル領域内の画素値の標準偏差Ｓを使用して、サンプル領域の平滑度を計算することができる。サンプル領域内の画素値の標準偏差Ｓは、サンプル領域内の画素値の分散Ｓ２の平方根である。
【0046】
いくつかの実施形態では、異なる画素での画素値を使用して直接に計算される上記パラメータの代わりに、または上記パラメータに加えて、異なる画素での導出値を使用して計算されるパラメータが、サンプル領域の平滑度を表すために使用されてもよい。画素の導出値は、画素の画素値および／または隣接する画素の画素値に基づいて導出された値を指す。例えば、画素の導出値は、画素の勾配値であってもよく、この勾配値は、例えば、画素の画素値と隣接する画素の画素値との間の差として計算されてもよく、または、画素の反対側に位置する２つの隣接する画素の画素値の間の差として計算されてもよい。
【0047】
例えば勾配値などのような導出値を使用する、サンプル領域の平滑度の計算は、上記画素値を使用する、サンプル領域の平滑度の計算に類似し得る。例えば、サンプル領域の平滑度は、サンプル領域内の勾配値の範囲（最大勾配値と最小勾配値との間の絶対差）、サンプル領域内の勾配値の四分位範囲、サンプル領域内の勾配値の分散、および／またはサンプル領域内の勾配値の標準偏差によって計算可能である。
【0048】
上記平滑度情報の代わりに、またはそれに加えて、他のタイプの情報が、統計情報として使用されてもよい。いくつかの実施形態では、統計情報は、エンコーダがモード決定を行った後に生成され、この統計情報は、復号プロセス中にデコーダが使用するためにデコーダに伝送される情報を含むことができる。このような情報は、「モード情報」とも呼ばれ得る。モード情報は、送信される前にエンコーダによって符号化され（例えば、圧縮され、および信号で通知され）得る。モード情報は、例えば２値ビットを使用して符号化することができ、すなわち、特定の２値ビットまたは２値ビットの組み合わせが１つの特定のモード情報を表すために使用され得る。モード情報のコーディングを表す情報は、「符号化された情報」とも呼ばれる。デコーダが、符号化された情報を受信する場合、当該デコーダは、モード情報を取得するために、符号化された情報を解析することができる。
【0049】
いくつかの実施形態では、モード情報は、ブロックに対して信号で通知される予測モード、係数コーディングに関連する情報（例えば、符号化されたブロックフラグ（ＣＢＦ）など）、ブロックサイズ、量子化パラメータ（ＱＰ）、他の画像フレーム（例えば、参照フレーム）のＣＣＦフラグ（ＣＣＦのオン／オフを示す）、またはブロックに関連付けられた動きベクトル（量値）のうちの少なくとも１つを含むことができる。予測モードは、フレーム内ＤＣ（直流）モード、フレーム内平面モード、フレーム内Ｐａｅｔｈモード、フレーム内平滑モード、フレーム内再帰フィルタリングモード、またはフレーム間スキップモードであってもよい。
【0050】
統計情報にはまた、付加的にまたは代替的に、エンコーダおよびデコーダの両方において特定のプロセスのために（例えばＣＣＦが適用される場合に）使用できる情報が含まれてもよい。このような情報は、エンコーダおよびデコーダの両方で使用可能であるため、エンコーダからデコーダに送信される必要がない。以下、このような情報は、「中間情報」とも呼ばれ得る。中間情報は、例えば、ループフィルタリングプロセス（例えば、ＡＬＦ）中に導出されたサンプル分類情報、デブロッキングプロセス、ＣＤＥＦまたはループ復元中に導出されたフィルタリング強度、またはＣＤＥＦ中に導出されたエッジ方向のうちの少なくとも１つを含むことができる。
【0051】
図５は、本開示に係る例示的な画像処理方法５００を示すフローチャートである。方法５００は、エンコーダを実現する電気デバイスによって、例えば上記コンピュータシステム２００またはコンピュータシステム２００の一部によって実行され得る。図５に示されるように、５０２において、処理するブロック（現在ブロックとも呼ばれる）を受信する。５０４において、上記ブロックの統計情報を取得する。５０６において、上記統計情報が条件を満たすかどうかを決定する。上記統計情報が上記条件を満たす場合（５０６：「はい」）、ＣＣＦシグナリングは、現在ブロックに対して無効にされる（５０８）。一方、上記統計情報が上記条件を満たさない場合（５０６：「いいえ」）、ＣＣＦシグナリングは、現在ブロックに対して有効にされる（５１０）。すなわち、例示的な方法５００によれば、ＣＣＦシグナリングは、現在ブロックの統計情報が条件を満たすことに応答して、現在ブロックに対して有効にされる。
【0052】
処理するブロックは、上述のように画像フレームの一部であってもよい。画像フレームは、コンピュータシステム２００のカメラ２２６などの画像取得デバイスによって取得され得る。
【0053】
ＣＣＦを信号で通知するか、またはＣＣＦシグナリング自体を信号で通知するかは、画像フレームの一部を単位として決定され得る。画像フレームのこのような部分は、「ＣＣＦシグナリングユニット」または単に「シグナリングユニット」と呼ばれる。いくつかの実施形態では、ＣＣＦを信号で通知するかどうかは、決定可能であり、および／または、ＣＣＦシグナリングは、ブロックレベルで実行可能であり、つまり、ブロックは、シグナリングユニットであることができる。他のいくつかの実施形態では、シグナリングユニットは、ブロックよりも大きくても小さくてもよい。例えば、シグナリングユニットは、複数のブロックを含む領域、またはブロックの一部（例えば、サブブロック）を含む領域であってもよい。
【0054】
ＣＣＦシグナリングは、ＣＣＦが実行されるかどうか、およびＣＣＦ関連情報がどのようにエンコーダによって送信され、それがどのようにデコーダによって受信されるかなどの方法を提供するメカニズムを指す。ＣＣＦ信号を有効にすることは、例えば、エンコーダからデコーダに送信されるビットストリームにＣＣＦフラグを含めることによって実現され得る。例えば、ブロックのためのＣＣＦフラグは、ビットストリーム内のブロックに対応する、ブロックヘッダ（ブロックのためのデータパケットのヘッダ部分）に含まれてもよい。ＣＣＦフラグが真（ｔｒｕｅ）である場合、デコーダは、ＣＣＦをブロックで実行する必要があることを知ることができる。一方、ＣＣＦフラグが偽（ｆａｌｓｅ）である場合、デコーダは、そのブロックについてＣＣＦを必要としないことを知ることができる。
【0055】
これに対応して、ＣＣＦシグナリングを無効にすることは、例えば、エンコーダからデコーダに送信されるビットストリームにＣＣＦフラグを含めないことによって実現され得る。例えば、ビットストリーム内のブロックに対応する、ブロックヘッダにＣＣＦフラグが含まれない場合、これは、このブロックのためのＣＣＦシグナリングが無効にされることを示す。いくつかの実施形態では、デコーダが、ブロックのためのＣＣＦフラグを受信しなかった場合、すなわち、デコーダが、ＣＣＦシグナリングがブロックに適用されていないことを検出した場合に、デコーダは、ブロックに対してデフォルト動作を実行することができる。デフォルト動作は、例えば、ブロックに対してＣＣＦをオフにすること、すなわち、ブロックに対してＣＣＦを実行しないことであってもよい。
【0056】
図５に示され、かつ、上述されたように、電子デバイスは、統計情報が条件を満たすかどうかに基づいて、ブロックのためのＣＣＦシグナリングを無効にするかどうかを決定することができる。条件は、統計情報の種類によって異なる場合がある。例えば、統計情報に平滑度情報が含まれる場合、条件には、所定の閾値が含まれてよい。このシナリオでは、統計情報が条件を満たすことに応答して、ブロックのためのＣＣＦシグナリングを無効にすること（５０８）は、ブロックの平滑度が所定の閾値よりも小さいかまたは所定の閾値よりも大きいことに応答して、例えばブロックの最大画素値および最小画素値の間の絶対差または勾配値が所定の閾値よりも小さいことに応答して、ブロックのためのＣＣＦシグナリングを無効にする、ことを含むことができる。
【0057】
統計情報にモード情報が含まれる場合、条件には、特定のモード情報を表す所定の情報または所定の値が含まれてよい。このシナリオでは、統計情報が条件を満たすことに応答して、ブロックのためのＣＣＦシグナリングを無効にすること（５０８）は、モード情報が所定の情報であることに応答して、ブロックのためのＣＣＦシグナリングを無効にする、ことを含むことができ、上記所定の情報は、例えば、所定の値に等しいと識別されたモード情報に対応する、符号化された情報として決定され得る。例えば、ブロックのためのＣＣＦシグナリングは、ブロックがフレーム内ＤＣモードによって符号化されると決定したことに応答して、無効にされ得る。
【0058】
統計情報に中間情報が含まれる場合、条件には、特定の中間情報を表す所定の情報または所定の値が含まれてよい。このシナリオでは、統計情報が条件を満たすことに応答してブロックのためのＣＣＦシグナリングを無効にすること（５０８）は、中間情報が所定の情報であることに応答して、ブロックのためのＣＣＦシグナリングを無効にする、ことを含むことができ、上記所定の情報は、例えば、所定の値に等しいと識別された中間情報として決定され得る。例えば、ブロックのためのＣＣＦシグナリングは、そのブロックのＣＤＥＦフィルタリング強度が０であると決定したことに応答して、無効にされ得る。
【0059】
いくつかの実施形態では、この方法は、エンコーダからデコーダに送信されるために、ビットストリームに含まれるブロックに対応するデータパケットを生成する、ことをさらに含むことができる。ブロックのためのＣＣＦシグナリングを５０８で無効にすることは、ブロックに対応するデータパケットのブロックヘッダにＣＣＦフラグを含めないと決定する、ことを含むことができる。
【0060】
本開示によれば、例えば、上述の例示的な方法によれば、いくつかのシナリオでは、特定の条件が満たされた場合、ＣＣＦフラグおよび／または他のＣＣＦ関連情報をデコーダに送信する必要はない。したがって、符号化してエンコーダからデコーダに送信する必要のある情報が少なくなり、符号化効率を向上させることができる。さらに、必要な記憶空間および伝送帯域幅が少なくなり、画像処理の全体的な効率を向上させることができる。
【0061】
エンコーダは、ＣＣＦを信号で通知するかどうか、および／またはＣＣＦプロセスを有効にするかどうかを決定することに加えて、ＣＣＦ係数を導出し、そのＣＣＦ係数をデコーダに信号で通知することもできる。いくつかの実施形態では、エンコーダは、以下でより詳細に説明するように、ブロックの統計情報に基づいて、１つまたは複数のサンプル（例えば、１つまたは複数の画素）をブロックから除外することができる。
【0062】
図６は、本開示に係る例示的な画像処理方法６００を示すフローチャートである。方法６００は、エンコーダを実現する電気デバイスによって、例えば上記コンピュータシステム２００またはコンピュータシステム２００の一部によって実行され得る。図６に示されように、６０２において、処理するブロック（現在ブロックとも呼ばれる）を受信する。６０４において、上記ブロックの統計情報を取得する。６０６において、上記ブロックの統計情報に基づいてＣＣＦ係数を導出する。いくつかの実施形態では、ブロックの統計情報に基づいてＣＣＦ係数を導出することは、ブロックの統計情報が条件を満たすことに応答してＣＣＦ係数を導出するプロセスから、ブロックの１つまたは複数のサンプル（例えば、１つまたは複数の画素）を除外する、ことを含むことができる。統計情報は、上記タイプの統計情報のうちのいずれかであってもよい。条件は、統計情報のタイプごとに異なる場合がある。
【0063】
統計情報に平滑度情報が含まれる場合、条件には、所定の閾値が含まれてよい。このシナリオでは、ＣＣＦ係数を導出するプロセスから１つまたは複数のサンプルを除外することは、ブロックの平滑度が所定の閾値よりも小さいか、または所定の閾値よりも大きいことに応答して、例えば、ブロックの最大画素値および最小画素値の間の絶対差または勾配値が所定の閾値よりも小さいことに応答して、１つまたは複数のサンプルを除外すること、ことを含むことができる。
【0064】
統計情報にモード情報が含まれる場合、条件には、特定のモード情報を表す所定の情報または所定の値が含まれてよい。このシナリオでは、ＣＣＦ係数を導出するプロセスから１つまたは複数のサンプルを除外することは、モード情報が所定の情報であることに応答して、１つまたは複数のサンプルを除外する、ことを含むことができ、上記所定の情報は、例えば、所定の値に等しいと識別されたモード情報に対応する、符号化された情報として決定され得る。例えば、ＣＣＦ係数を導出するプロセスから１つまたは複数のサンプルは、ブロックがフレーム内ＤＣモードによって符号化されると決定したことに応答して、除外され得る。
【0065】
統計情報に中間情報が含まれる場合、条件には、特定の中間情報を表す所定の情報または所定の値が含まれてよい。このシナリオでは、ＣＣＦ係数を導出するプロセスから１つまたは複数のサンプルを除外することは、中間情報が所定の情報であることに応答して、１つまたは複数のサンプルを除外する、ことを含むことができ、上記所定の情報は、例えば、所定の値に等しいと識別された中間情報として決定され得る。例えば、１つまたは複数のサンプルは、ブロックのＣＤＥＦフィルタリング強度が０であると決定したことに応答して、ＣＣＦ係数を導出するプロセスから除外され得る。
【0066】
いくつかの実施形態では、ＣＣＦ係数を導出するプロセスから１つまたは複数のサンプルを除外することは、ＣＣＦ係数を導出するときにブロックからすべての画素を除外する、ことを含むことができる。例えば、ブロックのＣＤＥＦフィルタリング強度が０である場合、ブロックからのすべての画素が、ＣＣＦ係数を導出するプロセスから除外され得、つまり、ブロックからのすべての画素は、ＣＣＦ係数を導出するために使用されない。
【0067】
いくつかの実施形態では、ブロックの統計情報が条件を満たす場合、ブロックのどの画素が、ＣＣＦ係数を導出するプロセスから除外されるかに関して、さらなる決定が行われる。すなわち、さらなる決定結果に応じて、ＣＣＦ係数を導出するときに、ブロックからの画素は、部分的に除外され得る。例えば、ＣＤＥＦにおけるブロックでエッジ方向が識別される場合、ブロック内の、エッジに沿った画素のみが、ＣＣＦ係数を導出するために使用され、エッジ上に位置していない他の画素は、ＣＣＦ係数を導出するプロセスから除外される。
【0068】
図７は、本開示に係る別の例示的な画像処理方法７００を示すフローチャートである。方法７００は、デコーダを実現する電子デバイスによって、例えば上記コンピュータシステム２００またはコンピュータシステム２００の一部によって実行され得る。図７に示されるように、７０２において、ブロック（現在ブロック）に対応するデータパケットを受信する。７０４において、上記データパケットにＣＣＦフラグが含まれているかどうかを決定する。上記データパケットにＣＣＦフラグが含まれている場合（７０４：「はい」）、上記ＣＣＦフラグに従ってデータパケットを処理し（７０６）、例えば、ＣＣＦがオンとして信号で通知されるかどうか（すなわち、ＣＣＦフラグが真であるかどうか）に応じて、上記ブロックに対してＣＣＦを実行するかまたは実行しない。一方、上記データパケットにＣＣＦフラグが含まれていない場合（７０４：「いいえ」）、上記ブロックに対してデフォルト動作を実行する（７０８）。
【0069】
いくつかの実施形態では、データパケットにＣＣＦフラグが含まれているかどうかを決定すること（７０４）は、データパケットのブロックヘッダにＣＣＦフラグが含まれているかどうかを決定する、ことを含むことができる。いくつかの実施形態では、デフォルト動作には、ブロックを再構築するプロセス中に、ブロックに対してＣＣＦをオフにする（ＣＣＦが実行されないと決定する）、ことが含まれてもよい。すなわち、データパケットにＣＣＦフラグが含まれていないと決定した場合、ブロックが再構築されるときに、ブロックに対してＣＣＦは実行されない。
【0070】
図７に関連して先に説明された実施形態では、ＣＣＦが信号で通知されない場合、デフォルト動作、例えば、ＣＣＦをオフにすることが、デコーダで実行される。他のいくつかの実施形態では、デコーダは、以下でより詳細に説明するように、領域の特定の統計情報に基づいて、その領域に対してＣＣＦを実行するかどうかを決定し、上記領域の特定の統計情報は、ＣＣＦを信号で通知するかどうかを決定するためにエンコーダによって使用される。すなわち、領域が信号で通知されていない場合でも、デコーダは、ＣＣＦフラグがそのような統計情報に基づいて伝送された場合、上記ＣＣＦフラグの値を導出することができ、上記領域に対するＣＣＦは、必ずしも無効にされない。いくつかの実施形態では、領域のモード情報が、この目的のために使用されてもよい。
【0071】
図８は、本開示に係る別の例示的な画像処理方法８００を示すフローチャートである。方法８００は、デコーダを実現する電子デバイスによって、例えば上記コンピュータシステム２００またはコンピュータシステム２００の一部によって実行され得る。図８に示されるように、８０２において、領域（現在領域）に対応するデータパケットを受信する。上記領域は、画像フレームの一部であってよく、複数のブロックを含むことができる。８０４において、上記データパケットにＣＣＦフラグが含まれているかどうかを決定する。上記データパケットにＣＣＦフラグが含まれている場合（８０４：「はい」）、ＣＣＦフラグに従って上記データパケットを処理し（８０６）、例えば、ＣＣＦフラグが真であるか偽であるかに応じて、上記領域に対してＣＣＦを実行するかまたは実行しない。一方、上記データパケットにＣＣＦフラグが含まれていない場合（８０４：「いいえ」）、上記領域の統計情報に基づいて、上記領域に対してＣＣＦを実行するかどうかを決定する（８０８）。いくつかの実施形態では、領域の統計情報には、領域内のブロックまたは画素のモード情報が含まれてもよい。
【0072】
図８に示されるデコーダ側のプロセスに対応するエンコーダ側のプロセスは、図５に示される例示的な方法など、上記例示的な方法のエンコーダ側のプロセスに類似することができるが、ただし、図５に示される例示的な方法は、シグナリングユニットの例としてブロックを使用して説明されている一方で、図８に示されるデコーダ側のプロセスに対応するエンコーダ側のプロセスは、複数のブロックを含む領域に対してＣＣＦを信号で通知するかどうかを決定することができる。すなわち、エンコーダは、領域の統計情報に基づいて、ＣＣＦが信号で通知されるかどうかを決定することができ、そして、ＣＣＦシグナリングがない領域については、デコーダは、同じ統計情報に基づいて、ＣＣＦを実行するかどうかを決定することができる。
【0073】
いくつかの実施形態では、上記決定（エンコーダによってＣＣＦを信号で通知するかどうかの決定、またはデコーダによってＣＣＦを実行するかどうかの決定）は、例えば領域における、特定のモードによって符号化されたブロックまたは画素のパーセンテージなど、領域における特定のモードによって符号化されたブロックまたは画素の量に従って行われてもよい。例えば、エンコーダが、領域における、特定のモード（例えば、スキップモード）によって符号化されたブロックまたは画素のパーセンテージが閾値より大きいと決定した場合、このエンコーダは、その領域に対してＣＣＦを信号で通知しないと決定することができる。相応的に、デコーダが、領域における、特定のモード（例えば、スキップモード）によって符号化されたブロックまたは画素のパーセンテージが閾値より大きいと決定した場合、このデコーダは、その領域に対してＣＣＦを実行しないと決定することができる。すなわち、領域に対してＣＣＦを実行するかどうかを決定すること（８０８）は、領域における、特定のモード（例えば、スキップモード）によって符号化されたブロックまたは画素のパーセンテージが閾値よりも大きいと決定したことに応答して、その領域に対してＣＣＦを実行しないと決定する、ことを含むことができる。
【0074】
別の例として、エンコーダが、領域における、特定のモード（例えば、フレーム内モード）によって符号化されたブロックまたは画素のパーセンテージが閾値よりも大きいと決定した場合、このエンコーダは、その領域に対してＣＣＦを信号で通知しないと決定することができる。相応的に、デコーダが、領域における、特定のモード（例えば、フレーム内モード）によって符号化されたブロックまたは画素のパーセンテージが閾値よりも大きいと決定した場合、このデコーダは、その領域に対してＣＣＦを実行すると決定することができる。すなわち、領域に対してＣＣＦを実行するかどうかを決定すること（８０８）は、領域における、特定のモード（例えば、フレーム内モード）によって符号化されたブロックまたは画素のパーセンテージが閾値よりも大きいと決定したことに応答して、その領域に対してＣＣＦを実行すると決定する、ことを含むことができる。
【0075】
上記のように特定のモードによって符号化されたブロックまたは画素のパーセンテージは、面積の大きさに応じて計算されてよく、すなわち、特定のモードによって符号化されたブロックまたは画素の面積の大きさの、領域全体の面積の大きさに対するパーセンテージに応じて計算されてよい。いくつかの実施形態では、特定のモードに応じて符号化されたブロックまたは画素のパーセンテージは、数量によって計算されてよく、すなわち、特定のモードによって符号化されたブロックまたは画素の数量の、領域におけるブロックまたは画素の総数に対するパーセンテージに応じて計算されてよい。閾値は、例えば、４０％から６０％の範囲内であってよい。
【0076】
いくつかの実施形態では、上記決定（エンコーダによってＣＣＦを信号で通知するかどうかの決定、またはデコーダによってＣＣＦを実行するかどうかの決定）は、例えば領域内の最大ブロックサイズなど、領域内のブロックサイズに従って行われてもよい。例えば、エンコーダが、領域内の最大ブロックサイズが閾値よりも小さいと決定した場合、このエンコーダは、その領域に対してＣＣＦを信号で通知しないと決定することができる。相応的に、デコーダが、領域内の最大ブロックサイズが閾値よりも小さいと決定した場合、このデコーダは、その領域に対してＣＣＦを実行すると決定することができる。すなわち、領域に対してＣＣＦを実行するかどうかを決定すること（８０８）は、領域内の最大ブロックサイズが閾値よりも小さいと決定したことに応答して、その領域に対してＣＣＦを実行すると決定する、ことを含むことができる。上記閾値は、例えば、３２画素または６４画素であってよい。
【0077】
いくつかの実施形態では、ＣＣＦがシグナリングユニット（例えば、ブロック）に対して実行されるかどうかが、デコーダに信号で通知された場合（例えば、ＣＣＦシグナリングが、上記例示的な方法のうちの１つなど、本開示に係る方法に従って有効にされる場合、またはＣＣＦシグナリングが、デフォルトで有効にされる場合）、デコーダは、ＣＣＦシグナリングに従って更なる動作を実行することができる。例えば、デコーダがシグナリングユニットのために受信したＣＣＦフラグがオフされることが信号で通知された場合、このデコーダは、シグナリングユニットが平滑領域を含むと決定し、シグナリングユニット全体のためのＣＣＦを無効にすることができる。いくつかの実施形態では、デコーダがシグナリングユニットのために受信したＣＣＦフラグがオンされることが信号で通知された場合、このデコーダは、以下でより詳細に説明するように、シグナリングユニット、シグナリングユニット内のより小さな領域（例えば、サブブロック）、または色成分に対してＣＣＦを実行する必要があるかどうかをさらに決定することができる。
【0078】
図９は、本開示に係る別の例示的な画像処理方法９００を示すフローチャートである。方法９００は、デコーダを実現する電子デバイスによって、例えば上記コンピュータシステム２００またはコンピュータシステム２００の一部によって実行され得る。図９に示されるように、９０２において、ブロック（現在ブロック）に対応するデータパケットを受信する。９０４において、上記データパケットに含まれるＣＣＦフラグが真であるか偽であるかを決定する。ＣＣＦフラグが真であることは、上記ブロックについて、ＣＣＦがオンとして信号で通知されることを示し、ＣＣＦフラグが偽であることは、上記ブロックについて、ＣＣＦがオフとして信号で通知されることを示す。ＣＣＦフラグが偽である場合（９０４：Ｆａｌｓｅ）、上記ブロックに対してＣＣＦが実行されないと決定し（９０６）、すなわち、上記ブロックに対してＣＣＦを無効にする。一方、ＣＣＦフラグが真である場合（９０４：Ｔｒｕｅ）、上記ブロックの統計情報に基づいて、上記ブロックに対してＣＣＦを実行するかどうか（すなわち、上記ブロックに対してＣＣＦを有効または無効にするかどうか）を決定する（９０８）。デコーダは、以下でより詳細に説明するように、決定の結果に応じて、ブロック、ブロックの一部（サブブロック）、またはブロックの色成分に対してＣＣＦを実行するなど、更なる動作を実行することができる。統計情報は、上記タイプの統計情報のうちのいずれかであってもよい。
【0079】
いくつかの実施形態では、ブロックに対してＣＣＦを実行するかどうかを決定すること（９０８）は、ブロック全体に対してＣＣＦを実行するかどうかを決定する、ことを含むことができる。いくつかの実施形態では、ブロックに対してＣＣＦを実行するかどうかは、ブロックの統計情報が条件を満たすかどうかに基づいて決定され得る。ブロックの統計情報が条件を満たすかどうかの決定は、図５に関連して先に説明された決定プロセスと類似している。その違いは、図５のプロセスでは、決定結果が、ＣＣＦを信号で通知するかどうかを制御するために使用される一方、図９のプロセスでは、決定結果が、ＣＣＦを実行するかどうかを制御するために使用される。
【0080】
例えば、統計情報に平滑度情報が含まれる場合、条件には、所定の閾値が含まれてよい。このシナリオでは、ブロックに対してＣＣＦを実行するかどうかを決定することは、ブロックの平滑度が所定の閾値よりも小さいかまたは所定の閾値よりも大きいことに応答して、例えば、ブロックの最大画素値および最小画素値の間の絶対差または勾配値が所定の閾値よりも小さいことに応答して、そのブロックに対してＣＣＦを実行しない（ＣＣＦを無効にする）と決定する、ことを含むことができる。
【0081】
統計情報にモード情報が含まれる場合、条件には、特定のモード情報を表す所定の情報または所定の値が含まれてよい。このシナリオでは、ブロックに対してＣＣＦを実行するかどうかを決定することは、モード情報が所定の情報であることに応答して、ブロックに対してＣＣＦを実行しないと決定する、ことを含むことができ、所定の情報は、例えば、所定の値に等しいと識別されたモード情報に対応する、符号化された情報として決定され得る。例えば、ブロックのためのＣＣＦは、ブロックがフレーム内ＤＣモードによって符号化されると決定したことに応答して、無効にされ得る。
【0082】
統計情報に中間情報が含まれる場合、条件には、特定の中間情報を表す所定の情報または所定の値が含まれてよい。このシナリオでは、ブロックに対してＣＣＦを実行するかどうかを決定することは、中間情報が所定の情報であることに応答して、ブロックに対してＣＣＦを実行しないと決定する、ことを含むことができ、所定の情報は、例えば、所定の値に等しいと識別された中間情報として決定され得る。例えば、ブロックのためのＣＣＦは、そのブロックのＣＤＥＦフィルタリング強度が０であると決定したことに応答して、無効にされ得る。
【0083】
いくつかの実施形態では、ブロックに対してＣＣＦを実行するかどうかを決定すること（９０８）は、ブロックのサブブロックに対してＣＣＦを実行するかどうかを決定する、ことを含むことができる。サブブロックは、ブロックの１／２、１／３、１／４、１／６、１／８、１／１６、または１／３２などのような、ブロックの一部であってもよい。すなわち、ブロックレベルでのＣＣＦフラグが真であっても、ブロックのサブブロックごとに、ＣＣＦを実行するかどうかは、サブブロックの統計情報に基づいて個別に決定されてもよい。サブブロックの統計情報の決定、およびサブブロック上でＣＣＦを実行するかどうかの条件の決定は、サブブロックレベルで同じ決定が行われることを除いて、ブロックに関して上述されたものと類似している。
【0084】
いくつかの実施形態では、ブロックに対してＣＣＦを実行するかどうかを決定することは、各色成分内のブロックまたはサブブロック上でＣＣＦを実行するかどうかを決定する、ことを含むことができる。ブロックまたはサブブロック内の各色成分は、対応する統計情報を有することができ、それらの統計情報は、他の色成分の統計情報とは異なっていてもよい。
【0085】
いくつかの実施形態では、統計ベースのＣＣＦ決定は、１つの色成分に対して実行され得、また、決定結果は、他の色成分に直接に適用され得る。すなわち、デコーダは、ブロックまたはサブブロック内の１つの色成分のための統計情報のみを決定する必要があり得る。次に、デコーダは、その色成分の統計情報に基づいて、その色成分においてＣＣＦを実行するかどうかを決定し、そして、同じ決定結果を他の色成分に適用することができる。例えば、デコーダが、ある色成分の統計情報に基づいて、当該色成分内のブロックまたはサブブロックのＣＣＦを無効にする（すなわち、当該色成分内のブロックまたはサブブロックに対してＣＣＦを実行しないと決定する）場合、このデコーダは、他の色成分内のブロックまたはサブブロックに対してもＣＣＦを無効にする。具体例として、Ｃｂ成分内のブロックまたはサブブロックに対してＣＣＦを無効にする場合、Ｃｒ成分内のブロックまたはサブブロックに対してもＣＣＦを無効にする。
【0086】
いくつかの実施形態では、異なる色成分内のブロックまたはサブブロックに対してＣＣＦを実行するかどうかの決定は、相関していない。つまり、統計ベースのＣＣＦ決定は、色成分ごとに実行されてよく、１つの色成分内のブロックまたはサブブロックのためのＣＣＦオン／オフは、他の色成分内のブロックまたはサブブロックのためのＣＣＦオン／オフに影響を与えない。したがって、デコーダは、ブロックまたはサブブロック内の各色成分のための統計情報を決定し、そして、対応する色成分の統計情報に基づいて各色成分においてＣＣＦを実行するかどうかを決定する必要があり得る。例えば、デコーダが、１つの色成分の統計情報に基づいて、当該色成分内のブロックまたはサブブロックに対してＣＣＦを無効にする（すなわち、当該色成分内のブロックまたはサブブロックに対してＣＣＦを実行しないと決定する）場合、このデコーダは、他の色成分内のブロックまたはサブブロックに対してＣＣＦを有効または無効にするかどうかをさらに決定する必要がある。具体例として、ＣＣＦがＣｂ成分内のブロックまたはサブブロックに対して無効にされる場合、このＣＣＦは、Ｃｒ成分の統計情報に基づいて、Ｃｒ成分内のブロックまたはサブブロックに対して有効にされてもまたは無効にされてもよい。
【0087】
上記実施形態によれば、画像処理における処理時間を短縮することができる。例えば、統計情報に基づいて、領域が平滑領域であるかどうかを決定するために必要な時間は、短縮され得る。したがって、画像処理速度および全体的な効率を向上させることができる。
【0088】
いくつかの実施形態では、領域（例えば、複数のブロックを含む領域）のためのＣＣＦフラグが真であっても、より詳細に説明するように、その領域内のブロックからの画素は、依然として、ＣＣＦプロセスから除外され得る。上記のように、エンコーダ側では、上記ＣＣＦプロセスは、ＣＣＦ係数を導出することまたはＣＣＦを実行することのうちの少なくとも１つを含むことができ、デコーダ側では、ＣＣＦプロセスは、ＣＣＦを実行することを含むことができる。ＣＣＦプロセスから画素を除外することは、エンコーダおよびデコーダの両方で行われ得る。
【0089】
図１０Ａは、本開示に係る例示的な画像処理方法１０００Ａを示すフローチャートである。方法１０００Ａは、エンコーダを実現する電子デバイスによって、例えば上記コンピュータシステム２００またはコンピュータシステム２００の一部によって実行され得る。図１０Ａに示すように、１００２Ａにおいて、処理する領域（現在領域とも呼ばれる）に対応するデータを受信する。上記領域は、複数のブロックを含むことができる。１００４Ａにおいて、上記領域のためのＣＣＦフラグを決定する。上記領域のためのＣＣＦフラグは、本開示に係る方法に従って決定可能である。１００６Ａにおいて、上記領域のためのＣＣＦフラグが真であることに応答して、上記領域内のブロックの統計情報を取得する。上記ブロックの統計情報には、予測モード（すなわち、フレーム内ＤＣモード、フレーム内平面モード、フレーム内Ｐａｅｔｈモード、フレーム内平滑モード、フレーム内再帰フィルタリングモード、フレーム間スキップモードが適用されるかどうか）、係数コーディングに関連する情報（例えば、ＣＢＦ）、ブロックサイズ、ＱＰ、他の画像フレーム（例えば、参照フレーム）のＣＣＦフラグ、および／またはブロックに関連付けられた動きベクトル（量値）などのような、ブロックのモード情報が含まれ得る。１００８Ａにおいて、上記統計情報が条件を満たすことに応答して、例えば、上記ブロックのモード情報が条件を満たす場合、上記ブロックからの画素をＣＣＦプロセスから除外する。
【0090】
相応的に、図１０Ｂは、本開示に係る例示的な画像処理方法１０００Ｂを示しており、方法１０００Ｂは、デコーダを実現する電子デバイスによって、例えば上記コンピュータシステム２００またはコンピュータシステム２００の一部によって実行され得る。図１０Ｂに示されるように、１００２Ｂにおいて、領域（現在領域とも呼ばれる）に対応するデータパケットを受信する。上記領域は、複数のブロックを含むことができる。１００４Ｂにおいて、上記データパケットに含まれる領域のためのＣＣＦフラグが真であるか偽であるかを決定する。１００６Ｂにおいて、上記領域のためのＣＣＦフラグが真であることに応答して、上記領域内のブロックの統計情報を取得する。上記ブロックの統計情報は、上記ブロックのモード情報に対応する、符号化された情報を含むことができる。１００８Ｂにおいて、上記統計情報が条件を満たすことに応答して、例えば上記ブロックの符号化された情報が条件を満たす場合、上記ブロックからの画素をＣＣＦプロセスから除外する。
【0091】
様々なモード情報／符号化された情報、および条件は、プロセス１００６Ａ／１００６Ｂおよび１００８Ａ／１００８Ｂにおいて、ブロックの画素を除外するかどうかを決定するために使用されてもよい。例えば、ブロックの予測モードがスキップモードである場合、ブロック内の画素は、（エンコーダおよび／またはデコーダで）ＣＣＦプロセスから除外される。別の例として、ブロックの輝度成分および／または色度成分のＣＢＦフラグがゼロである場合、ブロック内の画素は、（エンコーダおよび／またはデコーダで）ＣＣＦプロセスから除外される。さらなる例として、ブロックの輝度成分または色度成分が、例えば平面モード、ＤＣモードまたは平滑（ＡＶ１）モードなどの無指向性フレーム内予測モードで符号化される場合、ブロック内の画素は、（エンコーダおよび／またはデコーダで）ＣＣＦプロセスから除外される。
【0092】
例えばブロックレベルでの、ＣＣＦシグナリングは、ブロックの各色成分に対して実行されてもよく、したがって、１つまたは複数のＣＣＦフラグが、そのブロックに対して信号で通知され得る。図１１Ａは、本開示に係る例示的な画像処理方法１１００Ａを示すフローチャートである。方法１１００Ａは、例えばブロックの様々な色成分のためのＣＣＦシグナリングを決定するために、エンコーダを実現する電子デバイスによって、例えば上記コンピュータシステム２００またはコンピュータシステム２００の一部によって実行され得る。
【0093】
図１１Ａに示されるように、１１０２において、処理するブロック（現在ブロックとも呼ばれる）を受信する。１１０４において、上記ブロックのすべての適用可能な色成分について、第１のＣＣＦフラグ（「共同ＣＣＦフラグ」とも呼ばれる）を決定する。上記ブロックの色成分には、例えばＣｂ成分およびＣｒ成分が含まれ得る。第１のＣＣＦフラグは、すべての適用可能な色成分がＣＣＦを適用するかどうかを示すように信号で通知され得る。
【0094】
１１０６において、適用可能な色成分のいずれもＣＣＦを適用しないことを示す値を有して第１のＣＣＦフラグが信号で通知されているかどうかを決定する。適用可能な色成分のいずれもＣＣＦを適用しないことを示す値を有して第１のＣＣＦフラグが信号で通知されている場合（１１０６：「はい」）、個々の色成分に対してＣＣＦシグナリングを実行するかどうかをさらに決定する必要はない（１１０８）。一方、適用可能な色成分のいずれもＣＣＦを適用しないことを示す値を有して第１のＣＣＦフラグが信号で通知されていない場合（１１０６：「いいえ」）、例えば、ブロックの適用可能な色成分のうちの少なくとも１つがＣＣＦを適用することを示す値を有して第１のＣＣＦフラグが信号で通知されている場合、適用可能な色成分の第１の色成分（例えば、Ｃｂ成分）に対して第２のＣＣＦフラグを決定する（１１１０）。
【0095】
１１１２において、第１の色成分がＣＣＦを適用することを示す値を有して第２のＣＣＦフラグが信号で通知されているかどうかを決定する。第１の色成分がＣＣＦを適用することを示す値を有して第２のＣＣＦフラグが信号で通知されている場合（１１１２：「はい」）、適用可能な色成分の第２の色成分（例えば、Ｃｒ成分）に対して第３のＣＣＦフラグを決定する（１１１４）。ここで、第３のＣＣＦフラグは、第２の色成分がＣＣＦを適用するかどうかを示す値を有して信号で通知される。一方、第１の色成分がＣＣＦを適用することを示す値を有して第２のＣＣＦフラグが信号で通知されていない場合（１１１２：「いいえ」）、例えば、第１の色成分がＣＣＦを適用しないことを示す値を有して第２のＣＣＦフラグが信号で通知されている場合、第２の色成分に対しては、さらなるＣＣＦシグナリングを必要としないと決定する（１１１６）。
【0096】
図１１Ｂは、本開示に係る例示的な画像処理方法１１００Ｂを示すフローチャートである。方法１１００Ｂは、例えばブロックの様々な色成分に対してＣＣＦを実行するかどうかを決定するために、デコーダを実現する電子デバイスによって、例えば上記コンピュータシステム２００またはコンピュータシステム２００の一部によって実行され得る。
【0097】
図１１Ｂに示すように、１１２２において、ブロック（現在ブロックとも呼ばれる）のためのデータパケットを受信する。上記データパケットには、方法１１００Ａに従って上記のように決定されたブロックの適用可能な色成分のための１つまたは複数のＣＣＦフラグが含まれ得る。例えば、上記データパケットには、少なくとも第１のＣＣＦフラグが含まれてもよく、エンコーダでの符号化プロセスに応じて、第２のＣＣＦフラグおよび第３のＣＣＦフラグがさらに含まれてもよい。１１２４において、どのＣＣＦフラグが上記データパケットに含まれているかを決定する。データパケットに第１のＣＣＦフラグのみが含まれている場合、上記エンコーダ側プロセスに基づいて、第１のＣＣＦフラグは、適用可能な色成分のいずれもＣＣＦを適用しないことを示す値を有し、したがって、すべての適用可能な色成分に対してＣＣＦを実行しない（１１２６）。データパケットに第１のＣＣＦフラグと第２のＣＣＦフラグのみが含まれている場合、上記エンコーダ側プロセスに基づいて、第１のＣＣＦフラグは、適用可能な色成分のうちの少なくとも１つがＣＣＦを適用していることを示す値を有し、第２のＣＣＦフラグは、第１の色成分がＣＣＦを適用していないことを示す値を有する。これにより、第２の色成分に対してＣＣＦを実行する必要があると推測することができ、したがって、第２の色成分に対してＣＣＦを実行する（１１２８）。さらに、データパケットに第１、第２、および第３のＣＣＦフラグの３つがすべて含まれている場合、上記エンコーダ側プロセスに基づいて、第１のＣＣＦフラグは、適用可能な色成分のうちの少なくとも１つがＣＣＦを適用することを示す値を有し、第２のＣＣＦフラグは、第１の色成分がＣＣＦを適用することを示す値を有し、第３のＣＣＦフラグは、第２の色成分がＣＣＦを適用することを示す値、または、第２の色成分がＣＣＦを適用しないことを示す値を有する。従って、第１の色成分に対してはＣＣＦが実行され、そして、第２の色成分に対してＣＣＦが実行されるかどうかは、第３のＣＣＦフラグが、第２の色成分がＣＣＦを適用することを示す値を有するかどうかに依存する（１１３０）。
【0098】
図１１Ａおよび１１Ｂに示される上記例示的な方法１１００Ａおよび方法１１００Ｂでは、ブロックが２つの適用可能な色成分を含むシナリオが示され、例として説明されている。同様の方法は、異なる数の適用可能な色成分、例えば３つ以上の適用可能な色成分を有するシナリオに適用することもできる。
【0099】
いくつかの実施形態では、構文解析の依存性を回避するために、統計ベースのブロックレベルでのＣＣＦオン／オフは、デコーダに直接に信号で通知されない。逆に、エンコーダは、統計ベースのブロックレベルでのＣＣＦオン／オフを予測として決定し、その予測が正しいかどうか（真または偽）をデコーダに信号で通知することができる。デコーダは、上記ブロックの予測および統計情報に基づいて、上記ブロックに対してＣＣＦを実行するかどうかを決定することができる。このプロセスについては、以下でより詳細に説明する。
【0100】
図１２は、本開示に係る例示的な画像処理方法１２００を示すフローチャートである。図１２におけるエンコーダおよびデコーダのそれぞれは、電子デバイス、例えば上記コンピュータシステム２００またはコンピュータシステム２００の一部によって実現され得る。図１２に示されるように、１２０２において、エンコーダは、ブロックの統計情報に基づいて、上記ブロックのためのＣＣＦオン／オフ予測を決定する。１２０４において、エンコーダは、上記ＣＣＦオン／オフ予測をデコーダに通知する。１２０６において、デコーダは、エンコーダから上記ＣＣＦオン／オフ予測を受信する。１２０８において、デコーダは、上記ブロックの統計情報を決定する。１２１０において、デコーダは、上記ＣＣＦオン／オフ予測および上記ブロックの統計情報に基づいて、上記ブロックに対してＣＣＦを実行するかどうかを決定する。
【0101】
いくつかの実施形態では、ＣＣＦオン／オフ予測が真である場合、デコーダは、ブロックの決定された統計情報が信頼できると決定することができる。このシナリオでは、デコーダは、ブロックの統計情報が条件を満たすかどうか、例えば、ブロックの統計情報が、そのブロックが平滑領域であることを示すかどうかに応じて、そのブロックに対してＣＣＦを実行するかどうかを決定することができる。例えば、デコーダは、ブロックの統計情報が条件を満たす（決定された統計情報は、ブロックが平滑領域であることを示す）場合、ＣＣＦを実行すると決定し、ブロックの統計情報が条件を満たさない（決定された統計情報は、ブロックが平滑領域ではないことを示す）場合、ＣＣＦを実行しないと決定することができる。
【0102】
いくつかの実施形態では、ＣＣＦオン／オフ予測が偽である場合、デコーダは、ブロックの決定された統計情報が信頼できないと決定することができる。このシナリオでは、デコーダは、ブロックの統計情報が条件を満たさないかどうか、例えば、ブロックの統計情報が、そのブロックが平滑領域ではないことを示すかどうかに応じて、そのブロックに対してＣＣＦを実行するかどうかを決定することができる。例えば、デコーダは、ブロックの統計情報が条件を満たさない（決定された統計情報は、ブロックが平滑領域ではないことを示す）場合、ＣＣＦを実行すると決定し、ブロックの統計情報が条件を満たす（決定された統計情報は、ブロックが平滑領域であることを示す）場合、ＣＣＦを実行しないと決定することができる。
【0103】
図１３は、本開示に係る電子デバイス１３００のブロック図である。電子デバイス１３００は、本開示に係るエンコーダまたはデコーダ、またはエンコーダまたはデコーダの一部を実現することができ、または、エンコーダまたはデコーダを含むことができる。図１３に示されるように、電子デバイス１３００は、プロセッサ１３０２と、非一時的なコンピュータ読み取り可能な記憶媒体１３０４とを含む。プロセッサ１３０２には、例えば、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラなどが含まれてもよい。記憶媒体１３０４には、例えば静的ランダムアクセスメモリ（ＳＲＡＭ：ｓｔａｔｉｃ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）、動的ランダムアクセスメモリ（ＤＲＡＭ：ｄｙｎａｍｉｃ ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ：ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、またはフラッシュメモリ（例えば、ユニバーサルシリアルバス（ＵＳＢ：ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ））メモリなどのうちの少なくとも１つが含まれてもよい。記憶媒体１３０４には、プロセッサ１３０２によって実行されると、本開示に係る方法、例えば上記の例示的な方法のうちの１つをプロセッサ１３０２に実行させる命令が記憶されてもよい。
【0104】
本開示によれば、符号化してエンコーダからデコーダへ送信する必要のある情報が少なくなり、または統計情報を得るための処理時間が少なくなる。したがって、符号化効率を向上させ、複雑度を低減させることができる。さらに、必要な記憶空間および伝送帯域幅が少なくなる。画像処理の全体的な効率を向上させることができる。
【0105】
本開示の原理および実施形態は、本明細書中の特定の実施形態を使用して説明されるが、実施形態の前述の説明は、本開示の方法および方法の核となるアイデアを理解するのを助けることのみを目的としている。同時に、当業者は、本開示のアイデアに基づいて、特定の実施形態および適用範囲に変更を加えることができる。結論として、本明細書の内容は、本開示に対する制限として解釈されるべきではない。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11A】
【図11B】
【図12】
【図13】
Copyright © 2010-2024 Science Impact Inc. All Rights Reserved.