▶ ベイジン ダイジャ インターネット インフォメーション テクノロジー カンパニー リミテッドの特許一覧
特開2022-172057複合インターとイントラ予測を改善するためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022172057
(43)【公開日】2022-11-15
(54)【発明の名称】複合インターとイントラ予測を改善するためのシステムおよび方法
(51)【国際特許分類】
H04N 19/577 20140101AFI20221108BHJP
H04N 19/107 20140101ALI20221108BHJP
H04N 19/157 20140101ALI20221108BHJP
H04N 19/176 20140101ALI20221108BHJP
【ＦＩ】
H04N19/577
H04N19/107
H04N19/157
H04N19/176
【審査請求】未請求
【請求項の数】26
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022109740
(22)【出願日】2022-07-07
(62)【分割の表示】P 2021540266の分割
【原出願日】2020-01-09
(31)【優先権主張番号】62/790,421
(32)【優先日】2019-01-09
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】521289098
【氏名又は名称】ベイジン ダジア インターネット インフォメーション テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＤＡＪＩＡ ＩＮＴＥＲＮＥＴ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ １０１Ｄ１－７，１ｓｔ Ｆｌｏｏｒ，Ｂｕｉｌｄｉｎｇ １，Ｎｏ．６，Ｓｈａｎｇｄｉ Ｗｅｓｔ Ｒｏａｄ，Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ，Ｂｅｉｊｉｎｇ １０００８５，Ｐ．Ｒ．Ｃｈｉｎａ
(74)【代理人】
【識別番号】100112656
【弁理士】
【氏名又は名称】宮田 英毅
(74)【代理人】
【識別番号】100089118
【弁理士】
【氏名又は名称】酒井 宏明
(72)【発明者】
【氏名】シュウ，シャオユウ
(72)【発明者】
【氏名】チェン，イーウェン
(72)【発明者】
【氏名】ワン，シャンリン
(57)【要約】 （修正有）
【課題】マージ関連モードの構文シグナリングの効率を改善する方法及び記憶媒体を提供する。
【解決手段】ビデオコーディングの方法は、複合インターとイントラ予測（ＣＩＩＰ）を生成する方法あって、現在の予測ブロックに関連付けられる第１の参照画像と第２の参照画像とを取得することと、現在の予測ブロックから第１の参照画像内の参照ブロックへの第１の動きベクトルＭＶ０に基づいて、第１の予測Ｌ０を生成することと、現在の予測ブロックから第２の参照画像内の参照ブロックへの第２の動きベクトルＭＶ１に基づいて、第２の予測Ｌ１を生成することと、双方向オプティカルフロー（ＢＤＯＦ）操作が適用されるかどうかを特定することと、第１の予測Ｌ０および第２の予測Ｌ１と、第１の勾配値および第２の勾配値とに基づいて、現在の予測ブロックの二重予測を計算することと、を含む。
【選択図】図３
【解決手段】ビデオコーディングの方法は、複合インターとイントラ予測（ＣＩＩＰ）を生成する方法あって、現在の予測ブロックに関連付けられる第１の参照画像と第２の参照画像とを取得することと、現在の予測ブロックから第１の参照画像内の参照ブロックへの第１の動きベクトルＭＶ０に基づいて、第１の予測Ｌ０を生成することと、現在の予測ブロックから第２の参照画像内の参照ブロックへの第２の動きベクトルＭＶ１に基づいて、第２の予測Ｌ１を生成することと、双方向オプティカルフロー（ＢＤＯＦ）操作が適用されるかどうかを特定することと、第１の予測Ｌ０および第２の予測Ｌ１と、第１の勾配値および第２の勾配値とに基づいて、現在の予測ブロックの二重予測を計算することと、を含む。
【選択図】図３
【特許請求の範囲】
【請求項1】
【請求項2】
前記ＢＤＯＦ動作が適用されないかどうかを特定することは、前記現在の予測ブロック
の最終予測を生成するためにＣＩＩＰが適用されるという条件で前記ＢＤＯＦ動作が適用
されないと特定することをさらに含む、請求項１に記載の方法。
の最終予測を生成するためにＣＩＩＰが適用されるという条件で前記ＢＤＯＦ動作が適用
されないと特定することをさらに含む、請求項１に記載の方法。
【請求項3】
前記ＢＤＯＦ動作が適用されると特定することは、前記現在の予測ブロックの最終予測
を生成するためにＣＩＩＰが適用されないときに前記ＢＤＯＦ動作が適用されると特定す
ることをさらに含む、請求項１に記載の方法。
を生成するためにＣＩＩＰが適用されないときに前記ＢＤＯＦ動作が適用されると特定す
ることをさらに含む、請求項１に記載の方法。
【請求項4】
前記現在のブロックの前記二重予測は、前記第１の予測Ｌ０と前記第２の予測Ｌ１とを
平均することに基づいて計算される、請求項２に記載の方法。
平均することに基づいて計算される、請求項２に記載の方法。
【請求項5】
【請求項6】
現在の予測ブロックに関連付けられる参照画像リスト内の参照画像を取得することと、
現在の画像から第１の参照画像への第１の動きベクトルに基づいて、インター予測を生成
することと、
前記現在の予測ブロックに関連付けられるイントラ予測モードを取得することと、
前記イントラ予測に基づいて、前記現在の予測ブロックのイントラ予測を生成することと
、
前記インター予測と前記イントラ予測を平均することにより、前記現在の予測ブロック
の最終予測を生成することと、
前記現在の予測ブロックが、最も可能性の高いモード（ＭＰＭ）ベースのイントラモー
ド予測に対して、インターモードまたはイントラモードのどちらとして扱われるかを特定
することと、
を妥協するビデオコーディングの方法。
現在の画像から第１の参照画像への第１の動きベクトルに基づいて、インター予測を生成
することと、
前記現在の予測ブロックに関連付けられるイントラ予測モードを取得することと、
前記イントラ予測に基づいて、前記現在の予測ブロックのイントラ予測を生成することと
、
前記インター予測と前記イントラ予測を平均することにより、前記現在の予測ブロック
の最終予測を生成することと、
前記現在の予測ブロックが、最も可能性の高いモード（ＭＰＭ）ベースのイントラモー
ド予測に対して、インターモードまたはイントラモードのどちらとして扱われるかを特定
することと、
を妥協するビデオコーディングの方法。
【請求項7】
前記現在の予測ブロックが前記参照画像リストＬ０内の１つの参照画像から予測される
ときに、前記参照画像リストはＬ０である、請求項６に記載の方法。
ときに、前記参照画像リストはＬ０である、請求項６に記載の方法。
【請求項8】
前記現在の予測ブロックが前記参照画像リストＬ１内の１つの参照画像から予測される
ときに、前記参照画像リストはＬ１である、請求項６に記載の方法。
ときに、前記参照画像リストはＬ１である、請求項６に記載の方法。
【請求項9】
前記現在の予測ブロックが、前記参照画像リストＬ０内の１つの第１の参照画像と前記
参照画像リストＬ１内の１つの第２の参照画像から予測されるときに、前記参照画像リス
トはＬ０である、請求項６に記載の方法。
参照画像リストＬ１内の１つの第２の参照画像から予測されるときに、前記参照画像リス
トはＬ０である、請求項６に記載の方法。
【請求項10】
前記現在の予測ブロックが、前記参照画像リストＬ０内の１つの第１の参照画像と前記
参照画像リストＬ１内の１つの第２の参照画像から予測されるときに、前記参照画像リス
トはＬ１である、請求項６に記載の方法。
参照画像リストＬ１内の１つの第２の参照画像から予測されるときに、前記参照画像リス
トはＬ１である、請求項６に記載の方法。
【請求項11】
前記参照画像リストは、前記現在の予測ブロックが、前記参照画像リストＬ０内の１つ
の第１の参照画像と前記参照画像リストＬ１内の１つの第２の参照画像から予測されると
きに、前記現在の画像までの画像順序カウント（ＰＯＣ）距離がより小さい１つの参照画
像に関連付けられるものである、請求項６に記載の方法。
の第１の参照画像と前記参照画像リストＬ１内の１つの第２の参照画像から予測されると
きに、前記現在の画像までの画像順序カウント（ＰＯＣ）距離がより小さい１つの参照画
像に関連付けられるものである、請求項６に記載の方法。
【請求項12】
前記現在の予測ブロックは、インターモードとして扱われ、前記現在の予測ブロックの
前記イントラ予測モードは、ＭＰＭベースのイントラモード予測に使用されない、請求項
６に記載の方法。
前記イントラ予測モードは、ＭＰＭベースのイントラモード予測に使用されない、請求項
６に記載の方法。
【請求項13】
前記現在の予測ブロックは、イントラモードとして扱われ、前記現在の予測ブロックの
前記イントラ予測モードは、ＭＰＭベースのイントラモード予測に使用される、請求項６
に記載の方法。
前記イントラ予測モードは、ＭＰＭベースのイントラモード予測に使用される、請求項６
に記載の方法。
【請求項14】
【請求項15】
前記ＢＤＯＦ動作が適用されないかどうかを特定することは、前記現在の予測ブロック
の最終予測を生成するために複合インターとイントラ予測（ＣＩＩＰ）が適用されるとい
う条件で前記ＢＤＯＦ動作が適用されないと特定することをさらに含む、請求項１４に記
載の非一時的なコンピュータ可読記憶媒体。
の最終予測を生成するために複合インターとイントラ予測（ＣＩＩＰ）が適用されるとい
う条件で前記ＢＤＯＦ動作が適用されないと特定することをさらに含む、請求項１４に記
載の非一時的なコンピュータ可読記憶媒体。
【請求項16】
前記ＢＤＯＦ動作が適用されると特定することは、前記現在の予測ブロックの最終予測
を生成するためにＣＩＩＰが適用されないときに前記ＢＤＯＦ動作が適用されると特定す
ることをさらに含む、請求項１４に記載の非一時的なコンピュータ可読記憶媒体。
を生成するためにＣＩＩＰが適用されないときに前記ＢＤＯＦ動作が適用されると特定す
ることをさらに含む、請求項１４に記載の非一時的なコンピュータ可読記憶媒体。
【請求項17】
前記現在の予測ブロックの前記二重予測を計算することは、前記第１の予測Ｌ０と前記
第２の予測Ｌ１とに基づいて計算される、請求項１５に記載の非一時的なコンピュータ可
読記憶媒体。
第２の予測Ｌ１とに基づいて計算される、請求項１５に記載の非一時的なコンピュータ可
読記憶媒体。
【請求項18】
【請求項19】
１つまたは複数のプロセッサを有するコンピューティングデバイスによって実行される
複数のプログラムを格納する非一時的なコンピュータ可読記憶媒体であって、
前記複数のプログラムは、前記１つまたは複数のプロセッサによって実行されると、
現在の予測ブロックに関連付けられる参照画像リスト内の参照画像を取得することと、
現在の画像から第１の参照画像への第１の動きベクトルに基づいて、インター予測を生
成することと、
前記現在の予測ブロックに関連付けられるイントラ予測モードを取得することと、
前記イントラ予測に基づいて、前記現在の予測ブロックのイントラ予測を生成すること
と、
前記インター予測と前記イントラ予測を平均することにより、前記現在の予測ブロック
の最終予測を生成することと、
前記現在の予測ブロックが、最も可能性の高いモード（ＭＰＭ）ベースのイントラモー
ド予測に対して、インターモードまたはイントラモードのどちらとして扱われるかを特定
することと、
を含む動作を、前記コンピューティングデバイスに実行させる、非一時的なコンピュータ
可読記憶媒体。
複数のプログラムを格納する非一時的なコンピュータ可読記憶媒体であって、
前記複数のプログラムは、前記１つまたは複数のプロセッサによって実行されると、
現在の予測ブロックに関連付けられる参照画像リスト内の参照画像を取得することと、
現在の画像から第１の参照画像への第１の動きベクトルに基づいて、インター予測を生
成することと、
前記現在の予測ブロックに関連付けられるイントラ予測モードを取得することと、
前記イントラ予測に基づいて、前記現在の予測ブロックのイントラ予測を生成すること
と、
前記インター予測と前記イントラ予測を平均することにより、前記現在の予測ブロック
の最終予測を生成することと、
前記現在の予測ブロックが、最も可能性の高いモード（ＭＰＭ）ベースのイントラモー
ド予測に対して、インターモードまたはイントラモードのどちらとして扱われるかを特定
することと、
を含む動作を、前記コンピューティングデバイスに実行させる、非一時的なコンピュータ
可読記憶媒体。
【請求項20】
前記現在の予測ブロックが前記参照画像リストＬ０内の１つの参照画像から予測される
ときに、前記参照画像リストはＬ０である、請求項１９に記載の非一時的なコンピュータ
可読記憶媒体。
ときに、前記参照画像リストはＬ０である、請求項１９に記載の非一時的なコンピュータ
可読記憶媒体。
【請求項21】
前記現在の予測ブロックが前記参照画像リストＬ１内の１つの参照画像から予測される
ときに、前記参照画像リストはＬ１である、請求項１９に記載の非一時的なコンピュータ
可読記憶媒体。
ときに、前記参照画像リストはＬ１である、請求項１９に記載の非一時的なコンピュータ
可読記憶媒体。
【請求項22】
前記現在の予測ブロックが、前記参照画像リストＬ０内の１つの第１の参照画像と前記
参照画像リストＬ１内の１つの第２の参照画像から予測されるときに、前記参照画像リス
トはＬ０である、請求項１９に記載の非一時的なコンピュータ可読記憶媒体。
参照画像リストＬ１内の１つの第２の参照画像から予測されるときに、前記参照画像リス
トはＬ０である、請求項１９に記載の非一時的なコンピュータ可読記憶媒体。
【請求項23】
前記現在の予測ブロックが、前記参照画像リストＬ０内の１つの第１の参照画像と前記
参照画像リストＬ１内の１つの第２の参照画像から予測されるときに、前記参照画像リス
トはＬ１である、請求項１９に記載の非一時的なコンピュータ可読記憶媒体。
参照画像リストＬ１内の１つの第２の参照画像から予測されるときに、前記参照画像リス
トはＬ１である、請求項１９に記載の非一時的なコンピュータ可読記憶媒体。
【請求項24】
前記参照画像リストは、前記現在の予測ブロックが、前記参照画像リストＬ０内の１つ
の第１の参照画像と前記参照画像リストＬ１内の１つの第２の参照画像から予測されると
きに、前記現在の画像までの画像順序カウント（ＰＯＣ）距離がより小さい１つの参照画
像に関連付けられるものである、請求項１９に記載の非一時的なコンピュータ可読記憶媒
体。
の第１の参照画像と前記参照画像リストＬ１内の１つの第２の参照画像から予測されると
きに、前記現在の画像までの画像順序カウント（ＰＯＣ）距離がより小さい１つの参照画
像に関連付けられるものである、請求項１９に記載の非一時的なコンピュータ可読記憶媒
体。
【請求項25】
前記現在の予測ブロックは、インターモードとして扱われ、前記現在の予測ブロックの
前記イントラ予測モードは、ＭＰＭベースのイントラモード予測に使用されない、請求項
１９に記載の非一時的なコンピュータ可読記憶媒体。
前記イントラ予測モードは、ＭＰＭベースのイントラモード予測に使用されない、請求項
１９に記載の非一時的なコンピュータ可読記憶媒体。
【請求項26】
前記現在の予測ブロックは、イントラモードとして扱われ、前記現在の予測ブロックの
前記イントラ予測モードは、ＭＰＭベースのイントラモード予測に使用される、請求項１
９に記載の非一時的なコンピュータ可読記憶媒体。
前記イントラ予測モードは、ＭＰＭベースのイントラモード予測に使用される、請求項１
９に記載の非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０１９年１月９日に出願された仮出願第６２/７９０,４２１号に基づき優先
権を主張し、その全部の内容をここに援用する。
権を主張し、その全部の内容をここに援用する。
【0002】
本願は、ビデオコーディングと圧縮に関するものである。より具体的には、本願は、ビ
デオコーディングのための複合インターとイントラ予測（ＣＩＩＰ）方法に関する方法お
よび装置に関するものである。
デオコーディングのための複合インターとイントラ予測（ＣＩＩＰ）方法に関する方法お
よび装置に関するものである。
【背景技術】
【0003】
ビデオデータを圧縮するために、様々なビデオコーディング技術を使用することができ
る。ビデオコーディングは、１つまたは複数のビデオコーディング規格に従って実行され
る。たとえば、ビデオコーディング規格には、多用途ビデオコーディング（ＶＶＣ）、共
同探査テストモデル（ＪＥＭ）、高効率ビデオコーディング（Ｈ.２６５/ＨＥＶＣ）、高
度なビデオコーディング（Ｈ.２６４/ＡＶＣ）、動画エキスパートグループ（ＭＰＥＧ）
コーディングなどが含まれる。ビデオコーディングは、一般に、ビデオ画像またはシーケ
ンスに存在する冗長性を利用する予測方法（例えば、インター予測、イントラ予測など）
を利用する。ビデオコーディング技術の重要な目標は、ビデオ品質の低下を回避または最
小限に抑えながら、ビデオデータを、より低いビットレートを使用する形式に圧縮するこ
とである。
る。ビデオコーディングは、１つまたは複数のビデオコーディング規格に従って実行され
る。たとえば、ビデオコーディング規格には、多用途ビデオコーディング（ＶＶＣ）、共
同探査テストモデル（ＪＥＭ）、高効率ビデオコーディング（Ｈ.２６５/ＨＥＶＣ）、高
度なビデオコーディング（Ｈ.２６４/ＡＶＣ）、動画エキスパートグループ（ＭＰＥＧ）
コーディングなどが含まれる。ビデオコーディングは、一般に、ビデオ画像またはシーケ
ンスに存在する冗長性を利用する予測方法（例えば、インター予測、イントラ予測など）
を利用する。ビデオコーディング技術の重要な目標は、ビデオ品質の低下を回避または最
小限に抑えながら、ビデオデータを、より低いビットレートを使用する形式に圧縮するこ
とである。
【発明の概要】
【0004】
本開示の例は、マージ関連モードの構文シグナリングの効率を改善するための方法を提
供する。
供する。
【0005】
【0006】
本開示の第２の態様によれば、現在の予測ブロックに関連付けられる参照画像リスト内
の参照画像を取得することと、現在の画像から第１の参照画像への第１の動きベクトルに
基づいて、インター予測を生成することと、前記現在の予測ブロックに関連付けられるイ
ントラ予測モードを取得することと、前記イントラ予測に基づいて、前記現在の予測ブロ
ックのイントラ予測を生成することと、前記インター予測と前記イントラ予測を平均する
ことにより、前記現在の予測ブロックの最終予測を生成することと、前記現在の予測ブロ
ックが、最も可能性の高いモード（ＭＰＭ）ベースのイントラモード予測に対して、イン
ターモードまたはイントラモードのどちらとして扱われるかを特定することと、を妥協す
るビデオコーディングの方法。
の参照画像を取得することと、現在の画像から第１の参照画像への第１の動きベクトルに
基づいて、インター予測を生成することと、前記現在の予測ブロックに関連付けられるイ
ントラ予測モードを取得することと、前記イントラ予測に基づいて、前記現在の予測ブロ
ックのイントラ予測を生成することと、前記インター予測と前記イントラ予測を平均する
ことにより、前記現在の予測ブロックの最終予測を生成することと、前記現在の予測ブロ
ックが、最も可能性の高いモード（ＭＰＭ）ベースのイントラモード予測に対して、イン
ターモードまたはイントラモードのどちらとして扱われるかを特定することと、を妥協す
るビデオコーディングの方法。
【0007】
【0008】
本開示の第４の態様によれば、インストラクションを記憶する非一時的なコンピュータ
可読記憶媒体が提供される。１つまたは複数のプロセッサによって実行されると、現在の
予測ブロックに関連付けられる参照画像リスト内の参照画像を取得することと、現在の画
像から第１の参照画像への第１の動きベクトルに基づいて、インター予測を生成すること
と、前記現在の予測ブロックに関連付けられるイントラ予測モードを取得することと、前
記イントラ予測に基づいて、前記現在の予測ブロックのイントラ予測を生成することと、
前記インター予測と前記イントラ予測を平均することにより、前記現在の予測ブロックの
最終予測を生成することと、前記現在の予測ブロックが、最も可能性の高いモード（ＭＰ
Ｍ）ベースのイントラモード予測に対して、インターモードまたはイントラモードのどち
らとして扱われるかを特定することと、を含む動作を、コンピューティングデバイスに実
行させる。
可読記憶媒体が提供される。１つまたは複数のプロセッサによって実行されると、現在の
予測ブロックに関連付けられる参照画像リスト内の参照画像を取得することと、現在の画
像から第１の参照画像への第１の動きベクトルに基づいて、インター予測を生成すること
と、前記現在の予測ブロックに関連付けられるイントラ予測モードを取得することと、前
記イントラ予測に基づいて、前記現在の予測ブロックのイントラ予測を生成することと、
前記インター予測と前記イントラ予測を平均することにより、前記現在の予測ブロックの
最終予測を生成することと、前記現在の予測ブロックが、最も可能性の高いモード（ＭＰ
Ｍ）ベースのイントラモード予測に対して、インターモードまたはイントラモードのどち
らとして扱われるかを特定することと、を含む動作を、コンピューティングデバイスに実
行させる。
【0009】
前述の一般的な説明および以下の詳細な説明の両方は単なる例であり、本開示を限定す
るものではないことを理解されたい。
るものではないことを理解されたい。
【図面の簡単な説明】
【0010】
本明細書に組み込まれ、その一部を構成する添付の図面は、本開示と一致する例を示し
、説明とともに、本開示の原理を説明するのに役立つ。
、説明とともに、本開示の原理を説明するのに役立つ。
【図1】本開示の一例による、エンコーダのブロック図である。
【図2】本開示の一例による、デコーダのブロック図である。
【図3】本開示の一例による、複合インターとイントラ予測（ＣＩＩＰ）を生成するための方法を示すフローチャートである。
【図4】本開示の一例による、ＣＩＩＰを生成するための方法を示すフローチャートである。
【図5A】本開示の一例による、マルチタイプツリー構造におけるブロックパーティションを示す図である。
【図5B】本開示の一例による、マルチタイプツリー構造におけるブロックパーティションを示す図である。
【図5C】本開示の一例による、マルチタイプツリー構造におけるブロックパーティションを示す図である。
【図5D】本開示の一例による、マルチタイプツリー構造におけるブロックパーティションを示す図である。
【図5E】本開示の一例による、マルチタイプツリー構造におけるブロックパーティションを示す図である。
【図6A】本開示の一例による、複合インターとイントラ予測（ＣＩＩＰ）を示す図である。
【図6B】本開示の一例による、複合インターとイントラ予測（ＣＩＩＰ）を示す図である。
【図6C】本開示の一例による、複合インターとイントラ予測（ＣＩＩＰ）を示す図である。
【図7A】本開示の一例による、ＭＰＭ候補リスト生成プロセスのフローチャートである。
【図7B】本開示の一例による、ＭＰＭ候補リスト生成プロセスのフローチャートである。
【図8】本開示の一例による、ＶＶＣにおける既存のＣＩＩＰデザインのワークフローを示す図である。
【図9】本開示の一例による、ＢＤＯＦを除去することによる提案されたＣＩＩＰ方法のワークフローを示す図である。
【図10】本開示の一例による、ＰＯＣ距離に基づいて予測リストを選択する、単一予測ベースのＣＩＩＰのワークフローを示す図である。
【図11A】本開示の一例による、ＭＰＭ候補リスト生成のためにＣＩＩＰブロックを有効にするときの方法のフローチャートである。
【図11B】本開示の一例による、ＭＰＭ候補リスト生成のためにＣＩＩＰブロックを無効にするときの方法のフローチャートである。
【図12】本開示の一例による、ユーザインターフェースと結合されたコンピューティング環境を示す図である。
【発明を実施するための形態】
【0011】
ここで、本開示の例を詳細に参照し、その例を添付の図面に示す。以下の説明は、別段
の記載がない限り、異なる図面における同じ番号が同じまたは類似の要素を表す添付の図
面を参照している。本開示の例の以下の説明に記載されている実施の形態は、本開示と一
致するすべての実施の形態を表すわけではない。その代わり、それらは、添付の特許請求
の範囲に記載されている本開示に関連する態様と一致する装置および方法の単なる例であ
る。
の記載がない限り、異なる図面における同じ番号が同じまたは類似の要素を表す添付の図
面を参照している。本開示の例の以下の説明に記載されている実施の形態は、本開示と一
致するすべての実施の形態を表すわけではない。その代わり、それらは、添付の特許請求
の範囲に記載されている本開示に関連する態様と一致する装置および方法の単なる例であ
る。
【0012】
本開示で使用される用語は、特定の実施の形態を説明することのみを目的としており、
本開示を限定することを意図するものではない。本開示および添付の特許請求の範囲で使
用されるように、単数形「a」、「an」、および「the」は、文脈で明確に示されていない
限り、複数形も含むことを意図している。ここで使用される「および／または」という用
語は、関連するリストされたアイテムの１つまたは複数の任意またはすべての可能な組み
合わせを意味し、含むことを意図することも理解されたい。
本開示を限定することを意図するものではない。本開示および添付の特許請求の範囲で使
用されるように、単数形「a」、「an」、および「the」は、文脈で明確に示されていない
限り、複数形も含むことを意図している。ここで使用される「および／または」という用
語は、関連するリストされたアイテムの１つまたは複数の任意またはすべての可能な組み
合わせを意味し、含むことを意図することも理解されたい。
【0013】
ここで、「第１」、「第２」、「第３」などの用語を使用して様々な情報を説明するこ
とができるが、情報はこれらの用語によって限定されるべきではないことを理解されたい
。これらの用語は、あるカテゴリの情報を別のカテゴリと区別するためにのみ使用される
。例えば、本開示の範囲から逸脱することなく、第１の情報は、第２の情報と呼ばれるこ
とができ、同様に、第２の情報は、第１の情報と呼ばれることもできる。ここで使用され
る場合、「もし」という用語は、文脈に応じて、「ときに」または「に際して」または「
判断に応じて」を意味すると理解され得る。
とができるが、情報はこれらの用語によって限定されるべきではないことを理解されたい
。これらの用語は、あるカテゴリの情報を別のカテゴリと区別するためにのみ使用される
。例えば、本開示の範囲から逸脱することなく、第１の情報は、第２の情報と呼ばれるこ
とができ、同様に、第２の情報は、第１の情報と呼ばれることもできる。ここで使用され
る場合、「もし」という用語は、文脈に応じて、「ときに」または「に際して」または「
判断に応じて」を意味すると理解され得る。
【0014】
ＨＥＶＣ規格の第１のバージョンは、２０１３年１０月に完成し、これは、前世代のビ
デオコーディング規格Ｈ．２６４／ＭＰＥＧ ＡＶＣと比較して、約５０％のビットレー
ト節約または同等の知覚品質を提供する。ＨＥＶＣ規格は、その前身よりも大幅なコーデ
ィングの改善を提供しているが、ＨＥＶＣにコーディングツールを追加することで、優れ
たコーディング効率を達成できるという証拠がある。これに基づいて、ＶＣＥＧとＭＰＥ
Ｇの両方が、将来のビデオコーディング標準化のための新しいコーディングテクノロジー
の調査作業を開始した。コーディング効率の大幅な向上を可能にする高度なテクノロジー
の重要な研究が開始されるために、２０１５年１０月に、IＴＵ-ＴＶＥＣＧとIＳＯ/IＥ
Ｃ ＭＰＥＧによって１つのJoint Video Exploration Team（ＪＶＥＴ）が結成され
た。共同探査モデル（ＪＥＭ）と呼ばれる１つの参照ソフトウェアは、ＨＥＶＣテストモ
デル（ＨＭ）の上にいくつかの追加のコーディングツールを統合することにより、ＪＶＥ
Ｔによって維持されていた。
デオコーディング規格Ｈ．２６４／ＭＰＥＧ ＡＶＣと比較して、約５０％のビットレー
ト節約または同等の知覚品質を提供する。ＨＥＶＣ規格は、その前身よりも大幅なコーデ
ィングの改善を提供しているが、ＨＥＶＣにコーディングツールを追加することで、優れ
たコーディング効率を達成できるという証拠がある。これに基づいて、ＶＣＥＧとＭＰＥ
Ｇの両方が、将来のビデオコーディング標準化のための新しいコーディングテクノロジー
の調査作業を開始した。コーディング効率の大幅な向上を可能にする高度なテクノロジー
の重要な研究が開始されるために、２０１５年１０月に、IＴＵ-ＴＶＥＣＧとIＳＯ/IＥ
Ｃ ＭＰＥＧによって１つのJoint Video Exploration Team（ＪＶＥＴ）が結成され
た。共同探査モデル（ＪＥＭ）と呼ばれる１つの参照ソフトウェアは、ＨＥＶＣテストモ
デル（ＨＭ）の上にいくつかの追加のコーディングツールを統合することにより、ＪＶＥ
Ｔによって維持されていた。
【0015】
２０１７年１０月に、ＨＥＶＣを超える機能を備えたビデオ圧縮に関する共同提案募集
（ＣｆＰ）が、IＴＵ-ＴおよびIＳＯ/IＥＣによって発行された。２０１８年４月に、第
１０回ＪＶＥＴ会議で、２３のＣｆＰ応答が受信され評価され、ＨＥＶＣよりも約４０％
の圧縮効率ゲインが実証された。このような評価結果に基づいて、ＪＶＥＴは、Versatil
e Video Coding（ＶＶＣ）と呼ばれる新世代のビデオコーディング規格を開発するため
の新しいプロジェクトを立ち上げた。同じ月に、ＶＶＣ規格の参照実装を実証するために
、ＶＶＣテストモデル（ＶＴＭ）と呼ばれる１つの参照ソフトウェアコードベースが確立
された。
（ＣｆＰ）が、IＴＵ-ＴおよびIＳＯ/IＥＣによって発行された。２０１８年４月に、第
１０回ＪＶＥＴ会議で、２３のＣｆＰ応答が受信され評価され、ＨＥＶＣよりも約４０％
の圧縮効率ゲインが実証された。このような評価結果に基づいて、ＪＶＥＴは、Versatil
e Video Coding（ＶＶＣ）と呼ばれる新世代のビデオコーディング規格を開発するため
の新しいプロジェクトを立ち上げた。同じ月に、ＶＶＣ規格の参照実装を実証するために
、ＶＶＣテストモデル（ＶＴＭ）と呼ばれる１つの参照ソフトウェアコードベースが確立
された。
【0016】
ＨＥＶＣと同様に、ＶＶＣは、ブロックベースのハイブリッドビデオコーディングフレ
ームワーク上に構成されている。図１（以下に説明）は、一般的なブロックベースのハイ
ブリッドビデオ符号化システムのブロック図を与える。入力ビデオ信号は、ブロック（コ
ーディングユニット（ＣＵ）と呼ばれる。）ごとに処理される。ＶＴＭ-１．０では、Ｃ
Ｕは最大１２８x１２８ピクセルにすることができる。ただし、クアッドツリーのみに基
づいてブロックを区分するＨＥＶＣとは異なり、ＶＶＣでは、クアッド/二元/ターナリー
ツリーに基づくさまざまなローカル特性に適応するために、１つのコーディングツリーユ
ニット（ＣＴＵ）がＣＵに分割される。さらに、ＨＥＶＣにおける複数のパーティション
ユニットタイプの概念が除去され、つまり、ＣＵと予測ユニット（ＰＵ）と変換ユニット
（ＴＵ）の分離がＶＶＣに存在しなくなり、その代わりに、各ＣＵは常に、追加のパーテ
ィションなしで予測と変換の両方の基本単位として使用される。マルチタイプツリー構造
では、１つのＣＴＵが最初にクアッドツリー構造によって区分される。次に、各クアッド
ツリーリーフノードが二元およびターナリツリー構造でさらに区分されることができる。
図図５Ａ、図５Ｂ、図５Ｃ、図５Ｄ、図５Ｄ、図５Ｅ（以下で説明する。）に示すように
、それぞれ、四元パーティショニング、水平二元パーティショニング、垂直二元パーティ
ショニング、水平三元パーティショニング、および垂直三元パーティショニングの５つの
分割タイプがある。
ームワーク上に構成されている。図１（以下に説明）は、一般的なブロックベースのハイ
ブリッドビデオ符号化システムのブロック図を与える。入力ビデオ信号は、ブロック（コ
ーディングユニット（ＣＵ）と呼ばれる。）ごとに処理される。ＶＴＭ-１．０では、Ｃ
Ｕは最大１２８x１２８ピクセルにすることができる。ただし、クアッドツリーのみに基
づいてブロックを区分するＨＥＶＣとは異なり、ＶＶＣでは、クアッド/二元/ターナリー
ツリーに基づくさまざまなローカル特性に適応するために、１つのコーディングツリーユ
ニット（ＣＴＵ）がＣＵに分割される。さらに、ＨＥＶＣにおける複数のパーティション
ユニットタイプの概念が除去され、つまり、ＣＵと予測ユニット（ＰＵ）と変換ユニット
（ＴＵ）の分離がＶＶＣに存在しなくなり、その代わりに、各ＣＵは常に、追加のパーテ
ィションなしで予測と変換の両方の基本単位として使用される。マルチタイプツリー構造
では、１つのＣＴＵが最初にクアッドツリー構造によって区分される。次に、各クアッド
ツリーリーフノードが二元およびターナリツリー構造でさらに区分されることができる。
図図５Ａ、図５Ｂ、図５Ｃ、図５Ｄ、図５Ｄ、図５Ｅ（以下で説明する。）に示すように
、それぞれ、四元パーティショニング、水平二元パーティショニング、垂直二元パーティ
ショニング、水平三元パーティショニング、および垂直三元パーティショニングの５つの
分割タイプがある。
【0017】
図１（以下に説明）では、空間予測および／または時間予測を実行することができる。
空間予測（または「イントラ予測」）は、同一のビデオ画像/スライスにおけるすでにコ
ーディングされた隣接ブロックのサンプル（参照サンプルと呼ばれる。）からのピクセル
を使用して、現在のビデオブロックを予測する。空間予測は、ビデオ信号に固有の空間的
冗長性を低減する。時間予測（「インター予測」または「動き補償予測」とも呼ばれる。
）は、すでにコーディングされたビデオ画像からの再構成されたピクセルを使用して、現
在のビデオブロックを予測する。時間予測は、ビデオ信号に固有の時間的冗長性を低減す
る。特定のＣＵについての時間予測信号は、通常、現在のＣＵとその時間参照との間の動
きの量と方向を示す１つまたは複数の動きベクトル（ＭＶ）によってシグナリングされる
。また、複数の参照画像がサポートされている場合には、１つの参照画像インデックスが
追加で送信される。これは、時間予測信号が参照画像ストアにおけるどの参照画像から来
るかを識別するために使用される。空間予測および／または時間予測の後、エンコーダに
おけるモード決定ブロックは、例えば、レート歪み最適化方法に基づいて、最適な予測モ
ードを選択する。次に、予測ブロックは、現在のビデオブロックから差し引かれ、予測残
差は、変換と量子化を使用して無相関化される。
空間予測（または「イントラ予測」）は、同一のビデオ画像/スライスにおけるすでにコ
ーディングされた隣接ブロックのサンプル（参照サンプルと呼ばれる。）からのピクセル
を使用して、現在のビデオブロックを予測する。空間予測は、ビデオ信号に固有の空間的
冗長性を低減する。時間予測（「インター予測」または「動き補償予測」とも呼ばれる。
）は、すでにコーディングされたビデオ画像からの再構成されたピクセルを使用して、現
在のビデオブロックを予測する。時間予測は、ビデオ信号に固有の時間的冗長性を低減す
る。特定のＣＵについての時間予測信号は、通常、現在のＣＵとその時間参照との間の動
きの量と方向を示す１つまたは複数の動きベクトル（ＭＶ）によってシグナリングされる
。また、複数の参照画像がサポートされている場合には、１つの参照画像インデックスが
追加で送信される。これは、時間予測信号が参照画像ストアにおけるどの参照画像から来
るかを識別するために使用される。空間予測および／または時間予測の後、エンコーダに
おけるモード決定ブロックは、例えば、レート歪み最適化方法に基づいて、最適な予測モ
ードを選択する。次に、予測ブロックは、現在のビデオブロックから差し引かれ、予測残
差は、変換と量子化を使用して無相関化される。
【0018】
量子化された残差係数は、逆量子化と逆変換されて、再構成された残差を形成し、次に
予測ブロックに追加されて、ＣＵの再構成された信号を形成する。デブロッキングフィル
ター、サンプルアダプティブオフセット（ＳＡＯ）、アダプティブインループフィルター
（ＡＬＦ）などのさらなるインループフィルタリングは、参照画像ストアに配置され将来
のビデオブロックのコーディングに使用される前に、再構成されたＣＵに適用できる。出
力ビデオビットストリームを形成するために、コーディングモード（インターまたはイン
トラ）、予測モード情報、動き情報、および量子化された残差係数は、すべてエントロピ
ーコーディングユニットに送信され、さらに圧縮およびパックされてビットストリームを
形成する。
予測ブロックに追加されて、ＣＵの再構成された信号を形成する。デブロッキングフィル
ター、サンプルアダプティブオフセット（ＳＡＯ）、アダプティブインループフィルター
（ＡＬＦ）などのさらなるインループフィルタリングは、参照画像ストアに配置され将来
のビデオブロックのコーディングに使用される前に、再構成されたＣＵに適用できる。出
力ビデオビットストリームを形成するために、コーディングモード（インターまたはイン
トラ）、予測モード情報、動き情報、および量子化された残差係数は、すべてエントロピ
ーコーディングユニットに送信され、さらに圧縮およびパックされてビットストリームを
形成する。
【0019】
図２（以下に説明）は、ブロックベースのビデオデコーダの一般的なブロック図を示す
。ビデオビットストリームは、最初にエントロピーデコードユニットでエントロピーデコ
ードされる。コーディングモードおよび予測情報は、空間予測ユニット（イントラコーデ
ィングされている場合）または時間予測ユニット（インターコーディングされている場合
）のいずれかに送信されて、予測ブロックを形成する。残差変換係数は、逆量子化ユニッ
トと逆変換ユニットに送信されて、残差ブロックを再構成する。次に、予測ブロックと残
差ブロックは、一緒に加算される。再構成されたブロックは、参照画像ストアに格納され
る前に、インループフィルタリングをさらに通過することができる。次に、参照画像スト
アにおける再構成されたビデオは、ディスプレイデバイスを駆動するために送出され、将
来のビデオブロックを予測するためにも使用される。
。ビデオビットストリームは、最初にエントロピーデコードユニットでエントロピーデコ
ードされる。コーディングモードおよび予測情報は、空間予測ユニット（イントラコーデ
ィングされている場合）または時間予測ユニット（インターコーディングされている場合
）のいずれかに送信されて、予測ブロックを形成する。残差変換係数は、逆量子化ユニッ
トと逆変換ユニットに送信されて、残差ブロックを再構成する。次に、予測ブロックと残
差ブロックは、一緒に加算される。再構成されたブロックは、参照画像ストアに格納され
る前に、インループフィルタリングをさらに通過することができる。次に、参照画像スト
アにおける再構成されたビデオは、ディスプレイデバイスを駆動するために送出され、将
来のビデオブロックを予測するためにも使用される。
【0020】
図１は、典型的なエンコーダ１００を示す。エンコーダ１００は、ビデオ入力１１０、
動き補償１１２、動き推定１１４、イントラ／インターモード決定１１６、ブロック予測
器１４０、加算器１２８、変換１３０、量子化１３２、予測関連情報１４２、イントラ予
測１１８、画像バッファ１２０、逆量子化１３４、逆変換１３６、加算器１２６、メモリ
１２４、インループフィルタ１２２、エントロピーコーディング１３８、およびビットス
トリーム１４４を有する。
動き補償１１２、動き推定１１４、イントラ／インターモード決定１１６、ブロック予測
器１４０、加算器１２８、変換１３０、量子化１３２、予測関連情報１４２、イントラ予
測１１８、画像バッファ１２０、逆量子化１３４、逆変換１３６、加算器１２６、メモリ
１２４、インループフィルタ１２２、エントロピーコーディング１３８、およびビットス
トリーム１４４を有する。
【0021】
図２は、典型的なデコーダ２００のブロック図を示す。デコーダ２００は、ビットスト
リーム２１０、エントロピーデコード２１２、逆量子化２１４、逆変換２１６、加算器２
１８、イントラ／インターモード選択２２０、イントラ予測２２２、メモリ２３０、イン
ループフィルタ２２８、動き補償２２４、画像バッファ２２６、予測関連情報２３４、お
よびビデオ出力２３２を有する。
リーム２１０、エントロピーデコード２１２、逆量子化２１４、逆変換２１６、加算器２
１８、イントラ／インターモード選択２２０、イントラ予測２２２、メモリ２３０、イン
ループフィルタ２２８、動き補償２２４、画像バッファ２２６、予測関連情報２３４、お
よびビデオ出力２３２を有する。
【0022】
図３は、本開示による、複合インターとイントラ予測（ＣＩＩＰ）を生成するための例
示的な方法３００を示す。
示的な方法３００を示す。
【0023】
ステップ３１０において、現在の予測ブロックに関連付けられる第１の参照画像と第２
の参照画像を取得する。ここで、第１の参照画像は表示順で現在の画像の前にあり、第２
の参照画像は表示順で現在の画像の後にある。
の参照画像を取得する。ここで、第１の参照画像は表示順で現在の画像の前にあり、第２
の参照画像は表示順で現在の画像の後にある。
【0024】
ステップ３１２において、現在の予測ブロックから第１の参照画像内の参照ブロックへ
の第１の動きベクトルＭＶ０に基づいて、第１の予測Ｌ０を取得する。
の第１の動きベクトルＭＶ０に基づいて、第１の予測Ｌ０を取得する。
【0025】
ステップ３１４において、現在の予測ブロックから第２の参照画像内の参照ブロックへ
の第２の動きベクトルＭＶ１に基づいて、第２の予測Ｌ１を取得する。
の第２の動きベクトルＭＶ１に基づいて、第２の予測Ｌ１を取得する。
【0026】
【0027】
【0028】
【0029】
ステップ４１０において、現在の予測ブロックに関連付けられる参照画像リストにおけ
る参照画像を取得する。
る参照画像を取得する。
【0030】
ステップ４１２において、現在の画像から第１の参照画像への第１の動きベクトルに基
づいて、インター予測を生成する。
づいて、インター予測を生成する。
【0031】
ステップ４１４において、現在の予測ブロックに関連付けられるイントラ予測モードを
取得する。
取得する。
【0032】
ステップ４１６において、イントラ予測に基づいて、現在の予測ブロックのイントラ予
測を生成する。
測を生成する。
【0033】
ステップ４１８において、インター予測とイントラ予測を平均することにより、現在の
予測ブロックの最終予測を生成する。
予測ブロックの最終予測を生成する。
【0034】
ステップ４２０において、現在の予測ブロックが、最も可能性の高いモード（ＭＰＭ）
ベースのイントラモード予測について、インターモードまたはイントラモードのどちらと
して扱われるかを特定する。
ベースのイントラモード予測について、インターモードまたはイントラモードのどちらと
して扱われるかを特定する。
【0035】
図５Ａは、本開示の一例による、マルチタイプツリー構造におけるブロック四元パーテ
ィションを示す図を示す。
ィションを示す図を示す。
【0036】
図５Ｂは、本開示の一例による、マルチタイプツリー構造におけるブロック垂直二元パ
ーティションを示す図を示す。
ーティションを示す図を示す。
【0037】
図５Ｃは、本開示の一例による、マルチタイプツリー構造におけるブロック水平二元パ
ーティションを示す図を示す。
ーティションを示す図を示す。
【0038】
図５Ｄは、本開示の一例による、マルチタイプツリー構造におけるブロック垂直三元パ
ーティションを示す図を示す。
ーティションを示す図を示す。
【0039】
図５Ｅは、本開示の一例による、マルチタイプツリー構造におけるブロック水平三元パ
ーティションを示す図を示す。
ーティションを示す図を示す。
【0040】
複合インターとイントラ予測
図１、図２に示されるように、インターとイントラ予測方法は、ハイブリッドビデオコ
ーディングスキームで使用される。ここで、各ＰＵは、時間域または空間域のいずれかの
みで、相関性を利用するために、インター予測またはイントラ予測を選択することが許可
され、両方ではできない。ただし、従来の文献で指摘されているように、インター予測ブ
ロックとイントラ予測ブロックによって生成された残差信号は、互いに非常に異なる特性
を示す可能性がある。したがって、２種類の予測を効率的に組み合わせることができれば
、予測残差のエネルギーを削減してコーディング効率を向上させるために、もう１つの正
確な予測が期待できる。さらに、自然なビデオコンテンツでは、動くオブジェクトの動き
が複雑になる可能性がある。たとえば、古いコンテンツ（たとえば、以前にコーディング
された画像に含まれるオブジェクト）と新たな新しいコンテンツ（たとえば、以前にコー
ディングされた画像で除外されるオブジェクト）の両方を含む領域が存在する可能性があ
る。このようなシナリオでは、インター予測も、イントラ予測も、現在のブロックの１つ
の正確な予測を提供できない。
図１、図２に示されるように、インターとイントラ予測方法は、ハイブリッドビデオコ
ーディングスキームで使用される。ここで、各ＰＵは、時間域または空間域のいずれかの
みで、相関性を利用するために、インター予測またはイントラ予測を選択することが許可
され、両方ではできない。ただし、従来の文献で指摘されているように、インター予測ブ
ロックとイントラ予測ブロックによって生成された残差信号は、互いに非常に異なる特性
を示す可能性がある。したがって、２種類の予測を効率的に組み合わせることができれば
、予測残差のエネルギーを削減してコーディング効率を向上させるために、もう１つの正
確な予測が期待できる。さらに、自然なビデオコンテンツでは、動くオブジェクトの動き
が複雑になる可能性がある。たとえば、古いコンテンツ（たとえば、以前にコーディング
された画像に含まれるオブジェクト）と新たな新しいコンテンツ（たとえば、以前にコー
ディングされた画像で除外されるオブジェクト）の両方を含む領域が存在する可能性があ
る。このようなシナリオでは、インター予測も、イントラ予測も、現在のブロックの１つ
の正確な予測を提供できない。
【0041】
予測効率をさらに改善するために、ＶＶＣ規格には、マージモードによってコーディン
グされた１つのＣＵのイントラ予測とインター予測を組み合わせる複合インターとイント
ラ予測（ＣＩＩＰ）が採用されている。具体的には、マージＣＵごとに、１つの追加フラ
グは、ＣＩＩＰが現在のＣＵに対して有効になっているかどうかを示すために、シグナリ
ングされる。輝度コンポーネントに対して、ＣＩＩＰは、平面モード、ＤＣモード、水平
モード、垂直モードを含む頻繁に使用される４つのイントラモードをサポートする。彩度
コンポーネントに対して、ＤＭ（つまり、彩度は、輝度コンポーネントの同じイントラモ
ードを再利用する）は、追加のシグナリングなしで常に適用される。さらに、既存のＣＩ
ＩＰデザインでは、加重平均が適用され、１つのＣＩＩＰ ＣＵのインター予測サンプル
とイントラ予測サンプルが結合される。具体的には、平面モードまたはＤＣモードが選択
されている場合において、等しい重み（つまり、０.５）が適用される。それ以外の場合
（つまり、水平モードまたは垂直モードのいずれかが適用される。）、現在のＣＵは最初
に水平（水平モードの場合）または垂直（垂直モードの場合）に４つの同じサイズの領域
に分割される。
グされた１つのＣＵのイントラ予測とインター予測を組み合わせる複合インターとイント
ラ予測（ＣＩＩＰ）が採用されている。具体的には、マージＣＵごとに、１つの追加フラ
グは、ＣＩＩＰが現在のＣＵに対して有効になっているかどうかを示すために、シグナリ
ングされる。輝度コンポーネントに対して、ＣＩＩＰは、平面モード、ＤＣモード、水平
モード、垂直モードを含む頻繁に使用される４つのイントラモードをサポートする。彩度
コンポーネントに対して、ＤＭ（つまり、彩度は、輝度コンポーネントの同じイントラモ
ードを再利用する）は、追加のシグナリングなしで常に適用される。さらに、既存のＣＩ
ＩＰデザインでは、加重平均が適用され、１つのＣＩＩＰ ＣＵのインター予測サンプル
とイントラ予測サンプルが結合される。具体的には、平面モードまたはＤＣモードが選択
されている場合において、等しい重み（つまり、０.５）が適用される。それ以外の場合
（つまり、水平モードまたは垂直モードのいずれかが適用される。）、現在のＣＵは最初
に水平（水平モードの場合）または垂直（垂直モードの場合）に４つの同じサイズの領域
に分割される。
【0042】
【0043】
さらに、現在のＶＶＣ動作仕様では、１つのＣＩＩＰ ＣＵのイントラモードが、最も
可能性の高いモード（ＭＰＭ）メカニズムを介して、その隣接するＣＩＩＰ ＣＵのイン
トラモードを予測するための予測子として使用されることができる。具体的には、各ＣＩ
ＩＰ ＣＵについて、その隣接するブロックもＣＩＩＰ ＣＵである場合において、それ
らの隣接ブロックのイントラモードは、最初に、平面モード、ＤＣモード、水平モード、
および垂直モード内の最も近いモードに丸められ、次に、現在のＣＵのＭＰＭ候補リスト
に追加される。ただし、各イントラＣＵのＭＰＭリストを構成するときには、その隣接す
るブロックの１つは、ＣＩＩＰモードでコーディングされていると、使用不可と見なされ
る。つまり、１つのＣＩＩＰ ＣＵのイントラモードは、その隣接するイントラＣＵのイ
ントラモードを予測することを許可されていない。図７Ａと図７Ｂ（以下で説明する）は
、イントラＣＵとＣＩＩＰ ＣＵのＭＰＭリスト生成プロセスを比較する。
可能性の高いモード（ＭＰＭ）メカニズムを介して、その隣接するＣＩＩＰ ＣＵのイン
トラモードを予測するための予測子として使用されることができる。具体的には、各ＣＩ
ＩＰ ＣＵについて、その隣接するブロックもＣＩＩＰ ＣＵである場合において、それ
らの隣接ブロックのイントラモードは、最初に、平面モード、ＤＣモード、水平モード、
および垂直モード内の最も近いモードに丸められ、次に、現在のＣＵのＭＰＭ候補リスト
に追加される。ただし、各イントラＣＵのＭＰＭリストを構成するときには、その隣接す
るブロックの１つは、ＣＩＩＰモードでコーディングされていると、使用不可と見なされ
る。つまり、１つのＣＩＩＰ ＣＵのイントラモードは、その隣接するイントラＣＵのイ
ントラモードを予測することを許可されていない。図７Ａと図７Ｂ（以下で説明する）は
、イントラＣＵとＣＩＩＰ ＣＵのＭＰＭリスト生成プロセスを比較する。
【0044】
【0045】
【0046】
【0047】
【0048】
ここで、shiftとooffsetは、それぞれ、１５-ＢＤと１≪（１４-ＢＤ）+２・（１≪１３
）に等しく、二重予測のＬ０とＬ１予測信号を組み合わせるために適用される右シフト値
とオフセット値である。
）に等しく、二重予測のＬ０とＬ１予測信号を組み合わせるために適用される右シフト値
とオフセット値である。
【0049】
図６Ａは、本開示の一例による、水平モードの複合インターとイントラ予測を示す図を
示す。
示す。
【0050】
図６Ｂは、本開示の一例による、垂直モードの複合インターとイントラ予測を示す図を
示す。
示す。
【0051】
図６Ｃは、本開示の一例による、平面モードとＤＣモードの複合インターとイントラ予
測を示す図を示す。
測を示す図を示す。
【0052】
図７Ａは、本開示の一例による、イントラＣＵＳのＭＰＭ候補リスト生成プロセスのフ
ローチャートを示す。
ローチャートを示す。
【0053】
図７Ｂは、本開示の一例による、ＣＩＩＰ ＣＵのＭＰＭ候補リスト生成プロセスのフ
ローチャートを示す。
ローチャートを示す。
【0054】
ＣＩＩＰに対する改善
ＣＩＩＰは、従来の動き補償予測の効率を高めることができるが、そのデザインをさら
に改善することができる。具体的には、ＶＶＣにおける既存のＣＩＩＰデザインにおける
以下の問題は、本開示で識別されている。
ＣＩＩＰは、従来の動き補償予測の効率を高めることができるが、そのデザインをさら
に改善することができる。具体的には、ＶＶＣにおける既存のＣＩＩＰデザインにおける
以下の問題は、本開示で識別されている。
【0055】
まず、「複合インターとイントラ予測」のセクションで説明したように、ＣＩＩＰは、
インターとイントラ予測のサンプルを組み合わせるため、各ＣＩＩＰ ＣＵは、その再構
成された隣接サンプルを使用して予測信号を生成する必要がある。これは、１つのＣＩＩ
Ｐ ＣＵのデコードが、その隣接ブロックの完全な再構成に依存していることを意味する
。このような相互依存性のため、実際のハードウェア実装では、ＣＩＩＰは、隣接する再
構成されたサンプルがイントラ予測に利用できるようになる再構成段階で実行する必要が
ある。再構成段階でのＣＵのデコードは、順次に（つまり、１つずつ）実行しなければな
らないため、ＣＩＩＰプロセスに含まれる計算演算（例えば、乗算、加算、ビットシフト
）の数は、リアルタイムデコードの十分なスループットを確保するために、高すぎるもの
とすることができない。
インターとイントラ予測のサンプルを組み合わせるため、各ＣＩＩＰ ＣＵは、その再構
成された隣接サンプルを使用して予測信号を生成する必要がある。これは、１つのＣＩＩ
Ｐ ＣＵのデコードが、その隣接ブロックの完全な再構成に依存していることを意味する
。このような相互依存性のため、実際のハードウェア実装では、ＣＩＩＰは、隣接する再
構成されたサンプルがイントラ予測に利用できるようになる再構成段階で実行する必要が
ある。再構成段階でのＣＵのデコードは、順次に（つまり、１つずつ）実行しなければな
らないため、ＣＩＩＰプロセスに含まれる計算演算（例えば、乗算、加算、ビットシフト
）の数は、リアルタイムデコードの十分なスループットを確保するために、高すぎるもの
とすることができない。
【0056】
「双方向オプティカルフロー」のセクションで述べたように、ＢＤＯＦは、前方および
後方の両方の時間方向からの２つの参照ブロックから、１つのインターコーディングされ
たＣＵが予測されるときに、予測品質が向上するように、有効にされる。図８（以下に説
明）に示すように、現在のＶＶＣでは、ＢＤＯＦも、ＣＩＩＰモードのインター予測サン
プルを生成するために関与している。ＢＤＯＦによるさらなる複雑性を考えると、このよ
うなデザインは、ＣＩＩＰが有効にされる場合、ハードウェアコーデックのエンコード/
デコードスループットが大幅に低下する可能性がある。
後方の両方の時間方向からの２つの参照ブロックから、１つのインターコーディングされ
たＣＵが予測されるときに、予測品質が向上するように、有効にされる。図８（以下に説
明）に示すように、現在のＶＶＣでは、ＢＤＯＦも、ＣＩＩＰモードのインター予測サン
プルを生成するために関与している。ＢＤＯＦによるさらなる複雑性を考えると、このよ
うなデザインは、ＣＩＩＰが有効にされる場合、ハードウェアコーデックのエンコード/
デコードスループットが大幅に低下する可能性がある。
【0057】
次に、現在のＣＩＩＰデザインでは、１つのＣＩＩＰ ＣＵが、二重予測される１つの
マージ候補を参照する場合に、リストＬ０およびＬ１の両方の動き補償予測信号を生成す
る必要がある。１つまたは複数のＭＶが整数精度でない場合においては、部分的なサンプ
ル位置でサンプルを補間するために、追加の補間プロセスを呼び出しなければならない。
このようなプロセスは、計算上の複雑さを増すだけでなく、外部メモリからより多くの参
照サンプルにアクセスする必要がある場合、メモリ帯域幅も増やす。
マージ候補を参照する場合に、リストＬ０およびＬ１の両方の動き補償予測信号を生成す
る必要がある。１つまたは複数のＭＶが整数精度でない場合においては、部分的なサンプ
ル位置でサンプルを補間するために、追加の補間プロセスを呼び出しなければならない。
このようなプロセスは、計算上の複雑さを増すだけでなく、外部メモリからより多くの参
照サンプルにアクセスする必要がある場合、メモリ帯域幅も増やす。
【0058】
それから、「複合インターとイントラ予測」のセクションで論じたように、現在のＣＩ
ＩＰデザインでは、ＣＩＩＰ ＣＵのイントラモードとイントラＣＵのイントラモードは
、それらの隣接ブロックのＭＰＭリストを構成するときに異なって扱われる。具体的には
、１つの現在のＣＵがＣＩＩＰモードでコーディングされている場合には、その隣接する
ＣＩＩＰ ＣＵは、イントラと見なされ、つまり、隣接するＣＩＩＰ ＣＵのイントラモ
ードがＭＰＭ候補リストに追加されることができる。ただし、現在のＣＵがイントラモー
ドでコーディングされている場合には、その隣接するＣＩＩＰ ＣＵは、インターと見な
され、つまり、隣接するＣＩＩＰ ＣＵのイントラモードがＭＰＭ候補リストから除外さ
れている。このような統一されていないデザインは、ＶＶＣ規格の最終バージョンに最適
でない可能性がある。
ＩＰデザインでは、ＣＩＩＰ ＣＵのイントラモードとイントラＣＵのイントラモードは
、それらの隣接ブロックのＭＰＭリストを構成するときに異なって扱われる。具体的には
、１つの現在のＣＵがＣＩＩＰモードでコーディングされている場合には、その隣接する
ＣＩＩＰ ＣＵは、イントラと見なされ、つまり、隣接するＣＩＩＰ ＣＵのイントラモ
ードがＭＰＭ候補リストに追加されることができる。ただし、現在のＣＵがイントラモー
ドでコーディングされている場合には、その隣接するＣＩＩＰ ＣＵは、インターと見な
され、つまり、隣接するＣＩＩＰ ＣＵのイントラモードがＭＰＭ候補リストから除外さ
れている。このような統一されていないデザインは、ＶＶＣ規格の最終バージョンに最適
でない可能性がある。
【0059】
図８は、本開示の一例による、ＶＶＣにおける既存のＣＩＩＰデザインのワークフロー
を示す図を示す。
を示す図を示す。
【0060】
ＣＩＩＰの単純化
本開示では、ハードウェアコーデック実装を容易にするために既存のＣＩＩＰデザイン
を単純化するための方法が提供される。一般に、本開示で提案される技術の主なアスペク
トは、以下のように要約される。
本開示では、ハードウェアコーデック実装を容易にするために既存のＣＩＩＰデザイン
を単純化するための方法が提供される。一般に、本開示で提案される技術の主なアスペク
トは、以下のように要約される。
【0061】
まず、ＣＩＩＰコーディング／デコードスループットを改善するために、ＣＩＩＰモー
ドでのインター予測サンプルの生成からＢＤＯＦを除外することが提案される。
ドでのインター予測サンプルの生成からＢＤＯＦを除外することが提案される。
【0062】
次に、計算上の複雑さおよびメモリ帯域幅の消費を低減するためには、１つのＣＩＩＰ
ＣＵが二重予測される（すなわち、Ｌ０およびＬ１ ＭＶの両方を有する）場合におい
ては、インター予測サンプルを生成するために、ブロックを二重予測から単一予測に変換
する方法が提案される。
ＣＵが二重予測される（すなわち、Ｌ０およびＬ１ ＭＶの両方を有する）場合におい
ては、インター予測サンプルを生成するために、ブロックを二重予測から単一予測に変換
する方法が提案される。
【0063】
それから、２つの方法は、隣接するブロックのＭＰＭ候補を形成するときに、イントラ
ＣＵとＣＩＩＰのイントラモードを調和させるために提案される。
ＣＵとＣＩＩＰのイントラモードを調和させるために提案される。
【0064】
ＢＤＯＦのないＣＩＩＰ
「問題ステートメント」のセクションで指摘されているように、ＢＤＯＦは、現在のＣ
Ｕが二重予測されるとき、ＣＩＩＰモードについてのインター予測サンプルを生成するよ
うに、常に有効にされている。ＢＤＯＦのさらなる複雑さのため、既存のＣＩＩＰデザイ
ンは、エンコード/デコードスループットが大幅に低下する可能性があり、特に、リアル
タイムデコードがＶＶＣデコーダーに対して困難になる可能性がある。一方、ＣＩＩＰ
ＣＵについては、その最終予測サンプルは、インター予測サンプルとイントラ予測サンプ
ルを平均することによって生成される。言い換えると、ＢＤＯＦによる改良した予測サン
プルは、ＣＩＩＰ ＣＵの予測信号として直接使用されない。したがって、従来の二重予
測ＣＵ（ここで、ＢＤＯＦは、予測サンプルを生成するために直接に適用される）と比較
すると、ＢＤＯＦから得られる対応する改善はＣＩＩＰ ＣＵでは効率が低くなる。した
がって、上記の事情に基づいて、ＣＩＩＰモードのインター予測サンプルを生成するとき
にＢＤＯＦを無効にすることが提案される。図９（以下に説明）は、ＢＤＯＦを除去した
後の提案されたＣＩＩＰプロセスの対応するワークフローを示す。
「問題ステートメント」のセクションで指摘されているように、ＢＤＯＦは、現在のＣ
Ｕが二重予測されるとき、ＣＩＩＰモードについてのインター予測サンプルを生成するよ
うに、常に有効にされている。ＢＤＯＦのさらなる複雑さのため、既存のＣＩＩＰデザイ
ンは、エンコード/デコードスループットが大幅に低下する可能性があり、特に、リアル
タイムデコードがＶＶＣデコーダーに対して困難になる可能性がある。一方、ＣＩＩＰ
ＣＵについては、その最終予測サンプルは、インター予測サンプルとイントラ予測サンプ
ルを平均することによって生成される。言い換えると、ＢＤＯＦによる改良した予測サン
プルは、ＣＩＩＰ ＣＵの予測信号として直接使用されない。したがって、従来の二重予
測ＣＵ（ここで、ＢＤＯＦは、予測サンプルを生成するために直接に適用される）と比較
すると、ＢＤＯＦから得られる対応する改善はＣＩＩＰ ＣＵでは効率が低くなる。した
がって、上記の事情に基づいて、ＣＩＩＰモードのインター予測サンプルを生成するとき
にＢＤＯＦを無効にすることが提案される。図９（以下に説明）は、ＢＤＯＦを除去した
後の提案されたＣＩＩＰプロセスの対応するワークフローを示す。
【0065】
図９は、本開示の一例による、ＢＤＯＦを除去することによる提案されたＣＩＩＰ方法
のワークフローを示す図を示す。
のワークフローを示す図を示す。
【0066】
単一予測に基づくＣＩＩＰ
上記のように、１つのＣＩＩＰ ＣＵによって参照されるマージ候補が二重予測される
ときには、Ｌ０およびＬ１予測信号の両方を生成し、ＣＵ内のサンプルを予測する。メモ
リ帯域幅および補間の複雑さを低減するために、本開示の一実施形態では、（現在のＣＵ
が二重予測されている場合でも）単一予測を使用して生成されたインター予測サンプルの
みを使用して、ＣＩＩＰモードにおけるイントラ予測サンプルと結合することになる。具
体的には、現在のＣＩＩＰ ＣＵが単一予測の場合において、インター予測サンプルは、
イントラ予測サンプルと直接結合される。それ以外の場合（つまり、現在のＣＵが二重予
測される場合）には、ＣＩＩＰによって使用されるインター予測サンプルは、１つの予測
リスト（Ｌ０またはＬ１）からの単一予測に基づいて生成される。予測リストを選択する
には、さまざまな方法が適用できる。第１の方法では、２つの参照画像によって予測され
る任意のＣＩＩＰブロックに対して、第１の予測（つまり、リストＬ０）を常に選択する
ことが提案されている。
上記のように、１つのＣＩＩＰ ＣＵによって参照されるマージ候補が二重予測される
ときには、Ｌ０およびＬ１予測信号の両方を生成し、ＣＵ内のサンプルを予測する。メモ
リ帯域幅および補間の複雑さを低減するために、本開示の一実施形態では、（現在のＣＵ
が二重予測されている場合でも）単一予測を使用して生成されたインター予測サンプルの
みを使用して、ＣＩＩＰモードにおけるイントラ予測サンプルと結合することになる。具
体的には、現在のＣＩＩＰ ＣＵが単一予測の場合において、インター予測サンプルは、
イントラ予測サンプルと直接結合される。それ以外の場合（つまり、現在のＣＵが二重予
測される場合）には、ＣＩＩＰによって使用されるインター予測サンプルは、１つの予測
リスト（Ｌ０またはＬ１）からの単一予測に基づいて生成される。予測リストを選択する
には、さまざまな方法が適用できる。第１の方法では、２つの参照画像によって予測され
る任意のＣＩＩＰブロックに対して、第１の予測（つまり、リストＬ０）を常に選択する
ことが提案されている。
【0067】
第２の方法では、２つの参照画像によって予測される任意のＣＩＩＰブロックに対して
、第２の予測（すなわち、リストＬ１）を常に選択することが提案される。第３の方法で
は、１つの適応方法は、現在の画像からの画像順序カウント（ＰＯＣ）距離が小さい１つ
の参照画像に関連付けられた予測リストが選択される場合に、適用される。図１０（以下
で説明）は、ＰＯＣ距離に基づいて予測リストを選択する、単一予測ベースのＣＩＩＰの
ワークフローを示す。
、第２の予測（すなわち、リストＬ１）を常に選択することが提案される。第３の方法で
は、１つの適応方法は、現在の画像からの画像順序カウント（ＰＯＣ）距離が小さい１つ
の参照画像に関連付けられた予測リストが選択される場合に、適用される。図１０（以下
で説明）は、ＰＯＣ距離に基づいて予測リストを選択する、単一予測ベースのＣＩＩＰの
ワークフローを示す。
【0068】
最後に、最後の方法では、現在のＣＵが単一予測されている場合にのみＣＩＩＰモード
を有効にすることが提案されている。さらに、オーバーヘッドを削減するために、ＣＩＩ
Ｐの有効化/無効化フラグのシグナリングは、現在のＣＩＩＰ ＣＵの予測方向に依存す
る。現在のＣＵが単一予測される場合においては、ＣＩＩＰフラグがビットストリームで
シグナリングされ、ＣＩＩＰが有効か無効かが示される。それ以外の場合（つまり、現在
のＣＵが二重に予測される場合）は、ＣＩＩＰフラグのシグナリングはスキップされ、常
にfalseと推測され、つまり、ＣＩＩＰは常に無効にされる。
を有効にすることが提案されている。さらに、オーバーヘッドを削減するために、ＣＩＩ
Ｐの有効化/無効化フラグのシグナリングは、現在のＣＩＩＰ ＣＵの予測方向に依存す
る。現在のＣＵが単一予測される場合においては、ＣＩＩＰフラグがビットストリームで
シグナリングされ、ＣＩＩＰが有効か無効かが示される。それ以外の場合（つまり、現在
のＣＵが二重に予測される場合）は、ＣＩＩＰフラグのシグナリングはスキップされ、常
にfalseと推測され、つまり、ＣＩＩＰは常に無効にされる。
【0069】
図１０は、本開示の一例による、ＰＯＣ距離に基づいて予測リストを選択する、単一予
測ベースのＣＩＩＰのワークフローを示す図を示す。
測ベースのＣＩＩＰのワークフローを示す図を示す。
【0070】
ＭＰＭ候補リスト構成のためのイントラＣＵとＣＩＩＰのイントラモードの調和
上記のように、現在のＣＩＩＰデザインは、イントラＣＵとＣＩＩＰ ＣＵのイントラ
モードを使用してそれらの隣接ブロックのＭＰＭ候補リストを形成する方法に関して、統
一されていない。具体的には、イントラＣＵとＣＩＩＰ ＣＵのイントラモードの両方で
は、ＣＩＩＰモードでコーディングされた隣接ブロックのイントラモードが予測できる。
ただし、イントラＣＵのイントラモードのみでは、イントラＣＵのイントラモードが予測
できる。もう１つの統一されたデザインを実現するために、２つの方法は、ＭＰＭリスト
構成のためのイントラＣＵとＣＩＩＰのイントラモードの使用法を調和させて、このセク
ションで提案される。
上記のように、現在のＣＩＩＰデザインは、イントラＣＵとＣＩＩＰ ＣＵのイントラ
モードを使用してそれらの隣接ブロックのＭＰＭ候補リストを形成する方法に関して、統
一されていない。具体的には、イントラＣＵとＣＩＩＰ ＣＵのイントラモードの両方で
は、ＣＩＩＰモードでコーディングされた隣接ブロックのイントラモードが予測できる。
ただし、イントラＣＵのイントラモードのみでは、イントラＣＵのイントラモードが予測
できる。もう１つの統一されたデザインを実現するために、２つの方法は、ＭＰＭリスト
構成のためのイントラＣＵとＣＩＩＰのイントラモードの使用法を調和させて、このセク
ションで提案される。
【0071】
第１の方法では、ＣＩＩＰモードをＭＰＭリスト構成のためのインターモードとして扱
うことが提案されている。具体的には、１つのＣＩＩＰ ＣＵまたは１つのイントラＣＵ
のいずれかのＭＰＭリストを生成するときには、隣接ブロックがＣＩＩＰモードでコーデ
ィングされている場合、隣接ブロックのイントラモードは使用不可としてマークされる。
このような方法では、ＣＩＩＰブロックのイントラモードを使用してＭＰＭリストを構成
することができない。逆に、第２の方法では、ＣＩＩＰモードをＭＰＭリスト構成のため
のイントラモードとして扱うことが提案されている。具体的には、この方法では、ＣＩＩ
Ｐ ＣＵのイントラモードでは、隣接するＣＩＩＰブロックとイントラブロックの両方の
イントラモードが予測できる。図１１Ａと図１１Ｂ（以下に説明）は、上記の２つの方法
が適用される場合のＭＰＭ候補リスト生成プロセスを示す。
うことが提案されている。具体的には、１つのＣＩＩＰ ＣＵまたは１つのイントラＣＵ
のいずれかのＭＰＭリストを生成するときには、隣接ブロックがＣＩＩＰモードでコーデ
ィングされている場合、隣接ブロックのイントラモードは使用不可としてマークされる。
このような方法では、ＣＩＩＰブロックのイントラモードを使用してＭＰＭリストを構成
することができない。逆に、第２の方法では、ＣＩＩＰモードをＭＰＭリスト構成のため
のイントラモードとして扱うことが提案されている。具体的には、この方法では、ＣＩＩ
Ｐ ＣＵのイントラモードでは、隣接するＣＩＩＰブロックとイントラブロックの両方の
イントラモードが予測できる。図１１Ａと図１１Ｂ（以下に説明）は、上記の２つの方法
が適用される場合のＭＰＭ候補リスト生成プロセスを示す。
【0072】
本開示の他の実施形態は、ここで開示される本開示の仕様および実施を考慮することか
ら当業者には明らかである。本願は、その一般原則に従い、当技術分野で知られているま
たは慣習的な慣行の範囲内にある本開示からの逸脱を含む、本開示の任意の変形、使用、
または適合をカバーすることを意図している。本開示の真の範囲および精神は以下の特許
請求の範囲によって示され、明細書および実施例は単なる例として見なされることが意図
されている。
ら当業者には明らかである。本願は、その一般原則に従い、当技術分野で知られているま
たは慣習的な慣行の範囲内にある本開示からの逸脱を含む、本開示の任意の変形、使用、
または適合をカバーすることを意図している。本開示の真の範囲および精神は以下の特許
請求の範囲によって示され、明細書および実施例は単なる例として見なされることが意図
されている。
【0073】
本開示は、上記に記載され、添付の図面に示されている具体的な例に限定されず、その
範囲から逸脱することなく、様々な修正および変更を行うことができることを理解された
い。本開示の範囲は、添付の特許請求の範囲によってのみ制限されることが意図されてい
る。
範囲から逸脱することなく、様々な修正および変更を行うことができることを理解された
い。本開示の範囲は、添付の特許請求の範囲によってのみ制限されることが意図されてい
る。
【0074】
図１１Ａは、本開示の一例による、ＭＰＭ候補リスト生成のためにＣＩＩＰブロックを
有効にするときの方法のフローチャートを示す。
有効にするときの方法のフローチャートを示す。
【0075】
図１１Ｂは、本開示の一例による、ＭＰＭ候補リスト生成のためにＣＩＩＰブロックを
無効にするときの方法のフローチャートを示す。
無効にするときの方法のフローチャートを示す。
【0076】
図１２は、ユーザインターフェース１２６０と結合されたコンピューティング環境１２
１０を示す。コンピューティング環境１２１０は、データ処理サーバーの一部であり得る
。コンピューティング環境１２１０は、プロセッサ１２２０と、メモリ１２４０と、Ｉ／
Ｏインターフェース１２５０とを含む。
１０を示す。コンピューティング環境１２１０は、データ処理サーバーの一部であり得る
。コンピューティング環境１２１０は、プロセッサ１２２０と、メモリ１２４０と、Ｉ／
Ｏインターフェース１２５０とを含む。
【0077】
プロセッサ１２２０は、通常、表示、データ取得、データ通信、および画像処理に関連
する操作など、コンピューティング環境１２１０の全体的な操作を制御する。プロセッサ
１２２０は、上記の方法のすべてまたはいくつかのステップを行うための命令を実行する
１つまたは複数のプロセッサを含み得る。さらに、プロセッサ１２２０は、プロセッサ１
２２０と他の構成要素との間の相互作用を容易にする１つまたは複数の回路を含み得る。
プロセッサは、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、シングルチップマシ
ン、ＧＰＵなどであり得る。
する操作など、コンピューティング環境１２１０の全体的な操作を制御する。プロセッサ
１２２０は、上記の方法のすべてまたはいくつかのステップを行うための命令を実行する
１つまたは複数のプロセッサを含み得る。さらに、プロセッサ１２２０は、プロセッサ１
２２０と他の構成要素との間の相互作用を容易にする１つまたは複数の回路を含み得る。
プロセッサは、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、シングルチップマシ
ン、ＧＰＵなどであり得る。
【0078】
メモリ１２４０は、コンピューティング環境１２１０の動作をサポートするための様々
なタイプのデータを格納するように構成される。そのようなデータの例は、コンピューテ
ィング環境１２１０で動作する任意のアプリケーションまたは方法に用いる命令、ビデオ
データ、画像データなどを含む。メモリ１２４０は、任意のタイプの揮発性または非揮発
性メモリデバイス、または、それらの組み合わせ、例えば、静的ランダムアクセスメモリ
（ＳＲＡＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）
、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラム可能な読み取
り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメ
モリ、磁気ディスクまたは光ディスクを使用して実現できる。
なタイプのデータを格納するように構成される。そのようなデータの例は、コンピューテ
ィング環境１２１０で動作する任意のアプリケーションまたは方法に用いる命令、ビデオ
データ、画像データなどを含む。メモリ１２４０は、任意のタイプの揮発性または非揮発
性メモリデバイス、または、それらの組み合わせ、例えば、静的ランダムアクセスメモリ
（ＳＲＡＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）
、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラム可能な読み取
り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメ
モリ、磁気ディスクまたは光ディスクを使用して実現できる。
【0079】
Ｉ／Ｏインターフェース１２５０は、プロセッサ１２２０と、キーボード、クリックホ
イール、ボタンなどの周辺インターフェースモジュールとの間のインターフェースを提供
する。ボタンには、ホームボタン、スキャン開始ボタン、およびスキャン停止ボタンが含
まれるが、これらに限定されていない。Ｉ／Ｏインターフェース１２５０は、エンコーダ
およびデコーダと結合することができる。
イール、ボタンなどの周辺インターフェースモジュールとの間のインターフェースを提供
する。ボタンには、ホームボタン、スキャン開始ボタン、およびスキャン停止ボタンが含
まれるが、これらに限定されていない。Ｉ／Ｏインターフェース１２５０は、エンコーダ
およびデコーダと結合することができる。
【0080】
一実施形態では、上記した方法を実行するために、コンピューティング環境１２１０内
のプロセッサ１２２０によって実行可能である、メモリ１２４０に含まれるような複数の
プログラムを含む非一時的なコンピュータ可読記憶媒体も提供される。例えば、非一時的
なコンピュータ可読記憶媒体は、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピ
ーディスク、光学データ記憶装置などであり得る。
のプロセッサ１２２０によって実行可能である、メモリ１２４０に含まれるような複数の
プログラムを含む非一時的なコンピュータ可読記憶媒体も提供される。例えば、非一時的
なコンピュータ可読記憶媒体は、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピ
ーディスク、光学データ記憶装置などであり得る。
【0081】
非一時的なコンピュータ可読記憶媒体は、１つまたは複数のプロセッサを有するコンピ
ューティングデバイスによって実行するための複数のプログラムをその中に格納しており
、複数のプログラムは、１つまたは複数のプロセッサによって実行されると、コンピュー
ティングデバイスが上記した動作予測するための方法を実行するものである。
ューティングデバイスによって実行するための複数のプログラムをその中に格納しており
、複数のプログラムは、１つまたは複数のプロセッサによって実行されると、コンピュー
ティングデバイスが上記した動作予測するための方法を実行するものである。
【0082】
一実施形態では、コンピューティング環境１２１０は、上述した方法を実行するために
、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳ
Ｐ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬ
Ｄ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィカルプロセッシン
グユニット（ＧＰＵ）、コントローラー、マイクロコントローラー、マイクロプロセッサ
ー、またはその他の電子コンポーネントにより実現できる。
、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳ
Ｐ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬ
Ｄ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィカルプロセッシン
グユニット（ＧＰＵ）、コントローラー、マイクロコントローラー、マイクロプロセッサ
ー、またはその他の電子コンポーネントにより実現できる。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12】
【外国語明細書】