特開 2024-28598 コンテンツ適応セグメント化予測

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024028598

(43)【公開日】2024-03-04

(54)【発明の名称】コンテンツ適応セグメント化予測

(51)【国際特許分類】

   H04N 19/11 20140101AFI20240226BHJP

   H04N 19/167 20140101ALI20240226BHJP

   H04N 19/17 20140101ALI20240226BHJP

   H04N 19/176 20140101ALI20240226BHJP

   H04N 19/70 20140101ALI20240226BHJP

【ＦＩ】

H04N19/11

H04N19/167

H04N19/17

H04N19/176

H04N19/70

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024008793

(22)【出願日】2024-01-24

(62)【分割の表示】P 2022536838の分割

【原出願日】2021-06-16

(31)【優先権主張番号】63/073,629

(32)【優先日】2020-09-02

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/332,227

(32)【優先日】2021-05-27

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100150197

【弁理士】

【氏名又は名称】松尾 直樹

(72)【発明者】

【氏名】シン・ジャオ

(72)【発明者】

【氏名】シャオジョン・シュ

(72)【発明者】

【氏名】シャン・リュウ

(57)【要約】

【課題】コンテンツ適応セグメント化予測モード用のシステム及び方法を提供する。
【解決手段】方法は、コード化されたピクチャを受信するステップと、コード化されたピクチャの現在ブロックを再構成するステップとを含む。再構成は、現在ブロックのサンプルを、第１のセグメント及び第２のセグメントを含む複数のセグメントにセグメント化するステップと、第１の予測モードを用いて、コード化されたピクチャの現在ブロックの第１のセグメントを予測するステップと、第１の予測モードとは異なる第２の予測モードを用いて、コード化されたピクチャの現在ブロックの第２のセグメントを予測するステップとを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサが実行する方法であって、
コード化されたピクチャを受信するステップと、
前記コード化されたピクチャの現在ブロックを再構成するステップとを含み、前記再構成は、
前記現在ブロックのサンプルを、第１のセグメント及び第２のセグメントを含む複数のセグメントにセグメント化するステップと、
第１の予測モードを用いて、前記コード化されたピクチャの前記現在ブロックの前記第１のセグメントを予測するステップと、
前記第１の予測モードとは異なる第２の予測モードを用いて、前記コード化されたピクチャの前記現在ブロックの前記第２のセグメントを予測するステップとを含む、方法。

【請求項2】

前記第１の予測モードは、イントラブロックコピー（ＩＢＣ）モードであり、
前記第２の予測モードは、隣接する再構成されたサンプルを使用してイントラ予測を実行するイントラ予測モードである、請求項１に記載の方法。

【請求項3】

前記現在ブロックを再構成する前記ステップは、前記第１の予測モードをシグナリングするステップを更に含む、請求項２に記載の方法。

【請求項4】

前記現在ブロックを再構成する前記ステップは、前記第２の予測モードをシグナリングするステップを含む、請求項２に記載の方法。

【請求項5】

前記セグメント化は、
前記現在ブロックの前記サンプルに基づいて少なくとも１つの閾値を計算するステップと、
前記少なくとも１つの閾値に基づいて前記現在ブロックの前記サンプルをセグメント化するステップと、を含む、請求項１に記載の方法。

【請求項6】

前記現在ブロックを再構成する前記ステップは、前記コード化されたピクチャの参照ブロックのサンプルを複数のセグメントにセグメント化して、前記参照ブロックのセグメント化情報を取得するステップを更に含み、
前記現在ブロックの前記サンプルをセグメント化する前記ステップは、前記参照ブロックの前記セグメント化情報を前記現在ブロックにマッピングするステップを含む、請求項１に記載の方法。

【請求項7】

前記現在ブロックの前記第１のセグメントを予測する前記ステップは、前記参照ブロックの前記サンプルをセグメント化する前、及び前記現在ブロックの前記サンプルをセグメント化する前に、ブロックベクトルに基づいて前記参照ブロックを識別するステップを含み、
前記マッピングは、前記ブロックベクトルに基づいて前記参照ブロックの前記セグメント化情報を前記現在ブロックにマッピングするステップを含む、請求項６に記載の方法。

【請求項8】

前記現在ブロックの前記第２のセグメントを予測する前記ステップは、前記現在ブロックの前記第２のセグメントを予測する予測ブロックを取得するステップを含み、
前記現在ブロックの前記第１のセグメントを予測する前記ステップは、前記セグメント化情報を使用して、前記現在ブロックの前記予測ブロックを、前記現在ブロックの前記第１のセグメントに対応する前記参照ブロックのセグメントと結合することによって結合予測ブロックを取得するステップを更に含む、請求項７に記載の方法。

【請求項9】

前記セグメント化情報は、セグメント化マップである、請求項８に記載の方法。

【請求項10】

前記現在ブロックの前記サンプルをセグメント化する前記ステップは、前記第１のセグメントを予測する前に実行される、請求項１に記載の方法。

【請求項11】

システムであって、
コンピュータプログラムコードを記憶するように構成された少なくとも１つのメモリと、
前記コンピュータプログラムコードにアクセスし、前記コンピュータプログラムコードによって指示されたとおりに動作するように構成された少なくとも１つのプロセッサとを備え、前記コンピュータプログラムコードは、
前記少なくとも１つのプロセッサに、受信されたコード化されたピクチャの現在ブロックを再構成させるように構成された再構成コードを含み、
前記再構成コードは、
前記少なくとも１つのプロセッサに、前記現在ブロックのサンプルを、第１のセグメント及び第２のセグメントを含む複数のセグメントにセグメント化させるように構成された現在ブロックセグメント化コードと、
前記少なくとも１つのプロセッサに、第１の予測モードを用いて、前記コード化されたピクチャの前記現在ブロックの前記第１のセグメントを予測させるように構成された第１の予測コードと、
前記少なくとも１つのプロセッサに、前記第１の予測モードとは異なる第２の予測モードを用いて、前記コード化されたピクチャの前記現在ブロックの前記第２のセグメントを予測させるように構成された第２の予測コードとを含む、システム。

【請求項12】

前記第１の予測モードは、イントラブロックコピー（ＩＢＣ）モードであり、
前記第２の予測モードは、隣接する再構成されたサンプルを使用してイントラ予測を実行するイントラ予測モードである、請求項１１に記載のシステム。

【請求項13】

前記再構成コードは、前記少なくとも１つのプロセッサに、前記第１の予測モードを信号で送らせるように構成されたシグナリングコードを更に含む、請求項１２に記載のシステム。

【請求項14】

前記再構成コードは、前記少なくとも１つのプロセッサに、前記第２の予測モードを信号で送らせるように構成されたシグナリングコードを更に含む、請求項１２に記載のシステム。

【請求項15】

前記現在ブロックセグメント化コードは、前記少なくとも１つのプロセッサに、
前記現在ブロックの前記サンプルに基づいて少なくとも１つの閾値を計算させ、
前記少なくとも１つの閾値に基づいて前記現在ブロックの前記サンプルをセグメント化させるように更に構成される、請求項１１に記載のシステム。

【請求項16】

前記再構成コードは、前記少なくとも１つのプロセッサに、前記コード化されたピクチャの参照ブロックのサンプルを複数のセグメントにセグメント化させて、前記参照ブロックのセグメント化情報を取得させるように構成された参照ブロックセグメント化コードを更に含み、
前記現在ブロックセグメント化コードは、前記少なくとも１つのプロセッサに、前記参照ブロックの前記セグメント化情報を前記現在ブロックにマッピングさせるように構成される、請求項１１に記載のシステム。

【請求項17】

前記第１の予測コードは、前記少なくとも１つのプロセッサが前記参照ブロックの前記サンプル及び前記現在ブロックの前記サンプルをセグメント化する前に、前記少なくとも１つのプロセッサに、ブロックベクトルに基づいて前記参照ブロックを識別させるように構成され、
前記現在ブロックセグメント化コードは、前記少なくとも１つのプロセッサに、前記ブロックベクトルに基づいて前記参照ブロックの前記セグメント化情報を前記現在ブロックにマッピングさせるように構成される、請求項１６に記載のシステム。

【請求項18】

前記第２の予測コードは、前記少なくとも１つのプロセッサに、前記現在ブロックの前記第２のセグメントを予測する予測ブロックを取得させるように構成され、
前記第１の予測コードは、前記少なくとも１つのプロセッサに、前記セグメント化情報を使用して、前記現在ブロックの前記予測ブロックを、前記現在ブロックの前記第１のセグメントに対応する前記参照ブロックのセグメントと結合することによって結合予測ブロックを取得させるように構成される、請求項１７に記載のシステム。

【請求項19】

前記セグメント化情報は、セグメント化マップである、請求項１８に記載のシステム。

【請求項20】

非一時的なコンピュータ可読媒体であって、
少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
現在ブロックのサンプルを、第１のセグメント及び第２のセグメントを含む複数のセグメントにセグメント化し、
第１の予測モードを用いて、コード化されたピクチャの前記現在ブロックの前記第１のセグメントを予測し、
前記第１の予測モードとは異なる第２の予測モードを用いて、前記コード化されたピクチャの前記現在ブロックの前記第２のセグメントを予測することによって、
受信された前記コード化されたピクチャの前記現在ブロックを再構成させるように構成されたコンピュータ命令を記憶する非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本出願は、２０２０年９月２日に出願された米国仮出願第６３／０７３，６２９号の優先権を主張する２０２１年５月２７日に出願された米国特許出願第１７／３３２，２２７号の優先権の利益を主張するものであり、その開示は、その全体が参照により本明細書に組み込まれる。

【0002】

本開示の実施形態は、一組の高度なビデオコーディング技術、より具体的には、画像及びビデオ圧縮用のコンテンツ適応セグメント化予測モードに関する。

【背景技術】

【0003】

ＡＯＭｅｄｉａ Ｖｉｄｅｏ（ＡＶ１）は、インターネットを介したビデオ伝送用に設計されたオープンビデオコーディングフォーマットである。これは、半導体企業、ビデオオンデマンドプロバイダー、ビデオコンテンツプロデューサー、ソフトウェア開発会社、及びＷｅｂブラウザーベンダーが参加している、２０１５年に設立されたコンソーシアムであるＡｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ（ＡＯＭｅｄｉａ）によってＶＰ９の後継として開発された。ＡＶ１プロジェクトの構成要素の多くは、Ａｌｌｉａｎｃｅメンバーによる以前の研究努力から得られたものである。Ｘｉｐｈ／ＭｏｚｉｌｌａのＤａａｌａが２０１０年にコードを公開したこと、Ｇｏｏｇｌｅの実験的ＶＰ９進化プロジェクトＶＰ１０が２０１４年９月１２日に発表されたこと、及びＣｉｓｃｏのＴｈｏｒが２０１５年８月１１日に公開されたことなど、個々の貢献者は数年前から実験的な技術プラットフォームを始めていた。ＶＰ９のコードベースに基づいて構築されたＡＶ１には、追加の技術が組み込まれており、そのいくつかはこれらの実験的なフォーマットで開発された。ＡＶ１参照コーデックの最初のバージョンであるバージョン０．１．０は、２０１６年４月７日に公開された。Ａｌｌｉａｎｃｅは、２０１８年３月２８日に、参照用のソフトウェアベースのエンコーダ及びデコーダと共に、ＡＶ１ビットストリーム仕様のリリースを発表した。２０１８年６月２５日に、この仕様の検証済みバージョン１．０．０がリリースされた。２０１９年１月８日に、「ＡＶ１ Ｂｉｔｓｔｒｅａｍ＆Ｄｅｃｏｄｉｎｇ Ｐｒｏｃｅｓｓ Ｓｐｅｃｉｆｉｃａｔｉｏｎ」がリリースされ、これは、仕様のエラッタ１付きの検証済みバージョン１．０．０である。ＡＶ１ビットストリーム仕様には、参照ビデオコーデックが含まれている。「ＡＶ１ Ｂｉｔｓｔｒｅａｍ＆Ｄｅｃｏｄｉｎｇ Ｐｒｏｃｅｓｓ Ｓｐｅｃｉｆｉｃａｔｉｏｎ」（エラッタ１付きバージョン１．０．０）、Ｔｈｅ Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ（２０１９年１月８日）は、その全体が参照により本明細書に組み込まれる。

【0004】

高効率ビデオコーディング（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）規格は、ＩＴＵ－Ｔビデオコーディングエキスパートグループ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ、ＶＣＥＧ）とＩＳＯ／ＩＥＣ動画エキスパートグループ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ、ＭＰＥＧ）標準化団体が共同で開発したものである。ＨＥＶＣ規格を開発するために、これら２つの標準化団体は、ビデオコーディングに関する共同作業チーム（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＪＣＴ－ＶＣ）として知られるパートナーシップで協力している。ＨＥＶＣ規格の初版は２０１３年１月に完成し、その結果、ＩＴＵ－ＴとＩＳＯ／ＩＥＣの両方によって発行される整合テキストが作成された。その後、規格を拡張して、精度とカラーフォーマットのサポートが強化された拡張範囲の使用、スケーラブルなビデオコーディング、及び３‐Ｄ／ステレオ／マルチビュービデオコーディングなど、いくつかの追加の適用シナリオをサポートするように追加作業がなされた。ＩＳＯ／ＩＥＣでは、ＨＥＶＣ規格はＭＰＥＧ‐Ｈ Ｐａｒｔ２（ＩＳＯ／ＩＥＣ ２３００８‐２）になり、ＩＴＵ‐ＴではＩＴＵ‐Ｔ勧告Ｈ．２６５になった。

【0005】

ＩＴＵ‐Ｔ ＶＣＥＧ（Ｑ６／１６）及びＩＳＯ／ＩＥＣ ＭＰＥＧ（ＪＴＣ １／ＳＣ ２９／ＷＧ １１）は、２０１３年（バージョン１）、２０１４年（バージョン２）、２０１５年（バージョン３）、及び２０１６年（バージョン４）にＨ．２６５／ＨＥＶＣ（高効率ビデオコーディング）規格を発行した。それ以来、彼らは、圧縮能力においてＨＥＶＣを大幅に上回る可能性のある将来のビデオコーディング技術の標準化の潜在的ニーズを研究してきた。２０１７年１０月、彼らはＨＥＶＣを超える機能を備えたビデオ圧縮に関する共同提案募集（Ｃａｌｌ ｆｏｒ Ｐｒｏｐｏｓａｌ、ＣｆＰ）を発表した。２０１８年２月１５日までに、標準ダイナミックレンジ（ｓｔａｎｄａｒｄ ｄｙｎａｍｉｃ ｒａｎｇｅ、ＳＤＲ）に関する２２件のＣｆＰ回答、ハイダイナミックレンジ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ、ＨＤＲ）に関する１２件のＣｆＰ回答、３６０ビデオカテゴリーに関する１２件のＣｆＰ回答がそれぞれ提出された。２０１８年４月、受け取ったすべてのＣｆＰ応答は、１２２ ＭＰＥＧ／第１０回共同ビデオ探索チーム‐共同ビデオ専門家チーム（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ‐Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔ Ｔｅａｍ、ＪＶＥＴ）会議で評価された。ＪＶＥＴは、慎重な評価により、ＨＥＶＣを超えた次世代ビデオコーディング、即ち、いわゆる多用途ビデオコーディング（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）の標準化を正式に開始した。

【0006】

ＨＥＶＣに先立ち、２００１年１２月、ＶＣＥＧと動画エキスパートグループ（ＭＰＥＧ）ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１は共同ビデオチーム（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ、ＪＶＴ）を結成し、２００３年３月にＨ．２６４／ＡＶＣとして正式に承認を提出するための新しいビデオコーディング規格の草案を完成させる憲章を作成した。Ｈ．２６４／ＡＶＣは、ＩＴＵ‐Ｔでは勧告Ｈ．２６４として、ＩＳＯ／ＩＥＣでは国際規格１４ ４９６‐１０（ＭＰＥＧ‐４ ｐａｒｔ１０）高度なビデオコーディング（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＡＶＣ）として承認された。

【発明の概要】

【課題を解決するための手段】

【0007】

１つ又は複数の実施形態によれば、少なくとも１つのプロセッサが実行する方法が提供される。この方法は、コード化されたピクチャを受信するステップと、コード化されたピクチャの現在ブロックを再構成するステップとを含む。再構成は、現在ブロックのサンプルを、第１のセグメント及び第２のセグメントを含む複数のセグメントにセグメント化するステップと、第１の予測モードを用いて、コード化されたピクチャの現在ブロックの第１のセグメントを予測するステップと、第１の予測モードとは異なる第２の予測モードを用いて、コード化されたピクチャの現在ブロックの第２のセグメントを予測するステップとを含む。

【0008】

一実施形態によれば、第１の予測モードは、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）モードであり、第２の予測モードは、隣接する再構成されたサンプルを使用してイントラ予測を実行するイントラ予測モードである。

【0009】

一実施形態によれば、現在ブロックを再構成するステップは、第１の予測モードをシグナリングするステップを更に含む。

【0010】

一実施形態によれば、現在ブロックを再構成するステップは、第２の予測モードをシグナリングするステップを含む。

【0011】

一実施形態によれば、セグメント化は、現在ブロックのサンプルに基づいて少なくとも１つの閾値を計算するステップと、少なくとも１つの閾値に基づいて現在ブロックのサンプルをセグメント化するステップとを含む。

【0012】

一実施形態によれば、現在ブロックを再構成するステップは、コード化されたピクチャの参照ブロックのサンプルを複数のセグメントにセグメント化して、参照ブロックのセグメント化情報を取得するステップを更に含み、現在ブロックのサンプルをセグメント化するステップは、参照ブロックのセグメント化情報を現在ブロックにマッピングするステップを含む。

【0013】

一実施形態によれば、現在ブロックの第１のセグメントを予測するステップは、参照ブロックのサンプルをセグメント化する前、及び現在ブロックのサンプルをセグメント化する前に、ブロックベクトルに基づいて参照ブロックを識別するステップを含み、マッピングは、ブロックベクトルに基づいて参照ブロックのセグメント化情報を現在ブロックにマッピングするステップを含む。

【0014】

一実施形態によれば、現在ブロックの第２のセグメントを予測するステップは、現在ブロックの第２のセグメントを予測する予測ブロックを取得するステップを含み、現在ブロックの第１のセグメントを予測するステップは、セグメント化情報を使用して、現在ブロックの予測ブロックを、現在ブロックの第１のセグメントに対応する参照ブロックのセグメントと結合することによって結合予測ブロックを取得するステップを更に含む。

【0015】

一実施形態によれば、セグメント化情報は、セグメント化マップである。

【0016】

一実施形態によれば、現在ブロックのサンプルをセグメント化するステップは、第１のセグメントを予測する前に実行される。

【0017】

１つ又は複数の実施形態によれば、システムが提供される。このシステムは、コンピュータプログラムコードを記憶するように構成された少なくとも１つのメモリと、コンピュータプログラムコードにアクセスし、コンピュータプログラムコードによって指示されたとおりに動作するように構成された少なくとも１つのプロセッサとを含む。コンピュータプログラムコードは、少なくとも１つのプロセッサに、受信されたコード化されたピクチャの現在ブロックを再構成させるように構成された再構成コードを含む。再構成コードは、少なくとも１つのプロセッサに、現在ブロックのサンプルを、第１のセグメント及び第２のセグメントを含む複数のセグメントにセグメント化させるように構成された現在ブロックセグメント化コードと、少なくとも１つのプロセッサに、第１の予測モードを用いて、コード化されたピクチャの現在ブロックの第１のセグメントを予測させるように構成された第１の予測コードと、少なくとも１つのプロセッサに、第１の予測モードとは異なる第２の予測モードを用いて、コード化されたピクチャの現在ブロックの第２のセグメントを予測させるように構成された第２の予測コードとを含む。

【0018】

一実施形態によれば、第１の予測モードは、イントラブロックコピー（ＩＢＣ）モードであり、第２の予測モードは、隣接する再構成されたサンプルを使用してイントラ予測を実行するイントラ予測モードである。

【0019】

一実施形態によれば、再構成コードは、少なくとも１つのプロセッサに、第１の予測モードをシグナリングさせるように構成されたシグナリングコードを更に含む。

【0020】

一実施形態によれば、再構成コードは、少なくとも１つのプロセッサに、第２の予測モードをシグナリングさせるように構成されたシグナリングコードを更に含む。

【0021】

一実施形態によれば、現在のブロックセグメント化コードは、少なくとも１つのプロセッサに、現在ブロックのサンプルに基づいて少なくとも１つの閾値を計算させ、少なくとも１つの閾値に基づいて現在ブロックのサンプルをセグメント化させるように更に構成される。

【0022】

一実施形態によれば、再構成コードは、少なくとも１つのプロセッサに、コード化されたピクチャの参照ブロックのサンプルを複数のセグメントにセグメント化させて、参照ブロックのセグメント化情報を取得させるように構成された参照ブロックセグメント化コードを更に含み、現在ブロックセグメント化コードは、少なくとも１つのプロセッサに、参照ブロックのセグメント化情報を現在ブロックにマッピングさせるように構成される。

【0023】

一実施形態によれば、第１の予測コードは、少なくとも１つのプロセッサが参照ブロックのサンプル及び現在ブロックのサンプルをセグメント化する前に、少なくとも１つのプロセッサに、ブロックベクトルに基づいて参照ブロックを識別させるように構成され、現在ブロックセグメント化コードは、少なくとも１つのプロセッサに、ブロックベクトルに基づいて参照ブロックのセグメント化情報を現在ブロックにマッピングさせるように構成される。

【0024】

一実施形態によれば、第２の予測コードは、少なくとも１つのプロセッサに、現在ブロックの第２のセグメントを予測する予測ブロックを取得させるように構成され、第１の予測コードは、少なくとも１つのプロセッサに、セグメント化情報を使用して、現在ブロックの予測ブロックを、現在ブロックの第１のセグメントに対応する参照ブロックのセグメントと結合することによって結合予測ブロックを取得させるように構成される。

【0025】

一実施形態によれば、セグメント化情報は、セグメント化マップである。

【0026】

１つ又は複数の実施形態によれば、コンピュータ命令を記憶する非一時的なコンピュータ可読媒体が提供される。コンピュータ命令は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、現在ブロックのサンプルを第１のセグメント及び第２のセグメントを含む複数のセグメントにセグメント化し、第１の予測モードを用いて、コード化されたピクチャの現在ブロックの第１のセグメントを予測し、第１の予測モードとは異なる第２の予測モードを用いて、コード化されたピクチャの現在ブロックの第２のセグメントを予測することによって、受信されたコード化されたピクチャの現在ブロックを再構成させるように構成される。

【図面の簡単な説明】

【0027】

開示された主題の更なる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになるであろう。

【0028】

【図1】一実施形態による通信システムの簡略化されたブロック図の概略図である。

【図2】一実施形態による通信システムの簡略化されたブロック図の概略図である。

【図3】一実施形態によるデコーダの簡略化されたブロック図の概略図である。

【図4】一実施形態によるエンコーダの簡略化されたブロック図の概略図である。

【図5A】ＶＰ９の第１の例示的なパーティション構造を示す図である。

【図5B】ＶＰ９の第２の例示的なパーティション構造を示す図である。

【図5C】ＶＰ９の第３の例示的なパーティション構造を示す図である。

【図5D】ＶＰ９の第４の例示的なパーティション構造を示す図である。

【図6A】ＡＶ１の第１の例示的なパーティション構造を示す図である。

【図6B】ＡＶ１の第２の例示的なパーティション構造を示す図である。

【図6C】ＡＶ１の第３の例示的なパーティション構造を示す図である。

【図6D】ＡＶ１の第４の例示的なパーティション構造を示す図である。

【図6E】ＡＶ１の第５の例示的なパーティション構造を示す図である。

【図6F】ＡＶ１の第６の例示的なパーティション構造を示す図である。

【図6G】ＡＶ１の第７の例示的なパーティション構造を示す図である。

【図6H】ＡＶ１の第８の例示的なパーティション構造を示す図である。

【図6I】ＡＶ１の第９の例示的なパーティション構造を示す図である。

【図6J】ＡＶ１の第１０の例示的なパーティション構造を示す図である。

【図7A】マルチタイプツリー構造における垂直二元分割タイプを示す図である。

【図7B】マルチタイプツリー構造における水平二元分割タイプを示す図である。

【図7C】マルチタイプツリー構造における垂直三元分割タイプを示す図である。

【図7D】マルチタイプツリー構造における水平三元分割タイプを示す図である。

【図8】クワッドツリー及びネスト化されたマルチタイプツリーコーディングブロック構造を有する複数のＣＵに分割されたＣＴＵの一例を示す図である。

【図9】ＡＶ１における８つの公称角度を示す図である。

【図10】現在のブロック及びサンプルを示す図である。

【図11】イントラブロックコピー補償の一例を示す図である。

【図12】イントラブロックコピー予測の一実施形態に関して、現在の処理ブロック、制限された即時ブロック、及び許可された予測ブロックの一例を示す図である。

【図13A】一実施形態による、１つのＣＴＵサイズの検索範囲を用いたイントラピクチャブロック補償の図である。

【図13B】一実施形態による、１つのＣＴＵサイズの検索範囲を用いたイントラピクチャブロック補償の図である。

【図13C】一実施形態による、１つのＣＴＵサイズの検索範囲を用いたイントラピクチャブロック補償の図である。

【図13D】一実施形態による、１つのＣＴＵサイズの検索範囲を用いたイントラピクチャブロック補償の図である。

【図14】ビデオコンテンツに適用されるイントラブロックコピーの例を示す図である。

【図15】本開示の実施形態による、複数の予測モードが適用される単一のブロックを示す図である。

【図16】本開示の実施形態によるプロセスを示す図である。

【図17】本開示の一実施形態によるデコーダの概略図である。

【図18】本開示の実施形態を実装するのに適したコンピュータシステムの図である。

【発明を実施するための形態】

【0029】

本開示の実施形態は、ビデオコーディングアプローチを含み、これは、Ｈ．２６４／ＡＶＣ、ＨＥＶＣ、ＶＶＣ、及びＡＶ１を含むがこれらに限定されない複数の既存のビデオコーディング規格上に適用することができる。

【0030】

本開示では、「ブロック」という用語は、予測ブロック、コーディングブロック、又はコーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）として解釈されてもよい。ここで「ブロック」という用語は、変換ブロックを指すために使用されることもある。

【0031】

図１は、本開示の一実施形態による通信システム（１００）の簡略化されたブロック図を示す。システム（１００）は、ネットワーク（１５０）を介して相互接続された少なくとも２つの端末（１１０、１２０）を含むことができる。データの一方向送信の場合、第１の端末（１１０）は、ネットワーク（１５０）を介して他方の端末（１２０）に送信するために、ローカル位置でビデオデータをコード化することができる。第２の端末（１２０）は、ネットワーク（１５０）から他方の端末のコード化されたビデオデータを受信し、そしてコード化されたデータをデコードし、復元されたビデオデータを表示することができる。一方向データ送信は、メディアサービングアプリケーションなどにおいて一般的である可能性がある。

【0032】

図１は、例えば、ビデオ会議中に発生する可能性のあるコード化されたビデオの双方向送信をサポートするために提供される第２の対の端末（１３０、１４０）を示す。データの双方向送信の場合、各端末（１３０、１４０）は、ネットワーク（１５０）を介して他方の端末に送信するために、ローカル位置でキャプチャされたビデオデータをコード化することができる。各端末（１３０、１４０）はまた、他方の端末によって送信されたコード化されたビデオデータを受信し、コード化されたデータをデコードし、そしてローカルディスプレイデバイスで復元されたビデオデータを表示することができる。

【0033】

図１において、端末（１１０～１４０）は、サーバ、パーソナルコンピュータ、スマートフォン、及び／又は及び他の任意のタイプの端末として示されてもよい。例えば、端末（１１０～１４０）は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤー、及び／又は専用ビデオ会議機器であってもよい。ネットワーク（１５０）は、例えば、有線及び／又は無線通信ネットワークを含めて、端末（１１０～１４０）間でコード化されたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（１５０）は、回線交換チャネル及び／又はパケット交換チャネルでデータを交換することができる。代表的なネットワークには、電気通信ネットワーク、ローカルエリアネットワーク、広域ネットワーク、及び／又はインターネットが含まれる。本議論の目的のために、ネットワーク（１５０）のアーキテクチャ及びトポロジーは、本明細書で以下に説明されない限り、本開示の動作にとって重要ではない場合がある。

【0034】

図２は、開示された主題の適用の一例として、ストリーミング環境におけるビデオエンコーダ及びデコーダの配置を示す。開示された主題は、例えば、ビデオ会議、デジタルＴＶ、ＣＤ、ＤＶＤ、メモリースティックなどを含むデジタル媒体への圧縮ビデオの保存などを含めて、他のビデオ対応アプリケーションにも同様に適用可能である。

【0035】

図２に示されるように、ストリーミングシステム（２００）は、ビデオソース（２０１）及びエンコーダ（２０３）を含むことができるキャプチャサブシステム（２１３）を含み得る。ビデオソース（２０１）は、例えば、デジタルカメラであってもよく、また非圧縮ビデオサンプルストリーム（２０２）を作成するように構成されてもよい。非圧縮ビデオサンプルストリーム（２０２）は、エンコードされたビデオビットストリームと比較して高いデータ量を提供することができ、またカメラ（２０１）に結合されたエンコーダ（２０３）によって処理することができる。エンコーダ（２０３）は、以下でより詳細に説明されるように、開示された主題の態様を可能にするか又は実装するために、ハードウェア、ソフトウェア、又はそれらの組み合わせを含むことができる。エンコードされたビデオビットストリーム（２０４）は、サンプルストリームと比較してより低いデータ量を含むことができ、また将来の使用のためにストリーミングサーバ（２０５）に記憶することができる。１つ又は複数のストリーミングクライアント（２０６）は、ストリーミングサーバ（２０５）にアクセスして、エンコードされたビデオビットストリーム（２０４）のコピーであり得るビデオビットストリーム（２０９）を検索することができる。

【0036】

実施形態では、ストリーミングサーバ（２０５）は、メディア認識ネットワーク要素（Ｍｅｄｉａ－Ａｗａｒｅ Ｎｅｔｗｏｒｋ Ｅｌｅｍｅｎｔ、ＭＡＮＥ）としても機能することができる。例えば、ストリーミングサーバ（２０５）は、異なり得るビットストリームを１つ又は複数のストリーミングクライアント（２０６）に合わせて調整するために、エンコードされたビデオビットストリーム（２０４）をプルーニングするように構成されてもよい。実施形態では、ＭＡＮＥは、ストリーミングシステム（２００）内のストリーミングサーバ（２０５）とは別に提供されてもよい。

【0037】

ストリーミングクライアント（２０６）は、ビデオデコーダ（２１０）及びディスプレイ（２１２）を含むことができる。ビデオデコーダ（２１０）は、例えば、エンコードされたビデオビットストリーム（２０４）の着信コピーであるビデオビットストリーム（２０９）をデコードし、そしてディスプレイ（２１２）又は別のレンダリングデバイス（図示せず）上にレンダリングすることができる発信ビデオサンプルストリーム（２１１）を作成することができる。一部のストリーミングシステムでは、ビデオビットストリーム（２０４、２０９）を特定のビデオコーディング／圧縮規格に従ってエンコードすることができる。そのような規格の例としては、ＩＴＵ‐Ｔ勧告Ｈ．２６５が挙げられるが、これに限定されない。開発中のビデオコーディング規格は、非公式に多用途ビデオコーディング（ＶＶＣ）として知られている。本開示の実施形態は、ＶＶＣの文脈で使用することができる。

【0038】

図３は、本発明の一実施形態による、ディスプレイ（２１２）に取り付けられたビデオデコーダ（２１０）の例示的な機能ブロック図を示す。

【0039】

ビデオデコーダ（２１０）は、チャネル（３１２）、受信機（３１０）、バッファメモリ（３１５）、エントロピーデコーダ／パーサ（３２０）、スケーラ／逆変換ユニット（３５１）、イントラ予測ユニット（３５２）、動き補償予測ユニット（３５３）、アグリゲータ（３５５）、ループフィルタユニット（３５６）、参照ピクチャメモリ（３５７）、及び現在ピクチャメモリ（）を含むことができる。少なくとも１つの実施形態では、ビデオデコーダ（２１０）は、集積回路、一連の集積回路、及び／又は他の電子回路を含むことができる。ビデオデコーダ（２１０）はまた、関連するメモリを備えた１つ又は複数のＣＰＵ上で実行されるソフトウェアにおいて部分的に又は全体的に具体化されてもよい。

【0040】

本実施形態及び他の実施形態では、受信機（３１０）は、デコーダ（２１０）によってデコードされる１つ又は複数のコード化されたビデオシーケンスを、一度に１つのコード化されたビデオシーケンスで受信することができ、ここで、各コード化されたビデオシーケンスのデコードは、他のコード化されたビデオシーケンスから独立している。コード化されたビデオシーケンスは、チャネル（３１２）から受信されてもよく、チャネル（３１２）は、エンコードされたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得る。受信機（３１０）は、エンコードされたビデオデータを、他のデータ、例えば、コード化されたオーディオデータ及び／又は補助データストリームと共に受信することができ、これらのデータは、それぞれの使用エンティティ（図示せず）に転送され得る。受信機（３１０）は、コード化されたビデオシーケンスを他のデータから分離することができる。ネットワークジッターに対処するために、バッファメモリ（３１５）は、受信機（３１０）とエントロピーデコーダ／パーサ（３２０）（以降、「パーサ」）との間に結合されてもよい。受信機（３１０）が十分な帯域幅及び可制御性を有するストア／フォワードデバイスから、又は等同期ネットワークからデータを受信しているとき、バッファ（３１５）は使用されなくてもよく、又は小さくてもよい。インターネットなどのベストエフォートパケットネットワークで使用するために、バッファ（３１５）が必要とされる場合があり、それは、比較的大きくてもよく、また適応サイズとすることができる。

【0041】

ビデオデコーダ（２１０）は、エントロピーコード化されたビデオシーケンスからシンボル（３２１）を再構成するためのパーサ（３２０）を含むことができる。これらのシンボルのカテゴリには、例えば、デコーダ（２１０）の動作を管理するために使用される情報と、図２に示されるようにデコーダに結合され得るディスプレイ（２１２）などのレンダリングデバイスを制御するための潜在的な情報とが含まれる。レンダリングデバイス用の制御情報は、例えば、補足強化情報（Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）メッセージ又はビデオユーザビリティ情報（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ、ＶＵＩ）パラメータセットフラグメント（図示せず）の形式であってもよい。パーサ（３２０）は、受信したコード化されたビデオシーケンスを解析／エントロピーデコードすることができる。コード化されたビデオシーケンスのコーディングは、ビデオコーディング技術又は規格に従うことができ、また、可変長コーディング、ハフマンコーディング、コンテキスト感度を伴う又は伴わない算術コーディングなどを含めて、当業者に周知の原理に従うことができる。パーサ（３２０）は、グループに対応する少なくとも１つのパラメータに基づいて、コード化されたビデオシーケンスから、ビデオデコーダ内のピクセルのサブグループの少なくとも１つ用のサブグループパラメータのセットを抽出することができる。サブグループは、ピクチャグループ（Ｇｒｏｕｐｓ ｏｆ Ｐｉｃｔｕｒｅｓ、ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、ＴＵ）、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ）などを含むことができる。パーサ（３２０）はまた、コード化されたビデオシーケンスから変換係数、量子化器パラメータ値、動きベクトルなどの情報を抽出することができる。

【0042】

パーサ（３２０）は、バッファ（３１５）から受信したビデオシーケンスに対してエントロピーデコード／解析動作を実行して、シンボル（３２１）を作成することができる。

【0043】

シンボル（３２１）の再構成には、コード化されたビデオピクチャ又はその一部（例えば、インターピクチャ及びイントラピクチャ、インターブロック及びイントラブロック）のタイプ、及び他の要因に応じて、複数の異なるユニットが関与する可能性がある。どのユニットが関与するか、及びどのように関与するかは、パーサ（３２０）によってコード化されたビデオシーケンスから解析されたサブグループ制御情報によって制御することができる。パーサ（３２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、分かりやすくするために示されていない。

【0044】

既に述べた機能ブロックに加えて、デコーダ（２１０）は、以下に説明されるように、概念的にいくつかの機能ユニットに再分割することができる。商業的制約の下で動作する実際の実装では、これらのユニットの多くは互いに密接に相互作用し、また少なくとも部分的に互いに統合することができる。しかしながら、開示された主題を説明する目的では、以下の機能ユニットへの概念的な再分割が適切である。

【0045】

１つのユニットは、スケーラ／逆変換ユニット（３５１）であり得る。スケーラ／逆変換ユニット（３５１）は、パーサ（３２０）から、量子化された変換係数、並びに使用する変換、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報をシンボル（３２１）として受信することができる。スケーラ／逆変換ユニット（３５１）は、サンプル値を含むブロックを出力することができ、これらのブロックはアグリゲータ（３５５）に入力することができる。

【0046】

場合によっては、スケーラ／逆変換ユニット（３５１）の出力サンプルは、イントラコード化されたブロック、即ち、以前に再構成されたピクチャからの予測情報を使用していないが、現在のピクチャの以前に再構成された部分からの予測情報を使用できるブロックに関連する可能性がある。そのような予測情報は、イントラピクチャ予測ユニット（３５２）によって提供することができる。場合によっては、イントラピクチャ予測ユニット（３５２）は、現在のピクチャメモリ（３５８）からの現在の（部分的に再構成された）ピクチャからフェッチされた周囲の既に再構成された情報を用いて、再構成中のブロックと同じサイズ及び形状のブロックを生成する。アグリゲータ（３５５）は、場合によっては、サンプルごとに、イントラ予測ユニット（３５２）が生成した予測情報を、スケーラ／逆変換ユニット（３５１）によって提供された出力サンプル情報に追加する。

【0047】

他の場合には、スケーラ／逆変換ユニット（３５１）の出力サンプルは、インターコード化され、潜在的に動き補償されたブロックに関連する可能性がある。そのような場合、動き補償予測ユニット（３５３）は、参照ピクチャメモリ（３５７）にアクセスして、予測に使用されるサンプルをフェッチすることができる。ブロックに関連するシンボル（３２１）に従ってフェッチしたサンプルを動き補償した後、アグリゲータ（３５５）によってこれらのサンプルをスケーラ／逆変換ユニット（３５１）の出力（この場合、残差サンプル又は残差信号と呼ばれる）に追加して、出力サンプル情報を生成することができる。動き補償予測ユニット（３５３）が予測サンプルをフェッチする参照ピクチャメモリ（３５７）内のアドレスは、動きベクトルによって制御することができる。動きベクトルは、例えば、Ｘ、Ｙ、及び参照ピクチャ成分を有することができるシンボル（３２１）の形式で動き補償予測ユニット（３５３）に利用可能であり得る。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（３５７）からフェッチされたサンプル値の補間、動きベクトル予測メカニズムなどを含むことができる。

【0048】

アグリゲータ（３５５）の出力サンプルは、ループフィルタユニット（３５６）において様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術は、インループフィルタ技術を含むことができ、これらの技術は、コード化されたビデオビットストリームに含まれているパラメータによって制御され、パーサ（３２０）からのシンボル（３２１）としてループフィルタユニット（３５６）に利用可能にされるが、コード化されたピクチャ又はコード化されたビデオシーケンスの前の（デコード順の）部分のデコード中に得られたメタ情報に応答することも、以前に再構成及びループフィルタリングされたサンプル値に応答することもできる。

【0049】

ループフィルタユニット（３５６）の出力は、ディスプレイ（２１２）などのレンダリングデバイスに出力され得るだけでなく、将来のインターピクチャ予測に使用するために参照ピクチャメモリ（３５７）に記憶され得るサンプルストリームであり得る。

【0050】

特定のコード化されたピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用することができる。コード化されたピクチャが完全に再構成され、またコード化されたピクチャが参照ピクチャとして識別されると（例えば、パーサ（３２０）によって）、現在の参照ピクチャは参照ピクチャメモリ（３５７）の一部になることができ、そして次のコード化されたピクチャの再構成を開始する前に、新しい現在のピクチャメモリを再割り当てすることができる。

【0051】

ビデオデコーダ（２１０）は、ＩＴＵ‐Ｔ Ｒｅｃ．Ｈ．２６５などの規格に文書化され得る所定のビデオ圧縮技術に従ってデコード動作を実行することができる。コード化されたビデオシーケンスは、ビデオ圧縮技術文書又は規格、特にその中のプロファイル文書で指定されているように、ビデオ圧縮技術又は規格の構文に準拠するという意味で、使用されているビデオ圧縮技術又は規格によって指定された構文に準拠することができる。また、一部のビデオ圧縮技術又は規格に準拠するために、コード化されたビデオシーケンスの複雑さは、ビデオ圧縮技術又は規格のレベルによって定義された範囲内にあり得る。場合によっては、レベルによって、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、１秒あたりのメガサンプルで測定）、最大参照ピクチャサイズなどが制限される。レベルによって設定される制限は、場合によっては、仮想参照デコーダ（Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ、ＨＲＤ）仕様及びコード化されたビデオシーケンスで信号で送られたＨＲＤバッファ管理用のメタデータによって更に制限されることがある。

【0052】

一実施形態では、受信機（３１０）は、エンコードされたビデオと共に追加の（冗長）データを受信することができる。追加のデータは、コード化されたビデオシーケンスの一部として含まれてもよい。追加のデータは、データを適切にデコードするため、及び／又は元のビデオデータをより正確に再構成するために、ビデオデコーダ（２１０）によって使用され得る。追加のデータは、例えば、時間的、空間的、又はＳＮＲ強化層、冗長スライス、冗長ピクチャ、前方誤り訂正コードなどの形式であり得る。

【0053】

図４は、本開示の一実施形態による、ビデオソース（２０１）に関連付けられたビデオエンコーダ（２０３）の例示的な機能ブロック図を示す。

【0054】

ビデオエンコーダ（２０３）は、例えば、ソースコーダ（４３０）であるエンコード、コーディングエンジン（４３２）、（ローカル）デコーダ（４３３）、参照ピクチャメモリ（４３４）、予測器（４３５）、送信機（４４０）、エントロピーコーダ（４４５）、コントローラ（４５０）、及びチャネル（４６０）を含むことができる。

【0055】

ビデオエンコーダ（２０３）は、エンコーダ（２０３）によってコード化されるべきビデオ画像をキャプチャすることができるビデオソース（２０１）（エンコーダの一部ではない）からビデオサンプルを受信することができる。

【0056】

ビデオソース（２０１）は、任意の適切なビット深度（例えば、８ビット、１０ビット、１２ビット…）、任意の色空間（例えば、ＢＴ．６０１ Ｙ ＣｒＣＢ、ＲＧＢ…）、及び任意の適切なサンプリング構造（例えば、Ｙ ＣｒＣＢ ４：２：０、Ｙ ＣｒＣＢ ４：４：４）であり得るデジタルビデオサンプルストリームの形式で、エンコーダ（２０３）によってコード化されるべきソースビデオシーケンスを提供することができる。メディアサービングシステムでは、ビデオソース（２０１）は、以前に準備されたビデオを記憶する記憶装置であってもよい。ビデオ会議システムでは、ビデオソース（２０３）は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラであってもよい。ビデオデータは、順番に見たときに動きを与える複数の個別のピクチャとして提供されてもよい。ピクチャ自体は、ピクセルの空間配列として編成することができ、各ピクセルは、使用中のサンプリング構造、色空間などに応じて、１つ又は複数のサンプルを含むことができる。当業者であれば、ピクセルとサンプルとの間の関係を容易に理解することができる。以下では、サンプルに焦点を当てて説明する。

【0057】

一実施形態によれば、エンコーダ（２０３）は、リアルタイムで、又はアプリケーションによって必要とされる他の任意の時間制約の下で、ソースビデオシーケンスのピクチャをコード化されたビデオシーケンス（４４３）にコード化し圧縮することができる。適切なコーディング速度を適用することは、コントローラ（４５０）の１つの機能である。コントローラ（４５０）はまた、以下に説明されるように他の機能ユニットを制御することができ、またこれらのユニットに機能的に結合されてもよい。分かりやすくするために、結合は示されていない。コントローラ（４５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値…）、ピクチャサイズ、ピクチャグループ（ＧＯＰ）レイアウト、最大動きベクトル検索範囲などを含むことができる。当業者は、コントローラ（４５０）の他の機能が特定のシステム設計用に最適化されたビデオエンコーダ（２０３）に関係する可能性があるため、それらを容易に特定することができる。

【0058】

一部のビデオエンコーダは、当業者が容易に認識できる「コーディングループ」で動作する。過度に単純化された説明として、コーディングループは、ソースコーダ（４３０）のエンコード部分（コード化されるべき入力ピクチャ及び参照ピクチャに基づいてシンボルを作成する役割を果たす）と、シンボルを再構成してサンプルデータを作成するエンコーダ（２０３）に埋め込まれた（ローカル）デコータ（４３３）とで構成することができ、シンボルとコード化されたビデオビットストリームとの間の圧縮が、特定のビデオ圧縮技術において可逆である場合に、（リモート）デコーダもそのサンプルデータを作成する。その再構成されたサンプルストリームは、参照ピクチャメモリ（４３４）に入力され得る。シンボルストリームのデコードにより、デコーダの位置（ローカル又はリモート）に関係なくビット精度の結果が得られるため、参照ピクチャバッファのコンテンツも、ローカルエンコーダとリモートエンコーダとの間でビット精度となる。言い換えれば、エンコーダの予測部分は、デコード中に予測を使用するときにデコーダが「見る」のとまったく同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャの同期性（及び、例えばチャネルエラーのために同期性を維持できない場合、結果として生じるドリフト）のこの基本原理は、当業者に知られている。

【0059】

「ローカル」デコーダ（４３３）の動作は、図３に関連して上記で既に詳細に説明されている「リモート」デコーダ（２１０）の動作と同じであってもよい。しかし、シンボルが利用可能であり、エントロピーコーダ（４４５）及びパーサ（３２０）によってシンボルをコード化されたビデオシーケンスにエンコード／デコードすることは可逆であり得るため、チャネル（３１２）、受信機（３１０）、バッファ（３１５）、及びパーサ（３２０）を含むデコーダ（２１０）のエントロピーデコード部分は、ローカルデコーダ（４３３）に完全に実装されていない可能性がある。

【0060】

この時点で行うことができる観察は、デコーダに存在する解析／エントロピーデコードを除くいかなるデコーダ技術も、対応するエンコーダ内に実質的に同一の機能形態で存在する必要があり得るということである。このため、開示された主題は、デコーダの動作に焦点を当てている。エンコーダ技術は、包括的に説明されているデコーダ技術の逆である可能性があるため、その説明を省略することができる。特定の領域についてのみ、より詳細な説明が必要であり、以下に提供する。

【0061】

その動作の一部として、ソースコーダ（４３０）は、動き補償予測コーディングを実行することができ、これは、「参照フレーム」として指定されたビデオシーケンスからの１つ又は複数の以前にコード化されたフレームを参照して入力フレームを予測的にコード化する。このようにして、コーディングエンジン（４３２）は、入力フレームのピクセルブロックと、入力フレームへの予測参照として選択され得る参照フレームのピクセルブロックとの間の差分をコード化する。

【0062】

ローカルビデオデコーダ（４３３）は、ソースコーダ（４３０）によって作成されたシンボルに基づいて、参照フレームとして指定され得るフレームのコード化されたビデオデータをデコードすることができる。コーディングエンジン（４３２）の動作は、有利には、非可逆プロセスであり得る。コード化されたビデオデータがビデオデコーダ（図４には示されていない）でデコードされ得る場合、再構成されたビデオシーケンスは、通常、いくつかのエラーを伴うソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ（４３３）は、参照フレームに対してビデオデコーダによって実行され得るデコードプロセスを複製し、そして再構成された参照フレームを参照ピクチャメモリ（４３４）に記憶させることができる。このようにして、ビデオエンコーダ（２０３）は、遠端ビデオデコーダ（送信エラーがない）によって取得される再構成された参照フレームとして共通の内容を有する再構成された参照フレームのコピーをローカルに記憶することができる。

【0063】

予測器（４３５）は、コーディングエンジン（４３２）のために予測検索を実行することができる。即ち、コード化されるべき新しいフレームについて、予測器（４３５）は、参照ピクチャメモリ（４３４）を検索して、サンプルデータ（候補参照ピクセルブロックとして）又は参照ピクチャ動きベクトル、ブロック形状などの特定のメタデータを探すことができ、それらは、新しいピクチャに対する適切な予測参照として役立つことができる。予測器（４３５）は、適切な予測参照を見つけるために、サンプルブロックごとのピクセルブロックベースで動作することができる。場合によっては、予測器（４３５）によって得られた検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（４３４）に記憶された複数の参照ピクチャから抽出された予測参照を有してもよい。

【0064】

コントローラ（４５０）は、例えば、ビデオデータをエンコードするために使用されるパラメータ及びサブグループパラメータの設定を含めて、ビデオコーダ（４３０）のコーディング動作を管理することができる。

【0065】

前述のすべての機能ユニットの出力は、エントロピーコーダ（４４５）においてエントロピーコーディングを受けることができる。エントロピーコーダは、例えばハフマンコーディング、可変長コーディング、算術コーディングなどとして当業者に知られている技術に従ってシンボルを可逆的に圧縮することによって、様々な機能ユニットによって生成されたシンボルをコード化されたビデオシーケンスに変換する。

【0066】

送信機（４４０）は、エントロピーコーダ（４４５）によって作成されたコード化されたビデオシーケンスをバッファリングして、通信チャネル（４６０）を介した送信に備えることができ、通信チャネル（４６０）は、エンコードされたビデオデータを記憶する記憶装置へのソフトウェア／ハードウェアリンクであり得る。送信機（４４０）は、ビデオコーダ（４３０）からのコード化されたビデオデータを、送信されるべき他のデータ、例えば、コード化されたオーディオデータ及び／又は補助データストリーム（ソースは示されていない）とマージすることができる。

【0067】

コントローラ（４５０）は、エンコーダ（２０３）の動作を管理することができる。コーディング中に、コントローラ（４５０）は、各コード化されたピクチャに特定のコード化されたピクチャタイプを割り当てることができ、このコード化されたピクチャタイプは、それぞれのピクチャに適用され得るコーディング技術に影響を与える可能性がある。例えば、ピクチャは、多くの場合、イントラピクチャ（Ｉピクチャ）、予測ピクチャ（Ｐピクチャ）、又は双方向予測ピクチャ（Ｂピクチャ）として割り当てられてもよい。

【0068】

イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の任意の他のフレームを使用することなくコード化及びデコードされ得るものであり得る。一部のビデオコーデックでは、例えば、独立デコーダリフレッシュ（Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ、ＩＤＲ）ピクチャを含めて、様々なタイプのイントラピクチャが可能である。当業者は、Ｉピクチャのそれらの変形並びにそれらのそれぞれの用途及び特徴を知っている。

【0069】

予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために最大で１つの動きベクトル及び参照インデックスを使用するイントラ予測又はインター予測を用いてコード化及びデコードされ得るものであり得る。

【0070】

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために最大で２つの動きベクトル及び参照インデックスを使用するイントラ予測又はインター予測を用いてコード化及びデコードされ得るものであり得る。同様に、複数の予測ピクチャは、単一のブロックの再構成のために３つ以上の参照ピクチャ及び関連するメタデータを使用することができる。

【0071】

ソースピクチャは、一般に、空間的に複数のサンプルブロック（例えば、それぞれ４ｘ４、８ｘ８、４ｘ８、又は１６ｘ１６サンプルのブロック）に再分割され、ブロックごとにコード化されてもよい。ブロックは、ブロックのそれぞれのピクチャに適用されるコーディング割り当てによって決定された他の（既にコード化された）ブロックを参照して予測的にコード化されてもよい。例えば、Ｉピクチャのブロックは、非予測的にコード化されてもよく、又はそれらは、同じピクチャの既にコード化されたブロックを参照して予測的にコード化されてもよい（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、１つの以前にコード化された参照ピクチャを参照して、空間予測を介して、又は時間予測を介して非予測的にコード化されてもよい。Ｂピクチャのブロックは、１つ又は２つの以前にコード化された参照ピクチャを参照して、空間予測を介して、又は時間予測を介して、非予測的にコード化されてもよい。

【0072】

ビデオコーダ（２０３）は、ＩＴＵ‐Ｔ Ｒｅｃ．Ｈ．２６５などの所定のビデオコーディング技術又は規格に従ってコーディング動作を実行することができる。その動作において、ビデオコーダ（２０３）は、入力ビデオシーケンスにおける時間的及び空間的冗長性を利用する予測コーディング動作を含めて、様々な圧縮動作を実行することができる。したがって、コード化されたビデオデータは、使用されているビデオコーディング技術又は規格によって指定された構文に準拠することができる。

【0073】

一実施形態では、送信機（４４０）は、エンコードされたビデオと共に追加のデータを送信することができる。ビデオコーダ（４３０）は、コード化されたビデオシーケンスの一部としてそのようなデータを含むことができる。追加データは、時間／空間／ＳＮＲ強化層、冗長ピクチャ及びスライスなどの他の形式の冗長データ、補足強化情報（ＳＥＩ）メッセージ、ビジュアルユーザビリティ情報（ＶＵＩ）パラメータセットフラグメントなどを含むことができる。

【0074】

［ＶＰ９及びＡＶ１におけるコーディングブロック分割］

【0075】

図５Ａ～図５Ｄのパーティション構造（５０２）～（５０８）を参照すると、ＶＰ９は、６４ｘ６４レベルから４ｘ４レベルまでの４種類のパーティションツリーを使用し、ブロック８ｘ８にはいくつかの追加の制限がある。図５ＤでＲとして指定されているパーティションは、同じパーティションツリーが、最低の４ｘ４レベルに達するまで、より低いスケールで繰り返されるという点で再帰を指すことに留意されたい。

【0076】

図６Ａ～図６Ｊのパーティション構造（５１１）～（５２０）を参照すると、ＡＶ１は、パーティションツリーを１０種類の構造に拡張するだけでなく、１２８ｘ１２８からのように最大サイズ（ＶＰ９／ＡＶ１用語ではスーパーブロックと呼ばれる）を増加させる。これには、ＶＰ９には存在しなかった４：１／１：４の長方形パーティションが含まれることに留意されたい。図６Ｃ～図６Ｆに示されるような３つのサブパーティションを有するパーティションタイプは、「Ｔタイプ」パーティションと呼ばれる。長方形パーティションは、更に分割することはなくでもよい。コーディングブロックサイズに加えて、コーディングツリーの深さを定義して、ルートノートからの分割深さを示すことができる。具体的には、例えば１２８×１２８のルートノードには、コーディングツリーの深さを０に設定し、ツリーブロックを更に１回分割した後、コーディングツリーの深さが１だけ増加する。

【0077】

ＶＰ９のように固定の変換ユニットサイズを適用する代わりに、ＡＶ１では、輝度コーディングブロックを複数のサイズの変換ユニットに分割することができ、これらの変換ユニットは、最大２レベル下がる再帰パーティションで表すことができる。ＡＶ１の拡張コーディングブロックパーティションを組み込むために、４×４から６４×６４までの正方形、２：１／１：２、及び４：１／１：４の変換サイズがサポートされる場合がある。彩度ブロックでは、可能な最大の変換ユニットのみが許可される場合がある。

【0078】

［ＨＥＶＣにおけるブロック分割］

【0079】

ＨＥＶＣでは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）は、様々なローカル特性に適応するためにコーディングツリーとして示されるクワッドツリー（ｑｕａｄｔｒｅｅ、ＱＴ）構造を使用することによってコーディングユニット（ＣＵ）に分割され得る。インターピクチャ（時間的）又はイントラピクチャ（空間的）予測を使用してピクチャ領域をコード化するか否かの判定は、ＣＵレベルで行うことができる。各ＣＵは、ＰＵ分割タイプに応じて、更に１つ、２つ、又は４つの予測ユニット（ＰＵ）に分割することができる。１つのＰＵ内で、同じ予測プロセスが適用されてもよく、関連情報はＰＵベースでデコーダに送信される。ＰＵ分割タイプに基づく予測プロセスを適用して残余ブロックを取得した後、ＣＵは、ＣＵのコーディングツリーのような別のクワッドツリー構造に従って変換ユニット（ＴＵ）に分割することができる。ＨＥＶＣ構造の重要な特徴の１つは、ＣＵ、ＰＵ、及びＴＵを含む複数のパーティション概念を有することである。ＨＥＶＣでは、ＣＵ又はＴＵは正方形のみをとることができるが、ＰＵは、インター予測ブロックに対して正方形又は長方形をとることができる。ＨＥＶＣでは、１つのコーディングブロックは更に、４つの正方形のサブブロックに分割することができ、変換は各サブブロック（即ち、ＴＵ）に対して行われる。各ＴＵは、（クアッドツリー分割を使用して）更に再帰的により小さなＴＵに分割することができ、これは、残差クワッドツリー（Ｒｅｓｉｄｕａｌ Ｑｕａｄ－Ｔｒｅｅ、ＲＱＴ）と呼ばれる。

【0080】

ピクチャ境界では、ＨＥＶＣは、ブロックが、サイズがピクチャ境界に適合するまでクワッドツリー分割を行うように、暗黙的なクワッドツリー分割を使用する。

【0081】

［ＶＶＣにおけるネスト化されたマルチタイプツリーコーディングブロック構造を有するクワッドツリー］

【0082】

ＶＶＣでは、二元及び三元分割セグメント化構造を使用するネスト化されたマルチタイプツリーを有するクアッドツリーは、複数のパーティションユニットタイプの概念に取って代わる。即ち、ＶＶＣには、最大変換長に対してサイズが大きすぎるＣＵに必要な場合を除いて、ＣＵ、ＰＵ、及びＴＵの概念の分けが含まれず、ＣＵパーティション形状に柔軟性が向上する。コーディングツリー構造では、ＣＵは正方形又は長方形のいずれかの形状を有することができる。コーディングツリーユニット（ＣＴＵ）は、最初に四分木（別名クワッドツリー）構造によって分割される。次に、四分木の葉ノードは、マルチタイプツリー構造によって更に分割することができる。図７Ａ～図７Ｄの図（５３２）、（５３４）、（５３６）、及び（５３８）に示されるように、マルチタイプツリー構造には、図７Ａに示される垂直二元分割（ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）、図７Ｂに示される水平二元分割（ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）、図７Ｃに示される垂直三元分割（ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）、及び図７Ｄに示される水平三元分割（ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ）の４つの分割タイプがある。マルチタイプツリーの葉ノードはコーディングユニット（ＣＵ）と呼ばれる場合があり、ＣＵが最大変換長に対して大きすぎない限り、このセグメント化は、更なる分割なしに予測及び変換処理に使用できる。これは、ほとんどの場合、ＣＵ、ＰＵ、及びＴＵが、ネスト化されたマルチタイプツリーコーディングブロック構造を有するクアッドツリーにおいて同じブロックサイズを有することを意味する。サポートされる最大変換長がＣＵの色成分の幅又は高さよりも小さい場合に例外が発生する。１つのＣＴＵに対するブロック分割の一例を図８に示す。図８は、クワッドツリー及びネスト化されたマルチタイプツリーコーディングブロック構造を有する複数のＣＵに分割されたＣＴＵ（５４０）を示し、太線のエッジはクワッドツリー分割を表し、破線のエッジはマルチタイプツリー分割を表す。ネスト化されたマルチタイプツリーパーティションを有するクワッドツリーは、ＣＵで構成されるコンテンツ適応コーディングツリー構造を提供する。

【0083】

ＶＶＣでは、サポートされる最大輝度変換サイズは６４×６４であり、サポートされる最大彩度変換サイズは３２×３２である。ＣＢの幅又は高さが最大変換幅又は高さよりも大きい場合、ＣＢは、その方向の変換サイズ制限を満たすために、水平及び／又は垂直方向に自動的に分割されてもよい。

【0084】

ＶＴＭ７では、コーディングツリースキームは、輝度及び彩度が別個のブロックツリー構造を有する能力をサポートする。Ｐスライス及びＢスライスの場合、１つのＣＴＵ内の輝度及び彩度ＣＴＢは、同じコーディングツリー構造を共有する必要がある場合がある。ただし、Ｉスライスの場合、輝度と彩度は別個のブロックツリー構造を有することができる。別個のブロックツリーモードが適用される場合、輝度ＣＴＢは１つのコーディングツリー構造によってＣＵに分割され、彩度ＣＴＢは別のコーディングツリー構造によって彩度ＣＵに分割される。これは、ビデオがモノクロでない限り、Ｉスライス内のＣＵが、輝度成分のコーディングブロック又は２つの彩度成分のコーディングブロックで構成される可能性があり、Ｐスライス又はＢスライス内のＣＵが、３つの色成分すべてのコーディングブロックで構成される可能性があることを意味する。

【0085】

［ＡＶ１における指向性イントラ予測］

【0086】

ＶＰ９は、４５度から２０７度までの角度に対応する８つの指向性モードをサポートする。指向性テクスチャでより多様な空間冗長性を利用するために、ＡＶ１では、指向性イントラモードは、より細かい粒度の角度セットに拡張される。元の８つの角度はわずかに変更されて公称角度とされ、これら８つの公称角度は、現在ブロック（５４１）に関して図９に示されるＶ＿ＰＲＥＤ（５４２）、Ｈ＿ＰＲＥＤ（５４３）、Ｄ４５＿ＰＲＥＤ（５４４）、Ｄ１３５＿ＰＲＥＤ（５４５）、Ｄ１１３＿ＰＲＥＤ（５４６）、Ｄ１５７＿ＰＲＥＤ（５４７）、Ｄ２０３＿ＰＲＥＤ（５４８）、及びＤ６７＿ＰＲＥＤ（５４９）と名付けられている。各公称角度に対して、７つのより細かい角度があるため、ＡＶ１には合計５６個の指向性角度がある。予測角度は、公称イントラ角度に角度デルタを加えたもので表され、角度デルタは３度のステップサイズの－３～３倍である。一般的な方法でＡＶ１において指向性予測モードを実装するために、ＡＶ１の５６個の指向性イントラ予測モードはすべて、各ピクセルを参照サブピクセル位置に投影し、参照ピクセルを２タップバイリニアフィルタで補間する統合指向性予測子を使用して実装される。

【0087】

［ＡＶ１における非指向性のスムーズなイントラ予測子］

【0088】

ＡＶ１には、ＤＣ、ＰＡＥＴＨ、ＳＭＯＯＴＨ、ＳＭＯＯＴＨ＿Ｖ、及びＳＭＯＯＴＨ＿Ｈの５つの非指向性のスムーズなイントラ予測モードが存在する。ＤＣ予測の場合、左側と上部の隣接サンプルの平均が、予測されるべきブロックの予測子として使用される。ＰＡＥＴＨ予測子の場合、最初に上部、左側、及び左上の参照サンプルがフェッチされ、次に（上部＋左側－左上）に最も近い値が予測されるべきピクセルの予測子として設定される。図１０は、現在ブロック（５５０）における現在ピクセル（５５２）の上部サンプル（５５４）、左側サンプル（５５６）、及び左上サンプル（５５８）の位置を示す。ＳＭＯＯＴＨ、ＳＭＯＯＴＨ＿Ｖ、及びＳＭＯＯＴＨ＿Ｈモードの場合、現在ブロック（５５０）は、垂直方向若しくは水平方向の二次補間、又は両方向の平均を使用して予測される。

【0089】

［輝度から予測される彩度］

【0090】

彩度成分の場合、５６個の指向性モードと５つの非指向性モードに加えて、輝度に基づく彩度（ｃｈｒｏｍａ ｆｒｏｍ ｌｕｍａ、ＣｆＬ）は、彩度のみのイントラ予測モードであり、これは、彩度ピクセルを同時に再構成された輝度ピクセルの線形関数としてモデル化する。ＣｆＬ予測は、以下の式１に示すように表すことができる。

【0091】

【数1】

【0092】

ここで、Ｌ_ＡＣは輝度成分のＡＣ寄与を示し、αは線形モデルのパラメータを示し、ＤＣは彩度成分のＤＣ寄与を示す。具体的には、再構成された輝度ピクセルは、彩度解像度にサブサンプリングされ、次に平均値が差し引かれ、ＡＣ寄与が形成される。ＡＣ寄与から彩度ＡＣ成分を近似するために、一部の背景技術のようにデコーダにスケーリングパラメータの計算を要求する代わりに、ＡＶ１ ＣｆＬは元の彩度ピクセルに基づいてパラメータαを決定し、ビットストリームでそれらをシグナリングする。これにより、デコーダの複雑さが低減され、より正確な予測が得られる。彩度成分のＤＣ寄与については、イントラＤＣモードを使用して計算することができ、イントラＤＣモードは、ほとんどの彩度コンテンツに対して十分であり、且つ成熟した高速実装を有する。

【0093】

彩度イントラ予測モードをシグナリングする場合、最初に８つの公称指向性モード、５つの非指向性モード、及びＣｆＬモードをシグナリングすることができる。これらのモードをシグナリングするためのコンテキストは、現在ブロックの左上の位置の対応する輝度モードに依存する場合がある。次に、現在の彩度モードが指向性モードである場合、公称角度に対するデルタ角度を示すために、１つの追加フラグをシグナリングすることができる。

【0094】

［イントラブロックコピー］

【0095】

異なるピクチャからのブロックベースの補償は、動き補償と呼ばれてもよい。同様に、ブロック補償は、同じピクチャ内の以前に再構成された領域から行うこともできる。これは、イントラピクチャブロック補償、現在ピクチャ参照（ｃｕｒｒｅｎｔ ｐｉｃｔｕｒｅ ｒｅｆｅｒｅｎｃｉｎｇ、ＣＰＲ）、又はイントラブロックコピー（ＩＢＣ）と呼ばれてもよい。現在ブロックと参照ブロックとの間のオフセットを示す変位ベクトルは、ブロックベクトル（ｂｌｏｃｋ ｖｅｃｔｏｒ、ＢＶ）と呼ばれてもよい。任意の値（ｘ又はｙ方向のいずれかで正又は負）にすることができる動き補償における動きベクトルとは異なり、ブロックベクトルには、指向された参照ブロックが利用可能であり、既に再構成されていることが保証されるように、いくつかの制約がある。また、並列処理を考慮して、タイル境界又は波面ラダー形状境界である一部の参照領域も除外される場合がある。

【0096】

ブロックベクトルのコーディングは、明示的であっても暗黙的であってもよい。明示的モード（インターコーディングではＡＭＶＰモードと呼ばれる）では、ブロックベクトルとその予測子との間の差分が信号で送られる場合があり、暗黙的モードでは、ブロックベクトルは、マージモードにおける動きベクトルと同様の方法で、その予測子から純粋に復元することができる。一部の実装では、ブロックベクトルの解像度は整数位置に制限されており、他のシステムでは、小数位置を指すことが許可される場合がある。

【0097】

ブロックレベルでのイントラブロックコピーの使用は、ブロックレベルフラグ（例えば、ＩＢＣフラグ）を使用してシグナリングすることができる。一実施形態では、このフラグは、現在ブロックがマージモードでコード化されていないときに信号で送られる。あるいは、これは、参照インデックスアプローチによってシグナリングすることができる。これは、現在のデコードされたピクチャを参照ピクチャとして扱うことによって行うことができる。ＨＥＶＣ ＳＣＣでは、このような参照ピクチャをリストの最後の位置に置くことができる。この特別な参照ピクチャはまた、デコードピクチャバッファ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ、ＤＰＢ）内の他の一時的な参照ピクチャと共に管理されてもよい。

【0098】

イントラブロックコピーには、イントラ予測又はインター予測モードのいずれかとは異なる第３のモードとしてイントラブロックコピーを扱うなど、いくつかの変形もある。これにより、マージモード及びＡＭＶＰモードにおけるブロックベクトル予測は、通常のインターモードから分離される。例えば、イントラブロックコピーモード用に別個のマージ候補リストが定義され、ここで、リスト内のすべてのエントリはブロックベクトルである。同様に、イントラブロックコピーＡＭＶＰモードにおけるブロックベクトル予測リストは、ブロックベクトルのみで構成される。両方のリストに適用される一般的なルールは、候補導出プロセスに関して、それらは、インターマージ候補リスト又はＡＭＶＰ予測子リストと同じ論理に従う可能性があるということである。例えば、イントラブロックコピーのためにＨＥＶＣ又はＶＶＣインターマージモードにおける５つの空間的に隣接する位置にアクセスして、それ自体のマージ候補リストを導出する。イントラブロックコピーの一例を図１１に示しており、これは、位置がブロックベクトル（５６６）によって示される参照ブロック（５６４）に基づいて現在ブロック（５６２）が予測される現在ピクチャ（５６０）を示す。

【0099】

ＩＢＣ（イントラＢＣとも呼ばれる）は、画面コンテンツのコーディングに非常に効果的であるが、ハードウェア設計にも多くの困難をもたらす。ハードウェア設計を容易にするために、ＡＶ１では以下のような修正を採用してもよい。

【0100】

修正１：ＩＢＣが許可される場合、ループフィルタが無効となり、これは、デブロッキングフィルタ、ＣＤＥＦ（Ｃｏｎｓｔｒａｉｎｅｄ Ｄｉｒｅｃｔｉｏｎａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｆｉｌｔｅｒ、制約付き指向性拡張フィルタ）、及びループ復元である。これにより、再構成されたサンプルのピクチャバッファをＩＢＣとインター予測の間で共有することができる。

【0101】

修正２：並列デコードを容易にするために、予測は制限された領域を超えることはできない。１つのスーパーブロックについて、その左上の位置の座標が（ｘ０、ｙ０）の場合、ｙ＜ｙ０及びｘ＜ｘ０＋２＊（ｙ０－ｙ）３であれば、位置（ｘ、ｙ）での予測にＩＢＣがアクセスすることができる。

【0102】

ハードウェアの書き戻し遅延を可能にするために、ＩＢＣ予測が即時に再構成された領域にアクセスできない場合がある。制限された即時に再構成された領域は、１～ｎ個のスーパーブロックとすることができる。したがって、修正２に加えて、１つのスーパーブロックの左上の位置の座標が（ｘ０、ｙ０）の場合、ｙ＜ｙ０及びｘ＜ｘ０＋２＊（ｙ０－ｙ）－Ｄであれば、位置（ｘ、ｙ）での予測にＩＢＣがアクセスすることができ、ここで、Ｄは、制限された即時に再構成された領域を示す。Ｄが１つのスーパーブロックである場合、予測領域は図１２に示されるようなものであり得る。図１２では、複数の現在の処理ブロック（５７２）が斜めストライプで示され、複数の制限された即時ブロック（５７４）がクロスハッチングで示され、複数の許可された予測ブロック（５７６）が暗いパターンで示されている。

【0103】

ＶＶＣでは、ＩＢＣモードの検索範囲は、現在のＣＴＵ内にあるように制約され得る。ＩＢＣモードの参照サンプルを記憶するための有効なメモリ要件は、１ ＣＴＵサイズのサンプルである可能性がある。再構成されたサンプルを現在の６４×６４領域に記憶するための既存の参照サンプルメモリを考慮すると、更に３つの６４×６４サイズの参照サンプルメモリが必要になる場合がある。この事実に基づいて、本開示の実施形態の方法は、参照ピクセルを記憶するための総メモリ要件を変更せずに維持しながら（１ ＣＴＵサイズ、合計４つの６４ｘ６４参照サンプルメモリ）、ＩＢＣモードの有効な検索範囲を左ＣＴＵの一部に拡張することができる。このようなメモリ再利用メカニズムの一例を図１３Ａ～図１３Ｄに示しており、ここで、斜めストライプのブロックは現在のコーディング領域であり、点線パターンのボックス内のサンプルはコード化されたサンプルであり、取り消し線の付いた領域（「Ｘ」でマークされている）は、参照サンプルメモリ内で現在のＣＴＵのコーディング領域に置き換えられているため、参照に利用できない。

【0104】

例えば、図１３Ａでは、Ｘでマークされた参照サンプル（６１２ａ）は、現在サンプル（６１１）には利用できない。同様に、図１３Ｂでは、参照サンプル（６２２ａ）及び（６２２ｂ）は、現在サンプル（６２１）には利用できない。図１３Ｃでは、参照サンプル（６３２ａ）、（６３２ｂ）、及び（６３２ｃ）は、現在サンプル６３１には利用できず、図１３Ｄでは、参照サンプル（６４２ａ）、（６４２ｂ）、（６４２ｃ）、及び（６４２ｄ）は、現在サンプル（６４１）には利用できない。

【0105】

［比較技術のコーディングモードの問題］

【0106】

ＩＢＣ及び他のコーディングモードでは、１つのブロック内で単一のテクスチャパターンを想定してもよい。ただし、多くの典型的なビデオコンテンツでは、オブジェクトには相互にオクルージョンがある。例えば、動かないテキストやロゴは、まったく異なるテクスチャパターンや動きを有するメインビデオコンテンツの上に浮かんでいる。例えば、図１４に示されるビデオフレーム（７００）に示されるように、２つの一致する文字「ｏ」（７０２）及び「Ｅ」（７０４）の例があることが分かる。しかし、これらの一致する文字は、異なる背景とＩＢＣの上に位置しており、ＩＢＣは、すべてのサンプルが同じブロックベクトルを共有することを前提としているため、テキストと背景の両方を効率的にキャプチャすることはできない。

【0107】

［本開示の実施形態の例示的な態様］

【0108】

本開示の実施形態は、別個に使用することも、任意の順序で組み合わせて使用することもできる。更に、各実施形態（例えば、方法、エンコーダ、及びデコーダ）は、処理回路（例えば、１つ又は複数のプロセッサ又は１つ又は複数の集積回路）によって実装されてもよい。一例では、１つ又は複数のプロセッサは、非一時的なコンピュータ可読媒体に記憶されたプログラムを実行する。

【0109】

本開示の実施形態は、上述した任意の数の態様を組み込むことができる。本開示の実施形態はまた、以下に記載される１つ又は複数の態様を組み込んで、上記の問題及び／又は他の問題を解決することができる。

【0110】

Ａ．第１の態様

【0111】

実施形態によれば、ブロックに単一の予測モードを適用する代わりに、単一のブロックに複数の予測モードを適用することができ、また、セグメント化プロセスを実行して、単一のブロック内のサンプルを異なるセグメントに分割することができ、各セグメントは、選択された予測モードの１つに関連付けられ得る。次に、第１のセグメントに属するサンプルに対して、関連付けられた第１の予測モードを使用して、第１のセグメントの予測サンプルを生成し、第２のセグメントに属するサンプルに対して、関連付けられた第２の予測モードを使用して第２のセグメントの予測サンプルを生成し、以下同様に続く。図１５は、そのようなプロセスの一例を示しており、現在ブロック（７２２）のサンプルは、第１のセグメント（Ａ）及び第２のセグメント（Ｂ）に分類（セグメント化）されている。第１のセグメント（Ａ）のサンプルは、ブロックベクトル（７２６）を使用して予測ブロック（７２４）をフェッチするＩＢＣモードを適用することによって予測することができ、第２のセグメント（Ｂ）のサンプルは、隣接する再構成されたサンプルを使用して予測値を生成する通常のイントラ予測モードを適用することによって予測することができる。

【0112】

一実施形態によれば、ブロック（例えば、現在ブロック（７２２））に対して複数の予測モードをシグナリングすることができる。一例では、複数の予測モードは、ＩＢＣ予測モード（ブロックベクトルを含む）、及び隣接する再構成されたサンプルを使用してイントラ予測を実行するイントラ予測モード（イントラ予測モード又は方向を含む）を含む。

【0113】

一実施形態によれば、単一のブロック（例えば、現在ブロック（７２２））に対してＩＢＣを１つ又は複数のデフォルトのイントラ予測モードと共に適用し、ＩＢＣに関連するモード情報（例えば、ブロックベクトル）のみをシグナリングする。単一ブロック内のサンプルの場合、一部のサンプルに対してＩＢＣモードを適用し、残りのサンプルに対して１つ又は複数のデフォルトのイントラ予測モードを適用する。デフォルトのイントラ予測モードとしては、ＤＣ、Ｐｌａｎａｒ、ＳＭＯＯＴＨ、ＳＭＯＯＴＨ＿Ｈ、ＳＭＯＯＴＨ＿Ｖ、Ｐａｅｔｈ、及びＰｌａｎｅモードが挙げられるが、これらに限定されない。

【0114】

一実施形態によれば、単一のブロック（例えば、現在ブロック（７２２））に対してＩＢＣを１つ又は複数のデフォルトのイントラ予測モードと共に適用し、ＩＢＣに関連するモード情報（例えば、ブロックベクトル）を推定する。単一ブロック内のサンプルの場合、一部のサンプルに対してＩＢＣモードを適用し、残りのサンプルに対して１つ又は複数のデフォルトのイントラ予測モードを適用する。推定したＩＢＣ情報（ブロックベクトル）は、マージリストを生成するために使用されるようなブロックベクトル予測子リストから（例えば、デコーダによって）導出することができる。複数の可能なブロックベクトル候補が存在する場合、ブロックベクトル予測子リストからブロックベクトルを選択するためにインデックス値をシグナリングすることができる。例えば、インデックス値は、エンコーダからデコーダによって受信されてもよい。それ以外の場合は、エンコーダがインデックスを送信せず、デコーダがインデックスを受信せずに、デフォルトの選択を行うことができる。この場合、例えば、予測子リスト内の第１のブロックベクトル候補が（例えば、デコーダによって）使用されると仮定してもよい。デフォルトのイントラ予測モードとしては、ＤＣ、Ｐｌａｎａｒ、ＳＭＯＯＴＨ、ＳＭＯＯＴＨ＿Ｈ、ＳＭＯＯＴＨ＿Ｖ、Ｐａｅｔｈ、及びＰｌａｎｅモードが挙げられるが、これらに限定されない。

【0115】

実施形態（例えば、デコーダ）は、異なる方法でセグメント化プロセスを実行することができる。実施形態によれば、セグメント化プロセスは、現在ブロック（７２２）に対して実行されてもよい。一例では、最初に単一の現在ブロック（７２２）内のサンプルの閾値を計算する。閾値に従って、サンプルを、それらの値を閾値と比較することによって、異なるセグメントに分類する。閾値には、平均値、中央値、又は平均値若しくは中央値から導出される他の値が含まれるが、これらに限定されない。別の例では、サンプルの値の分布のヒストグラムを計算する。ヒストグラムに従って、サンプルカウントに関する１つ又は複数の閾値を導出し、サンプルを、ヒストグラムにおけるそれらのサンプルカウントと閾値とを比較することによって、異なるセグメントに分類する。別の例では、現在ブロック（７２２）のサンプルを入力として使用して畳み込みニューラルネットワークを適用し、畳み込みニューラルネットワークの出力は各サンプルのセグメントインデックスになる。別の例では、エッジ検出方法をブロックに適用することができる。セグメント化は、可能なエッジ境界に従って行われてもよい。

【0116】

１つ又は複数の実施形態によれば、図１６を参照すると、まず参照ブロック（７３０）にセグメント化を適用し、次に、セグメント化情報を現在ブロック（７４０）に更にマッピングして、現在ブロック（７４０）のサンプルのセグメント化を導出する。一例では、ブロックベクトルを使用して、隣接する再構成された領域内の参照ブロック（７３０）を識別し、セグメント化を参照ブロック（７３０）に適用し、次に、セグメント化情報を、ブロックベクトルを使用して現在ブロック（７４０）にマッピングする。図１６を参照すると、現在ブロック（７４０）用の参照ブロック（７３０）は、同じピクチャ内にブロックベクトルを使用して導出される。次に、セグメント化プロセスを参照ブロック（７３０）に適用し、参照ブロック（７３０）を、例えば、複数の部分（例えば、第１のセグメント（７３２）及び第２のセグメント（７３４））に分割する。図１６に示される例では、第１のセグメント（７３２）は、鳥の画像の外側の領域を含み、第２のセグメント（７３４）は、鳥の画像を含む。セグメント化プロセスでは、各サンプルのセグメントインデックスを示すセグメント化マップ（７３６）を取得する。図１６を参照すると、セグメント化マップ（７３６）の黒い部分は第１のセグメント（７３２）に対応し、セグメント化マップ（７３６）の白い部分は第２のセグメント（７３４）に対応する。次に、ブロックベクトルを使用してセグメント化マップ（７３６）を現在ブロック（７４０）にマッピングして、現在ブロック（７４０）のセグメント化情報を導出する。セグメント化情報に基づいて、現在ブロック（７４０）を、複数のセグメント（例えば、第１のセグメント（７３２）及び第２のセグメント（７３４）に対応する２つのセグメント）にセグメント化する。例えば、現在ブロック（７４０）の第１のセグメントは、鳥の画像の外側の領域を含み、現在ブロック（７４０）の第２のセグメントは、鳥の画像を含む。次に、従来の予測プロセスを現在ブロック（７４０）に適用して、従来の予測ブロック（７５０）を導出する。例えば、従来の予測プロセスを、現在ブロック（７４０）の第２のセグメントではなく、鳥の画像の外側の領域を含む現在ブロック（７４０）の第１のセグメントに適用することができる。最後に、従来の予測ブロック（７５０）及び参照ブロック（７３０）からの第２のセグメント（７３４）を、セグメント化マップ（７３６）を使用して結合して、結合予測ブロック（７６０）を導出する。

【0117】

各セグメントについて、予測サンプルは、セグメント境界内で生成されてもよい。各可能なセグメントのサンプルを予測した後、予測したセグメントを共にマージして、現在ブロック（７４０）の最終的な予測子を形成することができる。この予測ブロックは、可能なデコードされた残差ブロック信号とともに、２つを足し合わせることにより、（ループフィルタリングの前に）再構成されたブロックを形成することができる。

【0118】

実施形態によれば、参照ブロック（７３０）の識別、参照ブロック（７３０）の第２のセグメント（７３４）を使用した予測、及び第２のセグメント（７３４）と従来の予測ブロック（７５０）との結合は、結合予測ブロック（７６０）を取得するために使用される従来の予測プロセス以外の予測モードの一部と見なすことができる。

【0119】

Ｂ．第２の態様

【0120】

第１の態様に関して上述した例によれば、セグメント化された予測モードに対して、イントラブロックコピーモードのブロックベクトル及びイントラ予測方向（又は非指向性モードオプション）を指定する必要がある場合がある。（例えば、デコーダによって）実行され得る選択の非限定的な例示的なプロセスを以下に説明する。

【0121】

一実施形態では、参照ブロック位置を示すためにＩＢＣモードのブロックベクトルをシグナリングする。このシグナリングは、ベクトル予測とコード化された差分に基づくことができる。コード化された差分は、ブロックベクトルとその予測子との間の差分である可能性があり、エンコーダからデコーダによって受信されてもよい。

【0122】

別の実施形態では、ブロックベクトル候補リストを取得し、リスト内のエントリのインデックスをシグナリングすることによって、リストから１つの候補を選択する。選択した候補は、差分をコード化することなくブロックベクトルとして使用される。

【0123】

別の実施形態では、ブロックベクトル候補リストを取得し、リスト内のデフォルトのエントリ位置を選択することによって、リストから１つの候補を選択する。例えば、デコーダは、デフォルトのエントリ位置としてリスト内の第１のエントリを選択することができる。この場合、インデックスをシグナリングする必要がない可能性がある。選択した候補は、差分をコード化することなくブロックベクトルとして使用される。

【0124】

別の実施形態では、セグメントのうちの１つに対するイントラ予測方法を示すためにイントラモードをシグナリングする。このシグナリングは、イントラ予測モードの別個のセットに基づくことができる。一例では、通常のイントラ予測はＭ個の予測モードを有してもよく、一方、イントラ予測モードの別個のセットはＮ個のモードであり得る。ＮはＭと等しくない場合がある。選択したイントラモードを予測するために、最確モード（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ、ＭＰＭ）リストを取得してもよい。一例では、Ｎ個のイントラ予測モードは、Ｍ個の通常のイントラ予測モードのフルセットのサブセットであり得る。

【0125】

別の実施形態では、イントラ予測モード候補リストを取得し、リスト内のエントリのインデックスをシグナリングすることによって、リストから１つの候補を選択する。選択した候補は、差分をコード化することなくイントラ予測モードとして使用される。

【0126】

別の実施形態では、イントラ予測モード候補リストを取得し、リスト内のデフォルトのエントリ位置を選択することによって、リストから１つの候補を選択する。例えば、デコーダは、デフォルトのエントリ位置としてリスト内の第１のエントリを選択することができる。この場合、インデックスをシグナリングする必要がない可能性がある。選択した候補は、差分をコード化することなくイントラ予測モードとして使用される。

【0127】

実施形態によれば、少なくとも１つのプロセッサ、及びコンピュータプログラム命令を記憶するメモリが提供されてもよい。コンピュータプログラム命令は、少なくとも１つのプロセッサによって実行されると、エンコーダ又はデコーダを実装することができ、また本開示に記載の任意の数の機能を実行することができる。例えば、図１７を参照すると、少なくとも１つのプロセッサは、デコーダ（８００）を実装することができる。コンピュータプログラム命令は、例えば、少なくとも１つのプロセッサに、（例えば、エンコーダから）受信されたコード化されたピクチャの現在のブロックを再構成させるように構成された再構成コード（８１０）を含み得る。再構成コード（８１０）は、例えば、シグナリング又は推定コード（８２０）、セグメント化コード（８３０）、第１の予測コード（８４０）、及び／又は第２の予測コード（８５０）を含み得る。

【0128】

本開示の実施形態によれば、シグナリング又は推定コード（８２０）は、少なくとも１つのプロセッサに、構文要素（例えば、フラグ、インデックスなど）の値をシグナリングさせるように構成されてもよく、この値は、エンコーダからデコーダ８００によって、又は他の方法で取得されてもよい。代替的又は追加的に、本開示の実施形態によれば、シグナリング又は推定コード（８２０）は、少なくとも１つのプロセッサに、情報（例えば、デフォルトのイントラ予測モード及び／又はＩＢＣに関連するモード情報）を推定させるように構成されてもよい。

【0129】

本開示の実施形態によれば、セグメント化コード（８３０）は、少なくとも１つのプロセッサに、現在ブロックのサンプルを第１のセグメント及び第２のセグメントを含む複数のセグメントにセグメント化させるように構成される現在ブロックセグメント化コードを含み得る。例えば、現在ブロックセグメント化コードは、少なくとも１つのプロセッサに、現在ブロックのサンプルに基づいて少なくとも１つの閾値を計算させ、少なくとも１つの閾値に基づいて現在ブロックのサンプルをセグメント化させるように構成されてもよい。そのような場合及び他の場合において、現在ブロックのサンプルのセグメント化は、第１の予測モードを適用する前に実行されてもよい。あるいは、図１６の説明を参照すると、現在ブロックセグメント化コードは、少なくとも１つのプロセッサに、取得された参照ブロックのセグメント化情報（例えば、セグメント化マップ）を現在ブロックにマッピングすることによって、現在ブロックのサンプルをセグメント化させるように構成されてもよい。そのような場合、セグメント化コード（８３０）は、少なくとも１つのプロセッサに、コード化されたピクチャの参照ブロックのサンプルを複数のセグメントにセグメント化させて、参照ブロックのセグメント化情報を取得させるように構成された参照ブロックセグメント化コードを更に含み得る。そのような場合及び他の場合において、サンプルのセグメント化は、少なくとも部分的に、第１の予測モードの適用と同時に実行されてもよい。

【0130】

本開示の実施形態によれば、第１の予測コード（８４０）は、少なくとも１つのプロセッサに、コード化されたピクチャの現在ブロックの第１のセグメントの予測のために第１の予測モードを適用させるように構成されてもよい。実施形態によれば、第１の予測モードはＩＢＣモードであり得る。図１６を参照する実施形態によれば、第１の予測コード（８４０）は、参照ブロックのサンプルをセグメント化する前、及び現在ブロックのサンプルをセグメント化する前に、少なくとも１つのプロセッサに、ブロックベクトルに基づいて参照ブロックを識別させるように構成されてもよい。そのような場合、第１の予測コード（８４０）は、少なくとも１つのプロセッサに、セグメント化情報を使用して、現在ブロックの予測ブロックを、現在ブロックの第１のセグメントに対応する参照ブロックのセグメントと結合することによって結合予測ブロックを取得させるように構成されてもよい。

【0131】

第２の予測コード（８５０）は、少なくとも１つのプロセッサに、コード化されたピクチャの現在ブロックの第２のセグメントの予測のために、第１の予測モードとは異なる第２の予測モードを適用させるように構成されてもよい。実施形態によれば、第２の予測モードは、隣接する再構成されたサンプルを使用してイントラ予測を実行するイントラ予測モードであり得る。図１６を参照する実施形態によれば、第２の予測コード（８５０）は、少なくとも１つのプロセッサに、現在ブロックの第２のセグメントを予測する予測ブロックを取得させるように構成されてもよく、予測ブロックは、結合予測ブロックを取得するために使用される。

【0132】

実施形態によれば、上記のプロセスに対応するエンコーダ側のプロセスは、上記の説明に基づいて、当業者によって理解されるように、ピクチャをエンコードするためのエンコードコードによって実装されてもよい。

【0133】

上記の本開示の実施形態の技術は、コンピュータ可読命令を使用し、且つ１つ又は複数のコンピュータ可読媒体に物理的に記憶されたコンピュータソフトウェアとして実装することができる。例えば、図１８は、開示された主題の実施形態を実装するのに適したコンピュータシステム（９００）を示す。

【0134】

コンピュータソフトウェアは、任意の適切な機械コード又はコンピュータ言語を使用してコード化することができ、これらの機械コード又はコンピュータ言語は、アセンブリ、コンパイル、リンク、又は同様のメカニズムを受けて、コンピュータ中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）、グラフィック処理装置（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）などによって直接、又は解釈、マイクロコード実行などを通じて実行できる命令を含むコードを作成することができる。

【0135】

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネット装置などを含めて、様々なタイプのコンピュータ又はその構成要素上で実行することができる。

【0136】

コンピュータシステム（９００）について図１８に示されている構成要素は、本質的に例示的なものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用範囲又は機能に関するいかなる限定も示唆することを意図するものではない。また、構成要素の構成は、コンピュータシステム（９００）の例示的な実施形態に示されている構成要素のいずれか１つ又は組み合わせに関連する依存性又は要件を有すると解釈されるべきではない。

【0137】

コンピュータシステム（９００）は、特定のヒューマンインターフェース入力デバイスを含むことができる。そのようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（声、拍手など）、視覚入力（ジェスチャーなど）、嗅覚入力（図示せず）を介して、１人以上の人間ユーザによる入力に応答することができる。ヒューマンインターフェースデバイスはまた、オーディオ（音声、音楽、周囲音など）、画像（走査画像、静止画像カメラから取得した写真画像など）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオなど）など、必ずしも人間による意識的な入力に直接関連しない特定のメディアをキャプチャするために使用することができる。

【0138】

入力ヒューマンインターフェースデバイスは、キーボード（９０１）、マウス（９０２）、トラックパッド（９０３）、タッチスクリーン（９１０）、データグローブ、ジョイスティック（９０５）、マイクロフォン（９０６）、スキャナ（９０７）、及びカメラ（９０８）のうちの１つ又は複数を含むことができる（それぞれのうちの１つのみを示す）。

【0139】

コンピュータシステム（９００）はまた、特定のヒューマンインターフェース出力デバイスを含むことができる。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、及び匂い／味覚を通じて、１人以上の人間ユーザの感覚を刺激することができる。そのようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（９１０）、データグローブ、又はジョイスティック（９０５）による触覚フィードバックであるが、入力デバイスとして機能しない触覚フィードバックデバイスもあり得る）を含み得る。例えば、そのようなデバイスは、オーディオ出力デバイス（スピーカ（９０９）、ヘッドフォン（図示せず）など）、視覚出力デバイス（それぞれがタッチスクリーン入力機能を有しても有しなくてもよく、それぞれが触覚フィードバック機能を有しても有しなくてもよく、一部がステレオグラフィック出力などの手段を介して２次元視覚出力又は３次元以上の出力を出力することができるＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（９１０）、仮想現実メガネ（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）など）、及びプリンタ（図示せず）であり得る。

【0140】

コンピュータシステム（９００）はまた、人間がアクセス可能な記憶装置、及びＣＤ／ＤＶＤ付きのＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（９２０）を含む光学媒体又は同様の媒体（９２１）、サムドライブ（９２２）、リムーバブルハードドライブ又はソリッドステートドライブ（９２３）、テープ及びフロッピーディスクなどのレガシー磁気媒体（図示せず）、セキュリティドングルなどの特殊なＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス（図示せず）などの関連する媒体を含むことができる。

【0141】

当業者はまた、現在開示されている主題に関連して使用される「コンピュータ可読媒体」という用語が、伝送媒体、搬送波、又は他の一時的な信号を包含しないことを理解すべきである。

【0142】

コンピュータシステム（９００）はまた、１つ又は複数の通信ネットワークへのインターフェースを含むことができる。ネットワークは、例えば、無線、有線、光であり得る。ネットワークは更に、ローカル、広域、メトロポリタン、自動車及び産業用、リアルタイム、遅延耐性などであり得る。ネットワークの例としては、イーサネット、無線ＬＡＮなどのローカルエリアネットワーク、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルＴＶ、衛星ＴＶ、及び地上波放送ＴＶを含むＴＶ有線又は無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む自動車及び産業用ネットワークなどが挙げられる。特定のネットワークでは、一般に、特定の汎用データポート又は周辺バス（９４９）（例えば、コンピュータシステム（９００）のＵＳＢポートなど）に接続された外部ネットワークインターフェースアダプタが必要であり、他のネットワークは、一般に、以下に説明されるように、システムバスに接続することによってコンピュータシステム９００のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインターフェース又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（９００）は他のエンティティと通信することができる。そのような通信は、例えば、ローカル又は広域デジタルネットワークを使用する他のコンピュータシステムへの一方向、受信のみ（例えば、放送ＴＶ）、一方向送信のみ（例えば、特定のＣＡＮｂｕｓデバイスへのＣＡＮｂｕｓ）、又は双方向であり得る。そのような通信は、クラウドコンピューティング環境（９５５）への通信を含むことができる。上記のように、特定のプロトコル及びプロトコルスタックは、これらのネットワーク及びネットワークインターフェースのそれぞれで使用することができる。

【0143】

前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶装置、及びネットワークインターフェース（９５４）は、コンピュータシステム（９００）のコア（９４０）に接続することができる。

【0144】

コア（９４０）は、１つ又は複数の中央処理装置（ＣＰＵ）（９４１）、グラフィック処理装置（ＧＰＵ）（９４２）、フィールドプログラマブルゲートエリア（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｅａ、ＦＰＧＡ）の形態の特殊なプログラマブル処理ユニット（９４３）、特定のタスク用のハードウェアアクセラレータ（９４４）などを含むことができる。これらのデバイスは、読み取り専用メモリ（Ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）（９４５）、ランダムアクセスメモリ（９４６）、ユーザがアクセスできない内部ハードドライブ、ＳＳＤなどの内部大容量記憶装置（９４７）と共に、システムバス（９４８）を介して接続されてもよい。一部のコンピュータシステムでは、システムバス（９４８）は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするために、１つ又は複数の物理プラグの形態でアクセス可能である。周辺機器は、コアのシステムバス（９４８）に直接接続することも、周辺バス（９４９）を介して接続することもできる。周辺バスのアーキテクチャには、ＰＣＩ、ＵＳＢなどが含まれる。グラフィックアダプタ（９５０）は、コア（９４０）に含まれてもよい。

【0145】

ＣＰＵ（９４１）、ＧＰＵ（９４２）、ＦＰＧＡ（９４３）、及びアクセラレータ（９４４）は、特定の命令を実行することができ、これらの命令は、組み合わせて前述のコンピュータコードを構成することができる。そのコンピュータコードは、ＲＯＭ（９４５）又はＲＡＭ（９４６）に記憶することができる。移行データはＲＡＭ（９４６）に記憶することもできるが、永続データは、例えば内部大容量記憶装置（９４７）に記憶することができる。１つ又は複数のＣＰＵ（９４１）、ＧＰＵ（９４２）、大容量記憶装置（９４７）、ＲＯＭ（９４５）、ＲＡＭ（９４６）などと密接に関連付けることができるキャッシュメモリを使用することで、任意のメモリデバイスへの高速記憶及び検索を可能にすることができる。

【0146】

コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構築されたものであってもよく、又はそれらは、コンピュータソフトウェア技術の当業者によく知られ、利用可能な種類のものであってもよい。

【0147】

限定ではなく、一例として、アーキテクチャ、具体的にはコア（９４０）を有するコンピュータシステム（９００）は、プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）が１つ又は複数の有形のコンピュータ可読媒体に具体化されたソフトウェアを実行する結果として機能を提供することができる。そのようなコンピュータ可読媒体は、上記で紹介したユーザがアクセス可能な大容量記憶装置に関連付けられた媒体、及びコア内部大容量記憶装置（９４７）又はＲＯＭ（９４５）などの非一時的な性質を有するコア（９４０）の特定の記憶装置であり得る。本開示の様々な実施形態を実施するソフトウェアは、そのようなデバイスに記憶され、コア（９４０）によって実行され得る。コンピュータ可読媒体は、特定の必要に応じて、１つ又は複数のメモリデバイス又はチップを含むことができる。ソフトウェアは、コア（９４０）、特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）に、ＲＡＭ（９４６）に記憶されたデータ構造を定義すること、及びソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を修正することを含めて、本明細書に記載の特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。更に又は代替として、コンピュータシステムは、ソフトウェアの代わりに又はソフトウェアと共に動作して本明細書に記載の特定のプロセス又は特定のプロセスの特定の部分を実行することができる回路（例えば、アクセラレータ（９４４））に配線され、又は他の方法で具体化された論理の結果として機能を提供することができる。ソフトウェアへの言及は、論理を包含することができ、必要に応じてその逆も同様である。コンピュータ可読媒体への言及は、実行用のソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行用の論理を具体化する回路、又は必要に応じてその両方を包含することができる。本開示は、ハードウェア及びソフトウェアの任意の適切な組み合わせを包含する。

【0148】

本開示は、いくつかの非限定的な例示的な実施形態を説明してきたが、本開示の範囲内にある変更、変形、及び様々な置換同等物が存在する。したがって、当業者は、本明細書に明示的に示されていないか又は記載されていないが、本開示の原理を具体化し、したがってその精神及び範囲内にある多数のシステム及び方法を考案することができることが理解されるであろう。

【符号の説明】

【0149】

800 デコーダ
810 再構成コード
820 シグナリング又は推定コード
830 セグメント化コード
840 第１の予測コード
850 第２の予測コード
948 システムバス
950 グラフィックアダプタ
954 ネットワークインターフェース

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図6A】

【図6B】

【図6C】

【図6D】

【図6E】

【図6F】

【図6G】

【図6H】

【図6I】

【図6J】

【図7A】

【図7B】

【図7C】

【図7D】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図13C】

【図13D】

【図14】

【図15】

【図16】

【図17】

【図18】

【手続補正書】

【提出日】2024-01-24

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

エンコーダを実装する少なくとも1つのプロセッサにより実行される方法であって、
ピクチャを受信するステップと、
前記ピクチャをエンコーディングするステップと
を含み、前記エンコーディングするステップは、前記ピクチャの現在ブロックを予測するステップを含み、前記予測するステップが、
前記現在ブロックのサンプルを、第１のセグメント及び第２のセグメントを含む複数のセグメントにセグメント化するステップと、
イントラブロックコピー（ＩＢＣ）モードである第１の予測モードを用いて、前記ピクチャの前記現在ブロックの前記第１のセグメントを予測するステップと、
前記第１の予測モードとは異なる第２の予測モードを用いて、前記ピクチャの前記現在ブロックの前記第２のセグメントを予測するステップであって、前記第２の予測モードが、隣接する再構成されたサンプルを使用してイントラ予測を実行するイントラ予測モードである、ステップとを含む、方法。

【請求項2】

前記第１の予測モードと前記第２の予測モードとをデーコーダにシグナリングするステップをさらに含む、請求項１に記載の方法。

【請求項3】

前記現在ブロックを予測する前記ステップは、前記第１の予測モードをシグナリングするステップを更に含む、請求項２に記載の方法。

【請求項4】

前記現在ブロックを予測する前記ステップは、前記第２の予測モードをシグナリングするステップを含む、請求項２に記載の方法。

【請求項5】

前記セグメント化するステップが、
前記現在ブロックの前記サンプルに基づいて、少なくとも１つの閾値を計算するステップと、
前記少なくとも1つの閾値に基づいて、前記現在ブロックの前記サンプルをセグメント化するステップと
を含む、請求項１に記載の方法。

【請求項6】

前記現在ブロックを予測する前記ステップは、前記ピクチャの参照ブロックのサンプルを複数のセグメントにセグメント化して、前記参照ブロックのセグメント化情報を取得するステップを更に含み、
前記現在ブロックの前記サンプルをセグメント化する前記ステップは、前記参照ブロックの前記セグメント化情報を前記現在ブロックにマッピングするステップを含む、請求項１に記載の方法。

【請求項7】

前記現在ブロックの前記第１のセグメントを予測する前記ステップは、前記参照ブロックの前記サンプルをセグメント化する前で、かつ、前記現在ブロックの前記サンプルをセグメント化する前に、ブロックベクトルに基づいて前記参照ブロックを識別するステップを含み、
前記マッピングするステップは、前記ブロックベクトルに基づいて前記参照ブロックの前記セグメント化情報を前記現在ブロックにマッピングするステップを含む、請求項６に記載の方法。

【請求項8】

前記現在ブロックの前記第２のセグメントを予測する前記ステップは、前記現在ブロックの前記第２のセグメントを予測する予測ブロックを取得するステップを含み、
前記現在ブロックの前記第１のセグメントを予測する前記ステップは、前記セグメント化情報を使用して、前記現在ブロックの前記予測ブロックを、前記現在ブロックの前記第１のセグメントに対応する前記参照ブロックのセグメントと結合することによって結合予測ブロックを取得するステップを更に含む、請求項７に記載の方法。

【請求項9】

前記セグメント化情報は、セグメント化マップである、請求項８に記載の方法。

【請求項10】

前記現在ブロックの前記サンプルをセグメント化する前記ステップは、前記第１のセグメントを予測する前に実行される、請求項１に記載の方法。

【請求項11】

システムであって、
コンピュータプログラムコードを記憶するように構成された少なくとも１つのメモリと、
前記コンピュータプログラムコードにアクセスし、前記コンピュータプログラムコードによって指示されたとおりに動作するように構成された少なくとも１つのプロセッサとを備え、前記コンピュータプログラムコードは、
前記少なくとも１つのプロセッサに、請求項１～１０のいずれか１項に記載の方法を実行させるように構成される、システム。

【請求項12】

請求項１～１０のいずれか１項に記載の方法をコンピュータに実行させるように構成されるコンピュータプログラム。

【外国語明細書】