特表 2024-514294 マルチメディアデータ処理方法、装置、機器、コンピュータ可読記憶媒体及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-01

(54)【発明の名称】マルチメディアデータ処理方法、装置、機器、コンピュータ可読記憶媒体及びコンピュータプログラム

(51)【国際特許分類】

   H04N 19/11 20140101AFI20240325BHJP

   H04N 19/136 20140101ALI20240325BHJP

   H04N 19/157 20140101ALI20240325BHJP

   H04N 19/176 20140101ALI20240325BHJP

   H04N 19/70 20140101ALI20240325BHJP

【ＦＩ】

H04N19/11

H04N19/136

H04N19/157

H04N19/176

H04N19/70

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023560291

(86)(22)【出願日】2022-09-13

(85)【翻訳文提出日】2023-09-29

(86)【国際出願番号】 CN2022118502

(87)【国際公開番号】W WO2023065891

(87)【国際公開日】2023-04-27

(31)【優先権主張番号】202111221890.5

(32)【優先日】2021-10-20

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】514187420

【氏名又は名称】テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ワン，インビン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159NN03

5C159RC12

5C159TA31

5C159TB08

5C159TC02

5C159TC42

5C159TC51

5C159UA02

5C159UA05

5C159UA33

(57)【要約】

本出願の実施例ではマルチメディアデータ処理方法、装置、機器、コンピュータ可読記憶媒体及びコンピュータプログラムが提供され、該方法はマルチメディアデータフレームにおけるコーディング待ちデータブロックの属性情報を取得し；前記コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを取得し、前記第一目標参照データブロックは第一参照データブロック集合、第二参照データブロック集合、又は前記第一参照データブロック集合と前記第二参照データブロック集合とを融合した第三参照データブロック集合から選択され；及び、前記第一目標参照データブロックに基づいて前記コーディング待ちデータブロックに対して予測コーディングを行うステップを含む。本出願により、メディアデータのコーディングパフォーマンスを効果的に向上させることができる。

【特許請求の範囲】

【請求項1】

コンピュータ機器が実行する、マルチメディアデータを処理する方法であって、
マルチメディアデータフレームにおけるコーディング待ちデータブロックの属性情報を取得するステップ；
前記コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを取得するステップであって、前記第一目標参照データブロックは第一参照データブロック集合、第二参照データブロック集合、又は、前記第一参照データブロック集合と前記第二参照データブロック集合とを融合した第三参照データブロック集合から選択され、前記第一参照データブロック集合は前記コーディング待ちデータブロックとの間に隣接関係がないコーディング済みのデータブロックを含み、前記第二参照データブロック集合は前記コーディング待ちデータブロックとの間に隣接関係があるコーディング済みのデータブロックを含む、ステップ；及び
前記第一目標参照データブロックに基づいて前記コーディング待ちデータブロックに対して予測コーディングを行うステップを含む、方法。

【請求項2】

請求項1に記載の方法であって、
前記コーディング待ちデータブロックの属性情報は前記コーディング待ちデータブロックの属するマルチメディアデータフレームのメディア類型を含み、
前記コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを取得するステップは、
前記マルチメディアデータフレームのメディア類型がフレーム内類型である場合、前記第一参照データブロック集合又は前記第三参照データブロック集合からコーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを得るステップ；及び
前記マルチメディアデータフレームのメディア類型が非フレーム内類型である場合、前記第二参照データブロック集合からコーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを得るステップを含む、方法。

【請求項3】

請求項1に記載の方法であって、
前記コーディング待ちデータブロックの属性情報は前記コーディング待ちデータブロックの属するマルチメディアデータフレームの参照フラグを含み、
前記コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを取得するステップは、
前記マルチメディアデータフレームの参照フラグが第一参照フラグである場合、前記第一参照データブロック集合又は前記第三参照データブロック集合からコーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを得るするステップ；及び
前記マルチメディアデータフレームの参照フラグが第二参照フラグである場合、前記第二参照データブロック集合からコーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを得るステップを含み、
前記第一参照フラグはコーディング待ちデータブロックの参照データブロックの選択範囲が前記第一参照データブロック集合又は前記第三参照データブロック集合であることを指示するために用いられ、前記第二参照フラグはコーディング待ちデータブロックの参照データブロックの選択範囲が前記第二参照データブロック集合であることを指示するために用いられる、方法。

【請求項4】

請求項1乃至3のうちの何れか1項に記載の方法であって、
前記第一参照データブロック集合は1つ又は複数の第一参照データブロックを含み、
前記マルチメディアデータフレームのコーディング方式がシリアルコーディング方式である場合、前記第一参照データブロックは以下の2つの条件を満足したコーディング済みのデータブロックであり、即ち、前記マルチメディアデータフレームにおけるパラメータ関連付け関係が書き戻し制限条件を満足しており、及び、前記コーディング待ちデータブロックと同じコーディングタイルに属し、
前記パラメータ関連付け関係は第一位置情報、最大コーディングブロックのサイズ情報及び第二位置情報の間の関連付け関係を反映するために用いられ、前記第一位置情報とはコーディング済みのデータブロックの前記マルチメディアデータフレームにおける位置情報を指し、前記第二位置情報とは前記コーディング待ちデータブロックの前記マルチメディアデータフレームにおける位置情報を指し、
前記書き戻し制限条件は前記コーディング済みのデータブロックを前記第一参照データブロック集合に書き込む制限遅延を反映するために用いられる、方法。

【請求項5】

請求項1乃至3のうちの何れか1項に記載の方法であって、
前記第一参照データブロック集合は1つ又は複数の第二参照データブロックを含み、
前記第二参照データブロックは以下の3つの条件を満足したコーディング済みのデータブロックであり、即ち、前記コーディング待ちデータブロックと同じコーディングタイルに属し、前記マルチメディアデータフレームにおけるパラメータ関連付け関係が書き戻し制限条件を満足しており、及び前記パラメータ関連付け関係がコーディング処理条件を満足しており、
前記パラメータ関連付け関係は第一位置情報、最大コーディングブロックのサイズ情報及び第二位置情報の間の関連付け関係を反映するために用いられ、前記第一位置情報とはコーディング済みのデータブロックの前記マルチメディアデータフレームにおける位置情報を指し、前記第二位置情報とは前記コーディング待ちデータブロックの前記マルチメディアデータフレームにおける位置情報を指し、
前記書き戻し制限条件は前記コーディング済みのデータブロックを前記第一参照データブロック集合に書き込む制限遅延を反映するために用いられる、方法。

【請求項6】

請求項1乃至3のうちの何れか1項に記載の方法であって、さらに、
前記マルチメディアデータフレームのコーディング方式がシリアルコーディング方式である場合、
それぞれ、第一位置情報、最大コーディングブロックのサイズ情報及び第二位置情報を取得するステップであって、前記第一位置情報とはコーディング済みのデータブロックの前記マルチメディアデータフレームにおける位置情報を指し、前記第二位置情報とは前記コーディング待ちデータブロックの前記マルチメディアデータフレームにおける位置情報を指す、ステップ；
書き戻し制限条件を取得するステップであって、前記書き戻し制限条件は前記コーディング済みのデータブロックを前記第一参照データブロック集合に書き込む制限遅延を反映するために用いられる、ステップ；
前記マルチメディアデータフレームから、パラメータ関連付け関係が書き戻し制限条件を満足しており、かつ前記コーディング待ちデータブロックと同じコーディングタイルに属するコーディング済みのデータブロックを選択するステップ；
選択したコーディング済みのデータブロックを第一参照データブロックと決定するステップであって、前記パラメータ関連付け関係は前記第一位置情報、前記最大コーディングブロックのサイズ情報及び前記第二位置情報の間の関連付け関係を反映するために用いられる、ステップ；及び
前記第一参照データブロックを前記第一参照データブロック集合に追加するステップを含む、方法。

【請求項7】

請求項6に記載の方法であって、
前記マルチメディアデータフレームから、パラメータ関連付け関係が書き戻し制限条件を満足しており、かつ前記コーディング待ちデータブロックと同じコーディングタイルに属するコーディング済みのデータブロックを選択するステップは、
前記第一位置情報及び前記第二位置情報に基づいて、前記マルチメディアデータフレームから、前記コーディング待ちデータブロックと同一のコーディングタイルに属するコーディング済みのデータブロックを第一候補参照データブロックと決定するステップ；
前記書き戻し制限条件の下で、前記マルチメディアデータフレームにおいてコーディング済みのデータブロックと前記コーディング待ちデータブロックとの間の間隔データブロック制限数量を決定するステップ；及び
前記第一位置情報、前記最大コーディングブロックのサイズ情報及び前記第二位置情報に基づいて、前記第一候補参照データブロックと前記コーディング待ちデータブロックとの間の間隔データブロック数量をカウントするステップ；及び
間隔データブロック数量が前記間隔データブロック制限数量よりも大きい第一候補参照データブロックを、選択したコーディング済みのデータブロックと決定するステップを含む、方法。

【請求項8】

請求項7に記載の方法であって、
前記第一位置情報、前記最大コーディングブロックのサイズ情報及び第二位置情報に基づいて、前記第一候補参照データブロックと前記コーディング待ちデータブロックとの間の間隔データブロック数量をカウントするステップは、
前記第一位置情報及び前記最大コーディングブロックのサイズ情報に基づいて、前記第一候補参照データブロックの行標識及び列標識を決定するステップ；
前記第二位置情報及び前記最大コーディングブロックのサイズ情報に基づいて、前記コーディング待ちデータブロックの行標識及び列標識を決定するステップ；
前記コーディング待ちデータブロックのサイズ情報に基づいて、前記マルチメディアデータフレームにおける各行のデータブロック数量を決定するステップ；及び
前記各行のデータブロック数量、前記第一候補参照データブロックの行標識及び列標識、並びに前記コーディング待ちデータブロックの行標識及び列標識に基づいて、前記第一候補参照データブロックと前記コーディング待ちデータブロックとの間の間隔データブロック数量をカウントするステップを含む、方法。

【請求項9】

請求項1乃至3のうちの何れか1項に記載の方法であって、さらに、
それぞれ、第一位置情報、最大コーディングブロックのサイズ情報及び第二位置情報を取得するステップであって、前記第一位置情報とはコーディング済みのデータブロックの前記マルチメディアデータフレームにおける位置情報を指し、前記第二位置情報とは前記コーディング待ちデータブロックの前記マルチメディアデータフレームにおける位置情報を指す、ステップ；
書き戻し制限条件及びコーディング処理条件を取得するステップであって、前記書き戻し制限条件は前記コーディング済みのデータブロックを前記第一参照データブロック集合に書き込む制限遅延を反映するために用いられる、ステップ；
前記マルチメディアデータフレームから、パラメータ関連付け関係が書き戻し制限条件及び前記コーディング処理条件を満足しており、かつ前記コーディング待ちデータブロックと同じコーディングタイルに属するコーディング済みのデータブロックを第二参照データブロックと決定するステップであって、前記パラメータ関連付け関係は前記第一位置情報、前記コーディング待ちデータブロックのサイズ情報及び前記第二位置情報の間の関連付け関係を反映するために用いられる、ステップ；及び
前記第二参照データブロックを前記第一参照データブロック集合に追加するステップを含む、方法。

【請求項10】

請求項9に記載の方法であって、
前記マルチメディアデータフレームから、パラメータ関連付け関係が書き戻し制限条件及び前記コーディング処理条件を満足しており、かつ前記コーディング待ちデータブロックと同じコーディングタイルに属するコーディング済みのデータブロックを第二参照データブロックと決定するステップは、
前記第一位置情報及び前記第二位置情報に基づいて、前記マルチメディアデータフレームから、前記コーディング待ちデータブロックと同一のコーディングタイルに属するコーディング済みのデータブロックを第一候補参照データブロックと決定するステップ；
前記第一候補参照データブロックのうち、パラメータ関連付け関係が書き戻し制限条件を満足した第一候補参照データブロックを第二候補参照データブロックと決定するステップ；
前記書き戻し制限条件の下で、前記マルチメディアデータフレームにおいてコーディング済みのデータブロックと前記コーディング待ちデータブロックとの間の第一データブロック制限距離を決定するステップ；
前記コーディング処理条件の下で、前記マルチメディアデータフレームにおいてコーディング済みのデータブロックと前記コーディング待ちデータブロックとの間の第二データブロック制限距離を決定するステップ；及び
前記第一位置情報、前記最大コーディングブロックのサイズ情報、前記第二位置情報、前記第一データブロック制限距離及び前記第二データブロック制限距離に基づいて、前記第二候補参照データブロックのうちから、前記コーディング処理条件を満足した第二候補参照データブロックを前記第二参照データブロックと決定するステップを含む、方法。

【請求項11】

請求項10に記載の方法であって、
前記第一位置情報、前記最大コーディングブロックのサイズ情報、前記第二位置情報、前記第一データブロック制限距離及び前記第二データブロック制限距離に基づいて、前記第二候補参照データブロックのうちから、前記コーディング処理条件を満足した第二候補参照データブロックを第二参照データブロックと決定するステップは、
前記第一位置情報及び前記最大コーディングブロックのサイズ情報に基づいて、前記第二候補参照データブロックの行標識及び列標識を決定するステップ；
前記第二位置情報及び前記最大コーディングブロックのサイズ情報に基づいて、前記コーディング待ちデータブロックの行標識及び列標識を決定するステップ；
前記第二候補参照データブロックのうち、行標識が前記コーディング待ちデータブロックの行標識以下である第二候補参照データブロックを第三候補参照データブロックと決定するステップ；
前記第三候補参照データブロックの行標識及び前記コーディング待ちデータブロックの行標識に基づいて、前記第三候補参照データブロックと前記コーディング待ちデータブロックとの間の行距離を決定するステップ；
前記第三候補参照データブロックの列標識及び前記コーディング待ちデータブロックの列標識に基づいて、前記第三候補参照データブロックと前記コーディング待ちデータブロックとの間の列距離を決定するステップ；
列距離が第一距離閾値よりも小さい第三候補参照データブロックを前記第二参照データブロックと決定するステップであって、前記第一距離閾値は前記第一データブロック制限距離、前記第二データブロック制限距離、及び前記第三候補参照データブロックと前記コーディング待ちデータブロックとの間の行距離に基づいて決定される、ステップを含む、方法。

【請求項12】

請求項1乃至3のうちの何れか1項に記載の方法であって、
前記第二参照データブロック集合は1つ又は複数の第三参照データブロックを含み、
前記第三参照データブロックは前記マルチメディアデータフレームにおいて前記コーディング待ちデータブロックと同一のコーディング処理ユニットに属するコーディング済みのデータブロックである、方法。

【請求項13】

請求項1乃至3のうちの何れか1項に記載の方法であって、
前記第二参照データブロック集合は1つ又は複数の第四参照データブロックを含み、
前記第四参照データブロックは前記マルチメディアデータフレームにおいて前記コーディング待ちデータブロックと隣接関係があり、かつ前記コーディング待ちデータブロックと同じコーディングタイルに属するコーディング済みのデータブロックである、方法。

【請求項14】

請求項13に記載の方法であって、
前記第四参照データブロックと前記コーディング待ちデータブロックが隣接関係を有するとは、前記第四参照データブロックが前記コーディング待ちデータブロックと同じ最大コーディングブロックに属することを指す、方法。

【請求項15】

請求項13に記載の方法であって、
前記第四参照データブロックと前記コーディング待ちデータブロックが隣接関係を有するとは、前記第四参照データブロックが前記コーディング待ちデータブロックに隣接するN個の最大コーディングブロックのうちにあり、かつ前記最大コーディングブロックのサイズがサイズ閾値以下であることを指し、Nは前記最大コーディングブロックのサイズ情報に基づいて決定される、方法。

【請求項16】

請求項13に記載の方法であって、
前記第四参照データブロックと前記コーディング待ちデータブロックが隣接関係を有するとは、前記第四参照データブロックが前記コーディング待ちデータブロックに隣接するN個の最大コーディングブロックのうちにあり、かつ前記最大コーディングブロックのサイズがサイズ閾値以上であることを指し、ここで、前記マルチメディアデータフレームにおいて、前記第四参照データブロックが第一方向に1つの最大コーディングブロック移動した場合、移動後の第四参照データブロックの所在する領域内で第二方向の一番上のコーナーにあるデータブロックは未再構成データブロックであり、前記第一方向及び前記第二方向は相対する2つの方向であり、前記第四参照データブロックが1つの最大コーディングブロックの距離移動したときの位置情報は前記コーディング待ちデータブロックの位置情報とは異なる、方法。

【請求項17】

請求項1乃至3のうちの何れか1項に記載の方法であって、
前記第一目標参照データブロックと前記コーディング待ちデータブロックとの間の距離はすべて第二距離閾値よりも小さく、
前記第一目標参照データブロックは前記マルチメディアデータフレームの整数画素位置にある、方法。

【請求項18】

請求項1乃至3のうちの何れか1項に記載の方法であって、
前記マルチメディアデータフレームのコーディング待ちデータブロックの数量は複数であり、前記方法は、さらに、
前記マルチメディアデータフレームの各コーディング待ちデータブロックの属性情報を取得するステップ；
前記マルチメディアデータフレームの各コーディング待ちデータブロックの属性情報に基づいて、前記マルチメディアデータフレームにおけるすべてのコーディング待ちデータブロックに対応する第一目標参照データブロックが何れも前記第二参照データブロック集合に属すると決定する場合、前記マルチメディアデータフレームにおけるコーディング待ちデータブロックに対してフィルタリング処理を行うステップ；
前記マルチメディアデータフレームの各コーディング待ちデータブロックの属性情報に基づいて、前記マルチメディアデータフレームに、コーディング待ちデータブロックに対応する前記第一目標参照データブロックであって、前記第一参照データブロック集合から選択されるものが存在すると決定する場合、前記マルチメディアデータフレームにおけるコーディング待ちデータブロックに対してフィルタリング処理を行うことを一時停止するステップ；及び
前記マルチメディアデータフレームの各コーディング待ちデータブロックの属性情報に基づいて、前記マルチメディアデータフレームに、コーディング待ちデータブロックに対応する前記第一目標参照データブロックであって、前記第一目標参照データブロックの第一領域が前記第一参照データブロック集合に属し、かつ前記第一目標参照データブロックの第二領域が前記第二参照データブロック集合に属するものが存在すると決定する場合、前記マルチメディアデータフレームにおけるコーディング待ちデータブロックに対してフィルタリング処理を行うことを一時停止するステップを含む、方法。

【請求項19】

コンピュータ機器が実行する、マルチメディアデータを処理する方法であって、
マルチメディアデータフレームにおけるデコーディング待ちデータブロックの属性情報を取得するステップ；

前記デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを取得するステップであって、前記第二目標参照データブロックは第一参照データブロック集合、第二参照データブロック集合、又は、前記第一参照データブロック集合と前記第二参照データブロック集合とを融合した第三参照データブロック集合から選択され、前記第一参照データブロック集合は前記デコーディング待ちデータブロックとの間に隣接関係がないデコーディング済みのデータブロックを含み、前記第二参照データブロック集合は前記デコーディング待ちデータブロックとの間に隣接関係があるデコーディング済みのデータブロックを含む、ステップ；及び
前記第二目標参照データブロックに基づいて前記デコーディング待ちデータブロックに対してデコーディングを行うステップを含む、方法。

【請求項20】

請求項19に記載の方法であって、
前記デコーディング待ちデータブロックの属性情報は前記デコーディング待ちデータブロックの属するマルチメディアデータフレームのメディア類型を含み、
前記デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを取得するステップは、
前記マルチメディアデータフレームのメディア類型がフレーム内類型である場合、前記第一参照データブロック集合又は前記第三参照データブロック集合から前記デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを決定するステップ；及び
前記マルチメディアデータフレームのメディア類型が非フレーム内類型である場合、前記第二参照データブロック集合から前記デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを決定するステップを含む、方法。

【請求項21】

請求項19に記載の方法であって、
前記デコーディング待ちデータブロックの属性情報は前記デコーディング待ちデータブロックの属するマルチメディアデータフレームの参照フラグを含み、
前記前記デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを取得するステップは、
前記マルチメディアデータフレームの参照フラグが第一参照フラグである場合、前記第一参照データブロック集合又は前記第三参照データブロック集合から前記デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを決定するステップ；及び
前記マルチメディアデータフレームの参照フラグが第二参照フラグである場合、前記第二参照データブロック集合から前記デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを決定するステップを含み、
前記第一参照フラグはデコーディング待ちデータブロックの参照データブロックの選択範囲が第一参照データブロック集合又は第三参照データブロック集合であることを指示するために用いられ、前記第二参照フラグはデコーディング待ちデータブロックの参照データブロックの選択範囲が第二参照データブロック集合であることを指示するために用いられる、方法。

【請求項22】

請求項19乃至21のうちの何れか1項に記載の方法であって、
前記第一参照データブロック集合は1つ又は複数の第一参照データブロックを含み、
前記マルチメディアデータフレームのデコーディング方式がシリアルデコーディング方式である場合、前記第一参照データブロックは以下の2つの条件を満足したコーディング済みのデータブロックであり、即ち、前記マルチメディアデータフレームにおけるパラメータ関連付け関係が書き戻し制限条件を満足しており、及び前記デコーディング待ちデータブロックと同じデコーディングタイルに属し、
前記パラメータ関連付け関係は第一位置情報、最大デコーディングブロックのサイズ情報及び第二位置情報の間の関連付け関係を反映するために用いられ、前記第一位置情報とはコーディング済みのデータブロックの前記マルチメディアデータフレームにおける位置情報を指し、前記第二位置情報とは前記デコーディング待ちデータブロックの前記マルチメディアデータフレームにおける位置情報を指し、
前記書き戻し制限条件は前記デコーディング済みのデータブロックを前記第一参照データブロック集合に書き込む制限遅延を反映するために用いられる、方法。

【請求項23】

請求項19乃至21のうちの何れか1項に記載の方法であって、
前記第一参照データブロック集合は1つ又は複数の第二参照データブロックを含み、
前記第二参照データブロックは以下の3つの条件を満足したコーディング済みのデータブロックであり、即ち、前記デコーディング待ちデータブロックと同じデコーディングタイルに属し、前記マルチメディアデータフレームのおけるパラメータ関連付け関係が書き戻し制限条件を満足しており、及び前記パラメータ関連付け関係がデコーディング処理条件を満足しており、
前記パラメータ関連付け関係は第一位置情報、最大コーディングブロックのサイズ情報及び第二位置情報の間の関連付け関係を反映するために用いられ、前記第一位置情報とはコーディング済みのデータブロックの前記マルチメディアデータフレームにおける位置情報を指し、前記第二位置情報とは前記コーディング待ちデータブロックの前記マルチメディアデータフレームにおける位置情報を指し、
前記書き戻し制限条件は前記デコーディング済みのデータブロックを前記第一参照データブロック集合に書き込む制限遅延を反映するために用いられる、方法。

【請求項24】

請求項19乃至21のうちの何れか1項に記載の方法であって、
前記第二参照データブロック集合は1つ又は複数の第三参照データブロックを含み、前記第三参照データブロックは前記マルチメディアデータフレームにおいて前記デコーディング待ちデータブロックと同一のデコーディング処理ユニットにあるデコーディング済みのデータブロックである、方法。

【請求項25】

請求項19乃至21のうちの何れか1項に記載の方法であって、
前記第二参照データブロック集合は1つ又は複数の第四参照データブロックを含み、前記第四参照データブロックは前記マルチメディアデータフレームにおいて前記デコーディング待ちデータブロックと隣接関係があり、かつ前記デコーディング待ちデータブロックと同じデコーディングタイルに属するデコーディング済みのデータブロックである、方法。

【請求項26】

請求項19に記載の方法であって、
前記マルチメディアデータフレームのデコーディング待ちデータブロックの数量は複数であり、前記方法は、さらに、
前記マルチメディアデータフレームの各デコーディング待ちデータブロックの属性情報を取得するステップ；
前記マルチメディアデータフレームの各コーディング待ちデータブロックの属性情報に基づいて、前記マルチメディアデータフレームにおけるすべてのデコーディング待ちデータブロックに対応する第二目標参照データブロックが何れも前記第二参照データブロック集合に属すると決定する場合、前記マルチメディアデータフレームにおけるデコーディング待ちデータブロックに対してフィルタリング処理を行うステップ；
前記マルチメディアデータフレームの各デコーディング待ちデータブロックの属性情報に基づいて、前記マルチメディアデータフレームに、デコーディング待ちデータブロックに対応する第二目標参照データブロックであって、前記第一参照データブロック集合に属するものが存在すると決定する場合、前記マルチメディアデータフレームにおけるデコーディング待ちデータブロックに対してフィルタリング処理を行うことを一時停止するステップ；
前記マルチメディアデータフレームの各デコーディング待ちデータブロックの属性情報に基づいて、前記マルチメディアデータフレームに、デコーディング待ちデータブロックに対応する第二目標参照データブロックであって、前記第二目標参照データブロックの第一領域が前記第一参照データブロック集合に属し、かつ前記第二目標参照データブロックの第二領域が前記第二参照データブロック集合に属するものが存在すると決定する場合、前記マルチメディアデータフレームにおけるデコーディング待ちデータブロックに対してフィルタリング処理を行うことを一時停止するステップを含む、方法。

【請求項27】

マルチメディアデータ処理装置であって、
マルチメディアデータフレームにおけるコーディング待ちデータブロックの属性情報を取得するように構成される第一取得モジュール；
前記コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを取得するように構成される第一マッチモジュールであって、前記第一目標参照データブロックは第一参照データブロック集合、第二参照データブロック集合、又は、前記第一参照データブロック集合と前記第二参照データブロック集合とを融合した第三参照データブロック集合から選択され、前記第一参照データブロック集合は前記コーディング待ちデータブロックとの間に隣接関係を有しないコーディング済みのデータブロックを含み、前記第二参照データブロック集合は前記コーディング待ちデータブロックとの間に隣接関係を有するコーディング済みのデータブロックを含む、第一マッチモジュール；及び
前記第一目標参照データブロックに基づいて前記コーディング待ちデータブロックに対して予測コーディングを行うように構成されるコーディングモジュールを含む、マルチメディアデータ処理装置。

【請求項28】

マルチメディアデータ処理装置であって、
マルチメディアデータフレームにおけるデコーディング待ちデータブロックの属性情報を取得するように構成される第二取得モジュール；
前記デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを取得するように構成される第二マッチモジュールであって、前記第二目標参照データブロックは第一参照データブロック集合、第二参照データブロック集合、又は、前記第一参照データブロック集合と前記第二参照データブロック集合とを融合した第三参照データブロック集合に属し、前記第一参照データブロック集合は前記デコーディング待ちデータブロックとの間に隣接関係を有しないデコーディング済みのデータブロックを含み、前記第二参照データブロック集合は前記デコーディング待ちデータブロックとの間に隣接関係を有するデコーディング済みのデータブロックを含む、第二マッチモジュール；及び
前記第二目標参照データブロックに基づいて前記デコーディング待ちデータブロックに対してデコーディングを行うように構成されるデコーディングモジュールを含む、マルチメディアデータ処理装置。

【請求項29】

処理器と、前記処理器に接続される記憶器と、を含むコンピュータ機器であって、
前記記憶器にはコンピュータプログラムが記憶されており、
前記処理器は、前記コンピュータプログラムを実行することで、請求項1乃至26のうちの何れか1項に記載の方法を実現するように構成される、コンピュータ機器。

【請求項30】

コンピュータに、請求項1乃至26のうちの何れか1項に記載の方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、2021年10月20日に中国専利局に出願した、出願番号が202111221890.5である中国特許出願に基づく優先権を主張するものであり、その全内容を参照によりここに援用する。

【0002】

本出願は、インターネットの技術分野に関し、特に、マルチメディアデータ処理方法、装置、機器、コンピュータ可読記憶媒体及びコンピュータプログラムに関するが、これらに限定されない。

【背景技術】

【0003】

マルチメディアデータ処理のプロセスでは通常、フレーム内予測コーディング（（intra predictive coding）方式でマルチメディアデータフレームに対して予測コーディングを行い、このようにして、マルチメディアデータフレームのコーディングパフォーマンスを向上させることができる。よって、フレーム内予測コーディング方式はマルチメディアデータ処理のプロセスに幅広く適用されている。しかし、実際には次のようなことを発見した。即ち、今のところ、フレーム内予測コーディング方式では、予測コーディングを行うための参照データブロックが限られていることが原因で、マルチメディアデータフレームのコーディングパフォーマンスは低い。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本出願の実施例は、少なくとも、マルチメディアデータフレームのコーディングパフォーマンスを向上させることができるマルチメディアデータ処理方法、装置、機器、コンピュータ可読記憶媒体及びコンピュータプログラムを提供することを課題とする。

【課題を解決するための手段】

【0005】

本出願の実施例によれば、マルチメディアデータ処理方法が提供され、それは、
マルチメディアデータフレームにおけるコーディング待ちデータブロックの属性情報を取得し；
前記コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを取得し、そのうち、前記第一目標参照データブロックは第一参照データブロック集合、第二参照データブロック集合、又は前記第一参照データブロック集合と前記第二参照データブロック集合とを融合した第三参照データブロック集合から選択され、前記第一参照データブロック集合は前記コーディング待ちデータブロックとの間に隣接関係を有しないコーディング済みのデータブロックを含み、前記第二参照データブロック集合は前記コーディング待ちデータブロックとの間に隣接関係を有するコーディング済みのデータブロックを含み；及び
前記第一目標参照データブロックに基づいて前記コーディング待ちデータブロックに対して予測コーディングを行うステップを含む。

【0006】

本出願の実施例によれば、マルチメディアデータ処理方法が提供され、それは、
マルチメディアデータフレームにおけるデコーディング待ちデータブロックの属性情報を取得し；
前記デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを取得し、そのうち、前記第二目標参照データブロックは第一参照データブロック集合、第二参照データブロック集合、又は前記第一参照データブロック集合と前記第二参照データブロック集合とを融合した第三参照データブロック集合に属し、前記第一参照データブロック集合は前記デコーディング待ちデータブロックとの間に隣接関係を有しないデコーディング済みのデータブロックを含み、前記第二参照データブロック集合は前記デコーディング待ちデータブロックとの間に隣接関係を有するデコーディング済みのデータブロックを含み；及び
前記第二目標参照データブロックに基づいて前記デコーディング待ちデータブロックに対してデコーディングを行うステップを含む。

【0007】

本出願の実施例によれば、マルチメディアデータ処理装置が提供され、それは、
マルチメディアデータフレームにおけるコーディング待ちデータブロックの属性情報を取得するための第一取得モジュール；
前記コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを取得するための第一マッチモジュールであって、前記第一目標参照データブロックは第一参照データブロック集合、第二参照データブロック集合、又は前記第一参照データブロック集合と前記第二参照データブロック集合とを融合した第三参照データブロック集合から選択され、前記第一参照データブロック集合は前記コーディング待ちデータブロックとの間に隣接関係を有しないコーディング済みのデータブロックを含み、前記第二参照データブロック集合は前記コーディング待ちデータブロックとの間に隣接関係を有するコーディング済みのデータブロックを含む、第一マッチモジュール；及び
前記第一目標参照データブロックに基づいて前記コーディング待ちデータブロックに対して予測コーディングを行うためのコーディングモジュールを含む。

【0008】

本出願の実施例によれば、マルチメディアデータ処理装置が提供され、それは、
マルチメディアデータフレームにおけるデコーディング待ちデータブロックの属性情報を取得するための第二取得モジュール；
前記デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを取得するための第二マッチモジュールであって、前記第二目標参照データブロックは第一参照データブロック集合、第二参照データブロック集合、又は前記第一参照データブロック集合と前記第二参照データブロック集合とを融合した第三参照データブロック集合に属し、前記第一参照データブロック集合は前記デコーディング待ちデータブロックとの間に隣接関係を有しないデコーディング済みのデータブロックを含み、前記第二参照データブロック集合は前記デコーディング待ちデータブロックとの間に隣接関係を有するデコーディング済みのデータブロックを含む、第二マッチモジュール；及び
前記第二目標参照データブロックに基づいて前記デコーディング待ちデータブロックに対してデコーディングを行うためのデコーディングモジュールを含む。

【0009】

本出願の実施例によれば、コンピュータ機器が提供され、それは処理器及び記憶器を含み、そのうち、記憶器にはプログラム命令が記憶されており、処理器はプログラム命令を呼び出すことで、上述のマルチメディアデータ処理方法におけるステップを実行するように構成される。

【0010】

本出願の実施例によれば、コンピュータ可読記憶媒体が提供され、コンピュータ可読記憶媒体はコンピュータプログラムを記憶しており、該コンピュータプログラムはプログラム命令を含み、該プログラム命令は処理器により実行されるときに、上述のマルチメディアデータ処理方法におけるステップを実行するように構成される。

【0011】

本出願の実施例によれば、コンピュータプログラムプロダクトが提供され、それはコンピュータプログラム又はコンピュータ命令を含み、前記コンピュータプログラム又はコンピュータ命令は処理器により実行されるときに、上述のマルチメディアデータ処理方法のステップを実現するように構成される。

【発明の効果】

【0012】

本出願の実施例は少なくとも次のような有利な効果を有する。即ち、コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを取得し、該第一目標参照データブロックは第一参照データブロック集合、第二参照データブロック集合、又は該第一参照データブロック集合と該第二参照データブロック集合とを融合した第三参照データブロック集合から選択され、言い換えれば、選択に供し得る参照データブロック集合は第一参照データブロック集合、第二参照データブロック集合及び第三参照データブロック集合を含み、このようにして、参照データブロックの選択範囲を拡張しており、かつコーディング待ちデータブロックの属性情報に基づいて第一目標参照データブロックを適応的に選択することで、第一目標参照データブロックに基づいてコーディング待ちデータブロックに対して予測コーディングを行うことを実現できる。よって、第一目標参照データブロックの取得の柔軟性及び正確さを向上させ、マルチメディアデータフレームのコーディングパフォーマンスを向上させることができる。また、第一目標参照データブロックに基づいてコーディング待ちデータブロックに対して予測コーディングを行うことは、マルチメディアデータフレームにおける冗長の除去、マルチメディアデータフレームの伝送効率の向上、及び伝送リソースの節約にも有利である。

【図面の簡単な説明】

【0013】

本出願の実施例又は従来技術における技術案をより明確に説明するために、以下、実施例又は従来技術の説明に用いる必要のある図面について簡単に紹介する。明らかのように、以下の説明における図面は本出願の幾つかの実施例に過ぎず、当業者は創造性のある労働をせずにこれらの図面に基づいて他の図面を得ることもできる。

【図1】本出願の実施例により提供されるビデオ処理のフローチャートである。

【図2】本出願の実施例により提供されるマルチメディアデータの処理方法のフローを示す図である。

【図3】本出願の実施例により提供されるコーディングデータブロックを示す図である。

【図4】本出願の実施例により提供されるマルチメディアデータフレームの非フレーム内コーディングのシナリオを示す図である。

【図5】本出願の実施例により提供されるマルチメディアデータフレームのフレーム内ブロック複製（コピー）のシナリオを示す図である。

【図6】本出願の実施例により提供されるマルチメディアデータフレームの参照データブロックのメモリ再利用のシナリオを示す図である。

【図7】本出願の実施例により提供されるマルチメディアデータ処理方法のフローを示す図である。

【図8】本出願の実施例により提供される第一参照データ集合、第二参照データブロック集合、及びコーディング待ちデータブロックの間の位置関係を示す図である。

【図9】本出願の実施例により提供される第一参照データ集合、第二参照データブロック集合、及びコーディング待ちデータブロックの間のもう１つの位置関係を示す図である。

【図10】本出願の実施例により提供されるもう１つのマルチメディアデータ処理方法のフローを示す図である。

【図11】本出願の実施例により提供されるマルチメディアデータ処理装置の構成を示す図である。

【図12】本出願の実施例により提供されるもう１つのマルチメディアデータ処理装置の構成を示す図である。

【図13】本出願の実施例により提供されるコンピュータ機器の構成を示す図である。

【発明を実施するための形態】

【0014】

以下、本出願の実施例における図面と併せて、本出願の実施例における技術案を明確かつ完全に説明する。もちろん、説明される実施例は本出願の一部の実施例のみであり、全部の実施例ではない。また、本出願の実施例に基づいて当業者が創造性のある労働にせずに得るすべての他の実施例も本出願の技術的範囲に属する。

【0015】

本出願の実施例はマルチメディアデータ処理技術に関する。そのうち、マルチメディアデータ（メディアデータとも言う）とはコンテンツが互いに関連付けられるテキスト、グラフィックス、画像、音声、アニメーション、動画などのメディアデータにより形成される複合データを指す。本出願の実施例で言及されるマルチメディアデータは主に、画像からなる画像データ、又は、画像、音声などからなるビデオデータを含み、かつ本出願の実施例では主に、マルチメディアデータがビデオデータであることを例にしてマルチメディアデータのデータ処理プロセスについて詳細に説明する。なお、マルチメディアデータが画像データであるときに、本出願の実施例を参照できる。本出願の実施例に係るマルチメディアデータに対しての処理プロセスは主に、メディアデータの収集、メディアデータのコーディング、メディアデータファイルのカプセル化、メディアデータファイルの伝送、メディアデータのデコーディング及び最終データの表示を含む。また、該マルチメディアデータがビデオデータであるときに、ビデオデータについての完全な処理プロセスは図1に示すように、S1：ビデオの収集；S2：ビデオのコーディング；S3：ビデオファイルのカプセル化；S4：ビデオファイルの伝送；S5：ビデオファイルのカプセル化解除；S6：ビデオのデコーディング；及び、S7：ビデオの表示を含み得る。

【0016】

ビデオの収集はアナログビデオをデジタルビデオに変換し、そして、デジタルビデオファイルのフォーマットに従って保存するために用いられ、言い換えれば、ビデオの収集はビデオ信号をバイナリデジタル情報に変換でき、そのうち、ビデオ信号から変換されるバイナリ情報はバイナリデータストリームであり、該バイナリ情報は該ビデオ信号のコードストリーム又はビットストリーム（Bitstream）とも称される。ビデオのコーディングとは圧縮技術により、オリジナルビデオフォーマットのファイルをもう１つのビデオフォーマットのファイルに変換することを指す。本出願の実施例で言及されるビデオメディアコンテンツの生成は、撮像機（カメラ）による実際のシーン（real scene）の取得(capture)、及びコンピュータによるスクリーンコンテンツの生成を含み、ビデオ信号の取得方式の角度から、ビデオ信号は撮像機が撮像するもの及びコンピュータが生成するもの2種類の信号に分けることができ、統計的特性が異なるため、異なるビデオ信号に対応する圧縮コーディング方式も異なることがあり、今のところ、主流のビデオコーディング技術は図2に示すように、混合（ハイブリッド）コーディングフレームワークを採用し、入力されるオリジナルビデオ信号に対して次のような一連の操作及び処理を行う。

【0017】

ブロックパーティション構造（block partition structure）：マルチメディアデータフレーム（例えば、ビデオデータにおける1つのビデオフレーム）を入力し、1つのビデオフレームのサイズ（大きさ）に基づいて、ビデオフレームを複数のオーバーラップしない処理ユニットに分け、各処理ユニットについて類似した圧縮操作を行う。1つの実施例において、この処理ユニットはコーディングツリーユニット（CTU、Coding Tree Unit）、又は、最大コーディングユニット（LCU、Largest Coding Unit）と呼ばれる。そのうち、CTUはより細かく分割され、1つ又は複数の基本的なコーディングユニットを取得でき、このようなユニットはコーディングユニット（CU、Coding Unit）と称され、各CUは1つのコーディングプロセスにおける最も基本的な要素である。もう1つの実施例において、処理ユニットはコーディングタイル（Tile）とも称され、独立してデコーディング及びコーディングされ得るマルチメディアデータフレームの1つの矩形領域である。そのうち、コーディングタイルは引き続きより細かく分割され、1つ又は複数の最大コーディングブロック（SB、Superblock）を得ることができ、その後、最大コーディングブロックはさらに分割され、1つ又は複数のデータブロック（B、block）を取得し得る。各データブロックは1つのコーディングプロセスにおける最も基本的な要素である。以下に説明されるのは各データブロックについて採用可能な各種のコーディング方式であり、そのうち、SBとBとの間の関係は図3に示すとおりである。

【0018】

予測コーディング（Predictive Coding）：フレーム内予測、フレーム間予測などの方式を含み、オリジナルビデオ信号が選定されるコーディング済みビデオ信号による予測を経た後に、残差ビデオ信号が得られる。コーディング側は現在のコーディングデータブロック（即ち、デコーディング待ちデータブロック）のために多くの可能な予測コーディングモードから最適な1つを選択し、デコーディング側に通知する必要がある。そのうち、フレーム内予測（Intra
picture Prediction）とは、予測される信号が同一の画像内のコーディング済み及び再構成済みの領域からのものであることを指す。フレーム間予測（Inter picture Prediction）とは、予測される信号がコーディング済みの、現在の画像とは異なる他の画像（参照画像とも言う）からのものであることを指す。

【0019】

変換と量子化（Transform & Quantization）：残差ビデオ信号が離散フーリエ変換（DFT、Discrete Fourier Transform）、離散コサイン変換などの変換操作により変換域（ドメイン）に変換される。変換域における信号は損失有りの量子化操作を受けることで、量子化後の信号が圧縮表現に有利になるようにさせる。

【0020】

幾つかのビデオコーディング規格において複数の変換方式が選択可能であるので、コーディング側も現在のコーディングデータブロックのためにそのうちの1つの変換を選択し、デコーディング側に通知する必要がある。量子化の精細度は通常、量子化パラメータ（QP、Quantization Parameter）により決定され、QPの値がQP閾値よりも大きいときに、所定数値範囲よりも大きい係数が同一の出力に量子化されることを表すので、通常、ディストーション率閾値よりも大きいディストーション及びビット率閾値よりも小さいビット率を招くことがあり、逆に、QPの値がQP閾値以下のときに、所定数値範囲よりも小さい係数が同一の出力に量子化されることを表すので、通常、ディストーション率閾値よりも小さいディストーションを来すと同時に、ビット率閾値よりも大きいビット率をもたらすことがある。

【0021】

エントロピーコーディング（Entropy Coding）又は統計コーディング：量子化後の変換域での信号が各値の出現の頻度に基づいて統計的に圧縮コーディングされ、最後に2値化（0又は1）の圧縮コードストリームが出力される。それと同時に、コーディングによる他の情報、例えば、選択されるモード、動きベクトルなども、ビット率を削減するために、エントロピーコーディングされる必要がある。

【0022】

統計コーディングは損失無きコーディング方式であり、同様の信号を表現するに必要なビット率を効果的に低減できる。一般的な統計コーディング方式は可変長コーディング（VLC、Variable Length Coding）又はコンテンツベースの2値化算術コーディング（CABAC、Content
Adaptive Binary Arithmetic Coding）がある。

【0023】

ループフィルタリング（Loop Filtering）：コーディング済みの画像（即ち、マルチメディアデータフレーム）が逆量子化、逆変換及び予測補償の操作を経た後に、再構成されるデコーディング画像が得られ得る。再構成画像はオリジナル画像に比べて、量子化による影響があるため、一部の情報がオリジナル画像とは異なり、ディストーション（Distortion）が生じ得る。再構成画像に対してフィルタリング操作、例えば、デブロッキング効果フィルタリング（deblocking）、サンプル適応補償（SAO、Sample Adaptive Offset）、適応ループフィルタリング（ALF、Adaptive Loop Filter）などのフィルタリングを行うことで、量子化によるディストーションの度合いを効果的に低減できる。これらのフィルタリング後の再構成画像が後続のコーディング画像の参照とされ、将来の信号に対して予測を行うために用いられるので、上述のフィルタリング操作はループフィルタリング及びコーディングループ内のフィルタリング操作とも称される。

【0024】

図2はビデオコーダーの基本的なフローを示しており、図2ではk個目的CU（S_k[x,y]と記す）を例にして説明を行い、そのうち、kは1以上であり、かつ入力される現在の画像内のCUの数量以下である正の整数であり、S_k[x,y]はk個目的CUにおいて座標が[x,y]である画素点を表し、xは画素点の横座標を示し、yは画素点の縦座標を示し、S_k[x,y]は動き補償、フレーム内予測のなどのうちの1つの好適な処理を経た後に、予測信号

【0025】

【数1】

を取得し、S_k[x,y]と

【0026】

【数2】

との減算により残差信号U_k[x,y]を取得し、その後、該残差信号U_k[x,y]に対して変換及び量子化を行い、量子化されて出力されるデータは2つの異なる行先があり、1つは1つのエントロピーコーダーに送ってエントロピーコーディングをしてもらい、コーディング後のコードストリームは1つのバッファ（buffer）に出力されて保存してもらい、伝送されることを待ち、もう1つは逆量子化及び逆変換を経た後に信号U’_k[x,y]を得る。信号U’_k[x,y]と

【0027】

【数3】

との加算により新しい予測信号S^* _k[x,y]を取得し、そして、S^* _k[x,y]を現在の画像のバッファに送って保存してもらう。S^* _k[x,y]はフレーム内－画像予測を経てf（S^* _k[x,y]）を取得し、S^* _k[x,y]はループフィルタリングを経た後にS’_k[x,y]を取得し、そして、S’_k[x,y]をデコーディング画像バッファに送って保存してもらい、再構成ビデオを生成するために用いられる。S’_k[x,y]は動き－補償予測を経た後にS’_r[x+m_x,y+m_y]を取得し、S’_r[x+m_x,y+m_y]は参照ブロックを表し、m_x及びm_yはそれぞれ動きベクトルの水平及び垂直成分を表す。

【0028】

上述のコーディングプロセスから分かるように、デコーディング側では各データブロックについて、デコーダーが圧縮コードストリームを得た後に、先にエントロピーデコーディングを行い、各種のモード情報及び量子化後の変換係数を取得する。各係数は逆量子化及び逆変換を経たに残差信号を得る。また、既知のコーディングモード情報に基づいて、該データブロックに対応する予測信号を得ることができ、両者の加算を行った後に、コーディング済みのデータブロックを得ることができる。最後に、コーディング済みのデータブロックはループフィルタリングの操作を経て最終のコーディング済みのデータブロックを生成する必要がある。

【0029】

今のところ、主流のビデオコーディング規格、例えば、HEVC、VVC、AVS3、AV1及びAV2は何れもブロックベースの混合コーディングフレームワークを採用している。これらのビデオコーディング規格はオリジナルマルチメディアデータフレームを一連のコーディングデータブロックに分け、予測、変換、エントロピーコーディングなどのビデオコーディング方法と併せて、ビデオデータの圧縮を実現する。そのうち、動き補償はビデオコーディングに良く用いられている予測コーディング方法であり、動き補償はビデオコンテンツの時間領域又は空間領域での冗長性に基づいて、コーディング済みの領域（即ち、参照データブロック）から現在のコーディングデータブロックの予測値を導出することである。このような予測コーディング方法は、フレーム間予測、フレーム内ブロック複製予測、フレーム内ストリング複製予測などを含み、予測コーディングの実現ではこれらの予測コーディング方法を単独で又は組み合わせて使用できる。これらの予測コーディング方法を用いたコーディングデータブロックについて、通常、コードストリームで1つ又は複数の2次元の変位ベクトルを明示又は暗示的にコーディングすることで、現在のコーディングデータブロック（又は、現在のブロックの同じ場所にある（co-located）ブロック）の、コーディングデータブロックの1つ又は複数の参照データブロックに対する変位を指示する必要がある。

【0030】

なお、異なる予測コーディングモードの下で、変位ベクトルは異なる名称を有する可能性があり、本出願の実施例では以下の方式に従って統一して説明を行い、即ち、1）フレーム間予測中の変位ベクトルを動きベクトル（MV、Motion Vector）と呼び；2）フレーム内ブロック複製（即ち、フレーム内予測コーディング）中の変位ベクトルをブロックベクトル（BV、Block Vector）と呼び；及び、3）フレーム内ストリング複製中の変位ベクトルをストリングベクトル（SV、String Vector）と呼ぶ。以下、フレーム間予測及びフレーム内ブロック複製予測における関連技術について紹介する。

【0031】

1.1.フレーム間予測
図4に示すように、フレーム間予測はマルチメディアデータフレームの時間領域の相関性を利用し、コーディング済み画像に隣接する画素を用いて現在の画像の画素を予測することで、マルチメディアデータフレームの時間領域での冗長を効果的に除去する目的を達成し、残差データをコーディングするビットを効果的に節約できる。そのうち、Pは現在のフレーム、Prは参照フレーム、Bは現在のデコーディング待ちデータブロック、BrはBの参照データブロックである。B’とBは画像の中の座標位置が同じであり、Brの座標は（xr,yr）であり、B’の座標は（x,y）である。現在のコーディングデータブロックとその参照データブロックとの間の変位は動きベクトル（MV）と称され、次のような公式（1）を採用して表すことができる。

【0032】

MV=(x_r-x,y_r-y) (1)
時間領域又は空間領域で隣接するブロックが高い相関性を有することを考慮して、MV予測技術を採用してMVのコーディングに必要なビットをさらに減少させることができる。

【0033】

2.1.フレーム内ブロック複製予測
フレーム内ブロック複製（IBC、Intra Block Copy）はHEVCのスクリーンコンテンツコーディング（SCC、Screen Cotent Coding）の拡張に採用されるフレーム内コーディングツールであり、フレーム内ブロック複製はスクリーンコンテンツのコーディング効率を著しく向上させている。AVS3、VVC及びAV1ではスクリーンコンテンツコーディングパフォーマンスの向上のためにIBC技術も採用されている。IBCはスクリーンコンテンツビデオの空間での相関性を利用し、マルチメディアデータフレームにおけるコーディング済みのデータブロックの画素を用いてデコーディング待ちデータブロックの画素を予測することで、画素のコーディングに必要なビットを効果的に節約できる。図5はIBC技術を示す図であり、そのうち、デコーディング待ちデータブロックとその参照データブロックとの間の変位はブロックベクトル（BV、Block Vector）と称される。

【0034】

HEVC
SCCの拡張では、IBCモードはフレーム間予測と同様の実現方式を採用している。マルチメディアデータフレームがIBCモードの使用を許す場合、現在コーディングされているが、フィルタリングされていない画像を1つの特殊の参照フレームとし、コーディングデータブロックはフレーム間予測-動き補償の方式でこの参照フレームからデコーディング待ちデータブロックの予測値を導出する。このような実現方式は次のような特徴があり、即ち、1）BVは整数型の精度のみを採用し；2）グローバル参照データブロック集合（即ち、グローバル参照範囲）が採用されており、即ち、現在のマルチメディアデータフレームのすべてのコーディング済みの部分のうち、並列処理及びクロミナンス補間を考慮して参照データブロックとされることが禁止される幾つかの領域以外は、すべて、デコーディング待ちデータブロックの参照データブロックとすることができ；3）デコーディング画像のバッファでは、現在コーディングされているが、フィルタリングされていない画像は1つの画像のサイズのバッファを占めることができ；及び、4）現在コーディングされているが、フィルタリングされていない画像は参照画像リストの最後に位置する。

【0035】

ハードウェアの実装では、計算コアはオンチップメモリ又はオフチップメモリからデータを読み取ることができる。オンチップメモリは通常、静的メモリであり、読み書き速度が非常に高いが、オンチップメモリの価格が高いので、一般的には小さいオンチップメモリのみを使用する。オフチップメモリは通常、かなり大きいが、効率の良いアクセスを行おうとする場合、幾つかの規則（ルール）に従う必要があり、最近のコーディング済みのデータブロックをオフチップのピクチャメモリに書き戻すときに、通常、書き戻し遅延（writing-back delay）が存在する。動き補償のハードウェアの実装では、現在のコーディング済みの画像はループフィルタリング操作が完了した後に、オフチップメモリに、将来の参照のために書き込まれる。後続のコーディングデータブロックの動き補償は、オフチップメモリに位置するコーディング済みのデータブロックを参照する必要があるときに、オフチップメモリから該参照データブロックの関連データを読み取る必要がある。このプロセスには書き込み及び読み取りのためのメモリ帯域幅の消費が含まれる。ソフトウェアの実装ではHEVC-SCCにおけるIBCスキームは関連技術の中のソフトウェア設計への影響が小さいが、ハードウェアの実装では次のような2つの問題がある。即ち、a)IBCの参照画像はループフィルタリング処理を経ていないバージョンであり、最終的に出力されるデコーディング画像とは異なる。該画像をオフチップに出力することはメモリ帯域幅の増加を招くことがある。b)現在のコーディング済みの又は再構成された直後の1つの隣接データブロックは次のコーディングデータブロックの参照とされる可能性がある。これは、限られたクロックサイクル内で、再構成データブロックのデコーディング、オフチップメモリへの出力、オフチップメモリへの再書き込みなどのフローを完了することを要する。これはハードウェアの実装に大きな挑戦をもたらす。

【0036】

IBCのハードウェアの実装の問題に対して、後続の規格、例えば、VVC、AVS3及びAV1では、幾つかのIBC関連の最適化スキームが採用されている。VVCやAVS3規格におけるIBCスキームはローカル参照データブロック集合を使用しており、即ち、現在のコーディングデータブロックに隣接するコーディング済みのデータブロックを現在のコーディングデータブロックの参照データブロックとして使用する。ハードウェアの実装では、オンチップメモリに記憶されるローカル参照データブロック集合における参照データブロックを用いることで上述の問題を解決できる。ハードウェアの実装のコスト及びコーディングパフォーマンスを考慮して、IBCは1つのCTUのサイズのメモリに記憶されるローカル参照データブロック集合における参照データブロックのみを使用し、かつ図6に示す参照メモリ再利用ポリシーを採用している。現在の再構成待ちの64x64のCUの記憶以外に、さらに、再構成済みのデータブロックを記憶するために用いられ得る3つの64x64のサイズのCUがある。よって、IBCはこの3つの64x64のサイズのCU及び現在の64x64のCUの再構成済みの部分においてのみ参照データブロックを捜索できる。

【0037】

要するに、AV1規格におけるIBCスキームはグローバル参照データブロック集合を使用しており、即ち、現在のコーディングデータブロックは現在のマルチメディアデータフレームにけるコーディング済みのデータブロックを参照することを許すが、該スキームには次のような2つの欠点が存在し、即ち、a)書き戻し制限条件の要件を満足するために、現在のコーディングデータブロックに隣接するコーディング済みのデータブロックは参照データブロックとされることが許されず；及び、b)現在のマルチメディアデータフレームがIBCの使用を許す場合、ループフィルタの使用は禁止される。しかし、スクリーンコンテンツシーケンスが往々にして強い空間相関性を有し、隣接データブロックが高い参照価値を有するため、隣接するコーディング済みのデータブロックが参照されることを許可すると、コーディングパフォーマンスの向上に有利である。幾つかのシーケンスコンテンツについて、ループフィルタの使用禁止も酷いマルチメディアデータの品質低下及びコーディングパフォーマンスへの影響を来すことがある。ローカル参照データブロック集合に基づくIBCスキームには上述の欠点が存在しないが、ローカル参照データブロック集合における可用な参照データブロックの数量が限られているため、ローカル参照データブロック集合のみを使用することはマルチメディアデータフレームのコーディングパフォーマンスの低下をもたらすことがある。シーケンスコンテンツの特性によれば、グローバル参照データブロック集合、ローカル参照データブロック集合、ループフィルタリング処理などのコーディングパラメータはコーディングパフォーマンスへの影響において異なる比率を占める。よって、グローバル参照データブロック集合ベースのIBCスキーム及びローカル参照データブロック集合ベースのIBCスキームに存在する欠点に鑑み、本出願の実施例では、マルチメディアデータフレームの属性情報に基づいて適切な予測コーディング方式を選択することはコーディングパフォーマンスの向上に有利であり、言い換えれば、本出願では現在のコーディングデータブロックの属性情報に基づいて、第一参照データブロック集合（即ち、グローバル参照データブロック集合）、第二参照データブロック集合（即ち、ローカル参照データブロック集合）、又は第二参照データブロック集合と第一データブロック集合とを融合した第三データブロック集合から参照データブロックを適応的に選択することで、参照データブロックの選択可能な範囲を拡大しており、参照データブロックの数量が限られている問題を解決でき、そして、選択される参照データブロックに基づいて現在のコーディングデータブロックに対して予測コーディングを行うことで、マルチメディアデータフレームのコーディングパフォーマンスを向上させることができる。

【0038】

なお、本出願は端末により実行でき、サーバにより実行でき、又は、端末及びサーバにより共同で実行できる。本出願では該方法を実行するための機器はコンピュータ機器と総称され得る。そのうち、サーバは独立した1つの物理サーバであっても良く、少なくとも2つの物理サーバからなるサーバ群又は分散システムであっても良く、又は、クラウドサービス、クラウドデータベース、クラウド計算、クラウド関数、クラウド記憶、ネットワークサービス、クラウド通信、ミッドウェアサービス、ドメイン名サービス、セキュリティサービス、コンテンツ配信ネットワーク（CDN、Content Delivery Network）、ビッグデータ、人工知能プラットフォームなどの基礎クラウド計算サービスを提供するクラウドサーバであっても良い。端末はスマート車載端末、スマートカメラ、スマートフォン、タブレットコンピュータ、ノートパソコン、デスクトップコンピュータ、スマートスピーカー、スクリーン有りのスピーカー、スマートウォッチ、スマートテレビなどであっても良いが、これらに限定されない。端末とサーバは有線又は無線の通信方式で直接又は間接的に接続されても良く、また、端末及びサーバの数量は1つ又は少なくとも2つであっても良いが、本出願ではこれについて限定しない。

【0039】

なお、本出願の実施例は様々なシナリオ、例えば、クラウド技術、人工知能、インテリジェント交通、運転支援などのシナリオ適用できるが、これらに限定されない。例えば、インテリジェント交通のシナリオでは、マルチメディアデータフレームは撮像装置が道路に対して撮像したビデオフレーム又は画像フレームであり、該撮像装置とは車載端末又は路側撮像装置を指しても良い。本出願の実施例によりマルチメディアデータフレームに対して予測コーディングを行うことにより、マルチメディアデータフレームのコーディングパフォーマンスの向上に有利であり、また、コーディング後のマルチメディアデータフレームを使用することにより、道路の状況などをリアルタイムで観察し、車両の運転の安全性を向上させることができる。

【0040】

図7は本出願の実施例により提供されるマルチメディアデータ処理方法のフローを示す図である。図7に示すように、該方法は少なくとも以下のS101-S103を含む。

【0041】

S101：マルチメディアデータフレームにおけるコーディング待ちデータブロックの属性情報を取得する。

【0042】

本出願の実施例では、コンピュータ機器はマルチメディアデータフレームを得ることができ、該マルチメディアデータフレームはコンピュータ機器が撮影したものであっても良く、又は、該マルチメディアデータフレームはコンピュータ機器がネットワークからダウンロードしたものであっても良い。該マルチメディアデータフレームとはビデオデータにおけるコーディング待ちのビデオフレーム又は画像データにおけるコーディング待ちの1フレーム画像を指しても良く、ビデオデータとは生放送ビデオデータ、映画とテレビビデオデータ、日常生活ビデオデータ、道路監視ビデオデータなどを指しても良く、画像データとは人物画像データ、建物画像データ、品物画像データなどを指しても良い。該マルチメディアデータフレームにおけるコーディング待ちデータブロックの属性情報を得ることができ、該コーディング待ちデータブロックとは上述の現在のコーディングデータブロックを指しても良く、コーディング待ちデータブロックとはマルチメディアデータフレームにおける未コーディングのデータブロックのうち、コーディング対象となるデータブロックを指しても良く、即ち、コーディング待ちデータブロックとは、マルチメディアデータフレームにおける、コーディング済みのデータブロックとの距離が最も近い未コーディングデータブロックを指しても良い。

【0043】

コーディング待ちデータブロックの属性情報はコーディング待ちデータブロックの属するマルチメディアデータフレームのメディア類型（type）、マルチメディアデータフレームの参照フラグ、コーディング待ちデータブロックの属するマルチメディアデータフレームの明晰度（clarity）などのうちの1つ又は複数を含み、メディア類型はフレーム内及び非フレーム内を含み、フレーム内類型とは代表的意味を持つマルチメディアデータフレームを指しても良く、フレーム内類型は全フレーム内(full Intra)コーディングフレーム、Intraフレーム、Iフレーム及びキーフレームを含む。フレーム内類型のフレームはフレーム内コーディング技術のみの使用が許され、他のフレームに依存してコーディングを行う必要がない。例えば、フレーム内類型とはビデオデータ又は画像データにおける主な意味を反映できるマルチメディアデータフレームを指しても良い。非フレーム内類型とはビデオデータ又は画像データにおけるフレーム内類型以外のマルチメディアデータフレームを指しても良く、非フレーム内類型はフレーム間コーディングフレーム、Pフレーム、Bフレーム又は非キーフレームと称されても良い。非フレーム内類型のフレームはフレーム間コーディング技術及びフレーム内コーディング技術の使用が許され、通常、フレーム間コーディング技術が採用されるときに、参照フレームコーディング完了後にコーディングを行う必要がある。マルチメディアデータフレームの参照フラグはコーディング待ちデータブロックの参照データブロックの選択範囲を反映するために用いられる。

【0044】

S102：該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを取得し、そのうち、第一目標参照データブロックは第一参照データブロック集合、第二参照データブロック集合、又は第一参照データブロック集合と第二参照データブロック集合とを融合した第三参照データブロック集合から選択され、第一参照データブロック集合はコーディング待ちデータブロックとの間に隣接関係を有しないコーディング済みのデータブロックを含み、第二参照データブロック集合はコーディング待ちデータブロックとの間に隣接関係を有するコーディング済みのデータブロックを含む。第三データブロック集合は第一データブロック集合及び第二データブロック集合におけるデータブロックを含み、即ち、第三データブロック集合は前記コーディング待ちデータブロックとの間に隣接関係を有しないコーディング済みのデータブロック、及びコーディング待ちデータブロックとの間に隣接関係を有するコーディング済みのデータブロックを含む。

【0045】

本出願の実施例では、マルチメディアデータフレームにおいて、コーディング待ちデータブロックと隣接関係を有しないコーディング済みのデータブロック、及びコーディング待ちデータブロックと隣接関係を有するコーディング済みのデータブロックは何れも参照データブロックとして使用され、コンピュータ機器はコーディング待ちデータブロックの属性情報に基づいて、接関係有りのコーディング済みのデータブロック及び隣接関係無しのコーディング済みのデータブロックのうちから、第一目標参照データブロックを適応的に選択することで、参照データブロックの取得の柔軟性及び正確さを向上させることができる。

【0046】

なお、本出願の実施例におけるコーディング済みのデータブロックはコーディング側再構成済みデータブロックと称されても良い、再構成済みデータブロックとはコーディング済みのデータブロックが復元処理（例えば、逆量子化、逆変換、予測補償の操作など）を経た後のデータブロックを指す。

【0047】

なお、該第一目標参照データブロックとはコーディング待ちデータブロックと隣接関係があるコーディング済みのデータブロックを指しても良く、又は、該第一目標参照データブロックとはコーディング待ちデータブロックと隣接関係がないコーディング済みのデータブロックを指しても良く、又は、該第一目標参照データブロックの第一領域はコーディング待ちデータブロックと隣接関係があるコーディング済みのデータブロックに属し、かつ該第一目標参照データブロックの第二領域はコーディング待ちデータブロックと隣接関係がないコーディング済みのデータブロックに属しても良い。

【0048】

S103：第一目標参照データブロックに基づいてコーディング待ちデータブロックに対して予測コーディングを行う。

【0049】

本出願の実施例では、コンピュータ機器は第一目標参照データブロック及びコーディング待ちデータブロックのそれぞれのマルチメディアデータフレームにおける位置情報に基づいて、第一目標参照データブロックとコーディング待ちデータブロックとの間のブロックベクトルを決定でき、その後、該ブロックベクトル及び第一目標参照データブロックに基づいて予測することでコーディング待ちデータブロックの予測信号を取得し、そして、コーディング待ちデータブロックの実際の信号及び予測信号に基づいて該コーディング待ちデータブロックの残差信号を取得し、即ち、コーディング待ちデータブロックの残差信号はコーディング待ちデータブロックの予測コーディング値であり、コーディング待ちデータブロックに対して予測コーディングを行うことは、マルチメディアデータフレームの中の冗長の除去、マルチメディアデータフレームの伝送効率の向上、及び伝送リソースの節約に有利である。

【0050】

なお、通常、ビデオデータには複数のマルチメディアデータフレームが含まれ、又は、画像データには複数のマルチメディアデータフレームが含まれるが、上述のコーディング待ちデータブロック及び第一目標参照データブロックは何れも同一のマルチメディアデータフレームに属する。

【0051】

本出願の実施例では、コンピュータ機器はコーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを取得し、該第一目標参照データブロックは第一参照データブロック集合、第二参照データブロック集合、又は該第一参照データブロック集合と該第二参照データブロック集合とを融合した第三参照データブロック集合から選択され、言い換えれば、選択に供し得る参照データブロック集合は第一参照データブロック集合、第二参照データブロック集合及び第三参照データブロック集合を含み、このようにして、参照データブロックの選択範囲を拡張しているとともに、コーディング待ちデータブロックの属性情報に基づいて、第一目標参照データブロックを適応的に選択し、そして、第一目標参照データブロックに基づいてコーディング待ちデータブロックに対して予測コーディングを行うことで、第一目標参照データブロックの取得の柔軟性及び正確さを向上させ、マルチメディアデータフレームのコーディングパフォーマンスを向上させることができる。また、第一目標参照データブロックに基づいてコーディング待ちデータブロックに対して予測コーディングを行うことは、マルチメディアデータフレームにおけるの冗長の除去、マルチメディアデータフレームの伝送効率の向上、及び伝送リソースの節約にも有利である。

【0052】

幾つかの実施例において、コンピュータ機器は次のような3つのマッチ方式のうちの１つ又は複数の組み合わせの方式で、コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを得ることができる。

【0053】

マッチ方式1：該マルチメディアデータフレームのメディア類型がフレーム内類型である場合、第一参照データブロック集合又は第三参照データブロック集合から該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを取得し、該マルチメディアデータフレームのメディア類型が非フレーム内類型である場合、第二参照データブロック集合から該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを取得する。言い換えれば、コンピュータ機器はコーディング待ちデータブロックの属性情報に基づいて参照データブロック集合を適応的に選択し、そして、選択した参照データ集合から第一目標参照データブロックを決定することで、参照データブロックの取得の柔軟性及び正確さを向上させることができる。

【0054】

通常、第一参照データブロック集合におけるデータブロック数は第二参照データブロック集合におけるデータブロック数よりも大きく、第一参照データブロック集合及び第二参照データブロック集合はそれぞれ第一記憶空間及び第二記憶空間に記憶され、第一記憶空間及び第二記憶空間は同一のコンピュータ機器にあっても良く、異なるコンピュータ機器にあっても良い。第一記憶空間及び第二記憶空間とは磁気ディスク、記憶媒体アレイなどを指しても良い。該第一記憶空間及び第二記憶空間が同じコンピュータ機器にあるときに、第一記憶空間とはコンピュータ機器のオフチップメモリを指しても良く、第二記憶空間とは指コンピュータ機器のオンチップメモリを指しても良く、又は、第一記憶空間とはコンピュータ機器のオンチップメモリ指しても良く、第二記憶空間とはコンピュータ機器のオフチップメモリを指しても良い。

【0055】

マッチ方式1では、該マルチメディアデータフレームのメディア類型がフレーム内類型である場合、該マルチメディアデータフレームの重要性が高いことを意味し、第一参照データブロック集合及び第二参照データブロック集合（即ち、第三参照データブロック集合）ちから、コーディング待ちデータブロックとの間に最高相関性があるデータブロック（即ち、最適データブロック）を捜索して、該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックとしても良く、該第一目標参照データブロックは該第一参照データブロック集合及び該第二参照データブロック集合により決定される。即ち、第一参照データブロック集合及び第二参照データブロック集合における任意の1つのデータブロックは参照データブロックとされることが許され、このようにして、参照データブロックの選択範囲を拡張しており、マルチメディアデータフレームのコーディングパフォーマンスの向上に有利である。該マルチメディアデータフレームのメディア類型が非フレーム内類型である場合、該マルチメディアデータフレームの重要性が比較的に低いことを意味し、この場合、該第二参照データブロック集合から、コーディング待ちデータブロックとの間に最高相関性があるデータブロックを捜索して、該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックとする。マルチメディアデータフレームのメディア類型に基づいて、ーディング待ちデータブロックにマッチした参照データブロックを適応的に選択することは、参照データブロックの取得の正確さ及び柔軟性の向上に有利である。

【0056】

ここで、第一目標参照データブロックは該第一参照データブロック集合及び該第二参照データブロック集合に基づいて決定されるデータブロックであり、かつ次のような意味のうちの1つを有し、即ち、第一に、第一目標参照データブロックは第一参照データブロック集合から選択され；第二に、第一目標参照データブロックは第二参照データブロック集合から選択され；及び、第三に、該第一目標参照データブロックの第一領域は第一参照データブロック集合に属し、かつ該第一目標参照データブロックの第二領域は第二参照データブロック集合に属しても良く、即ち、第一目標参照データブロックは一部が第二参照データブロック集合に属し、かつ一部が第一データブロック集合に属する。そのうち、コーディング待ちデータブロックとコーディング済みのデータブロックとの間の相関性はコーディング待ちデータブロックにおける画素とコーディング済みのデータブロックにおける画素との間の類似度に基づいて決定され得る。

【0057】

マッチ方式1では、該マルチメディアデータフレームのメディア類型がフレーム内類型である場合、第一参照データブロック集合から、コーディング待ちデータブロックとの間に最高相関性があるデータブロックを捜索して、該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックとしても良い。該マルチメディアデータフレームのメディア類型が非フレーム内類型である場合、該第二参照データブロック集合から、コーディング待ちデータブロックとの間に最高相関性があるデータブロックを捜索して、該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックとしても良い。マルチメディアデータフレームのメディア類型に基づいて、コーディング待ちデータブロックにマッチした参照データブロックを適応的に選択することは、参照データブロックの取得の正確さ及び柔軟性の向上に有利である。

【0058】

なお、コンピュータが第一参照データブロック集合及び第二参照データブロック集合からコーディング待ちデータブロックとの間に最高相関性があるデータブロックを捜索して、該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックとすることは、第一参照データブロック集合及び第二参照データブロック集合におけるデータブロックのうちからなる領域のうちから、コーディング待ちデータブロックにおける画素との間に最高相関性がある画素を捜索し、コーディング待ちデータブロックにおける画素との間に最高相関性がある画素の所在する領域を、該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックとすることであっても良い。

【0059】

マッチ方式2：該コーディング待ちデータブロックの属性情報が前記コーディング待ちデータブロックの属するマルチメディアデータフレームの参照フラグを含むときに、コンピュータ機器が該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを得ることは、該マルチメディアデータフレームの参照フラグが第一参照フラグであれば、第一参照データブロック集合又は第三参照データブロック集合からコーディング待ちデータブロックとの間に最高相関性があるデータブロックを捜索して、該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックとし、及び、該マルチメディアデータフレームの参照フラグが第二参照フラグであれば、第二参照データブロック集合からコーディング待ちデータブロックとの間に最高相関性があるデータブロックを捜索して、該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックとすることを含む。該参照フラグとはマルチメディアデータフレームの送信者（又は受信者）が事前設定したものを指しても良い。よって、参照フラグに基づいて第一目標参照データブロックを適応的に選択することは、ユーザのコーディングのニーズに応じて第一目標参照データブロックを適応的に選択することに相当し、これは選択される参照データブロックの柔軟性及び正確性の向上に有利である。

【0060】

第一参照フラグはコーディング待ちデータブロックの参照データブロックの選択範囲が第一参照データブロック集合又は第三参照データブロック集合であることを指示するために用いられ、第二参照フラグはコーディング待ちデータブロックの参照データブロックの選択範囲が第二参照データブロック集合であることを指示するために用いられる。第一参照フラグ及び第二参照フラグはマルチメディアデータフレームの送信者（又は受信者）により事前設定されても良く、第一参照フラグ及び第二参照フラグは数字、字母及び漢字のうちの1つ又は複数からなっても良い。例えば、第一参照フラグ（ibc_ref_flag）が1、第二参照フラグが0であるとし、マルチメディアデータフレームにおけるマルチメディアデータフレームの参照フラグが1のときに、コンピュータ機器は第一参照データブロック集合から該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを得ることができ、マルチメディアデータフレームにおけるマルチメディアデータフレームの参照フラグが0のときに、コンピュータ機器は第二参照データブロック集合から、該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを得ることができる。

【0061】

なお、マルチメディアデータフレームのメディア類型がフレーム内類型であるときに、該マルチメディアデータフレームのヘッダには参照フラグが含まれ、マルチメディアデータフレームのメディア類型が非フレーム内類型であるときに、該マルチメディアデータフレームのヘッダには参照フラグが含まれなくても良く、又は、マルチメディアデータフレームがIBCコーディング方式の使用を許すときに、該マルチメディアデータフレームのヘッダには参照フラグが含まれ、マルチメディアデータフレームがIBCコーディング方式の使用を許さないときに、該マルチメディアデータフレームのヘッダには参照フラグが含まれなくても良く、このときに、コンピュータ機器はマルチメディアデータフレームのヘッダに参照フラグが含まれるかに基づいて、コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを決定できる。

【0062】

マッチ方式2では、該マルチメディアデータフレームの参照フラグが第一参照フラグである場合、第一参照データブロック集合からコーディング待ちデータブロックとの間に最高相関性があるデータブロックを捜索して、該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックとし、このときに、第一目標参照データブロックとは第一参照データブロック集合における任意の1つの第一参照データブロックを指し、該マルチメディアデータフレームの参照フラグが第二参照フラグである場合、第二参照データブロック集合からコーディング待ちデータブロックとの間に最高相関性があるデータブロックを捜索して、該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックとし、このときに、第一目標参照データブロックとは第二参照データブロック集合における任意の1つの第二参照データブロックを指しても良い。該マルチメディアデータフレームの参照フラグが第一参照フラグである場合、第一参照データブロック集合及び第二参照データブロック集合からコーディング待ちデータブロックとの間に最高相関性があるデータブロックを捜索して、該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックとし、このときに、第一目標参照データブロックは第一参照データブロック集合及び第二参照データブロック集合に基づいて決定され、該マルチメディアデータフレームの参照フラグが第二参照フラグである場合、第二参照データブロック集合からコーディング待ちデータブロックとの間に最高相関性があるデータブロックを捜索して、該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックとし、このときに、第一目標参照データブロックは第二参照データブロック集合における任意の1つの第二参照データブロックを指しても良い。マルチメディアデータフレームの参照フラグに基づいて、コーディング待ちデータブロックにマッチした参照データブロックを適応的に選択することは、参照データブロックの取得の正確さ及び柔軟性の向上に有利である。

【0063】

マッチ方式3：該コーディング待ちデータブロックの属性情報がコーディング待ちデータブロックの属するマルチメディアデータフレームの明晰度を含むときに、コーディング待ちデータブロックの属するマルチメディアデータフレームの明晰度が明晰度閾値より大きい場合、ユーザのマルチメディアデータフレームへの品質要求が高いことを意味し、第一参照データブロック集合又は第三参照データブロック集合から、該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを得ることができる。コーディング待ちデータブロックの属するマルチメディアデータフレームの明晰度が明晰度閾値以下の場合、ユーザのマルチメディアデータフレームへの品質要求が低いことを意味し、第二参照データブロック集合から、該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを得ることができる。マルチメディアデータフレームの明晰度はユーザのマルチメディアデータフレームへの品質要求を反映するために用いられるので、マルチメディアデータフレームの明晰度に基づいて第一目標参照データブロックを適応的に選択することは、ユーザのマルチメディアデータフレームへの品質ニーズに応じて第一目標参照データブロックを適応的に選択することに相当し、これは選択される参照データブロックの柔軟性及び正確性の向上に有利である。

【0064】

なお、該マルチメディアデータフレームのメディア類型が非フレーム内類型であり、マルチメディアデータフレームの参照フラグが第二参照フラグであり、又は、マルチメディアデータフレームの明晰度が明晰度閾値以下であるときに、コンピュータ機器は第二参照データブロック集合から、該コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを得ることができ、このときに、コンピュータ機器は第二参照データブロック集合のみを記憶でき、第一参照データブロック集合を記憶する必要がないので、コンピュータ機器の記憶空間を節約し、参照データブロックの捜索範囲を狭くし、参照データブロックの捜索効率を向上させることができる。

【0065】

幾つかの実施例において、コンピュータ機器はマルチメディアデータフレームのコーディング方式に基づいて次のような2つの方式のうちから1つの方式を選択して第一参照データブロック集合を得ることができる。

【0066】

方式1：該第一参照データブロック集合は1つ又は複数の第一参照データブロックを含み、該マルチメディアデータフレームのコーディング方式がシリアルコーディング方式であるときに、該第一参照データブロックは前記マルチメディアデータフレームにおける、パラメータ関連付け関係が書き戻し制限条件を満足しており、かつ前記コーディング待ちデータブロックと同じコーディングタイルに属するコーディング済みのデータブロックであり、前記パラメータ関連付け関係は第一位置情報、最大コーディングブロックのサイズ情報及び第二位置情報の間の関連付け関係を反映するために用いられ、前記第一位置情報及び第二位置情報とは、それぞれ、コーディング済みのデータブロック及び前記コーディング待ちデータブロックの前記マルチメディアデータフレームにおける位置情報を指し、前記書き戻し制限条件は前記コーディング済みのデータブロックを前記第一参照データブロック集合に書き込む制限遅延を反映するために用いられる。言い換えれば、シリアルコーディング方式とは同じ時間にマルチメディアデータフレームにおける1つのみのデータブロックに対して予測コーディングを行うことを指し、マルチメディアデータフレームのコーディング方式がシリアルコーディング方式であるときに、該コーディング方式は参照データブロックの決定プロセスに対して影響を与えることがない。しかし、コーディング済みのデータブロックを第一参照データブロック集合に書き込むことは大きな書き戻し遅延を招くことがあり、即ち、コーディング済みのデータブロックを第一参照データブロック集合に書き込むには長い時間がかかるので、コーディング済みのデータブロックは少なくとも所定時間長待った後に、参照データブロックとされることが可能であり、所定時間長は前記コーディング済みのデータブロックを前記第一参照データブロック集合に書き込む制限遅延に基づいて決定され、該制限遅延とはコーディング済みのデータブロックを第一参照データブロック集合に書き込む平均遅延、最大遅延及び最小遅延などのうちの1つを指しも良い。これで分かるように、該マルチメディアデータフレームのコーディング方式がシリアルコーディング方式であるときに、該第一参照データブロック集合における第一参照データブロックは以下の2つの条件を満たす必要があり、即ち、a）コーディング待ちデータブロックと同じコーディングタイルに属し；及び、b）パラメータ関連付け関係が書き戻し制限条件を満足している。

【0067】

実装のプロセスでは、コンピュータ機器は次のようなステップを行うことで、第一参照データブロック集合を得ることができ、即ち、該マルチメディアデータフレームのコーディング方式がシリアルコーディング方式であるときに、それぞれ、第一位置情報、該最大コーディングブロックのサイズ情報及び第二位置情報を取得し、該第一位置情報及び第二位置情報とは、それぞれ、コーディング済みのデータブロック及び該コーディング待ちデータブロックの該マルチメディアデータフレームにおける位置情報を指し；書き戻し制限条件を取得し、該書き戻し制限条件は該コーディング済みのデータブロックを該第一参照データブロック集合に書き込む制限遅延を反映するために用いられ；該マルチメディアデータフレームから、パラメータ関連付け関係が書き戻し制限条件を満足しており、かつ該コーディング待ちデータブロックと同じコーディングタイルに属するコーディング済みのデータブロックを選択して、第一参照データブロックとし、該パラメータ関連付け関係は該第一位置情報、該最大コーディングブロックのサイズ情報及び該第二位置情報の間の関連付け関係を反映するために用いられ；及び、該第一参照データブロックを該第一参照データブロック集合に追加するステップである。

【0068】

本出願の実施例では、該マルチメディアデータフレームのコーディング方式がシリアルコーディング方式であるときに、コンピュータ機器はそれぞれ、第一位置情報、最大コーディングブロックのサイズ情報及び第二位置情報を得ることができる。該第一位置情報及び第二位置情報とは、それぞれ、コーディング済みのデータブロック及びコーディング待ちデータブロックのマルチメディアデータフレームにおける位置情報を指し、そのうち、第一位置情報及び第二位置情報とはコーディング済みのデータブロックの左上隅画素及びコーディング待ちデータブロックの左上隅画素のマルチメディアデータフレームにおける座標を指しても良く、該最大コーディングブロックのサイズ情報とは最大コーディングブロックの幅及び高さを指しても良い。また、コンピュータ機器は書き戻し制限条件を取得し、該マルチメディアデータフレームから、パラメータ関連付け関係が書き戻し制限条件を満足しており、かつ該コーディング待ちデータブロックと同じコーディングタイルに属するコーディング済みのデータブロックを選択して、第一参照データブロックとし、そして、該第一参照データブロックを該第一参照データブロック集合に追加できる。書き戻し制限条件、第一位置情報、第二位置情報及び最大コーディングブロックのサイズ情報に基づいて選択することで第一参照データブロックを得ることは、第一参照データブロックとコーディング待ちデータブロックが高い空間相関性を有するように確保でき、また、第一参照データブロックの可用性をも確保できる。

【0069】

幾つかの実施例において、第一参照データブロックの選択は次のような方式で実現されても良く、即ち、まず、第一位置情報及び第二位置情報に基づいて、マルチメディアデータフレームから、同一のコーディングタイルに属するコーディング済みのデータブロックを選択して、第一候補参照データブロックとし、次に、書き戻し制限条件の下でマルチメディアデータフレームにおけるコーディング済みのデータブロックとコーディング待ちデータブロックとの間の間隔データブロック制限数量を決定し、その後、第一位置情報、最大コーディングブロックのサイズ情報及び第二位置情報に基づいて、第一候補参照データブロックとコーディング待ちデータブロックとの間の間隔データブロック数量をカウントし、最後に、間隔データブロック数量が間隔データブロック制限数量よりも大きい第一候補参照データブロックを第一参照データブロックとして決定する。

【0070】

ここで、第一位置情報及び第二位置情報とはコーディング済みのデータブロックの画素及びコーディング待ちデータブロックの画素のマルチメディアデータフレームにおける座標を指し、コーディング済みのデータブロックの位置情報は（ref_x，ref_y）であり、コーディング待ちデータブロックの位置情報は（cur_x，cur_y）であるとし、コンピュータ機器はマルチメディアデータフレームから、コーディング待ちデータブロックと同一のコーディングタイルに属するコーディング済みのデータブロックを選択して第一候補参照データブロックとし、また、該書き戻し制限条件の下で該マルチメディアデータフレームにおけるコーディング済みのデータブロックと該コーディング待ちデータブロックとの間の間隔データブロック制限数量を決定し、該間隔データブロック制限数量とは、書き戻し制限条件を満足した場合、マルチメディアデータフレームにおけるコーディング済みのデータブロックとコーディング待ちデータブロックとの間に配置すべき最小データブロック数量を指しても良く、その後、前記第一位置情報、該最大コーディングブロックのサイズ情報及び該第二位置情報に基づいて、該第一候補参照データブロックと該コーディング待ちデータブロックとの間の間隔データブロック数量をカウントし、該間隔データブロック数量とは、該第一候補参照データブロックと該コーディング待ちデータブロックとの間に実際にあるデータブロック数量を指し、そして、間隔データブロック数量が該間隔データブロック制限数量よりも大きい第一候補参照データブロックを第一参照データブロックと決定できる。コーディング済みのデータブロックの位置情報、コーディング待ちデータブロックの位置情報、書き戻し遅延制限条件などに基づいて、第一参照データブロック集合を得ることで、第一参照データブロックとコーディング待ちデータブロックが高い空間相関性を有するように確保でき、第一参照データブロックの可用性をも確報できる。また、追加のハードウェアコストを必要としたいため、コストをも節約できる。

【0071】

例えば、コンピュータ機器は次のような公式（2）を満足した第一候補参照データブロックを第一参照データブロックと決定できる。

【0072】

【数4】

そのうち、公式（2）ではcur_num-src_numは該第一候補参照データブロックと該コーディング待ちデータブロックとの間の間隔データブロック数量を示し、cur_num及びsrc_numはそれぞれ第一候補参照データブロックの番号及びコーディング待ちデータブロックの番号を指し、Dとは書き戻し制限条件を満足した場合の該間隔データブロック制限数量を指し、cur_num及びsrc_numは以下の公式（3）及び公式（4）により計算され得る。

【0073】

幾つかの実施例において、上述の第一候補参照データブロックとコーディング待ちデータブロックとの間の間隔データブロック数量のカウントは次のような方式で実現されても良く、即ち、まず、第一位置情報及び最大コーディングブロックのサイズ情報に基づいて、第一候補参照データブロックの行標識（ID）及び列標識を決定し、次に、第二位置情報及び最大コーディングブロックのサイズ情報に基づいて、コーディング待ちデータブロックの行標識及び列標識を決定し、その後、コーディング待ちデータブロックのサイズ情報に基づいて、マルチメディアデータフレームにおける各行のデータブロック数量を決定し、最後に、各行のデータブロック数量、第一候補参照データブロックの行標識と列標識、並びにコーディング待ちデータブロックの行標識と列標識に基づいて、第一候補参照データブロックとコーディング待ちデータブロックとの間の間隔データブロック数量を決定する。

【0074】

ここで、第一候補参照データブロックの行標識及び列標識はそれぞれref_y_num及びref_x_numであり、コーディング待ちデータブロックの行標識及び列標識はそれぞれcur_y_num及びcur_x_numであり、コンピュータ機器はそれぞれ次のような公式（3）を採用して第一候補参照データブロックの行標識及び列標識、並びにコーディング待ちデータブロックの行標識及び列標識を得ることができる。

【0075】

【数5】

そのうち、公式（3）ではFloor（）は切り捨てを示し、W及びHは次のような4つの方式のうちの任意の1つの方式で決定されても良い。即ち、方式1：W及びHは最大コーディングブロックのサイズ情報に基づいて決定される。方式2：W及びHはオンチップメモリの基本ユニット（VPDU、Virtual Pipeline Data Units）のサイズ情報に基づいて決定される。方式3：Hとは最大コーディングブロックのサイズ情報に基づいて決定されるものを指しても良く、例えば、最大コーディングブロックが128x128である場合、Hは128であり、最大コーディングブロックが64x64である場合、Hは64であり、Wは黙認値（例えば、64）であっても良い。方式4：W及びHが何れも所定値であり、例えば、4、64、128などであっても良い。そのうち、1つの最大コーディングブロックは1つ又は複数のデータブロックを含んでも良く、最大コーディングブロックのサイズ及びデータブロックのサイズはマルチメディアデータフレームのブロック分け方式に基づいて決定されても良い。

【0076】

コンピュータ機器は該コーディング待ちデータブロックのサイズ情報に基づいて該マルチメディアデータフレームにおける各行のデータブロック数量を決定し；及び、前記各行のデータブロック数量及び前記第一候補参照データブロックの行標識と列標識に基づいて、第一候補参照データブロックの番号を決定し、前記各行のデータブロック数量及び前記コーディング待ちデータブロックの行標識と列標識に基づいてコーディング待ちデータブロックの番号を決定し、そして、第一候補参照データブロックの番号とコーディング待ちデータブロックの番号との間の差を、第一候補参照データブロックと前記コーディング待ちデータブロックとの間の間隔データブロック数量として決定できる。例えば、コンピュータ機器は以下のような公式（4）を用いて該マルチメディアデータフレームにおける各行のデータブロック数量、第一候補参照データブロックの番号及びコーディング待ちデータブロックの番号を決定できる。

【0077】

【数6】

そのうち、公式（4）では、strideは該マルチメディアデータフレームにおける各行のデータブロック数量を示し、cur_num及びsrc_numはそれぞれ第一候補参照データブロックの番号及びコーディング待ちデータブロックの番号を示し、Ceil（）は切り上げを示し、tile_wはコーディングタイルの幅を示し、コーディングタイルは1つ又は複数の最大コーディングブロックを含み、よって、コーディングタイルの幅は最大コーディングブロックのサイズ情報に基づいて決定され得る。例えば、最大コーディングブロックのサイズが128x128であるときに、コーディングタイルは1024x720であっても良い。

【0078】

なお、該マルチメディアデータフレームのコーディング方式がシリアルコーディング方式であるときに、コンピュータ機器はさらに次のような方式で第一参照データブロック集合を得ても良く、即ち、第一位置情報、第二位置情報及び最大コーディングブロックのサイズ情報に基づいて、コーディング済みのデータブロックとコーディング待ちデータブロックとの間の間隔距離を決定し、書き戻し遅延条件の下でコーディング済みのデータブロックとコーディング待ちデータブロックとの間の間隔制限距離を決定し、該間隔制限距離とは書き戻し遅延条件を満足した場合、コーディング済みのデータブロックとコーディング待ちデータブロックとの間の最小間隔距離を指し、マルチメディアデータフレームにおけるコーディング待ちデータブロックと同一のコーディングタイルに属し、かつ間隔距離が該間隔制限距離よりも大きいコーディング済みのデータブロックを第一参照データブロックとし、そして、第一参照データブロックを第一参照データブロック集合に追加する。

【0079】

幾つかの実施例において、該第一参照データブロック集合は1つ又は複数の第二参照データブロックを含み、該マルチメディアデータフレームのコーディング方式が並列コーディング方式又はシリアルコーディング方式であるときに、第二参照データブロックは該コーディング待ちデータブロックと同一のコーディングタイルに属し、かつ該マルチメディアデータフレームにおけるパラメータ関連付け関係が書き戻し制限条件を満足しており、かつ該パラメータ関連付け関係がコーディング処理条件を満足しているコーディング済みのデータブロックであり、該パラメータ関連付け関係はコーディング済みのデータブロック及び該コーディング待ちデータブロックのそれぞれの該マルチメディアデータフレームにおける位置情報、及び最大コーディングブロックのサイズ情報の間の関連付け関係を反映するために用いられ、該書き戻し制限条件は該コーディング済みのデータブロックを該第一参照データブロック集合に書き込む制限遅延を反映するために用いられる。言い換えれば、並列コーディング方式とは同一の時間にマルチメディアデータフレームにおける複数のデータブロックに対して予測コーディングを行うことを指し、マルチメディアデータフレームのコーディング方式が並列コーディング方式であるときに、該コーディング方式は参照データブロックの決定プロセスに影響し得る。また、コーディング済みのデータブロックを第一参照データブロック集合に書き込むことは大きな書き戻し遅延をもたらすことがある。これで分かるように、該マルチメディアデータフレームのコーディング方式が並列コーディング方式であるときに、該第一参照データブロック集合における第二参照データブロックは次のような3つの条件を満たす必要があり、即ち、a）コーディング待ちデータブロックと同じコーディングタイルに属し；b）パラメータ関連付け関係は書き戻し制限条件を満足しており；及び、c）パラメータ関連付け関係はコーディング処理条件を満足している。幾つかの実施例において、該マルチメディアデータフレームのコーディング方式がシリアルコーディング方式又は並列コーディング方式であるときに、すべて、上述の第一参照データブロック集合の取得方式で実現され得る。ここでのコーディング処理条件とは並列コーディング処理条件を指しても良い。

【0080】

本出願の実施例では、コンピュータ機器は次のようなステップを実行して第一参照データブロック集合を得ることができ、即ち、第一位置情報、最大コーディングブロックのサイズ情報及び第二位置情報を取得し、第一位置情報及び第二位置情報とはそれぞれコーディング済みのデータブロック及びコーディング待ちデータブロックのマルチメディアデータフレームにおける位置情報を指し、次に、書き戻し制限条件及びコーディング処理条件を取得し、書き戻し制限条件はコーディング済みのデータブロックを第一参照データブロック集合に書き込む制限遅延を反映するために用いられ、その後、マルチメディアデータフレームから、パラメータ関連付け関係が書き戻し制限条件及びコーディング処理条件を満足しており、かつコーディング待ちデータブロックと同じコーディングタイルに属するコーディング済みのデータブロックを選択して第二参照データブロックとし、パラメータ関連付け関係は第一位置情報、コーディング待ちデータブロックのサイズ情報及び第二位置情報の間の関連付け関係を反映するために用いられ、最後に、第二参照データブロックを第一参照データブロック集合に追加するステップである。

【0081】

ここで、第一位置情報及び第二位置情報とはコーディング済みのデータブロックの左上隅画素及びコーディング待ちデータブロックの左上隅画素のマルチメディアデータフレームにおけるの座標を指しても良く、該最大コーディングブロックのサイズ情報とは最大コーディングブロックの幅及び高さを指しても良い。該書き戻し制限条件はコーディング済みのデータブロックを該第一参照データブロック集合に書き込む制限遅延を反映するために用いられ、コーディング処理条件はマルチメディアデータフレームに対してコーディングを並列に行うときに参照データブロックとコーディング待ちデータブロックとの間の制限距離を反映するために用いられ、又は、コーディング処理条件はマルチメディアデータフレームに対してコーディングを並列に行うときに参照データブロックとコーディング待ちデータブロックとの間の間隔データブロック制限数量を反映するために用いられる。該マルチメディアデータフレームから、パラメータ関連付け関係が書き戻し制限条件及び該コーディング処理条件を満足しており、かつ該コーディング待ちデータブロックと同じコーディングタイルに属するコーディング済みのデータブロックを選択して第二参照データブロックとし、そして、該第二参照データブロックを該第一参照データブロック集合に追加することで、第二参照データブロックとコーディング待ちデータブロックが高い空間相関性を有するように確保でき、第二参照データブロックの可用性をも確保できる。

【0082】

幾つかの実施例において、第二参照データブロックの選択は次のような方式で実現されても良く、即ち、第一位置情報及び第二位置情報に基づいて、マルチメディアデータフレームから、コーディング待ちデータブロックと同一のコーディングタイルに属するコーディング済みのデータブロックを選択して第一候補参照データブロックとし、次に、第一候補参照データブロックのうちから、パラメータ関連付け関係が書き戻し制限条件を満足している第一候補参照データブロックを選択して第二候補参照データブロックとし、その後、書き戻し制限条件の下でマルチメディアデータフレームにおけるコーディング済みのデータブロックとコーディング待ちデータブロックとの間の第一データブロック制限距離を決定し、また、コーディング処理条件の下でマルチメディアデータフレームにおけるコーディング済みのデータブロックとコーディング待ちデータブロックとの間の第二データブロック制限距離を決定し、最後に、第一位置情報、最大コーディングブロックのサイズ情報、第二位置情報、第一データブロック制限距離及び第二データブロック制限距離に基づいて、第二候補参照データブロックのうちから、コーディング処理条件を満足した第二候補参照データブロックを第二参照データブロックとして決定する。

【0083】

ここで、第一位置情報及び第二位置情報とはコーディング済みのデータブロックの画素及びコーディング待ちデータブロックの画素のマルチメディアデータフレームにおける座標を指し、コーディング済みのデータブロックの位置情報は（ref_x，ref_y）であり、コーディング待ちデータブロックの位置情報は（cur_x，cur_y）であるとし、コンピュータ機器はマルチメディアデータフレームから、コーディング待ちデータブロックと同一のコーディングタイルに属するコーディング済みのデータブロックを選択して第一候補参照データブロックとすることができる。本出願の実施例では、コンピュータ機器は該第一候補参照データブロックのうちから、座標が上述の公式（2）を満足した第一候補参照データブロックを第二候補参照データブロックとして選択し、書き戻し制限条件の下でマルチメディアデータフレームにおけるコーディング済みのデータブロックとコーディング待ちデータブロックとの間の第一データブロック制限距離を決定し、第一データブロック制限距離とは書き戻し遅延制限条件を満足した場合、該マルチメディアデータフレームにおけるコーディング済みのデータブロックとコーディング待ちデータブロックとの間に保持すべき最小距離を指し、コーディング処理条件の下でマルチメディアデータフレームにおけるコーディング済みのデータブロックとコーディング待ちデータブロックとの間の第二データブロック制限距離を決定し、該第二データブロック制限距離とはコーディング処理条件を満足した場合、該マルチメディアデータフレームにおけるコーディング済みのデータブロックとコーディング待ちデータブロックとの間に保持すべき最小距離を指し、その後、該第一位置情報、該最大コーディングブロックのサイズ情報、該第二位置情報、該第一データブロック制限距離及び第二データブロック制限距離に基づいて、該第二候補参照データブロックのうちから、該コーディング処理条件を満足した第二候補参照データブロックを第二参照データブロックとして決定できる。

【0084】

幾つかの実施例において、上述の第二候補参照データブロックのうちから、コーディング処理条件を満足した第二候補参照データブロックを第二参照データブロックとして決定ることはさらに次のような方式で実現されても良く、第一位置情報及び最大コーディングブロックのサイズ情報に基づいて第二候補参照データブロックの行標識及び列標識を決定し、第二位置情報及び最大コーディングブロックのサイズ情報に基づいてコーディング待ちデータブロックの行標識及び列標識を決定し、次に、第二候補参照データブロックのうちから、行標識がコーディング待ちデータブロックの行標識以下である第二候補参照データブロックを選択して第三候補参照データブロックとし、その後、第三候補参照データブロックの行標識及びコーディング待ちデータブロックの行標識に基づいて第三候補参照データブロックとコーディング待ちデータブロックとの間の行距離を決定し、第三候補参照データブロックの列標識及びコーディング待ちデータブロックの列標識に基づいて第三候補参照データブロックとコーディング待ちデータブロックとの間の列距離を決定し、最後に、第三候補参照データブロックのうち、列距離が第一距離閾値よりも小さい第三候補参照データブロックを第二参照データブロックとして決定し、第一距離閾値は第一データブロック制限距離、第二データブロック制限距離、及び第三候補参照データブロックとコーディング待ちデータブロックとの間の行距離に基づいて決定される。

【0085】

ここで、コンピュータ機器はそれぞれ上述の公式（3）を採用して第二候補参照データブロックの行標識及び列標識並びにコーディング待ちデータブロックの行標識及び列標識を取得し、その後、該第二候補参照データブロックのうちから、行標識が該コーディング待ちデータブロックの行標識以下である第二候補参照データブロックを第三候補参照データブロックとして選択できる。本出願の実施例では第三候補参照データブロックの行標識とコーディング待ちデータブロックの行標識との間の差を、該第三候補参照データブロックとコーディング待ちデータブロックとの間の行距離として決定し、該第三候補参照データブロックの列標識と該コーディング待ちデータブロックの列標識との間の差を、第三候補参照データブロックと該コーディング待ちデータブロックとの間の列距離として決定し、また、該第三候補参照データブロックのうち、列距離が第一距離閾値よりも小さい第三候補参照データブロックを第二参照データブロックとして決定できる。例えば、コンピュータ機器は次のような公式（5）を満足した第二候補参照データブロックを第一参照データブロックとして決定できる。

【0086】

【数7】

そのうち、公式（5）では、ref_y_num及びref_x_numとはそれぞれ第二候補参照データブロックの行標識及び列標識を指し、cur_y_num及びcur_x_numとはそれぞれコーディング待ちデータブロックの行標識及び列標識を指し、Pとは該書き戻し制限条件の下で該マルチメディアデータフレームにおけるコーディング済みのデータブロックと前記コーディング待ちデータブロックとの間の第一データブロック制限距離を指し、Eとは前記コーディング処理条件の下で前記マルチメディアデータフレームにおけるコーディング済みのデータブロックと前記コーディング待ちデータブロックとの間の第二データブロック制限距離を指す。第一データブロック制限距離は該書き戻し制限条件の下で該マルチメディアデータフレームにおけるコーディング済みのデータブロックと前記コーディング待ちデータブロックとの間の間隔制限データブロック数量に基づいて決定されても良く、例えば、Pは上述のDと数値の面において同じであっても良く、第二データブロック制限距離は該コーディング処理条件の下で該マルチメディアデータフレームにおけるコーディング済みのデータブロックと前記コーディング待ちデータブロックとの間の間隔制限データブロック数量に基づいて決定され、ref_x_num-cur_x_numは第三候補参照データブロックと該コーディング待ちデータブロックとの間の列距離を表し、ref_y_num-cur_y_numは第三候補参照データブロックと前記コーディング待ちデータブロックとの間の行距離を表す。

【0087】

なお、該マルチメディアデータフレームのコーディング方式が並列コーディング方式又はシリアルコーディング方式であるときに、コンピュータ機器はさらに次のような方式で第一参照データブロック集合を得ても良く、即ち、第一位置情報、第二位置情報及び最大コーディングブロックのサイズ情報に基づいてコーディング済みのデータブロックとコーディング待ちデータブロックとの間の間隔データブロック数量を決定し、書き戻し遅延条件及びコーディング処理条件の下でコーディング済みのデータブロックとコーディング待ちデータブロックとの間の目標間隔制限データブロック数量を決定し、目標間隔制限データブロック数量とは書き戻し遅延条件及びコーディング処理条件を満足した場合、コーディング済みのデータブロックとコーディング待ちデータブロックとの間の最小間隔データブロック数量を指し、そして、マルチメディアデータフレームにおけるコーディング待ちデータブロックと同一のコーディングタイルに属し、かつ間隔データブロック数量が該目標間隔制限データブロック数量よりも大きいコーディング済みのデータブロックを第一参照データブロック集合に追加する。

【0088】

幾つかの実施例において、コンピュータ機器は以下のような2つの方式のうちから1つの方式又は少なくとも2つの組み合わせの方式を選択して第二参照データブロック集合を得ることができる。

【0089】

方式1：該第二参照データブロック集合は1つ又は複数の第三参照データブロックを含み、第三参照データブロックは該マルチメディアデータフレームにおいて該コーディング待ちデータブロックと同一のコーディング処理ユニットに位置するコーディング済みのデータブロックである。該コーディング処理ユニットはオンチップメモリの基本ユニット（VPDU、Virtual Pipeline Data Units）と称されても良く、VPDUのサイズ情報はコーダーのコーディング処理能力に基づいて決定されても良く、例えば、VPDUのサイズはVPDU_W*VPDU_Hであり、VPDU_W及びVPDU_Hの値はすべて4、8、16、32、64、128などであっても良い。言い換えれば、マルチメディアデータフレームにおいて座標がref_x/VPDU_W=cur_x/VPDU_Wかつref_y/VPDU_H=cur_y/VPDU_Hを満足したコーディング済みのデータブロックを第二参照データブロックとする。また、例えば、VPDUのサイズが64x64である場合、コーディング待ちデータブロックの属するVPDU 64x64におけるコーディング済みのデータブロックはすべてコーディング待ちデータブロックの参照データブロックとすることができる。あるいは、VPDUのサイズが64x64である場合、マルチメディアデータフレームにおいて座標がFloor（ref_x/64）=Floor（cur_x/64）、かつFloor（ref_y/64）=Floor（cur_y/64）を満足したコーディング済みのデータブロックを第三参照データブロックとする。

【0090】

幾つかの実施例において、マルチメディアデータフレームのコーディング待ちデータブロックの参照データブロックの各画素は同じVPDUに位置しても良い。

【0091】

方式2：該第二参照データブロック集合は1つ又は複数の第四参照データブロックを含み、該第四参照データブロックはマルチメディアデータフレームにおいてコーディング待ちデータブロックと隣接関係があり、かつ與コーディング待ちデータブロックと同じコーディングタイルに属するコーディング済みのデータブロックである。そのうち、第四参照データブロックとコーディング待ちデータブロックとの間に隣接関係があることは次のような3つのケースのうちの1つ又は複数の組み合わせを含んでも良い。即ち、a）第四参照データブロックとコーディング待ちデータブロックとが隣接関係を有するとは、第四参照データブロックがコーディング待ちデータブロックと同じ最大コーディングブロックに属することを指す。b）第四参照データブロックとコーディング待ちデータブロックとが隣接関係を有するとは、第四参照データブロックがコーディング待ちデータブロックに隣接するN個の最大コーディングブロックのうちにあり、かつ最大コーディングブロックのサイズはサイズ閾値よりも小さく、Nは前記最大コーディングブロックのサイズ情報に基づいて決定され、例えば、マルチメディアデータフレームのコーディング方向が左から右へである場合、サイズ閾値は適用シーンに基づいて動的又はユーザのニーズに応じて設定されても良く、例えば、サイズ閾値が128x128であっても良く、この場合、第四参照データブロックと前記コーディング待ちデータブロックとが隣接関係を有するとは、該第四参照データブロックが該コーディング待ちデータブロックの左側のN個の最大コーディングブロックのうちにあり、かつ該最大コーディングブロックのサイズが128x128よりも小さいことを指す。Nは以下のような公式（6）に基づいて決定され得る。

【0092】

【数8】

そのうち、log2_sb_sizeは中間変数を表し、sb_sizeは最大コーディングブロックのサイズを表す。

【0093】

c）第四参照データブロックとコーディング待ちデータブロックとが隣接関係を有するとは、第四参照データブロックがコーディング待ちデータブロックに隣接するN個の最大コーディングブロックのうちにあり、かつ最大コーディングブロックのサイズがサイズ閾値以上であることを指し、マルチメディアデータフレームにおいて、第四参照データブロックが第一方向に1つの最大コーディングブロック移動（例えば、右へ移動）した後に、移動後の第四参照データブロックの所在する領域における第二方向上の一番上の隅（例えば、一番左上の隅）に位置するデータブロックは未再構成データブロックである。ここで、第一方向及び第二方向は相対する2つの方向であり、そのうち、第一方向とは第四参照データブロックの移動方向を指し、第一方向はコーディング待ちデータブロックのコーディング方向と同じであり、言い換えれば、横向きに配列されるの1行のコーディング待ちデータブロックについて、左か右への方向がコーディング待ちデータブロックのコーディング方向である場合、左から右へは上述の第一方向であり、右から左へは上述の第二方向である。第四参照データブロックが1つの最大コーディングブロックの距離移動（移動方向はコーディング方向と同じである）したときの位置情報はコーディング待ちデータブロックの位置情報とは異なり、Nは最大コーディングブロックのサイズ情報に基づいて決定される。言い換えれば、最大コーディングブロックのサイズがサイズ閾値以上であり、例えば、最大コーディングブロックのサイズが128x128であるときに、第四参照データブロックは次のような3つの条件を満足する必要があり、即ち、1）コーディング待ちデータブロックと同じコーディングタイルに属するコーディング済みのデータブロックであり；2）第四参照データブロックが右へ128個の画素移動した後の座標が（ref_x+128，ref_y）である場合、マルチメディアデータフレームにおける座標が（ref_x+128，ref_y）、サイズが64x64である領域内の左上隅にあるデータブロックは未再構成データブロックであり；及び、3）該第四参照データブロックが右側へ1つの最大コーディングブロックの距離移動したときの位置情報は該コーディング待ちデータブロックの位置情報とは異なり、該条件は次のような公式（7）で表され得る。

【0094】

【数9】

そのうち、公式（7）では、！=は「等しくない」を意味する。

【0095】

本出願の実施例では、該第一目標参照データブロックとコーディング待ちデータブロックとの間の距離はすべて第二距離閾値よりも小さく、該第二距離閾値は適用シーン又はユーザのニーズに応じて動的設定されても良く、例えば、該第二距離閾値が2¹⁴であって良く、また、該第一目標参照データブロックはマルチメディアデータフレームの整数画素位置に位置する。

【0096】

例えば、マルチメディアデータフレームのコーディング方式が並列コーディング方式であり、最大コーディングブロックのサイズが128*128であり、書き戻し遅延制限条件の下でコーディング済みのデータブロックとコーディング待ちデータブロックとの間の間隔制限データブロック数量が4であり、コーディング処理条件の下でコーディング済みのデータブロックとコーディング待ちデータブロックとの間の間隔制限データブロック数量が2である場合、第二参照データブロック集合の取得方式は上述の方式1であり、VPDUのサイズが64x64であるときに、第一参照データブロック集合、第二参照データブロック集合及びコーディング待ちデータブロックの間の関係は図8に示すとおりである。図8では1つの最小正方形（即ち、点線で描かれた小正方形）のサイズは64x64であり、実線で描かれた小正方形のサイズは128x128であり、データブロックのサイズは32x32である。よって、図8では、マルチメディアデータフレームにおいて第1行の第19個目の正方形にあるコーディング済みのデータブロックは第二参照データブロック集合に属し、該第二参照データブロック集合は第一行の第19個目の正方形におけるコーディング待ちデータブロックに対してコーディングを行うために用いられる。マルチメディアデータフレームにおいて第1行及び第2行におけるコーディング待ちデータブロックとの距離が8つのデータブロックであるコーディング済みのデータブロックは第一参照データブロック集合に属し、該第一参照データブロック集合は第1行の第19個目の正方形におけるコーディング待ちデータブロックに対してコーディングを行うために用いられる。図8から分かるように、第一参照データブロック集合における参照データブロック数量は第二参照データブロック集合における参照データブロック数量よりも大きく、第一参照データブロック集合における参照データブロックはコーディング待ちデータブロックと隣接関係を有せず、第二参照データブロック集合における参照データブロックはコーディング待ちデータブロックとの間に隣接関係がある。

【0097】

例えば、マルチメディアデータフレームのコーディング方式が並列コーディング方式であり、最大コーディングブロックのサイズが128*128であり、書き戻し遅延制限条件の下でコーディング済みのデータブロックとコーディング待ちデータブロックとの間の間隔制限データブロック数量が4であり、コーディング処理条件の下でコーディング済みのデータブロックとコーディング待ちデータブロックとの間の間隔制限データブロック数量が2である場合、第二参照データブロック集合の取得方式は上述の方式2であり、VPDUのサイズが64x64であるときに、第一参照データブロック集合、第二参照データブロック集合及びコーディング待ちデータブロックの間の関係は図9に示すとおりである。図9では1つの最小正方形（即ち、点線で描かれた小正方形）のサイズは64x64であり、実線で描かれた小正方形のサイズは128x128であり、データブロックのサイズは32x32である。よって、図9ではマルチメディアデータフレームにおいて第1行の第19個目の正方形にあるコーディング済みのデータブロック及びコーディング待ちデータブロックの左側の最大コーディングブロックにあるコーディング済みのデータブロックは第二参照データブロック集合に属し、該第二参照データブロック集合は第1行の第19個目の正方形におけるコーディング待ちデータブロックに対してコーディングを行うために用いられる。マルチメディアデータフレームにおいて第1行及び第2行の中のコーディング待ちデータブロックとの距離が8つのデータブロックであるコーディング済みのデータブロックは第一参照データブロック集合に属し、該第一参照データブロック集合は第1行の第19個目の正方形におけるコーディング待ちデータブロックに対してコーディングを行うために用いられる。図9から分かるように、第一参照データブロック集合における参照データブロック数量は第二参照データブロック集合における参照データブロック数量よりも大きく、第一参照データブロック集合における参照データブロックはコーディング待ちデータブロックと隣接関係がなく、第二参照データブロック集合における参照データブロックはコーディング待ちデータブロックとの間に隣接関係がある。

【0098】

なお、コーディング待ちデータブロックのクロミナンス成分が第一目標参照データブロックの輝度成分に基づいて予測コーディングにより得られており、かつ該第一目標参照データブロックが第一参照データブロックであるときに、該第一目標参照データブロックの輝度成分及びクロミナンス成分は何れも第一参照データブロックに関する条件を満たす必要があり、第一参照データブロックに関する条件とは、上述の第一参照データブロック集合の決定条件を指しても良い。コーディング待ちデータブロックのクロミナンス成分が第一目標参照データブロックの輝度成分に基づいて予測コーディングを行うことで得られており、かつ該第一目標参照データブロックが第二参照データブロックであるときに、該第一目標参照データブロックの輝度成分及びクロミナンス成分はすべて第二参照データブロックに関する条件を満たす必要があり、第二参照データブロックに関する条件とは上述の第二参照データブロック集合の決定条件を指しても良い。

【0099】

幾つかの実施例において、コーディング待ちデータブロックとコーディング済みデータブロックとの間に隣接関係があるとは、コーディング待ちデータブロックのコーディング順番がコーディング済みのデータブロックのコーディング順番に隣接することを指しても良く、コーディング待ちデータブロックとコーディング済みのデータブロックとの間に隣接関係がないとはコーディング待ちデータブロックのコーディング順番がコーディング済みのデータブロックのコーディング順番に隣接しないことを指して良い。

【0100】

幾つかの実施例において、マルチメディアデータフレームのコーディング待ちデータブロックの数量は複数であり、マルチメディアデータフレームの各コーディング待ちデータブロックの属性情報を取得し、マルチメディアデータフレームの各コーディング待ちデータブロックの属性情報に基づいて、マルチメディアデータフレームにおけるすべてのコーディング待ちデータブロックに対応する第一目標参照データブロックがすべて第二参照データブロック集合に属すると決定するときに、マルチメディアデータフレームにおけるコーディング待ちデータブロックに対してフィルタリング処理を行い、マルチメディアデータフレームの各コーディング待ちデータブロックの属性情報に基づいて、マルチメディアデータフレームに、コーディング待ちデータブロックに対応する第一目標参照データブロックであって、第一参照データブロック集合から選択されるものが存在すると決定するときに、マルチメディアデータフレームにおけるコーディング待ちデータブロックに対してのフィルタリング処理を一時停止する。マルチメディアデータフレームの各デコーディング待ちデータブロックの属性情報に基づいて、マルチメディアデータフレームに、デコーディング待ちデータブロックに対応する第二目標参照データブロックであって、第二目標参照データブロックの第一領域が第一参照データブロック集合に属し、第二目標参照データブロックの第二領域が第二参照データブロック集合に属するものが存在すると決定するとき、マルチメディアデータフレームにおけるデコーディング待ちデータブロックに対してのフィルタリング処理を一時停止する。言い換えれば、コーディング側では、マルチメディアデータフレームにおけるデータブロックがすべて第二参照データブロック集合における参照データブロックを採用してコーディングされる場合、ループフィルタを用いてマルチメディアデータフレームに対してフィルタリング処理を行うことを許し、これはマルチメディアデータフレームの品質の向上に有利である。マルチメディアデータフレームにおけるデータブロックに、第一参照データブロック集合における参照データブロックを用いてコーディングされるものが存在し、又は、マルチメディアデータフレームにおけるデータブロックに、一部が第一参照データブロック集合に属し、かつ一部が第二参照データブロック集合に属する第一目標参照データブロックが存在するときに、ループフィルタを用いてマルチメディアデータフレームに対してフィルタリング処理を行うことを禁止し、ループフィルタを用いてマルチメディアデータフレームに対して処理を行うことを禁止することで、追加の画像記憶のニーズの増加を避けることができ、記憶空間の節約に有利である。ループフィルタリングはデブロッキングフィルタリング（DBF、Deblocking filter）、サンプル適応補償（SAO、Sample Adaptive Offset）、適応ループフィルタリング（ALF、Adaptive Loop Filter）、制約方向増強フィルタリング（CDEF、constrained directional enhancement）、ループ復元フィルタリング（LR、loop restoration）、クロス成分サンプル補償（CCSO、Cross Component Sample Offset）などを含んでも良いが、これらに限定されない。

【0101】

図10は本出願の実施例により提供されるマルチメディアデータ処理方法のフローを示す図である。図10に示すように、該方法は少なくとも以下のS201-S203を含む。

【0102】

S201：マルチメディアデータフレームにおけるデコーディング待ちデータブロックの属性情報を取得する。

【0103】

本出願の実施例では、コンピュータ機器は該マルチメディアデータフレーム中のデコーディング待ちデータブロックの属性情報を取得でき、該デコーディング待ちデータブロックとは上述の現在のコーディングデータブロックを指しても良く、デコーディング待ちデータブロックとはマルチメディアデータフレーム中の未デコーディングのデータブロックのうちのデコーディング対象となるデータブロックを指しても良く、即ち、デコーディング待ちデータブロックはマルチメディアデータフレーム中のデコーディング済みのデータブロックとの距離が最も近い未デコーディングデータブロックを指しても良い。

【0104】

デコーディング待ちデータブロックの属性情報はデコーディング待ちデータブロックの属するマルチメディアデータフレームのメディア類型、マルチメディアデータフレームの参照フラグ、デコーディング待ちデータブロックの属するマルチメディアデータフレームの明晰度などのうちの1つ又は複数を含んでも良く、メディア類型はフレーム内及び非フレーム内を含み、フレーム内類型とは代表的意味を持つマルチメディアデータフレームを指しても良く、フレーム内類型は全フレーム内コーディングフレーム、Intraフレーム、Iフレーム及びキーフレームを含む。フレーム内類型のフレームはフレーム内コーディング技術のみの使用が許され、他のフレームに依存してコーディングを行う必要がない。例えば、フレーム内類型とはビデオデータ又は画像データにおける主要な意味を表すことができるマルチメディアデータフレームを指しても良い。非フレーム内類型とはビデオデータ又は画像データ中のフレーム内類型以外のマルチメディアデータフレームを指しても良く、非フレーム内類型はフレーム間コーディングフレーム、Pフレーム、Bフレーム又は非キーフレームと称され得る。非フレーム内類型のフレームはフレーム間コーディング技術及びフレーム内コーディング技術の使用が許され、一般的には、フレーム間コーディング技術を採用するときに、参照フレームコーディング完了後にコーディングを行うことができる。マルチメディアデータフレームの参照フラグはデコーディング待ちデータブロックの参照データブロックの選択範囲を反映するために用いられる。

【0105】

S202：該デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを取得し、そのうち、第二目標参照データブロックは第一参照データブロック集合、第二参照データブロック集合、又は第一参照データブロック集合と第二参照データブロック集合とを融合した第三参照データブロック集合に属し、第一参照データブロック集合はデコーディング待ちデータブロックとの間に隣接関係がないデコーディング済みのデータブロックを含み、第二参照データブロック集合はデコーディング待ちデータブロックとの間に隣接関係があるデコーディング済みのデータブロックを含む。

【0106】

本出願の実施例では、マルチメディアデータフレームにおける、デコーディング待ちデータブロックと隣接関係がないデコーディング済みのデータブロック及びデコーディング待ちデータブロックと隣接関係があるデコーディング済みのデータブロックは何れも参照データブロックとすることができ、コンピュータ機器はデコーディング待ちデータブロックの属性情報に基づいて、適応的に、隣接関係を有するデコーディング済みのデータブロック及び隣接関係を有しないデコーディング済みのデータブロックのうちから、第二目標参照データブロックを選択することで、参照データブロックの取得の柔軟性及び正確さを向上させることができる。

【0107】

なお、本出願の実施例におけるデコーディング済みのデータブロックは、デコーディング側再構成済みデータブロックと称されても良く、再構成済みデータブロックとはデコーディング済みの、データブロックが復元処理を経た後のデータブロックを指す。第二目標参照データブロックとはデコーディング待ちデータブロックと隣接関係があるデコーディング済みデータブロックを指しても良く、又は、該第二目標参照データブロックとはデコーディング待ちデータブロックと隣接関係がないデコーディング済みデータブロックを指しても良く、又は、該第二目標参照データブロックの第二領域はデコーディング待ちデータブロックと隣接関係があるデコーディング済みのデータブロックに属し、かつ該第二目標参照データブロックの第二領域はデコーディング待ちデータブロックと隣接関係がないデコーディング済みのデータブロックに属して良い。

【0108】

S203：第二目標参照データブロックに基づいてデコーディング待ちデータブロックに対してデコーディングを行う。

【0109】

本出願の実施例では、コンピュータ機器は第二目標参照データブロック及びデコーディング待ちデータブロックのそれぞれのマルチメディアデータフレームにおける位置情報を決定し、該位置情報に基づいて第二目標参照データブロックとデコーディング待ちデータブロックとの間のブロックベクトルを決定し、その後、該ブロックベクトル及び第二目標参照データブロックに基づいて予測してデコーディング待ちデータブロックの予測信号を取得し、該予測信号とデコーディング待ちデータブロックの残差信号との加算を行って該デコーディング待ちデータブロックのオリジナル信号を得ることができる。デコーディング待ちデータブロックに対してデコーディングを行うことは、マルチメディアデータフレームを除去して復元処理を行い、マルチメディアデータフレームの品質を向上させることに有利である。

【0110】

なお、一般的には、ビデオデータには複数のマルチメディアデータフレームが含まれ、又は、画像データには複数のマルチメディアデータフレームが含まれるが、上述のデコーディング待ちデータブロック及び第二目標参照データブロックはすべて同一のマルチメディアデータフレームに属する。

【0111】

本出願の実施例では、コンピュータ機器はデコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを取得し、該第二目標参照データブロックは第一参照データブロック集合、第二参照データブロック集合、又は該第一参照データブロック集合と該第二参照データブロック集合とを融合した第三参照データブロック集合に属し、言い換えれば、選択に供し得る参照データブロック集合は第一参照データブロック集合、第二参照データブロック集合及び第三参照データブロック集合を含み、このようにして、参照データブロックの選択範囲を拡張しており、また、デコーディング待ちデータブロックの属性情報に基づいて第二目標参照データブロックを適応的に選択し、第二目標参照データブロックに基づいてデコーディング待ちデータブロックに対してデコーディングを行うことで、第二目標参照データブロックの取得の柔軟性及び正確さを向上させ、マルチメディアデータフレームのデコーディングパフォーマンスを向上させることができる。また、第二目標参照データブロックに基づいてデコーディング待ちデータブロックに対してデコーディングを行うことは、マルチメディアデータフレームに対しての復元処理及びマルチメディアデータフレームの品質の向上に有利である。

【0112】

幾つかの実施例において、コンピュータ機器は次のような3つのマッチ方式のうちの1つ又は複数の組み合わせの方式で、デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを得ることができる。

【0113】

マッチ方式1：該マルチメディアデータフレームのメディア類型がフレーム内類型である場合、第一参照データブロック集合又は第三参照データブロック集合から該デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを取得し、該第二目標参照データブロックは該第一参照データブロック及び該第二参照データブロックに基づいて決定され、該マルチメディアデータフレームのメディア類型が非フレーム内類型である場合、第二参照データブロック集合から該デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを取得する。デコーディング待ちデータブロックとデコーディング済みデータブロックとの間に隣接関係があるとは、デコーディング待ちデータブロックのデコーディング順番がデコーディング済みのデータブロックのデコーディング順番に隣接することを指しても良く、デコーディング待ちデータブロックとデコーディング済みのデータブロックとの間に隣接関係がないとは、デコーディング待ちデータブロックのデコーディング順番がデコーディング済みのデータブロックのデコーディング順番に隣接しないことを指しても良い。

【0114】

なお、第一参照データブロック集合及び第二参照データブロック集合はそれぞれ第一記憶空間及び第二記憶空間に記憶され、第一記憶空間及び第二記憶空間は同じコンピュータ機器にあっても良く、異なるコンピュータ機器にあっても良い。

【0115】

マッチ方式1では、該マルチメディアデータフレームのメディア類型がフレーム内類型である場合、第一参照データブロック集合からデコーディング待ちデータブロックとの間に最高相関性があるデータブロックを捜索して、該デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックとすることができる。該マルチメディアデータフレームのメディア類型が非フレーム内類型である場合、該第二参照データブロック集合からデコーディング待ちデータブロックとの間に最高相関性があるデータブロックを捜索して、該デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックとすることができる。マルチメディアデータフレームのメディア類型に基づいて、適応的に、デコーディング待ちデータブロックにマッチした参照データブロックを選択することは、参照データブロックの取得の正確さ及び柔軟性の向上に有利である。

【0116】

マッチ方式2：該デコーディング待ちデータブロックの属性情報が前記デコーディング待ちデータブロックの属するマルチメディアデータフレームの参照フラグを含むときに、コンピュータ機器が該デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを得ることは、該マルチメディアデータフレームの参照フラグが第一参照フラグである場合、第一参照データブロック集合又は第三参照データブロック集合から該デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを取得し、該マルチメディアデータフレームの参照フラグが第二参照フラグである場合、第二参照データブロック集合から該デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを得ることを含む。該参照フラグはマルチメディアデータフレームの送信者（又は受信者）により事前設定されても良いので、参照フラグに基づいて第二目標参照データブロックを適応的に選択することは、ユーザのコーディングのニーズに応じて第二目標参照データブロックを適応的に選択することに相当し、これは選択される参照データブロックの柔軟性及び正確性の向上に有利である。

【0117】

第一参照フラグはデコーディング待ちデータブロックの参照データブロックの選択範囲が第一参照データブロック集合又は第三参照データブロック集合であることを指示するために用いられ、第二参照フラグはデコーディング待ちデータブロックの参照データブロックの選択範囲が第二参照データブロック集合であることを指示するために用いられる。第一参照フラグ及び第二参照フラグはマルチメディアデータフレームの送信者（又は受信者）により事前設定されても良く、第一参照フラグ及び第二参照フラグは数字、字母及び漢字のうちの1つ又は複数からなっても良い。

【0118】

マッチ方式2では、該マルチメディアデータフレームの参照フラグが第一参照フラグである場合、第一参照データブロック集合及び第二参照データブロック集合（即ち、第三参照データブロック集合）から、デコーディング待ちデータブロックとの間に最高相関性があるデータブロックを捜索して、該デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックとし、このときに、第二目標参照データブロックは第二参照データブロック集合及び第二参照データブロック集合に基づいて決定され、該マルチメディアデータフレームの参照フラグが第二参照フラグである場合、第二参照データブロック集合から、デコーディング待ちデータブロックとの間に最高相関性があるデータブロックを捜索して、該デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックとする。マルチメディアデータフレームの参照フラグに基づいて、デコーディング待ちデータブロックにマッチした参照データブロックを適応的に選択することは、参照データブロックの取得の正確さ及び柔軟性の向上に有利である。

【0119】

マッチ方式2では、該マルチメディアデータフレームの参照フラグが第一参照フラグである場合、第一参照データブロック集合から、デコーディング待ちデータブロックとの間に最高相関性があるデータブロックを捜索して、該デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックとし、このときに、第二目標参照データブロックとは、第一参照データブロック集合の中の任意の1つの参照データブロックを指しても良く、該マルチメディアデータフレームの参照フラグが第二参照フラグである場合、第二参照データブロック集合から、デコーディング待ちデータブロックとの間に最高相関性があるデータブロックを捜索して、該デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックとし、このときに、第二目標参照データブロックとは、第二参照データブロック集合の中の任意の1つの参照データブロックを指しても良い。マルチメディアデータフレームの参照フラグに基づいて、デコーディング待ちデータブロックにマッチした参照データブロックを適応的に選択することは、参照データブロックの取得の正確さ及び柔軟性の向上に有利である。

【0120】

マッチ方式3：該デコーディング待ちデータブロックの属性情報がデコーディング待ちデータブロックの属するマルチメディアデータフレームの明晰度を含むときに、デコーディング待ちデータブロックの属するマルチメディアデータフレームの明晰度が明晰度閾値より大きい場合、ユーザのマルチメディアデータフレームへの品質要求が高いことを意味し、第一参照データブロック集合又は第三参照データブロック集合から、該デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを得ることができる。デコーディング待ちデータブロックの属するマルチメディアデータフレームの明晰度が明晰度閾値以下の場合、ユーザのマルチメディアデータフレームへの品質要求が低いことを意味し、第二参照データブロック集合から、該デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを得ることができる。マルチメディアデータフレームの明晰度はユーザのマルチメディアデータフレームへの品質要求を反映するために用いられ得るので、マルチメディアデータフレームの明晰度に基づいて、第二目標参照データブロックを適応的に選択することは、ユーザのマルチメディアデータフレームへの品質ニーズに応じて第二目標参照データブロックを適応的に選択することに相当し、これは選択される参照データブロックの柔軟性及び正確性の向上に有利にある。

【0121】

幾つかの実施例において、コンピュータ機器はマルチメディアデータフレームのデコーディング方式に基づいて次のような2つの方式のうちから1つの方式を選択して第一参照データブロック集合を得ることができる。即ち、方式1：該マルチメディアデータフレームのデコーディング方式がシリアルデコーディング方式であるときに、該第一参照データブロック集合における第一参照データブロックはマルチメディアデータフレームにおける、パラメータ関連付け関係が書き戻し制限条件を満足しており、かつデコーディング待ちデータブロックと同じデコーディングタイルに属するデコーディング済みのデータブロックであり、パラメータ関連付け関係は第一位置情報、最大デコーディングブロックのサイズ情報及び第二位置情報の間の関連付け関係を反映するために用いられ、前記第一位置情報及び第二位置情報とはそれぞれデコーディング済みのデータブロック及びデコーディング待ちデータブロックのマルチメディアデータフレームにおける位置情報を指し、書き戻し制限条件はデコーディング済みのデータブロックを第一参照データブロック集合に書き込む制限遅延を反映するために用いられる。言い換えれば、シリアルデコーディング方式とは同一時間にマルチメディアデータフレーム中の1つのみのデータブロックに対してデコーディングを行うことを指し、マルチメディアデータフレームのデコーディング方式がシリアルデコーディング方式であるときに、該デコーディング方式は参照データブロックの決定プロセスに影響を与えることがない。しかし、デコーディング済みのデータブロックを第一参照データブロック集合に書き込むことは大きな書き戻し遅延を招くことがあり、即ち、デコーディング済みのデータブロックを第一参照データブロック集合に書き込むには長い時間がかかるので、デコーディング済みのデータブロックは少なくとも所定時間長待った後に参照データブロックとすることができ、所定時間長は前記デコーディング済みのデータブロックを前記第一参照データブロック集合に書き込む制限遅延に基づいて決定され、該制限遅延とはデコーディング済みのデータブロックを第一参照データブロック集合に書き込む平均遅延、最大遅延、最小遅延などのうちの1つを指しても良い。これで分かるように、該マルチメディアデータフレームのデコーディング方式がシリアルデコーディング方式であるときに、該第一参照データブロック集合における第一参照データブロックは次のような2つの条件を満たす必要があり、即ち、a）デコーディング待ちデータブロックと同じデコーディングタイルに属し；及び、b）、パラメータ関連付け関係が書き戻し制限条件を満足している。

【0122】

方式2：該マルチメディアデータフレームのデコーディング方式が並列デコーディング方式又はシリアルデコーディング方式であるときに、該第一参照データブロック集合の第一参照データブロックは該デコーディング待ちデータブロックと同じデコーディングタイルに属し、かつ該マルチメディアデータフレームにおけるパラメータ関連付け関係が書き戻し制限条件を満足し、かつ該パラメータ関連付け関係がデコーディング処理条件を満足するデコーディング済みのデータブロックであり、該パラメータ関連付け関係はデコーディング済みのデータブロック及び該デコーディング待ちデータブロックのそれぞれの該マルチメディアデータフレームにおける位置情報、及び最大デコーディングブロックのサイズ情報の間の関連付け関係を反映するために用いられ、該書き戻し制限条件は該デコーディング済みのデータブロックを該第一参照データブロック集合に書き込む制限遅延を反映するために用いられる。言い換えれば、並列デコーディング方式とは同一時間にマルチメディアデータフレーム中の複数のデータブロックに対して予測デコーディングを行うことを指し、マルチメディアデータフレームのデコーディング方式が並列デコーディング方式であるときに、該デコーディング方式は参照データブロックの決定プロセスに影響を与えることがある。また、デコーディング済みのデータブロックを第一参照データブロック集合に書き込むことは大きな書き戻し遅延をもたらすこともある。これで分かるように、該マルチメディアデータフレームのデコーディング方式が並列デコーディング方式であるときに、該第一参照データブロック集合における第一参照データブロックは次のような3つの条件を満たす必要があり、即ち、a）デコーディング待ちデータブロックと同じデコーディングタイルに属し；b）パラメータ関連付け関係が書き戻し制限条件を満足しており；及び、c）パラメータ関連付け関係がデコーディング処理条件を満足している。特に、該マルチメディアデータフレームのデコーディング方式がシリアルデコーディング方式であるときに、方式2を採用して第一参照データブロック集合を得ても良い。ここでのデコーディング処理条件とは並列デコーディング処理条件を指しても良い。

【0123】

なお、第一参照データブロック集合の取得方式はコーディング段階で第一参照データブロック集合を得る取得方式を参照でき、ここでは重複説明が省略される。

【0124】

幾つかの実施例において、コンピュータ機器は次のような2つの方式のうちから１つの方式又は少なくとも2つの組み合わせの方式を採用して第二参照データブロック集合を得ることができる。即ち、方式1：該第二参照データブロック集合の第二参照データブロックは該マルチメディアデータフレームにおいて該デコーディング待ちデータブロックと同一のデコーディング処理ユニットに位置するデコーディング済みのデータブロックである。方式2：第二参照データブロック集合の第二参照データブロックはマルチメディアデータフレームにおいてデコーディング待ちデータブロックと隣接関係があり、かつデコーディング待ちデータブロックと同じデコーディングタイルに属するデコーディング済みのデータブロックである。そのうち、第二参照データブロックとデコーディング待ちデータブロックとの間に隣接関係があることは次のようなケースのうちの1つ又は複数の組み合わせであっても良く、即ち、a）第二参照データブロックとデコーディング待ちデータブロックとが隣接関係を有するとは、第二参照データブロックがデコーディング待ちデータブロックと同じ最大デコーディングブロックに属すことを指しても良く、及び、b）第二参照データブロックとデコーディング待ちデータブロックとが隣接関係を有するとは、第二参照データブロックがデコーディング待ちデータブロックに隣接するN個の最大デコーディングブロックの内にあり、かつ最大デコーディングブロックのサイズがサイズ閾値よりも小さいことを指しても良く、Nは最大デコーディングブロックのサイズ情報に基づいて決定される。

【0125】

幾つかの実施例において、該第一参照データブロック、第二参照データブロック及びデコーディング待ちデータブロックの間の距離はすべて第二距離閾値よりも小さく、該第二距離閾値は適用シーン又はユーザのニーズに応じて動的設定されても良く、例えば、該第二距離閾値は2¹⁴であっても良く、また、該第一参照データブロック及び第二参照データブロックはマルチメディアデータフレームの整数画素位置に位置する。マルチメディアデータフレームのデコーディング待ちデータブロックの数量は複数であり、マルチメディアデータフレームの各デコーディング待ちデータブロックの属性情報を取得し、マルチメディアデータフレームの各デコーディング待ちデータブロックの属性情報に基づいて、マルチメディアデータフレーム中のすべてのデコーディング待ちデータブロックに対応する第二目標参照データブロックがすべて第二参照データブロック集合に属すると決定するときに、マルチメディアデータフレーム中のデコーディング待ちデータブロックに対してフィルタリング処理を行い、マルチメディアデータフレームの各デコーディング待ちデータブロックの属性情報に基づいて、マルチメディアデータフレームに、第一参照データブロック集合に属する、デコーディング待ちデータブロックに対応する第二目標参照データブロックが存在すると決定するときに、マルチメディアデータフレーム中のデコーディング待ちデータブロックに対してのフィルタリング処理を一時停止する。マルチメディアデータフレームの各デコーディング待ちデータブロックの属性情報に基づいて、マルチメディアデータフレームに、デコーディング待ちデータブロックに対応する第二目標参照データブロックであって、第二目標参照データブロックの第一領域が前記第一参照データブロック集合に属し、第二目標参照データブロックの第二領域が第二参照データブロック集合に属するものが存在すると決定するときに、マルチメディアデータフレーム中のデコーディング待ちデータブロックに対してのフィルタリング処理を一時停止する。

【0126】

図11は本出願の実施例により提供されるマルチメディアデータ処理装置の構成を示す図である。該マルチメディアデータ処理装置はコンピュータ機器において実行される1つのコンピュータプログラム（プログラムコードを含む）であっても良く、例えば、該マルチメディアデータ処理装置は1つのアプリケーションソフトウェアであっても良く、該装置は本出願の実施例により提供される方法の中の対応ステップを実行するために用いられ得る。図11に示すように、該マルチメディアデータ処理装置は第一取得モジュール111、第一マッチモジュール112及びコーディングモジュール113を含んでも良い。

【0127】

第一取得モジュールはマルチメディアデータフレームにおけるコーディング待ちデータブロックの属性情報を取得するように構成され；第一マッチモジュールは前記コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを取得するように構成され、そのうち、前記第一目標参照データブロックは第一参照データブロック集合、第二参照データブロック集合、又は前記第一参照データブロック集合と前記第二参照データブロック集合とを融合した第三参照データブロック集合から選択され、前記第一参照データブロック集合は前記コーディング待ちデータブロックとの間に隣接関係を有しないコーディング済みのデータブロックを含み、前記第二参照データブロック集合は前記コーディング待ちデータブロックとの間に隣接関係を有するコーディング済みのデータブロックを含み；コーディングモジュールは前記第一目標参照データブロックに基づいて前記コーディング待ちデータブロックに対して予測コーディングを行うように構成される。

【0128】

幾つかの実施例において、前記コーディング待ちデータブロックの属性情報は前記コーディング待ちデータブロックの属するマルチメディアデータフレームのメディア類型を含み、前記第一マッチモジュールはさらに、前記マルチメディアデータフレームのメディア類型がフレーム内類型である場合、前記第一参照データブロック集合又は前記第三参照データブロック集合から前記コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを取得し、前記マルチメディアデータフレームのメディア類型が非フレーム内類型である場合、第二参照データブロック集合から前記コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを取得するように構成される。

【0129】

幾つかの実施例において、前記コーディング待ちデータブロックの属性情報は前記コーディング待ちデータブロックの属するマルチメディアデータフレームの参照フラグを含み、前記第一マッチモジュールはさらに、前記マルチメディアデータフレームの参照フラグが第一参照フラグである場合、前記第一参照データブロック集合又は前記第三参照データブロック集合から前記コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを取得し、前記マルチメディアデータフレームの参照フラグが第二参照フラグである場合、第二参照データブロック集合から前記コーディング待ちデータブロックの属性情報にマッチした第一目標参照データブロックを取得するように構成される。

【0130】

幾つかの実施例において、前記第一参照データブロック集合は1つ又は複数の第一参照データブロックを含み、前記マルチメディアデータフレームのコーディング方式がシリアルコーディング方式であるときに、第一参照データブロックは前記マルチメディアデータフレームにおいてパラメータ関連付け関係が書き戻し制限条件を満足しており、かつ前記コーディング待ちデータブロックと同じコーディングタイルに属するコーディング済みのデータブロックであり、前記パラメータ関連付け関係は第一位置情報、最大コーディングブロックのサイズ情報及び第二位置情報の間の関連付け関係を反映するために用いられる、前記第一位置情報及び第二位置情報とはそれぞれコーディング済みのデータブロック及び前記コーディング待ちデータブロックの前記マルチメディアデータフレームにおける位置情報を指し、前記書き戻し制限条件は前記コーディング済みのデータブロックを前記第一参照データブロック集合に書き込む制限遅延を反映するために用いられる。

【0131】

幾つかの実施例において、第一取得モジュールはさらに、前記マルチメディアデータフレームのコーディング方式がシリアルコーディング方式であるときに、それぞれ、第一位置情報、前記最大コーディングブロックのサイズ情報及び第二位置情報を取得し、前記第一位置情報及び第二位置情報とはそれぞれコーディング済みのデータブロック及び前記コーディング待ちデータブロックの前記マルチメディアデータフレームにおける位置情報を指し、書き戻し制限条件を取得し、前記書き戻し制限条件は前記コーディング済みのデータブロックを前記第一参照データブロック集合に書き込む制限遅延を反映するために用いられ、前記マルチメディアデータフレームから、パラメータ関連付け関係が書き戻し制限条件を満足しており、かつ前記コーディング待ちデータブロックと同じコーディングタイルに属するコーディング済みのデータブロックを選択して第一参照データブロックとし、前記パラメータ関連付け関係は前記第一位置情報、前記最大コーディングブロックのサイズ情報及び前記第二位置情報の間の関連付け関係を反映するために用いられ、及び、前記第一参照データブロックを前記第一参照データブロック集合に追加するように構成される。

【0132】

幾つかの実施例において、前記第一取得モジュールはさらに、前記第一位置情報及び前記第二位置情報に基づいて前記マルチメディアデータフレームから前記コーディング待ちデータブロックと同一のコーディングタイルに属するコーディング済みのデータブロックを選択して第一候補参照データブロックとし、前記書き戻し制限条件の下で前記マルチメディアデータフレームにおけるコーディング済みのデータブロックと前記コーディング待ちデータブロックとの間の間隔データブロック制限数量を決定し、前記第一位置情報、前記最大コーディングブロックのサイズ情報及び前記第二位置情報に基づいて前記第一候補参照データブロックと前記コーディング待ちデータブロックとの間の間隔データブロック数量をカウントし、及び、間隔データブロック数量が前記間隔データブロック制限数量よりも大きい第一候補参照データブロックを第一参照データブロックとして決定するように構成される。

【0133】

幾つかの実施例において、第一取得モジュールはさらに、第一位置情報及び前記最大コーディングブロックのサイズ情報に基づいて前記第一候補参照データブロックの行標識及び列標識を決定し、前記第二位置情報及び前記最大コーディングブロックのサイズ情報に基づいて前記コーディング待ちデータブロックの行標識及び列標識を決定し、前記コーディング待ちデータブロックのサイズ情報に基づいて前記マルチメディアデータフレームにおける各行のデータブロック数量を決定し、及び、前記各行のデータブロック数量、前記第一候補参照データブロックの行標識及び列標識、並びに前記コーディング待ちデータブロックの行標識及び列標識に基づいて、前記第一候補参照データブロックと前記コーディング待ちデータブロックとの間の間隔データブロック数量をカウントするように構成される。

【0134】

幾つかの実施例において、前記第一参照データブロック集合は1つ又は複数の第二参照データブロックを含み、前記第二参照データブロックは前記コーディング待ちデータブロックと同じコーディングタイルに属し、かつ前記マルチメディアデータフレームにおいてパラメータ関連付け関係が書き戻し制限条件を満足しており、かつ前記パラメータ関連付け関係がコーディング処理条件を満足しているコーディング済みのデータブロックであり、前記パラメータ関連付け関係はコーディング済みのデータブロック及び前記コーディング待ちデータブロックのそれぞれの前記マルチメディアデータフレームにおける位置情報、及び最大コーディングブロックのサイズ情報の間の関連付け関係を反映するために用いられ、前記書き戻し制限条件は前記コーディング済みのデータブロックを前記第一参照データブロック集合に書き込む制限遅延を反映するために用いられる。

【0135】

幾つかの実施例において、第一取得モジュールはさらに、それぞれ、第一位置情報、前記最大コーディングブロックのサイズ情報及び第二位置情報を取得し、前記第一位置情報及び第二位置情報とはそれぞれコーディング済みのデータブロック及び前記コーディング待ちデータブロックの前記マルチメディアデータフレームにおける位置情報を指し、書き戻し制限条件及びコーディング処理条件を取得し、前記書き戻し制限条件は前記コーディング済みのデータブロックを前記第一参照データブロック集合に書き込む制限遅延を反映するために用いられ、前記マルチメディアデータフレームからパラメータ関連付け関係が書き戻し制限条件及び前記コーディング処理条件を満足しており、かつ前記コーディング待ちデータブロックと同じコーディングタイルに属するコーディング済みのデータブロックを選択して第二参照データブロックとし、前記パラメータ関連付け関係は前記第一位置情報、前記コーディング待ちデータブロックのサイズ情報及び前記第二位置情報の間の関連付け関係を反映するために用いられ、及び、前記第二参照データブロックを前記第一参照データブロック集合に追加するために用いられる。

【0136】

幾つかの実施例において、第一取得モジュールはさらに、前記第一位置情報及び前記第二位置情報に基づいて前記マルチメディアデータフレームから前記コーディング待ちデータブロックと同一のコーディングタイルに属するコーディング済みのデータブロックを選択して第一候補参照データブロックとし、前記第一候補参照データブロックのうちからパラメータ関連付け関係が書き戻し制限条件を満足している第一候補参照データブロックを選択して第二候補参照データブロックとし、前記書き戻し制限条件の下で前記マルチメディアデータフレームにおいてコーディング済みのデータブロックと前記コーディング待ちデータブロックとの間の第一データブロック制限距離を決定し、前記コーディング処理条件の下で前記マルチメディアデータフレームにおいてコーディング済みのデータブロックと前記コーディング待ちデータブロックとの間の第二データブロック制限距離を決定し、前記第一位置情報、前記最大コーディングブロックのサイズ情報及び前記第二位置情報、並びに、前記第一データブロック制限距離及び前記第二データブロック制限距離に基づいて、前記第二候補参照データブロックのうちから前記コーディング処理条件を満足している第二候補参照データブロックを第二参照データブロックとして選択するように構成される。

【0137】

幾つかの実施例において、第一取得モジュールはさらに、前記第一位置情報及び前記最大コーディングブロックのサイズ情報に基づいて前記第二候補参照データブロックの行標識及び列標識を決定し、前記第二位置情報及び前記最大コーディングブロックのサイズ情報に基づいて前記コーディング待ちデータブロックの行標識及び列標識を決定し、前記第二候補参照データブロックのうちから行標識が前記コーディング待ちデータブロックの行標識以下である第二候補参照データブロックを選択して第三候補参照データブロックとし、前記第三候補参照データブロックの行標識及び前記コーディング待ちデータブロックの行標識に基づいて前記第三候補参照データブロックと前記コーディング待ちデータブロックとの間の行距離を決定し、前記第三候補参照データブロックの列標識及び前記コーディング待ちデータブロックの列標識に基づいて前記第三候補参照データブロックと前記コーディング待ちデータブロックとの間の列距離を決定し、前記第三候補参照データブロックのうち、列距離が第一距離閾値より小さい第三候補参照データブロックを第二参照データブロックとして決定するように構成され、前記第一距離閾値は前記第一データブロック制限距離、前記第二データブロック制限距離、及び、前記第三候補参照データブロックと前記コーディング待ちデータブロックとの間の行距離に基づいて決定される。

【0138】

幾つかの実施例において、前記第二参照データブロック集合は1つ又は複数の第三参照データブロックを含み、第三参照データブロックは前記マルチメディアデータフレームにおいて前記コーディング待ちデータブロックと同一のコーディング処理ユニットに位置するコーディング済みのデータブロックであり、又は、前記第二参照データブロック集合は1つ又は複数の第四参照データブロックを含み、前記第四参照データブロックは前記マルチメディアデータフレームにおいて前記コーディング待ちデータブロックと隣接関係があり、かつ前記コーディング待ちデータブロックと同じコーディングタイルに属するコーディング済みのデータブロックである。

【0139】

幾つかの実施例において、前記第四参照データブロックと前記コーディング待ちデータブロックが隣接関係を有するとは、次のようなことを指し、即ち、前記第四参照データブロックと前記コーディング待ちデータブロックが同じ最大コーディングブロックに属し；又は、前記第四参照データブロックが前記コーディング待ちデータブロックに隣接するN個の最大コーディングブロックのうちにあり、かつ前記最大コーディングブロックのサイズがサイズ閾値以下であり、Nは前記最大コーディングブロックのサイズ情報に基づいて決定され；又は、前記第四参照データブロックが前記コーディング待ちデータブロックに隣接するN個の最大コーディングブロックのうちにあり、かつ前記最大コーディングブロックのサイズがサイズ閾値以上であり、前記マルチメディアデータフレームにおいて前記第四参照データブロックが右へ1つの最大コーディングブロックを移動した後の所在する領域内で左上隅に位置するデータブロックが未再構成されるデータブロックであり、前記第四参照データブロックが1つの最大コーディングブロックの距離移動したときの位置情報は前記コーディング待ちデータブロックの位置情報とは異なり、Nは前記最大コーディングブロックのサイズ情報に基づいて決定される。

【0140】

幾つかの実施例において、前記第一目標参照データブロックと前記コーディング待ちデータブロックとの間の距離はすべて第二距離閾値より小さく、前記第一目標参照データブロックは前記マルチメディアデータフレームの整数画素位置にある。

【0141】

幾つかの実施例において、前記マルチメディアデータフレームのコーディング待ちデータブロックの数量は複数であり、第一取得モジュールはさらに、前記マルチメディアデータフレームの各コーディング待ちデータブロックの属性情報を取得し、前記マルチメディアデータフレームの各コーディング待ちデータブロックの属性情報に基づいて、前記マルチメディアデータフレームにおけるすべてのコーディング待ちデータブロックに対応する第一目標参照データブロックがすべて前記第二参照データブロック集合に属すると決定するときに、前記マルチメディアデータフレームにけるコーディング待ちデータブロックに対してフィルタリング処理を行い、前記マルチメディアデータフレームの各コーディング待ちデータブロックの属性情報に基づいて、前記マルチメディアデータフレームに、前記第一参照データブロック集合から選択される、コーディング待ちデータブロックに対応する第一目標参照データブロックが存在すると決定するときに、前記マルチメディアデータフレーム中のコーディング待ちデータブロックに対してのフィルタリング処理を一時停止し、前記マルチメディアデータフレームの各コーディング待ちデータブロックの属性情報に基づいて、前記マルチメディアデータフレームに、コーディング待ちデータブロックに対応する第一目標参照データブロックであって、前記第一目標参照データブロックの第一領域が前記第一参照データブロック集合に属し、前記第一目標参照データブロックの第二領域が前記第二参照データブロック集合に属するものが存在すると決定するときに、前記マルチメディアデータフレーム中のコーディング待ちデータブロックに対してのフィルタリング処理を一時停止するように構成される。

【0142】

本出願の1つの実施例によれば、図7に示すマルチメディアデータ処理方法におけるステップは図11に示すマルチメディアデータ処理装置における各モジュールにより実行され得る。例えば、図7に示すステップS101は図11中の第一取得モジュール111により実行され、図7に示すステップS102は図11中の第一マッチモジュール112により実行され、図7に示すステップS103は図11中のコーディングモジュール113により実行されても良い。

【0143】

図12は本出願の実施例により提供されるもう１つのマルチメディアデータ処理装置の構成を示す図である。該マルチメディアデータ処理装置はコンピュータ機器において実行される1つのコンピュータプログラム（プログラムコードを含む）であっても良く、例えば、該マルチメディアデータ処理装置は1つアプリケーションソフトウェアであり、該装置は本出願の実施例により提供される方法における対応ステップを実行するために用いられ得る。如図12に示すように、該マルチメディアデータ処理装置は第二取得モジュール121、第二マッチモジュール122及びデコーディングモジュール123を含み得る。

【0144】

第二取得モジュールはマルチメディアデータフレームにおけるデコーディング待ちデータブロックの属性情報を取得するように構成され、第二マッチモジュールは前記デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを取得するように構成され、そのうち、前記第二目標参照データブロックは第一参照データブロック集合、第二参照データブロック集合、又は前記第一参照データブロック集合と前記第二参照データブロック集合とを融合した第三参照データブロック集合に属し、前記第一参照データブロック集合は前記デコーディング待ちデータブロックとの間に隣接関係を有しないデコーディング済みのデータブロックを含み、前記第二参照データブロック集合は前記デコーディング待ちデータブロックとの間に隣接関係を有するデコーディング済みのデータブロックを含み、デコーディングモジュールは前記第二目標参照データブロックに基づいて前記デコーディング待ちデータブロックに対してデコーディングを行うように構成される。

【0145】

幾つかの実施例において、前記デコーディング待ちデータブロックの属性情報は前記デコーディング待ちデータブロックの属するマルチメディアデータフレームのメディア類型を含み、前記第二マッチモジュールはさらに、前記マルチメディアデータフレームのメディア類型がフレーム内類型である場合、第一参照データブロック集合から前記デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを取得し、前記マルチメディアデータフレームのメディア類型が非フレーム内類型である場合、前記第一参照データブロック集合又は第三参照データブロック集合から前記デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを取得するように構成される。

【0146】

幾つかの実施例において、前記デコーディング待ちデータブロックの属性情報は前記デコーディング待ちデータブロックの属するマルチメディアデータフレームの参照フラグを含み、前記第二マッチモジュールはさらに、前記マルチメディアデータフレームの参照フラグが第一参照フラグである場合、前記第一参照データブロック集合又は第三参照データブロック集合から前記デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを取得し、前記マルチメディアデータフレームの参照フラグが第二参照フラグである場合、第二参照データブロック集合から前記デコーディング待ちデータブロックの属性情報にマッチした第二目標参照データブロックを取得するように構成される。

【0147】

幾つかの実施例において、前記第一参照データブロック集合は1つ又は複数の第一参照データブロックを含み、前記マルチメディアデータフレームのデコーディング方式がシリアルデコーディング方式であるときに、前記第一参照データブロックは前記マルチメディアデータフレームにおいてパラメータ関連付け関係が書き戻し制限条件を満足しており、かつ前記デコーディング待ちデータブロックと同じデコーディングタイルに属するデコーディング済みのデータブロックであり、前記パラメータ関連付け関係は第一位置情報、最大デコーディングブロックのサイズ情報及び第二位置情報の間の関連付け関係を反映するために用いられ、、前記第一位置情報及び第二位置情報とはそれぞれデコーディング済みのデータブロック及び前記デコーディング待ちデータブロックの前記マルチメディアデータフレームにおける位置情報を指し、前記書き戻し制限条件は前記デコーディング済みのデータブロックを前記第一参照データブロック集合に書き込む制限遅延を反映するために用いられる。

【0148】

幾つかの実施例において、前記第一参照データブロック集合は1つ又は複数の第二参照データブロックを含み、前記第二参照データブロックは前記デコーディング待ちデータブロックと同じデコーディングタイルに属し、かつ前記マルチメディアデータフレームにおいてパラメータ関連付け関係が書き戻し制限条件を満足しており、かつ前記パラメータ関連付け関係がデコーディング処理条件を満足しているデコーディング済みのデータブロックであり、前記パラメータ関連付け関係はデコーディング済みのデータブロック及び前記デコーディング待ちデータブロックのそれぞれの前記マルチメディアデータフレームにおける位置情報、及び最大デコーディングブロックのサイズ情報の間の関連付け関係を反映するために用いられ、前記書き戻し制限条件は前記デコーディング済みのデータブロックを前記第一参照データブロック集合に書き込む制限遅延を反映するために用いられる。

【0149】

幾つかの実施例において、前記第二参照データブロック集合は1つ又は複数の第三参照データブロックを含み、前記第三参照データブロックは前記マルチメディアデータフレームにおいて前記デコーディング待ちデータブロックと同一のデコーディング処理ユニットにあるデコーディング済みのデータブロックであり、又は、前記第二参照データブロック集合は1つ又は複数の第四参照データブロックを含み、前記第四参照データブロックは前記マルチメディアデータフレームにおいて前記デコーディング待ちデータブロックと隣接関係があり、かつ前記デコーディング待ちデータブロックと同じデコーディングタイルに属するデコーディング済みのデータブロックである。

【0150】

幾つかの実施例において、前記マルチメディアデータフレームのデコーディング待ちデータブロックの数量は複数であり、第二取得モジュールはさらに、前記マルチメディアデータフレームの各デコーディング待ちデータブロックの属性情報を取得し、前記マルチメディアデータフレームの各コーディング待ちデータブロックの属性情報に基づいて、前記マルチメディアデータフレームにおけるすべてのデコーディング待ちデータブロックに対応する第二目標参照データブロックがすべて前記第二参照データブロック集合に属すると決定するときに、前記マルチメディアデータフレーム中のデコーディング待ちデータブロックに対してフィルタリング処理を行い、前記マルチメディアデータフレームの各デコーディング待ちデータブロックの属性情報に基づいて、前記マルチメディアデータフレームに、デコーディング待ちデータブロックに対応する第二目標参照データブロックであって、第二目標参照データブロックが前記第一参照データブロック集合に属するものが存在すると決定するときに、前記マルチメディアデータフレーム中のデコーディング待ちデータブロックに対してのフィルタリング処理を一時停止し、前記マルチメディアデータフレームの各デコーディング待ちデータブロックの属性情報に基づいて、前記マルチメディアデータフレームに、デコーディング待ちデータブロックに対応する第二目標参照データブロックであって、前記第二目標参照データブロックの第一領域が前記第一参照データブロック集合に属し、前記第二目標参照データブロックの第二領域が前記第二参照データブロック集合に属するものが存在すると決定するときに、前記マルチメディアデータフレーム中のデコーディング待ちデータブロックに対してのフィルタリング処理を一時停止するように構成される。

【0151】

本出願の1つの実施例によれば、図10に示すマルチメディアデータ処理方法におけるステップは図12に示すマルチメディアデータ処理装置の中の各モジュールにより実行され得る。例えば、図10に示すステップS201は図12中の第二取得モジュール121により実行され、図10に示すステップS202は図12中の第二マッチモジュール122により実行され、図10に示すステップS203は図12中のデコーディングモジュール123により実行されても良い。

【0152】

本出願の1つの実施例によれば、図11及び図12に示すマルチメディアデータ処理装置の中の各モジュールはそれぞれ又はすべて1つ又は複数のユニットに統合して構成されても良く、又は、そのうちの1つ（複数）のユニットはさらに機能上でのより小さい少なくとも2つのサブユニットに分けることで同様の操作を実行しても良く、このようにしても本出願の実施例の技術的効果の実現に影響を及ぼすことがない。上述のモジュールは論理機能に基づいて分割されているものであり、実際の応用では1つのモジュールの機能が少なくとも2つのユニットにより実現されても良く、又は、少なくとも2つのモジュールの機能は1つのユニットにより実現されても良い。本出願の他の実施例ではデータ処理装置は他のユニットを含んでも良く、実際の応用ではこれらの機能は他のユニットと連携して実現されても良く、かつ少なくとも2つのユニットの連携で実現されても良い。

【0153】

本出願の1つの実施例によれば、中央処理ユニット（CPU）、ランダムアクセスメモリ（RAM）、リードオンリーメモリ（ROM）などの処理素子及び記憶素子を含む、例えばコンピュータの汎用コンピュータ機器上で図7及び図10に示す方法における各ステップを実行し得るコンピュータプログラム（プログラムコードを含む）を実行することで、図11及び図12に示すマルチメディアデータ処理装置、及び、本出願の実施例のマルチメディアデータ処理方法を構成しても良い。上述のコンピュータプログラムは、例えば、コンピュータ可読記憶媒体に記憶されており、コンピュータ可読記憶媒体によって上述のコンピュータ機器にインストールされ、上述のコンピュータ機器上で実行されても良い。

【0154】

図13は本出願の実施例により提供されるコンピュータ機器の構成を示す図である。図13に示すように、上述のコンピュータ機器1000は処理器1001、ネットワークインタフェース1004及び記憶器1005を含み、また、上述のコンピュータ機器1000はさらに、メディアコンテンツインタフェース1003及び少なくとも1つの通信バス1002を含んでも良い。そのうち、通信バス1002はこれらのコンポーネント間の接続通信を実現するために用いられる。そのうち、メディアコンテンツインタフェース1003はディスプレイ（Display）やキーボード（Keyboard）を含んでも良く、オプションとして、メディアコンテンツインタフェース1003はさらに、規格に準拠する有線インタフェースや無線インタフェースを含んでも良い。ネットワークインタフェース1004はオプションとして、規格に準拠する有線インタフェースや無線インタフェース（例えば、WIFIインタフェース）を含む。記憶器1005は高速RAM記憶器であっても良く、不揮発性メモリ（non-volatile memory）、例えば、少なくとも1つの磁気ディスクメモリであっても良い。記憶器1005はオプションとしてさらに前述の処理器1001から離れる少なくとも1つの記憶装置であっても良い。図13に示すように、コンピュータ可読記憶媒体としての記憶器1005にはオペレーティングシステム、ネットワーク通信モジュール、メディアコンテンツインタフェースモジュール及び装置制御アプリケーションが含まれる。図13に示すコンピュータ機器1000ではネットワークインタフェース1004はネットワーク通信機能を提供でき、メディアコンテンツインタフェース1003は主にメディアコンテンツを入力するインタフェースを提供するために用いられる。

【0155】

なお、本出願の実施例で説明されるコンピュータ機器1000は前述の図7及び図10に対応する実施例における上述のマルチメディアデータ処理方法のステップを実行でき、また、前述の図11及び図12に対応する実施例における上述のマルチメディアデータ処理装置の処理を実行できるが、ここではその詳しい説明を省略する。また、同じ方法を採用することによる有利な効果についての説明も省略する。

【0156】

また、本出願の実施例ではコンピュータ可読記憶媒体がさらに提供され、該コンピュータ可読記憶媒体には前述のマルチメディアデータ処理装置が実行するコンピュータプログラムが記憶されており、上述のコンピュータプログラムはプログラム命令を含み、上述の処理器は上述のプログラム命令を実行するときに、前述の図7及び図10に対応する実施例におけるマルチメディアデータ処理方法のステップを実行できるため、ここではその詳しい説明を省略する。また、同じ方法を採用することによる有利な効果についての説明も省略する。なお、本出願に係るコンピュータ可読記憶媒体の実施例に未披露の技術細部については本出願の方法の実施例の説明を参照できる。

【0157】

一例として、上述のプログラム命令は1つのコンピュータ機器に配置され実行されても良く、又は、1つの場所にある少なくとも2つのコンピュータ機器に配置され実行されても良く、又は、少なくとも2つの場所に分散し且つ通信ネットワークにより互いに接続される少なくとも2つのコンピュータ機器により実行されても良く、少なくとも2つの場所に分散し且つ通信ネットワークにより互いに接続される少なくとも2つのコンピュータ機器はブロックチェーンネットワークを構成できる。

【0158】

上述のコンピュータ可読記憶媒体は前述の任意の1つの実施例により提供されるマルチメディアデータ処理装置又は上述のコンピュータ機器の内部記憶ユニット、例えば、コンピュータ機器のハードディスク又はメモリであっても良い。該コンピュータ可読記憶媒体は該コンピュータ機器の外部記憶装置、例えば、該コンピュータ機器に備わるプラグインハードディスク、スマートメモリーカード（SMC、Smart Media Card）、セキュアデジタル（SD、Secure Digital）カード、フレッシュメモリ（flash card）などであって良い。また、該コンピュータ可読記憶媒体はさらに、該コンピュータ機器の内部記憶ユニット及び外部記憶装置の両方を含んでも良い。該コンピュータ可読記憶媒体は該コンピュータプログラム及び該コンピュータ機器に必要な他のプログラム及びデータを記憶するために用いられる。該コンピュータ可読記憶媒体はさらに、出力済み又は要出力のデータを一時記憶しても良い。

【0159】

本出願の実施例ではコンピュータプログラムプロダクトがさらに提供され、それはコンピュータプログラム又はコンピュータ命令を含み、前記コンピュータプログラム又はコンピュータ命令は処理器により実行されるときに前述の図7及び図10に対応する実施例における上述のマルチメディアデータ処理方法のステップを実現できるため、ここではその詳しい説明を省略する。また、同じ方法を採用することによる有利な効果についての説明も省略する。なお、本出願に係るコンピュータプログラムプロダクトの実施例に未披露の技術細部については本出願の方法の実施例の説明を参照できる。

【0160】

なお、本発明の明細書及び特許請求の範囲及び前記図面における用語“第一”、“第二”などは類似した対象を区別するために用いられ、特定の順序又は前後の順序を限定するものではない。理解すべきは、このように使用されるデータは適切な場合、ここで説明される本発明の実施例がここで図示又は説明される順序以外の順序に従って実施されるようにするために交換できるということである。また、用語“含む”及び“有する”及びそれらの任意の変形は非排他的な包括をカバーすることを意図しており、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、プロダクト又は装置は明確にリストされているステップ又はユニットに限定されず、明確にリストされてない、又は、明確にリストされているプロセス、方法、プロダクト又は装置に固有の他のステップ又はユニットをも含み得る。

【0161】

当業者が理解できるように、ここで開示される実施例で説明される様々な例におけるユニット及びアルゴリズムステップは電子ハードウェア、コンピュータソフトウェア又は両者の組み合わせで実現され得る。ハードウェアとソフトウェアの交換性を明確に説明するために、上述の説明では既に機能に従って各例の構成及びステップについて詳しく説明している。これらの機能がハードウェアかそれともソフトウェアの方式で実行されるかは、技術案の特定の適用及び設計の制約条件に依存する。当業者は特定の適用について異なる方法で上述の機能を実現しても良いが、このような実現も本出願の範囲に属する。

【0162】

本出願の実施例により提供される方法及び関連装置は本出願の実施例により提供される方法のフローチャート及び/又は構成を示す図に基づいて説明されるものであり、具体的にはコンピュータプログラム命令により方法のフローチャート及び/又は構成を示す図における各フロー及び/又はブロック、及び、フローチャート及び/又はブロック図におけるフロー及び/又はブロックの組み合わせを実現しても良い。これらのコンピュータプログラム命令は汎用コンピュータ、専用コンピュータ、埋め込み処理機又は他のプログラミング可能なデータ処理機器の処理器に提供されて1つの機器を生成することで、コンピュータ又は他のプログラミング可能なデータ処理機器の処理器が実行する命令に、フローチャートの1つのフロー又は複数のフロー及び/又は構成を示す図の1つのブロック又は複数のブロックに指定される機能を実現するの装置を生成させることができる。これらのコンピュータプログラム命令はコンピュータ又は他のプログラミング可能なデータ処理機器が特定の方式で作動するようにガイドし得るコンピュータ可読記憶器に記憶されても良く、これにより、該コンピュータ可読記憶器に記憶されている命令は命令装置を含むプロダクトを生成し、該命令装置はフローチャートの1つのフロー又は複数のフロー及び/又は構成を示す図の1つのブロック又は複数のブロックに指定される機能を実現できる。これらのコンピュータプログラム命令はコンピュータ又は他のプログラミング可能なデータ処理機器にインストールされ、コンピュータ又は他のプログラミング可能な機器上で一連の操作ステップを実行することで、コンピュータが実現する処理を生成でき、これにより、コンピュータ又は他のプログラミング可能な機器上で実行する命令はフローチャートの1つのフロー又は複数のフロー及び/又は構成を示す図の1つのブロック又は複数のブロックに指定される機能を実現するステップを提供できる。

【0163】

以上、本出願の好ましい実施例を説明したが、本出願はこの実施例に限定されず、本出願の趣旨を離脱しない限り、本出願に対するあらゆる変更は本出願の技術的範囲に属する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【国際調査報告】