知財求人 - 知財ポータルサイト「IP Force」
▶ テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッドの特許一覧
特表2024-535963マルチメディアデータ処理方法および装置、コンピュータデバイス、コンピュータ可読記憶媒体、並びに、コンピュータプログラム製品
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-04
(54)【発明の名称】マルチメディアデータ処理方法および装置、コンピュータデバイス、コンピュータ可読記憶媒体、並びに、コンピュータプログラム製品
(51)【国際特許分類】
H04N 19/593 20140101AFI20240927BHJP
【ＦＩ】
H04N19/593
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023560063
(86)(22)【出願日】2022-09-13
(85)【翻訳文提出日】2023-09-28
(86)【国際出願番号】 CN2022118492
(87)【国際公開番号】W WO2023065890
(87)【国際公開日】2023-04-27
(31)【優先権主張番号】202111221892.4
(32)【優先日】2021-10-20
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】514187420
【氏名又は名称】テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ワン，インビン
【テーマコード（参考）】
5C159
【Ｆターム（参考）】
5C159MA04
(57)【要約】
この出願の実施形態は、マルチメディアデータ処理方法および装置、コンピュータデバイス、コンピュータ可読記憶媒体、並びに、コンピュータプログラム製品を開示する。本方法は、グローバル参照データブロックセットおよびローカル参照データブロックセットを獲得するステップであり、グローバル参照データブロックセットおよびローカル参照データブロックセットは、マルチメディアデータフレームにおけるコーディングされるべきデータブロックに関連付けられており、グローバル参照データブロックセットは、マルチメディアデータフレームにおけるコーディングされるべき前記データブロックと隣接関係を有していないコード化データブロックを含み、ローカル参照データブロックセットは、マルチメディアデータフレームにおけるコーディングされるべき前記データブロックと隣接関係を有しているコード化データブロックを含む、ステップと、グローバル参照データブロックセットおよびローカル参照データブロックセットから、コーディングされるべき前記データブロックの予測コーディングのための参照データブロックを決定するステップと、を含む。
【特許請求の範囲】
【請求項1】
マルチメディアデータ処理方法であって、グローバル参照データブロックセットおよびローカル参照データブロックセットを獲得するステップであって、
前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットは、マルチメディアデータフレームにおけるコーディングされるべきデータブロックに関連付けられており、
前記グローバル参照データブロックセットは、前記マルチメディアデータフレームにおけるコーディングされるべき前記データブロックと隣接関係を有していないコード化データブロックを含み、かつ、
前記ローカル参照データブロックセットは、前記マルチメディアデータフレームにおけるコーディングされるべき前記データブロックと隣接関係を有しているコード化データブロックを含む、
ステップと、
前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットから、コーディングされるべき前記データブロックの予測コーディングのための参照データブロックを決定するステップと、
を含む、方法。
【請求項2】
前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットから、コーディングされるべき前記データブロックの予測コーディングのための参照データブロックを決定する前記ステップは、コーディングされるべき前記データブロックのコーディングモードを獲得するステップと、
コーディングされるべき前記データブロックのコーディングモードが、イントラブロックコピー(IBC)モード、または、イントラストリングコピー(ISC)モードである場合に、前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットから、コーディングされるべき前記データブロックの予測コーディングのための参照データブロックを決定する、ステップと、
を含む、請求項１に記載の方法。
【請求項3】
コーディングされるべき前記データブロックのコーディングモードが、IBCモードまたはISCモードである場合に、前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットから、コーディングされるべき前記データブロックの予測コーディングのための参照データブロックを決定する前記ステップは、コーディングされるべき前記データブロックのコーディングモードが、IBCモードまたはISCモードである場合に、前記ローカル参照データブロックセットにおけるデータブロックと、コーディングされるべき前記データブロックとの間のピクセル差分を獲得するステップと、
前記ローカル参照データブロックセットにおけるピクセル差分閾値未満のピクセル差分を有するターゲットデータブロックが存在する場合に、前記ターゲットデータブロックを、コーディングされるべき前記データブロックの予測コーディングのための参照データブロックとして取り上げるステップと、
前記ローカル参照データブロックセットにおけるピクセル差分閾値未満のピクセル差分を有するターゲットデータブロックが存在しない場合に、前記グローバル参照データブロックセットから、コーディングされるべき前記データブロックの予測コーディングのための参照データブロックを決定するステップと、
を含む、請求項２に記載の方法。
【請求項4】
コーディングされるべき前記データブロックのコーディングモードが、IBCモードまたはISCモードである場合に、前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットから、コーディングされるべき前記データブロックの予測コーディングのための参照データブロックを決定する前記ステップは、コーディングされるべき前記データブロックのコーディングモードが、IBCモードまたはISCモードである場合に、コーディングされるべき前記データブロックと空間的隣接関係を有しているターゲットコード化データブロックを獲得するステップと、
前記ターゲットコード化データブロックの前記参照データブロックが、前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットに属する場合に、コーディングされるべき前記データブロックの予測コーディングのための参照データブロックを獲得するために、動きパラメータに従って、前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットに対応する領域を検索するステップであり、
前記動きパラメータは、移動ウィンドウおよび移動ステップ長を含み、
前記動きウィンドウのサイズは、コーディングされるべき前記データブロックのサイズと同じであり、かつ、
前記動きステップ長は、前記移動ウィンドウの幅より小さい、
ステップと、
を含む、請求項２に記載の方法。
【請求項5】
前記グローバル参照データブロックセットは、少なくとも１つの第１参照データブロックを含み、前記マルチメディアデータフレームのコーディングモードがシリアルコーディングモードである場合に、
前記第１参照データブロックは、前記マルチメディアデータフレームにおいて書き戻し制限条件を満たすパラメータ関連付け関係を有しており、かつ、
コーディングされるべき前記データブロックと同じタイルに属している、コード化データブロックであり、
前記パラメータ関連付け関係は、第１位置情報とスーパーブロック(SB)のサイズ情報との間の関連付け関係、および、前記第１位置情報と第２位置情報との間の関連付け関係を反映するために使用され、
前記第１位置情報は、前記マルチメディアデータフレーム内の前記コード化データブロックの位置情報を指し、かつ、
前記第２位置情報は、前記マルチメディアデータフレーム内の前記コード化データブロックの位置情報を指し、
前記書き戻し制限条件は、前記グローバル参照データブロックセットに対する前記コード化データブロックの書き込みの制限された遅延を反映するために使用される、
請求項１乃至４いずれか一項に記載の方法。
【請求項6】
前記グローバル参照データブロックセットは、少なくとも１つの第２参照データブロックを含み、前記第２参照データブロックは、前記コーディングされるべきデータブロックと同じタイルに属しており、かつ、前記マルチメディアデータフレームにおける書き戻し制限条件、および、コーディング処理条件を満たしている、パラメータ関連付け関係を有している、コード化データブロックであり、
前記パラメータ関連付け関係は、前記マルチメディアデータフレーム内の前記コード化データブロックの前記位置情報、前記マルチメディアデータフレーム内のコーディングされるべき前記データブロックの前記位置情報、および、前記SBのサイズ情報との間の前記関連付け関係を反映するために使用され、かつ、
前記書き戻し制限条件は、前記グローバル参照データブロックセットに対する前記コード化データブロックの書き込みの制限された遅延を反映するために使用される、
請求項５に記載の方法。
【請求項7】
グローバル参照データブロックセットを獲得する前記ステップは、前記マルチメディアデータフレームのコーディングモードがシリアルコーディングモードである場合に、前記第１位置情報、前記SBのサイズ情報、および、前記第２位置情報を、それぞれに、獲得するステップであり、
前記第１位置情報は、前記マルチメディアデータフレームにおけるコード化データブロックの位置情報を参照し、かつ、
前記第２位置情報は、前記マルチメディアデータフレームにおけるコード化データブロックの位置情報を参照する、
ステップと、
書き戻し制限条件を獲得するステップであり、
前記書き戻し制限条件は、前記グローバル参照データブロックセットに対する前記コード化データブロックの書き込みの前記制限された遅延を反映するために使用されている、
ステップと、
第１参照データブロックとして、前記マルチメディアデータフレームから、前記書き戻し制限条件を満たすパラメータ関連付け関係を有しており、かつ、コーディングされるべき前記データブロックと同じタイルに属している、コード化データブロックを選択するステップであり、
前記パラメータ関連付け関係は、前記第１位置情報と前記SBのサイズ情報との間の関連付け関係、および、前記第１位置情報と前記第２位置情報との間の関連付け関係を反映するために使用されている、
ステップと、
前記第１参照データブロックを、前記グローバル参照データブロックセットに追加するステップと、
を含む、請求項５に記載の方法。
【請求項8】
第１参照データブロックとして、前記マルチメディアデータフレームから、前記書き戻し制限条件を満たすパラメータ関連付け関係を有しており、かつ、コーディングされるべき前記データブロックと同じタイルに属している、コード化データブロックを選択する前記ステップは、前記第１位置情報および前記第２位置情報に従って、第１候補参照データブロックとして、前記マルチメディアデータフレームから、前記コーディングされるべきデータブロックと同じタイルに属するコード化データブロックを選択するステップと、
前記書き戻し制限条件の下で、前記マルチメディアデータフレーム内のコーディングされるべき前記データブロックと前記コード化データブロックとの間の離間データブロックの制限された数を決定するステップと、
前記第１位置情報、前記SBのサイズ情報、および前記第２位置情報に従って、前記第１候補参照データブロックとコーディングされるべき前記データブロックとの間の離間データブロックの数をカウントするステップと、
第１参照データブロックとして、前記離間データブロックの制限された数よりも大きい前記離間データブロックの数を有する前記第１候補参照データブロックを決定するステップと、
を含む、請求項７に記載の方法。
【請求項9】
前記第１位置情報、前記SBのサイズ情報、および前記第２位置情報に従って、前記第１候補参照データブロックとコーディングされるべき前記データブロックとの間の離間データブロックの数をカウントする前記ステップは、前記第１位置情報および前記SBのサイズ情報に従って、前記第１候補参照データブロックの行識別子および列識別子を決定するステップと、
前記第２位置情報および前記SBのサイズ情報に従って、コーディングされるべき前記データブロックの行識別子および列識別子を決定するステップと、
コーディングされるべき前記データブロックのサイズ情報に基づいて、前記マルチメディアデータフレーム内の各行におけるデータブロック数を決定するステップと、
各行における前記データブロックの数、前記第１候補参照データブロックの前記行識別子および前記列識別子、並びに、コーディングされるべき前記データブロックの前記行識別子および前記列識別子に従って、前記第１候補参照データブロックとコーディングされるべき前記データブロックとの間の離間データブロックの数をカウントするステップと、
を含む、請求項８に記載の方法。
【請求項10】
グローバル参照データブロックセットを獲得する前記ステップは、それぞれに、前記第１位置情報、前記SBのサイズ情報、および前記第２位置情報を獲得するステップであり、
前記第１位置情報は、前記マルチメディアデータフレームにおける前記コード化データブロックの位置情報を参照し、かつ、
前記第２位置情報は、前記マルチメディアデータフレームにおけるコーディングされるべき前記データブロックの位置情報を参照する、
ステップと、
書き戻し制限条件およびコーディング処理条件を獲得するステップであり、
前記書き戻し制限条件は、前記グローバル参照データブロックセットへの前記コード化データブロックの書き込みの前記制限された遅延を反映するために使用される、ステップと
第２参照データブロックとして、前記マルチメディアデータフレームから、書き戻し制限条件および前記コーディング処理条件を満たす、パラメータ関連付け関係を有しており、かつ、コーディングされるべき前記データブロックと同じタイルに属しているコード化データブロックを選択するステップであり、
前記パラメータ関連付け関係は、前記第１位置情報とコーディングされるべき前記データブロックとの間の関連付け関係、および、前記第１位置情報と前記第２位置情報との間の関連付け関係反映するために使用される、ステップと、
前記第２参照データブロックを前記グローバル参照データブロックセットに追加するステップと、
を含む、請求項５に記載の方法。
【請求項11】
第２参照データブロックとして、前記マルチメディアデータフレームから、書き戻し制限条件および前記コーディング処理条件を満たす、パラメータ関連付け関係を有しており、かつ、コーディングされるべき前記データブロックと同じタイルに属しているコード化データブロックを選択する前記ステップは、前記第１位置情報および前記第２位置情報に従って、第１候補参照データブロックとして、前記マルチメディアデータフレームから、同じタイルに属するコード化データブロックを選択するステップと、
第２候補参照データブロックとして、前記第１候補参照データブロックから、前記書き戻し制限条件を満たすパラメータ関連付け関係を有する第１候補参照データブロックを選択するステップと、
前記書き戻し制限条件の下で、前記コード化データブロックと前記マルチメディアデータフレーム内のコーディングされるべき前記データブロックとの間の第１データブロック制限距離を決定するステップと、
前記コーディング処理条件の下で、前記コード化データブロックと前記マルチメディアデータフレーム内のコーディングされるべき前記データブロックとの間の第２データブロック制限距離を決定するステップと、
前記第１位置情報、前記SBのサイズ情報、前記第２位置情報、前記第１データブロック制限距離、および、前記第２データブロック制限距離に従って、前記第２参照データブロックとして、前記第２候補参照データブロックから、前記コーディング処理条件を満たす第２候補参照データブロックを決定するステップと、
を含む、請求項１０に記載の方法。
【請求項12】
前記第１位置情報、前記SBのサイズ情報、前記第２位置情報、前記第１データブロック制限距離、および、前記第２データブロック制限距離に従って、前記第２参照データブロックとして、前記第２候補参照データブロックから、前記コーディング処理条件を満たす第２候補参照データブロックを決定する前記ステップは、前記第１位置情報および前記SBのサイズ情報に従って、前記第２候補参照データブロックの行識別子および列識別子を決定するステップと、
前記第２位置情報および前記SBのサイズ情報に従って、コーディングされるべき前記データブロックの行識別子および列識別子を決定するステップと、
第３候補参照データブロックとして、前記第２候補参照データブロックから、コーディングされるべき前記データブロックの前記行識別子より大きくない行識別子を有する第２候補参照データブロックを選択するステップと、
前記第３候補参照データブロックの前記行識別子およびコーディングされるべき前記データブロックの前記行識別子に従って、前記第３候補参照データブロックとコーディングされるべき前記データブロックとの間の行距離を決定するステップと、
前記第３候補参照データブロックの前記列識別子およびコーディングされるべき前記データブロックの前記列識別子に従って、前記第３候補参照データブロックとコーディングされるべき前記データブロックとの間の列距離を決定するステップと、
第２参照データブロックとして、前記第３候補参照データブロックにおける第１距離閾値未満の列距離を有する第３候補参照データブロックを決定するステップであり、前記第１距離閾値は、前記第１データブロック制限距離、前記第２データブロック制限距離、および、前記第３候補参照データブロックとコーディングされるべき前記データブロックとの間の前記行距離に従って決定される、ステップと、
を含む、請求項１１に記載の方法。
【請求項13】
前記ローカル参照データブロックセットは、少なくとも１つの第３参照データブロックを含み、かつ、前記第３参照データブロックは、前記マルチメディアデータフレーム内のコーディングされるべき前記データブロックと同じコーディング処理ユニット内に配置されたコード化データブロックである、
請求項１乃至４いずれか一項に記載の方法。
【請求項14】
前記ローカル参照データブロックセットは、少なくとも１つの第４参照データブロックを含み、かつ、前記第４参照データブロックは、前記マルチメディアデータフレーム内のコーディングされるべき前記データブロックと隣接関係を有し、かつ、コーディングされるべき前記データブロックと同じタイルに属しているコード化データブロックである、
請求項１乃至４いずれか一項に記載の方法。
【請求項15】
前記第４参照データブロックとコーディングされるべき前記データブロックとの間の前記隣接関係は、第４参照データブロックおよびコーディングされるべき前記データブロックが同じSBに属していること、を意味する、
請求項１４に記載の方法。
【請求項16】
前記第４参照データブロックとコーディングされるべき前記データブロックとの前記隣接関係は、前記第４参照データブロックがコーディングされるべき前記データブロックに隣接するN個のSBに配置されており、かつ、前記SBのサイズがサイズ閾値より大きくないことを意味し、
Nは、前記SBのサイズ情報に従って決定される、
請求項１４に記載の方法。
【請求項17】
前記第４参照データブロックとコーディングされるべき前記データブロックとの間の前記隣接関係は、前記第４参照データブロックがコーディングされるべき前記データブロックに隣接するN個のSBに配置されており、
前記SBのサイズがサイズ閾値以上であり、かつ、
ターゲット領域の左上隅のデータブロックは、再構築されていないデータブロックであり、
前記ターゲット領域は、前記マルチメディアデータフレーム内の前記第４参照データブロックが1SBだけ右に移動する領域であり、
前記第４参照データブロックが1SBの距離だけ移動する場合の位置情報は、コーディングされるべき前記データブロックの位置情報とは異なっており、
Nは、前記SBのサイズ情報によって決定される、
請求項１４に記載の方法。
【請求項18】
マルチメディアデータ処理方法であって、グローバル参照データブロックセットおよびローカル参照データブロックセットを獲得するステップであって、
前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットは、マルチメディアデータフレームにおけるデコーディングされるべきデータブロックに関連付けられており、
前記グローバル参照データブロックセットは、前記マルチメディアデータフレームにおけるデコーディングされるべき前記データブロックと隣接関係を有さないデコード化データブロックを含み、かつ、
前記ローカル参照データブロックセットは、前記マルチメディアデータフレームにおけるデコーディングされるべき前記データブロックと隣接関係を有するデコード化データブロックを含む、
ステップと
前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットから、デコーディングされるべき前記データブロックをデコーディングするための参照データブロックを決定するステップと、
を含む、方法。
【請求項19】
前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットから、デコーディングされるべき前記データブロックをデコーディングするための参照データブロックを決定する前記ステップは、デコーディングされるべき前記データブロックのデコーディングモードを獲得するステップと、
デコーディングされるべき前記データブロックのデコーディングモードがIBCモードまたはISCモードである場合に、前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットから、デコーディングされるべき前記データブロックをデコーディングするための参照データブロックを決定する、ステップと、
を含む、請求項１８に記載の方法。
【請求項20】
前記グローバル参照データブロックセットは、少なくとも１つの第１参照データブロックを含み、前記マルチメディアデータフレームのデコーディングモードがシリアルデコーディングモードである場合に、前記第１参照データブロックは、前記マルチメディアデータフレームにおいて書き戻し制限条件を満たすパラメータ関連付け関係を有しており、かつ、デコーディングされるべき前記データブロックと同じデコーディングチップに属している、デコード化データブロックであり、
前記パラメータ関連付け関係は、第１位置情報と最大デコーディングブロックのサイズ情報との間の前記関連付け関係、および、前記第１位置情報と第２位置情報との間の前記関連付け関係を反映するために使用され、
前記第１位置情報は、前記マルチメディアデータフレーム内の前記デコード化データブロックの位置情報を指し、かつ、前記第２位置情報は、前記マルチメディアデータフレーム内のデコーディングされるべき前記データブロックの位置情報を指し、
前記書き戻し制限条件は、前記グローバル参照データブロックセットへの前記デコード化データブロックの書き込みの制限された遅延を反映するために使用される、
請求項１８または１９に記載の方法。
【請求項21】
前記グローバル参照データブロックセットは、少なくとも１つの第２参照データブロックを含み前記第２参照データブロックは、デコーディングされるべき前記データブロックと同じデコーディングチップに属しており、かつ、前記マルチメディアデータフレームにおける書き戻し制限条件を満たし、デコーディング処理条件を満たす、パラメータ関連付け関係を有しているデコード化データブロックであり、
前記パラメータ関連付け関係は、前記マルチメディアデータフレームにおける前記デコード化データブロックの前記位置情報と、前記マルチメディアデータフレームにおけるデコーディングされるべき前記データブロックの前記位置情報と、前記最大デコーディングブロックの前記サイズ情報との間の関連付け関係を反映するために使用され、かつ、
前記書き戻し制限条件は、前記グローバル参照データブロックセットへの前記デコード化データブロックの書き込みの前記制限された遅延を反映するために使用される、
請求項２０に記載の方法。
【請求項22】
前記ローカル参照データブロックセットは、少なくとも１つの第３参照データブロックを含み、前記第３参照データブロックは、前記マルチメディアデータフレームにおけるデコーディングされるべき前記データブロックと同じデコーディング処理ユニット内に配置されたデコード化データブロックである、
請求項２０に記載の方法。
【請求項23】
前記ローカル参照データブロックセットは、少なくとも１つの第４参照データブロックを含み、前記第４参照データブロックは、前記マルチメディアデータフレームにおけるデコーディングされるべき前記データブロックと隣接関係を有しており、かつ、デコーディングされるべき前記データブロックと同じデコーディングチップに属しているデコード化データブロックである、
請求項２０に記載の方法。
【請求項24】
マルチメディアデータ処理装置であって、グローバル参照データブロックセットおよびローカル参照データブロックセットを獲得するように構成された、獲得モジュールであり、
前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットは、マルチメディアデータフレームにおけるコーディングされるべきデータブロックに関連付けられており、
前記グローバル参照データブロックセットは、前記マルチメディアデータフレームにおけるコーディングされるべき前記データブロックと隣接関係を有していないコード化データブロックを含み、かつ、
前記ローカル参照データブロックセットは、前記マルチメディアデータフレームにおけるコーディングされるべき前記データブロックと隣接関係を有しているコード化データブロックを含む、
獲得モジュールと、
前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットから、コーディングされるべき前記データブロックの予測コーディングのための参照データブロックを決定するように構成された、選択モジュールと、
を含む、装置。
【請求項25】
マルチメディアデータ処理装置であって、グローバル参照データブロックセットおよびローカル参照データブロックセットを獲得するように構成された、獲得モジュールであり、
前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットは、マルチメディアデータフレームにおけるデコーディングされるべきデータブロックに関連付けられており、
前記グローバル参照データブロックセットは、前記マルチメディアデータフレームにおけるデコーディングされるべき前記データブロックと隣接関係を有さないデコード化データブロックを含み、かつ、
前記ローカル参照データブロックセットは、前記マルチメディアデータフレームにおけるデコーディングされるべき前記データブロックと隣接関係を有するデコード化データブロックを含む、獲得モジュールと、
前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットから、デコーディングされるべき前記データブロックをデコーディングするための参照データブロックを決定するように構成された、選択モジュールと、
を含む、装置。
【請求項26】
プロセッサおよびメモリを備える、コンピュータデバイスであって、前記プロセッサは、前記メモリに接続されており、
前記メモリは、プログラムコードを保管するように構成されており、かつ、
前記プロセッサは、前記プログラムコードを呼び出して、請求項１乃至２３いずれか一項に記載の方法を実行する、ように構成されている、
コンピュータデバイス。
【請求項27】
コンピュータプログラムを保管している、コンピュータ可読記憶媒体であって、前記コンピュータプログラムは複数のプログラム命令を含み、かつ、
前記プログラム命令は、プロセッサによって実行されると、請求項１乃至２３いずれか一項に記載の方法をコンピュータに実施させる、
コンピュータ可読記憶媒体。
【請求項28】
複数のプログラム命令を含む、コンピュータプログラムであって、前記プログラム命令は、プロセッサによって実行されると、請求項１乃至２３いずれか一項に記載の方法をコンピュータに実施させる、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この出願は、インターネット技術の分野に関する。そして、特には、マルチメディアデータ処理方法および装置、コンピュータデバイス、コンピュータ可読記憶媒体、並びに、コンピュータプログラム製品に関する。
【0002】
関連出願
本出願は、2021年10月20日に出願された、中国特許出願第２02111221892.4号に基づいて提案されており、かつ、上記中国特許出願について優先権を主張するものであって、その全体が参照により組み込まれている。
本出願は、2021年10月20日に出願された、中国特許出願第２02111221892.4号に基づいて提案されており、かつ、上記中国特許出願について優先権を主張するものであって、その全体が参照により組み込まれている。
【背景技術】
【0003】
マルチメディアデータ処理の最中には、イントラ(ピクチャ)予測コーディングモードが、たいてい、マルチメディアデータフレームの予測コーディングのために使用されており、このことは、マルチメディアデータフレームのコーディング性能を改善することができる。従って、イントラ(ピクチャ)予測コーディングモードは、マルチメディアデータ処理において広く使用されている。しかしながら、実際には、既存のイントラ(ピクチャ)予測コーディングモードにおいては、予測コーディングのための参照データブロックが限られているせいで、マルチメディアデータフレームのコーディング性能が低いことが分かっている。
【発明の概要】
【0004】
この出願の実施形態は、マルチメディアデータフレームのコーディング性能を改善することができる、マルチメディアデータ処理方法および装置、コンピュータデバイス、コンピュータ可読記憶媒体、並びに、コンピュータプログラム製品を提供する。
【0005】
この出願の一つの実施形態は、マルチメディアデータ処理方法を提供する。本方法は、以下を含んでいる。
【0006】
グローバル参照データブロックセットおよびローカル参照データブロックセットを獲得するステップであって、前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットは、マルチメディアデータフレームにおけるコーディングされるべきデータブロック（data block to be coded）に関連付けられており、前記グローバル参照データブロックセットは、前記マルチメディアデータフレームにおけるコーディングされるべき前記データブロックと隣接関係を有していないコード化データブロックを含み、かつ、前記ローカル参照データブロックセットは、前記マルチメディアデータフレームにおけるコーディングされるべき前記データブロックと隣接関係を有しているコード化データブロックを含む、ステップ。および、
【0007】
前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットから、コーディングされるべき前記データブロックの予測コーディングのための参照データブロックを決定するステップ。
【0008】
この出願の一つの実施形態は、マルチメディアデータ処理方法を提供する。本方法は、以下を含んでいる。
【0009】
グローバル参照データブロックセットおよびローカル参照データブロックセットを獲得するステップであって、前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットは、マルチメディアデータフレームにおけるデコーディングされるべきデータブロック（data block to be decoded）に関連付けられており、前記グローバル参照データブロックセットは、前記マルチメディアデータフレームにおけるデコーディングされるべき前記データブロックと隣接関係を有さないデコード化データブロックを含み、かつ、前記ローカル参照データブロックセットは、前記マルチメディアデータフレームにおけるデコーディングされるべき前記データブロックと隣接関係を有するデコード化データブロックを含む、ステップ。および、
【0010】
前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットから、デコーディングされるべき前記データブロックをデコーディングするための参照データブロックを決定するステップ。
【0011】
この出願の一つの実施形態は、マルチメディアデータ処理装置を提供する。本装置は、以下を含んでいる。
【0012】
獲得モジュールであり、マルチメディアデータフレームにおけるコーディングされるべきデータブロックに関連付けられた、グローバル参照データブロックセットおよびローカル参照データブロックセットを獲得するように構成されており、前記グローバル参照データブロックセットは、前記マルチメディアデータフレームにおけるコーディングされるべき前記データブロックと隣接関係を有していないコード化データブロックを含み、かつ、前記ローカル参照データブロックセットは、前記マルチメディアデータフレームにおけるコーディングされるべき前記データブロックと隣接関係を有しているコード化データブロックを含む、獲得モジュール。および、
【0013】
前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットから、コーディングされるべき前記データブロックの予測コーディングのための参照データブロックを決定するように構成された、選択モジュール。
【0014】
この出願の一つの実施形態は、マルチメディアデータ処理装置を提供する。本装置は、以下を含んでいる。
【0015】
獲得モジュールであり、マルチメディアデータフレームにおけるデコーディングされるべきデータブロックに関連付けられた、グローバル参照データブロックセットおよびローカル参照データブロックセットを獲得するように構成されており、前記グローバル参照データブロックセットは、前記マルチメディアデータフレームにおけるデコーディングされるべき前記データブロックと隣接関係を有していないデコード化データブロックを含み、かつ、前記ローカル参照データブロックセットは、前記マルチメディアデータフレームにおけるデコーディングされるべき前記データブロックと隣接関係を有しているデコード化データブロックを含む、獲得モジュール。および、
【0016】
前記グローバル参照データブロックセットおよび前記ローカル参照データブロックセットから、デコーディングされるべき前記データブロックをデコーディングするための参照データブロックを決定するように構成された、選択モジュール。
【0017】
この出願の一つの実施形態は、プロセッサおよびメモリを備える、コンピュータデバイスを提供する。
【0018】
ここで、前記メモリは、コンピュータプログラムを保管するように構成されており、かつ、前記プロセッサは、前記コンピュータプログラムを呼び出して、前述の方法における前記ステップを実行する、ように構成されている。
【0019】
この出願の一つの実施形態は、コンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体は、コンピュータプログラムを保管しており、前記コンピュータプログラムはプログラム命令を含み、かつ、前記プログラム命令は、プロセッサによって実行されると、前述の方法におけるステップを実行する。
【0020】
この出願の一つの実施形態は、コンピュータプログラムまたはプログラム命令を含む、コンピュータプログラム製品を提供する。ここで、コンピュータプログラムまたはプログラム命令は、プロセッサによって実行されると、前述の方法におけるステップを実施することができる。
【0021】
この出願の実施形態を通して、グローバル参照データブロックセットおよびローカル参照データブロックセットを獲得することができる。それは、コーディング処理を実行する端末について、参照データブロックに従って、マルチメディアデータフレーム内のコーディングされるべきデータブロックの予測コーディングを実行するために、適用シーンまたはユーザ要件に従って、グローバル参照データブロックセットおよびローカル参照データブロックセットから、参照データブロックを適応的に選択するのに有益である。その結果として、参照データブロックの選択範囲が拡張され、そして、マルチメディアデータフレームのコーディング性能が改善され得る。
【図面の簡単な説明】
【0022】
この出願の実施形態または関連技術における技術的ソリューションをより明確に説明するために、以下では、実施形態または関連技術を説明するための添付図面を簡単に紹介する。明らかに、以下の説明における添付図面は、この出願のいくつかの実施形態を単に示しているだけであり、そして、当業者であれば、創造的な努力なしに、これらの添付図面に従って、なおも他の添付図面を得ることができる。
【発明を実施するための形態】
【0023】
この出願の実施形態における技術的ソリューションは、この出願の実施形態における添付の図面を参照して、以下で明確かつ完全に説明される。明らかに、説明される実施形態は、この出願の実施形態の全てではなく、単に一部にすぎない。創造的な努力をすることなく、この出願の実施形態に基づいて当業者によって得られる全ての他の実施形態は、この出願の保護範囲内に入るものである。
【0024】
この出願の実施形態は、マルチメディアデータの処理技術に関する。マルチメディアデータ(または、メディアデータと呼ばれる)は、テキスト、グラフィックス、画像、音声、アニメーション、および動画といった、コンテンツにおいて相互に関連付けられた、メディアデータによって構成された複合データを参照する。この出願の実施形態において言及されるマルチメディアデータは、主に、画像からなる画像データ、または、画像、音声、などからなるビデオデータを含んでいる。この出願の実施形態において、マルチメディアデータのデータ処理手順は、主に、マルチメディアデータをビデオデータとして取り上げることによって詳細に説明される。マルチメディアデータが画像データである場合、この出願の実施形態を参照すること。この出願の実施形態に含まれるマルチメディアデータの処理手順は、主に、メディアデータ獲得、メディアデータコーディング、メディアデータファイルカプセル化、メディアデータファイル送信、メディアデータデコーディング、および、最終データ提示を含む。マルチメディアデータがビデオデータである場合、ビデオデータの完全な処理手順は図1に示すことができ、具体的には、ビデオ獲得、ビデオコーディング、ビデオファイルカプセル化、ビデオ送信、ビデオファイルカプセル化解除（de-encapsulation）、ビデオデコーディング、および、最終ビデオ提示を含んでいる。
【0025】
ビデオ獲得は、アナログビデオをデジタルビデオへと変換するため、および、デジタルビデオファイルのフォーマットでデジタルビデオを保存するために使用される。別の言葉で言えば、ビデオ獲得は、ビデオ信号をバイナリデジタル情報に変換することができ、ここで、ビデオ信号から変換されたバイナリ情報は、バイナリデータストリームであり、そして、バイナリ情報は、また、ビデオ信号のコードストリームまたはビットストリームと呼ばれてもよい。ビデオコーディングは、圧縮技術を介して、元の（original）ビデオフォーマットのファイルを別のビデオフォーマットのファイルへと変換することを指す。この出願の実施形態において言及されるビデオメディアコンテンツは、ビデオカメラ獲得によって生成される実際のシーン、および、コンピュータによって生成されるスクリーンコンテンツシーンを含む。ビデオ信号を獲得する（obtaining）モードの観点から、ビデオ信号は、ビデオカメラによって撮影されてよく、または、コンピュータによって生成されてもよい。異なる統計的特性に起因して、対応する圧縮コーディングモードも、また、異なってよい。この出願の実施形態において、ハイブリッドコーディングフレームワークは、図2に示されるように、入力された元のビデオ信号に対して一連の以下の動作および処理を実行するために使用される。
【0026】
（１）ブロックパーティション構造：マルチメディアデータフレーム(ビデオデータにおけるビデオフレームといったもの)が入力され、マルチメディアデータフレームは、ブロックのサイズに従って、複数のオーバーラップしない処理ユニットへと分割され、そして、各処理ユニットは、同様の圧縮動作を実行する。いくつかの実施形態において、この処理ユニットは、コーディングツリーユニット(CTU)または最大コーディングユニット(LCU)と呼ばれる。CTUは、コーディングユニット(CU)と呼ばれる少なくとも１つの基本コーディングユニットを獲得するために、より細かくパーティション分割（partitioned）され得る。各CUは、コーディングプロセスにおいて最も基本的な要素である。いくつかの実施形態において、この処理ユニットは、また、タイル(独立してデコーディングおよびコーディングするためのマルチメディアデータフレームの矩形領域)とも呼ばれてよい。タイルは、少なくとも１つのスーパーブロック(SB)を獲得するために、より細かくパーティション分割され得る。SBは、ブロックパーティション分割の開始点であり、そして、さらに、複数のサブブロックへと分割され得る。そして、次いで、SBは、少なくとも１つのデータブロック(B)を獲得するためにパーティション分割される。各データブロックは、コーディングプロセスにおいて最も基本的な要素である。以下は、各データブロックのために使用され得る様々なコーディングモードを説明し、ここで、SBとBとの間の関係は、図3に示され得る。
【0027】
（２）予測コーディング：予測コーディングは、イントラ(ピクチャ)予測モードおよびインター(ピクチャ)予測モードを含んでいる。選択された再構築ビデオ信号によって元のビデオ信号が予測された後で、残差（residual）ビデオ信号が獲得される。多くの可能な予測コーディングモードにおいて、コーディング側は、現在のコード化データブロック(つまり、コーディングされるべきデータブロック)に対して最も適切な予測コーディングモードを決定し、そして、デコーディング側に通知する必要がある。
【0028】
ａ．(イントラ(ピクチャ)予測)：予測された信号は、同じ画像においてコーディングされ、かつ、再構成された領域から来る。
【0029】
ｂ．(インター(ピクチャ)予測)：予測された信号は、コーディングされており、かつ、現在画像とは異なる他の画像(参照画像（reference images）と呼ばれる)から来る。
【0030】
（３）(変換および量子化)：離散フーリエ変換(DFT)、離散コサイン変換(DCT)(DFTのサブセット)、および、他の変換演算の後で、残差ビデオ信号は、変換係数と呼ばれる、変換領域へと変換される。変換領域における信号に対して不可逆（lossy）量子化演算が実行され、そして、所定の情報が失われ、その結果、量子化された信号は圧縮表現に対して有益である。
【0031】
いくつかのビデオコーディング規格では、選択のための多くの変換モードが存在し得る。従って、コーディング側も、また、現在のコード化データブロックのための変換モードを選択し、そして、デコーディング側に通知する必要がある。量子化の細かさは、たいてい、量子化パラメータ(QP)によって決定される。QPの値がより大きい場合に、それは、より大きい値範囲を有する係数が同じ出力へと量子化されることを示し、このことは、たいてい、より大きい歪み、および、より低いコードレートをもたらす。反対に、QPの値がより小さい場合に、それは、より小さい値範囲を有する係数が同じ出力へと量子化されることを示し、このことは、たいてい、より小さい歪み、および、より高いコードレートをもたらす。
【0032】
（４）エントロピーコーディングまたは統計的コーディング：量子化された変換領域信号は、各値の出現頻度（frequency of occurrence）に従って、統計的に圧縮され、かつ、コーディングされ、そして、最終的にバイナリ(0または1)圧縮コードストリームが出力される。さらに、選択されたモードおよび動きベクトル（motion vector）といった、コーディングによって生成される他の情報についても、また、符号化率（code rate）量を削減するために、エントロピーコーディングが必要とされる。
【0033】
統計的コーディングは、同じ信号を表現するために必要とされる符号化率を効果的に低減することができる、可逆（lossless）コーディングモードである。一般的な統計的コーディングモードは、可変長コーディング(VLC)、または、コンテンツ適応型バイナリ算術コーディング(CABAC)を含んでいる。
【0034】
（５）ループフィルタリング:：コーディングされた画像(つまり、マルチメディアデータフレーム)に対する逆量子化、逆変換、および予測補償の動作(前述の（２）から（４）までの逆動作)の後で、再構成され、デコーディングされた画像を獲得することができる。元の画像と比較して、復元された画像のいくつかの情報は、量子化の影響のせいで、元の画像の情報と異なり、結果として歪みをもたらす。復元された映像は、デブロッキング、サンプル適応型オフセット(Sample Adaptive Offset、SAO)、または、適応ループフィルタ(Adaptive Loop Filter、ALF)といった、フィルタリング動作にさらされ、その結果、量子化によって生じる歪曲程度を効果的に減少させることができる。これらのフィルタリングされ、再構成された画像は、将来の信号を予測するために、後続のコーディングされた画像のための参照として使用されるので、前述のフィルタリング動作は、また、ループフィルタリング、つまり、コード化ループ（coded loop）におけるフィルタリング動作とも呼ばれる。
【0035】
図2は、ビデオコーダ（video coder）の基本的なフローを示している。図2においては、説明のために一つの例としてk番目のCU(Sk[x,y]と表記されている)を取り上げる。ここで、kは１以上であり、かつ、CU数以下の正の整数であり、CU数は、入力された現在画像におけるCUの数であり、Sk[x,y]はk番目のCUにおける座標[x,y]を有するピクセル点（pixel point）を表し、xはピクセル点の水平座標を表し、yはピクセル点の垂直座標を表している。Sk[x,y]は、動き補償またはイントラ(ピクチャ)予測を受け、予測信号
を獲得し、
からSk[x,y]が減算されて、残差信号Uk[x,y]を獲得し、そして、次いで、残差信号Uk[x,y]が変換され、かつ、量子化される。量子化された出力データについて、2個の異なる宛先が存在している。第１に、量子化された出力データは、エントロピーコーディングのためにエントロピーコーダに送付され、そして、コーディングされたコードストリームは、保管および送信されるのを待機するためにバッファに出力される。そして、第２に、量子化された出力データは、信号U'k[x,y]を獲得するために逆量子化され、かつ、逆変換される。信号U'k[x,y]、および、
は、新しい予測信号S*'k[x,y]を獲得するために加算され、そして、S*'k[x,y]は、保管のために現在画像バッファに送信される。S*
k[x,y]は、イントラフレーム画像予測処理を受け、f(S*
k[x,y])を獲得し、S*
k[x,y]は、ループフィルタ処理を受け、S'k[x,y]を獲得し、そして、S'k[x,y]は、保管のためにデコーディングされたピクチャバッファに送付され、再構成ビデオを生成する。S'k[x,y]は、動き補償予測処理を受け、S'r[x+mx,y+my]を獲得する。S'r[x+mx,y+my]は、参照ブロックを表し、そして、mxおよびmyは、それぞれに、動きベクトルの水平成分および垂直成分を表している。
【数1】
【数2】
【数3】
【0036】
前述のコーディングプロセスに従って、デコーディング側では、各データブロックについて、デコーダが圧縮されたコードストリームを獲得した後で、エントロピーデコーディングが最初に実行されて、様々なモード情報および量子化変換係数を獲得することが分かる。各係数は、逆量子化され、かつ、逆変換されて、残差信号を獲得する。一方、既知のコーディングモード情報に従って、データブロックに対応する予測信号を獲得することができる。２つが加算された後で、コード化データブロックを獲得することができる。最後に、コード化データブロックは、最終的なコード化データブロックを生成するためにループフィルタリングを受ける必要がある。
【0037】
現在、HEVC、VVC、AVS3、AV1、およびAV2といった、主流のビデオコーディング規格は全て、ブロックに基づくハイブリッドコーディングフレームワークを使用している。それらは、元のマルチメディアデータフレームを一連のコード化データブロックへと分割し、そして、予測、変換、およびエントロピーコーディングといった、ビデオコーディング方法を組み合わせて、ビデオデータの圧縮を達成する。動き補償は、ビデオコーディングにおいて一般的に使用される予測コーディング方法である。動き補償は、時間領域または空間領域におけるビデオコンテンツの冗長特性に基づいて、コーディング領域(つまり、参照データブロック)から現在のコード化データブロックの予測値を導出するために使用される。そうした予測コーディング方法は、インター(ピクチャ)予測、イントラブロックコピー(IBC)予測、イントラストリングコピー(ISC)予測、などを含む。予測コーディングの特定の実装において、これらの予測コーディング方法は、単独で、または、組み合わせて使用され得る。これらの予測コーディング方法を使用するコード化データブロックについては、少なくとも１つの参照データブロックに対する現在のコード化データブロック(または、現在ブロックのパリティブロック)の変位（displacement）を示すために、コードストリームに対する少なくとも１つの二次元変位ベクトルを明示的または暗黙的にコーディングすることがたいてい必要である。
【0038】
異なる予測コーディングモードでは、変位ベクトルは異なる名前を有し得ることが理解されるべきである。この出願の実施形態は、以下のように一様に説明される。１）インター（ピクチャ）予測における変位ベクトルは、動きベクトル(motion vector、MV)と呼ばれる。２）IBC(つまり、イントラ(ピクチャ)予測コーディング)における変位ベクトルは、ブロックベクトル(BV)と呼ばれる。３）ISCにおける変位ベクトルは、ストリングベクトル(SV)と呼ばれる。インター(ピクチャ)予測およびIBC予測における関連技術が、以下で紹介される。
【0039】
1.1. インター(ピクチャ)予測：
図4に示されるように、インター(ピクチャ)予測は、隣接するコーディングされた画像のピクセルを使用して現在画像のピクセルを予測するためにマルチメディアデータフレームの時間領域の相関を使用し、マルチメディアデータフレームの時間領域冗長性を効果的に除去する目的を達成する。その結果、コーディング残差データのビットを効果的に節約することができる。Pは現在フレームを表し、Prは参照フレームを表し、Bはコーディングされるべき現在データブロックを表し、そして、BrはBの参照データブロックを表している。B'およびBは、画像内で同じ座標位置を有しており、Brの座標は(xr,yr)であり、そして、B'の座標は(x,y)である。現在のコード化データブロックと、その参照データブロックとの間の変位は、MVと呼ばれ、以下の数等式(１）によって表すことができる。
図4に示されるように、インター(ピクチャ)予測は、隣接するコーディングされた画像のピクセルを使用して現在画像のピクセルを予測するためにマルチメディアデータフレームの時間領域の相関を使用し、マルチメディアデータフレームの時間領域冗長性を効果的に除去する目的を達成する。その結果、コーディング残差データのビットを効果的に節約することができる。Pは現在フレームを表し、Prは参照フレームを表し、Bはコーディングされるべき現在データブロックを表し、そして、BrはBの参照データブロックを表している。B'およびBは、画像内で同じ座標位置を有しており、Brの座標は(xr,yr)であり、そして、B'の座標は(x,y)である。現在のコード化データブロックと、その参照データブロックとの間の変位は、MVと呼ばれ、以下の数等式(１）によって表すことができる。
【0040】
MV=(xr-x,yr-y) （１）
【0041】
時間領域または空間領域で隣接ブロックの相対的に強い相関関係を考慮して、MVをコーディングするのに必要とされるビットをさらに減らすために、MV予測技術を使用することができる。H.265/HEVCにおいて、インター(ピクチャ)予測は、２つのMV予測技術、つまり、マージ（Merge）およびAMVPを含んでいる。
【0042】
2.1. IBC予測：
IBCは、HEVCスクリーンコンテンツコーディング(SCC)の拡張において採用されたイントラフレーム（intra-frame）コーディングツールであり、スクリーンコンテンツのコーディング効率を著しく改善する。AVS3、VVC、およびAV1では、SCCの性能を改善するために、IBC技術も、また、採用されている。IBCは、マルチメディアデータフレームにおけるコード化データブロックのピクセルを使用してコード化データブロックのピクセルを予測するために、空間におけるスクリーンコンテンツビデオの相関を使用し、その結果、ピクセルをコーディングするために必要とされるビットを効果的に節約することができる。図5は、IBC技術の概略図である。図5に示されるように、コード化データブロック(つまり、現在ブロック504)および参照データブロック(つまり、参照ブロック501)は、同じマルチメディアデータフレームに配置されており、参照データブロックは、コーディング領域502に配置され、そして、コード化データブロックは、非コーディング領域（uncoded region）に配置されている。コード化データブロックと、その参照データブロックとの間の変位はBV503と呼ばれる。
IBCは、HEVCスクリーンコンテンツコーディング(SCC)の拡張において採用されたイントラフレーム（intra-frame）コーディングツールであり、スクリーンコンテンツのコーディング効率を著しく改善する。AVS3、VVC、およびAV1では、SCCの性能を改善するために、IBC技術も、また、採用されている。IBCは、マルチメディアデータフレームにおけるコード化データブロックのピクセルを使用してコード化データブロックのピクセルを予測するために、空間におけるスクリーンコンテンツビデオの相関を使用し、その結果、ピクセルをコーディングするために必要とされるビットを効果的に節約することができる。図5は、IBC技術の概略図である。図5に示されるように、コード化データブロック(つまり、現在ブロック504)および参照データブロック(つまり、参照ブロック501)は、同じマルチメディアデータフレームに配置されており、参照データブロックは、コーディング領域502に配置され、そして、コード化データブロックは、非コーディング領域（uncoded region）に配置されている。コード化データブロックと、その参照データブロックとの間の変位はBV503と呼ばれる。
【0043】
HEVC SCCの拡張において、IBCモードは、インター(ピクチャ)予測と同様の実装方法を使用する。IBCモードがマルチメディアデータフレームに対して許可されるとき、現在デコーディングされているがフィルタリングされていない画像が、特別な参照フレームとして使用され、そして、参照フレームからコード化データブロックの予測値を導出するために、インター(ピクチャ)予測を用いる動き補償のモードが使用される。この実装方法は、以下の特徴を有している。
【0044】
１）BVは、整数精度のみを使用する。
【0045】
２）グローバル参照データブロックセット(つまり、グローバル参照スコープ)が使用される。すなわち、並列処理および色度補間の考慮に基づいて参照データブロックとして使用されることが禁止される、いくつかの領域を除いて、現在のマルチメディアデータフレームの全ての再構成された部分において使用される。他の領域は、コード化データブロックの参照データブロックとして使用され得る。
【0046】
３）デコーディングされた画像キャッシュにおいて、現在デコーディングされているがフィルタリングされていない画像は、画像サイズのキャッシュを占有する。
【0047】
４）現在デコーディングされているがフィルタリングされていない画像は、参照画像リストの最後に配置されている。
【0048】
ハードウェア実装において、コンピューティングコアは、オンチップメモリまたはオフチップメモリからデータを読み取り、そして、書き込むことができる。オンチップメモリは、たいてい、読み出し、および、書き込み速度が速いスタティックメモリである。しかしながら、オンチップメモリの価格が比較的に高いせいで、たいていは、より小さいオンチップメモリのみが使用される。オフチップメモリは、たいてい、はるかに大きい。しかしながら、効率的なアクセスのためには、いくつかの規則に従う必要がある。最近のコード化データブロックがオフチップピクチャメモリに書き戻されるときには、たいてい、書き戻し遅延が存在する。動き補償の典型的なハードウェア実装において、現在デコーディングされている画像は、将来の参照のために、ループフィルタリング動作が完了した後にオフチップメモリに書き込まれる。後続のコード化データブロックの動き補償が、オフチップメモリに配置されたコード化データブロックを参照する必要があるときに、参照データブロックの関連データが、オフチップメモリから読み出される必要がある。このプロセスは、書き込み、および、読み出しのためのメモリ帯域幅の消費を含む。HEVC-SCCにおけるIBCソリューションは、ソフトウェア実装において既存のソフトウェア設計に対して、より小さい影響を有するが、ハードウェア実装において２つの問題が存在する。
【0049】
ａ．IBCの参照画像は、ループフィルタリングなしのバージョンであり、最終的に出力されるコーディングされた画像とは異なっている。オフチップメモリに対して画像を出力することは、メモリ帯域幅を増加させる。
【0050】
ｂ．現在デコーディングされている、または、再構成されたばかりの隣接データブロックは、次のコード化データブロックのための参照として使用され得る。このことは、限られたクロック周期内で再構成されたデータブロックのデコーディングを完了すること、データブロックをオフチップメモリに出力すること、そして、次いで、データブロックをオンチップメモリへと読み込むこと、を必要とする。このことは、ハードウェア実装に大きな課題を課している。
【0051】
IBCのハードウェア実装の問題を考慮して、いくつかのIBC関連最適化ソリューションが、VVC、AVS3、およびAV1といった、後続の規格において使用されている。VVCおよびAVS3規格におけるIBCソリューションは、ローカル参照データブロックセットを使用する、つまり、現在のコード化データブロックに隣接するコード化データブロックが、現在のコード化データブロックの参照データブロックとして使用される。特定のハードウェア実装においては、オンチップメモリに保管されたローカル参照データブロックセットにおける参照データブロックが、上記の問題を解決するために使用され得る。ハードウェア実装コストおよびコーディング性能の考慮に基づいて、IBCは、メモリに保管されたローカル参照データブロックセットにおける１つのCTUサイズの参照データブロックだけを使用し、そして、図6に示されるような参照メモリ再構成ストラテジーを使用する。再構成されるべき現在データブロックを保管している64×64CUに加えて、再構成されたデータブロックを保管するために使用され得る３つの64×64CUが存在する。従って、IBCは、これら３つの64×64CUおよび現在の64×64CUの再構成された部分のみを探索（search）することができる。
【0052】
結論として、AV1標準におけるIBCソリューションは、グローバル参照データブロックセットを使用する。つまり、現在のコード化データブロックは、現在のマルチメディアデータフレームにおけるコード化データブロックを参照することが許可される。しかしながら、このソリューションは、以下の２つの欠点を有している。ａ．書き戻し制限条件の要件を満たすために、現在のコード化データブロックに隣接するコード化データブロックは、参照データブロックとして使用されることを許可されない。ｂ．現在のマルチメディアデータフレームがIBCを使用することを許可される場合、ループフィルタは禁止される。しかしながら、スクリーンコンテンツシーケンスは、しばしば、比較的に強い空間相関を有し、そして、隣接するデータブロックは、比較的に高い基準値（reference value）を有する。隣接するコード化データブロックが参照されるのを可能にすることは、コーディング性能を改善するのに役立つ。いくつかのシーケンスコンテンツにおいて、ループフィルタを禁止することは、また、マルチメディアデータ品質の低下を引き起こし、そして、コーディング性能に影響を及ぼす。ローカル参照データブロックセットに基づくIBCソリューションは、前述の欠点を有していないが、ローカル参照データブロックセットにおいて利用可能な参照データブロックの数が制限されているせいで、ローカル参照データブロックセットのみを使用することが、マルチメディアデータフレームのコーディング性能を低下させ得る。シーケンスコンテンツの特性に応じて、グローバル参照データブロックセット、ローカル参照データブロックセット、ループフィルタリング、などのコーディングパラメータは、コーディング性能において異なる割合を有している。従って、グローバル参照データブロックセットのIBCソリューションおよびローカル参照データブロックセットのIBCソリューションにおける欠陥に基づいて、この出願の実施形態を通して、マルチメディアデータフレームの属性情報に従って、適切な予測コーディングモードが選択され、これは、コーディング性能を改善するために望ましい。
別の言葉で言えば、この出願の実施形態は、グローバル参照データブロックセットおよびローカル参照データブロックセットを提供し、これは、コーディング端末が現在のコード化データブロックの属性情報に従ってグローバル参照データブロックセットおよびローカル参照データブロックセットから参照データブロックを適応的に選択するのに有益であり、その結果、参照データブロックの選択範囲が拡張され、そして、参照データブロックの制限された数の問題が解決され得る。さらに、現在のコード化データブロックは、選択された参照データブロックに従って予測的にコーディングされ、これは、マルチメディアデータフレームのコーディング性能を改善することができる。
別の言葉で言えば、この出願の実施形態は、グローバル参照データブロックセットおよびローカル参照データブロックセットを提供し、これは、コーディング端末が現在のコード化データブロックの属性情報に従ってグローバル参照データブロックセットおよびローカル参照データブロックセットから参照データブロックを適応的に選択するのに有益であり、その結果、参照データブロックの選択範囲が拡張され、そして、参照データブロックの制限された数の問題が解決され得る。さらに、現在のコード化データブロックは、選択された参照データブロックに従って予測的にコーディングされ、これは、マルチメディアデータフレームのコーディング性能を改善することができる。
【0053】
一つの例として、この出願の実施形態において提供される方法は、端末により、サーバにより、または、端末およびサーバ一緒によって実行され得る。この出願の実施形態における方法を実行するためのデバイスは、まとめてコンピュータデバイスと称されてよい。サーバは、独立した物理的サーバ、少なくとも２つの物理的サーバから構成されるサーバクラスタまたは分散システム、もしくは、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウド機能、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメイン名サービス、セキュリティサービス、コンテンツ配信ネットワーク(CDN)、ビッグデータおよび人工知能プラットフォームといった、基本的なクラウドコンピューティングサービスを提供するクラウドサーバであってよい。端末は、スマート車載端末、スマートビデオカメラ、スマートフォン、タブレットコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、スマートスピーカ、スクリーン付きスピーカ、スマートウォッチ、スマートテレビ、などであってもよいが、これらに限定されない。端末およびサーバは、有線または無線通信のモードにおいて直接的または間接的に接続されてよく、そして、さらに、１つまたは少なくとも２つの端末およびサーバが提供されてよく、それは、この出願において限定されない。
【0054】
一つの例として、この出願の実施形態は、これらに限定されるわけではないが、クラウド技術、人工知能、高度道路交通、支援運転、などを含む、様々なシーン（scenes）に適用され得る。例えば、インテリジェント道路交通シーンにおいて、マルチメディアデータフレームは、カメラヘッドを介して道路を撮影することによって獲得されたビデオフレームまたは画像フレームであり、ここで、カメラヘッドは、車載端末または道路側のカメラヘッドであってもよい。この出願に従って、マルチメディアデータフレームは、予測的にコーディングされ、それは、マルチメディアデータフレームのコーディング性能を向上させるのに有利である。そして、道路状況は、車両の走行安全性を向上させるために、コーディングされたマルチメディアデータフレームを介してリアルタイムに観察され得る。
【0055】
【0056】
S101：グローバル参照データブロックセットおよびローカル参照データブロックセットを獲得する。グローバル参照データブロックセットおよびローカル参照データブロックセットは、マルチメディアデータフレーム内のコード化データブロックに関連付けられ、グローバル参照データブロックセットは、マルチメディアデータフレーム内のコーディングされるべきデータブロックと隣接関係を有さないコード化データブロックを含み、ローカル参照データブロックセットは、マルチメディアデータフレーム内のコーディングされるべきデータブロックと隣接関係を有するコード化データブロックを含んでいる。
【0057】
この出願の実施形態に従って、コンピュータデバイスは、マルチメディアデータフレームを獲得することができる。マルチメディアデータフレームは、コンピュータデバイスによってショット（shot）されてよく、または、マルチメディアデータフレームは、コンピュータデバイスによってネットワークからダウンロードされてよい。マルチメディアデータフレームは、ビデオデータにおいてコーディングされるビデオフレーム、または、画像データにおいてコーディングされる画像の１つのフレームを指す。ビデオデータは、ライブビデオデータ、映画およびテレビジョンビデオデータ、日常生活ビデオデータ、道路監視ビデオデータ、などを指し得る。画像データは、人物画像データ、建物画像データ、オブジェクト画像データ、などである。さらに、コンピュータデバイスは、コーディングモード、書き戻し遅延、および、コード化データブロックとコーディングされるべきデータブロックとの間の相関といった、情報のうちの少なくとも１つに従って、マルチメディアデータフレームに関連付けられたグローバル参照データブロックセットを獲得することができ、そして、ローカル参照データブロックセットを保管するためのストレージ空間のサイズ、および、コード化データブロックとコーディングされるべきデータブロックとの間の相関といった、情報のうち少なくとも１つに従って、グローバル参照データブロックセットおよびローカル参照データブロックセットを獲得することができる。
【0058】
一つの例として、グローバル参照データブロックセットおよびローカル参照データブロックセットは、それぞれに、第１ストレージ空間および第２ストレージ空間に保管される。第１ストレージ空間および第２ストレージ空間は、同じコンピュータデバイス内、または、異なるコンピュータデバイス内に配置されてよい。第１ストレージ空間および第２ストレージ空間は、具体的に、磁気ディスク、記憶媒体アレイ、などを指してよく、それらは、この出願の実施形態において限定されない。第１ストレージ空間および第２ストレージ空間が同じコンピュータデバイス内に配置されているとき、第１ストレージ空間は、コンピュータデバイスのオフチップメモリを指してよく、そして、第２ストレージ空間は、コンピュータデバイスのオンチップメモリを指してよい。代替的に、第１ストレージ空間は、コンピュータデバイスのオンチップメモリを指してよく、そして、第２ストレージ空間は、コンピュータデバイスのオフチップメモリを指してよい。このことは、この出願の実施形態において限定されない。
【0059】
S102：ローカル参照データブロックセットおよびグローバル参照データブロックセットから、コーディングされるべきデータブロックの予測コーディングのための参照データブロックを決定する。
【0060】
この出願の実施形態を通して、コンピュータデバイスは、グローバル参照データブロックセットおよびローカル参照データブロックセットを獲得することができ、それは、参照データブロックに従って、マルチメディアデータフレーム内のコーディングされるべきデータブロックの予測コーディングを実行するように、適用シーンまたはユーザ要件に従って、グローバル参照データブロックセットおよびローカル参照データブロックセットから、参照データブロックを適応的に選択するのに有益である。その結果として、参照データブロックの選択範囲が拡張され、そして、マルチメディアデータフレームのコーディング性能が改善され得る。
【0061】
例えば、コンピュータデバイスは、コーディングされるべきデータブロックの属性情報を獲得し、そして、コーディングされるべきデータブロックの属性情報に従って、ローカル参照データブロックセットおよびグローバル参照データブロックセットから、コーディングされるべきデータブロックの予測コーディングのための参照データブロックを決定し得る。コーディングされるべきデータブロックの属性情報は、以下のうち少なくとも１つを含む。すなわち、コーディングされるべきデータブロックが属するマルチメディアデータフレームのメディアタイプ、マルチメディアデータフレームの参照マーク、および、コーディングされるべきデータブロックが属するマルチメディアデータフレームの定義、である。メディアタイプは、イントラフレームタイプおよびインターフレームタイプを含んでいる。イントラフレームタイプは、代表的なマルチメディアデータフレームを参照することができる。イントラフレームタイプは、イントラフレーム、Iフレーム、および、キーフレームといった、フル・イントラコーディングフレームである。このタイプのフレームは、イントラフレームコーディング技術（intra-frame coding technology）の使用のみを可能にする。イントラフレームコーディング技術は、IBCモードまたはISCモードを含み、そして、コーディングのために他のフレームに依存する必要がない。例えば、イントラフレームタイプは、ビデオデータまたはイメージデータの主な意味を反映することができる、マルチメディアデータフレームを参照することができる。インターフレームタイプは、イントラフレームタイプ以外のビデオデータまたは画像データにおけるマルチメディアデータフレームを参照することができる。インターフレームタイプは、Pフレーム、Bフレーム、非キーフレームといった、インターコーディングフレームと呼ばれてよい。このタイプのフレームは、インターフレームコーディング技術およびイントラフレームコーディング技術の使用を可能にする。一般的に、インターフレームコーディング技術が使用される場合、コーディングは、参照フレームコーディングが完了した後に実行されてよい。マルチメディアデータフレームの参照マーク（reference mark）は、コーディングされるべきデータブロックの参照データブロックの選択範囲(つまり、どの参照データブロックセットが選択されるか)を反映するために使用される。
【0062】
この出願の実施形態を通して、コンピュータデバイスは、グローバル参照データブロックセットおよびローカル参照データブロックセットを獲得することができる。そうして、コーディング端末は、参照データブロックに従って、マルチメディアデータフレーム内のコーディングされるべきデータブロックの予測コーディングを実行するように、適用シーンまたはユーザ要件に従って、グローバル参照データブロックセットおよびローカル参照データブロックセットから参照データブロックを適応的に選択することができる。その結果として、参照データブロックの選択範囲が拡張され、そして、マルチメディアデータフレームのコーディング性能が改善され得る。
【0063】
いくつかの実施形態において、コンピュータデバイスは、グローバル参照データブロックセットを獲得するために、マルチメディアデータフレームのコーディングモードに従って、以下の２つのモードのうち１つを選択することができる。
【0064】
モード1：グローバル参照データブロックセットは少なくとも１つの第１参照データブロックを含み、マルチメディアデータフレームのコーディングモードがシリアルコーディングモードである場合に、グローバル参照データブロックセット内の第１参照データブロックは、マルチメディアデータフレームにおいて書き戻し制限条件を満たすパラメータ関連付け関係を有しており、かつ、コーディングされるべきデータブロックとして同じタイルに属しているコード化データブロックである。パラメータ関連付け関係は、第１位置情報と第２位置情報との間の関連付け関係、および、第１位置情報とSBのサイズ情報との間の関連付け関係を反映するために使用される。第１位置情報は、マルチメディアデータフレーム内のコーディングされるべきデータブロックの位置情報を指し、かつ、第２位置情報は、マルチメディアデータフレーム内のコーディングされるべきデータブロックの位置情報を指す。そして、書き戻し制限条件は、グローバル参照データブロックセットへのコード化データブロックの書き込みの制限された遅延を反映するために使用される。別の言葉で言えば、シリアルコーディングモードは、マルチメディアデータフレーム内の１つのデータブロックのみが同時に予測コーディングされることを意味する。マルチメディアデータフレームのコーディングモードがシリアルコーディングモードである場合に、このコーディングモードは、参照データブロックの決定プロセスに影響を与えない。しかしながら、グローバル参照データブロックセットへのコード化データブロックの書き込みは、より大きな書き戻し遅延を引き起こす。つまり、グローバル参照データブロックセットへのコード化データブロックの書き込みは、より長い時間がかかる。従って、コード化データブロックは、少なくともプリセット時間待機した後で、参照データブロックとしてのみ使用され得る。プリセット時間は、グローバル参照データブロックセットへのコード化データブロックの書き込みの制限された遅延に従って決定される。制限された遅延は、グローバル参照データブロックセットへのコード化データブロックの書き込みに係る平均遅延、最大遅延、および最小遅延のうち１つを参照し得る。従って、マルチメディアデータフレームのコーディングモードがシリアルコーディングモードである場合に、グローバル参照データブロックセット内の第１参照データブロックは、以下の２つの条件を満たす必要がある。ａ）コーディングされるべきデータブロックと同じタイルに属すること、および、ｂ）書き戻し制限条件を満たすパラメータ関連付け関係を有すること、である。
【0065】
【0066】
s11：マルチメディアデータフレームのコーディングモードがシリアルコーディングモードである場合に、第１位置情報、SBのサイズ情報、および第２位置情報をそれぞれ獲得する。第１位置情報は、マルチメディアデータフレーム内のコード化データブロックの位置情報を参照し、そして、第２位置情報は、マルチメディアデータフレーム内のコーディングされるべきデータブロックの位置情報を参照する。
【0067】
s12：書き戻し制限条件を獲得する。書き戻し制限条件は、グローバル参照データブロックセットへのコード化データブロックの書き込みの制限された遅延を反映するために使用される。
【0068】
s13：第１参照データブロックとして、マルチメディアデータフレームから、書き戻し制限条件を満たすパラメータ関連付け関係を有しており、かつ、コーディングされるべきデータブロックと同じタイルに属しているコード化データブロックを選択する。パラメータ関連付け関係は、第１位置情報と第２位置情報との間の関連付け関係、および、第１位置情報とSBのサイズ情報との間の関連付け関係を反映するために使用される。
【0069】
s14：グローバル参照データブロックセットに第１参照データブロックを追加する。
【0070】
ステップs11からs14までにおいて、マルチメディアデータフレームのコーディングモードがシリアルコーディングモードである場合に、コンピュータデバイスは、第１位置情報、SBのサイズ情報、および第２位置情報を、それぞれに獲得し得る。第１位置情報は、マルチメディアデータフレームにおけるコード化データブロックの位置情報を指し、第２位置情報は、マルチメディアデータフレームにおけるコード化データブロックの位置情報を指し、第１位置情報は、マルチメディアデータフレームにおけるコード化データブロックのピクセルの座標を指し、第２位置情報は、マルチメディアデータフレームにおけるコード化データブロックのピクセルの座標を指し、SBのサイズ情報は、SBの幅および高さを指し得る。コンピュータデバイスは、書き戻し制限条件を獲得し、書き戻し制限条件を満たすパラメータ関連付け関係を有し、コーディングされるべきデータブロックと同じタイルに属するコード化データブロックを、第１参照データブロックとしてマルチメディアデータフレームから選択し、そして、第１参照データブロックをグローバル参照データブロックセットに追加し得る。第１参照データブロックは、書き戻し制限条件、第１位置情報、第２位置情報、およびSBのサイズ情報に従って選択され、それにより、第１参照データブロックがコード化データブロックと比較的強い空間相関を有することを保証し、第１参照データブロックの利用可能性を保証する。
【0071】
【0072】
s21：第１位置情報および第２位置情報に従って、第１候補参照データブロックとして、マルチメディアデータフレームから、同じタイルに属するコード化データブロックを選択する。
【0073】
s22：書き戻し制限条件の下で、コード化データブロックとマルチメディアデータフレーム内のコーディングされるべきデータブロックとの間の離間データブロック（spaced data block）の制限された数を決定する。
【0074】
s23：第１位置情報、SBのサイズ情報、および第２位置情報に従って、第１候補参照データブロックとコーディングされるべきデータブロックとの間の離間データブロックの数をカウントする。
【0075】
s24：第１参照データブロックとして、離間データブロックの数が離間データブロックの制限された数より大きい第１候補参照データブロックを決定する。
【0076】
ステップs21からs24までにおいて、第１位置情報がマルチメディアデータフレームにおけるコード化データブロックのピクセルの座標であり、第２位置情報がマルチメディアデータフレームにおけるコード化データブロックのピクセルの座標であり、コード化データブロックの位置情報が(ref_x,ref_y)であり、そして、コーディングされるべきデータブロックの位置情報が(cur_x,cur_y)であると仮定する。
コンピュータデバイスは、マルチメディアデータフレームからコーディングされるべきデータブロックと同じタイルに属するコード化データブロックを第１候補参照データブロックとして選択し、書き戻し制限条件の下で、コード化データブロックとマルチメディアデータフレームにおけるコーディングされるべきデータブロックとの間の離間データブロックの制限数を決定する。ここで、離間データブロックの制限数は、書き戻し制限条件が満たされる場合に、コード化データブロックとコーディングされるべきデータブロックとの間で間隔を空ける必要があるデータブロックの最小数を指す。次いで、第１位置情報、SBのサイズ情報、および第２位置情報に従って、第１候補参照データブロックとコーディングされるべきデータブロックとの間の離間データブロック数をカウントする。ここで、離間データブロック数は、第１候補参照データブロックとコーディングされるべきデータブロックとの間で実際に間隔のあいたデータブロックの数である。そして、離間データブロック数が離間データブロックの制限数より大きい第１候補参照データブロックを第１参照データブロックとして決定する。グローバル参照データブロックセットは、第１参照データブロックがコーディングされるべきデータブロックと比較的強い空間相関を有することを確保し、かつ、第１参照データブロックの利用可能性を確保するように、コード化データブロックの位置情報、コーディングされるべきデータブロックの位置情報、および書き戻し遅延制限条件に従って獲得される。さらに、追加のハードウェアコストが必要とされず、それにより、コストが節約される。
コンピュータデバイスは、マルチメディアデータフレームからコーディングされるべきデータブロックと同じタイルに属するコード化データブロックを第１候補参照データブロックとして選択し、書き戻し制限条件の下で、コード化データブロックとマルチメディアデータフレームにおけるコーディングされるべきデータブロックとの間の離間データブロックの制限数を決定する。ここで、離間データブロックの制限数は、書き戻し制限条件が満たされる場合に、コード化データブロックとコーディングされるべきデータブロックとの間で間隔を空ける必要があるデータブロックの最小数を指す。次いで、第１位置情報、SBのサイズ情報、および第２位置情報に従って、第１候補参照データブロックとコーディングされるべきデータブロックとの間の離間データブロック数をカウントする。ここで、離間データブロック数は、第１候補参照データブロックとコーディングされるべきデータブロックとの間で実際に間隔のあいたデータブロックの数である。そして、離間データブロック数が離間データブロックの制限数より大きい第１候補参照データブロックを第１参照データブロックとして決定する。グローバル参照データブロックセットは、第１参照データブロックがコーディングされるべきデータブロックと比較的強い空間相関を有することを確保し、かつ、第１参照データブロックの利用可能性を確保するように、コード化データブロックの位置情報、コーディングされるべきデータブロックの位置情報、および書き戻し遅延制限条件に従って獲得される。さらに、追加のハードウェアコストが必要とされず、それにより、コストが節約される。
【0077】
例えば、コンピュータデバイスは、以下の等式(2)を満たす第１候補参照データブロックを第１参照データブロックとして使用することができる。
【0078】
【数4】
【0079】
等式(2)における、cur_num-src_numは、第１候補参照データブロックとコーディングされるべきデータブロックとの間の離間データブロックの数を表し、cur_numは、第１候補参照データブロックのシリアル番号を指し、src_numは、コーディングされるべきデータブロックのシリアル番号を指し、Dは、書き戻し制限条件が満たされる場合の離間データブロックの制限された数を指し、cur_numおよびsrc_numは、以下の等式(3)および等式(4)によって計算され得る。
【0080】
【0081】
s31：第１位置情報およびSBのサイズ情報に従って、第１候補参照データブロックの行（row）識別子および列（column）識別子を決定する。
【0082】
s32：第２位置情報およびSBのサイズ情報に従って、コーディングされるべきデータブロックの行識別子および列識別子を決定する。
【0083】
s33：コーディングされるべきデータブロックのサイズ情報に基づいて、マルチメディアデータフレーム内の各行におけるデータブロックの数を決定する。
【0084】
s34：各行内のデータブロックの数、第１候補参照データブロックの行識別子および列識別子、並びに、コーディングされるべきデータブロックの行識別子および列識別子に従って、第１候補参照データブロックとコーディングされるべきデータブロックとの間の離間データブロックの数をカウントする。
【0085】
ステップs31からs34までにおいて、第１候補参照データブロックの行識別子はref_y_numであり、第１候補参照データブロックの列識別子はref_x_numであり、コーディングされるべきデータブロックの行識別子はcur_x_numであり、コーディングされるべきデータブロックの列識別子はcur_y_numである。コンピュータデバイスは、以下の等式(3)によって、第１候補参照データブロックの行識別子および列識別子、並びに、コード化データブロックの行識別子および列識別子を、それぞれに、獲得することができる。
【0086】
【数5】
【0087】
ここで、等式(3)において、Floor()は切り捨てを表し、そして、WおよびHは、以下の4個のモードのうちのいずれかで決定され得る。１．WおよびHは、SBのサイズ情報に従って決定され得る。２．WおよびHは、オンチップメモリの基本単位(VPDU、Virtual Pipeline Data Unit)のサイズ情報に従って決定され得る。３．Hは、SBのサイズ情報に従って決定されてよく、例えば、SBが128×128である場合、Hは128であり、そして、SBが64×64である場合、Hは64である。Wは、64といったデフォルト値であってよい。４．WおよびHは、4、64、および128といった、予め設定された値であり得る。１つのSBは、少なくとも１つのデータブロックを含んでよく、そして、SBのサイズおよびデータブロックのサイズは、マルチメディアデータフレームのパーティション分割モードに従って具体的に決定される。
【0088】
次いで、コンピュータデバイスは、コーディングされるべきデータブロックのサイズ情報に基づいてマルチメディアデータフレーム内の各行のデータブロックの数を決定し、各行のデータブロックの数、並びに、第１候補参照データブロックの行識別子および列識別子に従って、第１候補参照データブロックのシリアル番号を決定し、そして、各行のデータブロックの数、並びに、コーディングされるべきデータブロックの行識別子および列識別子に従ってコーディングされるべきデータブロックのシリアル番号を決定し、そして、第１候補参照データブロックのシリアル番号とコーディングされるべきデータブロックのシリアル番号との間の差を、第１候補参照データブロックとコーディングされるべきデータブロックとの間の離間データブロックの数として決定することができる。例えば、コンピュータデバイスは、以下の等式(4)によって、マルチメディアデータフレーム内の各行におけるデータブロックの数、第１候補参照データブロックのシリアル番号、およびコーディングされるべきデータブロックのシリアル番号を決定することができる。
【0089】
【数6】
【0090】
ここで、等式(4)において、strideはマルチメディアデータフレーム内の各行におけるデータブロックの数を指し、cur_numは第１候補参照データブロックのシリアル番号を指し、src_numはコーディングされるべきデータブロックのシリアル番号を指し、Ceil()は切り上げを表し、tile_wはタイルの幅を表す。タイルは、少なくとも１つのSBを含み、そうして、タイルの幅は、SBのサイズ情報に従って決定され得る。例えば、SBのサイズが128×128である場合、タイルのサイズは1024×720であり得る。
【0091】
例えば、第１位置情報は、マルチメディアデータフレームにおけるコード化データブロックの座標を指し、第２位置情報は、マルチメディアデータフレームにおけるコーディングされるべきデータブロックの座標を指し、マルチメディアデータフレームのコーディングモードがシリアルコーディングモードである場合に、SBのサイズが128×128であり、タイルの幅および高さがそれぞれ1024および720であり、そして、WおよびHの値が64に等しい。さらに、書き戻し制限条件の下で、コード化データブロックとコーディングされるべきデータブロックとの間の離間データブロックの制限数が4であるとき、グローバル参照データブロックセット内の第１参照データブロックは、コーディングされるべきデータブロックと同じタイルに属しており、かつ、以下の等式(5)を満たす座標を有するコード化データブロックである。そして、離間データブロックの制限数は、書き戻し制限条件が満たされる場合に、コード化データブロックとマルチメディアデータフレーム内のコーディングされるべきデータブロックとの間に離間される必要があるデータブロックの最小数を指し得る。
【0092】
【数7】
【0093】
ここで、等式(5)において、(ref_x,ref_y)はマルチメディアデータフレーム内のコード化データブロックの座標を表し、(cur_x,cur_y)はマルチメディアデータフレーム内のコーディングされるべきデータブロックの座標を表し、そして、Floor()は切り捨てを表している。
【0094】
別の例において、第１位置情報および第２位置情報は、それぞれに、マルチメディアデータフレーム内のコード化データブロックの座標およびマルチメディアデータフレーム内のコーディングされるべきデータブロックの座標を指す。マルチメディアデータフレームのコーディングモードがシリアルコーディングモードである場合に、SBのサイズは64×64であり、タイルの幅および高さはそれぞれ1024および720であり、そして、WおよびHの値は64に等しい。かつ、さらに、書き戻し制限条件の下で、コード化データブロックとコーディングされるべきデータブロックとの間の離間データブロックの制限された数が4であるとき、グローバル参照データブロックセット内の第１参照データブロックは、コーディングされるべきデータブロックと同じタイルに属しており、かつ、以下の等式(6)を満たす座標を有するコード化データブロックである。
【0095】
【数8】
【0096】
ここで、(ref_x,ref_y)はマルチメディアデータフレーム内のコード化データブロックの座標を表し、(cur_x,cur_y)はマルチメディアデータフレーム内のコーディングされるべきデータブロックの座標を表し、Floor()は切り捨てを表している。
【0097】
マルチメディアデータフレームのコーディングモードがシリアルコーディングモードである場合に、コンピュータデバイスは、また、以下によって、グローバル参照データブロックセットを獲得することもできることが理解されるべきである。第１位置情報、第２位置情報、およびSBのサイズ情報に従って、コード化データブロックとコーディングされるべきデータブロックとの間の間隔距離を決定すること、および、コード化データブロックとコーディングされるべきデータブロックとの間の間隔制限距離を決定することであり、間隔制限距離は、書き戻し遅延条件下で、コード化データブロックとコーディングされるべきデータブロックとの間の最小間隔制限距離を指すこと、マルチメディアデータフレーム内のコーディングされるべきデータブロックと同じタイルに属しており、かつ、間隔制限距離より大きい間隔距離を有するコード化データブロックを第１参照データブロックとして使用すること、および、第１参照データブロックをグローバル参照データブロックセットに追加すること、による。
【0098】
いくつかの実施形態において、コーディングされるべきデータブロックとコード化データブロックとの間の隣接関係は、コーディングされるべきデータブロックのコーディング順序がコード化データブロックのコーディング順序に隣接することを意味し得る。そして、コーディングされるべきデータブロックとコード化データブロックとの間の非隣接関係は、コーディングされるべきデータブロックのコーディング順序がコード化データブロックのコーディング順序に隣接しないことを意味し得る。
【0099】
モード2：グローバル参照データブロックセットは、少なくとも１つの第２参照データブロックを含む。マルチメディアデータフレームのコーディングモードが並列（parallel）コーディングモードまたは直列（serial）コーディングモードである場合に、グローバル参照データブロックセット内の第２参照データブロックは、コーディングされるべきデータブロックと同じタイルに属しており、かつ、マルチメディアデータフレーム内の書き戻し制限条件を満たし、かつ、コーディング処理条件を満たすパラメータ関連付け関係を有するコード化データブロックである。パラメータ関連付け関係は、マルチメディアデータフレーム内のコード化データブロックの位置情報と、マルチメディアデータフレーム内のコーディングされるべきデータブロックの位置情報と、SBのサイズ情報との間の関連付け関係を反映するために使用される。そして、書き戻し制限条件は、グローバル参照データブロックセットへのコード化データブロックの書き込みの制限された遅延を反映するために使用される。別の言葉で言えば、並列コーディングモードは、マルチメディアデータフレーム内の複数のデータブロックが同時に予測コーディングされることを意味する。マルチメディアデータフレームのコーディングモードが並列コーディングモードである場合に、このコーディングモードは、参照データブロックの決定プロセスに影響を与える。さらに、コード化データブロックをグローバル参照データブロックセットに書き込むことは、より大きな書き戻し遅延を引き起こす。従って、マルチメディアデータフレームのコーディングモードが並列コーディングモードである場合に、グローバル参照データブロックセット内の第２参照データブロックは、以下の3個の条件を満たす必要がある。ａ：コーディングされるべきデータブロックと同じタイルに属すること、ｂ：書き戻し制限条件を満たすパラメータ関連付け関係を有すること、および、ｃ：コーディング処理条件を満たすパラメータ関連付け関係を有すること、である。マルチメディアデータフレームのコーディングモードがシリアルコーディングモードである場合に、グローバル参照データブロックセットは、また、モード2で獲得され得る。ここで、コーディング処理条件は、並列コーディング処理条件を参照し得る。
【0100】
【0101】
s41：第１位置情報、SBのサイズ情報、および第２位置情報を、それぞれに獲得する。第１位置情報は、マルチメディアデータフレーム内のコード化データブロックの位置情報を参照し、そして、第２位置情報は、マルチメディアデータフレーム内のコーディングされるべきデータブロックの位置情報を参照する。
【0102】
s42：書き戻し制限条件およびコーディング処理条件を獲得する。書き戻し制限条件は、グローバル参照データブロックセットへのコード化データブロックの書き込みの制限された遅延を反映するために使用される。
【0103】
s43：第２参照データブロックとしてマルチメディアデータフレームから、書き戻し制限条件およびコーディング処理条件を満たすパラメータ関連付け関係を有しており、かつ、コーディングされるべきデータブロックと同じタイルに属しているコード化データブロックを選択する。パラメータ関連付け関係は、第１位置情報とコーディングされるべきデータブロックのサイズ情報との間の関連付け関係、および、第１位置情報と第２位置情報との間の関連付け関係を反映するために使用されている。
【0104】
s44：グローバル参照データブロックセットに第２参照データブロックを追加する。
【0105】
ステップs41からs44において、第１位置情報は、マルチメディアデータフレーム内のコード化データブロックのピクセルの座標を指し、第２位置情報は、マルチメディアデータフレーム内のコーディングされるべきデータブロックのピクセルの座標を指し、そして、SBのサイズ情報は、SBの幅および高さを指し得る。書き戻し制限条件は、コード化データブロックをグローバル参照データブロックセットに書き込む制限された遅延を反映するために使用され、そして、コーディング処理条件は、マルチメディアデータフレームが並列にコーディングされるとき、参照データブロックとコーディングされるべきデータブロックとの間の制限された距離を反映するために使用される。代替的に、コーディング処理条件は、マルチメディアデータフレームが並列にコーディングされるとき、参照データブロックとコーディングされるべきデータブロックとの間の離間データブロックの制限された数を反映するために使用される。第２参照データブロックとしてマルチメディアデータフレームから、書き戻し制限条件およびコーディング処理条件を満たすパラメータ関連付け関係を有しており、かつ、コーディングされるべきデータブロックと同じタイルに属しているコード化データブロックが選択される。そして、第２参照データブロックがコーディングされるべきデータブロックと比較的強い空間相関を有することを確保し、かつ、第２参照データブロックの可用性を確保するように、第２参照データブロックがグローバル参照データブロックセットに追加される。
【0106】
【0107】
s51：第１位置情報および第２位置情報に従って、第２候補参照データブロックとして、マルチメディアデータフレームから、コーディングされるべきデータブロックと同じタイルに属するコード化データブロックを選択する。
【0108】
s52：第２候補参照データブロックとして、マルチメディアデータフレームから、書き戻し制限条件を満たすパラメータ関連付け関係を有する第１候補参照データブロックを、選択する。
【0109】
s53：書き戻し制限条件の下で、コード化データブロックとマルチメディアデータフレーム内のコーディングされるべきデータブロックとの間の第１データブロック制限距離を決定する。
【0110】
s54：コーディング処理条件の下で、コード化データブロックとマルチメディアデータフレーム内のコーディングされるべきデータブロックとの間の第２データブロック制限距離を決定する。
【0111】
s55:第１位置情報、SBのサイズ情報、第２位置情報、第１データブロック制限距離、および第２データブロック制限距離に従って、第２参照データブロックとして、第２候補参照データブロックから、コーディング処理条件を満たす第２候補参照データブロックを決定する。
【0112】
ステップs51からs55までにおいて、第１位置情報はマルチメディアデータフレームにおけるコード化データブロックのピクセルの座標を指し、第２位置情報はルチメディアデータフレームにおけるコード化データブロックのピクセルの座標を指し、コード化データブロックの位置情報が(ref_x,ref_y)であり、そして、コーディングされるべきデータブロックの位置情報が(cur_x,cur_y)であると仮定する。コンピュータデバイスは、第１候補参照データブロックとしてマルチメディアデータフレームから、コーディングされるべきデータブロックと同じタイルに属するコード化データブロックを選択し得る。コンピュータデバイスは、第２候補参照データブロックとして、マルチメディアデータフレームから、前述の等式(4)を満たす座標を有する第１候補参照データブロックを選択し、書き戻し制限条件の下でコード化データブロックとマルチメディアデータフレーム内のコーディングされるべきデータブロックとの間の第１データブロック制限距離を決定する。ここで、第１データブロック制限距離は、コーディング処理条件が満たされる場合に、コード化データブロックとマルチメディアデータフレーム内のコーディングされるべきデータブロックとの間で保たれる必要がある最小距離を指し得る。コーディング処理条件の下で、コード化データブロックとマルチメディアデータフレーム内のコーディングされるべきデータブロックとの間の第２データブロック制限距離を決定する。ここで、第２データブロック制限距離は、コーディング処理条件が満たされる場合に、コード化データブロックとマルチメディアデータフレーム内のコーディングされるべきデータブロックとの間で保たれる必要がある最小距離を指し得る。そして、次いで、第１位置情報、SBのサイズ情報、第２位置情報、第１データブロック制限距離、および第２データブロック制限距離に従って、を第２参照データブロックとして、第２候補参照データブロックから、コーディング処理条件を満たす第２候補参照データブロック決定する。
【0113】
【0114】
s61：第１位置情報およびSBのサイズ情報に従って、第２候補参照データブロックの行識別子および列識別子を決定する。
【0115】
s62：第２位置情報およびSBのサイズ情報に従って、コーディングされるべきデータブロックの行識別子および列識別子を決定する。
【0116】
s63：第３候補参照データブロックとして、第２候補参照データブロックから、コーディングされるべきデータブロックの行識別子より大きくない行識別子を有する第２候補参照データブロックを選択する。
【0117】
s64：第３候補参照データブロックの行識別子およびコーディングされるべきデータブロックの行識別子に従って、第３候補参照データブロックとコーディングされるべきデータブロックとの間の行距離（row distance）を決定する。
【0118】
s65：第３候補参照データブロックの列識別子およびコーディングされるべきデータブロックの列識別子に従って、第３候補参照データブロックとコーディングされるべきデータブロックとの間の列距離（column distance）を決定する。
【0119】
s66：第２参照データブロックとして、第３候補参照データブロック内の第１距離閾値未満の列距離を有する第３候補参照データブロックを決定する。第１距離閾値は、第１データブロック制限距離、第２データブロック制限距離、および、第３候補参照データブロックとコーディングされるべきデータブロックとの間の行距離に従って決定される。
【0120】
ステップs61からs66までにおいて、コンピュータデバイスは、前述の等式(5)によって、第２候補参照データブロックの行識別子および列識別子、並びに、コーディングされるべきデータブロックの行識別子および列識別子を、それぞれに、獲得する。次いで、第３候補参照データブロックとして、第２候補参照データブロックから、コーディングされるべきデータブロックの行識別子より大きくない行識別子を有する第２候補参照データブロックを選択し、第３候補参照データブロックの行識別子とコーディングされるべきデータブロックの行識別子との間の差を、第３候補参照データブロックとコーディングされるべきデータブロックとの間の行距離として決定し、第３候補参照データブロックの列識別子とコーディングされるべきデータブロックの列識別子との間の差を、第３候補参照データブロックとコーディングされるべきデータブロックとの間の列距離として決定し、そして、第３候補参照データブロックにおける第１距離閾値未満の列距離を有する第３候補参照データブロックを、第２参照データブロックとして決定することができる。例えば、コンピュータデバイスは、以下の等式(7)を満たす座標を有する第２候補参照データブロックを、第２参照データブロックとして決定することができる。
【0121】
【数9】
【0122】
ここで、等式(7)において、ref_y_numは第２候補参照データブロックの行識別子を指し、ref_x_numは第２候補参照データブロックの列識別子を指し、cur_y_numは、コーディングされるべきデータブロックの行識別子を指し、cur_x_numは、コーディングされるべきデータブロックの列識別子を指し、Pは、書き戻し制限条件の下で、コード化データブロックとマルチメディアデータフレーム内のコーディングされるべきデータブロックとの間の第１データブロック制限距離を指し、そして、Eは、コーディング処理条件の下で、コード化データブロックとマルチメディアデータフレーム内のコーディングされるべきデータブロックとの間の第２データブロック制限距離を指す。第１データブロック制限距離は、書き戻し制限条件の下で、コード化データブロックとマルチメディアデータフレーム内のコーディングされるべきデータブロックとの間の離間データブロックの制限された数に従って決定されてよく、例えば、Pおよび前述のDは、値が同じであってもよい。第２データブロック制限距離は、コーディング処理条件の下で、コード化データブロックとマルチメディアデータフレーム内のコーディングされるべきデータブロックとの間の離間データブロックの制限された数に従って、決定され得る。ref_x_num-cur_x_numは、第３候補参照データブロックとコーディングされるべきデータブロックとの間の列距離を表し、そして、cure_y_num-ref_y_numは、第３候補参照データブロックとコーディングされるべきデータブロックとの間の行距離を表す。
【0123】
例えば、第１位置情報はマルチメディアデータフレームにおけるコード化データブロックの座標を指し、そして、第２位置情報はマルチメディアデータフレームにおけるコード化データブロックの座標を指す。マルチメディアデータフレームのコーディングモードが並列コーディングモードまたは直列コーディングモードである場合、SBのサイズは128×128であり、タイルの幅および高さは、それぞれに、1024および720であり、かつ、WおよびHの値は64に等しい。そして、書き戻し制限条件の下で、コード化データブロックとコーディングされるべきデータブロックとの間の離間データブロックの制限距離が4であり、かつ、コーディング処理条件の下で、コード化データブロックとコーディングされるべきデータブロックとの間の離間データブロックの制限距離が2であるとき、グローバル参照データブロックセット内の第２参照データブロックは、コーディングされるべきデータブロックと同じタイルに属し、以下の等式(8)を満たす座標を有するコード化データブロックである。
【0124】
【数10】
【0125】
ここで、(ref_x,ref_y)はマルチメディアデータフレーム内のコード化データブロックの座標を表し、(cur_x,cur_y)はマルチメディアデータフレーム内のコード化データブロックの座標を表し、そして、Floor()は切り捨てを表している。
【0126】
第１位置情報は、マルチメディアデータフレーム内のコード化データブロックの位置情報を参照し、そして、第２位置情報は、マルチメディアデータフレーム内のコーディングされるべきデータブロックの位置情報を参照する。マルチメディアデータフレームにおけるコーディングモードが並列コーディングモードまたは直列コーディングモードである場合、SBのサイズが64×64であり、タイルの幅および高さが、それぞれに、1024および720であり、WおよびHの値が64に等しい。そして、書き戻し制限条件の下でのコード化データブロックとコーディングされるべきデータブロックとの間の離間データブロックの制限距離が4であり、かつ、コーディング処理条件下でのコード化データブロックとコーディングされるべきデータブロックとの間の離間データブロックの制限距離が1であるとき、グローバル参照データブロックセット内の第２参照データブロックは、コーディングされるべきデータブロックと同じタイルに属し、かつ、以下の等式(9)を満たす座標を有するコード化データブロックである。
【0127】
【数11】
【0128】
ここで、(ref_x,ref_y)はマルチメディアデータフレーム内のコード化データブロックの座標を表し、(cur_x,cur_y)はマルチメディアデータフレーム内のコーディングされるべきデータブロックの座標を表し、Floor()は切り捨てを表している。
【0129】
一つの例として、マルチメディアデータフレームのコーディングモードが並列コーディングモードまたは直列コーディングモードである場合、コンピュータデバイスは、また、以下によって、グローバル参照データブロックセットを獲得することもできる。SBの第１位置情報、第２位置情報、およびサイズ情報に従って、コード化データブロックとコーディングされるべきデータブロックとの間の離間データブロックの数を決定すること、および、書き戻し遅延条件およびコーディング処理条件の下で、コード化データブロックとコーディングされるべきデータブロックとの間の離間データブロックのターゲット制限数を決定することであり、離間データブロックのターゲット制限数は、書き戻し遅延条件およびコーディング処理条件が満たされる場合に、コード化データブロックとコーディングされるべきデータブロックとの間の離間データブロックの最小数を参照すること、マルチメディアデータフレーム内のコーディングされるべきデータブロックと同じタイルに属し、かつ、離間データブロックのターゲット制限数より大きい離間データブロック数を有するコード化データブロックを、第２参照データブロックとして使用すること、および、第２参照データブロックをグローバル参照データブロックセットに追加すること、による。
【0130】
いくつかの実施形態において、コンピュータデバイスは、ローカル参照データブロックセットを獲得するために、以下の２つのモードのうちの１つまたは組合せモードを選択することができる。
【0131】
モード1：ローカル参照データブロックセットは、少なくとも１つの第３参照データブロックを含み、そして、ローカル参照データブロックセット内の第３参照データブロックは、マルチメディアデータフレーム内のコーディングされるべきデータブロックと同じコーディング処理ユニット内に配置されたコード化データブロックである。コーディング処理ユニットは、また、オンチップメモリの基本ユニット(VPDU、Virtual Pipeline Data Unit)と呼ばれてもよく、そして、VPDUのサイズ情報は、コーダ（coder）のコーディング処理能力に従って決定され得る。例えば、VPDUのサイズはVPDU_W×VPDU_Hであり、そして、VPDU_WおよびVPDU_Hの値は4、8、16、32、64、128、などであり得る。別の言葉で言えば、マルチメディアデータフレーム内でref_x/VPDU_W=cur_x/VPDU_Wかつref_y/VPDU_H=cur_y/VPDU_Hを満たす座標を有するコード化データブロックが、第２参照データブロックとして使用される。別の例について、VPDUのサイズが64×64である場合に、コーディングされるべきデータブロックが属するVPDU64×64内のコード化データブロックが、コーディングされるべきデータブロックの参照データブロックとして使用され得る。代替的に、VPDUのサイズが64×64である場合に、マルチメディアデータフレーム内でFloor(ref_x/64)=Floor(cur_x/64)かつFloor(ref_y/64)=Floor(cur_y/64)を満たす座標を有するコード化データブロックが、第２参照データブロックとして使用される。
【0132】
モード2：ローカル参照データブロックセットは、少なくとも１つの第４参照データブロックを含み、そして、ローカル参照データブロックセット内の第４参照データブロックは、マルチメディアデータフレーム内のコーディングされるべきデータブロックと隣接関係を有し、かつ、コーディングされるべきデータブロックと同じタイルに属するコード化データブロックである。第４参照データブロックとコーディングされるべきデータブロックとの隣接関係は、以下の３つの場合のうち少なくとも１つを含み得る。
【0133】
ａ：第４参照データブロックとコーディングされるべきデータブロックとの間の隣接関係は、第４参照データブロックおよびコーディングされるべきデータブロックが同じSBに属することを意味する。
【0134】
ｂ：第４参照データブロックとコーディングされるべきデータブロックとの間の隣接関係は、第４参照データブロックがコーディングされるべきデータブロックに隣接するN個のSBに配置され、かつ、SBのサイズがサイズ閾値未満であり、かつ、NがSBのサイズ情報に従って決定されること、を意味する。例えば、マルチメディアデータフレームのコーディング方向は、左から右であり、そして、サイズ閾値は、動的に適用シーンまたはユーザ要件に従って設定されて得る。サイズ閾値が128×128である場合、第４参照データブロックとコーディングされるべきデータブロックとの間の隣接関係は、第４参照データブロックは、コーディングされるべきデータブロックの左側のN個のSB内に配置され、かつ、SBのサイズは128×128未満であることを意味する。Nは、以下の等式(10)に従って、決定され得る。
【0135】
【数12】
【0136】
ここで、log2_sb_sizeは中間変数を参照し、そして、sb_sizeはSBのサイズを参照する。
【0137】
ｃ：第４参照データブロックとコーディングされるべきデータブロックとの間の隣接関係は、以下を意味する。第４参照データブロックがコーディングされるべきデータブロックに隣接するN個のSBに配置され、かつ、SBのサイズがサイズ閾値以上であること。ターゲット領域の左上隅のデータブロックが再構築されないデータブロックであり、かつ、ターゲット領域は、マルチメディアデータフレーム内の第４参照データブロックが1SBだけ右に移動する領域であること。第４参照データブロックが1（one）SBの距離だけ移動する(移動方向はコーディング方向と同じである)場合に、位置情報は、コーディングされるべきデータブロックの位置情報と異なり、そして、NがSBのサイズ情報に従って決定されること、である。SBのサイズがサイズ閾値以上であるとき、例えば、SBのサイズが128×128である場合、第４参照データブロックは、以下の3個の条件を満たす必要がある。１．第４参照データブロックは、コーディングされるべきデータブロックと同じタイルに属するコード化データブロックであること。２．128ピクセルだけ右に移動した後の第４参照データブロックの座標は、(ref_x+128,ref_y)であり、そして、次いで、マルチメディアデータフレーム内で座標(ref_x+128,ref_y)を有するデータブロックは、再構築されないデータブロックである。３．第４参照データブロックが1SBの距離だけ右に移動する場合の位置情報は、コーディングされるべきデータブロックの位置情報とは異なる。この条件は、等式(11)で表すことができる。
【0138】
【数13】
【0139】
等式(11)において、!=は、等しくないこと（no equal to）を表す。
【0140】
いくつかの実施形態において、第１参照データブロック、第２参照データブロック、第３参照データブロック、および第４参照データブロックと、コーディングされるべきデータブロックとの間の距離は第２距離閾値未満である。第２距離閾値は、適用シーンまたはユーザ要件に従って動的に設定されてよい。例えば、第２距離閾値は214であってよく、さらに、第１参照データブロック、第２参照データブロック、第３参照データブロック、および第４参照データブロックは、マルチメディアデータフレームの完全なピクセル位置に配置されている。このことは、これらのデータブロックに含まれるピクセルが完全なピクセルであることを表し、そして、１つのピクセルが複数のデータブロックに配置されるケースは存在しない。
【0141】
例えば、マルチメディアデータフレームのコーディングモードが並列コーディングモードであり、SBのサイズが128×128であり、書き戻し遅延制限条件の下でコード化データブロックとコーディングされるべきデータブロックとの間の離間データブロックの制限数が4であり、コーディング処理条件の下でコード化データブロックとコーディングされるべきデータブロックとの間の離間データブロックの制限数が2であり、ローカル参照データブロックセットを獲得するモードが前述のモードのうちの１つであり、VPDUのサイズが64×64である場合に、グローバル参照データブロックセット、ローカル参照データブロックセット、およびコーディングされるべきデータブロックの間の関係は、図8に示されている。図8における最小の正方形(つまり、点線で描かれた小さい正方形)のサイズは64×64であり、実線で描かれた小正方形のサイズは128×128であり、データブロックのサイズは32×32である。従って、図8のマルチメディアデータフレーム内の1行目の19番目の正方形内のコード化データブロックは、ローカル参照データブロックセット801に属し、そして、ローカル参照データブロックセットは、1行目の19番目の正方形内のコーディングされるべきデータブロックをコーディングするために使用される。コーディングされるべきデータブロックから8データブロック離れたマルチメディアデータフレーム内の第１行および第２行内のコード化データブロックは、グローバル参照データブロックセット802に属し、そして、グローバル参照データブロックセットは、第１行内の19番目の正方形内のコーディングされるべきデータブロックをコーディングするために使用される。図8から分かるように、グローバル参照データブロックセット内の参照データブロックの数は、ローカル参照データブロックセット内の参照データブロックの数よりも多く、グローバル参照データブロックセット内の参照データブロックとコーディングされるべきデータブロックとは隣接関係を有さず、そして、ローカル参照データブロックセット内のデータブロックとコーディングされるべきデータブロックとは隣接関係を有している。
【0142】
例えば、マルチメディアデータフレームのコーディングモードが並列コーディングモードであり、SBのサイズが128×128であり、書き戻し遅延制限条件の下でコード化データブロックとコーディングされるべきデータブロックとの間の離間データブロックの制限数が4であり、コーディング処理条件の下でコード化データブロックとコーディングされるべきデータブロックとの間の離間データブロックの制限数が2であり、ローカル参照データブロックセットを獲得するモードが前述のモード2であり、VPDUのサイズが64×64である場合に、グローバル参照データブロックセット、ローカル参照データブロックセット、およびコーディングされるべきデータブロックの間の関係は図9に示されている。図9における最小の正方形(つまり、点線で描かれた小さい正方形)のサイズは64×64であり、実線で描かれた小正方形のサイズは128×128であり、そして、データブロックのサイズは32×32である。従って、図9のマルチメディアデータフレーム内の1行目の19番目の正方形内のコード化データブロックおよびコード化データブロックの左側のSB内のコード化データブロックは、ローカル参照データブロックセット901に属し、ローカル参照データブロックセットは、1行目の19番目の正方形内のコーディングされるべきデータブロックをコーディングするために使用される。コーディングされるべきデータブロックから8データブロック離れたマルチメディアデータフレーム内の第１行および第２行内のコード化データブロックは、グローバル参照データブロックセット902に属し、グローバル参照データブロックセットは、第１行内の19番目の正方形内のコーディングされるべきデータブロックをコーディングするために使用される。図9から分かるように、グローバル参照データブロックセット内の参照データブロックの数は、ローカル参照データブロックセット内の参照データブロックの数よりも多く、グローバル参照データブロックセット内の参照データブロックとコーディングされるべきデータブロックとは隣接関係を有さず、そして、ローカル参照データブロックセット内のデータブロックとコーディングされるべきデータブロックとは隣接関係を有している。
【0143】
いくつかの実施形態において、任意のマルチメディアデータフレームに関して、コンピュータデバイスは、グローバル参照データブロックセットおよびローカル参照データブロックセットから、コーディングされるべきデータブロックをコーディングするための参照データブロックを決定し得る。代替的に、コンピュータデバイスは、コーディングされるべきデータブロックのコーディングモードに従って参照データブロックセットを適応的に選択して、コーディングされるべきデータブロックをコーディングするための参照データブロックを選択された参照データブロックセットから決定してよい。具体的に、コンピュータデバイスは、コーディングされるべきデータブロックのコーディングモードを獲得し、そして、コーディングされるべきデータブロックのコーディングモードがIBCモード又はISCモードである場合に、グローバル参照データブロックセットおよびローカル参照データブロックセットから、コーディングされるべきデータブロックの予測コーディングのための参照データブロックを決定してよい。コーディングされるべきデータブロックのコーディングモードは、マルチメディアデータフレームのメディアタイプに従って決定されてよく、または、コーディングされるべきデータブロックのコーディングモードは、マルチメディアデータフレームのコーディングマーク(または参照マーク)に従って決定されてよい。コーディングされるべきデータブロックのコーディングモードは、コーディングされるべきデータブロックの予測モードを指し得る。
【0144】
コーディングされるべきデータブロックのコーディングモードがIBCモードまたはISCモードである場合に、グローバル参照データブロックセットおよびローカル参照データブロックセットからコーディングされるべきデータブロックの予測コーディングのための参照データブロックを決定するステップは、以下を含む。コーディングされるべきデータブロックのコーディングモードがIBCモードまたはISCモードである場合に、ローカル参照データブロックとコーディングされるべきデータブロックとが隣接関係を有し、そして、ローカル参照データブロックセット内の第２参照データブロックとコーディングされるべきデータブロックとの間の相関が比較的強いので、コンピュータデバイスは、ローカル参照データブロックセットを優先的に検索し得る。条件を満たす参照データブロックがローカル参照データブロックセット内で検索される場合、グローバル参照データブロックセットを検索する必要はなく、そして、条件を満たす参照データブロックがローカル参照データブロックセット内で検索されない場合、グローバル参照データブロックセットが検索され、それによって、参照データブロックを検索する効率を改善し、不必要なリソースの浪費を回避するのに有利である。例えば、最初に、コンピュータデバイスは、ローカル参照データブロックセット内の第２参照データブロックと、コーディングされるべきデータブロックとの間のピクセル差分を獲得し得る。ピクセル差分は、第２参照データブロックのピクセルと、コーディングされるべきデータブロックのピクセルとの間の平均二乗誤差または絶対差の和を指し得る。ローカル参照データブロックセット内にピクセル差分閾値未満のピクセル差分を有するターゲットデータブロックが存在する場合、それは、ターゲットデータブロックとコーディングされるべきデータブロックとが比較的強い相関を有することを示し、そうして、ターゲットデータブロックは、コーディングされるべきデータブロックの予測コーディングのための参照データブロックとして使用される。ローカル参照データブロックセット内にピクセル差分閾値未満のピクセル差分を有するターゲットデータブロックが存在しない場合、それは、ローカル参照データブロックセット内の第２参照データブロックとコーディングされるべきデータブロックとの間の相関が比較的弱いことを示し、そうして、コーディングされるべきデータブロックの予測コーディングのための参照データブロックがグローバル参照データブロックセットから決定される。
【0145】
コーディングされるべきデータブロックのコーディングモードがIBCモードまたはISCモードである場合に、グローバル参照データブロックセットおよびローカル参照データブロックセットからコーディングされるべきデータブロックの予測コーディングのための参照データブロックを決定するステップは、以下を含む。コーディングされるべきデータブロックのコーディングモードがIBCモードまたはISCモードである場合、コンピュータデバイスは、コーディングされるべきデータブロックと空間的隣接関係を有するターゲットコード化データブロックに従って参照データブロックを決定してよい。ここで、空間的隣接関係を有するターゲットコード化データブロックは、コーディングされるべきデータブロックと位置的隣接関係を有する全てのコード化データブロックを指してよく、空間的隣接関係を有するターゲットコード化データブロックは、コーディングされるべきデータブロックと位置的隣接関係を有し、コーディングされるべきデータブロックのピクセルと強い相関関係を有するコード化データブロックを指してよい。具体的に、コンピュータデバイスは、コーディングされるべきデータブロックと空間的隣接関係を有するターゲットコード化データブロックを獲得し、ターゲットコード化データブロックの参照データブロックがグローバル参照データブロックセットおよびローカル参照データブロックセットに属する場合に、動きパラメータに従ってグローバル参照データブロックセットおよびローカル参照データブロックセットに対応する領域を細かく検索して、コーディングされるべきデータブロックの予測コーディングのための参照データブロックを獲得することができる。このとき、コーディングされるべきデータブロックの参照データブロックは、グローバル参照データブロックセットまたはローカル参照データブロックセットに属している。代替的に、コーディングされるべきデータブロックの参照データブロックの第１領域は、グローバル参照データブロックセットに属し、コーディングされるべきデータブロックの参照データブロックの第２領域は、ローカル参照データブロックセットに属し、そして、第１領域が配置されているデータブロックは、第２領域が配置されているデータブロックと位置的隣接関係を有している。参照データブロックは、コーディング性能を改善するために最適な参照データブロックを検索するのに有利である、動きパラメータに従って検索される。ターゲットコード化データブロックの参照データブロックが全てグローバル参照データブロックセットに属する場合に、ローカル参照データブロックセットは省略され、そして、グローバル参照データブロックセットに対応する領域は、コーディングされるべきデータブロックの予測コーディングのための参照データブロックを獲得するために、動きパラメータに従って細かく検索される。ターゲットコード化データブロックの参照データブロックが全てローカル参照データブロックセットに属する場合、グローバル参照データブロックセットは省略され、そして、ローカル参照データブロックセットに対応する領域は、コーディングされるべきデータブロックの予測コーディングのための参照データブロックを獲得するために、動きパラメータに従って細かく検索される。
【0146】
動きパラメータは、移動ウィンドウおよび移動ステップ長を含み、移動ウィンドウのサイズは、コーディングされるべきデータブロックのサイズと同じであり、そして、移動ステップ長は、移動ウィンドウの幅よりも小さい。
【0147】
図10を参照すると、図10は、この出願の一つの実施形態において提供される、マルチメディアデータ処理方法の概略フロー図である。図10に示されるように、当該方法は、少なくともS201からS202まで含み得る。
【0148】
S201：グローバル参照データブロックセットおよびローカル参照データブロックセットを獲得する。グローバル参照データブロックセットおよびローカル参照データブロックセットは、マルチメディアデータフレーム内のデコーディングされるべきデータブロックに関連付けられ、グローバル参照データブロックセットは、マルチメディアデータフレーム内のデコーディングされるべきデータブロックと隣接関係を有さないデコーディングされたデータブロック（decoded data block）を含み、ローカル参照データブロックセットは、マルチメディアデータフレーム内のデコーディングされるべきデータブロックと隣接関係を有するデコーディングされたデータブロックを含む。
【0149】
この出願の実施形態を通じて、コンピュータデバイスは、マルチメディアデータフレームを獲得することができる。マルチメディアデータフレームは、コンピュータデバイスによってショットされてよく、または、マルチメディアデータフレームは、コンピュータデバイスによってネットワークからダウンロードされてよい。マルチメディアデータフレームは、ビデオデータでデコーディングされるビデオフレーム、または、イメージデータでデコーディングされるイメージの１つのフレームを指す。ビデオデータは、ライブビデオデータ、映画およびテレビジョンビデオデータ、日常生活ビデオデータ、道路監視ビデオデータ、などを指し得る。画像データとは、人物画像データ、建物画像データ、オブジェクト画像データ等である。コンピュータデバイスは、デコーディングモード、書き戻し遅延、および、デコーディングされたデータブロックとデコーディングされるべきデータブロックとの間の相関といった情報のうちの少なくとも１つに従って、マルチメディアデータフレームに関連付けられたグローバル参照データブロックセットを獲得することができ、ローカル参照データブロックセットを保管するためのストレージ空間のサイズ、およびデコーディングされたデータブロックとデコーディングされるべきデータブロックとの間の相関といった、情報のうちの少なくとも１つに従って、マルチメディアデータフレームに関連付けられたグローバル参照データブロックセットおよびローカル参照データブロックセットを獲得することができる。
【0150】
グローバル参照データブロックセットおよびローカル参照データブロックセットは、それぞれに、第１ストレージ空間および第２ストレージ空間に保管されている。第１ストレージ空間および第２ストレージ空間は、同じコンピュータデバイス内または異なるコンピュータデバイス内に配置され得る。第１ストレージ空間および第２ストレージ空間は、具体的には、磁気ディスク、ストレージ媒体アレイ、などを指してよく、これらは、この出願の実施形態において限定されない。第１ストレージ空間および第２ストレージ空間が同じコンピュータデバイス内に配置されているとき、第１ストレージ空間は、コンピュータデバイスのオフチップメモリを指してよく、そして、第２ストレージ空間は、コンピュータデバイスのオンチップメモリを指してよい。代替的に、第１ストレージ空間は、コンピュータデバイスのオンチップメモリを指してよく、そして、第２ストレージ空間は、コンピュータデバイスのオフチップメモリを指してよい。このことは、この出願の実施形態において限定されない。
【0151】
S202：ローカル参照データブロックセットおよびグローバル参照データブロックセットから、デコーディングされるべきデータブロックをデコーディングするための参照データブロックを決定する。
【0152】
この出願の実施形態を通して、コンピュータデバイスは、参照データブロックに従ってマルチメディアデータフレーム内のデコーディングされるべきデータブロックのデコーディングを実行するために、適用シーンまたはユーザ要件に従ってグローバル参照データブロックセットおよびローカル参照データブロックセットから参照データブロックを適応的に選択することができる。その結果として、参照データブロックの選択範囲が拡張され、そして、マルチメディアデータフレームの復号性能が改善され得る。
【0153】
例えば、コンピュータデバイスは、デコーディングされるべきデータブロックの属性情報を獲得し、そして、デコーディングされるべきデータブロックの属性情報に従って、ローカル参照データブロックセットおよびグローバル参照データブロックセットから、デコーディングされるべきデータブロックをデコーディングするための参照データブロックを決定し得る。デコーディングされるべきデータブロックの属性情報は、デコーディングされるべきデータブロックが属するマルチメディアデータフレームのメディアタイプ、マルチメディアデータフレームの参照マーク、およびデコーディングされるべきデータブロックが属するマルチメディアデータフレームの定義のうちの少なくとも１つを含む。メディアタイプは、イントラフレームタイプおよびインターフレームタイプを含んでいる。イントラフレームタイプは、代表的なマルチメディアデータフレームを参照し得る。イントラフレームタイプは、イントラフレーム、Iフレーム、およびキーフレームといった、フルイントラデコード化（intra-decoded）フレームである。このタイプのフレームは、イントラフレーム・デコーディング技術の使用を可能にするだけであり、そして、デコーディングのために他のフレームに依存する必要はない。例えば、イントラフレームタイプは、ビデオデータまたはイメージデータの主な意味を反映することができる、マルチメディアデータフレームを意味し得る。インターフレーム（inter-frame）タイプは、イントラフレームタイプ以外のビデオデータまたは画像データ内のマルチメディアデータフレームを参照し得る。インターフレームタイプは、Pフレーム、Bフレーム、非キーフレームといった、インターデコード化（inter-decoded）フレームと呼ばれてよい。このタイプのフレームは、イントラフレーム・デコーディング技術およびインターフレーム・デコーディング技術の使用を可能にする。一般的に、イントラフレーム・デコーディング技術が使用される場合、デコーディングは、参照フレームデコーディングが完了した後に実行され得る。マルチメディアデータフレームの参照マークは、デコーディングされるべきデータブロックの参照データブロックの選択範囲(つまり、どの参照データブロックセットが選択されるか)を反映するために使用される。
【0154】
この出願の実施形態を通して、コンピュータデバイスは、グローバル参照データブロックセットおよびローカル参照データブロックセットを獲得することができる。これは、参照データブロックに従ってマルチメディアデータフレーム内のデコーディングされるべきデータブロックのデコーディングを実行するために、適用シーンまたはユーザ要件に従ってグローバル参照データブロックセットおよびローカル参照データブロックセットから参照データブロックを適応的に選択するのに有益である。その結果として、参照データブロックの選択範囲が拡張され、そして、マルチメディアデータフレームの復号性能が改善され得る。
【0155】
いくつかの実施形態において、コンピュータデバイスは、グローバル参照データブロックセットを獲得するために、マルチメディアデータフレームのデコーディングモードに従って、以下の２つのモードのうち１つを選択し得る。
【0156】
モード1：グローバルデータブロックセットは、少なくとも１つの第１参照データブロックを含む。マルチメディアデータフレームのデコーディングモードがシリアルデコーディングモードである場合に、グローバル参照データブロックセット内の第１参照データブロックは、マルチメディアデータフレーム内の書き戻し制限条件を満たすパラメータ関連付け関係を有し、かつ、デコーディングされるべきデータブロックと同じデコーディングチップに属するデコード化データブロック（decoded data block）である。パラメータ関連付け関係は、第１位置情報と第２位置情報との間の関連付け関係および第１位置情報と最大デコーディングブロックのサイズ情報との間の関連付け関係を反映するために使用される、第１位置情報は、マルチメディアデータフレーム内のデコード化データブロックの位置情報を指し、そして、第２位置情報は、マルチメディアデータフレーム内のデコーディングされるべきデータブロックの位置情報を指し、そして、書き戻し制限条件は、デコード化データブロックのグローバル参照データブロックセットへの書き込みの制限遅延を反映するために使用される。別の言葉で言えば、シリアルデコーディングモードは、マルチメディアデータフレーム内の１つのデータブロックのみが同時にデコーディングされることを意味する。マルチメディアデータフレームのデコーディングモードがシリアルデコーディングモードである場合に、このデコーディングモードは、参照データブロックの決定プロセスに影響を及ぼさない。しかしながら、デコード化データブロックをグローバル参照データブロックセットに書き込むことは、より大きな書き戻し遅延を引き起こすことになり、つまり、デコード化データブロックをグローバル参照データブロックセットに書き込むことは、より長い時間がかかることになる。従って、デコード化データブロックは、少なくともプリセット時間待機した後で、参照データブロックとしてのみ使用されてよい。プリセット時間は、デコード化データブロックをグローバル参照データブロックセットに書き込む制限された遅延に従って決定される。制限された遅延は、デコード化データブロックをグローバル参照データブロックセットに書き込む平均遅延、最大遅延、および最小遅延のうちの１つを参照し得る。従って、マルチメディアデータフレームのデコーディングモードがシリアルデコーディングモードである場合に、グローバル参照データブロックセット内の第１参照データブロックは、以下の２つの条件を満たす必要がある。ａ）デコーディングされるべきデータブロックと同じデコーディングチップに属すること、および、ｂ）書き戻し制限条件を満たすパラメータ関連付け関係を有していること、である。
【0157】
モード2：グローバルデータブロックセットは少なくとも１つの第２参照データブロックを含む。マルチメディアデータフレームのデコーディングモードが並列デコーディングモードまたは直列デコーディングモードである場合に、グローバル参照データブロックセット内の第２参照データブロックは、デコーディングされるべきデータブロックと同じデコーディングチップに属し、そして、マルチメディアデータフレーム内の書き戻し制限条件を満たし、かつ、デコーディング処理条件を満たしているパラメータ関連付け関係を有する、デコード化データブロックである。パラメータ関連付け関係は、マルチメディアデータフレーム内のデコード化データブロックの位置情報と、マルチメディアデータフレーム内のデコーディングされるべきデータブロックの位置情報と、最大デコーディングブロックのサイズ情報との間の関連付け関係を反映するために使用される。そして、書き戻し制限条件は、グローバル参照データブロックセットへのデコード化データブロックの書き込みの制限された遅延を反映するために使用される。並列デコーディングモードは、マルチメディアデータフレーム内の複数のデータブロックが同時に予測デコーディングされることを意味する。マルチメディアデータフレームのデコーディングモードが並列デコーディングモードである場合に、このデコーディングモードは、参照データブロックの決定プロセスに影響を与える。さらに、デコード化データブロックをグローバル参照データブロックセットに書き込むことは、より大きな書き戻し遅延を引き起こす。従って、マルチメディアデータフレームのデコーディングモードが並列デコーディングモードである場合に、グローバル参照データブロックセット内の第２参照データブロックは、以下の３つの条件を満たす必要がある。ａ）デコーディングされるべきデータブロックと同じデコーディングチップに属していること、ｂ）書き戻し制限条件を満たすパラメータ関連付け関係を有していること、およびｃ）デコーディング処理条件を満たすパラメータ関連付け関係を有していること、である。特に、マルチメディアデータフレームのデコーディングモードがシリアルデコーディングモードである場合に、グローバル参照データブロックセットは、また、モード2で獲得されてもよい。ここで、デコーディング処理条件は、並列デコーディング処理条件を参照し得る。
【0158】
グローバル参照データブロックセットを獲得する特定のモードは、コーディング側でグローバル参照データブロックセットを獲得するモードを参照することができ、ここでは、繰り返されない。
【0159】
いくつかの実施形態において、コーディングされるべきデータブロックとコード化データブロックとの間の隣接関係は、コーディングされるべきデータブロックのコーディング順序がコード化データブロックのコーディング順序に隣接することを意味し得る。そして、コード化データブロックとコーディングされるべきデータブロックとの間の非隣接関係は、コーディングされるべきデータブロックのコーディング順序がコード化データブロックのコーディング順序に隣接しないことを意味し得る。
【0160】
いくつかの実施形態において、コンピュータデバイスは、ローカル参照データブロックセットを獲得するために、以下の２つのモードのうちの１つまたは組合せモードを選択し得る。
【0161】
モード1：ローカルデータブロックセットは、少なくとも１つの第３参照データブロックを含む。そして、ローカル参照データブロックセット内の第３参照データブロックは、マルチメディアデータフレーム内のデコーディングされるべきデータブロックと同じデコーディング処理ユニット内に配置されたデコード化データブロックである。デコーディング処理ユニットは、オンチップメモリの基本ユニット(VPDU、Virtual Pipeline Data Unit)と呼ばれてよく、そして、VPDUのサイズ情報は、デコーダのデコーディング処理能力に従って決定され得る。例えば、VPDUのサイズはVPDU_W×VPDU_Hであり、VPDU_WおよびVPDU_Hの値は4、8、16、32、64、128などであり得る。別の言葉で言えば、マルチメディアデータフレームにおいて、ref_x/VPDU_W=cur_x/VPDU_W、かつ、ref_y/VPDU_H=cur_y/VPDU_Hを満たす座標を有するデコード化データブロックが、第３参照データブロックとして使用される。別の例について、VPDUのサイズが64×64である場合、デコーディングされるべきデータブロックが属するVPDU64×64内のデコード化データブロックは、デコーディングされるべきデータブロックの参照データブロックとして使用され得る。代替的に、VPDUのサイズが64×64である場合、マルチメディアデータフレームにおいてFloor(ref_x/64)=Floor(cur_x/64)、かつ、Floor(ref_y/64)=Floor(cur_y/64)を満たす座標を有するデコード化データブロックは、第３参照データブロックとして使用される。
【0162】
モード2：ローカルデータブロックセットは、少なくとも１つの第４参照データブロックを含む。そして、ローカル参照データブロックセット内の第４参照データブロックは、マルチメディアデータフレーム内のデコーディングされるべきデータブロックと隣接関係を有し、デコーディングされるべきデータブロックと同じデコーディングチップに属するデコード化データブロックである。第４参照データブロックとデコーディングされるべきデータブロックとの間の隣接関係は、以下の３つの場合のうち１つまたは組合せを含み得る。
【0163】
ａ：第４参照データブロックとデコーディングされるべきデータブロックとの間の隣接関係は、第４参照データブロックとデコーディングされるべきデータブロックとが同じ最大デコーディングブロックに属していることを意味する。
【0164】
ｂ：第４参照データブロックとデコーディングされるべきデータブロックとの間の隣接関係は、第４参照データブロックが、デコーディングされるべきデータブロックに隣接するN個の最大デコーディングブロック内に配置されており、そして、最大デコーディングブロックのサイズがサイズ閾値未満であり、かつ、Nが最大デコーディングブロックのサイズ情報に従って決定されることを意味する。
【0165】
SBのサイズは最大デコーディングブロックのサイズと同じであり、コーディングされるべきデータブロックのサイズはデコーディングされるべきデータブロックのサイズと同じであり、そして、タイルのサイズはデコーディングチップのサイズと同じである。
【0166】
いくつかの実施形態において、第１参照データブロック、第２参照データブロック、第３参照データブロック、および第４参照データブロックと、デコーディングされるべきデータブロックとの間の距離は、第２距離閾値未満である。第２距離閾値は適用シーンまたはユーザ要件に従って動的に設定されてよい。例えば、第２距離閾値は214であってよく、さらに、第１参照データブロック、第２参照データブロック、第３参照データブロック、および第４参照データブロックは、マルチメディアデータフレームの完全なピクセル位置に配置されている。
【0167】
いくつかの実施形態において、任意のマルチメディアデータフレームについて、コンピュータデバイスは、グローバル参照データブロックセットおよびローカル参照データブロックセットから、デコーディングされるべきデータブロックをデコーディングするための参照データブロックを決定し得る。代替的に、コンピュータデバイスは、選択された参照データブロックセットからデコーディングされるべきデータブロックをデコーディングするための参照データブロックを決定するために、デコーディングされるべきデータブロックのデコーディングモードに従って参照データブロックセットを適応的に選択し得る。具体的に、コンピュータデバイスは、デコーディングされるべきデータブロックのデコーディングモードを獲得し、そして、デコーディングされるべきデータブロックのデコーディングモードがIBCモードまたはISCモードである場合に、グローバル参照データブロックセットおよびローカル参照データブロックセットから、デコーディングされるべきデータブロックをデコーディングするための参照データブロックを決定して得る。デコーディングされるべきデータブロックのデコーディングモードは、マルチメディアデータフレームのメディアタイプに従って決定されてよく、または、デコーディングされるべきデータブロックのデコーディングモードは、マルチメディアデータフレームのデコーディングマーク(または、参照マーク)に従って決定されてよい。特に、デコーディングされるべきデータブロックのデコーディングモードは、デコーディングされるべきデータブロックの予測モードを参照し得る。
【0168】
図11を参照すると、図11は、この出願の一つの実施形態において提供されるマルチメディアデータ処理装置の概略構造図である。マルチメディアデータ処理装置は、コンピュータデバイスで実行されるコンピュータプログラム(プログラムコードを含む)であってよい。例えば、マルチメディアデータ処理装置はアプリケーションソフトウェアである。本装置は、この出願の実施形態において提供される方法における対応するステップを実行するように構成され得る。
【0169】
図11に示されるように、マルチメディアデータ処理装置は、獲得モジュール111および選択モジュール112を含み得る。獲得モジュールは、グローバル参照データブロックセットおよびローカル参照データブロックセットを獲得するように構成されており、グローバル参照データブロックセットおよびローカル参照データブロックセットは、マルチメディアデータフレーム内のコーディングされるべきデータブロックに関連付けられている。グローバル参照データブロックセットは、マルチメディアデータフレーム内のコーディングされるべきデータブロックと隣接関係を有さないコード化データブロックを含んでおり、ローカル参照データブロックセットは、マルチメディアデータフレーム内のコーディングされるべきデータブロックと隣接関係を有するコード化データブロックを含んでいる。選択モジュールは、グローバル参照データブロックセットおよびローカル参照データブロックセットから、コーディングされるべきデータブロックの予測コーディングのための参照データブロックを決定するように構成されている。
【0170】
いくつかの実施形態において、選択モジュールは、さらに、コーディングされるべきデータブロックのコーディングモードを獲得し、かつ、コーディングされるべきデータブロックのコーディングモードがIBCモードまたはISCモードである場合に、グローバル参照データブロックセットおよびローカル参照データブロックセットからコーディングされるべきデータブロックの予測コーディングのための参照データブロックを決定するように構成されている。
【0171】
いくつかの実施形態において、選択モジュールは、さらに、コーディングされるべきデータブロックのコーディングモードがIBCモードまたはISCモードである場合に、ローカル参照データブロックセット内の第２参照データブロックと、コーディングされるべきデータブロックとの間のピクセル差分を獲得し、ローカル参照データブロックセット内にピクセル差分閾値未満のピクセル差分を有するターゲットデータブロックが存在する場合に、ターゲットデータブロックをコード化データブロックの予測コーディングのための参照データブロックとし、そして、ローカル参照データブロックセット内にピクセル差分閾値未満のピクセル差分を有するターゲットデータブロックが存在しない場合に、グローバル参照データブロックセットからコーディングされるべきデータブロックの予測コーディングのための参照データブロックを決定するように構成されている。
【0172】
いくつかの実施形態において、選択モジュールは、さらに、コーディングされるべきデータブロックのコーディングモードがIBCモードまたはISCモードである場合に、コーディングされるべきデータブロックと空間的隣接関係を有するターゲットコード化データブロックを獲得し、かつ、ターゲットコード化データブロックの参照データブロックがグローバル参照データブロックセットおよびローカル参照データブロックセットに属する場合に、コーディングされるべきデータブロックの予測コーディングのための参照データブロックを獲得するために、動きパラメータに従ってグローバル参照データブロックセットおよびローカル参照データブロックセットに対応する領域を検索するように構成されている。動きパラメータは、移動ウィンドウおよび移動ステップ長を含んでおり、移動ウィンドウのサイズは、コーディングされるべきデータブロックのサイズと同じであり、そして、移動ステップ長は移動ウィンドウの幅よりも小さい。
【0173】
いくつかの実施形態において、グローバル参照データブロックセットは、少なくとも１つの第１参照データブロックを含む。マルチメディアデータフレームのコーディングモードがシリアルコーディングモードである場合に、グローバル参照データブロックセット内の第１参照データブロックは、マルチメディアデータフレーム内の書き戻し制限条件を満たすパラメータ関連付け関係を有しており、かつ、コーディングされるべきデータブロックと同じタイルに属しているコード化データブロックである。パラメータ関連付け関係は、第１位置情報とSBのサイズ情報との関連付け関係および第１位置情報と第２位置情報との関連付け関係を反映するために使用され、そして、第１位置情報および第２位置情報は、それぞれに、マルチメディアデータフレーム内のコーディングされるべきデータブロックおよびコード化データブロックの位置情報を参照する。そして、書き戻し制限条件は、グローバル参照データブロックセットへのコード化データブロックの書き込みの制限された遅延を反映するために使用される。
【0174】
いくつかの実施形態において、獲得モジュールは、さらに、マルチメディアデータフレームのコーディングモードがシリアルコーディングモードである場合に、第１位置情報、第２位置情報、およびSBのサイズ情報を、それぞれに、獲得し、第１位置情報はマルチメディアデータフレームにおけるコード化データブロックの位置情報を指し、そして、第２位置情報は、マルチメディアデータフレームにおけるコーディングされるべきデータブロックの位置情報を指す、ように構成される。書き戻し制限条件を獲得するように構成され、書き戻し制限条件は、グローバル参照データブロックセットへのコード化データブロックの書き込みの制限された遅延を反映するために使用される。第１参照データブロックとして、マルチメディアデータフレームから、書き戻し制限条件を満たすパラメータ関連付け関係を有しており、かつ、コーディングされるべきデータブロックと同じタイルに属しているコード化データブロックを選択するように構成され、書き戻し制限条件は、第１位置情報と第２位置情報との間の関連付け関係および前記第１位置情報と前記SBのサイズ情報との間の関連付け関係を反映するためのパラメータ関連付け関係を反映するために使用される。そして、グローバル参照データブロックセットに第１参照データブロックを追加するように構成されている。
【0175】
いくつかの実施形態において、獲得モジュールは、さらに、第１位置情報および第２位置情報に従って、第１候補参照データブロックとして、マルチメディアデータフレームから、コーディングされるべきデータブロックと同じタイルに属するコード化データブロックを選択し、書き戻し制限条件の下で、コード化データブロックと、マルチメディアデータフレーム内のコーディングされるべきデータブロックとの間の離間データブロックの制限数を決定し、第１位置情報、SBのサイズ情報、および第２位置情報に従って、第１候補参照データブロックとコーディングされるべきデータブロックとの間の離間データブロックの数をカウントし、そして、第１参照データブロックとして、離間データブロックの数が離間データブロックの制限数より大きい第１候補参照データブロックを決定する、ように構成されている。
【0176】
いくつかの実施形態において、獲得モジュールは、さらに、第１位置情報およびSBのサイズ情報に従って、第１候補参照データブロックの行識別子および列識別子を決定し、第２位置情報およびSBのサイズ情報に従って、コーディングされるべきデータブロックの行識別子および列識別子を決定し、コーディングされるべきデータブロックのサイズ情報に基づいて、マルチメディアデータフレーム内の各行のデータブロック数を決定し、そして、各行におけるデータブロックの数、第１候補参照データブロックの行識別子および列識別子、並びに、コーディングされるべきデータブロックの行識別子および列識別子に従って、第１候補参照データブロックとコーディングされるべきデータブロックとの間の離間データブロック数をカウントする、ように構成されている。
【0177】
いくつかの実施形態において、グローバル参照データブロックセットは、少なくとも１つの第２参照データブロックを含み、グローバル参照データブロックセット内の第２参照データブロックは、コーディングされるべきデータブロックと同じタイルに属しており、そして、マルチメディアデータフレーム内の書き戻し制限条件を満たし、かつ、コーディング処理条件を満たす、パラメータ関連付け関係を有しているコード化データブロックである。パラメータ関連付け関係は、マルチメディアデータフレーム内のコード化データブロックの位置情報と、マルチメディアデータフレーム内のコーディングされるべきデータブロックの位置情報と、SBのサイズ情報との間の関連付け関係を反映するために使用され、そして、書き戻し制限条件は、グローバル参照データブロックセットへのコード化データブロックの書き込みの制限された遅延を反映するために使用される。
【0178】
いくつかの実施形態において、獲得モジュールは、さらに、第１位置情報、SBのサイズ情報、および第２位置情報をそれぞれ獲得するように構成され、第１位置情報はマルチメディアデータフレーム内のコード化データブロックの位置情報を参照し、そして、第２位置情報はマルチメディアデータフレーム内のコーディングされるべきデータブロックの位置情報を参照する。書き戻し制限条件およびコーディング処理条件を獲得するように構成され、書き戻し制限条件はグローバル参照データブロックセットへのコード化データブロックの書き込みの制限された遅延を反映するために使用されている。第２参照データブロックとして、書き戻し制限条件およびコーディング処理条件を満たすパラメータ関連付け関係を有し、かつ、マルチメディアデータフレームから、コーディングされるべきデータブロックと同じタイルに属しているコード化データブロックを選択するように構成され、パラメータ関連付け関係は、第１位置情報と第２位置情報との間の関連付け関係、および、第１位置情報とコーディングされるべきデータブロックのサイズ情報との間の関連付け関係を反映するために使用されている。そして、第２参照データブロックをグローバル参照データブロックセットに追加する、ように構成されている。
【0179】
いくつかの実施形態において、獲得モジュールは、さらに、第１位置情報および第２位置情報に従って、第１候補参照データブロックとして、マルチメディアデータフレームから、コーディングされるべきデータブロックと同じタイルに属するコード化データブロックを選択し、第２候補参照データブロックとして、第１候補参照データブロックから、書き戻し制限条件を満たすパラメータ関連付け関係を有する第１候補参照データブロックを選択し、書き戻し制限条件の下で、コード化データブロックとマルチメディアデータフレーム内のコーディングされるべきデータブロックとの間の第１データブロック制限距離を決定し、コーディング処理条件の下で、コード化データブロックとマルチメディアデータフレーム内のコーディングされるべきデータブロックとの間の第２データブロック制限距離を決定し、そして、第１位置情報、SBのサイズ情報、第２位置情報、第１データブロック制限距離および第２データブロック制限距離に従って、第２参照データブロックとして、第２候補参照データブロックから、コーディング処理条件を満たす第２候補参照データブロックを決定する、ように構成されている。
【0180】
いくつかの実施形態において、獲得モジュールは、さらに、第１位置情報およびSBのサイズ情報に従って、第２候補参照データブロックの行識別子および列識別子を決定し、第２位置情報およびSBのサイズ情報に従って、コーディングされるべきデータブロックの行識別子および列識別子を決定し、第３候補参照データブロックとして、第２候補参照データブロックから、コーディングされるべきデータブロックの行識別子より大きくない行識別子を有する第２候補参照データブロックを選択し、第３候補参照データブロックの行識別子およびコーディングされるべきデータブロックの行識別子に従って、第３候補参照データブロックとコーディングされるべきデータブロックとの間の行距離を決定し、第３候補参照データブロックの列識別子およびコーディングされるべきデータブロックの列識別子に従って、第３候補参照データブロックとコーディングされるべきデータブロックとの間の列距離を決定し、そして、第２候補参照データブロックとして、第３候補参照データブロックにおける第１距離閾値より少ない列距離を有する第３候補参照データブロックを決定する、ように構成されている。第１距離閾値は、第１データブロック制限距離、第２データブロック制限距離、および、第３候補参照データブロックとコーディングされるべきデータブロックとの間の行距離に従って、決定されている。
【0181】
いくつかの実施形態において、ローカル参照データブロックセットは、少なくとも１つの第３参照データブロックを含み、そして、第３参照データブロックは、マルチメディアデータフレーム内のコーディングされるべきデータブロックと同じコーディング処理ユニット内に配置されたコード化データブロックである。
【0182】
いくつかの実施形態において、ローカル参照データブロックセットは、少なくとも１つの第４参照データブロックを含み、そして、第４参照データブロックは、マルチメディアデータフレーム内のコーディングされるべきデータブロックと隣接関係を有し、かつ、コーディングされるべきデータブロックと同じタイルに属している、コード化データブロックである。
【0183】
いくつかの実施形態において、第４参照データブロックとコーディングされるべきデータブロックとの間の隣接関係は、第４参照データブロックおよびコーディングされるべきデータブロックが同じSBに属すること、を意味する。
【0184】
いくつかの実施形態において、第４参照データブロックとコーディングされるべきデータブロックとの間の隣接関係は、第４参照データブロックがコーディングされるべきデータブロックに隣接するN個のSB内に配置されており、かつ、SBのサイズがサイズ閾値より大きくなく、そして、NがSBのサイズ情報に従って決定されること、を意味する。
【0185】
いくつかの実施形態において、第４参照データブロックとコーディングされるべきデータブロックとの間の隣接関係は、第４参照データブロックはコーディングされるべきデータブロックに隣接するN個のSB内に配置されており、かつ、SBのサイズがサイズ閾値以上であること、ターゲット領域の左上隅のデータブロックは再構築されていないデータブロックであり、かつ、ターゲット領域はマルチメディアデータフレーム内の第４参照データブロックが1SBだけ右に移動する領域であること、第４参照データブロックが1SBの距離だけ移動する場合の位置情報はコーディングされるべきデータブロックの位置情報と異なっていること、および、NはSBのサイズ情報に従って決定されること、を意味する。
【0186】
いくつかの実施形態において、第１参照データブロック、第２参照データブロック、第３参照データブロック、および第４参照データブロックと、コーディングされるべきデータブロックとの間の距離は、第２距離閾値未満であり、そして、第１参照データブロック、第２参照データブロック、第３参照データブロック、および第４参照データブロックは、マルチメディアデータフレームの完全なピクセル位置に配置されている。
【0187】
いくつかの実施形態において、図7に示されるデータ処理方法におけるステップは、図11に示されるデータ処理装置におけるモジュールによって実行され得る。例えば、図7に示すステップS101は、図11に示す獲得モジュール111によって実行されてよく、そして、図7に示すステップS102は、図11に示す選択モジュール112によって実行されてよい。
【0188】
いくつかの実施形態において、図11に示されるマルチメディアデータ処理装置内のモジュールは、少なくとも１つのユニットへと、別々に又は全体的に組み合わされてよく、もしくは、ここにおけるユニットのうちの１つ(または、それ以上)は、より小さい機能を有する少なくとも２つのサブユニットへと、さらに、分割されてよい。このようにして、同じ動作が実装されてよく、そして、この出願の実施形態の技術的効果の実装は影響を受けない。前述のモジュールは、論理的な機能に基づいて分割される。実際のアプリケーションにおいては、１つのモジュールの機能が少なくとも２つのユニットによって実装されてよく、または、少なくとも２つのモジュールの機能が１つのユニットによって実装されてよい。この出願の他の実施形態において、データ処理装置は、また、他のユニットを含んでもよい。実際のアプリケーションにおいて、これらの機能は、また、他のユニットによって協調的に実施されてよく、そして、少なくとも２つのユニットによって協調的に実施されてよい。
【0189】
いくつかの実施形態においては、一般的なコンピューティングデバイスにおいて、図10および図11に示されるような対応する方法のステップを実行することができるコンピュータプログラム(プログラムコードを含む)を実行することによって、図11に示すマルチメディアデータ処理装置を構築することができ、かつ、この出願の実施形態におけるデータ処理方法を実施することができる。一般的なコンピューティングデバイスは、中央処理装置(CPU)、ランダムアクセスメモリ(RAM)、および、読取り専用メモリ(ROM)といった処理要素およびストレージ要素を含む、コンピュータといったものである。前述のコンピュータプログラムは、コンピュータ可読記録媒体に記録されてよく、そして、コンピュータ可読記録媒体を介して前述のコンピューティングデバイスへとロードされ、そして、コンピューティングデバイスにおいて実行されてよい。
【0190】
この出願の実施形態を通して、コンピュータデバイスは、グローバル参照データブロックセットおよびローカル参照データブロックセットを獲得することができる。このことは、参照データブロックに従ってマルチメディアデータフレーム内のコーディングされるべきデータブロックの予測コーディングを実行するように、コーディング端末が、適用シーンまたはユーザ要件に従って、グローバル参照データブロックセットおよびローカル参照データブロックセットから、参照データブロックを適応的に選択するのに有益である。その結果として、参照データブロックの選択範囲が拡張され、そして、マルチメディアデータフレームのコーディング性能が改善され得る。
【0191】
図12を参照すると、図12は、この出願の一つの実施形態において提供されるマルチメディアデータ処理装置の概略構造図である。マルチメディアデータ処理装置は、コンピュータデバイスで実行されるコンピュータプログラム(プログラムコードを含む)であり得る。例えば、マルチメディアデータ処理装置は、アプリケーションソフトウェアである。本装置は、この出願の実施形態において提供される方法における対応するステップを実行するように構成され得る。図12に示されるように、マルチメディアデータ処理装置は、獲得モジュール121および選択モジュール122を含み得る。獲得モジュールは、グローバル参照データブロックセットおよびローカル参照データブロックセットを獲得するように構成されており、グローバル参照データブロックセットおよびローカル参照データブロックセットは、マルチメディアデータフレーム内のデコーディングされるべきデータブロックに関連付けられ、グローバル参照データブロックセットは、マルチメディアデータフレーム内のデコーディングされるべきデータブロックと隣接関係を有さないデコード化データブロックを含み、そして、ローカル参照データブロックセットは、マルチメディアデータフレーム内のデコーディングされるべきデータブロックと隣接関係を有するデコード化データブロックを含んでいる。選択モジュールは、グローバル参照データブロックセットおよびローカル参照データブロックセットから、デコーディングされるべきデータブロックをデコーディングするための参照データブロックを決定するように構成されている。
【0192】
いくつかの実施形態において、選択モジュールは、さらに、デコーディングされるべきデータブロックのデコーディングモードを獲得し、そして、デコーディングされるべきデータブロックのデコーディングモードがIBCモードまたはISCモードである場合に、グローバル参照データブロックセットおよびローカル参照データブロックセットから、デコーディングされるべきデータブロックをデコーディングするための参照データブロックを決定する、ように構成されている。
【0193】
いくつかの実施形態において、グローバル参照データブロックセットは、少なくとも１つの第１参照データブロックを含み、マルチメディアデータフレームのデコーディングモードがシリアルデコーディングモードである場合に、グローバル参照データブロックセット内の第１参照データブロックは、マルチメディアデータフレーム内の書き戻し制限条件を満たすパラメータ関連付け関係を有しており、かつ、デコーディングされるべきデータブロックと同じデコーディングチップに属しているデコード化データブロックである。パラメータ関連付け関係は、第１位置情報と第２位置情報との間の関連付け関係、および、第１位置情報と最大デコーディングブロックのサイズ情報との間の関連付け関係を反映するために使用される。第１位置情報は、マルチメディアデータフレーム内のデコード化データブロックの位置情報を指し、かつ、第２位置情報は、マルチメディアデータフレーム内のデコーディングされるべきデータブロックの位置情報を指す。そして、書き戻し制限条件は、グローバル参照データブロックセットへのデコード化データブロックの書き込みの制限された遅延を反映するために使用される。
【0194】
いくつかの実施形態において、グローバル参照データブロックセットは、少なくとも１つの第２参照データブロックを含む。グローバル参照データブロックセット内の第２参照データブロックは、デコーディングされるべきデータブロックと同じデコーディングチップに属しており、そして、マルチメディアデータフレーム内の書き戻し制限条件を満たし、かつ、デコーディング処理条件を満たす、パラメータ関連付け関係を有しているデコード化データブロックである。パラメータ関連付け関係は、マルチメディアデータフレーム内のデコード化データブロックの位置情報と、マルチメディアデータフレーム内のデコーディングされるべきデータブロックの位置情報と、最大デコーディングブロックのサイズ情報との間の関連付け関係を反映するために使用される。そして、書き戻し制限条件は、グローバル参照データブロックセットへのデコード化データブロックの書き込みの制限された遅延を反映するために使用される。
【0195】
いくつかの実施形態において、ローカル参照データブロックセットは、少なくとも１つの第３参照データブロックを含む。そして、ローカル参照データブロックセット内の第３参照データブロックは、マルチメディアデータフレーム内のデコーディングされるべきデータブロックと同じデコーディング処理ユニット内に配置されたデコード化データブロックである。
【0196】
いくつかの実施形態において、ローカル参照データブロックセットは、少なくとも１つの第４参照データブロックを含む。ローカル参照データブロックセット内の第４参照データブロックは、マルチメディアデータフレーム内のデコーディングされるべきデータブロックと隣接関係を有しており、かつ、デコーディングされるべきデータブロックと同じデコーディングチップに属しているデコード化データブロックである。
【0197】
いくつかの実施形態において、図10に示されるデータ処理方法におけるステップは、図12に示されるデータ処理装置におけるモジュールによって実行されてもよい。例えば、図10に示すステップS201は、図12に示す獲得モジュール121によって実行され、そして、図10に示すステップS202は、図12に示す選択モジュール122によって実行され得る。
【0198】
いくつかの実施形態において、図12に示されるマルチメディアデータ処理装置内のモジュールは、少なくとも１つのユニットへと、別々に又は全体的に組み合わされてよく、もしくは、ここにおけるユニットのうちの１つ(または、それ以上)は、より小さい機能を有する少なくとも２つのサブユニットへと、さらに、分割されてよい。このようにして、同じ動作が実装されてよく、そして、この出願の実施形態の技術的効果の実装は影響を受けない。前述のモジュールは、論理的な機能に基づいて分割される。実際のアプリケーションにおいては、１つのモジュールの機能が少なくとも２つのユニットによって実装されてよく、または、少なくとも２つのモジュールの機能が１つのユニットによって実装されてよい。この出願の他の実施形態において、データ処理装置は、また、他のユニットを含んでもよい。実際のアプリケーションにおいて、これらの機能は、また、他のユニットによって協調的に実施されてよく、そして、少なくとも２つのユニットによって協調的に実施されてよい。
【0199】
いくつかの実施形態においては、一般的なコンピューティングデバイスにおいて、図10および図11に示されるような対応する方法のステップを実行することができるコンピュータプログラム(プログラムコードを含む)を実行することによって、図12に示すマルチメディアデータ処理装置を構築することができ、かつ、この出願の実施形態におけるデータ処理方法を実施することができる。一般的なコンピューティングデバイスは、中央処理装置(CPU)、ランダムアクセスメモリ(RAM)、および、読取り専用メモリ(ROM)といった処理要素およびストレージ要素を含む、コンピュータといったものである。前述のコンピュータプログラムは、コンピュータ可読記録媒体に記録されてよく、そして、コンピュータ可読記録媒体を介して前述のコンピューティングデバイスへとロードされ、そして、コンピューティングデバイスにおいて実行されてよい。
【0200】
この出願の実施形態を通して、コンピュータデバイスは、グローバル参照データブロックセットおよびローカル参照データブロックセットを獲得することができる。このことは、参照データブロックに従ってマルチメディアデータフレーム内のデコーディングされるべきデータブロックの予測コーディングを実行するように、コーディング端末が、適用シーンまたはユーザ要件に従って、グローバル参照データブロックセットおよびローカル参照データブロックセットから、参照データブロックを適応的に選択するのに有益である。その結果として、参照データブロックの選択範囲が拡張され、そして、マルチメディアデータフレームのコーディング性能が改善され得る。
【0201】
図13を参照すると、図13は、この出願の一つの実施形態において提供されるコンピュータデバイスの概略構造図である。図13に示されるように、コンピュータデバイス1000は、プロセッサ1001、ネットワークインターフェイス1004、およびメモリ1005を含み得る。さらに、コンピュータデバイス1000は、メディアコンテンツインターフェイス1003、および、少なくとも１つの通信バス1002をさらに含み得る。通信バス1002は、これらのコンポーネント間の接続および通信を実装するように構成されている。メディアコンテンツインターフェイス1003は、ディスプレイおよびキーボードを含み得る。任意的に、メディアコンテンツインターフェイス1003は、さらに、標準有線インターフェイスおよび標準無線インターフェイスをさらに含み得る。いくつかの実施形態において、ネットワークインターフェイス1004は、標準有線インターフェイスおよび標準無線インターフェイス(例えば、WiFiインターフェイス)を含み得る。メモリ1005は、高速ランダムアクセスメモリ(RAM)であってよく、または、不揮発性メモリ、例えば、少なくとも１つの磁気ディスクストレージであってよい。いくつかの実施形態において、メモリ1005は、さらに、プロセッサ1001から遠く離れて配置される少なくとも１つのストレージ装置であってよい。図13に示されるように、コンピュータ可読記憶媒体として使用されるメモリ1005は、オペレーティングシステム、ネットワーク通信モジュール、メディアコンテンツインターフェイスモジュール、およびデバイス制御アプリケーションプログラムを含み得る。
【0202】
図13に示されるコンピュータデバイス1000において、ネットワークインターフェイス1004は、ネットワーク通信機能を提供し得る。そして、メディアコンテンツインターフェイス1003は、主に、メディアコンテンツのための入力インターフェイスを提供するように構成されている。
【0203】
この出願の実施形態において説明されるコンピュータデバイス1000は、図7から図10までに対応する実施形態におけるマルチメディアデータ処理方法の説明を実行することができ、そして、また、図11および図12に対応する実施形態におけるマルチメディアデータ処理装置の説明も実行することができることが理解されるべきであり、それは、ここでは繰り返されない。加えて、同じ方法の有益な効果の説明は、ここにおいて再び説明されない。
【0204】
加えて、この出願の実施形態は、さらに、コンピュータ可読記憶媒体を提供し、コンピュータ可読記憶媒体は、前述のマルチメディアデータ処理装置によって実行されるコンピュータプログラムを保管し、コンピュータプログラムは、プログラム命令を含むことが理解されるべきである。プログラム命令を実行した後で、前述のプロセッサは、図7および図10に対応する実施形態におけるマルチメディアデータ処理方法の説明を実行することができ、それは、ここにおいて再び説明されない。加えて、同じ方法の有益な効果の説明は、ここにおいて再び説明されない。この出願に係るコンピュータ可読記憶媒体の実施形態において開示されていない技術的詳細については、この出願の方法の実施形態の説明を参照すること。
【0205】
一つの例として、前述のプログラム命令は、コンピュータデバイス上、同じ場所にある少なくとも２つのコンピュータデバイス上で、または、少なくとも２つの場所に分散されており、かつ、通信ネットワークを介して相互接続された少なくとも２つのコンピュータデバイス上で実行され得る。少なくとも２つの場所に分散されており、かつ、通信ネットワークを介して相互接続される少なくとも２つのコンピュータデバイスは、ブロックチェーンネットワークを形成し得る。
【0206】
前述のコンピュータ可読記憶媒体は、前述の実施形態のいずれかにおいて提供されるデータ処理装置、もしくは、コンピュータデバイスのハードディスクまたはメモリといった、前述のコンピュータデバイスの内部ストレージユニットであり得る。コンピュータ可読記憶媒体は、また、コンピュータデバイス上に装備された、プラグインハードディスク、スマートメディアカード(SMC)、セキュアデジタル(SD)カード、フラッシュカード、等といった、コンピュータデバイスの外部ストレージデバイスであり得る。さらに、コンピュータ可読記憶媒体は、また、コンピュータデバイスの内部記憶ユニットおよび外部ストレージデバイスの両方を含んでもよい。コンピュータ可読記憶媒体は、コンピュータプログラム、および、コンピュータデバイスによって必要とされる他のプログラムとデータを保管するように構成されている。コンピュータ可読記憶媒体は、また、出力された、または、出力されるデータを一時的に保管するように構成されてもよい。
【0207】
この出願の一つの実施形態は、さらに、コンピュータプログラム/命令を含む、コンピュータプログラム製品を提供する。コンピュータプログラム/命令を実行した後で、プロセッサは、図7および図10に対応する実施形態におけるデータ処理方法の説明を実施し、それは、ここにおいて再び説明されない。加えて、同じ方法の有益な効果の説明は、ここにおいて再び説明されない。この出願に係るコンピュータプログラム製品の実施形態において開示されていない技術的詳細については、この出願の方法の実施形態の説明を参照すること。
【0208】
上記に開示されたものは、この出願の単なる例示的な実施形態であり、そして、確かに、この出願の特許請求の範囲を限定するように意図されたものではない。従って、この出願の特許請求の範囲に従って行われる等価な変形は、この出願の範囲内に含まれるものである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【国際調査報告】