(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024001313
(43)【公開日】2024-01-09
(54)【発明の名称】情報処理方法および装置、機器、記憶媒体
(51)【国際特許分類】
H04N 19/132 20140101AFI20231226BHJP
H04N 19/136 20140101ALI20231226BHJP
H04N 19/176 20140101ALI20231226BHJP
H04N 19/59 20140101ALI20231226BHJP
【FI】
H04N19/132
H04N19/136
H04N19/176
H04N19/59
【審査請求】有
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023187771
(22)【出願日】2023-11-01
(62)【分割の表示】P 2021541062の分割
【原出願日】2019-05-16
(31)【優先権主張番号】62/793,012
(32)【優先日】2019-01-16
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】516227559
【氏名又は名称】オッポ広東移動通信有限公司
【氏名又は名称原語表記】GUANGDONG OPPO MOBILE TELECOMMUNICATIONS CORP., LTD.
【住所又は居所原語表記】No. 18 Haibin Road,Wusha, Chang’an,Dongguan, Guangdong 523860 China
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100152205
【弁理士】
【氏名又は名称】吉田 昌司
(74)【代理人】
【識別番号】100137523
【弁理士】
【氏名又は名称】出口 智也
(72)【発明者】
【氏名】マー、イェンチュオ
(72)【発明者】
【氏名】フオ、チュンイェン
(72)【発明者】
【氏名】ワン、シューアイ
(57)【要約】 (修正有)
【課題】ビデオ符号化・復号化の技術分野に関し、符号化されるブロックに対して符号化処理を実行する情報処理方法、装置、機器及び記憶媒体を提供する。
【解決手段】方法は、現在のビデオフレーム内の符号化されるブロックの元の画素集合を決定することと、元の画素集合の各元の画素の属性情報を決定することと、属性情報がスクリーニング条件を満たす元の画素を選択して、ターゲット画素集合を取得することと、ターゲット画素集合の各元の画素の属性情報に基づいて、符号化されるブロックに対して符号化処理を実行することと、を含む。
【選択図】
図3A
【特許請求の範囲】
【請求項1】
復号化器によって実行される、情報処理方法であって、
現在の復号化される処理ブロックの画素集合を決定することと、
前記画素集合内の画素の属性情報に基づいて、前記画素集合から少なくとも1つの画素を選択して、ターゲット画素集合を取得することと、
前記ターゲット画素集合内の画素の属性情報に基づいて、前記処理ブロックに対して復号化処理を実行することと、を含む、前記情報処理方法。
【請求項2】
前記現在の復号化される処理ブロックの画素集合を決定することは、
前記処理ブロックの外側の少なくとも1つの再構成画素を、前記画素集合内の画素として決定することを含む、
請求項1に記載の情報処理方法。
【請求項3】
前記ターゲット画素集合内の画素の属性情報に基づいて、前記処理ブロックに対して復号化処理を実行することは、
前記ターゲット画素集合内の再構成画素の属性情報に基づいて、前記処理ブロックの予測値を決定することと、
前記処理ブロックの予測値に基づいて、前記処理ブロックを復号化することと、を含む、
請求項2に記載の情報処理方法。
【請求項4】
前記画素集合は、前記処理ブロックの上側に隣接する再構成画素の少なくとも1つの行、および/または、前記処理ブロックの左側に隣接する再構成画素の少なくとも1つの列を含む、
請求項1に記載の情報処理方法。
【請求項5】
前記属性情報は、少なくとも、前記画素集合内の再構成画素と前記処理ブロックとの間の位置関係を含む、
請求項4に記載の情報処理方法。
【請求項6】
前記画素集合内の画素の属性情報に基づいて、前記画素集合から少なくとも1つの画素を選択して、ターゲット画素集合を取得することは、
前記画素集合内の再構成画素の属性情報に基づいて、前記画素集合内の再構成画素と前記処理ブロックとの間の位置関係を決定することと、
前記位置関係に基づいて、ターゲット画素集合を取得することと、を含む、
請求項5に記載の情報処理方法。
【請求項7】
前記画素集合内の画素の属性情報に基づいて、前記画素集合から少なくとも1つの画素を選択して、ターゲット画素集合を取得することは、
前記属性情報に基づいて、前記処理ブロックの上側に隣接する再構成画素の少なくとも1つの行から、1つまたは複数の再構成画素を選択し、および/または、前記属性情報に基づいて、前記処理ブロックの左側に隣接する再構成画素の少なくとも1つの列から、1つまたは複数の再構成画素を選択することを含み、
前記ターゲット画素集合は、選択された再構成画素を含む、
請求項4に記載の情報処理方法。
【請求項8】
前記属性情報に基づいて、前記処理ブロックの上側に隣接する再構成画素の少なくとも1つの行から、1つまたは複数の再構成画素を選択することは、
前記属性情報に基づいて、前記処理ブロックの上側に隣接する再構成画素の少なくとも1つの行に対してダウンサンプリング処理を実行して、1つまたは複数の再構成画素を取得することを含み、
前記属性情報に基づいて、前記処理ブロックの左側に隣接する再構成画素の少なくとも1つの列から、1つまたは複数の再構成画素を選択することは、
前記属性情報に基づいて、前記処理ブロックの左側に隣接する再構成画素の少なくとも1つの列に対してダウンサンプリング処理を実行して、1つまたは複数の再構成画素を取得することを含む、
請求項7に記載の情報処理方法。
【請求項9】
前記ターゲット画素集合内の再構成画素の属性情報に基づいて、前記処理ブロックの予測値を決定することは、
前記ターゲット画素集合内の再構成画素に対して前処理を実行して、前処理されたターゲット画素集合を取得することと、
前記前処理されたターゲット画素集合内の再構成画素の属性情報に基づいて、前記処理ブロックの予測値を決定することと、を含む、
請求項3に記載の情報処理方法。
【請求項10】
前記ターゲット画素集合内の再構成画素に対して前処理を実行して、前処理されたターゲット画素集合を取得することは、
前記属性情報に基づいて、前記ターゲット画素集合内の再構成画素に対してフィルタリング処理を実行して、フィルタリングされたターゲット画素集合を取得することを含む、
請求項9に記載の情報処理方法。
【請求項11】
前記フィルタリング処理は、ダウンサンプリング処理である、
請求項10に記載の情報処理方法。
【請求項12】
前記フィルタリング処理の入力は、前記再構成画素と、前記再構成画素に隣接する1つまたは複数の再構成画素とを含む、
請求項10に記載の情報処理方法。
【請求項13】
前記前処理されたターゲット画素集合内の再構成画素の属性情報に基づいて、前記処理ブロックの予測値を決定することは、
前記フィルタリングされたターゲット画素集合内の再構成画素の属性情報に基づいて、予測モデルを構築することであって、前記予測モデルは、前記処理ブロック内の2つまたは複数の画像成分間の予測関係を表すために使用される、ことと、
前記予測モデルに基づいて、前記処理ブロックの予測値を決定することと、を含む、
請求項10に記載の情報処理方法。
【請求項14】
前記フィルタリングされたターゲット画素集合内の再構成画素の属性情報に基づいて、予測モデルを構築することは、
前記フィルタリングされたターゲット画素集合内の再構成画素の色度成分および輝度成分に基づいて、予測モデルの第1パラメータのパラメータ値および第2パラメータのパラメータ値を決定することを含み、前記予測モデルは、前記第1パラメータと第2パラメータによって表される線形モデルである、
請求項13に記載の情報処理方法。
【請求項15】
符号化器によって実行される、情報処理方法であって、
現在のビデオフレーム内の符号化されるブロックの画素集合を決定することと、
前記画素集合内の画素の属性情報に基づいて、前記画素集合から少なくとも1つの画素を選択して、ターゲット画素集合を取得することと、
前記ターゲット画素集合内の画素の属性情報に基づいて、前記符号化されるブロックに対して符号化処理を実行することと、を含む、前記情報処理方法。
【請求項16】
請求項1ないし14のいずれか一項に記載の情報処理方法を実行するように構成される、復号化器。
【請求項17】
請求項15に記載の情報処理方法を実行するように構成される、符号化器。
【発明の詳細な説明】
【技術分野】
【0001】
本願実施例は、ビデオ符号化・復号化の技術分野に関し、情報処理方法および装置、機器、記憶媒体に関するものであるがこれに限定されない。
【背景技術】
【0002】
近年、ビデオサービスは、インターネットおよびモバイル通信の分野で急速に発展してきた。ビデオサービスは、まずソースビデオデータを符号化し、次に符号化されたビデオデータをインターネットまたはモバイル通信ネットワークのチャネルを介してユーザ端末に送信する必要がある。
【0003】
ユーザにとって、ビデオの流暢さはユーザのビデオ視聴体験に直接影響する。そのうえ、ビデオ符号化における予測符号化の計算の複雑さは、ビデオの流暢さに直接影響する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したことに鑑みて、本願実施例は、関連技術における少なくとも1つの問題を解決するための情報処理方法および装置、機器、記憶媒体。
【課題を解決するための手段】
【0005】
本願実施例による技術的解決策は、次のように実現できる。
【0006】
第1態様によれば、本願実施例は、情報処理方法を提供し、前記方法は、現在のビデオフレーム内の符号化されるブロックの元の画素集合を決定することと、前記元の画素集合の各元の画素の属性情報を決定することと、
属性情報がスクリーニング条件を満たす元の画素を選択して、ターゲット画素集合を取得することと、前記ターゲット画素集合の各元の画素の属性情報に基づいて、前記符号化されるブロックに対して符号化処理を実行することとを含む。
【0007】
第2態様によれば、本願実施例は、情報処理装置を提供し、前記装置は、現在のビデオフレーム内の符号化されるブロックの元の画素集合を決定するように構成される元の画素集合決定モジュールと、前記元の画素集合の各元の画素の属性情報を決定するように構成される属性情報決定モジュールと、属性情報がスクリーニング条件を満たす元の画素を選択して、ターゲット画素集合を取得するように構成されるターゲット画素選択モジュールと、前記ターゲット画素集合の各元の画素の属性情報に基づいて、前記符号化されるブロックに対して符号化処理を実行するように構成される符号化処理モジュールとを備える。
【0008】
第3態様によれば、本願実施例は、メモリと、プロセッサとを備える電子機器を提供し、前記メモリは、プロセッサで実行可能なコンピュータプログラムを記憶するように構成され、前記プロセッサは、前記プログラムを実行するときに、上記の情報処理方法におけるステップを実現するように構成される。
【0009】
第4態様によれば、本願実施例は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、当該コンピュータプログラムがプロセッサによって実行されるときに、上記の情報処理方法におけるステップを実現する。
【発明の効果】
【0010】
本願実施例では、符号化されるブロックの元の画素集合から、属性情報がスクリーニング条件を満たす元の画素を選択して、ターゲット画素集合を取得し、前記ターゲット画素集合の各元の画素の属性情報に基づいて、前記符号化されるブロックに対して符号化処理を実行する。このように、元の画素集合内のすべての元の画像の属性情報に基づいて、符号化されるブロックに対して符号化処理を実行することではなく、選択された元の画素の一部(すなわち、ターゲット画素集合内の元の画素)の属性情報に基づいて、符号化されるブロックに対して符号化処理を実行することにより、符号化処理の計算の複雑さを軽減することができ、それにより、ビデオ符号化の効率を向上させ、ユーザが視聴するビデオの再生の流暢さを向上させることができる。
【図面の簡単な説明】
【0011】
【
図1】本願実施例によるビデオ符号化・復号化のためのネットワークアーキテクチャの構成の例示的な構造図である。
【
図2A】本願実施例によるビデオ符号化器の構成の例示的な構造図である。
【
図2B】本願実施例によるビデオ復号化器の構成の例示的な構造図である。
【
図3A】本願実施例による情報処理方法の例示的な実現フローチャートである。
【
図3B】本願実施例による別の情報処理方法の例示的な実現フローチャートである。
【
図3C】本願実施例による、符号化されるブロックと参照画素との間の関係の概略図である。
【
図3D】本願実施例によるさらに別の情報処理方法の例示的な実現フローチャートである。
【
図4】本願実施例による別の情報処理方法の例示的な実現フローチャートである。
【
図5A】本願実施例によるさらに別の情報処理方法の例示的な実現フローチャートである。
【
図5B】本願実施例による、予測モデルを構築する方法の例示的な実現フローチャートである。
【
図6A】本願実施例による情報処理装置の構成の例示的な構造図である。
【
図6B】本願実施例による別の情報処理装置の構成の例示的な構造図である。
【
図6C】本願実施例によるさらに別の情報処理装置の構成の例示的な構造図である。
【
図6D】本願実施例によるさらに別の情報処理装置の構成の例示的な構造図である。
【
図7】本願実施例による電子機器のハードウェアエンティティの概略図である。
【発明を実施するための形態】
【0012】
本実施例は、最初に、ビデオ符号化・復号化のためのネットワークアーキテクチャを提供する。
図1は、本願実施例によるビデオ符号化・復号化のためのネットワークアーキテクチャの構成の例示的な構造図である。
図1に示されるように、当該ネットワークアーキテクチャは、1つまたは複数の電子機器11~1Nおよび通信ネットワーク01を含み、ここで、電子機器11~1Nは、通信ネットワーク01を介してビデオインタラクションを実行し得る。実装プロセスにおいて、電子機器は、ビデオ符号化および復号化機能を備えた様々なタイプの機器であり得る。例えば、前記電子機器は、携帯電話、タブレットコンピュータ、パーソナルコンピュータ、携帯情報端末、ナビゲーター、デジタル電話、ビデオ電話、テレビ、感知機器、サーバなどを含み得る。
【0013】
前記電子機器は、ビデオ符号化・復号化機能を備え、一般的に、ビデオ符号化器およびビデオ復号化器を含む。例えば、
図2Aを参照すると、ビデオ符号化器21の構成構造は、変換と量子化ユニット211、フレーム内推定ユニット212、フレーム内予測ユニット213、動き補償ユニット214、動き推定ユニット215、逆変換と逆量子化ユニット216、フィルタ制御分析ユニット217、フィルタリングユニット218、符号化ユニット219、および復号化された画像キャッシュユニット210などを含む。ここで、フィルタリングユニット218は、デブロッキングフィルタリングとサンプル適応オフセット(SAO:Sample Adaptive 0ffset)フィルタリングを実現でき、符号化ユニット219は、ヘッダ情報符号化とコンテキストベースの適応バイナリ算術符号化(CABAC:Context-based Adaptive Binary Arithmatic Coding)を実現できる。入力されたソースビデオデータについて、符号化ツリーユニット(CTU:Coding Tree Unit)の分割により、1つの現在のビデオフレームの符号化されるブロックを取得でき、その後、当該符号化されるブロックに対してフレーム内予測またはフレーム間予測を実行した後、得られた残差情報は、変換と量子化ユニット211によって変換される(残差情報を画素ドメインから変換ドメインに変換し、得られた変換係数を量子化して、ビットレートをさらに低減することを含む)。フレーム内推定ユニット212およびフレーム内予測ユニット213は、例えば、当該符号化されるブロックを符号化するために使用されるフレーム内予測モードを決定するなど、当該符号化されるブロックに対してフレーム内予測を実行するように構成される。動き補償ユニット214および動き推定ユニット215は、時間予測情報を提供するために、1つまたは複数の参照フレーム内の1つまたは複数のブロックに関連して、符号化されるブロックに対してフレーム間予測符号化を実行するように構成される。ここで、動き推定ユニット215は、動きベクトルを推定するように構成され、当該符号化されるブロックの動きは、動きベクトルに従って推定でき、次いで、動き補償ユニット214は、動きベクトルに基づいて動き補償を実行する。フレーム内予測モードを実行した後、フレーム内予測ユニット213は、さらに、選択されたフレーム内予測データを符号化ユニット219に提供するように構成され、動き推定ユニット215は、計算によって決定された動きベクトルデータを符号化ユニット219に送信する。さらに、逆変換と逆量子化ユニット216は、当該符号化されるブロックを再構築するように構成され、すなわち、画素ドメインで残差ブロックを再構築し、当該再構築された残差ブロックのブロックアーチファクトは、フィルタ制御分析ユニット217およびフィルタリングユニット218によって除去され、その後、当該再構築された残差ブロックを復号化された画像キャッシュユニット210のフレーム内の1つの予測ブロックに追加して、再構築されたビデオ符号化ブロックを生成する。符号化ユニット219は、様々な符号化パラメータおよび量子化された変換係数を符号化するように構成され、CABACに基づく符号化アルゴリズムでは、コンテキスト内容は、隣接符号化ブロックに基づくことができ、決定されたフレーム内予測モードを指示する情報を符号化して、当該ビデオデータのビットストリームを出力するために使用できる。復号化された画像キャッシュユニット210は、予測参照に使用される、再構築されたビデオ符号化ブロックを格納するように構成される。ビデオの符号化につれて、新しい再構築されたビデオ符号化ブロックが継続的に生成され、これらの再構築されたビデオ符号化ブロックは、復号化された画像キャッシュユニット210に記憶される。
【0014】
図2Bに示されるように、ビデオ符号化器21に対応するビデオ復号化器22の構成構造は、復号化ユニット221、逆変換と逆量子化ユニット222、フレーム内予測ユニット223、動き補償ユニット224、フィルタリングユニット225、および復号化された画像キャッシュユニット226などを含む。ここで、復号化ユニット221は、ヘッダ情報復号化とCABAC復号化を実現でき、フィルタリングユニット225は、デブロッキングフィルタリングとSAOフィルタリングを実現できる。入力されたビデオ信号に対して、
図2Aに示される符号化処理を実行した後、当該ビデオ信号のビットストリームを出力する。当該ビットストリームをビデオ復号化器22に入力し、最初に復号化ユニット221によって当該ビットストリームを処理して、復号化された変換係数を取得する。当該変換係数は、逆変換と逆量子化ユニット222によって処理されて、画素ドメインで残差ブロックを生成する。フレーム内予測ユニット223は、決定されたフレーム内予測モード、および現在のフレームまたは画像からの以前の復号化されたブロックのデータに基づいて、現在の復号化ブロックの予測データを生成するように構成されることができる。動き補償ユニット224は、動きベクトルおよび他の関連する構文要素を分析して、現在の復号化ブロックの予測情報を決定し、当該予測情報を使用して、現在復号化されている現在の復号化ブロックの予測ブロックを生成する。逆変換と逆量子化ユニット222からの残差ブロックと、フレーム内予測ユニット223または動き補償ユニット224によって生成された対応する予測ブロックとを合計して、復号化されたビデオブロックを生成する。当該復号化されたビデオブロックのブロックアーチファクトは、フィルタリングユニット225によって除去され、これにより、品質を改善する。その後、復号化されたビデオブロックを復号化された画像キャッシュユニット226に記憶し、復号化された画像キャッシュユニット226は、後続のフレーム内予測または動き補償のために使用される参照画像を記憶し、ビデオ信号の出力表示にも使用される。
【0015】
これに基づき、以下、添付の図面及び実施例を参照して、本願の技術的解決策をさらに詳細に説明する。本願実施例による情報処理方法は、ビデオ符号化器21に適用されてもよいし、ビデオ復号化器22に適用されてもよいが、本願実施例はこれに限定されない。
【0016】
本願実施例は、情報処理方法を提供し、当該方法は電子機器に提供され、当該方法によって実現される機能は、電子機器内のプロセッサによりプログラムを呼び出すことによって実現できる。もちろん、プログラムコードはコンピュータ記憶媒体に記憶されることができ、明らかに、当該電子機器は、少なくともプロセッサおよび記憶媒体を含む。
【0017】
図3Aは、本願実施例による情報処理方法の例示的な実現フローチャートであり、
図3Aに示されるように、当該方法は、ステップS301~ステップS304を含む。
【0018】
ステップS301において、現在のビデオフレーム内の符号化されるブロックの元の画素集合を決定する。
【0019】
説明すべきこととして、前記符号化されるブロックとは、現在のビデオフレームにおいて、符号化する必要のある画像領域を指し、異なる符号化処理に対応する符号化されるブロックのタイプは異なり、元の画素集合に含まれる内容も異なる。例えば、符号化処理が予測符号化である場合、符号化されるブロックは、輝度成分および色度成分を含む画像ブロックであり、前記符号化されるブロックの外側の再構成画素を、前記元の画素集合、すなわち、前記符号化されるブロックに対して予測符号化を実行するときに使用される参照画素として決定することができるが、前記元の画素集合の内容については、本明細書では限定されず、ここでは単なる例である。符号化処理が変換符号化である場合、符号化されるブロックは、残差値を含む画像ブロック、すなわち、予測符号化された後に出力される残差ブロックであり、残差ブロック内の画素を前記元の画素集合として決定できるが、前記元の画素集合の内容については、本明細書では限定されず、ここでは単なる例である。符号化処理がエントロピー符号化である場合、符号化されるブロックは、変換係数を含む画像ブロック、すなわち、変換符号化された後に出力される係数ブロックであり、係数ブロック内の画素を前記元の画素集合として決定できるが、前記元の画素集合の内容については、本明細書では限定されず、ここでは単なる例である。
【0020】
ステップS302において、前記元の画素集合の各元の画素の属性情報を決定する。
【0021】
理解できることとして、前記元の画素集合が前記符号化されるブロックの外側の再構成画素である場合、前記元の画素集合の各元の画素の属性情報は、再構成画素の位置情報、輝度成分、色度成分などであり、前記元の画素集合が残差ブロック内の画素である場合、前記元の画素集合の各元の画素の属性情報は、残差ブロック内の画素の位置情報、残差値などであり、前記元の画素集合が係数ブロック内の画素である場合、前記元の画素集合の各元の画素の属性情報は、係数ブロック内の画素の一部の位置情報、変換係数などである。
【0022】
ステップS303において、属性情報がスクリーニング条件を満たす元の画素を選択して、ターゲット画素集合を取得する。
【0023】
ステップS304において、前記ターゲット画素集合の各元の画素の属性情報に基づいて、前記符号化されるブロックに対して符号化処理を実行する。
【0024】
本明細書では、前記符号化処理のタイプを限定しないことに留意されたい。例えば、前記符号化処理は、予測符号化、変換符号化、およびエントロピー符号化のうちの1つであり得る。
【0025】
本願実施例では、前記符号化されるブロックに対して符号化処理を実行する前に、まず、前記符号化されるブロックの元の画素集合から、元の画素の一部(すなわち、前記ターゲット画素集合)を選択し、次に、元の画素の一部(元の画素集合内のすべての元の画素ではない)の属性情報に基づいて、前記符号化されるブロックに対して符号化処理を実行することにより、符号化処理の複雑さを軽減させ、符号化処理にかかる時間を低減させ、それにより、ユーザが視聴するビデオの再生の流暢さを向上させることができる。
【0026】
説明すべきこととして、本願実施例による情報処理方法は、実際には、従来のビデオ符号化技術(例えば、ビデオ符号化規格H.264、H.265など)の改良であり、つまり、従来のビデオ符号化技術の上で、サブ集合の概念を追加したものである。例えば、符号化されるブロックに対して予測符号化を実行する前に、まず、元の画素集合から(符号化されるブロックに隣接するすべての再構成画素を含む)から、元の画素の一部を選択(すなわち、サブ集合を取得する)し、次に、元の画素集合に対してダウンサンプリング処理またはフィルタリング処理などを実行することではなく、元の画素の一部に対してダウンサンプリング処理またはフィルタリング処理などを実行することにより、予測符号化の複雑さを軽減させ、符号化効率を向上させることができる。
【0027】
本願実施例は、別の情報処理方法を提供し、
図3Bは、本願実施例による別の情報処理方法の例示的な実現フローチャートであり、
図3Bに示されるように、当該方法は、ステップS311~ステップS314を含む。
【0028】
ステップS311において、現在のビデオフレーム内の符号化されるブロックの元の画素集合を決定し、前記元の画素集合の各元の画素は、前記符号化されるブロックの外側の再構成画素である。
【0029】
理解できることとして、ここでは、前記符号化されるブロックの外側の少なくとも1つの再構成画素を、前記元の画素集合内の元の画素として決定する。一般的に、前記符号化されるブロックの外側の再構成画素は、参照画素と呼ばれ、これは、前記符号化されるブロックに対して予測を行う場合、これらの再構成画素の属性情報(例えば、輝度成分、色度成分など)を参照して、前記符号化されるブロック内の予測される画素を予測する必要があるためである。したがって、再構成画素は、予測が完了された画素点である。例えば、
図3Cに示されるように、前記元の画素集合は、符号化されるブロック30の上部行領域31内のすべての再構成画素を含み、または、前記元の画素集合はさらに、符号化されるブロック30の左の一列の領域32内のすべての再構成画素を含み得る。一般的に、前記元の画素集合には、再構成画素の画素識別子(画素番号など)が含まれる。
【0030】
ステップS312において、前記元の画素集合の各再構成画素の属性情報を決定する。
【0031】
例えば、前記現在のビデオフレームのビデオデータに基づいて、前記元の画素集合内の各再構成画素の位置情報、輝度成分、色度成分などの属性情報を取得することができる。
【0032】
ステップS313において、属性情報がスクリーニング条件を満たす再構成画素を選択して、ターゲット画素集合を取得する。
【0033】
一般的に、前記スクリーニング条件は、前記符号化されるブロックに強く関連する再構成画素をフィルタリングして、ターゲット画素集合を取得するために使用される。説明すべきこととして、前記ターゲット画素集合は、再構成画素の属性情報を含む。
【0034】
ステップS314において、前記ターゲット画素集合の各再構成画素の属性情報に基づいて、前記符号化されるブロックに対して予測符号化を実行する。
【0035】
理解できることとして、前記予測符号化は、前記符号化プロセスにおける処理ステップであり、主に隣接画素の空間的または時間的相関性を利用して、伝送された画素を用いて現在符号化される画素を予測し、その後、予測値と真の値の差(すなわち、予測誤差)を符号化して伝送することである。例えば、予測符号化では、前記ターゲット画素集合内の各再構成画素の属性情報を利用して、前記ターゲット画素集合に対してダウンサンプリング処理またはフィルタリング処理などを実行する。別の例では、前記ターゲット画素集合内の各再構成画素の属性情報を利用して、前記符号化されるブロックの予測モデルを決定する。
【0036】
他の実施例では、前記ターゲット画素集合内の各再構成画素の属性情報に基づいて、前記符号化されるブロックに対して変換符号化またはエントロピー符号化などを実行することもできる。
【0037】
理解できることとして、前記変換符号化は、前記符号化プロセスにおける別の処理ステップであり、主に、空間ドメインで記述された画像に対して、特定の変換(離散コサイン変換、離散サイン変換、アダマール変換など)を実行して、変換ドメイン内のデータ(係数)を生成することであり、これにより、データ分布を変化させ、有効なデータ量を削減するという目的を達成する。例えば、変換符号化では、前記ターゲット画素集合内の各再構成画素の属性情報を利用して、変換符号化モードの情報を導出する。
【0038】
予測符号化および変換符号化は、2つの異なるタイプの圧縮符号化方法であり、この2つの方法を組み合わせると、ハイブリッド符号化を形成し、ハイブリッド符号化フレームワークでは、エントロピー符号化が予測符号化と変換符号化後の処理ステップであり、これは、ハイブリッド符号化の圧縮効率をさらに向上させることができる可変長符号化(VLC:Variable Length Coding)である。エントロピー符号化では、前記ターゲット画素集合内の各再構成画素の属性情報を利用して、エントロピー符号化コンテキストモデルの情報を導出することができる。
【0039】
本願実施例では、符号化されるブロックの元の画素集合から、属性情報がスクリーニング条件を満たす再構成画素を選択して、ターゲット画素集合を取得し、前記ターゲット画素集合の各再構成画素の属性情報に基づいて、前記符号化されるブロックに対して予測符号化、変換符号化、またはエントロピー符号化を実行する。このように、選択された元の画素の一部(元の画素集合内のすべての元の画素ではない)の属性情報に基づいて、前記符号化されるブロックに対して上記の符号化処理のいずれかを実行することにより、符号化処理の計算の複雑さを軽減させ、これにより、ビデオ符号化効率を向上させ、さらに、ユーザが視聴するビデオの再生の流暢さを向上させることができる。
【0040】
本願実施例は、さらに別の情報処理方法を提供し、
図3Dは、本願実施例によるさらに別の情報処理方法の例示的な実現フローチャートであり、
図3Dに示されるように、当該方法は、ステップS321~ステップS324を含む。
【0041】
ステップS321において、現在のビデオフレームの符号化されるブロック内の少なくとも1つの符号化される画素を、元の画素として決定して、元の画素集合を取得する。
【0042】
説明すべきこととして、符号化プロセスの異なる段階では、前記符号化されるブロック内の符号化される画素の属性情報は異なる。例えば、ステップS321~ステップS324で実行されるのは予測符号化であり、この場合、前記符号化される画素の属性情報は輝度成分、色度成分、位置情報などを含む。別の例として、ステップS321~ステップS324で実行されるのは変換符号化であり、この場合、前記符号化される画素の属性情報は、予測符号化された後に出力される残差値、位置情報などであり、つまり、前記符号化されるブロックは残差ブロックであり、別の例では、ステップS321~ステップS324で実行されるのはエントロピー符号化であり、この場合、前記符号化される画素の属性情報は、変換符号化された後に出力される変換係数、位置情報などであり、つまり、前記符号化されるブロックは係数ブロックである。
【0043】
ステップS322において、前記元の画素集合の各元の画素の属性情報を決定する。
【0044】
ステップS323において、属性情報がスクリーニング条件を満たす元の画素を選択して、ターゲット画素集合を取得する。
【0045】
例えば、変換符号化では、前記残差ブロック内の各符号化される画素の位置情報に基づいて、前記残差ブロックから、符号化される画素の一部をサンプリングすることができ、サンプリングされた符号化される画素を前記ターゲット画素集合として決定する。別の例では、変換符号化では、前記残差ブロックから、残差値がプリセットされた閾値を超える符号化される画素を選択して、ターゲット画素集合を取得する。さらに別の例では、エントロピー符号化では、前記係数ブロック内の各符号化される画素の位置情報に基づいて、前記係数ブロックから、符号化される画素の一部をサンプリングし、サンプリングされた符号化される画素を前記ターゲット画素集合として決定する。
【0046】
ステップS324において、前記ターゲット画素集合の各元の画素的属性情報に基づいて、前記符号化されるブロックに対して予測符号化、変換符号化、またはエントロピー符号化を実行する。
【0047】
本願実施例では、符号化されるブロックのすべての符号化される画素に対して符号化処理を実行することではなく、前記符号化されるブロックの符号化される画素の一部のみに対して符号化処理(例えば、予測符号化、変換符号化、またはエントロピー符号化など)を実行することにより、符号化処理の複雑さを効果的に軽減して、データ処理速度を向上させることができ、これにより、符号化効率を向上させ、さらに、ユーザが視聴するビデオの再生の流暢さを向上させることができる。
【0048】
本願実施例は、別の情報処理方法を提供し、
図4は、本願実施例による別の情報処理方法の例示的な実現フローチャートであり、
図4に示されるように、当該方法は、ステップS401~ステップS406を含む。
【0049】
ステップS401において、現在のビデオフレームの符号化されるブロックが配置されているプリセット範囲内のN個の再構成画素(Nは1より大きいか等しいプリセット整数である)を、前記元の画素集合として決定する。
【0050】
例えば、前記符号化されるブロックに隣接する参照行または参照例内の再構成画素を、前記元の画素集合として決定する。前記参照行および前記参照例の数は、ここでは限定されず、1つまたは複数の参照行であってよく、1つまたは複数の参照例であってもよい。
図3Cに示されるように、符号化されるブロック30の上部行領域31内の再構成画素を、前記元の画素集合として決定でき、または、符号化されるブロック30の左列領域32内の再構成画素を、前記元の画素集合として決定できる。説明すべきこととして、Nの値は事前に設定でき、例えば、N=符号化されるブロックの辺長+n(nは0より大きいか等しい整数である)に設定でき、符号化されるブロックの辺長は、画素点の数で表すことができる。
【0051】
説明すべきこととして、ステップS401は、実際には、上記の実施例におけるステップS301の実施例である。
【0052】
ステップS402において、前記元の画素集合の各再構成画素の属性情報を決定する。
【0053】
ステップS403において、前記元の画素集合内の再構成画素の属性情報に基づいて、各再構成画素と前記符号化されるブロックとの間の相関度を決定する。
【0054】
理解できることとして、前記相関度は、前記再構成画素と前記符号化されるブロック(または前記符号化されるブロック内の予測される画素)との間の関連程度を表すために使用される。例えば、前記元の画素集合内の再構成画素と前記符号化されるブロックとの間の位置関係を決定し、前記位置関係を、前記再構成画素と前記符号化されるブロックとの間の相関度として決定する。他の実施例では、前記元の画素集合から、プリセット範囲内にある画像成分を有する再構成画素をターゲット画素として選択して、前記ターゲット画素集合を取得することもでき、ここで、前記画像成分は、輝度成分または色度成分である。例えば、前記プリセット範囲が(Xmin,Xmax)であり、ここで、XminとXmaxはそれぞれ、前記元の画素集合の画像成分の最大値と最小値を指す。前記再構成画素と前記符号化されるブロックとの間の相関度が強いほど、前記再構成画素の属性情報が、前記符号化されるブロック内の予測される画素の属性情報により類似する。したがって、前記再構成画素と前記符号化されるブロックとの間の相関度に基づいて、信頼できる再構成画素を、前記ターゲット画素集合内の再構成画素として迅速かつ効果的に選択することができる。さらに、相関度に基づいてスクリーニング条件を満たす再構成画素を選択する場合、相関度が比較的に低い再構成画素が除外されるため、得られたターゲット画素集合内の再構成画素はすべて、前記符号化されるブロックに強く相関する画素である。このように、前記ターゲット画素集合の各再構成画素の属性情報に基づいて、前記符号化されるブロックに対して予測符号化を実行することにより、アルゴリズムのロバスト性を向上させることができる。
【0055】
ステップS404において、相関度がスクリーニング条件を満たす再構成画素を選択して、ターゲット画素集合を取得する。
【0056】
例えば、前記再構成画素と前記符号化されるブロックとの間の距離で、前記再構成画素と前記符号化されるブロックとの間の相関度を表す場合、距離がプリセットされた距離閾値より大きいか等しい再構成画素を、前記ターゲット画素集合内の再構成画素として選択することができる。説明すべきこととして、ステップS403とステップS404は、実際には、上記の実施例におけるステップS303の実施例である。
【0057】
ステップS405において、前記ターゲット画素集合の各再構成画素の属性情報に対して前処理を実行して、前処理されたターゲット画素集合を取得する。
【0058】
理解できることとして、前記符号化されるブロックに対して予測符号化を実行する前に、参照画素の一部(すなわち、前記ターゲット画素集合内の再構成画素)のみを前処理し、前処理された結果に基づいて前記符号化されるブロックに対して予測符号化を実行することができ、これにより、前処理の複雑さを軽減させることができ、さらに、予測符号化の計算の複雑さを軽減させ、ユーザが視聴するビデオの再生の流暢さを向上させることができる。
【0059】
例えば、前記前処理は、ダウンサンプリング処理であり得、つまり、前記元の画素集合に対してダウンサンプリング処理を実行することではなく、前記ターゲット画素集合内の各再構成画素の属性情報に対してのみダウンサンプリング処理を実行する。理解できることとして、ダウンサンプリング処理の目的は、前記再構成画素の複数の画像成分間の解像度を統一すること、すなわち、前記再構成画素の複数の画像成分が空間ドメインで同じサイズになるようにすることである。したがって、ここで再構成画素一部に対してのみダウンサンプリング処理を実行することにより、ダウンサンプリングの回数を減らすことができ、これにより、予測符号化の符号化効率を向上させることができる。
【0060】
あるいは、前記前処理は、フィルタリング処理(例えば、補間フィルタリングなど)であってもよく、つまり、前記前処理は、前記ターゲット画素集合の各再構成画素の属性情報に対してフィルタリング処理を実行して、フィルタリングされたターゲット画素集合を取得することである。同様に、前記元の画素集合に対するフィルタリング処理と比較すると、ここでは、前記元の画素集合内のすべての再構成画素に対してフィルタリング処理を実行することではなく、前記ターゲット画素集合内の各再構成画素の属性情報に対してのみフィルタリング処理を実行するため、フィルタリングの回数を減らし、フィルタリング処理の速度を向上させることができる。
【0061】
ステップS406において、前記前処理されたターゲット画素集合の各再構成画素の属性情報に基づいて、前記符号化されるブロックに対して予測符号化を実行する。
【0062】
説明すべきこととして、ステップS405とステップS406は、実際には、上記の実施例におけるステップS304の実施例である。
【0063】
本願実施例は、さらに別の情報処理方法を提供し、
図5Aは、本願実施例によるさらに別の情報処理方法の例示的な実現フローチャートであり、
図5Aに示されるように、当該方法は、ステップS501~ステップS506を含む。
【0064】
ステップS501において、現在のビデオフレーム内の符号化されるブロックの元の画素集合を決定し、前記元の画素集合内の各参照画素は、前記符号化されるブロックの外側の再構成画素である。
【0065】
ステップS502において、前記元の画素集合の各再構成画素の属性情報を決定する。
【0066】
ステップS503において、属性情報がスクリーニング条件を満たす再構成画素を選択して、ターゲット画素集合を取得する。
【0067】
ステップS504において、前記ターゲット画素集合の各再構成画素の属性情報に対してダウンサンプリング処理を実行して、ダウンサンプリングされたターゲット画素集合を取得する。
【0068】
ステップS505において、前記ダウンサンプリングされたターゲット画素集合の各再構成画素の属性情報に基づいて、予測モデルを構築し、前記予測モデルは、前記符号化されるブロック内の符号化される画素の複数の画像成分間の予測関係を表すために使用される。
【0069】
説明すべきこととして、前記予測モデルは、線形モデルであってもよいし、非線形モデルであってもよいが、本願実施例では、前記予測モデルの構造を特に限定しない。前記ダウンサンプリングされたターゲット画素集合内の各再構成画素の属性情報に基づいて、予測モデルを構築することができ、これにより、前記符号化されるブロック内の符号化される画素の複数の画像成分を、前記予測モデルで表される予測関係に一致させることができる。
【0070】
例えば、前記予測モデルが数式(1)に示される通りであると仮定する。
【数1】
数式において、αおよびβは予測モデルのモデルパラメータであり、Yは輝度成分であり、C′は、予測によって得られた色度成分である。前記ダウンサンプリングされたターゲット画素集合内の複数の再構成画素の輝度成分と色度成分に基づいて、モデルパラメータαとβの値をすばやく導出して、予測モデルを取得することができ、取得された予測モデルを介して、前記符号化されるブロック内の予測される画素の色度成分を予測する。例えば、ダウンサンプリングされたターゲット画素集合から、輝度成分の最大値と最小値を取得し、その後、前記輝度成分の最大値と最小値に基づいて、モデルパラメータαとβの値を決定する。このような方式は、元の画素集合に基づいてモデルパラメータαとβの値を決定する方式により、予測モデルのモデルパラメータ値をより効率的に取得することができ、それにより、データ処理の速度を向上させることができる。さらに、本願実施例による情報処理方法は、符号化効率の效率の向上に有益であり、特に、スクリーニング条件が合理的である場合、符号化効率の向上がより顕著になる。
【0071】
他の実施例では、ステップS504とステップS505は、前記ターゲット画素集合の各再構成画素の属性情報に対してフィルタリング処理を実行して、フィルタリングされたターゲット画素集合を取得するステップと、前記フィルタリングされたターゲット画素集合に基づいて、予測モデルを構築するステップによって置き換えることができ、前記予測モデルは、前記符号化されるブロック内の符号化される画素の複数の画像成分間の予測関係を表すために使用される。ステップS505とステップS506は、実際に、上記の実施例におけるステップS406の実施例である。
【0072】
ステップS506において、前記予測モデルに基づいて、前記符号化されるブロックに対して予測符号化を実行する。
【0073】
他の実施例では、ステップS505の場合、前記ダウンサンプリングされたターゲット画素集合に基づいて、予測モデルを構築し、前記予測モデルは、前記符号化されるブロック内の符号化される画素の複数の画像成分間の予測関係を表すために使用される。
図5Bに示されるように、ステップS5051およびステップS5052を介して前記ステップS505を実現することができる。
【0074】
ステップS5051において、前記ダウンサンプリングされたターゲット画素集合内の各再構成画素の色度成分および輝度成分に基づいて、予測モデルの第1パラメータのパラメータ値および第2パラメータのパラメータ値を決定する。
【0075】
もちろん、他の実施例では、前記フィルタリングされたターゲット画素集合内の各再構成画素の色度成分および輝度成分に基づいて、予測モデルの第1パラメータのパラメータ値および第2パラメータのパラメータ値を決定することもでき、このような方式は、フィルタリングされた元の画素集合に基づいて、第1パラメータおよび第2パラメータのパラメータ値を決定する方式により、計算の複雑さが低い。
【0076】
ステップS5052において、前記第1パラメータのパラメータ値および前記第2パラメータのパラメータ値に基づいて、前記予測モデルを構築する。
【0077】
本願実施例では、参照画素サブ集合(すなわち、上記の実施例に記載のターゲット画素集合)という概念が提案される。予測符号化において、通常、参照画素を用いて、現在の符号化ブロック(すなわち、前記ステップS311における符号化されるブロック)を予測する。参照画素の特定の領域内の参照点が、現在の符号化ブロックの予測により効果的であると仮定すると、これらの点によって構成される参照画素サブ集合を使用して、現在の符号化ブロックを予測し、このようにして、符号化性能を損失することなく、さらには、符号化性能を向上させ、同時に複雑さを軽減させることができる。したがって、本願実施例では、現在の符号化ブロックに対して予測を実行する前の任意のステップ(例えば、ダウンサンプリングおよびフィルタリングなど)の前に、参照画素サンプルを適切に選択して、参照画素サブ集合を取得し、当該サブ集合に基づいて予測符号化を実行することにより、予測符号化の符号化効率を向上させることができる。
【0078】
予測符号化では、通常、参照画素を使用して、現在の符号化ブロックを予測する。例えば、現在の符号化ブロックの上側および左側領域の使用可能な参照画素を使用して、現在の符号化ブロックを予測し、これらの参照画素は、通常、現在の符号化ブロックの左側の1つまたは複数の列、および現在の符号化ブロックの上側の1つまたは複数の行の画素で構成され、これらの画素は、一般的に、再構成画素、すなわち、予測符号化を完了した画素である。場合によっては、これらの画素に対してダウンサンプリングを実行して、参照画素を構成する必要がある。
【0079】
例えば、
図3Cに示されるように、現在の符号化されるブロックは、2N*2Nの符号化ブロックであり、当該符号化ブロックの元の画素集合は、その上側に隣接する2N個の再構成画素およびその左側に隣接する2N個の再構成画素を含む。
【0080】
符号化ブロックの場合、各参照画素の重要性と相関性は異なる。同時に、現在の符号化ブロックに近い位置にある参照画素は、現在の符号化ブロックの予測に同様の影響を与える可能性がある。つまり、現在の符号化ブロックに近い領域内の特定の画素点は、予測において非常に効果的であり、他の画素点は、現在の符号化ブロックの予測にとって有益ではない可能性がある。選択された比較的に重要な参照画素点のみを参照画素サブ集合(すなわち、前記ターゲット画素集合)として使用し、当該参照画素サブ集合を使用して、現在の符号化ブロックの予測を実行することにより、計算の複雑さがより低い良好な予測結果を取得することができる。本願実施例では、参照画素を選別する場合、各参照画素点の重要性と相関性などの要因に従って、参照画素サブ集合を構築し、参照画素サブ集合を使用して、現在の符号化ブロックの予測を実行することにより、計算の複雑さを軽減させ、符号化性能を向上させることができる。
【0081】
例えば、現在の符号化ブロックの左側または上部の領域から、元の隣接参照画素(すなわち、前記元の画素集合内の参照画素)を取得し、その後、元の隣接参照画素の位置および/または画素特徴(強度など)に従って、複数の元の隣接参照画素から、条件を満たす画素を選択して、参照画素サブ集合を取得する。参照画素サブ集合を取得した後、現在の符号化ブロックに対して予測を実行する前の任意のプロセスで当該サブ集合を使用することができ、例えば、当該サブ集合に対してダウンサンプリングまたはフィルタリングを実行する。別の例では、クロスコンポーネント線形モデル(CCLM)予測方法で当該サブ集合を使用する。理解できることとして、クロスコンポーネント線形モデル(CCLM)はH.266/VVCにおける符号化ツールである。当該モデルは、再構成された輝度(Y)を使用して、対応するクロミナンス(C)を予測する。例えば、下記の線形モデル数式(2)を介して、現在の符号化ブロックのクロミナンス値C′を導出することができる。
【数2】
ここで、パラメータαとβの値は、隣接する参照画素の輝度とクロミナンスから導出できる。
【0082】
CCLMにおいて、元の参照領域内の特定の点を選択することができる。その後、これらの点で構成された参照画素サブ集合を使用して、さらなる処理を実行する。例えば、参照画素サブ集合を使用してダウンサンプリングを実行し、ダウンサンプリングされた参照画素サブ集合から、最大値と最小値を検出し、前記最大値を最小値に基づいて、パラメータαとβの値を決定する。このように、参照画素サブ集合に対してダウンサンプリングを実行する方式は、元の画素集合に対してダウンサンプリングを実行する方式により、ダウンサンプリングの回数を減らすことができ、さらに、ダウンサンプリングされた参照画素サブ集合から最大値と最小値をより迅速に見つけることができ、これにより、予測モデルを迅速に決定でき、さらに、データ処理の速度を向上させることができる。もちろん、スクリーニング条件が合理的である場合、予測符号化の符号化効率が向上し、他の実施例では、元の画素集合を使用する方式と比較して、ここで参照画素サブ集合を使用する方式は、パラメータαとβの値をより迅速に導出することができ、その後、処理によって得られた予測モデルを介して、現在の符号化ブロックを予測することにより、データ処理の速度を向上させることができる。
【0083】
本願実施例では、現在の符号化ブロックを予測する前の任意の処理において、参照画素のサブ集合を使用してビデオ符号化を実行することにより、ビデオ符号化の複雑さを軽減させ、アルゴリズムのロバスト性を向上させることができる。
【0084】
前述した実施例に基づいて、本願実施例は、情報処理装置を提供し、当該装置に含まれる各ユニット、および各ユニットに含まれる各モジュールは、電子機器内のプロセッサによって実現でき、もちろん、具体的な論理回路によって実現できる。実施プロセスでは、プロセッサは、中央処理装置(CPU)、マイクロプロセッサ(MPU)、デジタル信号プロセッサ(DSP)、またはフィールドプログラマブルゲートアレイ(FPGA)などであり得る。
【0085】
図6Aは、本願実施例による情報処理装置の構成の例示的な構造図であり、
図6Aに示されるように、前記装置60は、元の画素集合決定モジュール61と、属性情報決定モジュール62と、ターゲット画素選択モジュール63と、符号化処理モジュール64とを備える。ここで、元の画素集合決定モジュール61は、現在のビデオフレーム内の符号化されるブロックの元の画素集合を決定するように構成される。属性情報決定モジュール62は、前記元の画素集合の各元の画素の属性情報を決定するように構成される。ターゲット画素選択モジュール63は、属性情報がスクリーニング条件を満たす元の画素を選択して、ターゲット画素集合を取得するように構成される。符号化処理モジュール64は、前記ターゲット画素集合の各元の画素の属性情報に基づいて、前記符号化されるブロックに対して符号化処理を実行するように構成される。
【0086】
他の実施例では、元の画素集合決定モジュール61は、前記符号化されるブロックの外側の少なくとも1つの再構成画素を、前記元の画素集合内の元の画素として決定するように構成され、符号化処理モジュール64は、前記ターゲット画素集合の各再構成画素の属性情報に基づいて、前記符号化されるブロックに対して予測符号化、変換符号化、またはエントロピー符号化を実行するように構成される。
【0087】
他の実施例では、元の画素集合決定モジュール61は、前記符号化されるブロック内の少なくとも1つの符号化される画素を、前記元の画素集合内の元の画素として決定するように構成され、符号化処理モジュール64は、前記ターゲット画素集合の各符号化される画素の属性情報に基づいて、前記ターゲット画素集合に対して予測符号化、変換符号化、またはエントロピー符号化を実行するように構成される。
【0088】
他の実施例では、
図6Bに示されるように、前記ターゲット画素選択モジュール63は、前記元の画素集合内の再構成画素の属性情報に基づいて、各再構成画素と前記符号化されるブロックとの間の相関度を決定するように構成される相関度決定ユニット631と、相関度がスクリーニング条件を満たす再構成画素を選択して、ターゲット画素集合を取得するように構成される選択ユニット632とを備える。
【0089】
他の実施例では、前記相関度決定ユニット631は、前記元の画素集合内の再構成画素と前記符号化されるブロックとの間の位置関係を決定し、前記位置関係を、前記再構成画素と前記符号化されるブロックとの間の相関度として決定するように構成される。
【0090】
他の実施例では、前記ターゲット画素選択モジュール63は、前記元の画素集合から、プリセット範囲内にある画像成分を有する再構成画素をターゲット画素として選択して、前記ターゲット画素集合を取得するように構成される。
【0091】
他の実施例では、前記画像成分は、輝度成分または色度成分である。
【0092】
他の実施例では、
図6Cに示されるように、前記符号化処理モジュール64は、前記ターゲット画素集合の各再構成画素の属性情報に対して前処理を実行して、前処理されたターゲット画素集合を取得するように構成される前処理ユニット641と、前記前処理されたターゲット画素集合の各再構成画素の属性情報に基づいて、前記符号化されるブロックに対して予測符号化を実行するように構成される予測符号化ユニット642とを備える。
【0093】
他の実施例では、前記前処理ユニット641は、前記ターゲット画素集合の各再構成画素の属性情報に対してダウンサンプリング処理を実行して、ダウンサンプリングされたターゲット画素集合を取得するように構成され、または、前記ターゲット画素集合の各再構成画素の属性情報に対してフィルタリング処理を実行して、フィルタリングされたターゲット画素集合を取得するように構成される。
【0094】
他の実施例では、
図6Dに示されるように、前記予測符号化ユニット641は、前記ダウンサンプリングされたターゲット画素集合または前記フィルタリングされたターゲット画素集合のうちの各再構成画素の属性情報に基づいて、予測モデルを構築するように構成されるモデル構築サブユニット6411であって、前記予測モデルは、前記符号化されるブロック内の符号化される画素の複数の画像成分間の予測関係を表すために使用される、モデル構築サブユニット6411と、前記予測モデルに基づいて、前記符号化されるブロックに対して予測符号化を実行するように構成される予測符号化サブユニット6412とを備える。
【0095】
他の実施例では、前記モデル構築サブユニット6411は、前記ダウンサンプリングされたターゲット画素集合または前記フィルタリングされたターゲット画素集合のうちの各再構成画素の色度成分および輝度成分に基づいて、予測モデルの第1パラメータのパラメータ値および第2パラメータのパラメータ値を決定し、前記第1パラメータのパラメータ値および前記第2パラメータのパラメータ値に基づいて、前記予測モデルを構築するように構成される。
【0096】
他の実施例では、前記元の画素集合決定モジュール61は、前記符号化されるブロックが配置されているプリセット範囲内のN個の再構成画素(Nは1より大きいか等しいプリセット整数である)を、前記元の画素集合として決定するように構成される。
【0097】
他の実施例では、前記元の画素集合決定モジュール61は、前記符号化されるブロックに隣接する参照行または参照例内の再構成画素を前記元の画素集合として決定するように構成される。
【0098】
上記の装置の実施例に関する説明は、上記の方法の実施例に関する説明と同様であり、方法の実施例と同様の有益な効果を有する。本出願の装置の実施例に開示されていない技術的詳細については、本願の方法の実施例の説明を参照することによって理解できる。
【0099】
なお、本願実施例では、上記の情報処理方法が、ソフトウェア機能モジュールの形で実行され、独立した製品として販売または使用される場合、コンピュータ可読記憶媒体に記憶されることもできる。このような理解に基づき、本願実施例の技術的解決策の本質的な部分、すなわち、関連技術に貢献のある部分は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、1つの記憶媒体に記憶され、電子機器(携帯電話、タブレットコンピュータ、パーソナルコンピュータ、携帯情報端末、ナビゲーター、デジタル電話、ビデオ電話、テレビ、感知機器、サーバなどであり得る)に、本願の各実施例に記載の方法の全部または一部を実行させるためのいくつかの命令を含む。上記の記憶媒体は、Uディスク、モバイルハードディスク、読み取り専用メモリ(ROM:Read Only Memory)、磁気ディスク、または光ディスクなど、プログラムコードを記憶することができる様々な媒体を含む。このように、本願実施例は、特定のハードウェアおよびソフトウェアの組み合わせに限定されない。
【0100】
本願実施例は、メモリと、プロセッサとを備える電子機器を提供し、前記メモリは、プロセッサで実行可能なコンピュータプログラムを記憶するように構成され、前記プロセッサは、前記プログラムを実行するときに、上記した実施例による情報処理方法におけるステップを実現する。
【0101】
本願実施例は、コンピュータプログラムが記憶されたコンピュータ可読記憶媒体を提供し、当該コンピュータプログラムがプロセッサによって実行されるときに、上記の実施例による情報処理方法におけるステップを実現する。
【0102】
ここで、記憶媒体および機器の実施例に関する上記の説明は、上記の方法の実施例に関する説明と同様であり、方法の実施例と同様の有益な効果を有することを指摘されたい。本願の記憶媒体および機器の実施例に開示されていない技術的詳細については、本願の方法の実施例の説明を参照することによって理解できる。
【0103】
説明すべきこととして、
図7は、本願実施例による電子機器のハードウェアエンティティの概略図であり、
図7に示されるように、前記電子機器700は、メモリ701と、プロセッサ702とを備え、前記メモリ701は、プロセッサ702で実行可能なコンピュータプログラムを記憶するように構成され、前記プロセッサ702は、前記プログラムを実行するときに、上記の実施例による情報処理方法におけるステップを実現するように構成される。
【0104】
説明すべきこととして、メモリ701は、プロセッサ702によって実行可能な命令およびアプリケーションを記憶するように構成され、プロセッサ702および電子機器700の各モジュールによって処理されるデータまたは処理済のデータ(例えば、画像データ、オーディオデータ、音声通信データ、およびビデオ通信データなど)をキャッシュすることもできる、フラッシュメモリ(FLASH)またはランダムアクセスメモリ(RAM:Random Access Memory)によって実現できる。
【0105】
本明細書全体で言及される「1つの実施例」または「一実施例」は、実施例に相関する特定の特徴、構造、または特性が、本出願の少なくとも1つの実施例に含まれることを意味することを理解されたい。したがって、本明細書における「1つの実施例において」或「一実施例では」は、必ずしも同じ実施例を指すとは限らない。さらに、これらの特定の特徴、構造、または特性は、任意の適切な方式で、1つまたは複数の実施例に組み合わせることができる。本願の様々な実施例において、上記の各プロセスのシーケンス番号の大きさは、実行シーケンスを意味するものではなく、各プロセスの実行シーケンスは、その機能と内部論理によって決定されるべきであり、本願実施例の実施プロセスに対するいかなる制限も構成すべきではないことを理解されたい。上述の本願実施例の番号は、実施例の優劣を表すものではなく、説明の便宜を図るためのものである。
【0106】
なお、本明細書において、「備える」、「含む」という用語、またはその任意の他の変形は、非排他的な包含をカバーすることを意図するので、一連の要素を含むプロセス、方法、物品または装置は、それらの要素だけでなく、明示的に列挙されていない他の要素、または、そのようなプロセス、方法、物品、または装置の固有の要素をさらに含む。特に限定されていない場合、「...を含む」という文で定義された要素は、当該要素を含むプロセス、方法、物品、または装置に、他の同じ要素があることを排除するものではない。
【0107】
本出願で提供されるいくつかの実施例では、開示された機器および方法は、他の方式で実現されてもよいことを理解されたい。以上に説明した機器の実施例は単なる例示的なものであり、例えば、前記ユニットの分割は、論理的な機能の分割に過ぎない。実際の実現では、別の分割方法が存在でき、例えば、複数のユニットまたはコンポーネントを組み合わせるか別のシステムに統合することができ、または一部の特徴を無視するか実行しないことができる。さらに、図示または説明された各構成要素間の相互結合または直接結合または通信接続は、いくつかのインターフェース、機器またはユニットを介した間接な結合または通信接続であり得、電気的、機械的または他の形態であり得る。
【0108】
前記分離部材として説明されたユニットは、物理的に分離されてもされていなくてもよく、ユニットとして表示された部材は、物理的なユニットであってもなくてもよい。つまり、前記ユニットは、1箇所に配置されてもよいし、複数のネットワークユニットに分散されてもよく、実際の必要に応じて、そのうちの一部またはすべてのユニットを選択して、本実施例の技術案の目的を実現することができる。
【0109】
また、本発明の各実施例における各機能ユニットは、すべて1つの第2処理ユニットに統合されてもよく、各ユニットが個別に1つのユニットとして使用されてもよく、2つ以上のユニットが1つのユニットに統合されてもよい。前記統合されたユニットは、ハードウェアの形で、またはハードウェアとソフトウェア機能ユニットの組み合わせの形で具現することができる。
【0110】
当業者なら自明であるか、上記方法の実施例を実現する全部または一部のステップは、プログラム命令に関連するハードウェアによって完了することができ、前記プログラムは、コンピュータ可読記憶媒体に記憶することができ、前記プログラムが実行されるとき、上記方法の実施例のステップを実行し、前記記憶媒体は、リムーバブルストレージ、読み取り専用メモリ(ROM:Read-Only Memory)、磁気メモリまたは光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。
【0111】
あるいは、本出願の上記の統合されたユニットは、ソフトウェア機能モジュールの形で実現され且つ独立した製品として販売または使用される場合、コンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づき、本願実施例の技術的解決策の本質的な部分、すなわち、関連技術に貢献のある部分は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、1つの記憶媒体に記憶され、電子機器(携帯電話、タブレットコンピュータ、パーソナルコンピュータ、携帯情報端末、ナビゲーター、デジタル電話、ビデオ電話、テレビ、感知機器、サーバなどであり得る)に、本願の各実施例に記載の方法の全部または一部を実行させるためのいくつかの命令を含む。前述した記憶媒体は、リムーバブルストレージ、ROM、RAM、磁気メモリまたは光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。
【0112】
上記の内容は、本願の具体的な実施形態に過ぎず、本願の保護範囲はこれに限定されない。当業者は、本願で開示された技術的範囲内で容易に想到し得る変更または置換は、すべて本願の保護範囲内に含まれるべきである。したがって、本出願の保護範囲は、特許請求の保護範囲に従うものとする。
【産業上の利用可能性】
【0113】
本願実施例では、符号化されるブロックの元の画素集合から、属性情報がスクリーニング条件を満たす元の画素を選択して、ターゲット画素集合を取得し、前記ターゲット画素集合の各元の画素の属性情報に基づいて、前記符号化されるブロックに対して符号化処理を実行する。このように、選択された元の画素の一部の属性情報に基づいて、前記符号化されるブロックに対して符号化処理を実行することにより、符号化処理の計算の複雑さを軽減させ、それにより、ビデオ符号化効率を向上させ、さらに、ユーザが視聴するビデオの再生の流暢さを向上させることができる。
【手続補正書】
【提出日】2023-11-29
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
復号化器によって実行される、情報処理方法であって、
現在の復号化される処理ブロックの画素集合を決定することと、
前記画素集合内の画素の属性情報に基づいて、前記画素集合から少なくとも1つの画素を選択して、ターゲット画素集合を取得することと、
前記属性情報に基づいて、前記ターゲット画素集合内の再構成画素に対してフィルタリング処理を実行して、フィルタリングされたターゲット画素集合を取得することと、
前記フィルタリングされたターゲット画素集合内の再構成画素の属性情報に基づいて、予測モデルを構築することであって、前記予測モデルは、前記処理ブロック内の2つまたは複数の画像成分間の予測関係を表すために使用される、ことと、
前記予測モデルに基づいて、前記処理ブロックの予測値を決定することと、
前記処理ブロックの予測値に基づいて、前記処理ブロックを復号化することと、を含み、
前記現在の復号化される処理ブロックの画素集合を決定することは、
前記処理ブロックの外側の少なくとも1つの再構成画素を、前記画素集合内の画素として決定することを含み、
前記フィルタリングされたターゲット画素集合内の再構成画素の属性情報に基づいて、予測モデルを構築することは、
前記フィルタリングされたターゲット画素集合内の再構成画素の色度成分および輝度成分に基づいて、予測モデルの第1パラメータのパラメータ値および第2パラメータのパラメータ値を決定することを含み、前記予測モデルは、前記第1パラメータと第2パラメータによって表される線形モデルであり、
前記処理ブロックの予測値に基づいて、前記処理ブロックを復号化することは、
前記処理ブロックの予測値と残差ブロックとを合算して、復号化されたビデオブロックを形成することを含む、前記情報処理方法。
【請求項2】
前記画素集合は、前記処理ブロックの上側に隣接する再構成画素の少なくとも1つの行、および/または、前記処理ブロックの左側に隣接する再構成画素の少なくとも1つの列を含む、
請求項1に記載の情報処理方法。
【請求項3】
前記属性情報は、少なくとも、前記画素集合内の再構成画素と前記処理ブロックとの間の位置関係を含む、
請求項2に記載の情報処理方法。
【請求項4】
前記画素集合内の画素の属性情報に基づいて、前記画素集合から少なくとも1つの画素を選択して、ターゲット画素集合を取得することは、
前記画素集合内の再構成画素の属性情報に基づいて、前記画素集合内の再構成画素と前記処理ブロックとの間の位置関係を決定することと、
前記位置関係に基づいて、ターゲット画素集合を取得することと、を含む、
請求項3に記載の情報処理方法。
【請求項5】
前記画素集合内の画素の属性情報に基づいて、前記画素集合から少なくとも1つの画素を選択して、ターゲット画素集合を取得することは、
前記属性情報に基づいて、前記処理ブロックの上側に隣接する再構成画素の少なくとも1つの行から、1つまたは複数の再構成画素を選択し、および/または、前記属性情報に基づいて、前記処理ブロックの左側に隣接する再構成画素の少なくとも1つの列から、1つまたは複数の再構成画素を選択することを含み、
前記ターゲット画素集合は、選択された再構成画素を含む、
請求項2に記載の情報処理方法。
【請求項6】
前記属性情報に基づいて、前記処理ブロックの上側に隣接する再構成画素の少なくとも1つの行から、1つまたは複数の再構成画素を選択することは、
前記属性情報に基づいて、前記処理ブロックの上側に隣接する再構成画素の少なくとも1つの行に対してダウンサンプリング処理を実行して、1つまたは複数の再構成画素を取得することを含み、
前記属性情報に基づいて、前記処理ブロックの左側に隣接する再構成画素の少なくとも1つの列から、1つまたは複数の再構成画素を選択することは、
前記属性情報に基づいて、前記処理ブロックの左側に隣接する再構成画素の少なくとも1つの列に対してダウンサンプリング処理を実行して、1つまたは複数の再構成画素を取得することを含む、
請求項5に記載の情報処理方法。
【請求項7】
前記フィルタリング処理は、ダウンサンプリング処理である、
請求項1に記載の情報処理方法。
【請求項8】
前記フィルタリング処理の入力は、前記再構成画素と、前記再構成画素に隣接する1つまたは複数の再構成画素とを含む、
請求項1に記載の情報処理方法。
【請求項9】
符号化器によって実行される、情報処理方法であって、
現在のビデオフレーム内の符号化されるブロックの画素集合を決定することと、
前記画素集合内の画素の属性情報に基づいて、前記画素集合から少なくとも1つの画素を選択して、ターゲット画素集合を取得することと、
前記属性情報に基づいて、前記ターゲット画素集合内の再構成画素に対してフィルタリング処理を実行して、フィルタリングされたターゲット画素集合を取得することと、
前記フィルタリングされたターゲット画素集合内の再構成画素の属性情報に基づいて、予測モデルを構築することであって、前記予測モデルは、前記符号化されるブロック内の2つまたは複数の画像成分間の予測関係を表すために使用される、ことと、
前記予測モデルに基づいて、前記符号化されるブロックの予測値を決定することと、
前記符号化されるブロックの予測値に基づいて、前記符号化されるブロックに対して符号化処理を実行することと、を含み、
前記現在のビデオフレーム内の符号化されるブロックの画素集合を決定することは、
前記符号化されるブロックの外側の少なくとも1つの再構成画素を、前記画素集合内の画素として決定することを含み、
前記フィルタリングされたターゲット画素集合内の再構成画素の属性情報に基づいて、予測モデルを構築することは、
前記フィルタリングされたターゲット画素集合内の再構成画素の色度成分および輝度成分に基づいて、予測モデルの第1パラメータのパラメータ値および第2パラメータのパラメータ値を決定することを含み、前記予測モデルは、前記第1パラメータと第2パラメータによって表される線形モデルであり、
前記符号化されるブロックの予測値に基づいて、前記符号化されるブロックに対して符号化処理を実行することは、
前記符号化されるブロックの予測値に対応する残差情報を計算して、符号化されたビデオブロックを形成することを含む、前記情報処理方法。
【請求項10】
請求項1ないし8のいずれか一項に記載の情報処理方法を実行するように構成される、復号化器。
【請求項11】
請求項9に記載の情報処理方法を実行するように構成される、符号化器。