特表2024-523004 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ マイクロソフト　テクノロジー　ライセンシング，エルエルシーの特許一覧

特表2024-523004画像コーデック

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-06-25

(54)【発明の名称】画像コーデック

(51)【国際特許分類】

H04N 19/102 20140101AFI20240618BHJP

H04N 19/147 20140101ALI20240618BHJP

【ＦＩ】

H04N19/102

H04N19/147

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023574804

(86)(22)【出願日】2022-05-11

(85)【翻訳文提出日】2023-12-05

(86)【国際出願番号】 US2022028653

(87)【国際公開番号】W WO2022260812

(87)【国際公開日】2022-12-15

(31)【優先権主張番号】202110655980.9

(32)【優先日】2021-06-11

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】314015767

【氏名又は名称】マイクロソフトテクノロジーライセンシング，エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎修

(72)【発明者】

【氏名】リー，ビン

(72)【発明者】

【氏名】リー，ジャハオ

(72)【発明者】

【氏名】ルー，ヤン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MD02

5C159ME11

5C159TA57

5C159TC08

5C159TC18

5C159UA02

5C159UA05

(57)【要約】

本願で記載されている主題の実施に従って、画像コーデックのためのソリューションが提供される。符号化ソリューションでは、対象画像のコード化された表現が取得され、コード化された表現に基づいて、デコーダに関連した目的関数が決定される。更に、パラメータのグループの調整のグループが、パラメータのグループによる目的関数の変化の度合いのグループと閾度との間の比較に基づいて決定され、コード化された表現におけるパラメータのグループは、調整されたコード化された表現を取得するために、調整のグループに基づいて調整される。更に、対象画像の対象ビットストリームは、調整されたコード化された表現に基づいて取得される。このようにして、より効率的な画像符号化が実行され得る。

【特許請求の範囲】

【請求項1】

画像符号化の方法であって、
対象画像のコード化された表現を取得することであり、前記コード化された表現は、前記対象画像に対応するパラメータのグループの値を含む、ことと、
前記コード化された表現に基づいて、デコーダに関連した目的関数を決定することであり、前記デコーダは、前記コード化された表現に対応するビットストリームを復号するために使用される、ことと、
前記パラメータのグループによる前記目的関数の変化の度合いのグループと閾度との間の比較に基づいて、前記パラメータのグループの調整のグループを決定することと、
調整されたコード化された表現を取得するために、前記調整のグループに基づいて前記パラメータのグループを調整することと、
前記調整されたコード化された表現に基づいて、前記対象画像の対象ビットストリームを取得することと
を有する方法。

【請求項2】

前記パラメータのグループの前記調整のグループを決定することは、
第1パラメータによる前記目的関数の第1変化度合いが前記閾度以下であるとの決定に応答して、前記第１パラメータの調整をゼロに決定することを有する、
請求項１に記載の方法。

【請求項3】

前記パラメータのグループの前記調整のグループを決定することは、
第２パラメータによる前記目的関数の第２変化度合いが前記閾度よりも大きいとの決定に応答して、前記第２パラメータの調整を前記第２変化度合いに比例させるように、前記第２変化度合いに基づいて前記第２パラメータの調整を決定することを有する、
請求項１に記載の方法。

【請求項4】

前記第２変化度合いに基づいて前記第２パラメータの調整を決定することは、
前記変化の度合いのグループの中で最大の変化度合いを決定することと、
前記最大の変化度合いに対する前記第２変化度合いの比に基づいて、当該調整を前記比に比例させるように、当該調整を決定することと
を有する、
請求項３に記載の方法。

【請求項5】

前記閾度は、前記変化の度合いのグループの中の最大の変化度合いと所定の係数との積に基づいて決定される、
請求項１乃至４のうちいずれか一項に記載の方法。

【請求項6】

前記コード化された表現は、第１のコード化された表現を有し、
前記第１のコード化された表現は、エンコーダを使用して前記対象画像を処理することによって生成される、
請求項１に記載の方法。

【請求項7】

前記コード化された表現は、第２のコード化された表現を有し、
前記第２のコード化された表現は、前記第１のコード化された表現の分布特性を示すように、前記第１のコード化された表現に基づいて生成される、
請求項６に記載の方法。

【請求項8】

前記コード化された表現は、前記対象画像内の複数の位置に対応する複数の部分的なコード化された表現を有し、
前記対象ビットストリームを取得することは、前記複数の位置の中の所与の位置に関して、
前記第２のコード化された表現に基づいて、平均値を示す第１エントロピ符号化パラメータを決定することであり、前記第１エントロピ符号化パラメータはコンテキストパラメータと無関係であり、前記コンテキストパラメータは、前記複数の位置の中の所与の位置に関連した関連位置のグループのコード化された表現を示すために使用される、ことと、
前記第１エントロピ符号化パラメータに少なくとも基づいて、前記対象ビットストリームのうちの前記所与の位置に対応する部分ビットストリームを生成することと
を有する、
請求項７に記載の方法。

【請求項9】

前記第１エントロピ符号化パラメータに少なくとも基づいて、前記対象ビットストリームのうちの前記所与の位置に対応する前記部分ビットストリームを生成することは、
前記第２のコード化された表現及び前記コンテキストパラメータに基づいて、分散を示す第２エントロピ符号化パラメータを決定することと、
前記第１エントロピ符号化パラメータ及び前記第２エントロピ符号化パラメータに基づいて、前記対象ビットストリームのうちの前記所与の位置に対応する前記部分ビットストリームを生成することと
を有する、
請求項８に記載の方法。

【請求項10】

前記対象ビットストリームは、
前記コード化された表現を量子化するための量子化パラメータを示す第１サイド情報、又は
前記対象ビットストリームから生成された復号化画像に後処理を実行するための後処理パラメータを示す第２サイド情報
の少なくとも１つにより符号化される、
請求項１に記載の方法。

【請求項11】

前記調整のグループに基づいて前記パラメータのグループを調整することは、
前記目的関数に関連した収束条件が満足されるまで、前記コード化された表現を繰り返し調整することを有する、
請求項１に記載の方法。

【請求項12】

画像復号化の方法であって、
対象画像に対応する対象ビットストリームを受信することと、
前記対象ビットストリームから画像を復号することと
を有し、
前記対象ビットストリームは、
前記対象画像のコード化された表現を取得することであり、前記コード化された表現は、前記対象画像に対応するパラメータのグループの値を含む、ことと、
前記コード化された表現に基づいて、デコーダに関連した目的関数を決定することであり、前記デコーダは、前記コード化された表現に対応するビットストリームを復号するために使用される、ことと、
前記パラメータのグループによる前記目的関数の変化の度合いのグループと閾度との間の比較に基づいて、前記パラメータのグループの調整のグループを決定することと、
調整されたコード化された表現を取得するために、前記調整のグループに基づいて前記パラメータのグループを調整することと、
前記調整されたコード化された表現に基づいて、前記対象画像の前記対象ビットストリームを取得することと
に基づいて、生成される、
方法。

【請求項13】

処理ユニットと、前記処理ユニットへ結合され、命令を記憶しているメモリと、を有するデバイスであって、
前記命令は、前記処理ユニットによって実行される場合に、前記デバイスに、請求項１乃至１２のうちいずれか一項に記載の方法を実行させる、
デバイス。

【請求項14】

コンピュータ記憶媒体に有形に記憶されるコンピュータプログラムであって、デバイスによって実行される場合に、前記デバイスに、請求項１乃至１２のうちいずれか一項に記載の方法を実行させるマシン実行可能な命令を有するコンピュータプログラム。

【発明の詳細な説明】

【背景技術】

【0001】

画像圧縮は、信号処理及びコンピュータビジョンの分野において重要かつ根本的なトピックである。高品質のマルチメディアコンテンツのアプリケーションの普及につれて、人々は、画像圧縮効率を向上させて、伝送帯域幅又は記憶オーバーヘッドを減らしたいと望んでいる。

【0002】

近年、機械学習に基づいた画像圧縮方法が高い関心を集めており、従来の圧縮方法の圧縮性能に近い圧縮性能を達成している。しかし、従来のコーデックソリューションとは異なり、それには、異なる画像ごとに効率的なコーデックを求めるための、機械学習に基づいた画像圧縮のための汎用的な最適化方法がない。

【発明の概要】

【0003】

【0004】

この概要は、詳細な説明で更に後述される概念の一部を簡略化された形で紹介するために与えられている。この概要は、請求されている主題の重要な特徴又は本質的な特徴を特定することを意図するものでも、請求されている主題の範囲を限定するために使用されることを意図するものでもない。

【図面の簡単な説明】

【0005】

【図1】本願で記載される主題の複数の実施を実装することができるコンピューティング環境のブロック図を表す。

【図2】本願で記載される主題のいくつかの実施に従う画像符号化のプロセスのフローチャートを表す。

【図3】本願で記載される主題のいくつかの実施に従う画像符号化の模式図を表す。

【図4】本願で記載される主題のいくつかの実施に従うエントロピモデルの模式図を表す。

【図5】本願で記載される主題のいくつかの実施に従う符号化ソリューション及び他のソリューションの性能どうしの比較の模式図を表す。

【図6】本願で記載される主題のいくつかの実施に従う画像復号化のプロセスのフローチャートを表す。

【図7】本願で記載される主題を実装することができるデバイスの例の概略ブロック図を表す。

【発明を実施するための形態】

【0006】

図面にわたって、同じ又は類似した参照符号は、同じ又は類似した要素を参照する。

【0007】

本願で記載される主題について、これより、いくつかの実施例を参照して説明する。これらの実施例は、本願で記載される主題の範囲に対する如何なる限定も示唆せずに、当業者が主題をより良く理解して実施することを可能にするためにのみ説明される、ことが理解されるべきである。

【0008】

本明細書で使用されるよう、「含む」という用語及びその変形は、「含むが限られない」との意味を持った非限定的な用語として読まれるべきである。「～に基づく」という用語は、「少なくとも～に基づく」として呼ばれるべきである。「１つの実施」及び「実施」という用語は、「少なくとも１つの実施」と呼ばれるべきである。「他の実施」という用語は、「少なくとも１つの他の実施」と呼ばれるべきである。「第１」、「第２」などの用語は、異なる又は同じオブジェクトを指し得る。明示的及び暗黙的な他の定義は以下に含まれ得る。

【0009】

明細書で使用されるように、「ニューラルネットワーク」という用語は、入力を処理して、対応する出力を供給することができ、それは、通常、入力層、出力層、及び入力層と出力層との間にある１つ以上の隠れ層を含む。ディープラーニングアプリケーションで使用されるニューラルネットワークは、通常、ネットワークの深さを与えるよう複数の隠れ層を含む。ニューラルネットワークモデルの個々の層は、先行する層の出力が後続の層の入力として与えられるように順に接続されており、このとき、入力層は、ニューラルネットワークの入力を受け取り、一方、出力層の出力は、ニューラルネットワークの最終の出力となる。ニューラルネットワークの各層は、１つ以上のノード（処理ノード又はニューロンとも呼ばれる。）を含み、各ノードは、先行する層からの入力を処理する。テキスト中、「ニューラルネットワーク」、「モデル」、「ネットワーク」、及び「ニューラルネットワークモデル」という用語は同義的に使用されることがある。

【0010】

上で議論されたように、高品質のマルチメディアコンテンツは人々の生活の全ての側面に広く適用されているので、人々は、画像コーデックの効率を向上させて、ネットワーク伝送及び記憶のコストを削減したいと望んでいる。

【0011】

人工知能技術の発展に伴って、機械学習に基づいた画像コーデック技術は、ますます関心が高まっている。人々は、エンコーダ及びデコーダを訓練することによって、画像符号化及び復号化を実現することができる。現在、多くの研究は、効率的な画像圧縮を達成するためにどのようにネットワークアーキテクチャを設計すべきかに焦点を当てている。しかし、そのような最適化から得られるエンコーダは、通常、異なる画像ごとに効率的な圧縮を行うのが難しく、このことは、モデルの性能及び汎用性に大きな影響を与えることになる。

【0012】

本願で記載されている主題の実施に従って、画像コーデックのためのソリューションが提供される。コーデックソリューションでは、対象画像のコード化された表現が取得され、コード化された表現は、対象画像に対応するパラメータのグループの値を含み得る。例えば、そのようなコード化された表現は、訓練された機械学習に基づいたエンコーダが対象画像を処理することによって、取得され得る。

【0013】

更に、コード化された表現に基づいて、デコーダに関連した目的関数が決定され、デコーダは、コード化された表現に対応するビットストリームを復号するために使用される。例えば、そのようなデコーダは、機械学習に基づいたコーデックにおける復号化部分であることができる。

【0014】

目的関数は、コード化された表現を調整するために更に使用される。具体的に、パラメータのグループの調整のグループが、パラメータのグループによる目的関数の変化の度合いのグループと閾度との間の比較に基づいて決定され得る。そのような変化の度合いは、パラメータ勾配とも呼ばれる。異なるパラメータ勾配を閾勾配と比較することによって、本願で記載される主題の実施は、適応的なパラメータ調整を実現することができる。

【0015】

更に、パラメータのグループは、調整されたコード化された表現を取得し、更には、対象画像の対象ビットストリームを取得するために、調整のグループに基づいて調整される。

【0016】

それによって、本願で記載される主題の実施は、目的関数を利用して、コード化された表現の直接的な最適化を達成し、更には、異なる画像ごとの適応的な最適化を達成することができる。更には、閾勾配に基づいて各パラメータの調整を決定することによって、本願で記載される主題の実施は、コード化された表現に対して実行されるべき量子化動作の特性を更に考慮して、圧縮効率を向上させることができる。本願で記載される主題の基本原理及びいくつかの実施例は、以下で図面を参照して説明される。

【0017】

［例となる環境］
図１は、本願で記載される主題の複数の実施が実装され得る環境１００のブロック図を示す。図１に示される環境１００は例示に過ぎず、本願で記載される主題の実施の機能性及び範囲に対する如何なる限定も構成すべきでない、ことが理解されるべきである。

【0018】

図１に示されるように、エンコーダ１１０は、対象画像１０５を取得し、それを対応するビットストリーム１１５に変換することができる。いくつかの実施で、対象画像１０５は、現実世界の画像を捕捉する任意のタイプの画像捕捉デバイスによって捕捉された画像を有しても、又はそのような画像自体であってもよい。あるいは、対象画像１０５は、任意のタイプの画像生成デバイスによって生成された画像であってもよい。

【0019】

画像コーディングの分野において、「ピクチャ」、「フレーム」及び「画像」という用語は類義語として使用されることがある、ことが理解されるべきである。画像コーディング（あるいは、通常、コーディングと呼ばれる。）は２つの部分、すなわち、画像符号化及び画像復号化を含む。画像符号化はソース側で実行され、通常は、ビデオ画像を表現するためのデータ量を減らすために（より効率的な記憶及び／又は伝送のために）生のビデオ画像を処理（例えば、圧縮）することを含む。画像復号化はあて先側で実行され、通常は、画像を再構築するためにエンコーダに対して逆の処理を含む。符号化部分及び復号化部分はコーデックと総称される。

【0020】

図１に示されるように、復号化デバイス１２０は、ビットストリーム１１５を受け取り、復号化によって復号化画像１２５を取得し得る。いくつかの実施で、符号化デバイス１１０及び復号化デバイス１２０は異なるデバイスであってよく、ビットストリーム１１５は、例えば、符号化デバイス１１０から復号化デバイス１２０へ通信伝送を介して送信されてよい。そのようなビットストリーム１１５は、メッセージなどの適切なフォーマットにカプセル化されてもよく、かつ／あるいは、通信リンク又は通信ネットワークを介して伝送されるように任意の伝送コーディング又は処理を使用する。

【0021】

図１は符号化デバイス１１０及び復号化デバイス１２０を独立したデバイスとして示しているが、デバイス実施形態は、符号化デバイス１１０及び復号化デバイス１２０又は対応する機能を同時に有してもよい。そのような実施形態では、符号化デバイス１１０又は対応する機能及び復号化デバイス１２０又は対応する機能は、同じハードウェア及び／又はソフトウェア、あるいは、異なるハードウェア及び／又はソフトウェア、あるいは、それらの任意の組み合わせによって実施されてよい。

【0022】

画像符号化及び画像復号化のプロセスについて、以下で詳細に説明する。

【0023】

［符号化プロセス］
図２は、本願で記載される主題のいくつかの実施に従う画像符号化プロセス２００のフローチャートを示す。プロセス２００は、例えば、図１の符号化デバイス１１０によって実施され得る。

【0024】

図２に示されるように、２０２で、符号化デバイス１１０は、対象画像１０５のコード化された表現を取得し、コード化された表現は、対象画像１０５に対応するパラメータのグループの値を含む。

【0025】

いくつかの実施で、コード化された表現は、適切な符号化技術によって取得された初期のコード化された表現であってよい。例えば、コード化された表現は、任意の適切に訓練された機械学習に基づいたエンコーダを使用することによって取得された潜在表現（latent representation）であってよい。他の例として、コード化された表現は、他の方法でも生成されてよく、例えば、そのようなコード化された表現は更に、ランダム表現のグループであってもよい。

【0026】

図３は、本願で記載される主題のいくつかの実施に係る画像符号化の模式図３００を示す。表されているように、対象画像１０５（ｘと表記される。）は、機械学習に基づいたエンコーダ３０２へ供給され得、エンコーダ３０２は、対象画像１０５を第１のコード化された表現ｙに変換し得る。

【0027】

例として、第１のコード化された表現ｙは：

ｙ＝ｇ_ａ（ｘ｜φ_ｇ）（１）

と表され得る。ここで、ｇ_ａ（・）は、エンコーダ３０２の解析変換を表し、φ_ｇは、エンコーダ３０２のパラメータを表す。

【0028】

いくつかの実施で、第１のコード化された表現ｙは、対象画像１０５内の異なるエリアに対応するデータを含み得る。例えば、対象画像１０５は、パラメータの対応するグループの値を得るようエンコーダ３０２へ入力され得る。例えば、対象画像１０５は１０２４×７６８ピクセルサイズであってよく、エンコーダ３０２は、対象画像１０５に基づいて６４×４８×１２８個のパラメータの値を生成することができ、このとき、１２８はデータの次元を表す。このようにして、１２８次元のデータの各グループは、対象画像１０５内の１６×１６ピクセルサイズの画像ブロックに対応し得る。パラメータの前述の数は一例にすぎず、本願で記載される主題を限定する意図はない、ことが理解されるべきである。

【0029】

図３に示されるように、いくつかの実施で、第１のコード化された表現ｙはハイパーエンコーダ３１４へ更に供給されてもよく、次いで、第２のコード化された表現ｚが取得され得る。第２のコード化された表現ｚは、第１のコード化された表現ｙの分布特性を示すために使用され得る。そのような分布特性は、第１のコード化された表現ｙの異なる要素の間の空間依存性を示すために使用され得る。

【0030】

例として、第２のコード化された表現ｚは：

ｚ＝ｈ_ａ（ｙ｜φ_ｈ）（２）

と表され得る。ここで、ｈ_ａ（・）は、ハイパーエンコーダ３１４の変換を表し、φ_ｈは、ハイパーエンコーダ３１４のパラメータを表す。

【0031】

ハイパーエンコーダ３１４及び後述されるハイパーデコーダ３２６の具体的な実施については、文献「Variational Image Compression with a Scale Hyperprior」（Johannes Balle, D. Minnen, S. Singh, S. J. Hwang, N. Johnson，“Variational Image Compression with a Scale Hyperprior”，Intl. Conf. on Learning Representations (ICLR)，pp. 1-23，２０１８）を参照されたく、詳細はここでは述べられます。

【0032】

２０４で、符号化デバイス１１０は、コード化された表現に基づいて、デコーダに関連した目的関数を決定し、デコーダは、コード化された表現に対応するビットストリームを復号するために使用される。いくつかの実施で、デコーダは、エンコーダに対応する復号化プロセスを実現するために、上述された機械学習に基づいたエンコーダに対応し得る。

【0033】

図３を例とする。符号化プロセスにおいて、第１のコード化された表現ｙが、量子化を実行して量子化結果ｙ_ｑを得るよう量子化ユニット３０４へ供給され、算術エンコーダ３０６によりビットストリーム３０８として符号化される。それに応じて、復号化プロセスにおいては、ビットストリーム３０８は、算術デコーダ３１０により
（外１）

として復号化され、逆量子化ユニット３１２により
（外２）

に変換され得る。デコーダ３３０は、逆量子化結果
（外３）

に基づいて復号化画像３３２（
（外４）

と表記。）を取得し、それによって復号化を実現できる。

【0034】

いくつかの実施で、コード化された表現が第２のコード化された表現ｚを更に含む場合に、符号化プロセスにおいて、同様に、第２のコード化された表現ｚは、量子化ユニット３１６及び算術エンコーダ３１８によりビットストリーム３２０に変換され得る。それに応じて、復号化プロセスにおいては、ビットストリーム３２０は、算術デコーダ３２２及び逆量子化プロセス３２４により逆量子化結果
（外５）

を取得し、次いで、算術エンコーダ３０６及び算術デコーダ３１０のためのエントロピパラメータを決定するために使用されるように、ハイパーデコーダ３２６によって処理された後にエントロピモデル３２８に入力され得る。いくつかの例において、そのようなエントロピパラメータは、平均値を示すパラメータ及び分散を示すパラメータを含み得る。

【0035】

いくつかの例において、デコーダに関連した目的関数（損失関数とも呼ばれる。）は、コード化された表現に基づいて生成されたビットストリームの期待されるサイズ、及びビットストリームに基づいて生成された復号化画像と対象画像との間の差、のうちの少なくとも１つに基づいて、決定され得る。具体的に、図３の例では、デコーダに関連した目的関数は：

【数1】

として決定され得る。ここで、
（外６）

は、第１のコード化された表現ｙに対応する、つまり、ビットストリーム３０８のサイズに関連した符号化レートを示すために使用され、
（外７）

は、第２のコード化された表現ｚの、つまり、ビットストリーム３２０のサイズに関連した符号化レートを示すために使用され、
（外８）

は、対象画像３０５とビットストリーム３０８及びビットストリーム３２０により生成された復号化画像３３２との間の差を表し、
（外９）

は、ｙ及びｚの符号化によって夫々必要とされるビット数の推定を表す。λは重み係数を表す。

【0036】

目的関数（３）は、符号化圧縮比を高めて、画像歪みが低減されるよう意図される、ことが理解されるべきである。更には、λの値を調整することによって、符号化圧縮比の向上と画像歪みの低減との間のバランスをとることができる。

【0037】

依然として図２を参照して、２０６で、符号化デバイス１１０は、パラメータのグループによる目的関数の変化の度合いのグループと閾度との間の比較に基づいて、パラメータのグループの調整のグループを決定する。

【0038】

いくつかの実施で、符号化デバイス１１０は、勾配逆伝播によってパラメータのグループ内の各パラメータに関連した目的関数の勾配値、すなわち、各パラメータによる目的関数の変化の度合いを計算し得る。

【0039】

フォワードパスでは、量子化ユニット３０４によって実行される量子化は、式（４）：

ｙ_ｑ＝Ｑ（ｙ）＝［ｙ－μ］（４）

に示される丸めにより実施される。ここで、ｙ_ｑは丸め演算を表す。勾配逆伝播を実施するために、勾配バックワードパスにおいて、式（４）は、勾配を計算するための恒等式によって置換される。これは、式（５）によって示されるとおりである：

【数2】

【0040】

第１のコード化された表現ｙを例とする。勾配逆伝播に基づいて、第１のコード化された表現ｙにおける各パラメータに関連した目的関数の勾配が求められ得る。

【0041】

量子化プロセスは式（４）に記載される丸めを使用するので、一方では、符号化結果は、小さいステップサイズを用いて特定のパラメータが調整される場合には、影響を及ぼされないことがある。例えば、特定のパラメータの値が１．１１から１．１２に調整される場合に、値は丸め後に常に１であるから、０．０１の調整は如何なる変化も引き起こさない。

【0042】

他方で、いくつかのわずかな調整は、符号化結果に大きな影響を引き起こすこともある。例えば、特定のパラメータの値が１．１１から１．１２に調整される場合に、それは、調整前では１に量子化され、調整後には２に量子化される。これは、符号化効率の低下の可能性を生じさせることになる。

【0043】

均一なステップサイズが前述の問題を引き起こすのを防ぐために、いくつかの実施で、符号化デバイス１１０は更に、各パラメータの勾配を閾勾配と比較し、比較結果のみに基づいて、反復中の各パラメータの調整を決定し得る。

【0044】

いくつかの実施で、パラメータのグループ内の第１パラメータの勾配が閾勾配よりも小さいか又はそれに等しい、すなわち、第１パラメータによる目的関数の第１変化度合いが閾度よりも小さい場合に、符号化デバイス１１０は、現在の反復において第１パラメータの調整をゼロとして決定し得る。

【0045】

このようにして、より小さい勾配を有するパラメータについては、符号化デバイス１１０は、わずかの調整によって引き起こされる符号化効率の低下を回避するために、当該反復においてパラメータの値を調整しなくてもよい。

【0046】

いくつかの実施で、パラメータのグループ内の第２パラメータの勾配が閾勾配よりも大きい、すなわち、第２パラメータによる目的関数の第２変化度合いが閾度よりも大きいか又はそれに等しい場合に、符号化デバイス１１０は、調整を第２変化度合いに直接比例させるように、第２変化度合いに基づいて第２パラメータの調整を決定し得る。

【0047】

このようにして、より大きい勾配を有するパラメータについては、符号化デバイス１１０は、代替的に、反復における勾配のサイズに従ってパラメータ調整のステップサイズを決定して、反復収束のプロセスを加速させることができる。

【0048】

いくつかの実施で、符号化デバイス１１０は、変化の度合いのグループの中で最大の変化度合いを決定し、調整を、最大の変化度合いに対する第２変化度合いの比に直接比例させるように、最大の変化度合いに対する第２変化度合いの比に基づいて調整を決定し得る。

【0049】

例として、符号化デバイス１１０は、パラメータのグループの勾配の中で最大勾配を決定し、各反復における最大勾配に対応するパラメータの調整を所定のステップサイズとしてセットし得る。その後、符号化デバイス１１０は、最大勾配に対応する他のパラメータの勾配の比と所定のステップサイズとの積を決定し、その積の結果を、他のパラメータが調整されるべきであるステップサイズとして決定し得る。

【0050】

いくつかの実施で、比較のための閾勾配は、パラメータのグループに関連した勾配のグループの中の最大勾配と所定の係数との積に基づいて、決定され得る。代替的に、閾勾配は、所定の勾配であってもよい。

【0051】

変化の度合いのグループの前述のサイズは、変化の度合いのグループの絶対値のサイズ、すなわち、その符号化が考慮されない勾配の絶対値のサイズを示すよう意図される、ことが理解されるべきである。

【0052】

第１のコード化された表現ｙを例とする。それは、反復において式（６）として定式化され得る：

【数3】

ここで、ｙ’_ｔは、ｙ_ｔの勾配を表し、ｔは、反復インデックスを表し、αは、所定の調整ステップを表し、βは、閾勾配を決定するための所定の係数を表し、｜ｙ’_ｔ｜_ｍａｘは、ｙ_ｔの勾配の絶対値の中の最大値を表す。

【0053】

式（６）に基づいて、最大勾配の絶対値に対する勾配の絶対値の比がβよりも大きいパラメータに関して、その調整ステップは、その比と所定のステップαとの積であり、最大勾配の絶対値に対する勾配の絶対値の比がβ以下であるパラメータに関して、それは現在の反復では調整されず、すなわち、調整はゼロに等しい。

【0054】

２０８で、符号化デバイス１１０は、調整されたコード化された表現を取得するよう調整のグループに基づいてパラメータのグループを調整する。図３を例とする。符号化デバイス１１０は、調整された第１のコード化された表現を取得するために、前述の式（６）に従って第１のコード化された表現ｙを調整する。

【0055】

いくつかの実施で、第２のコード化された表現ｚに関して、符号化デバイス１１０は、ハイパーエンコーダを使用して調整された第１のコード化された表現を処理し、新しい第２のコード化された表現を再生し得る。

【0056】

いくつかの更なる実施で、第２のコード化された表現ｚが更に、第１のコード化された表現ｙとともに一緒に最適化されてもよい。すなわち、符号化デバイス１１０は、第１のコード化された表現ｙ及び第２のコード化された表現ｚを、最適化されるべきパラメータとして取り、それらを、目的関数（３）に基づいて一緒に最適化し得る。

【0057】

共同最適化の間、符号化デバイス１１０は、ハイパーエンコーダを用いて新しい第２のコード化された表現を再生するのではなく、ステップ２０６を参照して説明されたプロセスに従って、第２のコード化された表現ｚにおけるパラメータが各反復において調整されるステップを決定し得る。

【0058】

他の実施では、第２のコード化された表現ｚに対応するビットストリーム３２０がより少ないビットを有することを考慮して、第２のコード化された表現ｚも調整されない場合がある。

【0059】

いくつかの実施で、符号化デバイス１１０は、収束条件が満足されるまで、前述のプロセスに従って第１のコード化された表現ｙ及び／又は第２のコード化された表現ｚを繰り返し調整し得る。そのような収束条件は、目的関数の変化値が所定の反復回数の後に所定の閾値よりも小さいことであってよい。

【0060】

依然として図２を参照して、ブロック２１０で、符号化デバイス１１０は、調整されたコード化された表現に基づいて、対象画像の対象ビットストリームを取得する。

【0061】

いくつかの実施で、コード化された表現の最適化の完了後、符号化デバイス１１０は、量子化ユニット及び算術エンコーダを使用することによって対象画像の対象ビットストリームを取得し得る。

【0062】

図３を例とする。符号化デバイス１１０は、調整された第１のコード化された表現ｙをビットストリームに変換するために量子化ユニット３０４及び算術エンコーダ３０６を使用してよく、更には、符号化デバイス１１０は、調整された第２のコード化された表現ｚをビットストリームに変換するために量子化ユニット３１６及び算術エンコーダ３１８を使用してよい。

【0063】

上述されたように、エントロピモデル３２８は、平均値μに関係があるエントロピ符号化パラメータ及び分散σに関係があるエントロピ符号化パラメータを決定して、算術エンコーダ３０６の符号化プロセス及び算術デコーダ３１０の復号化プロセスを導くために使用されるようにする必要がある。

【0064】

いくつかの従来のソリューションでは、エントロピモデル３２８は、平均値及び分散を決定するためにコンテキストパラメータを使用する必要があり、これにより、モデルの複雑性は増し、符号化側での並列処理は損なわれることになる。

【0065】

図４は、本願で記載される主題のいくつかの実施に係るエントロピモデルの概略図４００を示す。表されるように、エントロピモデル３２８は、分散推定部４２０及び平均推定部４３０を有する。従来のエントロピモデルとは異なり、平均推定部４３０は、平均値ｕを決定するときにコンテキストモデル４１０の出力結果に依存しない。

【0066】

具体的に、図４に示されるエントロピモデルの計算プロセスは：

【数4】

として表され得る。ここで、ｈ_ａ（・）及びｈ_ｓ（・）は、夫々、ハイパーエンコーダ３１４及びハイパーデコーダ３２６の処理プロセスを表し、φ_ｈ及びθ_ｈは、夫々、ハイパーエンコーダ３１４及びハイパーデコーダ３２６のモデルパラメータを表し、ｆ（・）は、コンテキストモデル４１０の処理プロセスを表し、ｉ_１からｉ_ｎは、ビットストリームを生成する必要が現在ある所与の位置に関連した関連位置のグループのインデックスを表し、ｅ_μ（・）及びｅ_σ（・）は、平均推定部４３０及び分散推定部４２０の処理プロセスを表し、θ_ｅμ及びθ_ｅσは、夫々、平均推定部４３０及び分散推定部４２０のモデルパラメータを表す。ｉ_１からｉ_ｎによって表される関連位置のグループは、復号化順序に基づいて現在の位置より前の他の位置を指す、ことが理解されるべきである。

【0067】

式μ＝ｅ_μ（ψ_ｈ｜θ_ｅμ）から分かるように、平均推定部４３０は、平均値を計算するときにコンテキストモデル４１０の結果にもはや依存しない。このようにして、本願で記載される主題の実施は、異なる位置での符号化プロセスの並列処理をサポートする。

【0068】

いくつかの実施で、コーデックプロセスを最適化するために、サイド情報が更に対象ビットストリームにおいて符号化され得る。図３に示されるように、サイド情報選択ユニット３３６は、符号化されるべきビットストリーム３３８においてサイド情報を決定するために使用され得る。

【0069】

いくつかの実施で、サイド情報は、コード化された表現を量子化するための量子化パラメータを示す第１サイド情報を有してよい。図３に示されるように、サイド情報選択ユニットは、量子化ステップｑを決定し、それを量子化ユニット３０４及び逆量子化ユニット３１２へ供給し、それに応じて量子化及び逆量子化を実行し得る。

【0070】

通常、機械学習に基づいたコーデックモデルでは、量子化ステップは常に１と固定され、これは圧縮比に影響を及ぼす。ビットストリームに量子化ステップを含めることによって、量子化ユニット３０４によって実行される量子化ステップは：

【数5】

と表され得る。このようにして、圧縮比は更に増大し得る。

【0071】

従って、勾配逆伝播の間、対応する勾配計算プロセス（５）は：

【数6】

と更新され得る。

【0072】

いくつかの実施で、符号化デバイス１１０は、量子化ステップｑの候補セットを探すことによって、対象画像１０５にとって適切である最適な量子化ステップを決定し得る。代替的に、量子化ステップは、エンコーダの設定パラメータとして手動で設定されてもよい。

【0073】

いくつかの実施で、サイド情報は、対象ビットストリームから生成された復号化画像に対して後処理が実行されるべきであることを示す後処理パラメータｍを示す第２サイド情報を更に含んでもよい。図３に示されるように、サイド情報選択ユニットは、後処理パラメータｍを決定し、それを、対応する後処理を実行する後処理ユニット３３４に供給し得る。後処理ユニット３３４の処理は：

【数7】

と表され得る。ここで、Ｆ（・）は、後処理ユニット３３４によって実行されるプロセスを表す。

【0074】

量子化ステップｑを決定する決定プロセスのように、符号化デバイス１１０は、後処理パラメータの候補セットを探すことによって、対象画像１０５にとって適切である後処理パラメータｍを決定し得る。代替的に、符号化動作及び復号化動作が機械学習に基づいたコーデックソリューションで符号化側で同時に実行され得ることを考慮して、符号化デバイス１１０は、入力画像１０５と復号化画像３３２との間の差に従って後処理パラメータを計算してもよい。

【0075】

例として、後処理パラメータｍは、復号化画像３３２のノイズレベルを示すことができ、後処理ユニット３３４によって実行される後処理は、ノイズ除去プロセスであることができる。ノイズレベルが高いとき、後処理ユニット３３４は、例えば、より高い強度でノイズ除去プロセスを実行してよく、対照的に、ノイズレベルが低いときには、後処理ユニット３３４は、より低い強度でノイズ除去プロセスを実行してよい。他の適切な後処理パラメータもサイド情報として符号化されてよい、ことが理解されるべきである。

【0076】

このようにして、本願で記載される主題の実施は、ビットストリームにおいてサイド情報を更に復号化して、復号化側で対応する最適化を実行し、コーデック効率を向上させ、復号化画像の品質を最適化するのを助けることができる。

【0077】

図５は、本願で記載される主題のいくつかの実施に係る符号化ソリューション及び他のソリューションの性能どうしの比較の模式図５００を更に示す。図５に示されるように、模式図５００の横軸は、ｂｐｐ（ｂｉｔｓｐｅｒｐｉｘｅｌ）を表し、縦軸は、ＰＳＮＲ（ＰｅａｋＳｉｇｎａｌｔｏＮｏｉｚｅＲａｔｉｏ）を表す。図５から分かるように、本願で記載される主題のソリューションは、圧縮比に関してＶＶＣソリューション及び文献「Learned image compression with discretized Gaussian mixture likelihoods and attention modules」で提案されているソリューションよりも明らかに優れている。

【0078】

［復号化プロセス］
図６は、本願で記載される主題のいくつかの実施に従う画像復号化プロセス６００のフローチャートを示す。プロセス６００は、例えば、図１の復号化デバイス１２０によって実施され得る。

【0079】

図６に示されるように、６０２で、復号化デバイス１２０は、対象画像に対応する対象ビットストリームを受け取る。対象ビットストリームの具体的な生成プロセスは、詳細に記載されているので、ここでは詳述されない。ブロック６０４で、復号化デバイス１２０は、対象ビットストリームから画像を復号する。

【0080】

いくつかの実施で、復号化デバイス１２０は、対象ビットストリームからサイド情報を更に復号する。いくつかの実施で、サイド情報は、コード化された表現を量子化するための量子化パラメータを示す前述の第１サイド情報を含む。

【0081】

いくつかの実施で、量子化パラメータが対象ビットストリームから復号された後、復号化デバイス１２０は、対応する逆量子化動作を実行するよう量子化パラメータを逆量子化ユニットへ送信し得る。

【0082】

いくつかの実施で、サイド情報は、対象ビットストリームから生成された復号化画像に対して後処理を実行するための後処理パラメータを示す前述の第２サイド情報を含む。

【0083】

いくつかの実施で、後処理パラメータが対象ビットストリームから復号された後、復号化デバイス１２０は、画像に対して後処理動作を実行して復号化を実行するよう後処理パラメータを後処理ユニットへ送信し得る。

【0084】

［例となるデバイス］
図７は、本願で記載される主題の実施を実装することができる例示的なデバイス７００の概略ブロック図を表す。デバイス７００は、図１の符号化デバイス１１０及び／又は復号化デバイス１２０を実装するために使用され得る。図７に示されるデバイス７００は例示に過ぎず、本願で記載される主題によって記載される実施の機能及び範囲に対する如何なる限定を構成すべきではない、ことが理解されるべきである。図７に示されるように、デバイス７００のコンポーネントは、１つ以上のプロセッサ又は処理ユニット７１０、メモリ７２０、記憶デバイス７３０、１つ以上の通信ユニット７４０、１つ以上の入力デバイス７５０、及び１つ以上の出力デバイス７６０を含み得るが、これらに限られない。

【0085】

いくつかの実施で、デバイス７００は、様々なユーザ端末又はサービス端末として実装されてよい。サービス端末は、様々なサービスプロバイダによって提供されるサーバ、大規模計算装置、などであってよい。ユーザ端末は、例えば、携帯電話、サイト、ユニット、デバイス、マルチメディアコンピュータ、マルチメディアタブレット、インターネットノード、通信機、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、パーソナル・コミュニケーション・システム（ＰＣＳ）デバイス、パーソナル・ナビゲーション・デバイス、パーソナル・デジタル・アシスタント（ＰＤＡ）、オーディオ／ビデオプレイヤー、デジタルカメラ／ビデオ、ポジショニングデバイス、テレビ受像機、ラジオ放送受信機、電子ブックデバイス、ゲーム機、又はこれらのデバイスのアクセサリ及び周辺機器から成るそれらの任意の組み合わせ、あるいはそれらの任意の他の組み合わせを含む、任意のタイプのモバイル端末、固定端末、又はポータブル端末である。また、デバイス７００は、任意のタイプのユーザ特有のインターフェース（例えば、“ウェアラブル”回路など）に対応することができる、ことも予測され得る。

【0086】

処理ユニット７１０は、物理又は仮想プロセッサであってよく、メモリ７２０に記憶されているプログラムに基づいて様々な処理を実行し得る。マルチプロセッサシステムでは、複数の処理ユニットが、デバイス７００の並列処理能力を高めるよう、コンピュータ実行可能命令を並行して実行する。処理ユニット７１０は、中央演算処理装置（ＣＰＵ）、マイクロプロセッサ、コントローラ及びマイクロコントローラとしても知られ得る。

【0087】

デバイス７００は、通常、複数のコンピュータ記憶媒体を含む。そのような媒体は、揮発性及び不揮発性媒体、リムーバブル及び非リムーバブル媒体を含むが、これらに限られない、デバイス７００によってアクセス可能な任意の達成可能な媒体であってよい。メモリ７２０は、揮発性メモリ（例えば、レジスタ、キャッシュ、ランダムアクセスメモリ（ＲＡＭ））、不揮発性メモリ（例えば、リードオンリーメモリ（ＲＯＭ）、電気的教書可能なプログラム可能リードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュ）、又はそれらの組み合わせであってよい。メモリ７２０は、１つ以上の符号化／復号化モジュール７２５を含んでよく、プログラムモジュールが、本願で記載される様々な符号化機能／復号化機能を実行するよう構成される。符号化／復号化モジュール７２５は、対応する機能を実現するよう処理ユニット７１０によってアクセス及び操作されてよい。記憶デバイス７３０は、リムーバブル又は非リムーバブル媒体であってよく、マシン可読媒体（例えば、メモリ、フラッシュドライブ、磁気ディスク）又は任意の他の媒体を含んでよく、デバイス７００内で情報及び／又はデータを記憶してアクセスされるために使用され得る。

【0088】

デバイス７００のコンポーネントの機能は、単一のコンピューティングクラスタ又は複数のコンピューティングマシンによって実現されてよく、これらのコンピューティングマシンは、通信接続を通じて通信し得る。従って、デバイス７００は、１つ以上の他のサーバ、パーソナルコンピュータ（ＰＣ）又は更なる汎用ネットワークノードへの論理接続を用いて、ネットワーク化された環境で動作し得る。デバイス７００はまた、通信ユニット７４０を介して、必要に応じて１つ以上の外部デバイス（図示せず。）と通信してもよく、外部デバイス、例えば、データベース７７０、記憶デバイス、サーバ、表示デバイス、などは、ユーザがデバイス７００と対話することを可能にする１つ以上のデバイスと、あるいは、デバイス７００が１つ以上の他のコンピューティングデバイスと通信することを可能にする任意のデバイス（例えば、ネットワークカード、モデム、など）と通信する。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェース（図示せず。）を介して実行されてもよい。

【0089】

入力デバイス７５０は、マウス、キーボード、トラックボール、音声入力デバイス、などのような１つ以上の様々な入力デバイスであってよい。出力デバイス７６０は、１つ以上の出力デバイス、例えば、ディスプレイ、ラウドスピーカ、プリンタ、などであってよい。

【0090】

［実施例］
本願で記載される主題のいくつかの実施例が以下で挙げられる。

【0091】

第１の態様で、本願で記載される主題は、画像符号化の方法を提供する。方法は、対象画像のコード化された表現を取得することであり、コード化された表現は、対象画像に対応するパラメータのグループの値を含む、ことと、コード化された表現に基づいて、デコーダに関連した目的関数を決定することであり、デコーダは、コード化された表現に対応するビットストリームを復号するために使用される、ことと、パラメータのグループによる目的関数の変化の度合いのグループと閾度との間の比較に基づいて、パラメータのグループの調整のグループを決定することと、調整されたコード化された表現を取得するために、調整のグループに基づいてパラメータのグループを調整することと、調整されたコード化された表現に基づいて、対象画像の対象ビットストリームを取得することとを有する。

【0092】

いくつかの実施で、パラメータの調整を決定することは、第1パラメータによる目的関数の第1変化度合いが閾度以下であるとの決定に応答して、第１パラメータの調整をゼロに決定することを有する。

【0093】

いくつかの実施で、パラメータの調整を決定することは、第２パラメータによる目的関数の第２変化度合いが閾度よりも大きいとの決定に応答して、第２パラメータの調整を第２変化度合いに比例させるように、第２変化度合いに基づいて第２パラメータの調整を決定することを有する。

【0094】

いくつかの実施で、第２変化度合いに基づいて調整を決定することは、変化の度合いのグループの中で最大の変化度合いを決定することと、最大の変化度合いに対する第２変化度合いの比に基づいて、調整を比に比例させるように、調整を決定することとを有する。

【0095】

いくつかの実施で、閾度は、変化の度合いのグループの中の最大の変化度合いと所定の係数との積に基づいて決定される。

【0096】

いくつかの実施で、コード化された表現は、第１のコード化された表現を有し、第１のコード化された表現は、エンコーダを使用して対象画像を処理することによって生成される。

【0097】

いくつかの実施で、コード化された表現は、第２のコード化された表現を更に有し、第２のコード化された表現は、第１のコード化された表現の分布特性を示すように、第１のコード化された表現に基づいて生成される。

【0098】

いくつかの実施で、コード化された表現は、対象画像内の複数の位置に対応する複数の部分的なコード化された表現を有し、ビットストリームを生成することは、複数の位置の中の所与の位置に関して、第２のコード化された表現に基づいて、平均値を示す第１エントロピ符号化パラメータを決定することであり、第１エントロピ符号化パラメータはコンテキストパラメータと無関係であり、コンテキストパラメータは、複数の位置の中の所与の位置に関連した関連位置のグループのコード化された表現を示すために使用される、ことと、第１エントロピ符号化パラメータに少なくとも基づいて、対象ビットストリームのうちの所与の位置に対応する部分ビットストリームを生成することとを有する。

【0099】

いくつかの実施で、第１エントロピ符号化パラメータに少なくとも基づいて、対象ビットストリームのうちの所与の位置に対応する部分ビットストリームを生成することは、第２のコード化された表現及びコンテキストパラメータに基づいて、分散を示す第２エントロピ符号化パラメータを決定することと、第１エントロピ符号化パラメータ及び第２エントロピ符号化パラメータに基づいて、対象ビットストリームのうちの所与の位置に対応する部分ビットストリームを生成することとを有する。

【0100】

いくつかの実施で、対象ビットストリームは、コード化された表現を量子化するための量子化パラメータを示す第１サイド情報、又は対象ビットストリームから生成された復号化画像に後処理を実行するための後処理パラメータを示す第２サイド情報、の少なくとも１つにより符号化される。

【0101】

いくつかの実施で、調整のグループに基づいてパラメータのグループを調整することは、目的関数に関連した収束条件が満足されるまで、コード化された表現を繰り返し調整することを有する。

【0102】

第２の態様で、本願で記載される主題は、画像復号化の方法を提供する。方法は、対象画像に対応する対象ビットストリームを受信することと、対象ビットストリームから画像を復号することとを有し、対象ビットストリームは、次のプロセス：対象画像のコード化された表現を取得することであり、コード化された表現は、対象画像に対応するパラメータのグループの値を含む、ことと、コード化された表現に基づいて、デコーダに関連した目的関数を決定することであり、デコーダは、コード化された表現に対応するビットストリームを復号するために使用される、ことと、パラメータのグループによる目的関数の変化の度合いのグループと閾度との間の比較に基づいて、パラメータのグループの調整のグループを決定することと、調整されたコード化された表現を取得するために、調整のグループに基づいてパラメータのグループを調整することと、調整されたコード化された表現に基づいて、対象画像の対象ビットストリームを取得することと、に基づいて生成される。

【0103】

【0104】

【0105】

【0106】

いくつかの実施で、閾度は、変化の度合いのグループの中の最大の変化度合いと所定の係数との積に基づいて決定される。

【0107】

【0108】

【0109】

【0110】

【0111】

【0112】

【0113】

第３の態様で、本願で記載される主題はデバイスを提供する。デバイスは、処理ユニットと、処理ユニットへ結合され、命令を記憶しているメモリとを有し、命令は、処理ユニットによって実行される場合に、デバイスに、対象画像のコード化された表現を取得することであり、コード化された表現は、対象画像に対応するパラメータのグループの値を含む、ことと、コード化された表現に基づいて、デコーダに関連した目的関数を決定することであり、デコーダは、コード化された表現に対応するビットストリームを復号するために使用される、ことと、パラメータのグループによる目的関数の変化の度合いのグループと閾度との間の比較に基づいて、パラメータのグループの調整のグループを決定することと、調整されたコード化された表現を取得するために、調整のグループに基づいてパラメータのグループを調整することと、調整されたコード化された表現に基づいて、対象画像の対象ビットストリームを取得することとを有する動作を実行させる。

【0114】

【0115】

【0116】

【0117】

いくつかの実施で、閾度は、変化の度合いのグループの中の最大の変化度合いと所定の係数との積に基づいて決定される。

【0118】

【0119】

【0120】

【0121】

【0122】

【0123】

【0124】

第４の態様で、本願で記載される主題はデバイスを提供する。デバイスは、処理ユニットと、処理ユニットへ結合され、命令を記憶しているメモリとを有し、命令は、処理ユニットによって実行される場合に、デバイスに、対象画像に対応する対象ビットストリームを受信することと、対象ビットストリームから画像を復号することとを有する動作を実行させ、対象ビットストリームは、次のプロセス：対象画像のコード化された表現を取得することであり、コード化された表現は、対象画像に対応するパラメータのグループの値を含む、ことと、コード化された表現に基づいて、デコーダに関連した目的関数を決定することであり、デコーダは、コード化された表現に対応するビットストリームを復号するために使用される、ことと、パラメータのグループによる目的関数の変化の度合いのグループと閾度との間の比較に基づいて、パラメータのグループの調整のグループを決定することと、調整されたコード化された表現を取得するために、調整のグループに基づいてパラメータのグループを調整することと、調整されたコード化された表現に基づいて、対象画像の対象ビットストリームを取得することと、に基づいて生成される。

【0125】

【0126】

【0127】

【0128】

いくつかの実施で、閾度は、変化の度合いのグループの中の最大の変化度合いと所定の係数との積に基づいて決定される。

【0129】

【0130】

【0131】

【0132】

【0133】

【0134】

【0135】

第５の態様で、本願で記載される主題は、コンピュータ記憶媒体に有形に記憶されるコンピュータプログラム製品であって、デバイスによって実行される場合に、デバイスに、対象画像のコード化された表現を取得することであり、コード化された表現は、対象画像に対応するパラメータのグループの値を含む、ことと、コード化された表現に基づいて、デコーダに関連した目的関数を決定することであり、デコーダは、コード化された表現に対応するビットストリームを復号するために使用される、ことと、パラメータのグループによる目的関数の変化の度合いのグループと閾度との間の比較に基づいて、パラメータのグループの調整のグループを決定することと、調整されたコード化された表現を取得するために、調整のグループに基づいてパラメータのグループを調整することと、調整されたコード化された表現に基づいて、対象画像の対象ビットストリームを取得することとを有する動作を実行させるマシン実行可能命令を有するコンピュータプログラム製品を提供する。

【0136】

【0137】

【0138】

【0139】

いくつかの実施で、閾度は、変化の度合いのグループの中の最大の変化度合いと所定の係数との積に基づいて決定される。

【0140】

【0141】

【0142】

【0143】

【0144】

【0145】

【0146】

第６の態様で、本願で記載される主題は、デバイスによって実行される場合に、デバイスに、対象画像に対応する対象ビットストリームを受信することと、対象ビットストリームから画像を復号することとを有する動作を実行させるマシン実行可能命令を含み、対象ビットストリームは、次のプロセス：対象画像のコード化された表現を取得することであり、コード化された表現は、対象画像に対応するパラメータのグループの値を含む、ことと、コード化された表現に基づいて、デコーダに関連した目的関数を決定することであり、デコーダは、コード化された表現に対応するビットストリームを復号するために使用される、ことと、パラメータのグループによる目的関数の変化の度合いのグループと閾度との間の比較に基づいて、パラメータのグループの調整のグループを決定することと、調整されたコード化された表現を取得するために、調整のグループに基づいてパラメータのグループを調整することと、調整されたコード化された表現に基づいて、対象画像の対象ビットストリームを取得することと、に基づいて生成される、コンピュータプログラム製品を提供する。

【0147】

【0148】

【0149】

【0150】

いくつかの実施で、閾度は、変化の度合いのグループの中の最大の変化度合いと所定の係数との積に基づいて決定される。

【0151】

【0152】

【0153】

【0154】

【0155】

【0156】

【0157】

本願で記載される機能性は、少なくとも部分的に１つ以上のハードウェアロジック部品によって実行され得る。例えば、制限なしに、使用され得るハードウェアロジック部品の例示的なタイプには、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向き標準製品（ＡＳＳＰ）、システム・オン・チップ（ＳＯＣ）、複合プログラム可能ロジックデバイス（ＣＰＬＤ）、などがある。

【0158】

本願で記載される主題の方法を実行するためのプログラムコードは、１つ以上のプログラミング言語の任意の組み合わせで記述され得る。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能なデータ処理装置のプロセッサ又はコントローラへ供給されてよく、それにより、プログラムコードは、プロセッサ又はコントローラによって実行される場合に、フローチャート及び／又はブロック図で特定されている機能／動作が実施されるようにする。プログラムコードは、完全にマシンで、部分的にマシンで、スタンドアロンソフトウェアパッケージとして、部分的にマシンで部分的に遠隔のマシンで、あるいは、完全に遠隔のマシン又はサーバで実行されてもよい。

【0159】

本願で記載されるこの主題に関連して、マシン可読媒体は、命令実行システム、装置、又はデバイスによって又はそれとともに使用されるプログラムを含む又は記憶することができる任意の有形な媒体であってよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってよい。機械可読媒体には、電子、磁気、光学、電磁気、赤外線、又は半導体システム、装置、又はデバイス、あるいは、上述されたものの任意の適切な組み合わせが含まれ得るが、これらに限られない。機械可読記憶媒体のより具体的な例には、１つ以上の配線を有する電気接続、可搬型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラム可能リードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、可搬型コンパクトディスク・リードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又は上述されたものの任意の適切な組み合わせが含まれ得る。

【0160】

更に、動作は特定の順序で説明されているが、動作は、示されている特定の順序、又は順次的な順序で実行されるよう求められ、あるいは、示されている全ての動作は、期待される結果を達成するために実行されるよう求められる、ことが理解されるべきである。特定の条件で、マルチタスク化及び並列処理が有利である場合がある。同様に、いくつかの具体的な実施詳細が前述の議論に含まれているが、これらは、本願で記載される主体の範囲に対する限定と解釈されるべきではない。個別的な実施に関連して記載される特定の特徴は、単一の実施で組み合わせて実施されてもよい。対照的に、単一の実施に関連して記載される様々な特徴は、複数の実施で個別的に又は任意の適切なサブコンビネーションで実施されてもよい。

【0161】

主題は構造的な特徴及び／又は方法論的な動作に特有の言語で記載されてきたが、添付の特許請求の範囲で特定されている主題は、前述の具体的な特徴又は動作に必ずしも限定されない、ことが理解されるべきである。むしろ、前述の具体的な特徴及び動作は、特許請求の範囲を実施する例示的な形態として開示されている。

【図1】