特表 2024-502101 画像特徴の復元

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-17

(54)【発明の名称】画像特徴の復元

(51)【国際特許分類】

   H04N 19/85 20140101AFI20240110BHJP

   H04N 19/103 20140101ALI20240110BHJP

   H04N 19/136 20140101ALI20240110BHJP

   H04N 19/174 20140101ALI20240110BHJP

【ＦＩ】

H04N19/85

H04N19/103

H04N19/136

H04N19/174

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023540789

(86)(22)【出願日】2021-01-29

(85)【翻訳文提出日】2023-07-19

(86)【国際出願番号】 CN2021074426

(87)【国際公開番号】W WO2022141734

(87)【国際公開日】2022-07-07

(31)【優先権主張番号】21461504.9

(32)【優先日】2021-01-04

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】516227559

【氏名又は名称】オッポ広東移動通信有限公司

【氏名又は名称原語表記】ＧＵＡＮＧＤＯＮＧ ＯＰＰＯ ＭＯＢＩＬＥ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＣＯＲＰ．， ＬＴＤ．

【住所又は居所原語表記】Ｎｏ． １８ Ｈａｉｂｉｎ Ｒｏａｄ，Ｗｕｓｈａ， Ｃｈａｎｇ’ａｎ，Ｄｏｎｇｇｕａｎ， Ｇｕａｎｇｄｏｎｇ ５２３８６０ Ｃｈｉｎａ

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100152205

【弁理士】

【氏名又は名称】吉田 昌司

(74)【代理人】

【識別番号】100137523

【弁理士】

【氏名又は名称】出口 智也

(72)【発明者】

【氏名】マレク、ドマンスキー

(72)【発明者】

【氏名】トマシュ、グラジェク

(72)【発明者】

【氏名】スワボミル、マコービアク

(72)【発明者】

【氏名】スワボミル、ロゼク

(72)【発明者】

【氏名】オルギエルド、スタンキエビチ

(72)【発明者】

【氏名】ヤクブ、スタンコウスキー

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MC11

5C159ME01

5C159PP04

5C159RC11

5C159TA01

5C159TA16

5C159TB06

5C159TD01

5C159UA02

5C159UA05

(57)【要約】

ビデオデータの復号化は、画像ビットストリームを取得することと、特徴ビットストリームを取得することであって、特徴ビットストリームに残差特徴セットが示され、残差特徴セットは、オリジナル画像データから検出された第１特徴セットから、オリジナル画像データを符号化することにより生成された符号化画像データから検出された第２特徴セットを減算することにより得られることと、復号化された画像ビットストリームから、復号化された特徴セットを検索することと、復号化された特徴セットと特徴ビットストリームを復号化することにより取得された残差特徴セットとに基づいて、入力画像データから検出された特徴を示す第１特徴セットを復元することと、を含む。

【特許請求の範囲】

【請求項1】

ビデオデータの復号化方法であって、
画像ビットストリームを取得するステップと、
特徴ビットストリームを取得するステップであって、前記特徴ビットストリームに残差特徴セットが示されるステップと、
復号化された前記画像ビットストリームから、復号化された特徴セットを検索するステップと、
前記復号化された特徴セットと前記残差特徴セットに基づいて、復元された特徴セットを取得するステップであって、前記残差特徴セットは前記特徴ビットストリームを復号化するにより得られるものである、ステップと、を含む、ビデオデータの復号化方法。

【請求項2】

前記復元された特徴セットは、前記復号化された特徴セットと、前記特徴ビットストリームを復号化して得られる前記残差特徴セットとの和によって取得される、
請求項１に記載のビデオデータの復号化方法。

【請求項3】

前記ビデオデータの復号化方法は、
前記特徴ビットストリームに対して圧縮の展開と復号化を行い、前記残差特徴セットを得るステップを更に含む、
請求項１又は２に記載のビデオデータの復号化方法。

【請求項4】

前記ビデオデータの復号化方法は、
前記画像ビットストリームと前記復元された特徴セットに基づいて、再構築データを生成するステップを更に含む、
請求項１ないし３のいずれか一項に記載のビデオデータの復号化方法。

【請求項5】

前記ビデオデータの復号化方法は、
前記画像ビットストリームを復号化するステップを更に含む、
請求項１ないし４のいずれか一項に記載のビデオデータの復号化方法。

【請求項6】

前記ビデオデータの復号化方法は、
前記特徴ビットストリームを復号化するステップを更に含む、
請求項１ないし５のいずれか一項に記載のビデオデータの復号化方法。

【請求項7】

ビデオデータの符号化方法であって、
入力された画像データを符号化して、符号化された画像データを得るステップであって、前記符号化された画像データは、画像ビットストリームを生成する基礎とされるステップと、
前記入力された画像データに対して特徴検出を行い、第１特徴セットを得るステップと、
前記符号化された画像データに対して特徴検出を行い、第２特徴セットを得るステップと、
前記第１特徴セットと前記第２特徴セットを組み合わせ、特徴増強データを得るステップと、を含む、ビデオデータの符号化方法。

【請求項8】

前記ビデオデータの符号化方法は、
前記符号化された画像データを復号化して、復号化を経由した符号化画像データを得、前記復号化を経由した符号化画像データに対して特徴検出を行い、前記第２特徴セットを得るステップを更に含む、
請求項７に記載のビデオデータの符号化方法。

【請求項9】

前記ビデオデータの符号化方法は、
前記符号化された画像データに基づいて、画像ビットストリームを生成するステップを更に含む、
請求項７又は８に記載のビデオデータの符号化方法。

【請求項10】

前記ビデオデータの符号化方法は、
前記特徴増強データに基づいて、特徴ビットストリームを生成するステップを更に含む、
請求項７ないし９のいずれか一項に記載のビデオデータの符号化方法。

【請求項11】

前記特徴ビットストリームを生成することは、前記特徴増強データを符号化するステップを含む、
請求項１０に記載のビデオデータの符号化方法。

【請求項12】

前記ビデオデータの符号化方法は、
ビットストリームを多重化し、符号化した形態の前記画像データを復号化側に伝送するステップを更に含む、
請求項７ないし１１のいずれか一項に記載のビデオデータの符号化方法。

【請求項13】

前記第１特徴セットと前記第２特徴セットを組み合わせるステップは、前記第１特徴セットと前記第２特徴セットを結合して、前記特徴増強データを生成するステップを含む、
請求項７ないし１２のいずれか一項に記載のビデオデータの符号化方法。

【請求項14】

前記第１特徴セットと前記第２特徴セットを組み合わせるステップは、選択される特徴のみが前記特徴増強データを生成するために使用することができるように、前記第１特徴セットと前記第２特徴セット内の特徴を選択するステップを含む、
請求項７ないし１３のいずれか一項に記載のビデオデータの符号化方法。

【請求項15】

前記第１特徴セットと前記第２特徴セットを組み合わせるステップは、第１特徴セットと前記第２特徴セットの両方に存在する特徴を省略するステップを含む、
請求項７ないし１４のいずれか一項に記載のビデオデータの符号化方法。

【請求項16】

前記画像データは、ピクチャー、画像、画像ストリーム／ピクチャーストリーム、ビデオ、映画を含むデータ、ピクチャー、画像、画像ストリーム／ピクチャーストリーム、ビデオ、映画を示すデータ、及び／又は処理されてピクチャー、画像、画像ストリーム／ピクチャーストリーム、ビデオ、映画が得られるデータを含み、ストリーム、ビデオ又は映画は、１つ又は複数の画像を含む、
請求項７ないし１５のいずれか一項に記載のビデオデータの符号化方法。

【請求項17】

前記ビデオデータの符号化方法は、
符号化待ちの画像データを得るステップを更に含む、
請求項７ないし１６のいずれか一項に記載のビデオデータの符号化方法。

【請求項18】

すべてのステップは、符号化側で実行される、
請求項７ないし１７のいずれか一項に記載のビデオデータの符号化方法。

【請求項19】

処理リソースとメモリリソースとを含む、ビデオデータの復号化機器であって、前記処理リソースは、前記メモリリソースにアクセスしてコードを取得し、前記コードは、動作中で、前記処理リソースに、
画像ビットストリームを取得するステップと、
特徴ビットストリームを取得するステップであって、前記特徴ビットストリームに残差特徴セットが示されるステップと、
復号化された前記画像ビットストリームから、復号化された特徴セットを検索するステップと、
前記復号化された特徴セットと前記残差特徴セットに基づいて、復元された特徴セットを取得するステップであって、前記残差特徴セットは前記特徴ビットストリームを復号化するにより得られるものである、ステップと、
を実行させる、
ビデオデータの復号化機器。

【請求項20】

通信ネットワークによって、前記画像ビットストリームと前記特徴ビットストリームを伝送する通信データを受信するように構成される、通信インターフェースを備える、
請求項１９に記載のビデオデータの復号化機器。

【請求項21】

前記通信インターフェースは、無線モバイルネットワークを介して通信を行うことに適合する、
請求項２０に記載のビデオデータ復号化機器。

【請求項22】

取得された前記画像ビットストリームと前記特徴ビットストリームに基づいて生成されるコンテンツを表示するように構成される、表示ユニットを備える、
請求項１９ないし２１のいずれか一項に記載のビデオデータ復号化機器。

【請求項23】

処理リソースとメモリリソースとを含む、ビデオデータの符号化機器であって、前記処理リソースは、前記メモリリソースにアクセスしてコードを取得し、前記コードは、動作中で、前記処理リソースに、
入力された画像データを符号化して、符号化された画像データを得るステップであって、前記符号化された画像データは、画像ビットストリームを生成する基礎とされるステップと、
前記入力された画像データに対して特徴検出を行い、第１特徴セットを得るステップと、
前記符号化された画像データに対して特徴検出を行い、第２特徴セットを得るステップと、
前記第１特徴セットと前記第２特徴セットを組み合わせ、特徴増強データを得るステップと、
を実行させる、
ビデオデータの符号化機器。

【請求項24】

コードを含むコンピュータプログラムであって、前記コードは、動作中で、処理リソースに、
入力された画像データを符号化して、符号化された画像データを得るステップであって、前記符号化された画像データは、画像ビットストリームを生成する基礎とされるステップと、
前記入力された画像データに対して特徴検出を行い、第１特徴セットを得るステップと、
前記符号化された画像データに対して特徴検出を行い、第２特徴セットを得るステップと、
前記第１特徴セットと前記第２特徴セットを組み合わせ、特徴増強データを得るステップと、
を実行させる、
コンピュータプログラム。

【請求項25】

コードを含むコンピュータプログラムであって、前記コードは、動作中で、処理リソースに、
画像ビットストリームを取得するステップと、
特徴ビットストリームを取得するステップであって、前記特徴ビットストリームに残差特徴セットが示されるステップと、
復号化された前記画像ビットストリームから、復号化された特徴セットを検索するステップと、
前記復号化された特徴セットと前記残差特徴セットに基づいて、復元された特徴セットを取得するステップであって、前記残差特徴セットは前記特徴ビットストリームを復号化するにより得られるものである、ステップと、
を実行させる、
コンピュータプログラム。

【請求項26】

請求項２ないし６のいずれか一項に記載のビデオデータの復号化方法及び請求項８ないし１８のいずれか一項に記載のビデオデータの符号化方法を実行することに適用される、請求項１９、２３、２４及び２５のいずれか一項に記載の主題。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像及び／又はビデオ処理の技術分野に関し、特に、画像、ピクチャー、ピクチャーストリーム及びビデオのコーディング、復号化又は符号化に関する。より具体的には、本開示は、画像と、これらの画像から抽出された特徴の共同符号化と復号化に関する。具体的な態様において、本開示は、対応する方法及び機器に関する。

【背景技術】

【0002】

ビデオ圧縮は、挑戦的な技術であり、特に無線伝送にとって非常に重要である。従来のビデオと画像の圧縮は、画像特徴やビデオ特徴の符号化と全く関わりのないものとして進化してきた。このような方法は現代のアプリケーションにとっては非効率的であり、コネクテッドカー、高度な物流、スマートシティ、スマートビデオ監視、及び自動車、ドローン、無人トラックやトラクターを含む自律走行車、並びに物事のインターネットシステム（ＩｏＴ）及拡張現実や仮想現実システムに関連する他の様々なアプリケーションなどのようにアプリケーションは、ビデオに基づくシステムの様々な機能において高度なビデオ分析を行う必要がある。物理的、技術的、経済的な制約により、ほとんどのこのようなシステムは、容量が限られている伝送リンク、特に、スループットが限られた無線リンクを使用する。したがって、圧縮技術は、これらのアプリケーションにとって非常に重要である。

【0003】

上記のアプリケーションにおいて、ビデオ又は画像は、通常、人間に利用されることなく、ナビゲーションシステム、自動識別・分類システム、順序付けシステム、事故防止システム、セキュリティシステム、監視システム、アクセス制御システム、交通制御システム、火災・爆発防止システム及び多くの他のシステムなどのような異なる種類の機械に利用される。このようなアプリケーションにおいて、圧縮技術は、展開された圧縮画像又はビデオを使用する際に、自動ビデオ分析が妨げられないように設計されなければならない。

【0004】

従来の画像／ビデオ圧縮モードは、人間が感知する復号化後の画像／ビデオの比較的良好な品質を維持しながら、ビット数を削減することである。上記のアプリケーションにおいて、人間が感知する良好な画像／ビデオ品質に対して、ビデオ／画像品質だけが求められているわけではない。同様に、或いはそれ以上に重要なのは、展開された圧縮画像又はビデオに基づく高度なビデオ分析の效率と精度である。冒頭で述べたように、今後の実用化されるアプリケーションでは、画像／ビデオと視覚的特徴（即ち、視覚情報から抽出された特徴）の同時符号化と復号化が必要となる。本開示は、当該課題に関連する。

【0005】

コーディングは、通常、符号化と復号化とを含む。符号化は、画像又はビデオのコンテンツを圧縮し、画像又はビデオコンテンツのフォーマットを変更する可能性のあるプロセスである。符号化は、有線又は無線ネットワークで画像又はビデオを伝送するために必要な帯域幅を削減するため、重要である。一方、復号化は、符号化又は圧縮された画像又はビデオに対して復号化又は圧縮の展開を行うプロセスである。符号化と復号化は、異なる機器に適用されるため、コーデック（ｃｏｄｅｃ）と呼ばれる符号化と復号化の標準が開発されている。コーデックは、通常、画像とビデオに対して符号化と復号化を行うためのアルゴリズムである。

【0006】

通常、画像データは、エンコーダ側で符号化されてビットストリームが生成される。これらのビットストリームは、データ通信を介して復号化側に伝送され、復号化側で、これらのビットストリームは復号化されて画像データを再構築する。したがって、画像とビデオは、ビットストリームの形でデータ通信によってエンコーダ（送信側）からデコーダ（受信側）に移動することができ、前記データ通信の制限により、ビットストリームにおけるデータの損失及び／又は遅延が生じる可能性があり、最終的に、復号化側と受信側の画像品質を低下させる可能性がある。画像データのコーディングと特徴検出は、通信のためにデータを大幅に削減したが、従来の技術には、まだ様々な欠点が存在している。

【0007】

よって、画像又はビデオ及び視覚特徴に対して共同コーディングを行うための効果的な技術が必要である。同じ総ビットレートにおいて、復号化された画像又はビデオと視覚特徴は、画像又はビデオと視覚特徴の独立したコーディングと比較して、より良い品質を維持する必要がある。

【発明の概要】

【0008】

上記の課題と欠点は、独立請求項の主題によって解决される。従属請求項において、さらなる好ましい実施例を限定する。具体的に、本開示の実施例は、ビットストリームを伝送するためのデータ通信に必要なデータスループットを維持、或いは低減しながら、受信側で再構築された画像又はビデオデータの品質と忠実度という実質的な利点を提供することができる。さらなる利点は、符号化／送信側及び復号化／受信側のいずれか１つにおけるデータ処理の低減も含み得る。

【0009】

本開示の１つの態様によれば、ビデオデータの復号化方法を提供し、前記方法は、画像ビットストリームを取得するステップと、特徴ビットストリームを取得するステップであって、特徴ビットストリームに残差特徴セットが示されるステップと、復号化された画像ビットストリームから、復号化された特徴セットを検索するステップと、復号化された特徴セットと残差特徴セットに基づいて、復元された特徴セットを取得するステップと、を含み、ここで、残差特徴セットは、特徴ビットストリームから復号化により得られるものである。

【0010】

本開示の他の態様によれば、ビデオデータの符号化方法を提供し、前記方法は、入力された画像データを符号化して、符号化された画像データを得るステップであって、符号化された画像データは、画像ビットストリームを生成する基礎とされるステップと、入力された画像データに対して特徴検出を行い、第１特徴セットを得るステップと、符号化された画像データに対して特徴検出を行い、第２特徴セットを得るステップと、第１特徴セットと第２特徴セットを組み合わせ、特徴増強データを得るステップと、を含む。

【0011】

本開示の他の態様によれば、処理リソースとメモリリソースとを含む、ビデオデータの復号化機器を提供し、処理リソースは、メモリリソースをアクセスしてコードを取得し、コードは、動作中で、処理リソースに、画像ビットストリームを取得するステップと、特徴ビットストリームを取得するステップであって、特徴ビットストリームに残差特徴セットが示されるステップと、復号化された画像ビットストリームから、復号化された特徴セットを検索するステップと、復号化された特徴セットと残差特徴セットに基づいて、復元された特徴セットを取得するステップと、を実行させ、ここで、残差特徴セットは、特徴ビットストリームから復号化により得られるものである。

【0012】

本開示の他の態様によれば、処理リソースとメモリリソースとを含む、ビデオデータの符号化機器を提供し、処理リソースは、メモリリソースにアクセスしてコードを取得し、コードは、動作中で、処理リソースに、入力された画像データを符号化して、符号化された画像データを得るステップであって、符号化された画像データは、画像ビットストリームを生成する基礎とされるステップと、入力された画像データに対して特徴検出を行い、第１特徴セットを得るステップと、符号化された画像データに対して特徴検出を行い、第２特徴セットを得るステップと、第１特徴セットと第２特徴セットを組み合わせ、特徴増強データを得るステップと、を実行させる。

【0013】

本開示の他の態様によれば、コードを含むコンピュータプログラムを提供し、コードは、動作中で、処理リソースに、入力された画像データを符号化して、符号化された画像データを得るステップであって、符号化された画像データは、画像ビットストリームを生成する基礎とされるステップと、入力された画像データに対して特徴検出を行い、第１特徴セットを得るステップと、符号化された画像データに対して特徴検出を行い、第２特徴セットを得るステップと、第１特徴セットと第２特徴セットを組み合わせ、特徴増強データを得るステップと、を実行させる。

【0014】

本開示の１つの態様によれば、コードを含むコンピュータプログラムを提供し、コードは、動作中で、処理リソースに、画像ビットストリームを取得するステップと、特徴ビットストリームを取得するステップであって、特徴ビットストリームに残差特徴セットが示されるステップと、復号化された画像ビットストリームから、復号化された特徴セットを検索するステップと、復号化された特徴セットと残差特徴セットに基づいて、復元された特徴セットを取得するステップと、を実行させ、ここで、残差特徴セットは、特徴ビットストリームから復号化により得られる。

【図面の簡単な説明】

【0015】

【図1A】一般的な従来の構成の概略図を示す。

【図1B】従来技術の一般的な使用例及び本開示の実施例を使用する環境の概略図を示す。

【図2A】本開示の実施例の構成の概略図を示す。

【図2B】本開示の実施例の構成の概略図を示す。

【図3A】本開示の実施例による、符号化側の一般的な機器の実施例の概略図を示す。

【図3B】本開示の実施例による、復号化側の一般的な機器の実施例の概略図を示す。

【図4A】本開示の一般的な方法実施例のフローチャートを示す。

【図4B】本開示の一般的な方法実施例のフローチャートを示す。

【発明を実施するための形態】

【0016】

以下、図面を参照して本開示の実施例を説明し、これらの実施例は、本開示の概念をより良く理解するために提案されるが、本開示を限定するものとして見なすべきではない。

【0017】

図１Ａは、画像（本開示全体において、ビデオ、視覚情報又は画像データの形態の画像ストリームとして同義に理解される）と視覚特徴（即ち、これらの画像又は視覚情報から抽出された特徴）を別々に符号化及び復号化する従来の構成の概略図を示す。通常、オリジナル画像と抽出された特徴の両方が符号化（圧縮）され、２つの独立したビットストリームの形で復号化側に伝送される。復号化側では、符号化されたオリジナル画像と符号化された抽出された特徴を復号化することにより、再構築画像と再構築特徴を得る。通常、本開示の実施例は、オリジナル画像データを復元、再構築するために、符号化側では、画像データの形で提供されるビデオから特徴を抽出し、特徴ビットストリームの形でビデオの残差データを符号化し、復号化側では、受信された画像データの形で提供されるビデオから特徴を抽出し、受信された特徴ビットストリームの形のビデオの残差データを復号化することが考えられる。

【0018】

より具体的には、符号化側１では、画像３１、画像ストリーム又はビデオであるか、それとも画像３１、画像ストリーム又はビデオの一部である入力画像データ４１（オリジナル画像データとも呼ばれる）を処理する。画像データ４１は、エンコーダ１１と、オリジナル特徴データ４２を生成する特徴抽出器１２に入力される。特徴エンコーダ１３を用いてオリジナル特徴データ４２を符号化し、それにより、符号化側１で２つのビットストリーム、即ち、画像ビットストリーム４５と特徴ビットストリーム４６を生成する。いくつかの実施例において、２つのビットストリームは、更に別個に伝送される。他のいくつかの実施例において、２つのビットストリームを１つのビットストリームに多重化／混合することができ、例えば、特徴ビットストリームは、画像ビットストリームに埋め込まれることができる。通常、本開示の文脈において、「画像データ」という用語は、ピクチャー、画像／画像ストリーム／ピクチャーストリーム、ビデオ、映画を含むすべてのデータ、ピクチャー、画像／画像ストリーム／ピクチャーストリーム、ビデオ、映画を示すすべてのデータ、及び／又は処理されてピクチャー、画像／画像ストリーム／ピクチャーストリーム、ビデオ、映画が得られるすべてのデータを含み、特に、ストリーム、ビデオ又は映画は、１つ又は複数の画像を含み得る。

【0019】

この２つのビットストリーム４５、４６は、例えば、任意の種類の適切なデータ接続、通信インフラストラクチャ及び適用可能なプロトコルによって、符号化側１から復号化側２に伝送される。例えば、ビットストリーム４５、４６は、サーバによって提供され、インターネットと、１つ又は複数の通信ネットワークによってモバイル機器に伝送され、モバイル機器でビットストリームを復号化し、ユーザが当該モバイル機器のディスプレイ機器で画像を見ることができるように、対応する表示データを生成する。

【0020】

復号化側２では、この２つのビットストリームを受信、復元する。画像ストリームデコーダ２１は、画像ビットストリーム４５を復号化して、１つ又は複数の再構築画像を生成する。特徴デコーダ２２は、特徴ビットストリーム４６を復号化して、１つ又は複数の再構築特徴を生成する。画像と特徴は、復号化側２で使用、処理及び表示される対応する画像データ３２を生成する基礎になる。

【0021】

図１Ｂは、従来技術の一般的な使用例及び本開示の実施例を使用する環境の概略図を示す。復号化側１に、データセンタ、サーバ、処理機器、データメモリなどの機器５１が配置され、画像データを記憶し、画像ビットストリーム４５と特徴ビットストリーム４６を生成するように構成される。ビットストリーム４５、４６は、任意の適切なネットワークとデータ通信インフラストラクチャ６０を介して復号化側２に伝送され、復号化側２では、例えば、モバイル機器５２は、ビットストリーム４５、４６を受信し、これらを復号化し、更に、画像ビットストリームと、復元された画像データを示す、復元された第１特徴セットとに基づいて、再構築データを生成する。適切な復号化及び処理を用いて、（ターゲット）モバイル機器５２のディスプレイ５３に１つ又は複数の画像を表示するための表示データを生成することができる。

【0022】

上述したように、符号化側では、画像データを符号化してビットストリームを生成する。これらのビットストリームは、データ通信を介して復号化側に伝送され、復号化側で、これらのビットストリームは復号化されて画像データを再構築する。明らかに、画像は、ビットストリームの形でデータ通信を介してエンコーダ（送信側）からデコーダ（受信側）に移動することができ、しかも、前記データ通信の制限により、ビットストリームにおけるデータの損失及び／又は遅延が生じる可能性があり、最終的に、復号化側と受信側の画像品質を低下させる可能性がある。画像データのコーディングと特徴検出は、通信のためにデータを大幅に削減したが、従来の技術には、まだ様々な欠点が存在し、受信機で再構築された画像データの品質はまだ満足できるものではない。

【0023】

図２Ａは、本開示の実施例を実現できる構成の概略図を示す。一般に、本開示は、符号化側に焦点を当てた実施例がある一方で、復号化側に焦点を当てた実施例がある。これらの実施例は独立して保護を主張するものであるが、これらは、プラグとソケットに類似するコンポーネントのように相互作用が可能である。符号化側に焦点を当てた実施例によれば、オリジナル画像データと符号化後に復号化された画像データとから特徴を検出して、ビットストリームが、符号化側１から復号化側２に伝送されることができる。復号化側２では、符号化されたオリジナル画像と符号化された抽出特徴を復号化することにより、再構築画像と再構築特徴を得る。

【0024】

より具体的には、符号化側１で、入力画像データ３１を処理し、画像データ３１は、画像、画像ストリーム又はビデオであっても良く、又は画像、画像ストリーム又はビデオの一部であっても良い。通常、「入力画像データ」という用語は、符号化してネットワーク上で伝送する必要があるオリジナル画像データを指す。ある意味で、オリジナル画像データは、比較的に無損失の高品質の画像データの基本入力データとすることができる。画像データ３１をエンコーダ１１及びオリジナル特徴データ４２を生成する特徴抽出器１２に入力する。当該実施例によれば、符号化された画像データ４５は、さらにデコーダ１６で復号化され、好ましく、当該デコーダ１６も符号化側１に配置され、それによって再構築された画像データを得ることに有利であり、当該再構築された画像データは、前にエンコーダ１１によって提供された圧縮又は符号化された特徴及び／又は特性を含み得る。そのため、復号化を経由した符号化画像データ４３が生成され、それは他の特徴抽出器１４に供給され、当該特徴抽出器１４は、他の特徴データ４３を生成し、当該特徴データ４３は、復号化を経由した比較的に低品質である符号化画像データ４３から抽出された特徴を含み、及び／又は示すことができる。

【0025】

特徴データ４２と他の特徴データ４３の両方は、予測器１５に供給され、当該予測器１５で、オリジナル入力画像データ４１からの特徴抽出器１２による比較的高品質の特徴４２、及び符号化されたビデオ／画像の画像データ４５からの特徴抽出器１４による比較的低品質の特徴４３が到着し、符号化されたビデオ／画像の画像データ４５は、少なくとも何らかの形で復号化側でも利用可能である。予測器１５では、入力画像データから検出された第１特徴セット４２内の特徴から、符号化された画像データから検出された第２特徴セット４３内の特徴を減算し、当該符号化画像データは、符号化により、入力画像データから生成されるものである。このようにして、残差特徴セットを得、当該残差特徴セットは、特徴ビットストリーム４６を生成するための基礎であり、当該特徴ビットストリーム４６は、減算の結果としての残差特徴セットを示す。

【0026】

このようにして、復号化側で既に存在しているデータから得られることができる内容（画像やビデオの一般的なデータという意味で）を特徴ビットストリームで伝送することを回避することができ、比較的低品質の特徴セットが復号化側で得られることができるためである。したがって、当該実施例において、比較的低品質の特徴に基づいて、比較的高品質の特徴セットを予測する。

【0027】

１つの実施例において、対応する予測は、例えば、以下の式で提出される対応する特徴の値の減算を含む。

【0028】

結果特徴 ＝ 高品質特徴 － 低品質特徴
（ｒｅｓｕｌｔ＿ｆｅａｔｕｒｅ ＝ ｈｉｇｈ＿ｑｕａｌｉｔｙ＿ｆｅａｔｕｒｅ － ｌｏｗ＿ｑｕａｌｉｔｙ＿ｆｅａｔｕｒｅ）。

【0029】

対応するすべての特徴に対して当該公式を適用することができる。代替案において、以下のように、比較的高品質の特徴セットから比較的低品質の特徴セットを減算することにより、結果特徴セットを得るように、特徴セットを予測する。

【0030】

結果特徴セット ＝ 高品質特徴セット － 低品質特徴セット
（ｒｅｓｕｌｔ＿ｆｅａｔｕｒｅ＿ｓｅｔ ＝ ｈｉｇｈ＿ｑｕａｌｉｔｙ＿ｆｅａｔｕｒｅ＿ｓｅｔ－ ｌｏｗ＿ｑｕａｌｉｔｙ＿ｆｅａｔｕｒｅ＿ｓｅｔ）。

【0031】

通常、上記の減算とは、比較的高品質の特徴セットから、比較的低品質の特徴セット内に既に存在している要素を削除することを意味する。

【0032】

他の実施例において、特徴データ４２と他の特徴データ４３は、特徴増強データ４４を生成するために選択的に多重化され、オリジナル画像データ内の特徴に関する情報及び復号化を経由した符号化画像データ内の特徴に関する情報の一部のみを、復号化側で復号化時に使用するために残す。例えば、この２つの画像データに同時に存在する特徴は省略することができ、明らかに当該特徴が既に画像ビットストリーム４５によって復号化側に十分に伝送されているためである。このような実施例において、予測器１５は、加算器として機能することができ、特徴データ４２は、加算（＋）され、他の特徴データ４３は、減算（－）される。

【0033】

言い換えれば、復号化側では、伝送される画像ビットストリームに符号化された画像から比較的低品質の特徴を抽出し、伝送される特徴ビットストリームに増強データを追加して符号化し、それにより、特徴を再構築することができる。そのため、特徴に関連する符号化データは、すべての特徴ではなく、特に、他の画像ビットストリームによって伝送される特徴ではなく、限られた増強データのみから構成される。このようにして、従来方案より下記の利点があり、即ち、１）関わるビットストリームのサイズを減少する利点があり、すべての画像特徴を直接伝送するにはより多くの情報を符号化する必要があり、より大きなビットストリームが必要であるためである。２）画像特徴を全く伝送せず、復号化側で特徴を抽出する場合と比較して、品質を維持又は向上させることができ、前者において、復号化された画像が劣化し、低品質の特徴しか得られない可能性がある。

【0034】

特徴エンコーダ１３を用いて特徴増強データ４４を符号化して、符号化側１で２つのビットストリーム、即ち、画像ビットストリーム４５と特徴ビットストリーム４６を生成させる。この２つのビットストリーム４５、４６は、例えば、任意の種類の適切なデータ接続、通信インフラストラクチャ及び適用可能なプロトコルによって、符号化側１から復号化側２に伝送される。例えば、ビットストリーム４５、４６は、サーバによって提供され、インターネットと、１つ又は複数の通信ネットワークによってモバイル機器に伝送され、モバイル機器でビットストリームを復号化し、ユーザが当該モバイル機器のディスプレイ機器で画像を見ることができるように、対応する表示データを生成する。

【0035】

復号化側に焦点を当てた実施例によれば、復号化側２で画像ビットストリーム４５と特徴ビットストリーム４６を得る。特徴ビットストリーム４６に、残差特徴セットが示され、画像ビットストリーム４５を復号化することにより、復号化された特徴セットを得ることができ、つまり、デコーダ２１によって、復号化された画像ビットストリーム４８を得ることができる。復号化された特徴セット４９及び、特徴ビットストリーム４６から復号化された残差特徴セット４７に基づいて、復元された特徴セット５０を得、デコーダ２２を用いて、特徴ビットストリーム４６を復号化し、残差特徴セット４７を得ることができる。

【0036】

他の実施例において、下記の選択肢のいずれか１つを適用する。第１に、潜在的に符号化側で、符号化によって入力画像データから、得られる画像ビットストリームを生成することができる。第２に、入力画像データから検出された特徴セットから、入力画像データを符号化することにより生成された符号化画像データから検出された特徴セットを減算することにより、残差特徴セットを得る。潜在的に、符号化側で残差特徴セットを得ることができる。第３に、復元された特徴セットに、入力画像データから検出される特徴が示されることができる。第４に、選択的な予測によって、特徴ビットストリームを生成することができる。特徴ビットストリームによって符号化された画像データから予測されていない特徴のみを伝送する。通常、「入力画像データ」という用語は、符号化してネットワーク上で伝送する必要があるオリジナル画像データを指する。ある意味で、オリジナル画像データは、比較的に無損失の高品質の画像データの基本入力データとすることができる。

【0037】

言い換えれば、符号化側で符号化によって入力画像データから画像ビットストリーム４５を生成することができ、例えば、データ通信（例えば、インターネット、モバイルネットワークなど）によって画像ビットストリーム４５を受信することができる。特徴ビットストリーム４６に、残差特徴セットが示されており、残差特徴セットは、入力画像データから検出された特徴セットから、入力画像データを符号化することにより生成された符号化画像データから検出された特徴セットを減算することにより得られるものである。ある意味では、特徴ビットストリーム４６によって、特徴の圧縮された差分セットを伝送する。

【0038】

画像デコーダ２１において、画像ビットストリーム４５は、復号化画像ビットストリーム４８を生成するために復号化され、当該復号化画像ビットストリーム４８は更に処理されて復号化側で表示される画像データ３２を生成する。復号化画像データ４８は、更に、特徴抽出器２４に供給され、特徴セット４９の形で比較的低品質の特徴セット４３を実質的に再現する。特徴デコーダ２２において、特徴ビットストリーム４６は、残差特徴セット４７を得るために復号化される。２５において、特徴セット５０は復元され、当該特徴セットに、復号化された特徴セットから検出された入力画像データ内の特徴４９と、特徴ビットストリームから復号化された残差特徴セット４７とが実質的に示され又は含まれる。このようにして、最初に符号化側１で特徴セット４２の形で提供される比較的高品質の特徴セット全体を復号化側で再現すると同時に、特徴ビットストリーム４６を伝送するために必要なデータ量を削減することができる。通常、オリジナル画像データ及び符号化後に復号化された画像データから特徴を検出して、ビットストリームを符号化側１から復号化側２に伝送する。復号化側２では、符号化されたオリジナル画像と符号化された抽出の特徴を復号化することにより、再構築画像と再構築特徴を得る。

【0039】

言い換えれば、復号化側２では、特徴の予測（デコーダ２４で抽出された比較的低品質の特徴）、及び特徴ビットストリーム４６で伝送される予測誤差の種類に基づいて、画像の特徴を再構築する。

【0040】

したがって、本開示の実施例は、１つ又は複数の利点を提供することができ、ここで、最初に符号化され、その後に復号化されたビデオから特徴を抽出することにより、特徴検出の精度を向上させる。各ビットストリームを伝送する際にビデオ伝送のビットレートが低い場合、これらの特徴は、著しく劣化する可能性がある。このようにして、図２を参照して説明された特徴ビットストリーム４６のように、特徴の符号化された増強データの追加ストリームによって特徴の忠実度を改善することができる。これは、特に、特徴のサイマル放送（ｓｉｍｕｌｃａｓｔ）圧縮よりも効率的である。

【0041】

したがって、本開示の実施例は、オリジナル画像から抽出された特徴のコーディングを考慮し、再構築画像から抽出された特徴に基づいてこれらの特徴を予測することを含む。通常、本開示の実施例は、単色とカラーの画像／ビデオ、静止画と動画（ビデオ）、線形フィルタリング、非線形フィルタリング、ニューラルネットワークベースの特徴抽出方法に特に重点を置いたフィルタリングを含むがこれに限定されない様々な適用可能な特徴抽出方法及び検出方法が考えられる。このような特徴抽出方法は、スケール不変特徴変換（ＳＩＦＴ）、ビデオ分析用コンパクト記述子（ＣＤＶＡ）及び視覚検索用コンパクト記述子（ＣＤＶＳ）などの離散特徴を生成することができる。

【0042】

更に、本開示の実施例は、ＪＰＥＧ、ＪＰＥＧ ２０００、ＪＰＥＧ ＸＲ、ＰＮＧ、ＭＰＥＧ－２（Ｈ．２６２）、ＡＶＣ（Ｈ．２６４）、ＡＶＳ（任意のバージョン）、ＨＥＶＣ（Ｈ．２６５）、ＶＣ－１、ＨＥＶＣ（Ｈ．２６６）、ＡＶ １、ＥＶＣ、ＶＶＣなどを含むが、これに限定されない、様々な適用可能なビデオコーデックのいずれか１つに適用されることができる。更に、実施例は、実際に採用される圧縮技術に依存しなくてもよく、例えば、エンコーダ／デコーダ１１、１１’、１３、２１、２２のいずれかで採用される、画像とビデオの圧縮及び特徴の増強データを符号化し圧縮する圧縮技術を利用することができる。

【0043】

図２Ｂは、本開示の他の構成の実施例の概略図を示す。自らで再構築画像を提供するエンコーダ１１’が採用されるため、符号化側１でデコーダ（例えば、図２Ａのデコーダ１６）を使用する必要がない以外に、他の様態及び素子は、図２Ａを組み合わせて開示及び説明した様態及び素子と同じ又は類似する。当該実施例において、他の特徴データ４３を生成するために、符号化された画像データを他の特徴抽出器１４に直接供給することができる。

【0044】

図３Ａは、本開示の実施例による、符号化側の一般的な機器の実施例の概略図を示す。符号化機器７０は、処理リソース７１、アクセスメモリ７２及びインターフェース７３を含む。前記アクセスメモリ７２によって、コードを記憶するか又はコードにアクセスすることができ、当該コードは、本開示で説明及び解説されるように、本開示の任意の方法実施例の１つ又は複数のステップを実行することを処理リソース７１に指示する。

【0045】

具体的に、コードは、下記の処理を行うように処理リソース７１に指示することができ、即ち、通信インターフェース７３を介して符号化待ちの画像データ３１を取得し、当該画像データ３１を符号化することにより、符号化された画像データを得、画像ビットストリーム４５を生成する基礎として、当該画像ビットストリームは、通信インターフェース７３を介して復号化側に出力する。選択的に、符号化データの復号化を実行するコードが存在してもよい。符号化された又は復号化された符号化画像データから特徴検出を行って第２特徴セットを得る。符号化されたもの自身が再構築画像を有する場合、復号化を省略してもよい。得られた画像データに対してさらなる特徴検出を行い、第１特徴セットを得る。第１特徴セットと第２特徴セットを組み合わせることにより、第１特徴セットと第２特徴セットを結合して、特徴増強データ４６を得、当該データは、他のビットストリームとして出力されることができる。

【0046】

処理リソースは、１つ又は複数の中央処理ユニット（ＣＰＵ）などの処理ユニットとして実施されてもよく、又はデータセンタ又は所謂クラウドコンピューティングの形で存在する分散処理能力及び／又は共有処理能力によって提供されてもよい。類似する考慮は、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリを含むが、これらに限定されないローカルメモリによって実施されることができるアクセスメモリに適する。同様に、データセンタ及び／又はクラウドメモリストレージなどの、分散及び／又は共有メモリストレージも適用可能である。

【0047】

図３Ｂは、本開示の実施例による、復号化側の一般的な機器の実施例の概略図を示す。復号化装置８０は、処理リソース８１、アクセスメモリ８２及びインターフェース８３を含む。アクセスメモリ８２は、コードを記憶するか又はコードにアクセスすることができ、当該コードは、本開示で説明及び解説されるように、本開示の任意の方法実施例の１つ又は複数のステップを実行することを処理リソース８１に指示する。更に、機器８０は、表示ユニット８４を含み得、表示ユニット８４は、処理リソース８１から表示データを受信して、画像データと一致するコンテンツを表示することができる。機器８０は、通常、コンピュータ、パーソナルコンピュータ、タブレットコンピュータ、ノートブックコンピュータ、スマートフォン、携帯電話、ビデオプレーヤー、テレビセットトップボック、受信機など、当技術分野で知られているようなものであってよい。

【0048】

具体的に、コードは、通信インターフェース８３を介して画像ビットストリーム４５と特徴ビットストリーム４６を取得することを処理リソース８１に指示することができる。特徴ビットストリームに残差特徴セットが示されることができ、当該残差特徴セットは、入力画像データ又はオリジナル画像データから検出された特徴セットから、入力画像データ又はオリジナル画像データを符号化することにより生成された符号化画像データから検出された特徴セットを減算することにより得られる。コードは、復号化された画像ビットストリームから復号化された特徴セットを検索し、復号化された特徴セットと、特徴ビットストリームから復号化された残差特徴セットに基づいて、復元された特徴セットを得ることを処理リソース８１に指示することができる。コードは更に、表示ユニット８４上で表示される表示データを生成することを処理リソース８１に指示することができる。

【0049】

図４Ａは、本開示の一般的な方法実施例のフローチャートを示す。具体的に、ビデオデータの符号化方法を示し、当該方法は、以下のステップを含む。選択可能なステップＳ１において、符号化待ちの入力画像データを取得する。当該入力画像データは、ステップＳ２で符号化されることによって符号化された画像データを得、当該符号化された画像データは、画像ビットストリームを生成する基礎となる。選択的に、ステップＳ３において、当該符号化された画像データを復号化し、ステップＳ４において、復号化された画像データに対して特徴検出を行い、第２特徴セットを得る。ステップＳ２における符号化されたもの自身が再構築画像を有する場合、ステップＳ３の復号化を省略してもよいし、当該方法は、ステップＳ３の後のステップＳ４に直接実行してもよい。ステップＳ５において、更に、入力された画像データに対して特徴検出を行い、第１特徴セットを得る。ステップＳ６において、本開示の他の場所でより詳しく説明したように、第１特徴セット及び第２特徴セットを用いて残差特徴セットを生成する。

【0050】

図４Ｂは、本開示の一般的な方法実施例のフローチャートを示す。具体的に、ビデオデータの復号化方法を示し、当該方法は、以下のステップを含む。ステップＳ１１において、符号化によって入力／オリジナルの画像データから生成できる画像ビットストリームを取得する。ステップＳ１３において、特徴ビットストリームを取得する。特徴ビットストリームに残差特徴セットが示されており、当該残差特徴セットは、入力画像データ又はオリジナル画像データから検出された特徴セットから、入力画像データ又はオリジナル画像データを符号化することにより生成された符号化画像データから検出された特徴セットを減算することにより得られる。ステップＳ１４において、特徴ビットストリームを復号化して、残差特徴セットを得る。当該方法は更に、以下のステップを含む。ステップＳ１２において、画像ビットストリームを復号化する。ステップＳ１５において、復号化された画像ビットストリームから復号化された特徴セットを検索する。ステップＳ１６において、復号化された特徴セットと、特徴ビットストリームから復号化された残差特徴セットに基づいて、復元された特徴セットを得る。

【0051】

詳細な実施例について説明したが、これらの実施例は、独立請求項によって限定される本開示をより良く理解するためのものであり、本開示を限定するものと見なすべきではない。

【図1A】

【図1B】

【図2A】

【図2B】

【図3A】

【図3B】

【図4A】

【図4B】

【手続補正書】

【提出日】2024-01-04

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ビデオデータの復号化方法であって、
画像ビットストリームを取得するステップと、
特徴ビットストリームを取得するステップであって、前記特徴ビットストリームに残差特徴セットが示されるステップと、
復号化された前記画像ビットストリームから、復号化された特徴セットを検索するステップと、
前記復号化された特徴セットと前記残差特徴セットに基づいて、復元された特徴セットを取得するステップであって、前記残差特徴セットは前記特徴ビットストリームを復号化するにより得られるものである、ステップと、を含む、ビデオデータの復号化方法。

【請求項2】

前記復元された特徴セットは、前記復号化された特徴セットと、前記特徴ビットストリームを復号化して得られる前記残差特徴セットとの和によって取得される、
請求項１に記載のビデオデータの復号化方法。

【請求項3】

前記ビデオデータの復号化方法は、
前記特徴ビットストリームに対して圧縮の展開と復号化を行い、前記残差特徴セットを得るステップを更に含む、
請求項１又は２に記載のビデオデータの復号化方法。

【請求項4】

前記ビデオデータの復号化方法は、
前記画像ビットストリームと前記復元された特徴セットに基づいて、再構築データを生成するステップを更に含む、
請求項１ないし３のいずれか一項に記載のビデオデータの復号化方法。

【請求項5】

ビデオデータの符号化方法であって、
入力された画像データを符号化して、符号化された画像データを得るステップであって、前記符号化された画像データは、画像ビットストリームを生成する基礎とされるステップと、
前記入力された画像データに対して特徴検出を行い、第１特徴セットを得るステップと、
前記符号化された画像データに対して特徴検出を行い、第２特徴セットを得るステップと、
前記第１特徴セットと前記第２特徴セットを組み合わせ、特徴増強データを得るステップと、を含む、ビデオデータの符号化方法。

【請求項6】

前記ビデオデータの符号化方法は、
前記符号化された画像データを復号化して、復号化を経由した符号化画像データを得、前記復号化を経由した符号化画像データに対して特徴検出を行い、前記第２特徴セットを得るステップを更に含む、
請求項５に記載のビデオデータの符号化方法。

【請求項7】

前記ビデオデータの符号化方法は、
前記符号化された画像データに基づいて、画像ビットストリームを生成するステップを更に含む、
請求項５又は６に記載のビデオデータの符号化方法。

【請求項8】

前記ビデオデータの符号化方法は、
前記特徴増強データに基づいて、特徴ビットストリームを生成するステップを更に含む、
請求項５ないし７のいずれか一項に記載のビデオデータの符号化方法。

【請求項9】

前記特徴ビットストリームを生成することは、前記特徴増強データを符号化するステップを含む、
請求項８に記載のビデオデータの符号化方法。

【請求項10】

前記ビデオデータの符号化方法は、
ビットストリームを多重化し、符号化した形態の前記画像データを復号化側に伝送するステップを更に含む、
請求項５ないし９のいずれか一項に記載のビデオデータの符号化方法。

【請求項11】

前記第１特徴セットと前記第２特徴セットを組み合わせるステップは、前記第１特徴セットと前記第２特徴セットを結合して、前記特徴増強データを生成するステップを含む、
請求項５ないし１０のいずれか一項に記載のビデオデータの符号化方法。

【請求項12】

前記第１特徴セットと前記第２特徴セットを組み合わせるステップは、選択される特徴のみが前記特徴増強データを生成するために使用することができるように、前記第１特徴セットと前記第２特徴セット内の特徴を選択するステップを含む、
請求項５ないし１１のいずれか一項に記載のビデオデータの符号化方法。

【請求項13】

前記第１特徴セットと前記第２特徴セットを組み合わせるステップは、第１特徴セットと前記第２特徴セットの両方に存在する特徴を省略するステップを含む、
請求項５ないし１２のいずれか一項に記載のビデオデータの符号化方法。

【請求項14】

処理リソースとメモリリソースとを含む、ビデオデータの復号化機器であって、前記処理リソースは、前記メモリリソースにアクセスしてコードを取得し、前記コードは、前記処理リソースに、請求項１ないし４のいずれか一項に記載のビデオデータの復号化方法を実行させるように構成される、
ビデオデータの復号化機器。

【請求項15】

処理リソースとメモリリソースとを含む、ビデオデータの符号化機器であって、前記処理リソースは、前記メモリリソースにアクセスしてコードを取得し、前記コードは、前記処理リソースに、請求項１ないし４のいずれか一項に記載のビデオデータの符号化方法を実行させるように構成される、
ビデオデータの符号化機器。

【国際調査報告】