特許 7578380 マシン向けビデオコーディングのための特徴圧縮

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-28

(45)【発行日】2024-11-06

(54)【発明の名称】マシン向けビデオコーディングのための特徴圧縮

(51)【国際特許分類】

   H04N 19/85 20140101AFI20241029BHJP

【ＦＩ】

H04N19/85

【請求項の数】 11

(21)【出願番号】P 2023528039

(86)(22)【出願日】2022-09-09

(65)【公表番号】

(43)【公表日】2023-11-22

(86)【国際出願番号】 US2022043030

(87)【国際公開番号】W WO2023043665

(87)【国際公開日】2023-03-23

【審査請求日】2023-05-10

(31)【優先権主張番号】63/246,217

(32)【優先日】2021-09-20

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/940,374

(32)【優先日】2022-09-08

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ガオ，ウェン

(72)【発明者】

【氏名】シュー，シャオジョン

(72)【発明者】

【氏名】リウ，シャン

【審査官】田中 純一

(56)【参考文献】

【文献】国際公開第２０２１／０９５２４５（ＷＯ，Ａ１）

【文献】特表２０２３－５４２８７６（ＪＰ，Ａ）

【文献】国際公開第２０２２／０８６３７６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ － １９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

特徴圧縮を実行する方法であって、当該方法は少なくとも１つのプロセッサにより実行され、
入力ビデオを取得するステップと、
前記入力ビデオに対応する特徴マップを取得するステップであり、前記特徴マップは複数の特徴チャネルを含む、ステップと、
前記複数の特徴チャネルの少なくとも１つの特性に基づいて前記複数の特徴チャネルを再順序付けするステップと、
前記再順序付けされた複数の特徴チャネルを圧縮するステップと、
前記再順序付けされ、かつ圧縮された複数の特徴チャネルに基づいて、符号化されたビットストリームを生成するステップと、
を含み、
前記少なくとも１つの特性は、前記複数の特徴チャネルの類似度を含み、
前記類似度は、前記複数の特徴チャネルのうちの２つの特徴チャネル間の相関係数に基づいて決定され、
前記相関係数は、前記２つの特徴チャネルの共分散と前記２つの特徴チャネルの標準偏差の積との間の比率に対応する、方法。

【請求項2】

前記２つの特徴チャネルは、前記複数の特徴チャネルのうちの第ｉの特徴チャネル及び第ｊの特徴チャネルを含み、
前記相関係数は、以下の式：

【数1】

に従って算出され、ρは、前記相関係数を表し、Ｆは、前記特徴マップを示す３次元配列を表し、Ｗは、前記特徴マップの幅を表し、ｗは、幅インデックスを表し、Ｈは、前記特徴マップの高さを表し、ｈは、高さインデックスを表し、μ_ｉは、前記第ｉの特徴チャネルの平均を表し、μ_ｊは、前記第ｊの特徴チャネルの平均を表し、σ_ｉは、前記第ｉの特徴チャネルの標準偏差を表し、σ_ｊは、前記第ｊの特徴チャネルの標準偏差を表す、請求項１に記載の方法。

【請求項3】

前記複数の特徴チャネルは、少なくとも１つのピクチャグループにソートされ、前記符号化されたビットストリームを生成するために使用される少なくとも１つの参照ピクチャは、前記相関係数に基づいて選択される、請求項１に記載の方法。

【請求項4】

前記再順序付けすることは、前記複数の特徴チャネルの中から少なくとも１つのアンカー特徴チャネルを選択することと、前記少なくとも１つのアンカー特徴チャネルに基づいて、前記複数の特徴チャネルの中からの残りの特徴チャネルを少なくとも１つのクラスタにクラスタリングすることを含む、請求項１に記載の方法。

【請求項5】

前記再順序付けすることは、前記少なくとも１つのクラスタ内の前記残りの特徴チャネルを、前記残りの特徴チャネルの平均、前記残りの特徴チャネルの分散、及び前記残りの特徴チャネルの類似度の中からの少なくとも１つに基づいて順序付けすることをさらに含む、請求項４に記載の方法。

【請求項6】

前記再順序付けすることは、前記複数の特徴チャネルの各特徴チャネルの合計相関係数を計算することと、前記合計相関係数に基づいて前記複数の特徴チャネルを順序付けすることを含む、請求項１に記載の方法。

【請求項7】

前記符号化されたビットストリームにおいて前記再順序付けされた複数の特徴チャネルの順序をシグナリングするステップ、をさらに含む請求項１に記載の方法。

【請求項8】

前記順序は、前記再順序付けされた複数の特徴チャネル内で位置を変更した特徴チャネルを示すことによりシグナリングされる、請求項７に記載の方法。

【請求項9】

前記順序は、暗黙的にシグナリングされ、
前記順序を暗黙的にシグナリングすることは、前記特徴マップ内の前記複数の特徴チャネルをソートするためにチャネル平均が使用される場合、前記符号化されたビットストリームにおいて各特徴チャネルの平均値を元の順序でシグナリングすることを含む、
請求項７に記載の方法。

【請求項10】

特徴圧縮を実行するデバイスであって、
プログラムコードを記憶するように構成された少なくとも１つのメモリと、
前記プログラムコードを読み取り、前記プログラムコードを実行して請求項１乃至９のうちいずれか１項に記載の方法を実行するように構成された少なくとも１つのプロセッサと、
を含むデバイス。

【請求項11】

１つ以上のプロセッサに、請求項１乃至９のうちいずれか１項に記載の方法を実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本出願は、2021年9月20日に米国特許商標庁に出願された米国仮出願第63/246,217号からの優先権を主張しており、その開示は全体を参照により本明細書に組み込まれている。

【0002】

技術分野
本開示の実施形態は、ビデオコーディングを対象とし、より具体的には、マシン向けビデオコーディング（ＶＣＭ）と整合性のある特徴圧縮を対象とする。

【背景技術】

【0003】

ビデオや画像は、例えば娯楽、教育など、様々な目的で人間のユーザにより消費されることがある。したがって、ビデオコーディングや画像コーディングはしばしば、良好な主観的品質を維持しながらのより良好な圧縮効率のために、人間の視覚系の特性を利用することがある。

【0004】

近年、センサの豊富さを伴った機械学習アプリケーションの台頭により、多くのインテリジェントプラットフォームは、オブジェクト検出、セグメンテーション、又はトラッキングなどのマシンビジョンタスクにビデオを利用している。結果として、マシンタスクによる消費のためにビデオや画像を符号化することが、興味深くチャレンジングな問題となっている。これは、マシン向けビデオコーディング（Video Coding for Machine、ＶＣＭ）研究の導入につながった。この目標を達成するために、国際標準グループＭＰＥＧは、異なるデバイス間のより良好な相互運用性のために関連する手法を標準化するためのアドホックグループ「マシン向けビデオコーディング（Video coding for machines、ＶＣＭ）」を創設した。

【発明の概要】

【0005】

１つ以上の実施形態によれば、特徴圧縮を実行する方法は、少なくとも１つのプロセッサにより実行され、入力ビデオを取得するステップと、入力ビデオに対応する特徴マップを取得するステップであり、特徴マップは複数の特徴チャネルを含む、ステップと、複数の特徴チャネルの少なくとも１つの特性に基づいて複数の特徴チャネルを再順序付けするステップと、再順序付けされた複数の特徴チャネルを圧縮するステップと、圧縮され及び再順序付けされた複数の特徴チャネルに基づいて符号化されたビットストリームを生成するステップを含む。

【0006】

１つ以上の実施形態によれば、特徴圧縮を実行するデバイスは、プログラムコードを記憶するように構成された少なくとも１つのメモリと、プログラムコードを読み取り、プログラムコードにより指示されるとおり動作するように構成された少なくとも１つのプロセッサと、を含み、プログラムコードは、少なくとも１つのプロセッサに、入力ビデオを取得させるように構成された第１の取得コードと、少なくとも１つのプロセッサに、入力ビデオに対応する特徴マップを取得させるように構成された第２の取得コードであり、特徴マップは複数の特徴チャネルを含む、第２の取得コードと、少なくとも１つのプロセッサに、複数の特徴チャネルの少なくとも１つの特性に基づいて複数の特徴チャネルを再順序付けさせるように構成された再順序付けコードと、少なくとも１つのプロセッサに、再順序付けされた複数の特徴チャネルを圧縮させるように構成された圧縮コードと、少なくとも１つのプロセッサに、圧縮され及び再順序付けされた複数の特徴チャネルに基づいて符号化されたビットストリームを生成させるように構成された生成コードを含む。

【0007】

１つ以上の実施形態によれば、非一時的コンピュータ読取可能媒体は命令を記憶し、命令は、特徴圧縮を実行するデバイスの１つ以上のプロセッサにより実行されたときに、１つ以上のプロセッサに、入力ビデオを取得し；入力ビデオに対応する特徴マップを取得し、特徴マップは複数の特徴チャネルを含み；複数の特徴チャネルの少なくとも１つの特性に基づいて複数の特徴チャネルを再順序付けし；再順序付けされた複数の特徴チャネルを圧縮し；圧縮され及び再順序付けされた複数の特徴チャネルに基づいて符号化されたビットストリームを生成する；ことをさせる１つ以上の命令を含む。

【図面の簡単な説明】

【0008】

開示される対象事項のさらなる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになるであろう。

【図1】実施形態による、本明細書に記載される方法、装置、及びシステムが実施され得る環境の図である。

【図2】図１の１つ以上のデバイスの例示的なコンポーネントのブロック図である。

【図3】実施形態による、ビデオコーディングを実行するための例示的なアーキテクチャのブロック図である。

【図4】実施形態による、例示的な特徴マップのブロック図である。

【図5】実施形態による、特徴圧縮を実行するための例示的なプロセスのフローチャートである。

【発明を実施するための形態】

【0009】

図１は、実施形態による、本明細書に記載される方法、装置、及びシステムが実施され得る環境１００の図である。図１に示すように、環境１００は、ユーザデバイス１１０、プラットフォーム１２０、及びネットワーク１３０を含むことができる。環境１００のデバイスは、有線接続、無線接続、又は有線接続と無線接続の組み合わせを介して相互接続することができる。

【0010】

ユーザデバイス１１０は、プラットフォーム１２０に関連づけられた情報を受信、生成、記憶、処理、及び／又は提供することができる１つ以上のデバイスを含む。例えば、ユーザデバイス１１０は、コンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、スマートスピーカー、サーバ等）、携帯電話（例えば、スマートフォン、無線電話等）、ウェアラブルデバイス（例えば、スマートグラス、又はスマートウォッチ）、又は同様のデバイスを含んでもよい。いくつかの実装において、ユーザデバイス１１０は、プラットフォーム１２０から情報を受信し、かつ／あるいはプラットフォーム１２０に情報を送信することができる。

【0011】

プラットフォーム１２０は、本明細書において他の箇所で説明されるように、１つ以上のデバイスを含む。いくつかの実装において、プラットフォーム１２０は、クラウドサーバ、又はクラウドサーバのグループを含んでもよい。いくつかの実装において、プラットフォーム１２０は、ソフトウェアコンポーネントが特定のニーズに応じてスワップイン又はスワップアウトされ得るように、モジュール式であるように設計されてもよい。そのため、プラットフォーム１２０は、異なる使用法に対して容易かつ／あるいは迅速に再構成することができる。

【0012】

いくつかの実装において、図示のように、プラットフォーム１２０は、クラウドコンピューティング環境１２２でホストされる場合がある。とりわけ、本明細書に記載される実装は、プラットフォーム１２０をクラウドコンピューティング環境１２２でホストされるものとして説明するが、いくつかの実装において、プラットフォーム１２０は、クラウドベースでなくてもよく（すなわち、クラウドコンピューティング環境の外部で実装される場合がある）、あるいは部分的にクラウドベースでもよい。

【0013】

クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストする環境を含む。クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストするシステム及び／又はデバイスの物理的な場所及び構成のエンドユーザ（例えば、ユーザデバイス１１０）の知識を必要としない計算、ソフトウェア、データアクセス、ストレージ等のサービスを提供することができる。図示のように、クラウドコンピューティング環境１２２は、計算リソース１２４のグループ（集合的に「複数の計算リソース１２４」と呼ばれ、個々に「計算リソース１２４」と呼ばれる）を含むことができる。

【0014】

計算リソース１２４は、１つ以上のパーソナルコンピュータ、ワークステーションコンピュータ、サーバデバイス、又は他のタイプの計算及び／又は通信デバイスを含む。いくつかの実装において、計算リソース１２４は、プラットフォーム１２０をホストすることができる。クラウドリソースは、計算リソース１２４で実行される計算インスタンス、計算リソース１２４で提供されるストレージデバイス、計算リソース１２４で提供されるデータ転送デバイスなどを含んでもよい。いくつかの実装において、計算リソース１２４は、有線接続、無線接続、又は有線接続と無線接続の組み合わせを介して他の計算リソース１２４と通信することができる。

【0015】

図１にさらに示すように、計算リソース１２４は、１つ以上のアプリケーション（「ＡＰＰ」）１２４－１、１つ以上の仮想マシン（「ＶＭ」）１２４－２、仮想化ストレージ（「ＶＳ」）１２４－３、１つ以上のハイパーバイザ（「ＨＹＰ」）１２４－４などのクラウドリソースのグループを含む。

【0016】

アプリケーション１２４－１は、ユーザデバイス１１０及び／又はプラットフォーム１２０に提供され、あるいはユーザデバイス１１０及び／又はプラットフォーム１２０によりアクセスされ得る１つ以上のソフトウェアアプリケーションを含む。アプリケーション１２４－１は、ユーザデバイス１１０上でソフトウェアアプリケーションをインストール及び実行する必要を排除し得る。例えば、アプリケーション１２４－１は、プラットフォーム１２０に関連づけられたソフトウェア、及び／又はクラウドコンピューティング環境１２２を介して提供することができる任意の他のソフトウェアを含んでもよい。いくつかの実装において、１つのアプリケーション１２４－１が、仮想マシン１２４－２を介して、１つ以上の他のアプリケーション１２４－１に／から、情報を送信／受信することができる。

【0017】

仮想マシン１２４－２は、物理マシンのようにプログラムを実行するマシン（例えば、コンピュータ）のソフトウェア実装を含む。仮想マシン１２４－２は、仮想マシン１２４－２による任意の実マシンへの対応の使用法及び度合いに応じて、システム仮想マシン又はプロセス仮想マシンのいずれかでもよい。システム仮想マシンは、完全なオペレーティングシステム（「ＯＳ」）の実行をサポートする完全なシステムプラットフォームを提供することができる。プロセス仮想マシンは、単一のプログラムを実行することができ、単一のプロセスをサポートすることができる。いくつかの実装において、仮想マシン１２４－２は、ユーザ（例えば、ユーザデバイス１１０）のために実行することができ、データ管理、同期、長時間のデータ転送などの、クラウドコンピューティング環境１２２のインフラストラクチャを管理することができる。

【0018】

仮想化ストレージ１２４－３は、計算リソース１２４のストレージシステム又はデバイス内で仮想化技術を使用する１つ以上のストレージシステム及び／又は１つ以上のデバイスを含む。いくつかの実装において、ストレージシステムの文脈内で、仮想化のタイプは、ブロック仮想化とファイル仮想化を含む場合がある。ブロック仮想化は、論理ストレージの、物理ストレージからの抽象化（又は、分離）を指すことができ、それにより、ストレージシステムは、物理ストレージ又は異種の構造に関係なくにアクセスされ得る。この分離は、ストレージシステムの管理者に、管理者が如何にしてエンドユーザに対するストレージを管理するかの柔軟性を許容する場合がある。ファイル仮想化は、ファイルレベルでアクセスされるデータとファイルが物理的に記憶されている位置との間の依存関係を排除することができる。これは、ストレージ使用の最適化、サーバ統合、及び／又は無停止のファイル移行の実行を可能にする場合がある。

【0019】

ハイパーバイザ１２４－４は、複数のオペレーティングシステム（例えば、「ゲストオペレーティングシステム」）を計算リソース１２４などのホストコンピュータ上で同時に実行することを可能にするハードウェア仮想化技術を提供することができる。ハイパーバイザ１２４－４は、ゲストオペレーティングシステムに仮想オペレーティングシステムプラットフォームを提示することができ、ゲストオペレーティングシステムの実行を管理することができる。様々なオペレーティングシステムの複数のインスタンスが、仮想化されたハードウェアリソースを共有する場合がある。

【0020】

ネットワーク１３０は、１つ以上の有線及び／又は無線ネットワークを含む。例えば、ネットワーク１３０は、セルラーネットワーク（例えば、第５世代（５Ｇ）ネットワーク、ロングタームエボリューション（long-term evolution、ＬＴＥ）ネットワーク、第３世代（３Ｇ）ネットワーク、符号分割多元接続（code division multiple access、ＣＤＭＡ）ネットワークなど）、公衆陸上移動体通信網（public land mobile network、ＰＬＭＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、電話ネットワーク（例えば、公衆交換電話網（Public Switched Telephone Network、ＰＳＴＮ））、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバーベースのネットワークなど、及び／又はこれら又は他のタイプのネットワークの組み合わせを含んでもよい。

【0021】

図１に示すデバイス及びネットワークの数及び配置は一例として提供されている。実際には、図１に示すものに対してさらなるデバイス及び／又はネットワーク、より少ないデバイス及び／又はネットワーク、異なるデバイス及び／又はネットワーク、あるいは別様に配置されたデバイス及び／又はネットワークが存在してもよい。さらに、図１に示す２つ以上のデバイスが単一のデバイス内に実装されてもよく、あるいは、図１に示す単一のデバイスが複数の分散されたデバイスとして実装されてもよい。さらに又は代わりに、環境１００のデバイスのセット（例えば、１つ以上のデバイス）が、環境１００の別のデバイスのセットにより実行されると説明されている１つ以上の機能を実行してもよい。

【0022】

図２は、図１の１つ以上のデバイスの例示的なコンポーネントのブロック図である。デバイス２００は、ユーザデバイス１１０及び／又はプラットフォーム１２０に対応することができる。図２に示すように、デバイス２００は、バス２１０、プロセッサ２２０、メモリ２３０、記憶コンポーネント２４０、入力コンポーネント２５０、出力コンポーネント２６０、及び通信インターフェース２７０を含むことができる。

【0023】

バス２１０は、デバイス２００のコンポーネント間の通信を可能にするコンポーネントを含む。プロセッサ２２０は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアの組み合わせで実装される。プロセッサ２２０は、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、アクセラレーテッド処理ユニット（ＡＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は別のタイプの処理コンポーネントである。いくつかの実装において、プロセッサ２２０は、機能を実行するようにプログラムすることができる１つ以上のプロセッサを含む。メモリ２３０は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、及び／又はプロセッサ２２０による使用のための情報及び／又は命令を記憶する別のタイプの動的又は静的ストレージデバイス（例えば、フラッシュメモリ、磁気メモリ、及び／又は光学メモリ）を含む。

【0024】

記憶コンポーネント２４０は、デバイス２００の動作及び使用に関連する情報及び／又はソフトウェアを記憶する。例えば、記憶コンポーネント２４０は、ハードディスク（例えば、磁気ディスク、光ディスク、磁気光ディスク、及び／又はソリッドステートディスク）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、カートリッジ、磁気テープ、及び／又は別のタイプの非一時的コンピュータ読取可能媒体を、対応するドライブとともに含んでもよい。

【0025】

入力コンポーネント２５０は、デバイス２００がユーザ入力を介してなどで情報を受け取ることができるようにするコンポーネント（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、及び／又はマイクロフォン）を含む。さらに又は代わりに、入力コンポーネント２５０は、情報を感知するセンサ（例えば、全地球測位システム（ＧＰＳ）コンポーネント、加速度計、ジャイロスコープ、及び／又はアクチュエータ）を含んでもよい。出力コンポーネント２６０は、デバイス２００からの出力情報を提供するコンポーネント（例えば、ディスプレイ、スピーカー、及び／又は１つ以上の発光ダイオード（ＬＥＤ））を含む。

【0026】

通信インターフェース２７０は、デバイス２００が有線接続、無線接続、又は有線接続と無線接続の組み合わせを介してなどで他のデバイスと通信することを可能にするトランシーバ様のコンポーネント（例えば、トランシーバ、及び／又は別個の受信機及び送信機）を含む。通信インターフェース２７０は、デバイス２００が別のデバイスから情報を受信し、かつ／あるいは別のデバイスに情報を提供することができるようにする場合がある。例えば、通信インターフェース２７０は、イーサネットインターフェース、光インターフェース、同軸インターフェース、赤外線インターフェース、無線周波数（ＲＦ）インターフェース、ユニバーサルシリアルバス（ＵＳＢ）インターフェース、Ｗｉ－Ｆｉインターフェース、セルラーネットワークインターフェース等を含んでもよい。

【0027】

デバイス２００は、本明細書に記載される１つ以上の処理を実行することができる。デバイス２００は、プロセッサ２２０がメモリ２３０及び／又は記憶コンポーネント２４０などの非一時的コンピュータ読取可能媒体により記憶されたソフトウェア命令を実行することに応じて、これらの処理を実行してもよい。コンピュータ読取可能媒体は、本明細書において非一時的メモリデバイスとして定義される。メモリデバイスは、単一の物理ストレージデバイス内のメモリ空間、又は複数の物理ストレージデバイスにわたり広がるメモリ空間を含む。

【0028】

ソフトウェア命令は、通信インターフェース２７０を介して別のコンピュータが読取可能媒体から、又は別のデバイスから、メモリ２３０及び／又は記憶コンポーネント２４０に読み取ることができる。実行されたとき、メモリ２３０及び／又は記憶コンポーネント２４０に記憶されたソフトウェア命令は、プロセッサ２２０に、本明細書に記載される１つ以上の処理を実行させることができる。さらに又は代わりに、本明細書に記載される１つ以上の処理を実行するために、ソフトウェア命令の代わりに、又はソフトウェア命令と組み合わせて、ハードワイヤード回路が使用されてもよい。したがって、本明細書に記載される実装は、ハードウェア回路とソフトウェアの特定の組み合わせに限定されない。

【0029】

図２に示すコンポーネントの数及び配置は一例として提供されている。実際には、デバイス２００は、図２に示すものに対してさらなるコンポーネント、より少ないコンポーネント、異なるコンポーネント、又は別様に配置されたコンポーネントを含んでもよい。さらに又は代わりに、デバイス２００のコンポーネントのセット（例えば、１つ以上のコンポーネント）が、デバイス２００の別のコンポーネントのセットにより実行されると説明されている１つ以上の機能を実行してもよい。

【0030】

図３は、実施形態による、ビデオコーディングを実行するための例示的なアーキテクチャ３００のブロック図である。実施形態において、アーキテクチャ３００は、マシン向けビデオコーディング（ＶＣＭ）アーキテクチャ、又は、その他の方法でＶＣＭコーディングと互換性があり、若しくはＶＣＭコーディングを実行するように構成されているアーキテクチャでもよい。例えば、アーキテクチャ３００は、「Use cases and requirements for Video Coding for Machines」（(ISO/IEC JTC 1/SC 29/WG 2 N18）、「Draft of Evaluation Framework for Video Coding for Machines」（ISO/IEC JTC 1/SC 29/WG 2 N19）、及び「Call for Evidence for Video Coding for Machines」（(ISO/IEC JTC 1/SC 29/WG 2 N20）と互換性があってもよく、これらの開示は全体を参照により本明細書に組み込まれている。

【0031】

実施形態において、図３に示される要素の１つ以上は、図１～図２に関して上記で論じた要素の１つ以上、例えば、ユーザデバイス１１０、プラットフォーム１２０、デバイス２００、又はそこに含まれる要素のいずれかの１つ以上に対応し、あるいはそれらにより実現されてもよい。

【0032】

図３に見られるように、アーキテクチャ３００は、ＶＣＭエンコーダ３１０及びＶＣＭデコーダ３２０を含むことができる。実施形態において、ＶＣＭエンコーダは、センサ入力３０１を受信することができ、センサ入力３０１は、例えば、１つ以上の入力画像、又は入力ビデオを含んでもよい。センサ入力３０１は、センサ入力から特徴を抽出することができる特徴抽出モジュール３１１に提供することができ、抽出された特徴は、特徴変換モジュール３１２を使用して変換し、特徴符号化モジュール３１３を使用して符号化することができる。実施形態において、用語「符号化」は、用語「圧縮」を含む場合があり、これに対応する場合があり、あるいはこれと言い換え可能で用いられる場合がある。アーキテクチャ３００は、インターフェース３０２を含むことができ、インターフェース３０２は、特徴抽出モジュール３１１が、特徴抽出の実行を支援し得るニューラルネットワーク（ＮＮ）とインターフェースすることを可能にし得る。

【0033】

センサ入力３０１は、ビデオ符号化モジュール３１４に提供することができ、ビデオ符号化モジュール３１４は、符号化されたビデオを生成することができる。実施形態において、特徴が抽出され、変換され、符号化された後、符号化された特徴は、ビデオ符号化モジュール３１４に提供することができ、ビデオ符号化モジュール３１４は、符号化されたビデオの生成を支援するために、符号化された特徴を使用することができる。実施形態において、ビデオ符号化モジュール３１４は、符号化されたビデオを、符号化されたビデオビットストリームとして出力することができ、特徴符号化モジュール３１３は、符号化された特徴を、符号化された特徴ビットストリームとして出力することができる。実施形態において、ＶＣＭエンコーダ３１０は、符号化されたビデオビットストリームと符号化された特徴ビットストリームの双方をビットストリームマルチプレクサ３１５に提供することができ、ビットストリームマルチプレクサ３１５は、符号化されたビデオビットストリームと符号化された特徴ビットストリームを組み合わせることにより、符号化されたビットストリームを生成することができる。

【0034】

実施形態において、符号化されたビットストリームは、ビットストリームデマルチプレクサ（ｄｅｍｕｘ）により受信される場合があり、ビットストリームデマルチプレクサは、符号化されたビットストリームを、符号化されたビデオビットストリーム及び符号化された特徴ビットストリームに分離することができ、これらは、ＶＣＭデコーダ３２０に提供することができる。符号化された特徴ビットストリームは、特徴復号モジュール３２２に提供することができ、特徴復号モジュール３２２は、復号された特徴を生成することができ、符号化されたビデオビットストリームは、ビデオ復号モジュールに提供することができ、ビデオ復号モジュールは、復号されたビデオを生成することができる。実施形態において、復号された特徴は、ビデオ復号モジュール３２３にさらに提供することができ、ビデオ復号モジュール３２３は、復号されたビデオの生成を支援するために、復号された特徴を使用することができる。

【0035】

実施形態において、ビデオ復号モジュール３２３と特徴復号モジュール３２２の出力は、主に、マシンの消費、例えば、マシンビジョンモジュール３３２に使用されてもよい。実施形態において、出力は、人間の消費にも使用することができ、図３において人間の視覚３３１として示されている。クライアントエンドから、例えばＶＣＭデコーダ３２０の側からの、ＶＣＭシステム、例えばアーキテクチャ３００は、ビデオ復号を実行して、サンプルドメインのビデオを最初に取得することができる。次いで、ビデオコンテンツを理解するための１つ以上のマシンタスクを、例えば、マシンビジョンモジュール３３２により実行することができる。実施形態において、アーキテクチャ３００は、インターフェース３０３を含むことができ、インターフェース３０３は、マシンビジョンモジュール３３２が、１つ以上のマシンタスクの実行を支援し得るＮＮとインターフェースすることを可能にし得る。

【0036】

図３に見られるように、ビデオ符号化モジュール３１４及びビデオ復号モジュール３２３を含むビデオ符号化及び復号パスの他に、アーキテクチャ３００に含まれる別のパスは、特徴抽出、特徴符号化、及び特徴復号パスであり、これは、特徴抽出モジュール３１１、特徴変換モジュール３１２、特徴符号化モジュール３１３、及び特徴復号モジュール３２２を含む。これらのパスに関連する例を以下でより詳細に論じる。

【0037】

実施形態において、ＶＣＭエンコーダ３１０において、ソース画像又はソースビデオ、例えばセンサ入力３０１から抽出された特徴は、ＶＣＭデコーダ３２０において、又はマシンビジョンモジュール３３２において、マシンビジョンネットワークにより直接利用することができる。この場合、ＶＣＭデコーダ３２０において特徴抽出の必要がない場合がある。したがって、ＶＣＭエンコーダ３１０において、特に、特徴を複数のマシンビジョンタスクに対して使用することができる場合に、電力節減を達成することができる。

【0038】

入力画像又は入力ビデオから抽出された、特徴マップ、又は特徴マップ信号は、３次元配列として表すことができ、これはＦ_n,h,wで示されてもよく、ここで、ｎ、ｈ、ｗは非負の整数であり、０≦ｎ＜Ｎ、０≦ｈ＜Ｈ、０≦ｗ＜Ｗであり、Ｎは特徴チャネルの数を表し、Ｈは各特徴チャネルの高さを表し、Ｗは各特徴チャネルの幅を表す。図４は、実施形態による例示的な特徴マップ４００のブロック図である。図４に見られるように、特徴マップ４００は、ｎ＝０、ｎ＝１、ｎ＝２、．．．、ｎ＝Ｎ－１にそれぞれ対応するＮ個のチャネル４００－１、４００－２、４００－３、．．．、４００－ｎを含むことができる。

【0039】

実施形態において、Ｆ_n,h,wが浮動小数点数として表現されている場合、それらは、平均減算、スケーリング、及び量子化処理を通じて整数に変換されてもよい。ソース画像又はビデオと同様に、特徴マップは、ＶＣＭエンコーダ３１０で、例えば特徴符号化モジュール３１３を使用して、ＶＣＭデコーダ３２０に送信される前に、大きいデータボリュームに起因して圧縮されてもよい。したがって、特徴圧縮もＶＣＭにおいて重要なトピックである。

【0040】

しかしながら、特徴マップＦ_n,h,wでは、異なる特徴チャネルは異なる特性を示す場合がある。隣接する特徴チャネルは、必ずしも類似又は高度に相関しているわけではない。したがって、類似の又は相関した特徴チャネルが、より良好な圧縮効率のために互いに隣接して配置されるように、特徴マップ内の特徴チャネルを再順序付けする（reorder）ことが望ましい場合がある。したがって、本開示の実施形態は、特徴圧縮のために特徴チャネルを再順序付けする方法及び対応するシグナリング方法に関連し得る。

【0041】

実施形態において、特徴マップ内の特徴チャネルは、各特徴チャネルの特性に基づいて再順序付けすることができる。例えば、特徴マップ内の各特徴チャネルの平均又は分散が計算されてもよく、特徴チャネルは、計算された特徴チャネル平均又は特徴チャネル分散に基づいて、例えば、特徴チャネル平均又は特徴チャネル分散の増加又は減少順、又は任意の他の統計ベースの基準に基づいて再順序付けされてもよい。平均は、特徴チャネルの１次モーメントと見なされてもよく、分散は、特徴チャネルの２次モーメントと見なされてもよい。実施形態において、より高次のモーメント、例えば３次モーメントが、特徴チャネルを再順序付けするためにさらに使用されてもよい。

【0042】

実施形態において、特徴マップ内の特徴チャネルは、特徴チャネル間の類似度を測定するメトリックに基づいて再順序付けされてもよい。例えば、第ｉの特徴チャネルと第ｊの特徴チャネルなどの特徴チャネルのペア間で、相関係数を計算することができる。実施形態において、相関係数は、特徴チャネルのペアの共分散と特徴チャネルのペアの標準偏差の積との間の比率に対応することができる。

【0043】

実施形態において、相関係数は、以下の式１に示すように算出されてもよい。

【数1】

【0044】

式１において、ρ_i,jは、第ｉの特徴チャネルと第ｊの特徴チャネルとの間の相関係数を表すことができ、μ_iは、第ｉの特徴チャネルの平均を表すことができ、μ_jは、第ｊの特徴チャネルの平均を表すことができ、σ_iは、第ｉの特徴チャネルの標準偏差を表すことができ、σ_jは、第ｊの特徴チャネルの標準偏差を表すことができる。

【0045】

ペアワイズ（pair-wise）特徴チャネル相関係数を計算した後、１つ以上のアンカー特徴チャネル、例えばＫ個のアンカー特徴チャネルを選択することができ、特徴チャネルの残りは、Ｋ個のアンカー特徴チャネルとの間のそれらの相関係数に基づいてクラスタリングすることができる。例えば、Ｋ個のアンカー特徴チャネルは、ａ（ｋ）、ｋ＝０，．．．，Ｋ－１で示されてもよく、ここで、ａ（ｋ）は、第ｋのアンカー特徴チャネルの特徴チャネルインデックスを表す。ｍが集合｛ａ（０），ａ（１），．．．，ａ（Ｋ－１）｝の中にない場合の、第ｍの特徴チャネルが、ａ（１）、．．．、ａ（ｋ－１）、ａ（ｋ＋１）、．．．、ａ（Ｋ－１）との間のその相関係数と比較して、ａ（ｋ）との間で最大の相関係数を有する場合、第ｍの特徴チャネルは、ａ（ｋ）のクラスタの一部として分類することができる。各クラスタ内で、特徴チャネルは、特徴チャネル平均又は分散などの特徴チャネル特性に基づいてソートすることができる。クラスタは、クラスタ平均又は分散に基づいてソートされてもよく、あるいはａ（ｋ）、ｋ＝１，．．．，Ｋ－１とａ（０）との間の相関係数に基づいてソートされてもよく、ここで、ａ（０）のクラスタは、一般性を失うことなく、始めに配置されている。

【0046】

実施形態において、Ｋ個のアンカー特徴チャネルを選択するために、様々な方法を使用することができる。例えば、Ｎ個の特徴チャネルが平均又は分散などの特徴チャネル特性に基づいてソートされている場合、Ｋ個の特徴チャネルとして、Ｎ／Ｋ番目ごとの特徴チャネルが選択されてもよい。実施形態において、上記のクラスタリング方法とは別に、他のクラスタリング方法、例えば、相関距離に基づく階層的クラスタリング方法が使用されてもよい。

【0047】

実施形態において、各特徴チャネルについて、特徴チャネルの、他の特徴チャネルの全てとの間の相関係数を合算して、合計相関係数を得ることができる。次いで、全ての特徴チャネルは、合計相関係数に基づいて、例えば減少順又は増加順に再順序付けすることができる。

【0048】

実施形態において、特徴チャネルを再順序付けするために、ルビーン検定（Levene Test）又はＫＬダイバージェンス（KL divergence）などの他の特徴チャネル類似度メトリックが使用されてもよい。

【0049】

ＶＣＭエンコーダ３１０において、特徴チャネルは上記で論じたように再順序付けすることができ、再順序付けされた特徴チャネルは、ビデオコーディング手法、例えば、高効率ビデオコーディング（high efficiency video coding、ＨＥＶＣ）、汎用ビデオコーディング（versatile video coding、ＶＶＣ）、又は所望される任意の他のビデオコーディング手法を使用して圧縮することができる。コーディングされたビットストリームの他に、特徴マップにおける特徴チャネルの順序に関する情報をシグナリングして、ＶＣＭデコーダ３２０が、特徴チャネルの全てが復号された後に特徴チャネルの元の順序を回復することを可能にすることができる。

【0050】

実施形態において、再順序付けされた特徴チャネルの順序に関する情報は、｛Ｐ（０），Ｐ（１），．．．，Ｐ（Ｎ－１）｝として示される、Ｎ個の特徴チャネルに対応する数字｛０，１，．．．，Ｎ－１｝の順列シーケンス（permutation sequence）を使用して明示的にシグナリングすることができ、ここで、ｋ＝０，１，．．．，Ｎ－１に対するＰ（ｋ）は、再順序付けする前の特徴マップにおけるその元の順序を示す。

【0051】

実施形態において、元の位置に対してそれらの位置を変更する特徴チャネルのみに関する情報がシグナリングされてもよい。例えば、再順序付けされた特徴マップにおける第ｋの特徴チャネルは、その元の順序において第Ｐ（ｋ）の特徴チャネルであり得る。この場合、ペア（ｋ，Ｐ（ｋ））を示す情報をビットストリームにおいてシグナリングすることができる。位置を変更する特徴チャネルの部分が大きくないとき、位置を変更する特徴チャネルの値のペアに関する情報のシグナリングは、ビット節約の観点からより効率的である場合がある。

【0052】

実施形態において、再順序付けされた特徴チャネルについて、元の位置と新しい位置との間の差値がシグナリングされてもよい。例えば、ｋ＝０，１，．．．，Ｎ－１に対する｛ｋ－Ｐ（ｋ）｝を示す情報が、ビットストリーム内でシグナリングされてもよい。特徴チャネルの大部分が位置を変更しない場合、対応するｋ－Ｐ（ｋ）＝０であり、これは、より少ないビットを使用してビットストリーム内で再順序付け関係をシグナリングする場合がある。

【0053】

実施形態において、再順序付けされた特徴チャネルの順序は、暗黙的にシグナリングされてもよい。例えば、特徴マップ内のソース特徴チャネルをソートするために特徴チャネル平均が使用される場合、各特徴チャネルの平均値をビットストリームにおいて元の順序でシグナリングすることができる。次いで、ＶＣＭデコーダ３２０は、平均値をソートして、特徴チャネルが如何にして再順序付けされたかを判断することができる。実施形態において、特徴チャネルをソートするために分散又は別のメトリックが使用される場合、同様の方法を適用することができる。

【0054】

上記で論じたように、特徴マップ内の特徴チャネルは、ソートされ、エンコーダ、例えば特徴符号化モジュール３１３に供給され、このエンコーダは次いで、そのアルゴリズムに基づいて所与の特徴チャネルに対する参照特徴チャネルを決定することができる。実施形態において、特徴チャネルは、ＨＥＶＣ、ＶＶＣなどの２次元ビデオコーデックによりコーディングされるとき、ピクチャとして扱うことができる。例えば、特徴符号化モジュール３１３は、最初に特徴チャネルを１つ以上のピクチャグループ（group of pictures、ＧＯＰ）構造に分割し、階層的参照ピクチャリストなどの、ＧＯＰ内の１つ以上の参照ピクチャリストを構築することができる。

【0055】

実施形態において、特徴符号化モジュール３１３は、上述した特徴チャネル類似度メトリックに基づいて、所与の特徴チャネルに対する１つ以上の参照特徴チャネルを決定してもよい。例えば、符号化する前、全ての特徴チャネルは、元の順序にあり、あるいは平均又は分散などの特徴チャネル特性に基づいて再順序付けされている場合がある。符号化処理の間、特徴符号化モジュール３１３は、依然として特徴チャネルをＧＯＰに分割し、あるいは全ての特徴チャネルを１つのＧＯＰとして扱うことができる。ＧＯＰ内では、より大きい合計特徴チャネル係数を有する特徴チャネルが最初に符号化されてもよい。コーディングされる特徴チャネルに対する参照特徴チャネルを選択するとき、比較的大きい類似度メトリックを有する特徴チャネルのみが選ばれてもよい。選択されたコーデックは、その独自の標準準拠の方法を使用して、参照ピクチャリストの再順序付け結果をシグナリングすることができる。

【0056】

実施形態において、エンコーダは、上述したＫ個のクラスタをＫ個のＧＯＰとして扱い、それらを独立して符号化することができ、なぜならば、異なるクラスタ内の特徴チャネルはより類似しない可能性があり、他のクラスタ内の特徴チャネルを参照する利点はより少ない可能性があるためである。

【0057】

図５は、特徴圧縮を実行するための例示的なプロセス５００のフローチャートである。いくつかの実装において、図５の１つ以上の処理ブロックは、上記で論じた要素のいずれか、例えば、ＶＣＭエンコーダ３１０、又はその中に含まれる要素、例えば特徴抽出モジュール３１１、特徴変換モジュール３１２、又は特徴符号化モジュール３１３などにより実行することができる。

【0058】

図５に示すように、プロセス５００は、入力ビデオを取得すること（ブロック５０２）を含むことができる。

【0059】

さらに図５に示すように、プロセス５００は、入力ビデオに対応する特徴マップを取得すること（ブロック５０４）を含んでもよい。実施形態において、特徴マップは、複数の特徴チャネルを含むことができる。

【0060】

図５にさらに示すように、プロセス５００は、複数の特徴チャネルの少なくとも１つの特性に基づいて複数の特徴チャネルを再順序付けすることを含んでもよい（ブロック５０６）。

【0061】

図５にさらに示すように、プロセス５００は、再順序付けされた複数の特徴チャネルを圧縮すること（ブロック５０８）を含んでもよい。実施形態において、再順序付けされた複数の特徴チャネルの圧縮は、複数の特徴チャネルを符号化することを含み、あるいはそれに対応することができる。

【0062】

図５にさらに示すように、プロセス５００は、再順序付けされ及び圧縮された複数の特徴チャネルに基づいて符号化されたビットストリームを生成すること（ブロック５１０）を含んでもよい。

【0063】

実施形態において、少なくとも１つの特性は、複数の特徴チャネルの平均、複数の特徴チャネルの分散、及び複数の特徴チャネルの類似度のうちの少なくとも１つを含むことができる。実施形態において、類似度は、複数の特徴チャネルのうちの２つの特徴チャネル間の相関係数に基づいて決定されてもよく、相関係数は、２つの特徴チャネルの共分散と２つの特徴チャネルの標準偏差の積との間の比率に対応することができる。

【0064】

実施形態において、２つの特徴チャネルは、複数の特徴チャネルのうちの第ｉの特徴チャネルと第ｊの特徴チャネルを含むことができ、相関係数は、上記の式１に従って算出されてもよい。

【0065】

実施形態において、複数の特徴チャネルは、少なくとも１つのピクチャグループにソートされてもよく、符号化されたビットストリームを生成するために使用される少なくとも１つの参照ピクチャは、相関係数に基づいて選択されてもよい。

【0066】

実施形態において、再順序付けは、複数の特徴チャネルの中から少なくとも１つのアンカー特徴チャネルを選択することと、少なくとも１つのアンカー特徴チャネルに基づいて、複数の特徴チャネルの中からの残りの特徴チャネルを少なくとも１つのクラスタにクラスタリングすることを含むことができる。

【0067】

実施形態において、再順序付けは、少なくとも１つのクラスタ内の残りの特徴チャネルを、残りの特徴チャネルの平均、残りの特徴チャネルの分散、及び残りの特徴チャネルの類似度の中からの少なくとも１つに基づいて順序付けすることをさらに含んでもよい。

【0068】

実施形態において、再順序付けは、複数の特徴チャネルの各特徴チャネルの合計相関係数を計算することと、合計相関係数に基づいて複数の特徴チャネルを順序付けすることを含んでもよい。

【0069】

実施形態において、プロセス５００は、符号化されたビットストリームにおいて再順序付けされた複数の特徴チャネルの順序をシグナリングすることをさらに含むことができる。

【0070】

実施形態において、順序は、再順序付けされた複数の特徴チャネル内で位置を変更した特徴チャネルを示すことによりシグナリングされてもよい。

【0071】

実施形態において、順序は、暗黙的にシグナリングされてもよい。

【0072】

図５はプロセス５００の例示的なブロックを示しているが、いくつかの実装において、プロセス５００は、図５に示すものに対してさらなるブロック、より少ないブロック、異なるブロック、又は別様に配置されたブロックを含んでもよい。さらに又は代わりに、プロセス５００のブロックの２つ以上が並列に実行されてもよい。

【0073】

さらに、提案された方法は、処理回路（例えば、１つ以上のプロセッサ又は１つ以上の集積回路）により実施されてもよい。一例において、１つ以上のプロセッサは、提案された方法の１つ以上を実行するために、非一時的コンピュータ読取可能媒体に記憶されているプログラムを実行する。

【0074】

上述した手法は、コンピュータ読取可能命令を使用してコンピュータソフトウェアとして実施され、１つ以上のコンピュータ読取可能媒体に物理的に記憶されてもよい。

【0075】

本開示の実施形態は、別個に使用されてもよく、あるいは任意の順序で組み合わせられてもよい。さらに、実施形態（及び、その方法）の各々は、処理回路（例えば、１つ以上のプロセッサ又は１つ以上の集積回路）により実施されてもよい。一例において、１つ以上のプロセッサは、非一時的コンピュータ読取可能媒体に記憶されているプログラムを実行する。

【0076】

前述の開示は例示及び説明を提供しているが、網羅的であること、又は実装を開示された正確な形式に限定することを意図するものではない。修正及び変形が上記の開示を考慮して可能であり、あるいは実装の実践から得られる可能性がある。

【0077】

本明細書で用いられるとき、用語のコンポーネントは、ハードウェア、ファームウェア、又はハードウェアとソフトウェアの組み合わせとして広く解釈されることを意図している。

【0078】

特徴の組み合わせが特許請求の範囲に記載され、かつ／あるいは明細書に開示されているとしても、これらの組み合わせは、可能な実装の開示を限定することを意図するものではない。実際、これらの特徴の多くは、具体的に特許請求の範囲に記載されていない方法、及び／又は明細書に開示されていない方法で組み合わせることができる。以下に列挙されている各従属請求項は、１つの請求項のみに直接従属している場合があるが、可能な実装の開示は、各従属請求項をクレームセット内のあらゆる他の請求項と組み合わせたものを含む。

【0079】

本明細書で用いられている要素、動作、又は命令は、そのように明示的に記述されていない限り、クリティカル又は必須であると解釈されるべきではない。また、本明細書で用いられるとき、冠詞「一の」（「a」及び「an」）は、１つ以上の項目を含むことを意図しており、「１つ以上」と言い換え可能で用いられる場合がある。さらに、本明細書で用いられるとき、用語「セット」は、１つ以上の項目（例えば、関連する項目、無関係な項目、関連する項目と無関係な項目の組み合わせなど）を含むことを意図しており、「１つ以上」と言い換え可能で用いられる場合がある。１つの項目のみが意図されている場合、用語「１つの」又は類似の言語が用いられる。また、本明細書で用いられるとき、用語「有する（has）」、「有する（have）」、「有している（having）」などは、無制限の用語であることを意図している。さらに、フレーズ「に基づく」は、別段明示的に示されない限り、「に少なくとも部分的に基づく」を意味することを意図している。

【図1】

【図2】

【図3】

【図4】

【図5】