特表 2024-537758 ビデオ会議のための関心領域（ＲＯＩ）ベースのアップスケーリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-16

(54)【発明の名称】ビデオ会議のための関心領域（ＲＯＩ）ベースのアップスケーリング

(51)【国際特許分類】

   H04N 7/15 20060101AFI20241008BHJP

   H04N 21/4402 20110101ALI20241008BHJP

   G06T 3/4046 20240101ALI20241008BHJP

【ＦＩ】

H04N7/15

H04N21/4402

G06T3/4046

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024519004

(86)(22)【出願日】2022-09-22

(85)【翻訳文提出日】2024-05-09

(86)【国際出願番号】 US2022044321

(87)【国際公開番号】W WO2023055635

(87)【国際公開日】2023-04-06

(31)【優先権主張番号】17/487,703

(32)【優先日】2021-09-28

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】591016172

【氏名又は名称】アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド

【氏名又は名称原語表記】ＡＤＶＡＮＣＥＤ ＭＩＣＲＯ ＤＥＶＩＣＥＳ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】100108833

【弁理士】

【氏名又は名称】早川 裕司

(74)【代理人】

【識別番号】100111615

【弁理士】

【氏名又は名称】佐野 良太

(74)【代理人】

【識別番号】100162156

【弁理士】

【氏名又は名称】村雨 圭介

(72)【発明者】

【氏名】ロウトウ レー

【テーマコード（参考）】

5B057

5C164

【Ｆターム（参考）】

5B057CD05

5B057DA08

5B057DC40

5C164FA10

5C164PA33

5C164UB02P

5C164UD44S

5C164VA35P

(57)【要約】

ビデオ会議のための関心領域（ＲＯＩ）ベースのアップスケーリングであって、方法は、第１の解像度のビデオ会議のビデオフレームにおいて、オブジェクトの境界領域を識別することと、境界領域によって境界付けられたビデオフレームの部分に機械学習アップスケーリングアルゴリズムを適用して、第２の解像度に対応するビデオフレームのアップスケーリングされた部分を生成することと、オブジェクトに対応するビデオフレームのアップスケーリングされた部分内の第１の複数の画素を第２の複数の画素と組み合わせることによって、第２の解像度でアップスケーリングされたビデオフレームを生成することと、を実行させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

ビデオ会議のための関心領域（ＲＯＩ）ベースのアップスケーリングのための方法であって、
第１の解像度のビデオ会議のビデオフレームにおいて、オブジェクトの境界領域を識別することと、
前記境界領域によって境界付けられた前記ビデオフレームの部分に機械学習アップスケーリングアルゴリズムを適用して、第２の解像度に対応する前記ビデオフレームのアップスケーリングされた部分を生成することと、
前記オブジェクトに対応する前記ビデオフレームのアップスケーリングされた部分内の第１の複数の画素を第２の複数の画素と組み合わせることによって、前記第２の解像度でアップスケーリングされたビデオフレームを生成することと、を含む、
方法。

【請求項2】

前記ビデオ会議に参加している第１のコンピューティングデバイスから、前記ビデオ会議に参加している少なくとも１つの第２のコンピューティングデバイスに、前記アップスケーリングされたビデオフレームを送信することを含む、
請求項１の方法。

【請求項3】

前記ビデオ会議に参加している第２のコンピューティングデバイスが、前記ビデオ会議に参加している第１のコンピューティングデバイスから前記ビデオフレームを受信することと、
前記第２のコンピューティングデバイスが、前記アップスケーリングされたビデオフレームをディスプレイに出力することと、を含む、
請求項１の方法。

【請求項4】

前記第２の複数の画素を生成するために、前記境界領域の外側の前記ビデオフレームの部分に別のアップスケーリングアルゴリズムを適用することを含み、
前記アップスケーリングされたビデオフレームを生成することは、前記第１の複数の画素と、前記第２の複数の画素と、前記ビデオフレームの前記アップスケーリングされた部分に含まれ、前記オブジェクトの外側にある第３の複数の画素と、を組み合わせることを含む、
請求項１の方法。

【請求項5】

前記別のアップスケーリングアルゴリズムは、前記機械学習アップスケーリングアルゴリズムと比較して計算量が多くないアルゴリズムである、
請求項４の方法。

【請求項6】

前記第２の複数の画素は、前記第２の解像度における背景に対応し、前記アップスケーリングされたビデオフレームを生成することは、前記第１の複数の画素を前記背景にマッピングすることを含む、
請求項１の方法。

【請求項7】

前記オブジェクトは、ユーザ選択されたオブジェクトを含む、
請求項１の方法。

【請求項8】

前記オブジェクトは、デフォルトのオブジェクトタイプを含む、
請求項１の方法。

【請求項9】

ビデオ会議のための関心領域（ＲＯＩ）ベースのアップスケーリングのための装置であって、
前記装置は、コンピュータプロセッサと、コンピュータメモリと、を備え、
前記コンピュータメモリは、コンピュータプログラム命令を含み、
前記コンピュータプログラム命令は、前記コンピュータプロセッサによって実行されると、
第１の解像度のビデオ会議のビデオフレームにおいて、オブジェクトの境界領域を識別することと、
前記境界領域によって境界付けられた前記ビデオフレームの部分に機械学習アップスケーリングアルゴリズムを適用して、第２の解像度に対応する前記ビデオフレームのアップスケーリングされた部分を生成することと、
前記オブジェクトに対応する前記ビデオフレームのアップスケーリングされた部分内の第１の複数の画素を第２の複数の画素と組み合わせることによって、前記第２の解像度でアップスケーリングされたビデオフレームを生成することと、
を前記コンピュータプロセッサに実行させる、
装置。

【請求項10】

前記コンピュータプログラム命令は、前記コンピュータプロセッサによって実行されると、前記アップスケーリングされたビデオフレームを、前記ビデオ会議に参加しているコンピューティングデバイスに送信することを前記コンピュータプロセッサに実行させる、
請求項９の装置。

【請求項11】

前記コンピュータプログラム命令は、前記コンピュータプロセッサによって実行されると、
前記ビデオ会議に参加しているコンピューティングデバイスから前記ビデオフレームを受信することと、
前記アップスケーリングされたビデオフレームをディスプレイに出力することと、
を前記コンピュータプロセッサに実行させる、
請求項９の装置。

【請求項12】

前記コンピュータプログラム命令は、前記コンピュータプロセッサによって実行されると、
前記第２の複数の画素を生成するために、前記境界領域の外側の前記ビデオフレームの部分に別のアップスケーリングアルゴリズムを適用することを前記コンピュータプロセッサに実行させ、
前記アップスケーリングされたビデオフレームを生成することは、前記第１の複数の画素と、前記第２の複数の画素と、前記ビデオフレームの前記アップスケーリングされた部分に含まれ、前記オブジェクトの外側にある第３の複数の画素と、を組み合わせることを含む、
請求項９の装置。

【請求項13】

前記別のアップスケーリングアルゴリズムは、前記機械学習アップスケーリングアルゴリズムと比較して計算量が多くないアルゴリズムである、
請求項１２の装置。

【請求項14】

前記第２の複数の画素は、前記第２の解像度における背景に対応し、前記アップスケーリングされたビデオフレームを生成することは、前記第１の複数の画素を前記背景にマッピングすることを含む、
請求項９の装置。

【請求項15】

前記オブジェクトは、ユーザ選択されたオブジェクトを含む、
請求項９の装置。

【請求項16】

前記オブジェクトは、デフォルトのオブジェクトタイプを含む、
請求項９の装置。

【請求項17】

コンピュータ可読記憶媒体に配置されたコンピュータプログラム製品であって、
前記コンピュータプログラム製品は、ビデオ会議のための関心領域（ＲＯＩ）ベースのアップスケーリングのためのコンピュータプログラム命令を含み、
前記コンピュータプログラム命令は、実行されると、
第１の解像度のビデオ会議のビデオフレームにおいて、オブジェクトの境界領域を識別することと、
前記境界領域によって境界付けられた前記ビデオフレームの部分に機械学習アップスケーリングアルゴリズムを適用して、第２の解像度に対応する前記ビデオフレームのアップスケーリングされた部分を生成することと、
前記オブジェクトに対応する前記ビデオフレームのアップスケーリングされた部分内の第１の複数の画素を第２の複数の画素と組み合わせることによって、前記第２の解像度でアップスケーリングされたビデオフレームを生成することと、
を含むステップをコンピュータシステムに実行させる、
コンピュータプログラム製品。

【請求項18】

前記ステップは、前記アップスケーリングされたビデオフレームを、前記ビデオ会議に参加しているコンピューティングデバイスに送信することを含む、
請求項１７のコンピュータプログラム製品。

【請求項19】

前記ステップは、
前記ビデオ会議に参加しているコンピューティングデバイスから前記ビデオフレームを受信することと、
前記アップスケーリングされたビデオフレームをディスプレイに出力することと、を含む、
請求項１７のコンピュータプログラム製品。

【請求項20】

前記ステップは、
前記第２の複数の画素を生成するために、前記境界領域の外側の前記ビデオフレームの部分に別のアップスケーリングアルゴリズムを適用することを含み、
前記アップスケーリングされたビデオフレームを生成することは、前記第１の複数の画素と、前記第２の複数の画素と、前記ビデオフレームの前記アップスケーリングされた部分に含まれ、前記オブジェクトの外側にある第３の複数の画素と、を組み合わせることを含む、
請求項１７のコンピュータプログラム製品。

【発明の詳細な説明】

【背景技術】

【0001】

ビデオ会議に参加しているコンピューティングデバイスは、カメラを使用してビデオデータをキャプチャし、ビデオデータを他の参加しているコンピューティングデバイスに送信する。ビデオ会議のビデオデータの解像度は、ディスプレイの解像度、カメラのキャプチャ解像度、ネットワーク帯域幅及び計算能力を含む様々な要因に依存する。

【図面の簡単な説明】

【0002】

【図1】いくつかの実施形態による、ビデオ会議のための関心領域（ＲＯＩ）ベースのアップスケーリングのための例示的なシステムのブロック図である。

【図2A】いくつかの実施形態による、ビデオ会議のための関心領域（ＲＯＩ）ベースのアップスケーリングのための例示的なプロセスフローの一部である。

【図2B】いくつかの実施形態による、ビデオ会議のための関心領域（ＲＯＩ）ベースのアップスケーリングのための例示的なプロセスフローの一部である。

【図2C】いくつかの実施形態による、ビデオ会議のための関心領域（ＲＯＩ）ベースのアップスケーリングのための例示的なプロセスフローの一部である。

【図2D】いくつかの実施形態による、ビデオ会議のための関心領域（ＲＯＩ）ベースのアップスケーリングのための例示的なプロセスフローの一部である。

【図3】いくつかの実施形態による、ビデオ会議のための関心領域（ＲＯＩ）ベースのアップスケーリングのための例示的なコンピュータのブロック図である。

【図4】いくつかの実施形態による、ビデオ会議のための関心領域（ＲＯＩ）ベースのアップスケーリングのための例示的な方法のフローチャートである。

【図5】いくつかの実施形態による、ビデオ会議のための関心領域（ＲＯＩ）ベースのアップスケーリングのための別の例示的な方法のフローチャートである。

【図6】いくつかの実施形態による、ビデオ会議のための関心領域（ＲＯＩ）ベースのアップスケーリングのための別の例示的な方法のフローチャートである。

【図7】本開示の実施形態による、アップスケーリングされたビデオフレームを生成する例示的な方法を示すフローチャートである。

【発明を実施するための形態】

【0003】

ビデオ会議に参加しているコンピューティングデバイスは、カメラを使用してビデオデータをキャプチャし、ビデオデータを他の参加しているコンピューティングデバイスに送信する。ビデオ会議のビデオデータの解像度は、ディスプレイの解像度、カメラのキャプチャ解像度、ネットワーク帯域幅及び計算能力を含む様々な要因に依存する。したがって、ディスプレイ解像度、ネットワーク帯域幅及びコンピューティングデバイスの計算リソースが増加するにつれて、ビデオ会議をサポートするソフトウェアは、より高い解像度でビデオデータをサポートすることが可能である。しかしながら、ビデオ会議がより高い解像度のビデオをサポートすることが可能であっても、いくつかのコンピューティングデバイスのカメラは、より低い解像度でビデオデータをキャプチャすることに限定される。例えば、ビデオ会議に参加しているコンピューティングデバイスは、４Ｋビデオ（例えば、３８４０×２１６０画素）をサポートするのに十分な計算リソース及びネットワークリソースを有するが、いくつかのコンピューティングデバイスのカメラは、１０８０ｐビデオ（例えば、１９２０×１０８０画素）に制限される。

【0004】

アップスケーリングアルゴリズムは、より低い解像度のビデオフレームをより高い解像度にスケーリングするために使用される。上記の例を続けると、１０８０ｐビデオカメラを使用してキャプチャされたビデオデータは、カメラのより低い解像度を補償するために４Ｋにアップスケーリングされる。アップスケーリングアルゴリズムは、それらの出力品質及びアルゴリズムを実行するために必要とされる計算リソースにわたって変動する。例えば、ニアレストネイバー補間（nearest-neighbor interpolation）、バイリニア補間（bilinear interpolation）又はバイキュービック補間（bicubic interpolation）等のアルゴリズムは、比較的低い計算リソースを使用するが、より低い品質（例えば、より低い精度）の出力を生成する。対照的に、機械学習を使用する（例えば、ニューラルネットワーク又は他のモデルを使用する）アップスケーリングアルゴリズムは、より高品質の出力を生成するが、かなりの計算リソースを必要とする。

【0005】

多くのビデオ会議状況において、ビデオデータは、単一の関心領域（ＲＯＩ）を含む。ＲＯＩは、特定の目的のために識別された画像又はビデオフレームのサブセットである。例えば、ビデオ会議のＲＯＩは、コンピューティングデバイスのカメラによってキャプチャされたビデオ会議の人間の参加者を含む。したがって、機械学習ベースのアップスケーリングアルゴリズム等の計算量が多いアップスケーリングアルゴリズムにビデオフレーム全体を提供することは、人間の参加者の背後の背景等のように、他の参加者にとって特に関心のないビデオフレームの部分をアップスケーリングするためにかなりの計算リソースを使用する。

【0006】

そのために、本明細書は、ビデオ会議のための関心領域（ＲＯＩ）ベースのアップスケーリングの様々な実施形態を説明する。いくつかの実施形態では、ビデオ会議のための関心領域（ＲＯＩ）ベースのアップスケーリングの方法は、第１の解像度でのビデオ会議のビデオフレームにおいて、オブジェクトの境界領域を識別することを含む。また、本方法は、境界領域によって境界付けられたビデオフレームの部分に、機械学習アップスケーリングアルゴリズムを適用して、第２の解像度に対応するビデオフレームのアップスケーリングされた部分を生成することを含む。また、本方法は、オブジェクトに対応するビデオフレームのアップスケーリングされた部分内の第１の複数の画素を第２の複数の画素と組み合わせることによって、第２の解像度でアップスケーリングされたビデオフレームを生成することを含む。

【0007】

いくつかの実施形態では、方法は、ビデオ会議に参加している第１のコンピューティングデバイスから、ビデオ会議に参加している少なくとも１つの第２のコンピューティングデバイスに、アップスケーリングされたビデオフレームを送信することを更に含む。いくつかの実施形態では、本方法は、ビデオ会議に参加している第１のコンピューティングデバイスから、ビデオ会議に参加している第２のコンピューティングデバイスによって、ビデオフレームを受信することと、第２のコンピューティングデバイスによって、アップスケーリングされたビデオフレームをディスプレイに出力することと、を含む。いくつかの実施形態では、本方法は、第２の複数の画素を生成するために、境界領域の外側のビデオフレームの部分に別のアップスケーリングアルゴリズムを適用することを含む。そのような方法では、アップスケーリングされたビデオフレームを生成することは、第１の複数の画素と、第２の複数の画素と、ビデオフレームのアップスケーリングされた部分に含まれ、オブジェクトの外側にある第３の複数の画素と、を組み合わせることを含む。いくつかの実施形態では、第２の複数の画素は、第２の解像度における背景に対応し、アップスケーリングされたビデオフレームを生成することは、第１の複数の画素を背景にマッピングすることを含む。いくつかの実施形態では、他のアップスケーリングアルゴリズムは、機械学習アップスケーリングアルゴリズムと比較してより計算量が多くないアルゴリズムである。いくつかの実施形態では、オブジェクトは、ユーザ選択されたオブジェクトを含む。いくつかの実施形態では、オブジェクトはデフォルトのオブジェクトタイプを含む。

【0008】

また、本明細書は、ビデオ会議のためのＲＯＩベースのアップスケーリングのための装置の様々な実施形態について説明する。そのような装置は、コンピュータプロセッサ及びコンピュータメモリを含み、コンピュータメモリは、コンピュータプログラム命令を含み、コンピュータプログラム命令は、コンピュータプロセッサによって実行されると、コンピュータプロセッサに、第１の解像度でのビデオ会議のビデオフレームにおいて、オブジェクトの境界領域を識別することと、境界領域によって境界付けられたビデオフレームの部分に、機械学習アップスケーリングアルゴリズムを適用して、第２の解像度に対応するビデオフレームのアップスケーリングされた部分を生成することと、オブジェクトに対応するビデオフレームのアップスケーリングされた部分内の第１の複数の画素を第２の複数の画素と組み合わせることによって、第２の解像度でアップスケーリングされたビデオフレームを生成することと、を実行させる。

【0009】

いくつかの実施形態では、装置はコンピュータプログラム命令を含み、コンピュータプログラム命令は、コンピュータプロセッサによって実行されると、コンピュータプロセッサに、ビデオ会議に参加している第１のコンピューティングデバイスから、ビデオ会議に参加している少なくとも１つの第２のコンピューティングデバイスに、アップスケーリングされたビデオフレームを送信することを実行させる。いくつかの実施形態では、装置は、コンピュータプログラム命令を含み、コンピュータプログラム命令は、コンピュータプロセッサによって実行されると、コンピュータプロセッサに、ビデオ会議に参加している第１のコンピューティングデバイスから、ビデオ会議に参加している第２のコンピューティングデバイスによって、ビデオフレームを受信することと、第２のコンピューティングデバイスによって、アップスケーリングされたビデオフレームをディスプレイに出力することを実行させる。いくつかの実施形態では、装置は、コンピュータプログラム命令を含み、コンピュータプログラム命令は、コンピュータプロセッサによって実行されると、コンピュータプロセッサに、第２の複数の画素を生成するために、境界領域の外側のビデオフレームの部分に別のアップスケーリングアルゴリズムを適用することを実行させる。アップスケーリングされたビデオフレームを生成することは、第１の複数の画素と、第２の複数の画素と、ビデオフレームのアップスケーリングされた部分に含まれ、オブジェクトの外側にある第３の複数の画素と、を組み合わせることを含む。いくつかの実施形態では、第２の複数の画素は、第２の解像度における背景に対応し、アップスケーリングされたビデオフレームを生成することは、第１の複数の画素を背景にマッピングすることを含む。いくつかの実施形態では、他のアップスケーリングアルゴリズムは、機械学習アップスケーリングアルゴリズムと比較してより計算量が多くないアルゴリズムである。いくつかの実施形態では、オブジェクトは、ユーザ選択されたオブジェクトを含む。いくつかの実施形態では、オブジェクトは、デフォルトのオブジェクトタイプを含む。

【0010】

また、本明細書では、ビデオ会議のためのＲＯＩベースのアップスケーリングのためのコンピュータプログラム製品の様々な実施形態について説明する。そのようなコンピュータプログラム製品は、コンピュータプログラム命令を記憶する非一時的なコンピュータ可読記憶媒体上に配置され、コンピュータプログラム命令は、実行されると、コンピュータシステムに、第１の解像度でのビデオ会議のビデオフレームにおいて、オブジェクトの境界領域を識別することと、境界領域によって境界付けられたビデオフレームの部分に、機械学習アップスケーリングアルゴリズムを適用して、第２の解像度に対応するビデオフレームのアップスケーリングされた部分を生成することと、オブジェクトに対応するビデオフレームのアップスケーリングされた部分内の第１の複数の画素を第２の複数の画素と組み合わせることによって、第２の解像度でアップスケーリングされたビデオフレームを生成することと、を実行させる。

【0011】

いくつかの実施形態では、コンピュータプログラム命令は、実行されると、コンピュータシステムに、ビデオ会議に参加している第１のコンピューティングデバイスから、ビデオ会議に参加している少なくとも１つの第２のコンピューティングデバイスに、アップスケーリングされたビデオフレームを送信させる。いくつかの実施形態では、コンピュータプログラム命令は、実行されると、コンピュータシステムに、ビデオ会議に参加している第１のコンピューティングデバイスから、ビデオ会議に参加している第２のコンピューティングデバイスによって、ビデオフレームを受信することと、第２のコンピューティングデバイスによって、アップスケーリングされたビデオフレームをディスプレイに出力することと、を実行させる。いくつかの実施形態では、コンピュータプログラム命令は、実行されると、コンピュータシステムに、第２の複数の画素を生成するために、境界領域の外側のビデオフレームの部分に別のアップスケーリングアルゴリズムを適用することを実行させる。アップスケーリングされたビデオフレームを生成することは、第１の複数の画素と、第２の複数の画素と、ビデオフレームのアップスケーリングされた部分に含まれ、オブジェクトの外側にある第３の複数の画素と、を組み合わせることを含む。

【0012】

図１は、非限定的な例示的なシステムのブロック図である。例示的なシステムは、複数の参加デバイス１０２ａ～１０２ｎを含む。各参加デバイス１０２ａ～１０２ｎは、モバイルデバイス、パーソナルコンピュータ、周辺ハードウェアコンポーネント、ゲームデバイス、セットトップボックス等を含む様々なコンピューティングデバイスのうち何れかとして実装することができる。参加デバイス１０２ａ～１０２ｎは、ネットワーク１０４を介して通信可能に結合される。ネットワーク１０４は、１つ以上の有線ネットワーク、１つ以上の無線ネットワーク、それらの組合せ、又は、参加デバイス１０２ａ～１０２ｎ間のデータ通信を容易にすることが理解され得るような他のネットワークを含む。

【0013】

各参加デバイス１０２ａ～１０２ｎは、それぞれのビデオ会議モジュール１０６ａ～１０６ｎを含む。ビデオ会議モジュール１０６ａ～１０６ｎは、参加デバイス１０２ａ～１０２ｎ間のビデオ会議を容易にするモジュールである。ビデオ会議モジュール１０６ａ～１０６ｎは、（例えば、参加デバイスのカメラ、マイクロフォン又は他の入力デバイスを使用して）ビデオデータ、オーディオデータ又はそれらの組合せを符号化し、符号化されたビデオデータをレンダリング及び表示のために他の参加デバイス１０２ａ～１０２ｎに提供する。いくつかの実施形態では、ビデオ会議モジュール１０６ａ～１０６ｎは、参加デバイス１０２ａ～１０２ｎのユーザインタフェース又は表示を符号化するビデオデータを符号化し、レンダリング及び表示（例えば、「画面共有」）のためにビデオデータを他の参加デバイス１０２ａ～１０２ｎに提供するように構成されている。

【0014】

いくつかの実施形態では、ビデオ会議モジュール１０６ａ～１０６ｎは、現在話しているユーザのビデオ及びオーディオデータを、他のユーザに対してより大きいウィンドウに表示する。言い換えれば、（例えば、着信オーディオデータを検出することによって決定されるように）ユーザが活発に話している参加デバイス１０２ａ～１０２ｎからのビデオ及びオーディオデータは、より大きいウィンドウに表示され、他のユーザのビデオは、それぞれのより小さいウィンドウに表示される。したがって、各ユーザが可視である間、現在話しているユーザのビデオは、他のウィンドウに対してより大きいウィンドウ内に示される。他の実施形態では、所定のユーザのビデオは、所定のユーザが活発に話しているかどうかにかかわらず、より大きいウィンドウ内に示される。例えば、指定されたプレゼンター、ホスト又は他のより高い優先度のユーザのビデオは、より大きなウィンドウに示され、他のユーザのビデオは、他のウィンドウに示される。

【0015】

また、１つ以上の参加デバイス１０２ａ～１０２ｎは、本開示のいくつかの実施形態による、ビデオ会議のためのＲＯＩベースのアップスケーリングのためのモジュールであるアップスケーリングモジュール１０８ａ～１０８ｎを含む。図１は、アップスケーリングモジュール１０８ａ～１０８ｎを有するものとして各参加デバイス１０２ａ～１０２ｎを示すが、いくつかの実施形態では、参加デバイス１０２ａ～１０２ｎのサブセットのみがアップスケーリングモジュール１０８ａ～１０８ｎを含むことになることを理解されたい。更に、図１は、ビデオ会議モジュール１０６ａ～１０６ｎとは別のモジュールとしてアップスケーリングモジュール１０８ａ～１０８ｎを示しているが、いくつかの実施形態では、アップスケーリングモジュール１０８ａ～１０８ｎは、ビデオ会議モジュール１０６ａ～１０６ｎの一部として実装されることを理解されたい。

【0016】

アップスケーリングモジュール１０８ａ～１０８ｎは、入力として、第１の解像度からより高い第２の解像度にアップスケーリングするためのビデオ会議用のビデオフレームを受信する。いくつかの実施形態では、ビデオフレームは、（例えば、ビデオ会議モジュール１０６ａ～１０６ｎによって）ビデオフレームが入力として提供されるアップスケーリングモジュール１０８ａ～１０８ｎを実行する同じ参加デバイス１０２ａ～１０２ｎによって生成される。言い換えれば、ビデオフレームは、ビデオ会議における他の参加デバイス１０２ａ～１０２ｎに送信される前にアップスケーリングされる。他の実施形態では、ビデオフレームは、別の参加デバイス１０２ａ～１０２ｎから受信され、受信側参加デバイス１０２ａ～１０２ｎによって表示される前にアップスケーリングされる。

【0017】

アップスケーリングモジュール１０８ａ～１０８ｎは、ビデオフレームにおいて、オブジェクトの境界領域を識別する。オブジェクトは、ビデオフレーム内の画像オブジェクト（例えば、画素の特定のグルーピング）である。例えば、いくつかの実施形態では、オブジェクトは、人間の参加者によって使用される参加デバイス１０２ａ～１０２ｎのカメラによってキャプチャされるようなビデオ会議の人間の参加者に対応する。当業者は、いくつかの実施形態では、オブジェクトが他の関心領域に対応することを理解するであろう。いくつかの実施形態では、オブジェクトは、ユーザ選択されたオブジェクトを含む。例えば、画像セグメント化アルゴリズムがビデオフレームに適用され、複数のオブジェクトを識別する。次に、境界領域が識別されるオブジェクトが、識別されたオブジェクトから選択される。他の実施形態では、オブジェクトは、デフォルトのオブジェクトタイプである。例えば、画像セグメント化アルゴリズムは、ビデオフレーム内の人間のオブジェクトを識別する。次いで、人間のオブジェクトは、境界領域が識別されるオブジェクトとして自動的に選択される。

【0018】

図１のアップスケーリングモジュール１０８ａ～１０８ｎは、理解され得るように、画像セグメント化アルゴリズム又は他のアルゴリズムを使用して、ビデオフレーム内のオブジェクトを識別する。オブジェクトを識別した後、アップスケーリングモジュール１０８ａ～１０８ｎは、オブジェクトの境界領域を識別する。いくつかの実施形態では、境界領域は、オブジェクトのための境界ボックスを含む。境界ボックスは、オブジェクトが含まれる画素の２次元長方形領域である。例えば、いくつかの実施形態では、境界ボックスは、オブジェクトのための最近傍フィッティング境界ボックス（例えば、オブジェクトを完全に含むように最小幅及び高さを有する境界ボックス）を含む。いくつかの実施形態では、境界ボックスは、境界ボックスのエッジとオブジェクトとの間に閾値量の画素（例えば、１つ、２つ又は他の比較的少数の画素）を含む。例えば、境界ボックスの１つ以上の辺は、オブジェクトの最近傍部分から最大で画素の閾値量だけ分離される。当業者は、境界ボックス以外の境界も本開示の範囲内で企図されることを理解するであろう。

【0019】

次に、アップスケーリングモジュール１０８ａ～１０８ｎは、境界領域によって境界付けられたビデオフレームの部分に機械学習アップスケーリングアルゴリズムを適用して、第２の解像度に対応するビデオフレームのアップスケーリングされた部分を生成する。ビデオフレームのアップスケーリングされた部分は、ビデオフレームの部分の解像度が第２の解像度に比例してアップスケーリングされるという点で、第２の解像度に対応する。例えば、第１の解像度が１０８０ｐであり、第２の解像度が４Ｋであると仮定すると、アップスケーリングされたビデオフレームは、ビデオフレームの解像度の４倍の解像度を有することになる。したがって、ビデオフレームのアップスケーリングされた部分は、アップスケーリング前のビデオフレームの部分の解像度の４倍の解像度を有することになる。

【0020】

上述したように、境界領域によって境界付けられたビデオフレームの部分は、オブジェクト（例えば、ビデオ会議に参加しているユーザ）を含む。境界領域がビデオフレームのＲＯＩを効果的に画定するので、比較的計算量が多い機械学習アップスケーリングアルゴリズムがビデオフレームのこのサブセットに適用されて、ビデオフレームのＲＯＩのより高品質のアップスケーリングされたバージョンが生成される。一例として、境界領域によって境界付けられたビデオフレームの部分は、入力として、ニューラルネットワーク、深層畳み込みニューラルネットワーク又は他の訓練された機械学習モデルに提供され、第２の解像度に対応するビデオフレームのアップスケーリングされた部分を生成する。したがって、結果として得られるビデオフレームのアップスケーリングされた部分は、アップスケーリングされたオブジェクトを含む。

【0021】

アップスケーリングされたオブジェクトを含むアップスケーリングされたビデオフレームを第２の解像度で生成するために、アップスケーリングされたオブジェクトの画素は、第２の解像度に対応する他の画素と組み合わされなければならない。したがって、アップスケーリングモジュール１０８ａ～１０８ｎは、境界領域の外側のビデオフレームの部分に別のアップスケーリングアルゴリズムを適用する。他のアップスケーリングアルゴリズムは、境界領域の内側のビデオフレームの部分をアップスケーリングするために使用される機械学習アップスケーリングアルゴリズムと比較して、より計算量が多くないアップスケーリングアルゴリズムである。例えば、他のアップスケーリングアルゴリズムは、機械学習アップスケーリングアルゴリズムと比較して、アップスケーリングされた出力を生成するために、より少ない動作又はより少ない計算リソースを必要とする。より計算量が多くないアップスケーリングアルゴリズムは、機械学習アップスケーリングアルゴリズムと比較してより低い品質の出力を潜在的にもたらすことになるが、より計算量が多くないアップスケーリングアルゴリズムは、境界領域の外側（例えば、関心領域以外）のフレームの部分にのみ適用される。いくつかの実施形態では、他のアップスケーリングアルゴリズムは、例えば、ニアレストネイバー補間アルゴリズム、バイリニア補間アルゴリズム若しくはバイキュービック補間アルゴリズム、又は、理解され得る他のアルゴリズムを含む。

【0022】

他のアップスケーリングアルゴリズムを境界領域の外側のビデオフレームの部分に適用した後、このアップスケーリングされた部分は、アップスケーリングされたビデオフレームを生成するために、機械学習アップスケーリングアルゴリズムによって生成されたビデオフレームのアップスケーリングされた部分と組み合わされる。したがって、アップスケーリングされたビデオフレームは、機械学習アップスケーリングアルゴリズムによってアップスケーリングされ、アップスケーリングされたオブジェクトを含む第１の部分と、他のより計算量が多くないアップスケーリングアルゴリズムによってアップスケーリングされた第２の部分と、を含む。機械学習アルゴリズムによってアップスケーリングされた第１の部分は、境界領域の内部全体に対応するので、いくつかの実施形態では、第１の部分は、オブジェクトの外側のある量の画素を含み、また機械学習アップスケーリングアルゴリズムによってアップスケーリングされる。

【0023】

他の実施形態では、アップスケーリングされたオブジェクトを含むアップスケーリングされたビデオフレームを第２の解像度で生成するために、アップスケーリングされたオブジェクトの画素は、背景画像又は背景ビデオフレームにマッピングされる。例えば、ビデオ会議モジュール１０６ａ～１０６ｎがビデオ会議の背景置換をサポートし、それによってビデオデータ（例えば、ユーザ又は他の関心領域以外のビデオデータ）の背景が除去され、別の画像又はビデオフレームと置換されると仮定する。したがって、ユーザは、置換背景上にオーバーレイされているように見える。したがって、いくつかの実施形態では、アップスケーリングされたオブジェクトの画素は、第２の解像度で背景（例えば、背景画像又は背景ビデオフレーム）にマッピングされる。いくつかの実施形態では、背景は、アップスケーリングされたオブジェクトの画素が背景にマッピングされる前に、第２の解像度にアップスケーリング又はダウンスケールされる。

【0024】

いくつかの実施形態では、アップスケーリングされたビデオフレームは、次いで、アップスケーリングされたビデオフレームを生成している参加デバイス１０２ａ～１０２ｎから、他の参加デバイス１０２ａ～１０２ｎに送信される。ビデオフレームが別の参加デバイス１０２ａ～１０２ｎから受信された他の実施形態では、アップスケーリングされたビデオフレームは、ディスプレイに出力される。

【0025】

上記の説明は、ビデオ会議のコンテキストで説明されているので、当業者であれば、単一のビデオフレームをアップスケーリングするために説明された手法が、アップスケーリングされたビデオデータを生成するためにビデオデータ内の複数のフレームに繰り返し適用されることを理解するであろう。更に、上記の説明は、機械学習アップスケーリングアルゴリズム及び非機械学習アップスケーリングアルゴリズムを使用するコンテキストで説明されているが、当業者は、本明細書で説明される手法が、より高い及びより低い相対計算程度を有するアップスケーリングアルゴリズムの任意の組合せの使用に適用可能であることを理解するであろう。

【0026】

複数の参加デバイス１０２ａ～１０２ｎがビデオ会議に参加している例を考える。第１の参加デバイス１０２ａ～１０２ｎは、４Ｋビデオデータを符号化及び送信することが可能であるが、１０８０ｐビデオをキャプチャすることが可能なカメラのみを有する。いくつかの実施形態では、第１の参加デバイス１０２ａ～１０２ｎは、４Ｋ解像度で複数のアップスケーリングされたビデオフレームを含むアップスケーリングされたビデオデータを生成する。アップスケーリングされたビデオフレームの各々は、ユーザをキャプチャし、機械学習アップスケーリングアルゴリズムを使用してアップスケーリングされた部分と、より計算量が多くないアップスケーリングアルゴリズムを使用してアップスケーリングされた別の部分と、を含む。次いで、アップスケーリングされたビデオフレームは、レンダリングのために他の参加デバイス１０２ａ～１０２ｎに送信される。したがって、第１の参加デバイス１０２ａ～１０２ｎは、機械学習アップスケーリングアルゴリズムを各ビデオフレームの全体に適用する際に必要とされる計算リソースを使用することなく、他の参加デバイス１０２ａ～１０２ｎのためのアップスケーリングされた４Ｋビデオを生成することができる。

【0027】

第１の参加デバイス１０２ａ～１０２ｎが第２の参加デバイス１０２ａ～１０２ｎから１０８０ｐ個のビデオフレームを受信する別の例を考える。第１の参加デバイス１０２ａ～１０２ｎは、受信された１０８０ｐビデオフレームから、表示のためにアップスケーリングモジュール１０８ａ～１０８ｎを使用してアップスケーリングされた４Ｋビデオフレームを生成する。したがって、第１の参加デバイス１０２ａ～１０２ｎは、機械学習アップスケーリングアルゴリズムを各ビデオフレームの全体に適用する際に必要とされる計算リソースを使用することなく、他の参加デバイス１０２ａ～１０２ｎから受信された低解像度ビデオからアップスケーリングされた４Ｋビデオを生成することができる。

【0028】

図２Ａ～図３Ｄは、本開示のいくつかの実施形態による、ビデオ会議のためのＲＯＩベースのアップスケーリングのための例示的なプロセスフローを示す。図２Ａは、第１の解像度（例えば、１０８０ｐ又はアップスケーリング前のより低い別の解像度）におけるビデオフレーム２０２を示す。ビデオフレーム２０２は、参加デバイス１０２ａ～１０２ｎのユーザに対応するオブジェクト２０４と、オブジェクト２０４の画素以外のすべての画素を含む背景２０６と、を含む。図２Ｂにおいて、オブジェクト２０４を含む境界ボックス２０８が識別される。

【0029】

図２Ｃでは、機械学習アルゴリズムが、境界ボックス２０８によって定義され、オブジェクト２０４を含むビデオフレームの部分２１０に適用されて、アップスケーリングされたオブジェクト２１４を含むアップスケーリングされた部分２１２を生成する。部分２１０は、第２の解像度に比例するアップスケーリングされた部分２１２を生成するためにアップスケーリングされる。例えば、第２の解像度が第１の解像度の４倍であると仮定すると、アップスケーリングされた部分２１２は、アップスケーリング前の部分２１０の解像度の４倍の解像度で生成される。図２Ｄにおいて、アップスケーリングされたオブジェクト２１４を含むアップスケーリングされたビデオフレーム２１６が生成される。アップスケーリングされたビデオフレーム２１６は、背景２１８を含む。いくつかの実施形態では、背景２１８は、第２の解像度における置換背景に対応する。例えば、背景２１８が背景２０６に取って代わり、アップスケーリングされたオブジェクト２１４の画素が背景２１８上にマッピングされる。他の実施形態では、背景２１８は、機械学習アップスケーリングアルゴリズムよりも計算量が多くない別のアップスケーリングアルゴリズムによってアップスケーリングされた背景２０６を含む。

【0030】

本願によるビデオ会議のためのＲＯＩベースのアップスケーリングは、概してコンピュータで実施される。したがって、更なる説明のために、図３は、特定の実施形態によるビデオ会議のためのＲＯＩベースのアップスケーリングのために構成された例示的なコンピュータ３００のブロック図を示す。図３の例示的なコンピュータ３００は、図１のもの（１０２ａ～１０２ｎ）のような参加デバイスとすることができる。

【0031】

図３のコンピュータ３００は、少なくとも１つのコンピュータプロセッサ３０２又は「ＣＰＵ」と、高速メモリバス３０６及びバスアダプタ３２８を介してプロセッサ３０２及びコンピュータ３００の他の構成要素に接続されるランダムアクセスメモリ（random access memory、「ＲＡＭ」）３０４と、を含む。ＲＡＭ３０４には、オペレーティングシステム３１０が記憶される。特定の実施形態によるビデオ会議のためのＲＯＩベースのアップスケーリングのために構成されたコンピュータにおいて有用なオペレーティングシステムは、ＵＮＩＸ（登録商標）、Ｌｉｎｕｘ（登録商標）、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）及び当業者が想到する他のものを含む。図３の例におけるオペレーティングシステム３１０は、ＲＡＭ３０４内に示されているが、そのようなソフトウェアの多くの構成要素は、典型的には、例えば、ディスクドライブ等のデータストレージ３１２等の不揮発性メモリ内にも記憶される。また、ＲＡＭ３０４には、特定の実施形態によるアップスケーリングモジュール１０８及びビデオ会議モジュール１０６が記憶される。

【0032】

図３のコンピュータ３００は、拡張バス３１８及びバスアダプタ３２８を介してプロセッサ３０２及びコンピュータ３００の他の構成要素に結合されたディスクドライブアダプタ３１６を含む。ディスクドライブアダプタ３１６は、不揮発性データストレージを、データストレージ３１２の形態でコンピュータ３００に接続する。特定の実施形態によるビデオ会議のためのＲＯＩベースのアップスケーリングのために構成されたコンピュータにおいて有用なディスクドライブアダプタは、インテグレーティドドライブエレクトロニクス（Integrated Drive Electronics、「ＩＤＥ」）アダプタ、スモールコンピュータシステムインタフェース（Small Computer System Interface、「ＳＣＳＩ」）アダプタ、及び、当業者が想到する他のものを含む。いくつかの実施形態では、不揮発性コンピュータメモリは、当業者が想到するように、光ディスクドライブ、電気的消去可能プログラマブル読み取り専用メモリ（electrically erasable programmable read-only memory、いわゆる「ＥＥＰＲＯＭ」又は「フラッシュ」メモリ）、ＲＡＭドライブ等として実装される。

【0033】

図３の例示的なコンピュータ３００は、１つ以上の入出力（input/output、「Ｉ／Ｏ」）アダプタ３２０を含む。Ｉ／Ｏアダプタは、例えば、コンピュータディスプレイスクリーン等のディスプレイデバイスへの出力、並びに、キーボード及びマウス等のユーザ入力デバイス３２２からのユーザ入力を制御するためのソフトウェアドライバ及びコンピュータハードウェアを通して、ユーザ指向入力／出力を実現する。図３のＩ／Ｏアダプタ３２０は、ビデオ会議及び他のアプリケーションで使用するためにウェブカメラ３３４をコンピューティングシステムに結合する。

【0034】

また、図３の例示的なコンピュータ３００は、グラフィック関連の計算のために特別に設計され、表示画面又はコンピュータモニタ等のディスプレイデバイス３２６に出力されるＩ／Ｏアダプタの一例であるグラフィック処理ユニット（ＧＰＵ）３２４を含む。ＧＰＵ３２４は、高速ビデオバス３２８、バスアダプタ３２８、及び、同じく高速バスであるフロントサイドバス３３０を介してプロセッサ３０２に接続される。

【0035】

図３の例示的なコンピュータ３００は、他のコンピュータとのデータ通信及びデータ通信ネットワークとのデータ通信のための通信アダプタ３３２を含む。そのようなデータ通信は、ＲＳ－２３２接続を通して、ユニバーサルシリアルバス（Universal Serial Bus、「ＵＳＢ」）等の外部バスを通して、ＩＰデータ通信ネットワーク等のデータ通信ネットワークを通して、及び／又は、当業者が想到する他の方法で、シリアルに行われる。通信アダプタは、あるコンピュータが別のコンピュータに直接的に又はデータ通信ネットワークを介してデータ通信を送信する、ハードウェアレベルのデータ通信を実現する。特定の実施形態によるビデオ会議のためのＲＯＩベースのアップスケーリングのために構成されたコンピュータにおいて有用な通信アダプタの例としては、有線ダイヤルアップ通信のためのモデム、有線データ通信のためのイーサネット（登録商標）（ＩＥＥＥ８０２．３）アダプタ、及び、無線データ通信のための８０２．１１アダプタが挙げられる。

【0036】

更なる説明のために、図４は、本開示の実施形態によるビデオ会議のためのＲＯＩベースのアップスケーリングのための例示的な方法を示すフローチャートを示す。図４の方法は、参加デバイス１０２ａのアップスケーリングモジュール１０８ａにおいて実施される。図４の方法は、第１の解像度でのビデオ会議のビデオフレーム４０４において、オブジェクトの境界領域を識別すること４０２を含む。ビデオフレーム４０４は、アップスケーリングモジュール１０８ａを実行する同じ参加デバイス１０２ａによって生成される。他の実施形態では、ビデオフレーム４０４は、別の参加デバイス１０２ｂ～１０２ｎから受信される。

【0037】

識別されたオブジェクトは、ビデオフレーム４０４内の画像オブジェクト（例えば、画素の特定のグルーピング）である。オブジェクトは、人間の参加者によって使用される参加デバイス１０２ａ～１０２ｎのカメラによってキャプチャされるようなビデオ会議の人間の参加者に対応することができる。当業者は、いくつかの実施形態では、オブジェクトが他の関心領域に対応することを理解するであろう。いくつかの実施形態では、オブジェクトは、ユーザ選択されたオブジェクトを含む。例えば、画像セグメント化アルゴリズムがビデオフレーム４０４に適用され、複数のオブジェクトを識別する。次に、境界領域が識別されるオブジェクトが、識別されたオブジェクトから選択される。他の実施形態では、オブジェクトは、デフォルトのオブジェクトタイプである。例えば、画像セグメント化アルゴリズムは、ビデオフレーム４０４内の人間のオブジェクトを識別する。次いで、人間のオブジェクトは、境界領域が識別されるオブジェクトとして自動的に選択される。

【0038】

オブジェクトは、理解され得るように、画像セグメント化アルゴリズム又は他のアルゴリズムを使用して、ビデオフレーム４０４内で識別される。オブジェクトを識別した後、オブジェクトの境界領域が識別される。いくつかの実施形態では、境界領域は、オブジェクトのための境界ボックスを含む。境界ボックスは、識別されたオブジェクトが含まれる画素の２次元長方形領域である。例えば、いくつかの実施形態では、境界ボックスは、オブジェクトのための最近傍フィッティング境界ボックス（例えば、オブジェクトを完全に含むように最小幅及び高さを有する境界ボックス）を含む。いくつかの実施形態では、境界ボックスは、境界ボックスのエッジとオブジェクトとの間に閾値量の画素（例えば、１つ、２つ又は他の比較的少数の画素）を含む。例えば、境界ボックスの１つ以上の辺は、オブジェクトの最近傍部分から最大で画素の閾値量だけ分離される。当業者は、境界ボックス以外の境界も本開示の範囲内で企図されることを理解するであろう。

【0039】

また、図４の方法は、境界領域によって境界付けられたビデオフレーム４０４の部分に機械学習アップスケーリングアルゴリズムを適用して、第２の解像度に対応するビデオフレーム４０４のアップスケーリングされた部分を生成すること４０６を含む。第２の解像度は、ビデオフレーム４０４の第１の解像度より高く、以下で説明される、結果として生じるアップスケーリングされたビデオフレーム４１０の解像度である。ビデオフレーム４０４のアップスケーリングされた部分は、境界領域によって境界付けられたビデオフレーム４０４の部分の解像度が第２の解像度に比例してアップスケーリングされるという点で、第２の解像度に対応する。例えば、第１の解像度が１０８０ｐであり、第２の解像度が４Ｋであると仮定すると、アップスケーリングされたビデオフレーム４１０は、ビデオフレーム４０４の解像度の４倍の解像度を有することになる。したがって、ビデオフレーム４０４のアップスケーリングされた部分は、アップスケーリング前のビデオフレーム４０４の部分の解像度の４倍の解像度を有することになる。

【0040】

上述したように、境界領域によって境界付けられたビデオフレーム４０４の部分は、オブジェクト（例えば、ビデオ会議に参加しているユーザ）を含む。境界領域がビデオフレームのＲＯＩを効果的に画定するので、比較的計算量が多い機械学習アップスケーリングアルゴリズムがビデオフレーム４０４のこのサブセットに適用されて、ビデオフレーム４０４のＲＯＩのより高品質のアップスケーリングされたバージョンが生成される。一例として、境界領域によって境界付けられたビデオフレーム４０４の部分は、入力として、ニューラルネットワーク、深層畳み込みニューラルネットワーク又は他の訓練された機械学習モデルに提供され、第２の解像度に対応するビデオフレームのアップスケーリングされた部分を生成する。したがって、結果として得られるビデオフレームのアップスケーリングされた部分は、アップスケーリングされたオブジェクトを含む。

【0041】

また、図４の方法は、オブジェクトに対応する第１の複数の画素を第２の複数の画素と組み合わせることによって、第２の解像度でアップスケーリングされたビデオフレーム４１０を生成すること４０８を含む。第１の複数の画素は、アップスケーリングされたオブジェクトを符号化するビデオフレーム４０４のアップスケーリングされた部分内の画素である。いくつかの実施形態では、以下で更に詳細に説明するように、第２の複数の画素は、第１の複数の画素がマッピングされる置換背景（例えば、置換背景画像又はビデオフレーム）を含む。いくつかの実施形態では、以下で更に詳細に説明するように、第２の複数の画素は、境界領域の外側にあり、別のアップスケーリングアルゴリズム（例えば、機械学習アップスケーリングアルゴリズムよりも計算量が多くないアップスケーリングアルゴリズム）を使用してアップスケーリングされたビデオフレーム４０４の画素を含む。

【0042】

また、図４の方法は、アップスケーリングされたビデオフレーム４１０を、ビデオ会議に参加している参加デバイス１０２ｂに送信すること４１２を含む。図４に示されるように、元のビデオフレーム４０４は、参加デバイス１０２ａによって生成され、アップスケーリングされたビデオフレーム４１０を生成するために同じ参加デバイス１０２ａにおいて実行されるアップスケーリングモジュール１０８ａに提供される。次いで、アップスケーリングされたビデオフレーム４１０は、表示のために他の参加デバイス１０２ｂに送信される。しかしながら、いくつかの実施形態では、アップスケーリングされる元のビデオフレームを生成する参加デバイスと、ビデオフレームをアップスケーリングする参加デバイスとは、２つの異なるデバイスであり得る。

【0043】

図５は、本開示の実施形態による、ビデオ会議のためのＲＯＩベースのアップスケーリングの変形形態を示すフローチャートを示す。図５の方法は、図４の方法と同様であるが、図５の方法では、参加デバイス１０２ａは、アップスケーリングされる元のビデオフレームを参加デバイス１０２ｂから受信する５０２。ビデオフレーム４０４は、ビデオ会議に参加している参加デバイス１０２ｂのユーザをキャプチャし、ビデオフレームを参加デバイス１０２ａに送信する。次いで、受信側参加デバイス１０２ａは、受信したビデオフレーム４０４をアップスケーリングして、アップスケーリングされたビデオフレーム４１０を生成する（上記で説明したように）。

【0044】

アップスケーリングされたビデオフレームが生成されると、図５の方法は、アップスケーリングされたビデオフレーム４１０を高解像度ディスプレイ５０６に出力する（５０４）ことによって継続する。アップスケーリングされたビデオフレーム４１０は、ビデオ会議ユーザインタフェースの一部として（例えば、ビデオ会議モジュール１０６ａによって）レンダリングされ、参加デバイス１０２ａに結合されたディスプレイ５０６に出力される。

【0045】

更なる説明のために、図６は、本開示の実施形態によるビデオ会議のためのＲＯＩベースのアップスケーリングのための別の例示的な方法を示すフローチャートを示す。図６の方法は、第２の複数の画素を生成するために、境界領域の外側のビデオフレーム４０４の部分に別のアップスケーリングアルゴリズムを適用すること６０２を含むことを除いて、図４の方法と同様である。他のアップスケーリングアルゴリズムは、境界領域の内側のビデオフレーム４０４の部分をアップスケーリングするために使用される機械学習アップスケーリングアルゴリズムと比較して、より計算量が多くないアップスケーリングアルゴリズムである。例えば、他のアップスケーリングアルゴリズムは、機械学習アップスケーリングアルゴリズムと比較して、アップスケーリングされた出力を生成するために、より少ない動作又はより少ない計算リソースを必要とする。より計算量が多くないアップスケーリングアルゴリズムは、機械学習アップスケーリングアルゴリズムと比較してより低い品質の出力を潜在的にもたらすことになるが、より計算量が多くないアップスケーリングアルゴリズムは、境界領域の外側（例えば、関心領域以外）のビデオフレーム４０４の部分にのみ適用される。いくつかの実施形態では、他のアップスケーリングアルゴリズムは、例えば、ニアレストネイバー補間アルゴリズム、バイリニア補間アルゴリズム若しくはバイキュービック補間アルゴリズム、又は、理解され得る他のアルゴリズムを含む。

【0046】

図６の方法においてアップスケーリングされたビデオフレーム４１０を生成すること４０８は、第１の複数の画素と、第２の複数の画素と、ビデオフレームのアップスケーリングされた部分に含まれ、オブジェクトの外側にある第３の複数の画素と、を組み合わせること６０４を含む。上記で説明したように、第１の複数の画素は、ビデオフレーム４０４のアップスケーリングされた部分中のオブジェクト（例えば、アップスケーリングされたオブジェクト）に対応する。第２の複数の画素は、境界領域の外側のビデオフレーム４０４の部分に対応し、別のアップスケーリングアルゴリズムに従ってアップスケーリングされる。第３の複数の画素は、ビデオフレーム４０４のアップスケーリングされた部分内であるがオブジェクトの外側にあり、やはり機械学習アップスケーリングアルゴリズムを使用してアップスケーリングされた画素を含む。したがって、結果として生じるアップスケーリングされたビデオフレーム４１０は、機械学習アップスケーリングアルゴリズムを使用してアップスケーリングされた部分（例えば、境界領域内）と、別のアップスケーリングアルゴリズムを使用してアップスケーリングされた部分（例えば、境界領域の外側）と、を含む。

【0047】

更なる説明のために、図７は、本開示の実施形態による、アップスケーリングされたビデオフレームを生成する例示的な方法を示すフローチャートを示す。図７の方法では、第２の解像度でアップスケーリングされたビデオフレームを生成すること４０８は、第１の複数の画素を背景７０４にマッピングすること７０２を含む。上述したように、第１の複数の画素は、アップスケーリングされたオブジェクトに対応する。背景７０４は、置換背景画像又はビデオフレームを含む。例えば、図１のビデオ会議モジュール１０６ａ～１０６ｎがビデオ会議の背景置換をサポートし、それによってビデオデータ（例えば、ユーザ又は他の関心領域以外のビデオデータ）の背景が除去され、別の画像又はビデオフレームと置換されると仮定する。したがって、ユーザは、置換背景７０４上にオーバーレイされているように見える。したがって、いくつかの実施形態では、アップスケーリングされたオブジェクトの画素は、第２の解像度で背景７０４（例えば、背景画像又は背景ビデオフレーム）にマッピングされる。いくつかの実施形態では、背景は、アップスケーリングされたオブジェクトの画素が背景にマッピングされる前に、第２の解像度にアップスケーリング又はダウンスケールされる。

【0048】

第１の複数の画素を背景７０４にマッピングすること７０２は、第１の複数の画素の各画素について、背景７０４内の画素を第１の複数の画素の対応する画素で置き換えることを含む。したがって、第１の複数の画素内の各画素は、背景７０４内の相対位置にある画素上にオーバーレイされるか又はそれに取って代わる。したがって、アップスケーリングされたオブジェクトは、背景７０４上にオーバーレイ又はマッピングされる。

【0049】

本開示の例示的な実施形態は、ビデオ会議のためのＲＯＩベースのアップスケーリングのために十分に機能するコンピュータシステムのコンテキストで主に説明される。しかしながら、当業者の読者は、本開示が、任意の好適なデータ処理システムとともに使用するためにコンピュータ可読記憶媒体上に配置されたコンピュータプログラム製品に具現化され得ることを認識するであろう。そのようなコンピュータ可読記憶媒体は、磁気媒体、光学媒体又は他の好適な媒体を含む、機械可読情報のための任意の記憶媒体であり得る。そのような媒体の例としては、ハードドライブ又はディスケット内の磁気ディスク、光学ドライブのためのコンパクトディスク、磁気テープ、及び、当業者に着想されるような他のものを含む。当業者であれば、好適なプログラミング手段を有する任意のコンピュータシステムが、コンピュータプログラム製品で具現化された本開示の方法のステップを実行することが可能であることを直ちに認識するであろう。当業者であれば、本明細書に記載の例示的な実施形態のいくつかがコンピュータハードウェア上でインストール及び実行されるソフトウェアに向けられているが、それにもかかわらず、ファームウェアとして又はハードウェアとして実装される代替的な実施形態が、本開示の範囲内に十分にあることも認識するであろう。

【0050】

本開示は、システム、方法及び／又はコンピュータプログラム製品とすることができる。コンピュータプログラム製品は、プロセッサに本開示の態様を実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読記憶媒体（又は複数の媒体）を含むことができる。

【0051】

コンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持及び記憶することができる有形デバイスとすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、又は、上記の任意の好適な組合せであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的リストは、以下を含む。ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（read-only memory、ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（erasable programmable read-only memory、ＥＰＲＯＭ若しくはフラッシュメモリ）、スタティックランダムアクセスメモリ（static random access memory、ＳＲＡＭ）、携帯型コンパクトディスク専用メモリ（compact disc read-only memory、ＣＤ－ＲＯＭ）、デジタル多用途デバイス（digital versatile disk、ＤＶＤ）、メモリスティック、フロッピー（登録商標）ディスク、パンチカード又はその上に記録された命令を有する溝内の隆起構造等の機械的にコード化されたデバイス、及び、上記の任意の好適な組合せ。本明細書で使用される場合、コンピュータ可読記憶媒体は、電波若しくは他の自由に伝播する電磁波等のように、導波管若しくは他の伝送媒体（例えば、光ファイバケーブルを通過する光パルス）を通って伝播する電磁波、又は、ワイヤを通って伝送される電気信号等の一時的な信号それ自体であると解釈されるべきではない。

【0052】

本明細書に記載されたコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、又は、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、広域ネットワーク及び／若しくは無線ネットワークを介して外部コンピュータ若しくは外部記憶デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び／又はエッジサーバを含むことができる。各コンピューティング／処理デバイス内のネットワークアダプタカード又はネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、コンピュータ可読プログラム命令を、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に記憶するために伝送する。

【0053】

本開示の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（instruction-set-architecture、ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は、Ｓｍａｌｌｔａｌｋ、Ｃ等のオブジェクト配向プログラミング言語、並びに、「Ｃ」プログラミング言語又は同様のプログラミング言語等の従来の手続きプログラミング言語を含む１つ以上のプログラミング言語の任意の組合せで書き込まれたソースコード又はオブジェクトコードのうち何れかとすることができる。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で完全に、ユーザのコンピュータ上で部分的に、スタンドアロンソフトウェアパッケージとして、ユーザのコンピュータ上で部分的に、リモートコンピュータ上で部分的に、又は、リモートコンピュータ若しくはサーバ上で完全に実行することができる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（local area network、ＬＡＮ）若しくは広域ネットワーク（wide area network、ＷＡＮ）を含む任意のタイプのネットワークを通してユーザのコンピュータに接続することができるか、又は、外部コンピュータ（例えば、インターネットサービスプロバイダを使用するインターネットを介して）に接続することができる。いくつかの実施形態では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（field-programmable gate array、ＦＰＧＡ）又はプログラマブルロジックアレイ（programmable logic array、ＰＬＡ）を含む電子回路は、本開示の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個別化することによって、コンピュータ可読プログラム命令を実行することができる。

【0054】

本開示の態様は、本開示の実施形態による方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して本明細書に記載されている。フローチャート及び／又はブロック図の各ブロック、並びに、フローチャート及び／又はブロック図におけるブロックの組合せは、コンピュータ可読プログラム命令によって実現することができることが理解されよう。

【0055】

これらのコンピュータ可読プログラム命令は、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャート及び／又はブロック図の１つ以上のブロックで指定された機能／行為を実施するための手段を生成するような機械を生成するように、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサに提供することができる。これらのコンピュータ可読プログラム命令は、その上に記憶された命令を有するコンピュータ可読記憶媒体が、フローチャート及び／又はブロック図の１つ以上のブロックで指定された機能／行為の態様を実行する命令を含む製造物品を含むように、コンピュータ、プログラマブルデータ処理装置及び／又は他のデバイスに、特定の方法で機能するように指示することができる、コンピュータ可読記憶媒体に記憶することができる。

【0056】

コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置又は他のデバイスにロードされ、コンピュータ、他のプログラマブル装置又は他のデバイス上で実行される命令が、フローチャート及び／又はブロック図の１つ以上のブロックで指定された機能／行為を実行するように、コンピュータによって実行されるプロセスを生成するために、コンピュータ、他のプログラマブル装置又は他のデバイス上で一連の動作ステップを行わせることができる。

【0057】

図中のフローチャート及びブロック図は、本開示の様々な実施形態によるシステム、方法及びコンピュータプログラム製品の可能な実施形態のアーキテクチャ、機能及び動作を示す。これに関して、フローチャート又はブロック図の各ブロックは、指定された論理機能を実行するための１つ以上の実行可能命令を含む、命令のモジュール、セグメント又は部分を表すことができる。いくつかの代替的な実施形態では、ブロックに記載されている機能は、図に記載された順序から外れて発生する可能性がある。例えば、連続して示される２つのブロックは、実際には実質的に同時に実行されてもよく、又は、ブロックは、関与する機能に応じて、逆の順序で実行されてもよい。ブロック図及び／又はフロー図の各ブロック、並びに、ブロック図及び／又はフロー図におけるブロックの組合せは、指定された機能若しくは行為を行うか、又は、専用ハードウェアとコンピュータ命令との組合せを実行する、専用ハードウェアベースのシステムによって実行することができることにも留意されたい。

【0058】

本開示の様々な実施形態において修正及び変更を行うことができることは、上述した記載から理解されるであろう。本明細書における記載は、例示のみを目的としており、限定的な意味で解釈されるべきではない。本開示の範囲は、以下の特許請求の範囲の文言によってのみ限定される。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2024-05-29

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

装置であって、
前記装置は、コンピュータプロセッサと、コンピュータメモリと、を備え、
前記コンピュータメモリは、コンピュータプログラム命令を含み、
前記コンピュータプログラム命令は、前記コンピュータプロセッサによって実行されると、
第１の解像度のビデオ会議のビデオフレームにおいて、オブジェクトの境界領域を識別することと、
前記境界領域によって境界付けられた前記ビデオフレームの部分に機械学習アップスケーリングアルゴリズムを適用して、第２の解像度に対応する前記ビデオフレームのアップスケーリングされた部分を生成することと、
前記オブジェクトに対応する前記ビデオフレームのアップスケーリングされた部分内の第１の複数の画素を第２の複数の画素と組み合わせることによって、前記第２の解像度でアップスケーリングされたビデオフレームを生成することと、
を前記コンピュータプロセッサに実行させる、
装置。

【請求項2】

前記コンピュータプログラム命令は、前記コンピュータプロセッサによって実行されると、前記アップスケーリングされたビデオフレームを、前記ビデオ会議に参加しているコンピューティングデバイスに送信することを前記コンピュータプロセッサに実行させる、
請求項１の装置。

【請求項3】

前記コンピュータプログラム命令は、前記コンピュータプロセッサによって実行されると、
前記ビデオ会議に参加しているコンピューティングデバイスから前記ビデオフレームを受信することと、
前記アップスケーリングされたビデオフレームをディスプレイに出力することと、
を前記コンピュータプロセッサに実行させる、
請求項１の装置。

【請求項4】

前記コンピュータプログラム命令は、前記コンピュータプロセッサによって実行されると、
前記第２の複数の画素を生成するために、前記境界領域の外側の前記ビデオフレームの部分に別のアップスケーリングアルゴリズムを適用することを前記コンピュータプロセッサに実行させ、
前記アップスケーリングされたビデオフレームは、前記第１の複数の画素と、前記第２の複数の画素と、前記ビデオフレームの前記アップスケーリングされた部分に含まれ、前記オブジェクトの外側にある第３の複数の画素と、を組み合わせることによって生成される、
請求項１の装置。

【請求項5】

前記別のアップスケーリングアルゴリズムは、前記機械学習アップスケーリングアルゴリズムと比較して計算量が多くないアルゴリズムである、
請求項４の装置。

【請求項6】

前記第２の複数の画素は、前記第２の解像度における背景に対応し、前記アップスケーリングされたビデオフレームを生成することは、前記第１の複数の画素を前記背景にマッピングすることを含む、
請求項１の装置。

【請求項7】

前記オブジェクトは、ユーザ選択されたオブジェクトを含む、
請求項１の装置。

【請求項8】

前記オブジェクトは、デフォルトのオブジェクトタイプを含む、
請求項１の装置。

【国際調査報告】