特表 2024-513750 画像及びビデオから反射特徴（ｒｅｆｌｅｃｔｉｖｅ ｆｅａｔｕｒｅｓ）を除去するためのリアルタイム機械学習ベースのプライバシーフィルタ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-27

(54)【発明の名称】画像及びビデオから反射特徴（ｒｅｆｌｅｃｔｉｖｅ ｆｅａｔｕｒｅｓ）を除去するためのリアルタイム機械学習ベースのプライバシーフィルタ

(51)【国際特許分類】

   H04N 21/854 20110101AFI20240319BHJP

   H04N 7/15 20060101ALI20240319BHJP

【ＦＩ】

H04N21/854

H04N7/15

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023558342

(86)(22)【出願日】2022-03-03

(85)【翻訳文提出日】2023-10-23

(86)【国際出願番号】 US2022018799

(87)【国際公開番号】W WO2022211967

(87)【国際公開日】2022-10-06

(31)【優先権主張番号】17/219,766

(32)【優先日】2021-03-31

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】591016172

【氏名又は名称】アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド

【氏名又は名称原語表記】ＡＤＶＡＮＣＥＤ ＭＩＣＲＯ ＤＥＶＩＣＥＳ ＩＮＣＯＲＰＯＲＡＴＥＤ

(71)【出願人】

【識別番号】508301087

【氏名又は名称】エーティーアイ・テクノロジーズ・ユーエルシー

【氏名又は名称原語表記】ＡＴＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＵＬＣ

【住所又は居所原語表記】Ｏｎｅ Ｃｏｍｍｅｒｃｅ Ｖａｌｌｅｙ Ｄｒｉｖｅ Ｅａｓｔ， Ｍａｒｋｈａｍ， Ｏｎｔａｒｉｏ， Ｌ３Ｔ ７Ｘ６ Ｃａｎａｄａ

(74)【代理人】

【識別番号】100108833

【弁理士】

【氏名又は名称】早川 裕司

(74)【代理人】

【識別番号】100111615

【弁理士】

【氏名又は名称】佐野 良太

(74)【代理人】

【識別番号】100162156

【弁理士】

【氏名又は名称】村雨 圭介

(72)【発明者】

【氏名】ヴィッキー ユウミン ウー

(72)【発明者】

【氏名】ウィルソン ハン ユウ

(72)【発明者】

【氏名】ハッキ カン カライマー

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164FA10

5C164VA35P

(57)【要約】

画像から反射を除去するための方法が開示される。本方法は、画像の１つ以上のセグメントを識別することであって、１つ以上のセグメントが反射を含むことと、１つ以上のセグメントの１つ以上の特徴を識別することと、セグメントから１つ以上の特徴を除去して、１つ以上のサニタイズされたセグメントを生成することと、１つ以上のサニタイズされたセグメントを画像と組み合わせて、サニタイズされた画像を生成することと、を含む。
【選択図】図５

【特許請求の範囲】

【請求項1】

画像から反射を除去するための方法であって、
反射オブジェクトであるとみなされるオブジェクトを第１の画像が含むという第１の識別を行うことと、
前記第１の識別に応じて、前記第１の画像から１つ以上の反射を除去して、修正された第１の画像を生成することと、
反射オブジェクトであるとみなされるオブジェクトを第２の画像が含まないという第２の識別を行うことと、
前記第２の画像に対して、前記第２の画像から１つ以上の反射を除去するための処理を行わないことと、を含む、
方法。

【請求項2】

前記第１の画像は静止画像を含む、
請求項１の方法。

【請求項3】

前記第１の画像はビデオ会議のフレームを含む、
請求項１の方法。

【請求項4】

ビデオ会議システムのカメラからビデオを取得することと、
前記ビデオを解析して、修正されたビデオを生成することと、
前記ビデオ会議システムの受信機に前記ビデオを送信することと、を更に含み、
前記解析することは、前記第１の識別を行うことと、前記除去することと、前記第２の識別を行うことと、前記処理を行わないことと、を含み、
前記修正されたビデオは、１つ以上の反射が除去された前記第１の画像と、前記第２の画像と、を含む、
請求項３の方法。

【請求項5】

前記修正された第１の画像と、前記第２の画像と、をディスプレイに送信することを更に含む、
請求項１の方法。

【請求項6】

前記反射オブジェクトであるとみなされるオブジェクトを第１の画像が含むという第１の識別を行うことは、画像を、反射オブジェクトであるとみなされるオブジェクトを含むものとして、又は、反射オブジェクトであるとみなされるオブジェクトを含まないものとして識別するように構成された分類器を用いて、前記第１の画像を処理することを含む、
請求項５の方法。

【請求項7】

前記分類器は、ニューラルネットワーク分類器を含む、
請求項６の方法。

【請求項8】

前記反射オブジェクトであるとみなされるオブジェクトを第１の画像が含むという第１の識別を行うことは、前記第１の画像の関心領域内で前記オブジェクトを検索することを含む、
請求項１の方法。

【請求項9】

前記反射オブジェクトであるとみなされるオブジェクトを第２の画像が含まないという第２の識別を行うことは、前記第２の画像の関心領域内に前記オブジェクトが含まれていないと判定することを含む、
請求項１の方法。

【請求項10】

画像から反射を除去するためのシステムであって、
入力ソースと、
解析システムと、を備え、
前記解析システムは、
前記入力ソースから第１の画像及び第２の画像を取得することと、
反射オブジェクトであるとみなされるオブジェクトを前記第１の画像が含むという第１の識別を行うことと、
前記第１の識別に応じて、前記第１の画像から１つ以上の反射を除去することと、
反射オブジェクトであるとみなされるオブジェクトを前記第２の画像が含まないという第２の識別を行うことと、
前記第２の画像に対して、前記第２の画像から１つ以上の反射を除去するための処理を行わないことと、
を行うように構成されている、
システム。

【請求項11】

前記第１の画像は静止画像を含む、
請求項１０のシステム。

【請求項12】

前記第１の画像はビデオ会議のフレームを含む、
請求項１０のシステム。

【請求項13】

前記入力ソースは、ビデオ会議システムのカメラを含み、
前記解析システムは、
ビデオ会議システムのカメラからビデオを取得することと、
前記ビデオを解析して、修正されたビデオを生成することと、
前記ビデオ会議システムの受信機に前記ビデオを送信することと、
を行うように構成されており、
前記解析することは、前記第１の識別を行うことと、前記除去することと、前記第２の識別を行うことと、前記処理を行わないことと、を含み、
前記修正されたビデオは、１つ以上の反射が除去された前記第１の画像と、前記第２の画像と、を含む、
請求項１２のシステム。

【請求項14】

前記解析システムは、前記修正された第１の画像と、前記第２の画像と、を表示のために出力するように構成されている、
請求項１０のシステム。

【請求項15】

前記反射オブジェクトであるとみなされるオブジェクトを第１の画像が含むという第１の識別を行うことは、画像を、反射オブジェクトであるとみなされるオブジェクトを含むものとして、又は、反射オブジェクトであるとみなされるオブジェクトを含まないものとして識別するように構成された分類器を用いて、前記第１の画像を処理することを含む、
請求項１４のシステム。

【請求項16】

前記分類器は、ニューラルネットワーク分類器を含む、
請求項１５のシステム。

【請求項17】

前記反射オブジェクトであるとみなされるオブジェクトを第１の画像が含むという第１の識別を行うことは、前記第１の画像の関心領域内で前記オブジェクトを検索することを含む、
請求項１０のシステム。

【請求項18】

前記反射オブジェクトであるとみなされるオブジェクトを第２の画像が含まないという第２の識別を行うことは、前記第２の画像の関心領域内に前記オブジェクトが含まれていないと判定することを含む、
請求項１０のシステム。

【請求項19】

命令を記憶するコンピュータ可読記憶媒体であって、
前記命令は、プロセッサによって実行されると、
反射オブジェクトであるとみなされるオブジェクトを第１の画像が含むという第１の識別を行うことと、
前記第１の識別に応じて、前記第１の画像から１つ以上の反射を除去することと、
反射オブジェクトであるとみなされるオブジェクトを第２の画像が含まないという第２の識別を行うことと、
前記第２の画像に対して、前記第２の画像から１つ以上の反射を除去するための処理を行わないことと、
を含む動作を前記プロセッサに実行させる、
コンピュータ可読記憶媒体。

【請求項20】

前記第１の画像は静止画像を含む、
請求項１９のコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０２１年３月３１日に出願された米国特許出願第１７／２１９，７６６号の利益を主張し、その内容は、本明細書に完全に記載されているように参照により組み込まれる。

【背景技術】

【0002】

ビデオ及び画像は、データを操作するための多種多様な技術を処理することを含む。このような技術に対する改良が絶えず行われている。

【0003】

添付の図面と共に例として与えられる以下の説明から、より詳細な理解を得ることができる。

【図面の簡単な説明】

【0004】

【図1】本開示の１つ以上の特徴を実装することができる例示的なコンピューティングデバイスのブロック図である。

【図2】一例による、ビデオを解析し、反射からの画像を除去するために１つ以上のニューラルネットワークを訓練（トレーニング）するためのシステムを示す図である。

【図3】一例による、反射画像を除去するためにビデオを解析及び修正するためのシステムを示す図である。

【図4】一例による、解析システムによって実行される解析技術を示すブロック図である。

【図5】一例による、ビデオ又は画像から反射を除去するための方法のフロー図である。

【発明を実施するための形態】

【0005】

ビデオデータは、眼鏡又はミラー等の反射面に反射されたプライベート画像を不注意に含むことがある。機械学習を利用してそのようなプライベート画像をビデオから除去するための技術が本明細書で提供される。例では、本技術は、自動プライベート画像除去技術を含み、それによって、図１のコンピューティングデバイス１００等のデバイスがビデオデータを解析してプライベート画像を除去する。画像除去技術は、１つ以上の訓練（トレーニング）されたニューラルネットワークを利用して、解析のための様々なタスクを実行する。例では、本技術は、自動プライベート画像除去技術のために１つ以上のニューラルネットワークを訓練するための訓練技術を含む。様々な例では、自動画像除去技術は、訓練技術のうち１つ以上と同じコンピューティングデバイス１００又は異なるコンピューティングデバイス１００によって実行される。

【0006】

図１は、本開示の１つ以上の特徴を実装することができる例示的なコンピューティングデバイス１００のブロック図である。様々な例では、コンピューティングデバイス１００は、例えば、コンピュータ、ゲームデバイス、ハンドヘルドデバイス、セットトップボックス、テレビ、携帯電話、タブレットコンピュータ、又は、他のコンピューティングデバイスのうち何れかであるが、これらに限定されない。デバイス１００は、１つ以上のプロセッサ１０２、メモリ１０４、記憶装置１０６、１つ以上の入力デバイス１０８、及び、１つ以上の出力デバイス１１０を含む。また、デバイス１００は、１つ以上の入力ドライバ１１２及び１つ以上の出力ドライバ１１４を含む。何れの入力ドライバ１１２も、ハードウェア、ハードウェアとソフトウェアとの組み合わせ、又は、ソフトウェアとして具体化され、入力デバイス１０８を制御する（例えば、動作を制御し、入力ドライバ１１２からの入力を受信し、入力ドライバ１１２にデータを提供する）役割を果たす。同様に、何れの出力ドライバ１１４も、ハードウェア、ハードウェアとソフトウェアとの組み合わせ、又は、ソフトウェアとして具体化され、出力デバイス１１０を制御する（例えば、動作を制御し、出力ドライバ１１４からの入力を受信し、出力ドライバ１１４にデータを提供する）役割を果たす。デバイス１００は、図１に示されていない追加の構成要素を含むことができることを理解されたい。

【0007】

様々な代替例では、１つ以上のプロセッサ１０２は、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、同じダイ上に位置するＣＰＵ及びＧＰＵ、又は、１つ以上のプロセッサコアを含み、各プロセッサコアは、ＣＰＵ又はＧＰＵとすることができる。様々な代替例では、メモリ１０４は、１つ以上のプロセッサ１０２と同じダイ上に位置するか、又は、１つ以上のプロセッサ１０２とは別に位置する。メモリ１０４は、揮発性又は不揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ、キャッシュ）を含む。

【0008】

記憶装置１０６は、固定又はリムーバブル記憶装置（例えば、限定するものではないが、ハードディスクドライブ、ソリッドステートドライブ、光ディスク、フラッシュドライブ）を含む。入力デバイス１０８は、キーボード、キーパッド、タッチスクリーン、タッチパッド、検出器、マイクロフォン、加速度計、ジャイロスコープ、生体認証スキャナ、又は、ネットワーク接続（例えば、無線ＩＥＥＥ８０２シグナルの送信及び／又は受信のための無線ローカルエリアネットワークカード）を含むが、これらに限定されない。出力デバイス１１０は、ディスプレイ、スピーカ、プリンタ、触覚フィードバックデバイス、１つ以上の光、アンテナ、又は、ネットワーク接続（例えば、無線ＩＥＥＥ８０２シグナルの送信及び／又は受信のための無線ローカルエリアネットワークカード）を含むが、これらに限定されない。

【0009】

入力ドライバ１１２及び出力ドライバ１１４は、それぞれ、入力デバイス１０８及び出力デバイス１１０とインターフェースし、それらをドライブする１つ以上のハードウェア、ソフトウェア及び／又はファームウェア構成要素を含む。入力ドライバ１１２は、１つ以上のプロセッサ１０２及び入力デバイス１０８と通信し、１つ以上のプロセッサ１０２が入力デバイス１０８から入力を受信することを可能にする。出力ドライバ１１４は、１つ以上のプロセッサ１０２及び出力デバイス１１０と通信し、１つ以上のプロセッサ１０２が出力デバイス１１０に出力を送信することを可能にする。

【0010】

いくつかの実施形態では、出力ドライバ１１４は、加速処理デバイス（accelerated processing device、ＡＰＤ）１１６を含む。いくつかの実施形態では、ＡＰＤ１１６は、汎用コンピューティングのために使用され、ディスプレイ（表示デバイス１１８等）に出力を提供しない。他の実施形態では、ＡＰＤ１１６は、グラフィカル出力をディスプレイ１１８に提供し、いくつかの代替形態では、汎用コンピューティングも実行する。いくつかの例では、表示デバイス１１８は、物理ディスプレイデバイス又はリモートディスプレイプロトコルを使用して出力を示す模擬デバイスである。ＡＰＤ１１６は、１つ以上のプロセッサ１０２から計算コマンド及び／又はグラフィックスレンダリングコマンドを受け入れて、それらの計算コマンド及び／又はグラフィックスレンダリングコマンドを処理し、いくつかの例では、表示のためにピクセル出力を表示デバイス１１８に提供する。ＡＰＤ１１６は、単一命令複数データ（single-instruction-multiple-data、ＳＩＭＤ）パラダイムに従って計算を行う１つ以上の並列処理ユニットを含む。いくつかの実施形態では、ＡＰＤ１１６は、専用グラフィックス処理ハードウェア（例えば、グラフィックス処理パイプラインを実装する）を含み、他の実施形態では、ＡＰＤ１１６は、専用グラフィックス処理ハードウェアを含まない。

【0011】

図２は、一例による、ビデオを解析し、反射からの画像を除去するために１つ以上のニューラルネットワークを訓練するためのシステム２００を示す図である。システム２００は、訓練データ２０４を受け入れ、１つ以上の訓練されたニューラルネットワーク２０６を生成するネットワークトレーナ２０２を含む。

【0012】

様々な例では、システム２００は、図１のコンピューティングデバイス１００のインスタンスであるか又はその一部である。様々な例では、ネットワークトレーナ２０２は、プロセッサ（プロセッサ１０２等）上で実行されるソフトウェアを含む。様々な例では、ソフトウェアは、記憶装置１０６に存在し、メモリ１０４にロードされる。様々な例では、ネットワークトレーナ２０２は、ネットワークトレーナ２０２の動作を実行するために配線接続されたハードウェア（例えば、回路）を含む。様々な例では、ネットワークトレーナ２０２は、本明細書に記載される動作を実行するハードウェア及びソフトウェアの組み合わせを含む。生成済みの訓練されたニューラルネットワーク２０６、及び、それらのニューラルネットワーク２０６を訓練するために使用される訓練データ２０４は、以下で更に詳細に説明される。

【0013】

図３は、一例による、反射画像を除去するためにビデオを解析及び修正するためのシステム３００を示す図である。システム３００は、解析システム３０２及び訓練されたネットワーク３０６を含む。解析システム３０２は、訓練されたネットワーク３０６を利用して、入力ビデオ３０４から反射を識別して除去し、出力ビデオ３０８を生成する。様々な例では、入力ビデオ３０４は、入力ソースを介して解析システム３０２に提供される。様々な例では、入力ソースは、ソフトウェア、ハードウェア、又は、それらの組み合わせを含む。様々な例では、入力ソースは、個別のメモリであるか、又は、メインメモリ等の別のより一般的なメモリの一部である。様々な例では、入力ソースは、メモリ、バッファ又はハードウェアデバイスから入力ビデオ３０４をフェッチするように構成された１つ以上の入力／出力要素（ソフトウェア、ハードウェア又はそれらの組み合わせ）を含む。いくつかの例では、入力ソースは、ビデオのフレームを提供するビデオカメラである。

【0014】

いくつかの例では、システム３００は、図１のコンピューティングデバイス１００のインスタンスであるか又はその一部である。いくつかの例では、システム３００であるか又はその一部であるコンピューティングデバイス１００は、図２のシステム２００であるか又はその一部であるコンピューティングデバイスと同じコンピューティングデバイス１００である。様々な例では、解析システム３０２は、プロセッサ（プロセッサ１０２等）上で実行されるソフトウェアを含む。様々な例では、ソフトウェアは、記憶装置１０６に存在し、メモリ１０４にロードされる。様々な例では、解析システム３０２は、解析システム３０２の動作を実行するために配線接続されたハードウェア（例えば、回路）を含む。様々な例では、解析システム３０２は、本明細書に記載される動作を実行するハードウェア及びソフトウェアの組み合わせを含む。いくつかの例では、図３の訓練されたネットワーク３０６のうち１つ以上は、図２のニューラルネットワーク２０６のうち１つ以上と同じである。言い換えれば、図２のシステム２００は、ビデオを解析及び編集するために解析システム３０２によって使用される訓練されたニューラルネットワークを生成する。

【0015】

図４は、一例による、解析システム３０２によって実行される解析技術４００を示すブロック図である。技術４００は、インスタンスセグメンテーション動作４０２、特徴抽出動作４０４、反射除去動作４０６、及び、復元動作４０８を含む。解析システム３０２は、この技術の動作を入力ビデオ３０４の１つ以上のフレームに適用する。

【0016】

インスタンスセグメンテーション動作４０２は、入力フレームのうち反射を含む部分を識別する。一例では、インスタンスセグメンテーション動作４０２の少なくとも一部は、ニューラルネットワークとして実装される。ニューラルネットワークは、画像内の反射を認識するように構成されている。このニューラルネットワークは、画像を分類することができる任意のニューラルネットワークアーキテクチャとして実装可能である。１つの例示的なニューラルネットワークアーキテクチャは、畳み込みニューラルネットワークベースの画像分類器である。他の例では、画像内の反射を認識するために、任意の他のタイプのニューラルネットワークが使用される。いくつかの例では、ニューラルネットワーク以外のエンティティが、画像内の反射を認識するために使用される。いくつかの例では、動作４０２において利用されるニューラルネットワークは、図２のシステム２００によって生成され、訓練されたニューラルネットワーク２０６のうち何れかである。一例では、図２のシステム２００は、反射を含むか含まないかの何れかの画像を含むラベル付けされた入力を受け入れる。反射を含む画像に対して、画像は、画像が反射を含むというインジケーションでラベル付けされる。反射を含まない画像の場合、画像は、画像が反射を含まないというインジケーションでラベル付けされる。ニューラルネットワークは、入力画像を、反射を含むか含まないかの何れかに分類することを学習する。

【0017】

いくつかの実施形態では、インスタンスセグメンテーション動作４０２は、画像分類処理を、システム４００に入力された画像の一部に制限する。より具体的には、いくつかの実施形態では、インスタンスセグメンテーション動作４０２は、解析されている画像の範囲全体の一部である関心領域のインジケーションを取得する。一例では、関心領域は、画像の中央部分である。いくつかの実施形態又は動作モードでは、関心領域は、ユーザによって示される。そのような実施形態では、インスタンスセグメンテーション動作４０２は、そのようなインジケーションを、ユーザから、又は、ユーザがそのような情報を入力したことに応じて記憶されたデータから受信する。いくつかの例では、ユーザ情報は、技術４００を実行するビデオ会議ソフトウェア又は他のビデオソフトウェアに入力される。多くの場合、機密情報を示す反射は、中央部分又は他の部分等のビデオの或る特定の領域に制限される。

【0018】

いくつかの実施形態では、インスタンスセグメンテーション４０２は、２つの部分の画像認識を含む。第１の部分では、インスタンスセグメンテーション４０２は、画像を、特定のタイプの反射オブジェクトを有するか又は有さないかの何れかとして分類し、その例には眼鏡又はミラーが含まれる。いくつかの例では、この部分は、そのようなオブジェクトを含む又は含まない画像を用いて訓練され、そのようにラベル付けされたニューラルネットワーク分類器として実装される。インスタンスセグメンテーション４０２が、そのようなオブジェクトのうち何れかが関心領域に含まれると判定した場合、インスタンスセグメンテーション４０２は、第２の部分に進む。インスタンスセグメンテーション４０２が、そのようなオブジェクトが関心領域内に含まれないと判定した場合、インスタンスセグメンテーション４０２は、第２の部分に進まず、入力画像を更に処理しない（すなわち、動作４０４、４０６又は４０８に進まない）。第２の部分において、インスタンスセグメンテーション４０２は、画像を、反射を含むか含まないかの何れかとして分類する。再び、いくつかの例では、この部分は、反射を含む又は含まない画像を用いて訓練され、そのようにラベル付けされたニューラルネットワーク分類器として実装される。画像が反射を含まない場合、技術４００は、画像を更に処理しない（動作４０４、４０６又は４０８を実行しない）。

【0019】

特徴抽出動作４０４は、画像内の反射を含む部分を抽出する。一例では、特徴抽出動作４０４は、画像に対してクロップ動作を実行して、画像内の反射を含む部分を区別する。別の例では、特徴抽出動作４０２は、反射の境界のインジケーションを生成し、この境界は、その後、反射及び画像を処理するために使用される。いくつかの例では、画像内の反射を含む部分は、動作４０２に関して言及した関心領域である。

【0020】

反射除去動作４０６は、動作４０４の画像の抽出された部分から反射画像を除去する。一例において、反射除去動作４０６は、逆畳み込みベースのニューラルネットワークのようなアーキテクチャとして実装される。いくつかの例では、このニューラルネットワークは、訓練されたニューラルネットワーク２０６のうち何れかであり、ネットワークトレーナ２０２によって生成される。一例では、残差ニューラルネットワークは、学習された画像特徴を識別しようと試み、学習された特徴は、反射面における反射である。言い換えれば、残差ニューラルネットワークは、反射面における反射画像である画像の部分を認識するように訓練される。（様々な例において、この訓練は、図２のネットワークトレーナ２００によって行われる）。次に、反射除去動作４０６は、抽出された部分から認識された特徴を引いて、反射画像を含まない反射面の画像を得る。反射除去動作４０６の出力は、反射が除去された画像部分である。

【0021】

復元動作４０８は、反射が除去されたフレームを生成するために、反射が除去された画像部分を、特徴抽出動作４０４が画像部分を抽出した元の画像と再結合する。一例では、復元動作４０８は、抽出された部分に対応する元の画像のピクセルを、反射特徴を除去するために動作４０６によって処理されたピクセルで置き換えることを含む。一例では、画像は鏡を含み、反射除去動作４０６は、鏡内の反射画像を除去して、反射が除去された画像部分を生成する。復元動作４０８は、鏡に対応する元のフレームのピクセルを、除去動作４０６によって処理されたピクセルで置き換えて、反射のない鏡を有する新しいフレームを生成する。

【0022】

図５は、一例による、ビデオ又は画像から反射を除去するための方法５００のフロー図である。図１～図４のシステムに関して説明したが、当業者であれば、任意の技術的に実現可能な順序で方法５００のステップを行うように構成された任意のシステムが本開示の範囲内に含まれることを認識するであろう。

【0023】

ステップ５０２において、解析システム３０２は、入力画像５０２を解析して、入力画像５０２内に１つ以上の反射があるかどうかを判定する。いくつかの例では、ステップ５０２は、図４のステップ４０２として実行される。より具体的には、解析システム３０２は、反射を有する画像を認識するように訓練された畳み込みニューラルネットワーク等の訓練されたニューラルネットワークに対して画像を適用する。この適用の結果は、画像が反射を含むかどうかのインジケーションである。

【0024】

ステップ５０４において、画像が反射を含むと解析システム３０２が判定した場合、方法５００はステップ５０８に進み、画像が反射を含まないと解析システム３０２が判定した場合、方法５００はステップ５０６に進み、解析システム３０２は、未処理の画像を出力する。

【0025】

ステップ５０８において、解析システム３０２は、１つ以上の検出された反射を除去する。様々な例では、解析システム３０２は、図４のステップ４０４～４０８としてステップ５０８を実行する。具体的には、解析システム３０２は、画像から反射を含むと識別された部分を抽出する特徴抽出４０４を実行し、それらの部分から反射特徴を除去する反射除去４０６を実行し、画像の対応するピクセルを修正された画像部分のピクセルで置き換える復元４０８を実行する。

【0026】

ステップ５１０において、解析システム３０２は、処理された画像を出力する。様々な例では、出力は、更なるビデオ処理のために、又は、エンコーダ等の画像の消費者に提供される。ステップ５０６はステップ５１０と同様である。

【0027】

ステップ５１２において、解析システム３０２は、解析すべき画像が更にあるかどうかを判定する。いくつかの例では、ビデオの場合、解析システム３０２は、フレームごとにビデオを処理し、フレームの各々から反射を除去する。したがって、この状況では、解析システム３０２がビデオの全てのフレームを処理していない場合、解析すべきより多くの画像が存在する。他の例では、解析システム３０２は、処理すべき画像の指定されたセットを有し、全てのそのような画像が処理されるまでそれらの画像を処理し続ける。処理すべき更なる画像が存在する場合、方法５００はステップ５０２に進み、処理すべき更なる画像が存在しない場合、方法５００はステップ５１４に進み、方法は終了する。

【0028】

様々な実施形態において、処理されたビデオ出力は、任意の技術的に実行可能な方法で使用される。一例では、再生システムは、ユーザによる視聴のためにビデオを処理及び表示する。他の例では、記憶システムが、後で取り出すためにビデオを記憶する。更に他の例では、ネットワークデバイスは、別のコンピュータシステムによる使用のためにネットワークを介してビデオを送信する。

【0029】

本明細書の開示に基づいて、多くの変形が可能であることを理解されたい。例えば、いくつかの実施形態では、解析システム３０２は、ビデオ会議システムであるか、又は、ビデオ会議システムの一部である。ビデオ会議システムは、本明細書の他の箇所で説明されるように、カメラからビデオを受信し、ビデオを解析して、反射画像を検出し、除去する。更に、いくつかの動作は、ニューラルネットワークによって、又は、ニューラルネットワークの助けを借りて実行されるものとして説明されているが、いくつかの実施形態では、ニューラルネットワークは、１つ以上のそのような動作のために使用されない。特徴及び要素が特定の組み合わせで上述されているが、各特徴又は要素は、他の特徴及び要素を用いずに単独で、又は、他の特徴及び要素を用いて若しくは用いずに様々な組み合わせで使用することができる。

【0030】

提供される方法は、汎用コンピュータ、プロセッサ又はプロセッサコアにおいて実装することができる。好適なプロセッサとしては、例として、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタルシグナルプロセッサ（digital signal processor、ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと関連する１つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（Application Specific Integrated Circuit、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array、ＦＰＧＡ）回路、任意の他のタイプの集積回路（integrated circuit、ＩＣ）、及び／又は、状態マシンが挙げられる。そのようなプロセッサは、処理されたハードウェア記述言語（hardware description language、ＨＤＬ）命令及びネットリストを含む他の中間データ（コンピュータ可読媒体に記憶させることが可能な命令）の結果を使用して製造プロセスを構成することによって製造することができる。そのような処理の結果はマスクワークとすることができ、このマスクワークをその後の半導体製造プロセスにおいて使用して、本開示の特徴を実装するプロセッサを製造する。

【0031】

本明細書に提供される方法又はフロー図は、汎用コンピュータ又はプロセッサによる実行のために非一時的なコンピュータ可読記憶媒体に組み込まれるコンピュータプログラム、ソフトウェア又はファームウェアにおいて実装することができる。非一時的なコンピュータ可読記憶媒体の例としては、読み取り専用メモリ（read only memory、ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスク及びリムーバブルディスク等の磁気媒体、磁気光学媒体、並びに、ＣＤ－ＲＯＭディスク及びデジタル多用途ディスク（digital versatile disk、ＤＶＤ）等の光学媒体が挙げられる。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】