特許 7707449 ホワイトボード画像を強調する装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-07-04

(45)【発行日】2025-07-14

(54)【発明の名称】ホワイトボード画像を強調する装置及び方法

(51)【国際特許分類】

   G06T 5/70 20240101AFI20250707BHJP

   G06T 5/50 20060101ALI20250707BHJP

【ＦＩ】

G06T5/70

G06T5/50

【請求項の数】 12

(21)【出願番号】P 2024537162

(86)(22)【出願日】2022-12-19

(65)【公表番号】

(43)【公表日】2024-12-06

(86)【国際出願番号】 US2022081936

(87)【国際公開番号】W WO2023122537

(87)【国際公開日】2023-06-29

【審査請求日】2024-08-15

(31)【優先権主張番号】63/291,650

(32)【優先日】2021-12-20

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】596130705

【氏名又は名称】キヤノン ユーエスエイ，インコーポレイテッド

【氏名又は名称原語表記】ＣＡＮＯＮ Ｕ．Ｓ．Ａ．，ＩＮＣ

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】ハン， ファング

(72)【発明者】

【氏名】デニー， ブラッドリー

【審査官】菊池 伸郎

(56)【参考文献】

【文献】特表２０２０－５２５９６２（ＪＰ，Ａ）

【文献】特開２０１６－３８８４９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－７／９０

Ｇ０６Ｖ １０／００－４０／７０

(57)【特許請求の範囲】

【請求項1】

画像処理を行う制御装置であって、
１つ以上のプロセッサと、
命令を保持する１つ以上のメモリであって、前記命令が実行されると前記１つ以上のプロセッサを構成して
会議室を撮影するカメラから撮影したビデオを受信し、
前記ビデオの所定の領域を抽出して抽出画像データとして保存し、
前記抽出画像データに対して第１の画像補正処理を実行することにより、第１の補正画像を生成し、ノイズを補正して、前記第１の補正画像の二値マスクを生成し、
前記第１の補正画像の前記二値マスクと前記第１の補正画像に基づいてフィルタ処理された画像を生成し、
前記フィルタ処理された画像に対して第２の画像補正処理を実行して、第２の補正画像を生成し、
前記第２の補正画像と前記第１の補正画像を合成して最終的な補正画像を生成するブレンド処理を実行する
１つ以上のメモリと、
を有することを特徴とする制御装置。

【請求項2】

前記命令の実行により、１つ以上のプロセッサがさらに、
メモリに、前記第１の補正画像の予め決められた数のマスクを格納し、
前記格納された予め決められた数のマスクの平均を計算し、
平均マスクを生成するように構成され、前記フィルタ処理された画像は前記平均マスクを使用して生成される
ことを特徴とする請求項１に記載の制御装置。

【請求項3】

前記第１の画像補正処理は、前記抽出された予め決められた領域のほぼ長方形の画像を生成する台形補正であることを特徴とする請求項１に記載の制御装置。

【請求項4】

命令の実行により、１つ以上のプロセッサがさらに、
前記第１の補正画像のコピーをメモリに格納し、
前記ブレンド処理を実行する前に、前記格納された第１の補正画像のコピーを取得する
ように構成されていることを特徴とする請求項１に記載の制御装置。

【請求項5】

前記第２の画像補正処理は、前記第１の補正画像の色および明度を補正することを特徴とする請求項１に記載の制御装置。

【請求項6】

命令の実行により、１つ以上のプロセッサがさらに、前記補正画像の前記色及び明度を補正するために、
前記第１の補正画像を第１の色空間から第２の色空間に変換し、
第１の値を持つ第１の補正画像の各画素に対して、予め決められた彩度設定と予め決められた明度設定を適用し、
前記第１の値を持たない各画素を白に設定する
ように構成されていることを特徴とする請求項５に記載の制御装置。

【請求項7】

制御装置により実行される画像処理方法であって、
会議室を撮影するカメラから撮影したビデオを受信し、
前記ビデオの所定の領域を抽出して抽出画像データとして保存し、
前記抽出画像データに対して第１の画像補正処理を実行することにより、第１の補正画像を生成し、ノイズを補正して、前記第１の補正画像の二値マスクを生成し、
前記第１の補正画像の前記二値マスクと前記第１の補正画像に基づいてフィルタ処理された画像を生成し、
前記フィルタ処理された画像に対して第２の画像補正処理を実行して、第２の補正画像を生成し、
前記第２の補正画像と前記第１の補正画像を合成して最終的な補正画像を生成するブレンド処理を実行する
ことを特徴とする画像処理方法。

【請求項8】

メモリに、前記第１の補正画像の予め決められた数のマスクを格納し、
前記格納された予め決められた数のマスクの平均を計算し、
平均マスクを生成するように構成され、前記フィルタ処理された画像は前記平均マスクを使用して生成される
ことを特徴とする請求項７に記載の方法。

【請求項9】

前記第１の画像補正処理は、前記抽出された予め決められた領域のほぼ長方形の画像を生成する台形補正であることを特徴とする請求項７に記載の方法。

【請求項10】

前記第１の補正画像のコピーをメモリに格納し、
前記ブレンド処理を実行する前に、前記格納された第１の補正画像のコピーを取得する
ことを特徴とする請求項７に記載の方法。

【請求項11】

前記第２の画像補正処理は、前記第１の補正画像の色および明度を補正することを特徴とする請求項７に記載の方法。

【請求項12】

前記第１の補正画像を第１の色空間から第２の色空間に変換し、
第１の値を持つ第１の補正画像の各画素に対して、予め決められた彩度設定と予め決められた明度設定を適用し、
前記第１の値を持たない各画素を白に設定する
ことにより、前記補正画像の前記色及び明度を補正することを特徴とする請求項１１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
この出願は、２０２１年１２月２０日に提出された米国仮特許出願６３／２９１６５０を優先権として主張するものであり、当該参照によりその全文が本明細書に組み込まれているものとする。

【0002】

本開示は、画像処理技術に関する。

【背景技術】

【0003】

会議室や会議場には、通常、会議参加者が筆記具を使って書き込むことができる書き込み面があり、参加者は、１人または複数の参加者が重要だと考える情報を見ることができる。このような書き込み面の１つがホワイトボードで、参加者は、例えば、消すことができるホワイトボードマーカーを使ってホワイトボードに書き込むことができる。これは、参加者が使用する価値あるコラボレーション・ツールである。

【0004】

場合によっては、会議室や会議場に物理的に出席できない人がリモートで参加できるようにすることが求められている。このプロセスを実現することができるリモート・オンライン・ミーティング・ソリューションは複数存在する。さらに、１人以上の参加者がリモートで参加しているこれらの会議中は、コラボレーションの一部であるかのように感じられるよう、参加者が書き込み面に書き込まれている内容を見られることが望ましい。これを可能にするために、書き込まれた情報をデジタル化する電子ホワイトボードなどのツールがあるが、高価で、ＩＴネットワークに統合するのが難しい。画像キャプチャ・デバイスが書き込み面の画像をキャプチャし、その画像をリモート・ユーザーに転送することができる、画像キャプチャ・システムなどの他のメカニズムも存在する。しかしながら、会議室を表示するために１台のカメラが使用されるリモート会議では、リモート・ユーザーは、通常、１台のカメラで表示されるホワイトボードの内容を見たり読み取ったりすることは困難である。この問題に対して考えられる解決策は、ホワイトボードに焦点を合わせた専用カメラを追加することだが、リモート会議用にセットアップされた会議室のための追加のコストがかかる。本開示によるシステムおよび方法は、上記で特定された欠点を改善する。

【発明の概要】

【0005】

画像処理装置であって、１つ以上のプロセッサと、命令を保持する１つ以上のメモリであって、命令が実行されると１つ以上のプロセッサを構成して、会議室を撮影するカメラから撮影したビデオを受信し、前記ビデオの所定の領域を抽出して抽出画像データとして保存し、前記抽出画像データに対して第１の画像補正処理を実行することにより、第１の補正画像を生成し、ノイズを補正して、前記第１の補正画像の二値マスクを生成し、前記第１の補正画像の前記二値マスクと前記第１の補正画像に基づいてフィルタ処理された画像を生成し、前記フィルタ処理された画像に対して第２の画像補正処理を実行して、第２の補正画像を生成し、前記第２の補正画像と前記第１の補正画像を合成して最終的な補正画像を生成するブレンド処理を実行する、１つ以上のメモリと、を有する。

【0006】

別の実施形態では、メモリに、前記第１の補正画像の予め決められた数のマスクを格納し、前記格納された予め決められた数のマスクの平均を計算し、平均マスクを生成するように構成され、前記フィルタ処理された画像は前記平均マスクを使用して生成される。

【0007】

本開示のこれら及び他の目的、特徴、及び利点は、添付の図面及び特許請求の範囲と併せて、本開示の例示的な実施形態の以下の詳細な説明を読むことによって明らかになるであろう。

【図面の簡単な説明】

【0008】

【図1】図１は、本開示のシステム構成を示す。

【0009】

【図2】図２は、本開示における書き込み面を示す。

【0010】

【図3A】図３Ａ～３Ｇは、本開示における画像処理アルゴリズムを示す。

【図3B】図３Ａ～３Ｇは、本開示における画像処理アルゴリズムを示す。

【図3C】図３Ａ～３Ｇは、本開示における画像処理アルゴリズムを示す。

【図3D】図３Ａ～３Ｇは、本開示における画像処理アルゴリズムを示す。

【図3E】図３Ａ～３Ｇは、本開示における画像処理アルゴリズムを示す。

【図3F】図３Ａ～３Ｇは、本開示における画像処理アルゴリズムを示す。

【図3G】図３Ａ～３Ｇは、本開示における画像処理アルゴリズムを示す。

【0011】

【図4】図４は、本開示におけるハードウェア構成を示す。

【0012】

【図5】図５は、図３Ａ～図３Ｇの画像処理アルゴリズムの一部として実行されるアルゴリズムを示す。

【0013】

図全体を通じて、特に断りのない限り、同じ参照番号および文字は、例示された実施形態の同様の特徴、要素、構成要素または部分を示すために使用されている。さらに、主題の開示は、図面を参照して詳細に説明されるが、それは、例示的な実施形態に関連して行われる。添付の請求項によって定義される主題の開示の真の範囲および精神から逸脱することなく、説明された例示的な実施形態に変更および修正を加えることができることが意図されている。

【発明を実施するための形態】

【0014】

詳細な説明
図全体を通じて、特に断りのない限り、同じ参照番号および文字は、例示された実施形態の同様の特徴、要素、構成要素または部分を示すために使用されている。さらに、主題の開示は、図面を参照して詳細に説明されるが、それは、例示的な実施形態に関連して行われる。添付の請求項によって定義される主題の開示の真の範囲および精神から逸脱することなく、説明された例示的な実施形態に変更および修正を加えることができることが意図されている。

【0015】

以下、添付図面を参照して、本発明の実施形態を詳細に説明する。なお、以下の実施形態は、本発明を実施するための一例に過ぎず、本発明が適用される装置の個別の構成や各種条件に応じて適宜修正または変更することができる。従って、本発明は以下の実施形態に限定されるものではなく、図面及び以下に記載する実施形態によれば、以下に例示する状況以外の状況においても、記載した実施形態を適用し、実施することができる。

【0016】

会議室の１人または複数の参加者がホワイトボードなどの書き込み面を使用するオンライン会議環境では、遠隔地から、つまりオンラインで会議に参加する人々が書き込み面に書き込まれている情報をはっきりと見ることができることが重要である。これを実現する１つの方法は、書き込み面の高解像度ビデオ画像データをキャプチャできるカメラなどの画像キャプチャシステムを使用して、得られた画像をネットワーク経由で遠隔地の参加者に伝達し、ラップトップ、タブレット、及び／または電話などのコンピューティングデバイスに表示できるようにすることである。しかし、以下の図１に示すような、会議室空間全体の広い視野をキャプチャするように構成された単一の画像キャプチャデバイスがある例示的な環境では、遠隔地にいる会議参加者にとって十分な品質の書き込み面の画像を取得することが特に困難になる可能性がある。部屋全体を写すカメラによってキャプチャされた画像から抽出されたホワイトボード画像は、ノイズ、照明効果、および台形化の問題により、読み取るのが非常に困難である。このような環境で（ホワイトボード専用のカメラを追加せずに）撮影されたホワイトボードの読み易さを改善するために、以下に説明するシステムおよび方法は、会議環境の全視野を含むデータ・ストリームとは別のデータ・ストリームを使用して、書き込み面が強調された画像をリモート・ユーザーに送信できるように、会議エリアの広い視野から抽出された書き込み面の高品質の画像を有利に取得して、リモート・ユーザーに送信する。１つの実施形態では、強調されたホワイトボード画像の送信は、会議エリア全体のビデオ画像を通信するチャネルとは異なる送信チャネルを介して行ってもよい。

【0017】

図１は、例示的な実施形態によるシステム構成を示す。本開示にかかるシステムは、会議室１０１に配置される。会議室１０１は、コンファレンスルーム等であってもよい。しかし、これは、一つの専用の部屋に限定されない。システムは、図１に示す構成要素が含まれ、以下に説明するように動作できるのであれば、任意の定義された領域に配置することができる。会議室１０１には、１人以上の参加者が座ったり、または、集まったりして、情報交換を行うことができる、参加者エリア１０５が含まれる。本明細書に示すように、本明細書に示すように、参加者エリアには、会議用テーブルと、室内会議の参加者２人用の椅子が含まれる。これは例示のみを目的として示されており、室内参加者が集まって情報交換を行うことができるように任意にセットアップすることができる。会議室１０１には、書き込み面１０６も含まれ、室内にいる１人以上の参加者は、他の参加者が閲覧できるように情報を書き込むことができる。一実施形態では、書き込み面は、消去可能なマーカーを使用して書き込みを行うことができるホワイトボードである。システムはさらに、撮像デバイス１０２（例えば、ビデオ画像データまたは、個々の静止画像を再生すると、画像データがビデオ画像データであるかのように表示される一連の静止画像、を連続してキャプチャするように構成されたカメラ）を備え、撮像デバイス１０２によってキャプチャされた画像データが、会議室の所定の視野１０４（図１の破線の間の領域として示される）を表すように、会議室内の所定の場所に備えられ、配置される。一実施形態では、所定の視野には、参加者エリア１０５及び書き込み面１０６が含まれる。撮像デバイスは、所定の視野１０４内のすべての全室ビューを生成することにより、会議室のビデオデータをリアルタイムでキャプチャするように構成される。このリアルタイムでキャプチャされたビデオデータを、室内データ・ストリームと呼ぶ。

【0018】

撮像デバイス１０２は、制御装置１１０によって、室内データストリームをキャプチャするように制御される。制御装置１１０は、コンピューティングデバイスであって、会議室内にローカルに配置されてもよいし、撮像デバイス１０２と通信するサーバとして配置されてもよい。制御装置１１０は、図４を参照して以下に説明するハードウェアである。制御装置は、メモリに格納された１つ以上の命令セットを実行して、以下で説明する動作および作業を実行する。一実施形態では、制御装置１１０は、図１の視野１０４を表す室内ビデオ画像データをキャプチャするように撮像デバイス１０２を制御する。この制御は、室内参加者と、接続され、撮像デバイス１０２によってキャプチャされているビデオデータを見ている１人以上のリモート参加者との間で行われる会議中に実行される。本開示によれば、リアルタイムでキャプチャされている室内ビデオデータの所定の領域を強調するためのアルゴリズムが実行される。この強調される所定の領域には、書き込み面およびその周囲の領域が含まれる。

【0019】

制御装置１１０は、さらに、コンピューティングデバイス１３０を使用する少なくとも１つのリモートクライアントが接続される通信ネットワーク１２０を介して、リアルタイムの室内ビデオを表すビデオ画像データを送信するように構成される。一実施形態では、通信ネットワーク１２０は、ワイドエリアネットワーク（ＷＡＮ）、またはインターネットなどのＷＡＮにさらに接続されるローカルエリアネットワーク（ＬＡＮ）である。リモートクライアントデバイス１３０は、部屋１０１に居る参加者と少なくとも１つのリモートクライアントデバイス１３０との間のオンライン会議を制御する会議アプリケーションを使用して、室内ビデオデータに選択的にアクセスできる。リモートクライアントデバイス１３０は、制御装置１１０を介して撮像デバイス１０２によってキャプチャされた室内ビデオデータを少なくとも取得するために、定義されたアクセス・リンクを使用してもよい。一実施形態では、アクセス・リンクにより、少なくとも１つのリモートクライアントデバイス１３０は、室内ビデオデータと、以下に説明する画像処理アルゴリズムに従って強調された室内ビデオデータの所定の領域の両方を取得できる。

【0020】

例示的な動作では、本開示は、第１の画像補正が行われる書き込み面領域を選択して第１の補正画像を生成してメモリに格納することにより、書き込み面１０６（例えば、ホワイトボード画像）を有利に強調する。一実施形態では、第１の画像補正は台形補正である。その後、第１の補正画像に基づいてマスクが計算され、メモリ内のマスク・キューに格納される。このマスク・キューは、（構成可能な）所定数の計算されたマスクを格納するように設定されている。マスク・キューがいっぱいになると、最も古いマスクが削除され、新しいマスクがキューの最後に追加される。書き込み面の残りの画像の強調を実行する際に使用される計算されたマスク画像は、所定の時点におけるマスク・キュー内のすべてのマスクに基づいて算出される。この処理の目的は、連続するフレームにわたるノイズ／圧縮による変動を減らすことである。最後に、マスクが第１の補正画像に適用されて不要なアーティファクトが除去され、第２の補正画像が生成され、さらに色強調されて、第３の補正画像が生成される。このアルゴリズムは、制御装置１０３の１つ以上のプロセッサ（ＣＰＵ５０１）がメモリ（ＲＯＭ５０３）に格納された所定のプログラムを読み出して実行することによって実現されるものであり、以下でさらに詳しく説明する。

【0021】

ビデオデータストリームから抽出されたビデオデータストリームの所定の領域の見え方を改善し、格納された命令セット（例えばプログラム）を実行する１つ以上のプロセッサによって実行される例示的な画像処理アルゴリズムを以下に説明する。一実施形態では、所定の領域には書き込み面が含まれる。例示的なアルゴリズムは、以下に示すように、修正する書き込み面の予め決められた角の位置を表す情報を取得することを含む。これらの角の位置は、ユーザが角の位置を選択するためのユーザインターフェースを使用してユーザ選択することによって、入力することができる。別の実施形態では、書き込み面（ホワイトボード）は、既知のホワイトボード検出処理を用いて自動的に検出される。例えば、ユーザは、視野１０４を示す室内画像を見て、ホワイトボードの４つの角を表す点を特定することができる。これは、マウスなどの入力デバイスを使用して、またはビデオデータを表示しているデバイスがタッチ入力を受け付けることができる場合は、タッチスクリーンを介して行うことができる。

【0022】

その後、上記で特定した領域から抽出したデータに対して、第１の画像補正処理が実行される。第１の画像補正処理は、図２に示すように、４つの角を含む最小の長方形を計算するための、定義された４つの角に基づくホワイトボード領域に対する台形補正である。

【0023】

透視変換は、ユーザー定義の４つの角をソースとして使用し、計算された四角形の４つの角をターゲットとして使用して計算される。透視変換は、４組の対応する点から計算され、関数は式（１）の透視変換の３×３のmap_matrixを計算する。

ここで、以下の式に示すように、srcは定義された４つの角を表し、dstは最小の四角形の４つの角を表す。
dst(i) = (x'_i xy'_i), src(i) = (x_i, y_i), i = 1,2,3,4 …(2)
アルゴリズムは、図５に示すアルゴリズムに従って計算されるmap_matrix(Cij)の係数を取得する。map_matrixの値を取得すると、ホワイトボードのソース画像で計算されたmap_matrix変換の逆変換を使用した透視変換が適用され、台形補正されたホワイトボード画像（ＫＣ画像）を取得する。透視変換では、式３に示す行列を使用してソース画像を変換する。

【0024】

二値マスクは、ノイズ／照明アーティファクトをフィルタにかけて除去するために作成され、その閾値は近傍領域の平均である。ＫＣ画像は、グレースケールに変換され、適応閾値演算をグレースケール画像に適用することにより二値マスクが作成される。適応閾値演算とは、より小さい領域に対して閾値を計算する方法であり、そのため、異なる領域に対する閾値は異なることがある）。一実施形態では、閾値は、近傍領域の平均であり、閾値より大きい画素値は１に設定され、閾値より小さい画素値は０に設定される（例えば、近傍領域はブロック／近傍サイズが２１）。作成されたマスクは、マスクのキューに追加される。

【0025】

マスクのキューにあるマスクを使用して、更新された二値マスクが生成され、これにより、更新された二値マスク内の各画素の画素値が判定され、キュー内のすべてのマスク内のその画素の値の合計が、キュー内のマスクの数を２で割った値以上である場合、更新されたマスクのその画素値が１（有効）に設定される。それ以外の場合、画素値は０に設定される。更新されたマスク内の各ピクセルに対して実行される計算は、式４を使用して実行される。

ここで、Ｎはキュー内のマスクの数、p^q _xyはマスクｑの各画素(x,y)の値であって０または１、m_xyは最終マスクの画素(x,y)の値である。

【0026】

次に、色の彩度／明度を多少調整するために、彩度と明度がユーザー設定に基づいて調整される。この調整は、更新された二値マスクを適用しながら、ＫＣ画像の各画素に対して実行される。これを行うために、彩度と明度の値を調整するために、画像の色空間をＲＧＢからＨＳＶに変換する。変換後、ＨＳＶ画像のすべての画素について、画素のマスク値が１（有効）の場合、画素Ｓの値は構成された彩度設定を使用して更新され、画素Ｖの値は構成された明度設定を使用して更新される。一方、画素のマスク値が０（無効）の場合、画素は白のＨＳＶ値（０，０，２５５）に設定される。ＨＳＶ画像の各画素の設定が適用されると、ＨＳＶ画像は更新されたＲＧＢ画像としてＲＧＢ色空間に戻される。ＫＣ画像（背景）を使用して、更新されたＲＧＢ画像にアルファ・ブレンドが適用される。ブレンド処理のアルファ値は設定可能であり、フィルタ処理されていないフレームをフィルタ処理されたフレームにどの程度強くマージするかを制御できる、という利点を有する。例えば、アルファ値が０に設定されている場合、フィルタ処理されたフレームのみが表示され、アルファ値が１に設定されている場合、フィルタ処理されていないフレームのみが表示される。これにより、ユーザーは最終的に実行されるブレンド処理を設定することができる。式５に示す計算は、更新されたＲＧＢ画像（p^u）とＫＣ画像（p^kc）を使用して結果画像（p^r）の各画素に適用され、結果として得られる更新されたＲＧＢ画像を得る。

【0027】

図３Ａ～図３Ｇは、上述のアルゴリズムの例示的なフロー図であり、図１の特定の操作を実行する構成に関して説明する。ここで示す説明および例は、上述のアルゴリズムを実装する。３０２では、制御装置１１０は、視野１０４を表す画像をキャプチャする撮像デバイス１０２にビデオ画像データをキャプチャさせる。視野１０４全体がキャプチャされ、参加者エリア１０５及び書き込み面１０６が含まれるが、図３Ａの画像３０２は、書き込み面１０６を囲む領域を示す。ここで示すように、書き込み面は、ユーザが事前に選択した４つの点に基づいて識別され、カメラの位置に基づいている。したがって、書き込み面領域は、画像キャプチャデバイスが会議室１０１の視野１０４をキャプチャしているすべての場合において事前に定義され、設定される。他の実施形態では、書き込み面の検出処理を実行することができ、それによって撮像デバイス１０２を会議室内のさまざまな位置に移動させることができ、書き込み面の領域は、以下に説明するように検出され、処理され得る。

【0028】

３０３において、画像３０２から書き込み面の領域が抽出される。抽出された書き込み面の領域は、画像３０２で識別された点を使用して定義され、点が書き込み面の各角に配置される。抽出された書き込み面の領域に対して第１の画像補正処理３０３が実行され、図３Ｂの第１の補正画像３０４が生成される。一実施形態では、第１の補正処理は、明瞭な長方形の画像を生成する台形補正処理である。図３Ｂの第１の補正画像３０４はメモリに格納され、次のように使用される。第１の補正画像３０４のコピーは、３０５において適応しきい値化技術を適用してマスク処理され、図３Ｃに示す 二値マスク画像３０６が生成される。ここで説明する画像処理はビデオデータを使用して実行されるため、時間が経過するにつれて追加の画像フレームが提供され、各フレーム内の抽出された各書き込み面の領域に対してマスク処理が実行される。受信した画像フレームごとに、新しいマスク３０６が生成され、生成された一連のマスクが図３Ｄの３０７のマスク・キューに追加される。マスク・キューは、ビデオフレームレートに基づく、個々の時点における一連の二値マスクを表す。マスク・キューは、所定の数のマスクが格納されるように事前に設定されており、これらの二値マスクを平均化して、図３Ｄの３０８の平均マスク画像を生成することができる。図３Ｄの３０９では、平均マスク画像が、図３Ａに示す、画像のコピーがメモリに残されている最初の補正３０４と共にフィルタ処理される。３０９のフィルタ処理によって、図３Ｅの第２の補正画像３１０が生成されるが、これは、第１の補正画像と、マスク・キューから取得した平均マスク画像とを組み合わせることに基づいている。

【0029】

図３Ｅの第２の補正画像３１０は、３１１で第２の画像補正処理を受けて、第２の補正画像３１０の色及び明度が補正される。第２の画像補正処理３１１の結果、図３Ｆの第３の補正画像３１２が生成されるが、この画像３１２は、台形補正され、元の画像３０２から光のグレアや他のアーティファクトを除去するためにフィルタ処理されている。第３の補正画像は、図３Ｇの３１３に提供され、第３の補正画像３１２と、メモリに格納されている図３Ｂの第１の補正画像３０４のコピーとを使用してアルファブレンド処理が実行される。アルファブレンド処理３１３により、最終的な補正画像３１４が生成される。最終的な補正画像３１４は、制御装置１１０によって取得され、ネットワーク１２０を介して送信され、リモートクライアントコンピューティングデバイス１３０で受信および表示される。

【0030】

動作中、上記アルゴリズムは、室内ビデオストリームを表す新しいビデオ画像データが制御装置１１０によって受信されるのに従って、リアルタイムで実行される。オンライン会議中、室内ビデオストリームは、第１の通信経路（例えば、チャネル）を介して第１のフォーマットで送信され、リモートコンピューティングデバイスのディスプレイに表示される。書き込み面を表す抽出された領域は、同じ第１のフォーマットでは送信されない。上記アルゴリズムがビデオフレームからデータを抽出すると、強調された書き込み面の領域は第２のフォーマットで送信される。一例では、第２のフォーマットは、送信された強調された書き込み面領域がビデオのように見えるが、実際には、第２の異なる通信経路（チャネル）を介してリモートクライアントデバイスに送信される、連続的に処理された一連の静止画像である、特定のレートで送信される静止画像データである。これにより、制御装置は、画像キャプチャデバイスによってキャプチャされたライブビデオデータと、本明細書で説明されているアルゴリズムに従って生成された、ビデオデータの拡張領域の両方を同時に表示することができる、という利点を供する。このアルゴリズムは、台形補正された画像（過去のマスクの数に基づく）に基づいて二値マスクを作成してノイズをフィルタ除去し、元の画像にマスクを適用した後、彩度と明度の強調を実行し、台形補正された画像と強調された画像とをアルファブレンドして最終結果を生成する。

【0031】

図４は、上記開示を実施する際に使用可能な制御装置１１０を表すハードウェアを示す。この装置は、ＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３、入力部、外部インタフェース、および出力部を含む。ＣＰＵ４０１は、コンピュータプログラム（ＣＰＵ４０１によって実行可能な１つ以上の一連の格納された命令）及びＲＡＭ４０２またはＲＯＭ４０３に格納されたデータを使用して、装置を制御する。ここで、この装置は、ＣＰＵ４０１とは異なる１つ以上の専用ハードウェアまたはグラフィックス処理装置（ＧＰＵ）を含み、ＧＰＵまたは専用ハードウェアは、ＣＰＵ４０１による処理の一部を実行することができる。専用ハードウェアの例としては、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）等がある。ＲＡＭ４０２は、ＲＯＭ４０３から読み出されたコンピュータプログラムやデータ、外部インターフェースを介して外部から供給されたデータ等を一時的に記憶する。ＲＯＭ４０３は、更新の必要がなく、装置の基本動作を制御可能なコンピュータプログラムやデータを格納する。入力部は、例えば、ジョイスティック、ジョグダイヤル、タッチパネル、キーボード、マウス等で構成され、ユーザの操作を受け付け、ＣＰＵ４０１に各種の指示を入力する。外部インターフェースは、ＰＣ、スマートフォン、カメラ等の外部機器と通信する。外部機器との通信は、ローカルエリアネットワーク（ＬＡＮ）ケーブル、シリアルデジタルインターフェース（ＳＤＩ）ケーブル、ＷＩＦＩ接続等を用いた有線で行ってもよいし、アンテナを介して無線で行ってもよい。出力部は、例えば、ディスプレイ等の表示部とスピーカー等の音声出力部で構成され、ユーザが必要に応じて装置を操作できるように、グラフィカルユーザインターフェース（ＧＵＩ）を表示したり、ガイド音を出力したりする。

【0032】

本発明の範囲には、１つ以上のプロセッサによって実行されると、当該１つ以上のプロセッサに本明細書に記載の本発明の１つ以上の実施形態を実行させる命令を格納する非一時的なコンピュータ読み取り可能な媒体が含まれる。コンピュータ読み取り可能な媒体には、例えば、ハードディスク、フロッピーディスク、光磁気ディスク（ＭＯ）、コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、コンパクトディスク記録可能（ＣＤ－Ｒ）、ＣＤ－リライタブル（ＣＤ－ＲＷ）、デジタル多用途ディスクＲＯＭ（ＤＶＤ－ＲＯＭ）、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性メモリカード、およびＲＯＭが含まれる。コンピュータ実行可能命令は、ネットワークを介してダウンロードされることによってコンピュータ読み取り可能な記憶媒体に供給することもできる。

【0033】

本発明の１つ以上の側面を説明する本開示の文脈（特に以下の請求項の文脈）における用語「ａ」及び「ａｎ」及び「ｔｈｅ」ならびに類似の指示対象の使用は、本明細書で特に断りのない限り、または文脈によって明らかに矛盾しない限り、単数形および複数形の両方を含むものと解釈されるべきものである。用語「含む」、「有する」、「含む」及び「含有する」は、特に断りのない限り、制限のない用語（つまり、「含むが、これらに限定されない」を意味する。）として解釈されるべきものである。本明細書における値の範囲の記載は、本明細書で特に断りのない限り、その範囲内にある各個別の値を個別に参照するための簡略な方法としてのみ意図されており、各個別の値は、本明細書で個別に記載されたかのように明細書に組み込まれる。本明細書で説明されるすべての方法は、本明細書で特に断りのない限り、または文脈によって明らかに矛盾しない限り、任意の適切な順序で実行することができる。本明細書で提供されるすべての例または例示的な言葉（例えば「等」）の使用は、本明細書で開示された主題をより明確に説明することのみを意図しており、特に請求されない限り、開示から得られる発明の範囲を制限するものではない。明細書のいかなる言葉も、請求されていない要素を必須であると示すものとして解釈されるべきではない。

【0034】

本開示は、様々な実施形態の形で組み込むことができることは理解されるであろうが、本明細書ではそのうちのいくつかのみを開示している。これらの実施形態のバリエーションは、前述の説明を読めば当業者には明らかであろう。したがって、本開示およびそこから派生するあらゆる発明には、適用法で認められる限り、本明細書に添付の特許請求の範囲に記載された主題のすべての変形例および同等物が含まれる。さらに、本明細書で特に明記されていない限り、または文脈によって明らかに矛盾しない限り、上記の要素のあらゆる可能なバリエーションのあらゆる組み合わせが本開示に含まれる。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図3F】

【図3G】

【図4】

【図5】