知財求人 - 知財ポータルサイト「IP Force」
▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-04
(45)【発行日】2023-08-15
(54)【発明の名称】物理的な筆記面を含むビデオの処理
(51)【国際特許分類】
H04N 23/60 20230101AFI20230807BHJP
H04N 5/222 20060101ALI20230807BHJP
H04N 23/66 20230101ALI20230807BHJP
H04N 7/15 20060101ALI20230807BHJP
【ＦＩ】
H04N23/60 500
H04N5/222 300
H04N23/60 300
H04N23/66
H04N7/15
【請求項の数】
14
(21)【出願番号】P 2020514261
(86)(22)【出願日】2018-09-27
(65)【公表番号】
(43)【公表日】2020-12-03
(86)【国際出願番号】 US2018053097
(87)【国際公開番号】W WO2019067704
(87)【国際公開日】2019-04-04
【審査請求日】2021-07-28
(31)【優先権主張番号】17193442.5
(32)【優先日】2017-09-27
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】62/563,719
(32)【優先日】2017-09-27
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ポート，ティモシー アラン
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】特表２０１１－５２４５７２（ＪＰ，Ａ）
【文献】特開２００７－３３４８７６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６０
Ｈ０４Ｎ ５／２２２
Ｈ０４Ｎ ２３／６６
Ｈ０４Ｎ ７／１５
(57)【特許請求の範囲】
【請求項1】
リモートのビデオ会議クライアントおよびリモートのビデオ会議サーバーの少なくとも一つへのその後の伝送のために、筆記面を捕捉するカメラからのビデオ・フレームのシーケンスを処理する方法であって：前記カメラからのビデオ・フレームの前記シーケンスを受領する段階と；
前記ビデオ・フレーム内の関心画像領域を選択する段階であって、前記ビデオ・フレームのサブ領域および前記ビデオ・フレームの全領域の一つを選択することを含む、段階と；
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
前記関心画像領域に適応的な閾値処理を適用することによってペン・ストローク・マスクを生成し；
前記ペン・ストローク・マスクを使用して出力ビデオ・フレームを生成する段階とを含み、
前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が：
前記現在のビデオ・フレームの前記関心画像領域に前記ペン・ストローク・マスクを適用して、生成してペン・ストローク画像を生成し；
前記ペン・ストローク・マスクを反転させることによって反転マスクを生成し；
前記現在のビデオ・フレームの前記関心画像領域に前記反転マスクを適用することによって背景画像を生成し；
それぞれ前記ペン・ストローク画像または前記ペン・ストローク画像を向上させることによって得られた向上されたペン・ストローク画像に前記背景画像を加えて、組み合わされた画像を得ることを含む、
方法。
【請求項2】
前記処理がリアルタイムで実行される、請求項１に記載の方法。
【請求項3】
前記関心画像領域は、前記筆記面を含む、請求項１または２に記載の方法。
【請求項4】
請求項１ないし３のうちいずれか一項に記載の方法であって、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて、前記関心画像領域を長方形領域に変換することをさらに含む、方法。
【請求項5】
ビデオ・フレームの前記シーケンスが、魚眼レンズを備えたカメラから受領され、当該方法は、前記ビデオ・フレームの歪みを除去することをさらに含む、請求項１～４のうちいずれか一項に記載の方法。
【請求項6】
請求項１ないし５のうちいずれか一項に記載の方法であって、ビデオ・フレームの前記シーケンスは、HDRカメラから受領され、当該方法は、前記ビデオ・フレームをトーンマッピングすることをさらに含む、方法。
【請求項7】
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：前記現在のビデオ・フレームの前記関心画像領域に適応的な閾値処理を適用することによって中間マスクを生成し；
所定数のビデオ・フレームの中間マスクを時間的平滑化することによって、平滑化されたマスクを決定し；
前記平滑化されたマスクに所定の閾値を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
請求項１ないし６のうちいずれか一項に記載の方法。
【請求項8】
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：所定数のビデオ・フレームの前記関心画像領域の時間的平滑化によって、平滑化された画像を決定し；
前記平滑化された画像に適応的な閾値処理を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
請求項１ないし７のうちいずれか一項に記載の方法。
【請求項9】
前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が、前記現在のビデオ・フレームの少なくとも前記関心画像領域に対して画像向上プロセスを適用して、向上された画像を生成し、前記向上された画像に前記ペン・ストローク・マスクを適用して、向上されたペン・ストローク画像を生成することを含む、請求項１ないし８のうちいずれか一項に記載の方法。
【請求項10】
前記出力ビデオ・フレームを生成する段階が、前記ペン・ストローク画像に画像向上プロセスを適用して、前記向上されたペン・ストローク画像を生成することを含む、請求項１ないし９のうちいずれか一項に記載の方法。
【請求項11】
前記出力ビデオ・フレームを生成する段階が：少なくとも：A）前記ペン・ストローク画像または前記向上されたペン・ストローク画像と； B）前記現在のビデオ・フレームの前記関心画像領域または前記平滑化されたマスクまたは前記ペン・ストローク・マスクとの重み付けされた和を計算することを含む、請求項７に記載の方法。
【請求項12】
前記出力ビデオ・フレームを生成する段階が：少なくとも:A）前記組み合わされた画像と；B）前記現在のビデオ・フレームの前記関心画像領域または前記平滑化されたマスクとの重み付けされた和を計算することを含む、請求項７に記載の方法。
【請求項13】
請求項１ないし１２のうちいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令が記憶されている非一時的なコンピュータ可読記憶媒体。
【請求項14】
請求項１ないし１２のうちいずれか一項に記載の方法を実行するように構成されたデータ処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概括的には、ビデオ会議に関する。より詳細には、本開示の実施形態は、ビデオ会議中に、ホワイトボード、黒板またはフリップチャートなどの物理的な筆記面（writing surface）に書かれたコンテンツを共有することに関する。
【背景技術】
【0002】
ビデオ会議は、異なる場所にいる人々が仮想的に会うことを可能にする電気通信技術であり、ビデオ会議の参加者が互いを見たり聞いたりすることを可能にするオーディオ・データおよびビデオ・データを通信することによる。典型的なビデオ会議は、データ通信ネットワークを介して互いに通信するいくつかのエンドポイントを含む。各エンドポイントは、そのエンドポイントにおける参加者のビデオを取り込むために、一つまたは複数のカメラに接続される。各エンドポイントは、そのビデオを他のエンドポイントに送信する。エンドポイントは、他のエンドポイントから受信したビデオを表示するディスプレイにも接続される。各エンドポイントは、他のエンドポイントに送信されるオーディオを捕捉するための少なくとも一つのマイクロフォンおよび他のエンドポイントから受信したオーディオを再生するための少なくとも一つのスピーカーにも接続される。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本開示の実施形態は、物理的な筆記面に書かれたコンテンツを共有するためのビデオ会議方法に関する。
【課題を解決するための手段】
【0004】
筆記面を捕捉するカメラからのビデオ・フレームのシーケンスを処理する方法のある実施形態は：カメラからビデオ・フレームのシーケンスを受領するステップと；ビデオ・フレーム内の関心画像領域を選択するステップと；ビデオ・フレームのシーケンスのそれぞれの現在ビデオ・フレームについて：前記関心画像領域に適応的な閾値を適用することによってペン・ストローク・マスクを生成し；前記ペン・ストローク・マスクを用いて出力ビデオ・フレームを生成することを含む、ステップとを含む。ビデオ・フレーム内の関心画像領域を選択することは、ビデオ・フレームのサブ領域およびビデオ・フレームの領域全体のうちの一つを選択することを含んでいてもよい。
【0005】
ビデオ会議システムのための制御システムのある実施形態は、セットアップ・フェーズの間に、カメラを用いて少なくとも一つの画像を捕捉するステップと；前記少なくとも一つの画像をディスプレイ上にレンダリングするステップと；前記少なくとも一つの画像の領域のユーザー選択を電話を介して取得するステップであって、該領域は、前記カメラの視野内の物理的な筆記面の画像を含む、ステップと；物理的な筆記面の位置をメモリに保存するステップであって、保存される物理的な筆記面の位置は前記領域に対応する、ステップとを実行するように構成される。
【図面の簡単な説明】
【0006】
本発明の実施形態は、添付の図面において、限定としてではなく例として示されており、ここで、同様の参照符号は、同様の要素を指す。
【図1A】ビデオ会議システムの第1の例の概略図を示す。
【図1B】ビデオ会議システムの第2の例の概略図を示す。
【図2A】物理的な筆記面のビデオにおけるペン・ストロークの判読性を向上させるための方法の第1の例の流れ図を示す。
【図3】AおよびBは、それぞれ、適応的な閾値処理を用いてペン・ストローク・マスクを生成することの例の流れ図を示す。
【図4A】ペン・ストローク・マスクを用いて出力ビデオ・フレームを生成する例の流れ図を示している。
【図4B】ペン・ストローク・マスクを用いて出力ビデオ・フレームを生成する例の流れ図を示している。
【図4C】ペン・ストローク・マスクを用いて出力ビデオ・フレームを生成する例の流れ図を示している。
【図5】物理的な筆記面のビデオにおけるペン・ストロークの判読性を向上させるための方法の第2の例の流れ図を示す。
【図6】物理的な筆記面のビデオにおけるペン・ストロークの判読性を向上させるための方法の第3の例の流れ図を示す。
【図7】ビデオ会議システムの第3の例の概略図を示す。
【図8】第3の例のビデオ会議システムの会議用電話の概略図を示しており、会議用電話のタッチスクリーンを強調している。
【図9】セットアップ段階において第3の例のビデオ会議システムを構成する方法の一例の流れ図を示す。
【図11】第3の例のビデオ会議システムを用いて、ビデオ会議中にホワイトボードなどの筆記面の画像を共有するための方法の一例の流れ図を示す。
【0007】
諸図面を通して、文脈がそうでないことを要求するのでない限り、同様の参照番号は同様の部分を指す。
【発明を実施するための形態】
【0008】
本発明の十全な理解を与えるために、下記では多数の具体的な詳細が記載される。しかしながら、本発明は、これらの具体的な詳細なしに実施されてもよい。さらに、周知の部分は、それほど網羅的な詳細をもって記載されていないことがある。図面は概略的であり、本開示を理解するのに関連する部分を含んでいるが、他の部分は、省略され、あるいは単に示唆されるだけのことがありうる。
【0009】
ホワイトボードや他の型の物理的な筆記面は、情報を提示するために、会議において一般的に使用されるツールである。これらの従来の筆記面は、すべての参加者が同じ部屋にいる会合には好適だが、ビデオ会議中の使用にはそれほど実用的ではない。ユーザーは、ビデオ会議システムのカメラを筆記面にパンさせて、そこに書かれたコンテンツを共有することができるが、これは、カメラがもはやその部屋にいる参加者のビデオを捕捉していないことを意味する。さらに、ホワイトボードに書かれたコンテンツは、このように取り込んでしまうと読みにくくなる可能性がある。
【0010】
これらの従来の筆記面の代わりとして、参加者がタッチ感応性ディスプレイのような電子的な表面上に書いたり、描画したりできるようにする特化されたハードウェアを使用することができる。この型の装置は、時に「デジタル黒板」または「仮想ホワイトボード」と称される。電子的な表面上に書かれた入力は、デジタル信号としてビデオ会議の他のエンドポイントに送信される。これらの装置の欠点は、購入の点でもメンテナンスの点でも比較的高価であることである。さらに、これらの装置は、従来のローテクな筆記面ほど操作が直感的でない。
【0011】
本開示の実施形態は、物理的な筆記面に書かれたコンテンツを共有することができる改良されたビデオ会議システムを提供する。
【0012】
図1Aでは、例示的なビデオ会議システム100Aが示されている。システムは、ビデオ会議エンドポイント102を備える。たとえば、エンドポイント102は、ビデオ会議クライアントを含んでいてもよい。エンドポイント102は、たとえば他のビデオ会議クライアントとの直接通信のために他のビデオ会議エンドポイントと、あるいはそれに接続された2つ以上のビデオ会議クライアントの間の通信を管理するビデオ会議サーバーと通信するためのネットワーク・インターフェース104を有する。ネットワーク・インターフェース104は、データ通信ネットワーク106を介して通信する。データ通信ネットワーク106は、たとえばIPネットワークのようなパケット・ネットワークである。たとえば、データ通信ネットワークは、ローカルエリアネットワーク（LAN）または広域ネットワーク（WAN）である。図示した例では、ネットワーク106はインターネットである。
【0013】
エンドポイント102は、ビデオ信号の入出力のための複数のビデオ・インターフェースを含むビデオ入出力（I/O）コンポーネント108をさらに含む。I/Oコンポーネント108は、入力ビデオ信号を受信するためにコンピュータを接続するためのディスプレイ入力コネクタ110を有する。図示した例では、入力コネクタ110は、HDMI（登録商標）入力コネクタである。
【0014】
I/Oコンポーネント108は、カメラ信号を受信するための入力コネクタ112と、ディスプレイ出力コネクタ114とをさらに備える。入力コネクタ112は、ビデオ会議の参加者のビデオを捕捉するために、ビデオ会議システム100Aのカメラ116に接続される。図示した例では、カメラ116はケーブルを介して入力コネクタ112に接続されている。代替的な例では、カメラは、無線接続を介して入力コネクタ112に接続される。カメラ116によって捕捉されたビデオはエンドポイント102に送信され、エンドポイント102は、ネットワーク・インターフェース104を使用して、ビデオをネットワーク106を介してビデオ会議の他のエンドポイントに送信する。
【0015】
I/Oコンポーネント108の出力コネクタ114は、ビデオ会議システムのディスプレイ118に接続される。図示した例では、出力コネクタ114はHDMI出力コネクタであり、HDMIケーブルを使用してディスプレイ118のHDMI入力に接続されている。エンドポイント102は、ネットワーク・インターフェース104を使用して、ネットワーク106を通じて他の参加者によって送信された一つまたは複数のビデオを受信し、対応するビデオ信号をディスプレイ118に出力するように構成される。
【0016】
システム100は、コンピューティング装置120をさらに備える。コンピューティング装置120は、ディスプレイ上の出力用の出力ビデオ信号を生成するディスプレイ・コントローラ122と、プロセッサ123とを含む。図示した例では、コンピューティング装置のディスプレイ・コントローラ122およびプロセッサ123は、データを交換するために互いに接続された2つ以上の別個のコンポーネントとして具体化されている。たとえば、プロセッサ123が中央処理ユニット（CPU）を含む一方、ディスプレイ・コントローラ122はグラフィックス処理ユニット（GPU）の一部として実装されてもよい。あるいはまた、ディスプレイ・コントローラ122およびプロセッサ123は、ディスプレイ・コントローラ122およびプロセッサ123の両方の機能を実行するように構成された単一の処理コンポーネントとして具体化されてもよい。
【0017】
コンピューティング装置120はまた、カメラ信号を受領するための入力コネクタ126と、ディスプレイ・コントローラ122によって生成されたビデオ信号の出力のためのディスプレイ出力コネクタ128とを有するI/Oコンポーネント124を含む。入力コネクタ126は、物理的な筆記面132のビデオを捕捉するように構成されたカメラ130に接続されている。図示した例では、物理的な筆記面132はホワイトボードであるが、システム100は、フリップチャートや黒板のような他の筆記面のビデオを捕捉するためにも使用できる。図示した例では、カメラ130は、ケーブルを使用して入力コネクタ126に接続される。たとえば、入力コネクタ126はUSBケーブルを介してカメラ130を接続するためのUSBコネクタである。あるいはまた、カメラ130は、無線接続を介してコンピューティング装置120に接続してもよい。
【0018】
I/Oコンポーネント124は、入力コネクタ126を介して受領されたビデオ・データの、プロセッサ123への通信のため、および出力コネクタ128を介した、ディスプレイ・コントローラ122によって生成された出力ビデオ信号の出力のために、ディスプレイ・コントローラ122およびプロセッサ123に接続される。プロセッサ122は、カメラ130によって捕捉されたホワイトボード132のビデオ・フレームのシーケンスを受領する。プロセッサは、ビデオ向上プロセスをビデオ・フレームのシーケンスに適用することによって、処理されたビデオ・データを生成するように構成される。ビデオ向上プロセスは、物理的な筆記面上のペン・ストローク、たとえばテキストおよび描画の読みやすさ／判読性を向上させる。
【0019】
コンピューティング装置120の出力コネクタ128は、ビデオ会議エンドポイント102のビデオ入力コネクタ110に接続される。図示した例では、入力コネクタ110および出力コネクタ128は両方ともHDMIコネクタであり、コネクタ110、128はHDMIケーブルを介して接続される。コンピューティング装置120は、プロセッサ123によって生成される、処理されたビデオ・データに対応する向上されたビデオ信号を出力するように構成される。向上されたビデオ信号は、コネクタ110および128を接続するケーブルを介して、コンピューティング装置からビデオ会議エンドポイント102に出力される。
【0020】
図1Aの例では、HDMIビデオ・インターフェースが、コネクタ110、114および128のために使用されている。しかしながら、本開示はHDMIビデオ・インターフェースに限定されず、S-ビデオ、DVI、コンポジットビデオ、コンポーネントビデオ、DisplayPort、FireWire、VGAまたはSCARTのような他の型のビデオ・インターフェースを追加的または代替的に使用することができる。
【0021】
ビデオ会議エンドポイント102のディスプレイ入力コネクタ110は、コンピュータを接続し、コンピュータの画面を共有するために意図されている。たとえば、典型的なビデオ会議シナリオでは、ディスプレイ入力コネクタ110は、プレゼンテーションのスライドをビデオ会議の他の参加者と共有するために、マイクロソフト・パワーポイントのようなプレゼンテーション・ソフトウェアを実行するコンピュータに接続される。このシナリオでは、ビデオ会議は、他の参加者が、カメラ116によって捕捉される、プレゼンテーションしている人物の画像と一緒にスライドを見ることを可能にする。しかしながら、本発明の実施形態では、ディスプレイ入力コネクタ110は、コンピューティング装置120を接続し、それにより、追加的なカメラ130によって捕捉されたビデオの処理されたバージョンに対応するビデオ信号をエンドポイント102に提供することによって、その意図された用途とは異なる仕方で使用される。よって、第1の部屋にいる参加者は、通常のホワイトボード132を使用することができ、それでも、該ホワイトボードに書き込んだコンテンツは、明瞭に判読可能な仕方で、他の参加者と共有される。さらに、エンドポイント102のビデオカメラ116が第1の部屋のビデオを共有するために依然として利用可能であるので、他の参加者は依然として第1の部屋を見ることができる。
【0022】
カメラ130は、任意的に、参加者を捕捉するためのカメラ116と比較して、比較的低品質のカメラであることができる。というのは、ホワイトボード132に書かれたコンテンツの画像は、他の参加者に送信する前に、判読性を高めるように処理されるからである。たとえば、カメラ130の解像度は、カメラ116の解像度よりも低くできる。
【0023】
一例では、コンピューティング装置120はポータブル装置である。たとえば、装置120は、ラップトップ、タブレットまたはスマートフォンであってもよい。カメラ130もポータブル装置であってもよい。一例では、カメラ130は、コンピューティング装置120の統合された部分、たとえばラップトップの統合されたウェブカメラである。別の例では、カメラ130およびコンピューティング装置120は、別個のコンポーネントであり、たとえば、コンピューティング装置は、USBウェブカメラに接続されたラップトップである。
【0024】
コンピューティング装置およびそれに接続されたカメラをポータブル・システムとして提供することによって、それらは複数のビデオ会議室を横断して共有できる。対照的に、デジタル黒板や仮想ホワイトボードのような、書かれたコンテンツを共有するための従来の装置は、典型的には、大型で重い、壁に取り付ける装置であり、この型の設備を複数の部屋の間で移動させることは実際的ではない。
【0025】
一例では、コンピューティング装置120は、スクリーンレス装置である。換言すれば、コンピューティング装置は、ディスプレイをもたない。これは、装置が小さな形状因子を有することができるという利点を有する。小さな形状因子を有するスクリーンレス・コンピューティング装置の例は、Intel Compute Stick、InFocus KangarooおよびRaspberry Piを含む。コンピューティング装置120は、たとえば、シングル・ボード・コンピュータであってもよい。
【0026】
一例では、コンピューティング装置120はドングルである。ドングルは、小さな形状因子を有し、当該ドングルを他の装置に接続するための少なくとも一つのコネクタを有する装置である。今の例では、ドングルは、ビデオ・インターフェース出力コネクタ128を備える。ビデオ・インターフェース出力コネクタ128は、ビデオ会議エンドポイント102の入力コネクタ110に接続可能である。ドングルは、たとえば、電源アダプターを介して幹線電源に接続することによって、またはUSBを通じた電源によって、電力供給されてもよく、ドングルは、利用可能であれば、ビデオ会議エンドポイント102のUSBポートに接続されてもよい。
【0027】
図1Bは、ビデオ処理が、図1Aのように別個のコンピューティング装置120としてではなく、エンドポイント102内に統合される、ビデオ会議システム100Bの一例を示す。カメラ116は、ホワイトボード132および室内の参加者の両方のビデオを捕捉する。図1Aと同様に、カメラ116によって捕捉されたビデオは、I/Oコンポーネント108の入力コネクタ112を介してエンドポイント102に通信される。図1Bでは、カメラ116はケーブルを介してエンドポイント112に接続されている。あるいはまた、カメラ116は、無線接続を介してエンドポイント112に接続されてもよい。
【0028】
図1Bの実施形態では、エンドポイントはプロセッサ134を含む。プロセッサ134は、カメラ116によって捕捉されたビデオを処理するために専用であってもよく、ビデオ会議機能を実装するエンドポイント102の一つまたは複数の他の処理コンポーネントに処理されたビデオを送信する。あるいはまた、エンドポイント102は、ビデオ処理およびビデオ会議能力の両方を実装するプロセッサを備える。プロセッサ134は、たとえば、中央処理装置（CPU）および／またはグラフィックス処理装置（GPU）を含んでいてもよい。
【0029】
ディスプレイ入力コネクタ110は、この実施形態では任意的であり、たとえば、画面共有のためにコンピュータを接続するために使用されてもよい。
【0030】
プロセッサ134は、カメラ116によって捕捉される、ホワイトボード132および室内の参加者のビデオ・フレームのシーケンスを取得する。プロセッサ134は、ビデオ向上プロセスをビデオ・フレームのシーケンスに適用することによって、処理されたビデオ・データを生成するように構成される。ビデオ向上プロセスは、物理的な筆記面上のペン・ストローク、たとえばテキストおよび描画の判読性を向上させる。任意的に、プロセッサ134は、ビデオ向上プロセスを、受領されたビデオ・フレームの、ホワイトボードに対応する画像領域のみに適用し、室内の参加者を捕捉するなど他の画像領域には適用しないように構成される。ホワイトボード132に対応する画像領域に適用されるビデオ向上プロセスは、物理的な筆記面上のペン・ストローク、たとえば、テキストおよび描画の判読性を高める。
【0031】
別の例では、ホワイトボード132を捕捉するための専用カメラ、および参加者を捕捉するための専用カメラと、複数のカメラが設けられる。この例では、ビデオ向上プロセスは、専用のホワイトボード・カメラによって捕捉されたビデオに適用される。
【0032】
ホワイトボードの処理されたビデオおよび参加者のビデオは、エンドポイント102によって、2つの別々のビデオ・ストリームとして、またはホワイトボードの向上されたビデオに対応する一つの画像領域と参加者のビデオに対応する別の画像領域とを有する組み合わされたビデオ・フレームを含む単一のビデオ・ストリームとして、ビデオ会議サーバーおよび／または他のビデオ会議エンドポイントに通信されうる。
【0033】
図2Aは、コンピューティング装置120またはプロセッサ134によって実行される、それぞれカメラ130またはカメラ116によって捕捉されたビデオ・フレームのシーケンスにおけるペン・ストロークの判読性を向上させるビデオ向上プロセス200の例を示す。コンピューティング装置120またはプロセッサ134は、ビデオ・フレームのシーケンスをフレームごとに処理する。プロセスは、202で開始される。ステップ204において、現在のビデオ・フレームが受領される。ステップ205aでは、関心画像領域が選択される。関心画像領域は、ビデオ・フレームの実質的に全画像領域を含んでいてもよい。たとえば、専用カメラ130がホワイトボードの画像を捕捉するとき、ホワイトボードは、ビデオ・フレームの画像領域全体、または少なくとも実質的にビデオ・フレームの画像領域全体にまたがることがある。別の例では、関心画像領域はビデオ・フレームのサブ領域である。たとえば、カメラ116が室内の参加者とホワイトボードの両方を捕捉するとき、関心画像領域は、ビデオ・フレームの、ホワイトボードを含むサブ領域に対応しうる。
【0034】
たとえば、関心画像領域は、ユーザー・インターフェースを介してユーザーによって設定されてもよい。ユーザーは、ビデオ中の、ホワイトボードに対応する領域を指定する。別の例では、ホワイトボードに対応するビデオの領域は、たとえば、オブジェクト認識アルゴリズムを使用して自動的に決定される。関心領域の選択は、カメラ116のようなカメラの操作を含んでいてもよい。たとえば、操作は、ホワイトボードがその視野に入るように、またはその視野内で動かされるように、たとえばホワイトボードがカメラの視野内で実質的に中心になるように、カメラをパンすることを含んでいてもよい。追加的または代替的に、操作は、ホワイトボードがその視野のより多くを占めるようにカメラをズームすることを含んでいてもよい。追加的または代替的に、操作は、ホワイトボードがその視野のより多くを占めるように、および／またはその視野内で実質的に中心になる、または少なくともより中心に近づくように、カメラを物理的に再配置することを含んでいてもよい。
【0035】
ある実施形態では、選択された関心画像領域は、後続のすべてのフレームについて同じである。ひとたびユーザーが関心画像領域を指定するか、またはシステムが関心画像領域を自動的に決定したら、後続のすべてのフレームについて同じ関心画像領域が使用される。たとえば、選択された画像関心領域の境界は、ユーザー入力または自動決定に基づいて決定される。たとえば、ホワイトボードの2つ以上のコーナー、または4つのコーナーすべてのピクセル位置が記憶されて、後続のフレームにおいて、ホワイトボード上の書き込みの筆記の判読性を高めるための向上処理にかけられるべき関心画像領域を同定するために使用される。
【0036】
ステップ206では、ペン・ストローク・マスクが生成される。ステップ208では、ペン・ストローク・マスクに基づいて出力ビデオ・フレームが生成される。ステップ210において、現在のフレームがビデオ・フレームのシーケンスの最終フレームであるかどうかが判定される。シーケンスがさらなるビデオ・フレームを含む場合、ステップ212が実行され、次のビデオが現在のビデオ・フレームとして設定される。換言すれば、ステップ204～210の次の反復は、現在のビデオ・フレームの代わりに次のビデオ・フレームを使用して実行される。ステップ210で最終フレームが検出された場合、プロセスはステップ214で終了する。
【0037】
さらに、この方法は、選択された画像領域、たとえば、ホワイトボードに対応するサブ領域を実質的に長方形の形状に変換する任意的なステップ205b（図2A）を含んでいてもよい。カメラによって捕捉された画像において、遠近感のため、ホワイトボードが歪んで見えることがある。ステップ205bでは、結果として得られる画像においてホワイトボードが長方形の形状を有するように、幾何学的変換が適用される。一般には、幾何学的変換は射影変換である。典型的には、幾何学的変換は透視変換である。一例として、選択された画像領域にアフィン変換が適用されてもよい。
【0038】
本開示の実施形態の利点は、ビデオ・フレーム内のペン・ストロークの判読性を高めることが、ビデオ・フレームのシーケンスのエントロピーを減少させるということである。よって、ビデオ会議エンドポイント102が、サーバーまたは他のエンドポイントへの送信のためにビデオをエンコードするとき、エンコードの圧縮効率は、特にエンコードがフレーム間圧縮を含む場合に、増加する。
【0039】
図2Bは、ステップ204、すなわち、現在のビデオ・フレームを受領するステップの任意的なサブステップを示している。図2Bの実施形態では、カメラは高ダイナミックレンジ（HDR）カメラである。さらに、図2Bの例のカメラは、魚眼レンズまたは異なる型の広角レンズを備えている。ステップ204Aは、広角レンズを装備したHDRカメラから現在のビデオ・フレームを受領することを含む。ステップ204Bにおいて、HDR画像にトーンマッピングが適用される。トーンマッピングは、コンピューティング装置120またはプロセッサ134によって実行されて、トーンマッピングされた画像を得てもよい。別の例では、トーンマッピングは、カメラによって実行される、すなわち、トーンマッピング動作は、カメラによって適用される内部ビデオ処理の一体的な部分であり、トーンマッピングされたビデオを、それぞれ、コンピューティング装置120またはプロセッサ134に直接提供する。この場合、コンピューティング装置120またはプロセッサ134はそれぞれ、ステップ204Bを省略する。
【0040】
HDRビデオ捕捉の利点は、ホワイトボード上の反射による画像の飽和が回避されることである。そのような反射は、たとえば、頭上の照明によって生じることがある。よって、ホワイトボードに書かれた情報の喪失を防止または低減することができる。
【0041】
ステップ204Cでは、現在のビデオ・フレームが歪みを取り除かれる。広角レンズ、たとえば、魚眼レンズを使用することは、大きな画角でビデオ会議室を捕捉し、たとえば、室内の参加者と室内に位置するホワイトボードの両方を捕捉することができるという利点を有する。しかしながら、一部のレンズは画像を歪めることがあり、捕捉された画像において直線がまっすぐに見えないことがある。いくつかのレンズ型のこの歪み効果を取り消すために、ステップ204Cにおいて、歪み除去（de-warping）動作が適用されることができる。歪み除去後は、ホワイトボードのエッジのような直線は、捕捉されたビデオ・フレームでも直線に見える。たとえば、歪み除去動作は、それぞれコンピューティング装置120またはプロセッサ134によって適用されてもよい。別の例として、歪み除去は、カメラの内部ビデオ処理に組み込まれてもよく、その場合、コンピューティング装置120またはプロセッサ134は、ステップ204Cを省略する。
【0042】
任意的に、ステップ204Bおよび204Cの順序は、逆にされてもよく、ステップ204Cは、ステップ204Bの前に実行される。
【0043】
ある実施形態では、トーンマッピングおよび／または歪み除去がフル・ビデオ・フレームに適用され、ホワイトボードに対応しない画像領域もこれらの動作から恩恵を受けることができる。
【0044】
図3のAおよびBは、ステップ206、すなわち、ペン・ストローク・マスクを生成するステップの2つの例を示している。どちらの例も、適応的な閾値処理を適用する。ここで、画像の異なる部分について変化する閾値を適用することによって、前景（たとえば、ホワイトボード上のペン・ストローク）が背景（たとえば、ホワイトボードの書き込まれていない領域）から分離される。画像の一部に適用すべき閾値は、局所的な画像特性に基づいて選択される。
【0045】
一つの型の適応的な閾値処理は、各ピクセルの近傍におけるピクセル値、すなわちピクセル強度または輝度に依存して設定される局所的な閾値を使用する。たとえば、局所的な閾値は、前記近傍におけるピクセルの平均値、ガウス重み付け平均値などの重み付け平均値、および中央値のうちの少なくとも一つに基づくことができる。追加的または代替的に、閾値は、前記近傍におけるピクセルのうちの最大ピクセル値および最小値の平均に基づくことができる。
【0046】
適応的な閾値処理の結果は、バイナリー画像の形式を取ってもよい。バイナリー画像の各ピクセルは、当該ピクセルが前景として分類されるか背景として分類されるかを示すために、最小値VMINおよび最大値VMAXの一つを有する。たとえば、ペン・ストローク・マスクのピクセルは、VMIN＝0またはVMAX＝1のいずれかの値をもつことができる。異なる例では、バイナリー画像の各ピクセルはMビットを用いて格納され、VMIN＝0またはVMAX＝2M－1のいずれかの値を取りうる。
【0047】
図3Aの例では、適応的な閾値処理が現在のビデオ・フレームの選択された関心画像領域に直接適用されて、中間マスクを生成する。ステップ218では、N個の最後のビデオ・フレームの中間マスクの平均が計算される。換言すれば、現在のビデオ・フレームの中間マスクと、N－1個の先行ビデオ・フレームの中間マスクの平均が計算される。たとえば、Nは、4～32フレームの範囲内、たとえば、10、15または20である。一例では、ステップ218で計算された中間マスクは、待ち行列のようなFIFOデータ構造に格納される。次いで、待ち行列内のすべての中間マスクを平均することによって、中間マスクの平均が計算される。
【0048】
中間マスクはバイナリー画像であるため、中間マスクを平均化すると、VMINからVMAXまでの間のピクセル値をもつマスクになる。バイナリー・ペン・ストローク・マスクを得るために、固定閾値が、平均された中間マスクに適用される。閾値は、たとえば、floor[(VMIN＋VMAX)/2]に設定され、ここで、floor(X)は、XをX以下の最も近い整数に丸める。
【0049】
図3のBの例では、適応的な閾値処理は、N個の最後のビデオ・フレームの選択された関心画像領域の平均に適用される。ステップ222では、N個の最後のビデオ・フレームにわたる平均が計算される。換言すれば、現在のビデオ・フレームの関心画像領域と、N－1個の先行ビデオ・フレームの関心画像領域の平均が計算される。たとえば、Nは、4～32フレームの範囲内であり、たとえば、10、15または20である。一例では、各反復において、現在のビデオ・フレームの関心画像領域は、待ち行列のようなFIFOデータ構造に格納される。次いで、待ち行列内のすべての画像を平均することによって、平均化された画像が計算される。
【0050】
ステップ224では、ステップ222で計算された平均画像に対して、適応的な閾値処理が適用される。その結果が、ペン・ストローク・マスクとして使用されるバイナリー画像である。
【0051】
図3のAおよびBの例は、ペン・ストローク・マスクを生成するための平均化演算に言及している。しかしながら、本開示は、平均化演算に限定されない。一般に、中間マスクまたはビデオ・フレームに対して、平均化の代わりに、任意の時間的平滑化フィルタが適用されることができる。例示的な平均化フィルタの代わりに使用できる平滑化フィルタの例は、重み付き移動平均フィルタ、マルチパス（multipass）移動平均フィルタ、指数（exponential）平滑化フィルタ、ガウスフィルタまたはローパスフィルタを含む。
【0052】
第1の例では、時間的平滑化フィルタは、現在のマスクまたはビデオ・フレーム、およびそれぞれ少なくとも一つの先行するマスクまたはビデオ・フレームに適用される。第2の例では、時間的平滑化フィルタは、少なくとも2つの先行するマスク／ビデオ・フレームに適用される。
【0053】
任意的に、この方法は、2つ以上の平滑化モード間のスイッチングを含んでいてもよい。一例では、第1の平滑化モードは、平滑化が適用されない、すなわちステップ218および220またはステップ222を省略する「オフ」モードを含む。こうして、ペン・ストローク・マスクは、現在のビデオ・フレームの関心画像領域に対して適応的な閾値処理を適用することによって生成される。別の例では、第2の平滑化モードは、たとえば上記のように平滑化が適用される「オン」モードを含む。任意的に、「オン」モードで適用される平滑化の量を制御することができる。たとえば、平滑化に使用する先行ビデオ・フレームの数が調整可能であり、平滑化に使用される先行ビデオ・フレームの数を増加させると平滑化の量が増加し、平滑化に使用される先行ビデオ・フレームの数を減少させると、平滑化の量が減少する。平滑化モードの切り換えおよび平滑化量の制御は、ユーザー制御されても、あるいは自動であってもよい。
【0054】
図3のAおよびBに記載される適応的な閾値処理動作は、入力として強度画像を要求することがある。カメラ130から受領されたビデオ・フレームは、典型的には、カラー画像を含む。ビデオ・フレームがカラー画像である場合、カラー画像を強度画像に変換するために、ステップ206の前に前処理ステップを実行されてもよい。次いで、結果として得られる強度画像に対して、図3のAおよびBに記載されるステップが適用される。たとえば、入力画像がRGB画像またはBGR画像である場合、強度画像Yへの変換は、Y＝αR＋βG＋γBを計算することを含んでいてもよく、ここで、α、βおよびγは、重み付け因子であり、たとえばα＝0.299、β＝0.587およびγ＝0.114である。
【0055】
発明者は、背景からペン・ストロークを分離するプロセスは、ホワイトボードの内容が時間とともに急激に変化しないという事実から恩恵を受けられることを認識した。実際、ひとたびホワイトボードの一部にペン・ストロークが作成されたら、ホワイトボードが消去される／フリップチャートが反転されるまで、これらの部分は通常、不変のままである。時間的平滑化および適応的な閾値処理の組み合わせは、ホワイトボード内容のこの特性を利用し、困難な照明条件（弱い照明条件、またはホワイトボードの領域にわたって光の強度が変化する場合など）下および／または低品質のカメラを使用した場合でも、ペン・ストロークを背景から良好に分離する結果となる。
【0056】
図4A、4Bおよび4Cは、ペン・ストローク・マスクを使用して出力ビデオ・フレームを生成する例を示す。図4Aの例のステップ226では、ペン・ストローク・マスクが現在のビデオ・フレームの関心画像領域に適用され、それにより現在のビデオからペン・ストロークを抽出する。ステップ228では、ペン・ストローク画像を使って、出力ビデオ・フレームが生成される。
【0057】
図4Bの例では、ペン・ストローク・マスクを適用する前に、現在のビデオ・フレームの関心画像領域に対して画像向上プロセスが適用される。いくつかの実施形態では、ペン・ストローク・マスクは、もとの入力画像を強度画像に変換することによって生成されてもよいが、画像向上プロセスは、もとの入力画像に適用される。ステップ230では、画像向上プロセスがもとの入力画像の関心画像領域に適用され、結果として向上された画像を与える。ステップ232では、該向上された画像にペン・ストローク・マスクを適用することによって、向上されたペン・ストローク画像が生成される。ステップ234では、向上されたペン・ストローク画像を使って、出力ビデオ・フレームが生成される。
【0058】
図4Cの例では、ペン・ストローク・マスクおよび画像向上プロセスを適用する順序が、図4Bの例に比べて逆になっている。ステップ226では、ペン・ストローク・マスクを現在のビデオ・フレームに適用することによってペン・ストローク画像が生成される。ステップ228Aでは、結果として得られるペン・ストローク画像に対して画像向上プロセスが適用される。ステップ228Bでは、向上されたペン・ストローク画像を使って、出力ビデオ・フレームが生成される。
【0059】
図4Bおよび4Cを参照して説明した画像向上プロセスは、たとえば、色調整プロセスを含んでいてもよい。一例では、色調整プロセスは、色の彩度を変化させる、たとえば増加させる彩度調整プロセスを含む。代替的または追加的に、色調整プロセスは、一つまたは複数の色成分のヒストグラム等化を含む。たとえば、色調整プロセスは：A）現在のビデオ・フレーム／ペン・ストローク画像の色相、彩度、値（HSV）表現の色相および／または彩度および／または値成分；またはB）現在のビデオ・フレーム／ペン・ストローク画像の色相、彩度、値（HSL）表現の色相および／または彩度および／または明度成分のヒストグラム等化を含む。さらなる例では、HSVまたはHSL表現の彩度成分のヒストグラムは等化されるが、他の2つの成分は変更されない。別の例では、ヒストグラム等化はLAB色空間で適用される。
【0060】
出力ビデオ・フレームは、ペン・ストローク画像（図4A）または向上されたペン・ストローク画像（図4B、4C）に基づいて生成される。第1の例では、出力ビデオ・フレームは、（向上された）ペン・ストローク画像をソリッドな背景と組み合わせて、たとえば、白い背景上の（向上された）ペン・ストローク画像を提供することによって生成される。図5は、出力ビデオ・フレームが、（向上された）ペン・ストローク画像を、もとの入力画像から得られた背景と組み合わせることによって生成される第2の例を示している。
【0061】
図5の方法300において、ステップ302、304、305a、305b、306、310、312、314は、それぞれ、図2の例のステップ202、204、205a、205b、206、210、212、214に対応する。方法300は、さらに、ステップ306で得られたペン・ストローク・マスクを反転させるステップ307Aを含む。さらに、ステップ307Bにおいて、反転されたペン・ストローク・マスクがもとの入力ビデオ・フレームの関心画像領域に適用されて、背景画像を得る。ステップ308Aは、ペン・ストローク・マスクに基づいて、ペン・ストローク画像または向上されたペン・ストローク画像を生成する4A～4Cの例を要約する。ステップ308Bでは、（向上された）ペン・ストローク画像が背景画像と組み合わされる。たとえば、（向上された）ペン・ストローク画像が背景画像に加えられてもよい。すなわち、ステップ308Bの結果は、ステップ308Aの（向上された）ペン・ストローク画像とステップ307Bの背景画像の和である。次いで、ステップ308Cにおいて、前記組み合わされた画像に基づいて出力ビデオ・フレームが生成される。
【0062】
選択された関心画像領域がビデオ・フレームのサブ領域に対応する場合、出力ビデオ・フレームは、ステップ308Bの結果（よって、選択されたサブ領域外の領域を省略する）、またはステップ308Bの結果と選択されたサブ領域外の領域との組み合わせのいずれかを含みうる。
【0063】
いくつかの実施形態では、出力ビデオ・フレームは、ステップ308Cから帰結する組み合わされた画像に等しい。他の実施形態では、出力ビデオ・フレームは、該組み合わされた画像に基づいてもよく、さらなる画像処理ステップを伴う。たとえば、図6の方法400は、出力ビデオ・フレームを、前記組み合わされた画像と、図3のAのプロセス206Aのステップ216で得られた平均中間マスクおよび現在のビデオ・フレーム、すなわち、もともと受領されたビデオ・フレームのうちの少なくとも一方との重み付けされた和として生成する。図6において、ステップ402、404、405a、405b、407A、407B、408A、および408Bは、それぞれ図5のステップ302、304、305a、305b、307A、307B、308A、および308Bに対応し、一方、ステップ416、418、および420は、それぞれ図3Aのステップ216、218、および220に対応する。図6の方法400は、ステップ408Cをさらに含み、出力ビデオ・フレームは、A）ステップ408Bの前記組み合わされた画像と、B）ステップ404のもともと受領された現在のビデオ・フレームの関心画像領域および／またはステップ418の平均中間マスクとの重み付けされた和を含む。ステップ404および418をステップ408Cにつなぐ破線は、現在のビデオ・フレームの関心画像領域および平均中間マスクのいずれか一方または両方が、ステップ408Cにおいて使用できることを示す。
【0064】
たとえば、出力ビデオ・フレームFはF＝w1A＋w2B＋w3Cとして得られ、ここで、A、B、Cはそれぞれ前記組み合わされた画像、前記平均中間マスク、もとのビデオ・フレームであり、w1、w2、w3は重み付け因子である。いくつかの実施態様では、w1、w2およびw3はすべて、ゼロでない。他の実施形態では、w2またはw3はゼロに設定される。たとえば、w3がゼロに設定され、w1およびw2は、それぞれ、0.6～0.9および0.2～0.4であってもよい（たとえば、w1＝0.75、w2＝0.35）。別の例では、w2がゼロに設定され、一方、w1およびw3は、それぞれ、0.6～0.9および0.2～0.4であってもよい（たとえば、w1＝0.75およびw3＝0.35）。これらの重み付け因子は、合計すると1になってもよいが、それは必須ではないことを注意しておく。
【0065】
本開示に記載される、物理的な筆記面のビデオにおけるペン・ストロークの判読性を高めるための方法の実施形態は、各ビデオ・フレームの全領域に、またはビデオ・フレームの選択されたサブ領域のみに適用することができる。たとえば、ユーザーは、ホワイトボードに対応するビデオ内の領域を選択することができ、本方法は、選択された領域のみに適用され、ビデオの他の領域は処理されない。たとえば、各ビデオ・フレーム内の領域を選択するために選択マスクが適用され、ペン・ストロークの判読性を高めるためのプロセスが選択された領域に適用され、その結果が、選択された領域の外の入力ビデオ・フレームの領域、すなわち、選択されず、処理されていない領域と組み合わされる。別の例では、ホワイトボードに対応するビデオの領域は、たとえば、オブジェクト認識アルゴリズムを使用して、自動的に選択される。
【0066】
各ビデオ・フレーム内でサブ領域が選択され、上記のようなヒストグラム等化も実行される実施形態では、ヒストグラム等化は、もとの入力画像の全領域に対して、または選択されたサブ領域のみに対して実行されうる。
【0067】
任意的に、筆記面が長方形形状として見えるようにするよう、たとえばステップ205b、305bおよび／または405bにおいて、幾何学的変換が、前処理または後処理ステップとして適用される。幾何学的変換は、各ビデオ・フレームの全領域に適用されてもよく、または選択された領域にのみ適用されてもよい。特に、物理的な筆記面に対応するビデオ・フレームの選択された関心領域は、幾何学的変換を用いて前処理されてもよく、次いで、本明細書に記載される方法のいずれかを用いて、判読性が増加されてもよい。出力ビデオ・フレームは、たとえば、ビデオ・フレームの選択された領域の、幾何学的変換され、向上されたバージョンであってもよい。さらなる例では、幾何学的変換され、向上された選択領域が、もとのフレームと一緒に表示され、たとえばもとのフレームに重ね合わせられ、あるいはもとのフレームに隣接して表示される。
【0068】
本開示に記載されるような判読性を高める方法は、任意的に、リアルタイムで実行されてもよい。
【0069】
本明細書に記載の実施形態は、ハードウェア、ソフトウェア、ファームウェア、およびそれらの組み合わせで実装されうる。たとえば、実施形態は、コンピュータ・システムのような電子回路およびコンポーネントを含むシステム上で実装されてもよい。コンピュータ・システムの例は、デスクトップ・コンピュータ・システム、ポータブル・コンピュータ・システム（たとえば、ラップトップ）、ハンドヘルド装置（たとえば、スマートフォンまたはタブレット）、およびネットワーキング装置を含む。実施形態を実装するためのシステムは、たとえば、集積回路（IC）、フィールドプログラマブルゲートアレイ（FPGA）のようなプログラマブル論理デバイス、デジタル信号プロセッサ（DSP）、特定用途向けIC（ASIC）、中央処理装置（CPU）、およびグラフィックス処理装置（GPU）のうちの少なくとも一つを含んでいてもよい。
【0070】
本明細書に記載する実施形態のある種の実装は、データ処理システムによって実行されると、該データ処理システムに本明細書に記載される実施形態のいずれかの方法を実行させる命令を含むコンピュータ・プログラム製品を含んでいてもよい。コンピュータ・プログラム製品は、前記命令を記憶する非一時的媒体、たとえばフロッピーディスケットおよびハードディスクドライブを含む磁気データ記憶媒体、CD-ROMおよびDVDを含む光データ記憶媒体、ならびにROMを含む電子的なデータ記憶媒体、フラッシュRAMまたはUSBフラッシュドライブのようなフラッシュメモリを含む物理的な媒体を含みうる。別の例では、コンピュータ・プログラム製品は、前記命令を含むデータ・ストリーム、または分散コンピューティング・システムに記憶された、たとえば一つまたは複数のデータ・センターに記憶された前記命令を含むファイルを含む。
【0071】
本開示は、上記の実施形態および例に限定されない。添付の特許請求の範囲によって定義される、本開示の範囲から逸脱することなく、多数の修正および変形を行うことができる。
【0072】
一例では、ウェブカメラを備えたラップトップのようなコンピュータがビデオ会議エンドポイントとして構成され、たとえば、該コンピュータは、遠隔ビデオ会議クライアントおよび遠隔ビデオ会議サーバーのうちの少なくとも一つと通信するためのビデオ会議ソフトウェアを実行するように構成される。該コンピュータはさらに、筆記面のビデオにおけるペン・ストロークの判読性を高めるために、本開示の方法のいずれかを実行し、結果として得られる出力ビデオ・フレームを、前記ビデオ会議ソフトウェアを使用して、前記遠隔ビデオ会議クライアントおよび遠隔ビデオ会議サーバーのうちの少なくとも一つに通信するように構成される。
【0073】
図7では、別の例示的なビデオ会議システム700が示されている。
【0074】
システム700は、ビデオ会議クライアントを含みうるビデオ会議ハブ710を備える。ハブ710は、たとえば他のビデオ会議クライアントとの直接通信のために他のビデオ会議エンドポイントと、または、それに接続された2つ以上のビデオ会議クライアント間の通信を管理するビデオ会議サーバーと通信するためのネットワーク・インターフェースを有する。ネットワーク・インターフェースは、データ通信ネットワーク106を介して通信する。
【0075】
システム700は、さらに、画像を受領するためにハブ710に接続されている、テレビジョンなどだがそれに限定されないディスプレイ702を含む。
【0076】
システム700は、その視野706内にホワイトボード132（または他の物理的な筆記面）を有するカメラ704をさらに備える。カメラ704は、ディスプレイに、たとえばディスプレイの上に固定されてもよい。カメラ704は、いかなる種類の電動式パンニングもできなくてもよく、その視野706は一般に固定されている。それは、光学式および／またはデジタル式のズームができてもよい。視野内でのホワイトボード132の位置に依存して、カメラ704によって捕捉されるその画像は、長方形または非長方形（少なくとも遠近感のため）であってもよい。カメラ704は、捕捉された画像をハブ710に送信し、任意的にはハブ710から制御データを受信するため、ハブ710に接続される。カメラ704はまた、捕捉された画像をディスプレイ710に直接送信するために、ディスプレイ710に接続されてもよい。
【0077】
システム700は、電話708をさらに備える。電話708は、ビデオ会議ハブ710に接続され、オーディオ信号および制御データがその間で通信される。接続は、直接接続、たとえば有線イーサネット（登録商標）接続であってもよい。電話708は、データ通信ネットワーク106を介してビデオ会議ハブ710と通信するためのネットワーク・インターフェースを有してもよい。電話708は、ビデオ会議システムの恒久的なコンポーネント、たとえば、会議電話であることが意図された専用装置であってもよい。会議電話は、ローカル電源に、そしておそらくはデータ通信ネットワーク106に配線接続されてもよい。代替的に、電話708は、共有目的装置、たとえば、ビデオ会議システムを構成するために持ち込まれる、および／または、ビデオ会議システムによって提供されるビデオ会議中に使用されるスマートフォンまたはタブレットコンピュータであってもよい。
【0078】
システム700は、ディスプレイ702、カメラ704、電話708、およびハブ710のうちの一つに位置されていてもよく、またはそれらの2つ以上に分散されていてもよい制御システムをさらに備える。典型的には、制御システムは、ほとんどハブ710に位置される。制御システムは、セットアップ・フェーズ中に構成可能であり、その間に、図8および図9を参照してこれから述べるステップのシーケンスを実行する。なお、各ステップは、記述される順序で実行される必要はなく、逐次的に実行される必要はない。
【0079】
ステップのシーケンスは、カメラ704を使用して少なくとも一つの画像を捕捉するステップS902を含む。ビデオ画像のストリームが捕捉されてもよい。
【0080】
ステップのシーケンスは、捕捉された画像（単数または複数）をディスプレイ702上にレンダリングするステップS904を含む。このステップにより、ユーザーは、カメラ704の視野706内にあるものを見ることができる。この時点で、ユーザーは、たとえば、視野706内で家具およびおそらくホワイトボードを再配置してもよい。
【0081】
ステップのシーケンスは、電話を介して前記少なくとも一つの画像のある領域のユーザー選択を取得するステップS906を含み、該領域はホワイトボードの画像を含む。取得するステップS906は、ユーザーが、電話を介して、ディスプレイ上にレンダリングされた前記少なくとも一つの画像における前記領域の表現のサイズ、形状または位置のうちの少なくとも一つを設定することを可能にする方法1000を含む。方法1000は、図10を参照して、以下に記載される。
【0082】
ステップのシーケンスは、選択された領域に対応するホワイトボード位置をメモリに保存するステップS908で終了する。ホワイトボード位置を保存する特定の仕方は本質的ではない。たとえば、保存される位置は、中心点、中心点および最長寸法、長方形の4つのコーナーなどの形であってもよい。
【0083】
図10を参照するに、ユーザーが、前記領域の表現のサイズ、形状、または位置のうちの前記少なくとも一つを設定することを可能にする方法1000が、ここで、図7および8をも参照して記述される一連のステップを含む。なお、各ステップは、記述される順序で実行する必要はなく、逐次的に実行する必要はない。
【0084】
一連のステップは、電話708のタッチスクリーン804上に第1の形状802（図8参照）を表示するステップS1000-2を含み、第1の形状は前記領域の事前選択を表わす。たとえば、示されるように、第1の形状は、長方形であってもよい。
【0085】
一連のステップは、ディスプレイ702（図8参照）上に第2の形状714を表示するステップS1000-4を含み、第2の形状は第1の形状に対応する。典型的には、第1および第2の形状は同じ形状であり、第2の形状は、ディスプレイ702上に描画されるので、より大きい。
【0086】
一連のステップは、ユーザーが、タッチスクリーンを介して、第1の形状802の操作を実行できるようにするステップS1000-6を含む。たとえば、第1の形状は、前記少なくとも一つの画像の異なる領域を占めるように、移動可能、たとえばドラッグ可能であってもよい。第1の形状上のコーナーなどのある種の点は、そのサイズおよび／または形状を変更するためにドラッグ可能であってもよい。
【0087】
一連のステップは、制御システムによって、第1の形状802の操作に応じて第2の形状714を操作するステップS1000-8を含む。したがって、実際には、電話上の第1の形状のユーザー操作が、ディスプレイ上の第2の図形のレンダリングに反映される。
【0088】
このセットアップ・フェーズに続いて、カメラの視野内のホワイトボードの位置が保存され、そのためシステムのユーザーにとって、後述するように、ビデオ会議中にホワイトボードの画像を他のビデオ会議参加者と共有することが簡単になる。制御システムは、ビデオ会議中に、図11および図12を参照してここで記述される一連のステップを実行するように構成される。なお、各ステップは、記述される順序で実行する必要はなく、逐次的に実行する必要はない。
【0089】
一連のステップは、電話を介して、筆記面共有ソフトボタンを提供すること1102を含み、該ボタンの選択は、筆記面共有命令を生成する。これは、電話708のタッチスクリーン804上にレンダリングされたソフトボタンであってもよい。
【0090】
一連のステップは、電話を介して筆記面共有命令を受信することS1104を含む。
【0091】
一連のステップは、保存されたホワイトボード位置にアクセスするステップS1106を含む。このステップは、筆記面共有命令を受け取る前に、たとえばビデオ会議の開始時に、または他の何らかのより早い時に、実行されうる。
【0092】
一連のステップは、ホワイトボードの非長方形画像上に幾何学的変換を実行することS1108を含み、それによりホワイトボードの実質的に長方形の画像が生成される。これは、ホワイトボードの画像が非長方形であるかどうかを判定する前置ステップと、次いでホワイトボードの画像が非長方形である場合にのみ幾何学的変換を実行するステップとを含んでいてもよい。
【0093】
一連のステップは、たとえば図12に示すように、ビデオ・フレームの出力ストリームのビデオ・フレームのピクセルの少なくとも大半を占めるように、ホワイトボードの画像を拡大することS1110を含む。
【0094】
一連のステップは、ホワイトボードの画像に対してホワイトボード向上処理を実行することS1112を含む。
【0095】
図11に示されるステップのうち、少なくとも前記拡大S1110は、筆記面共有命令に応答する。
【0096】
本発明の種々の側面は、以下の箇条書き例示的実施形態（enumerated example embodiment、EEE）から理解されうる。
【0097】
〔EEEA1〕ビデオ会議エンドポイントおよびコンピューティング装置を有するビデオ会議システムであって：
・前記ビデオ会議エンドポイントは：
〇データ通信ネットワークを介して、ビデオ会議サーバーおよびビデオ会議クライアントの少なくとも一つと通信するためのネットワーク・インターフェース；および
〇画面共有のために入力ビデオ信号をコンピュータから受信するために前記コンピュータを前記ビデオ会議エンドポイントに接続するためのビデオ・インターフェース入力コネクタを備える第1のビデオ・インターフェースを有しており、
前記ビデオ会議エンドポイントは、前記ビデオ・インターフェース入力コネクタを介して受信された前記入力ビデオ信号に対応するビデオ・データを、前記ネットワーク・インターフェースを介して前記ビデオ会議サーバーおよび前記ビデオ会議クライアントのうちの前記少なくとも一つに通信するように構成され、
・前記コンピューティング装置は：
〇ディスプレイ上の出力用の出力ビデオ信号を生成するためのディスプレイ・コントローラ；
〇ディスプレイ・コントローラに接続され、前記ディスプレイ・コントローラによって生成された出力ビデオ信号の出力のために適応されたビデオ・インターフェース出力コネクタを備える第2のビデオ・インターフェース；および
〇プロセッサを有しており、
前記コンピューティング装置は、物理的な筆記面のビデオ・フレームのシーケンスを捕捉するためのカメラに接続され、前記プロセッサは、前記カメラによって捕捉された前記物理的な筆記面のビデオ・フレームのシーケンスに、前記物理的な筆記面上のペン・ストロークの判読性を高めるためのビデオ向上処理を適用することによって、処理されたビデオ・データを生成するように構成され、前記コンピューティング装置の前記ビデオ・インターフェース出力コネクタは、前記ビデオ会議エンドポイントの前記ビデオ・インターフェース入力コネクタに接続され、前記コンピューティング装置は、前記ビデオ・インターフェース出力コネクタを介して、前記処理されたビデオ・データに対応する向上されたビデオ信号を出力するように構成される、
システム。
〔EEEA2A〕
前記第1および第2のビデオ・インターフェースは、両方とも、HDMIインターフェース、Sビデオ・インターフェース、DVIインターフェース、コンポジットビデオ・インターフェース、コンポーネントビデオ・インターフェース、ディスプレイポート・インターフェース、FireWireインターフェース、VGAインターフェース、またはSCARTインターフェースである、EEEA1のシステム。
〔EEEA2B〕
前記第1のビデオ・インターフェースが無線インターフェースを含む、または前記第2のビデオ・インターフェースが無線インターフェースを含む、の少なくとも一方である、EEEA1のシステム。
〔EEEA3〕
前記コンピューティング装置がスクリーンレス装置である、EEEA1、A2AまたはA2Bのシステム。
〔EEEA4〕
前記コンピューティング装置がドングルを含む、EEEA3のシステム。
〔EEEA5〕
前記コンピューティング装置の前記プロセッサが：
・ビデオ・フレームの前記シーケンスを前記カメラから受信する段階と；
・ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
〇適応的な閾値処理を適用することによりペン・ストローク・マスクを生成し：
〇ペン・ストローク・マスクを使用して出力ビデオ・フレームを生成する段階とを実行するよう構成されている、
EEEA1～A4のいずれかのシステム。
〔EEEA6〕
前記コンピューティング装置の前記プロセッサが、
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・前記現在のビデオ・フレームに適応的な閾値処理を適用することによって中間マスクを生成し；
・所定数のビデオ・フレームの中間マスクを時間的平滑化することによって、平滑化されたマスクを決定し；
・平滑化されたマスクに所定の閾値を適用して、前記ペン・ストローク・マスクを生成するよう構成される、
EEEA5のシステム。
〔EEEA7〕
前記コンピューティング装置の前記プロセッサが、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・所定数のビデオ・フレームを時間的平滑化することによって、平滑化されたビデオ・フレームを決定し；
・平滑化されたビデオ・フレームに適応的な閾値処理を適用して、前記ペン・ストローク・マスクを生成するよう構成されている、
EEEA5記載のシステム。
〔EEEA8〕
前記コンピューティング装置の前記プロセッサが、ペン・ストローク・マスクを前記現在のビデオ・フレームに適用してペン・ストローク画像を生成し、前記ペン・ストローク画像を用いて前記出力ビデオ・フレームを生成するように構成されることを特徴とするEEEA5、EEEA6またはEEEA7に記載のシステム。
〔EEEA9〕
前記コンピューティング装置のプロセッサが、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて、画像向上プロセスを前記現在のビデオ・フレームに適用して、向上されたビデオ・フレームを生成し、前記ペン・ストローク・マスクを前記向上されたビデオ・フレームに適用して、向上されたペン・ストローク画像を生成するように構成される、EEEA5～A8のいずれかに記載のシステム。
〔EEEA10〕
前記コンピューティング装置の前記プロセッサが、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて、画像向上プロセスを前記ペン・ストローク画像に適用して、向上されたペン・ストローク画像を生成するように構成される、EEEA8に記載のシステム。
〔EEEA11〕
前記コンピューティング装置の前記プロセッサが、前記画像向上プロセスとして色調整プロセスを適用するように構成され、任意的に、該色調整プロセスとして彩度調整プロセスを適用するように構成される、EEEA9またはEEEA10に記載のシステム。
〔EEEA12〕
前記コンピューティング装置の前記プロセッサが、それぞれ現在のビデオ・フレームまたはペン・ストローク画像の一つまたは複数の色成分のヒストグラム等化を実行するように構成される、EEEA11に記載のシステム。
〔EEEA13〕
前記コンピューティング装置の前記プロセッサが、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・前記ペン・ストローク・マスクを反転させることによって反転マスクを生成し；
・反転されたマスクを現在のビデオ・フレームに適用することによって背景画像を生成し；
・背景画像をそれぞれ前記ペン・ストローク画像または前記向上されたペン・ストローク画像に加えるよう構成される、
EEEA8～EEEA12のうちいずれかに記載のシステム。
〔EEEA14〕
前記コンピューティング装置の前記プロセッサが、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて、前記出力ビデオ・フレームを、少なくとも：
・前記向上されたペン・ストローク画像または前記ペン・ストローク画像と；
・前記現在のビデオ・フレーム、または前記平滑化されたマスク、または前記ペン・ストローク・マスク
の重み付けされた和として生成するよう構成される、EEEA13に記載のシステム。
〔EEEA15〕
コンピュータ画面を共有するためのビデオ・インターフェース入力コネクタを有するビデオ会議エンドポイントを用いて、物理的な筆記面上に書かれたコンテンツを共有するための方法であって、当該方法は：
・物理的な筆記面のビデオ・フレームのシーケンスを捕捉するためのカメラに接続されたコンピューティング装置を提供する段階であって、前記コンピューティング装置は、出力ビデオ信号を生成するためのディスプレイ・コントローラと、前記ディスプレイ・コントローラに接続され、前記ディスプレイ・コントローラによって生成された前記出力ビデオ信号の出力のために適応されたビデオ・インターフェース出力コネクタと、プロセッサとを備える、段階；
・前記コンピューティング装置の前記ビデオ・インターフェース出力コネクタを前記ビデオ会議エンドポイントの前記ビデオ・インターフェース入力コネクタに接続する段階；
・前記コンピューティング装置の前記プロセッサを使用して、物理的な筆記面に書かれたコンテンツの判読性を向上させるビデオ向上プロセスを、前記カメラによって捕捉された前記物理的な筆記面の画像フレームの前記シーケンスに適用する段階；および
前記コンピューティング装置を使用して、処理されたビデオ・データに対応する向上されたビデオ信号を出力し、それにより、向上されたビデオ信号を、前記コンピューティング装置の前記ビデオ・インターフェース出力コネクタおよび前記ビデオ会議エンドポイントの前記ビデオ・インターフェース入力コネクタを介して、前記ビデオ会議エンドポイントに送信する段階を含む、
方法。
・前記ビデオ会議エンドポイントは：
〇データ通信ネットワークを介して、ビデオ会議サーバーおよびビデオ会議クライアントの少なくとも一つと通信するためのネットワーク・インターフェース；および
〇画面共有のために入力ビデオ信号をコンピュータから受信するために前記コンピュータを前記ビデオ会議エンドポイントに接続するためのビデオ・インターフェース入力コネクタを備える第1のビデオ・インターフェースを有しており、
前記ビデオ会議エンドポイントは、前記ビデオ・インターフェース入力コネクタを介して受信された前記入力ビデオ信号に対応するビデオ・データを、前記ネットワーク・インターフェースを介して前記ビデオ会議サーバーおよび前記ビデオ会議クライアントのうちの前記少なくとも一つに通信するように構成され、
・前記コンピューティング装置は：
〇ディスプレイ上の出力用の出力ビデオ信号を生成するためのディスプレイ・コントローラ；
〇ディスプレイ・コントローラに接続され、前記ディスプレイ・コントローラによって生成された出力ビデオ信号の出力のために適応されたビデオ・インターフェース出力コネクタを備える第2のビデオ・インターフェース；および
〇プロセッサを有しており、
前記コンピューティング装置は、物理的な筆記面のビデオ・フレームのシーケンスを捕捉するためのカメラに接続され、前記プロセッサは、前記カメラによって捕捉された前記物理的な筆記面のビデオ・フレームのシーケンスに、前記物理的な筆記面上のペン・ストロークの判読性を高めるためのビデオ向上処理を適用することによって、処理されたビデオ・データを生成するように構成され、前記コンピューティング装置の前記ビデオ・インターフェース出力コネクタは、前記ビデオ会議エンドポイントの前記ビデオ・インターフェース入力コネクタに接続され、前記コンピューティング装置は、前記ビデオ・インターフェース出力コネクタを介して、前記処理されたビデオ・データに対応する向上されたビデオ信号を出力するように構成される、
システム。
〔EEEA2A〕
前記第1および第2のビデオ・インターフェースは、両方とも、HDMIインターフェース、Sビデオ・インターフェース、DVIインターフェース、コンポジットビデオ・インターフェース、コンポーネントビデオ・インターフェース、ディスプレイポート・インターフェース、FireWireインターフェース、VGAインターフェース、またはSCARTインターフェースである、EEEA1のシステム。
〔EEEA2B〕
前記第1のビデオ・インターフェースが無線インターフェースを含む、または前記第2のビデオ・インターフェースが無線インターフェースを含む、の少なくとも一方である、EEEA1のシステム。
〔EEEA3〕
前記コンピューティング装置がスクリーンレス装置である、EEEA1、A2AまたはA2Bのシステム。
〔EEEA4〕
前記コンピューティング装置がドングルを含む、EEEA3のシステム。
〔EEEA5〕
前記コンピューティング装置の前記プロセッサが：
・ビデオ・フレームの前記シーケンスを前記カメラから受信する段階と；
・ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
〇適応的な閾値処理を適用することによりペン・ストローク・マスクを生成し：
〇ペン・ストローク・マスクを使用して出力ビデオ・フレームを生成する段階とを実行するよう構成されている、
EEEA1～A4のいずれかのシステム。
〔EEEA6〕
前記コンピューティング装置の前記プロセッサが、
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・前記現在のビデオ・フレームに適応的な閾値処理を適用することによって中間マスクを生成し；
・所定数のビデオ・フレームの中間マスクを時間的平滑化することによって、平滑化されたマスクを決定し；
・平滑化されたマスクに所定の閾値を適用して、前記ペン・ストローク・マスクを生成するよう構成される、
EEEA5のシステム。
〔EEEA7〕
前記コンピューティング装置の前記プロセッサが、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・所定数のビデオ・フレームを時間的平滑化することによって、平滑化されたビデオ・フレームを決定し；
・平滑化されたビデオ・フレームに適応的な閾値処理を適用して、前記ペン・ストローク・マスクを生成するよう構成されている、
EEEA5記載のシステム。
〔EEEA8〕
前記コンピューティング装置の前記プロセッサが、ペン・ストローク・マスクを前記現在のビデオ・フレームに適用してペン・ストローク画像を生成し、前記ペン・ストローク画像を用いて前記出力ビデオ・フレームを生成するように構成されることを特徴とするEEEA5、EEEA6またはEEEA7に記載のシステム。
〔EEEA9〕
前記コンピューティング装置のプロセッサが、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて、画像向上プロセスを前記現在のビデオ・フレームに適用して、向上されたビデオ・フレームを生成し、前記ペン・ストローク・マスクを前記向上されたビデオ・フレームに適用して、向上されたペン・ストローク画像を生成するように構成される、EEEA5～A8のいずれかに記載のシステム。
〔EEEA10〕
前記コンピューティング装置の前記プロセッサが、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて、画像向上プロセスを前記ペン・ストローク画像に適用して、向上されたペン・ストローク画像を生成するように構成される、EEEA8に記載のシステム。
〔EEEA11〕
前記コンピューティング装置の前記プロセッサが、前記画像向上プロセスとして色調整プロセスを適用するように構成され、任意的に、該色調整プロセスとして彩度調整プロセスを適用するように構成される、EEEA9またはEEEA10に記載のシステム。
〔EEEA12〕
前記コンピューティング装置の前記プロセッサが、それぞれ現在のビデオ・フレームまたはペン・ストローク画像の一つまたは複数の色成分のヒストグラム等化を実行するように構成される、EEEA11に記載のシステム。
〔EEEA13〕
前記コンピューティング装置の前記プロセッサが、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・前記ペン・ストローク・マスクを反転させることによって反転マスクを生成し；
・反転されたマスクを現在のビデオ・フレームに適用することによって背景画像を生成し；
・背景画像をそれぞれ前記ペン・ストローク画像または前記向上されたペン・ストローク画像に加えるよう構成される、
EEEA8～EEEA12のうちいずれかに記載のシステム。
〔EEEA14〕
前記コンピューティング装置の前記プロセッサが、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて、前記出力ビデオ・フレームを、少なくとも：
・前記向上されたペン・ストローク画像または前記ペン・ストローク画像と；
・前記現在のビデオ・フレーム、または前記平滑化されたマスク、または前記ペン・ストローク・マスク
の重み付けされた和として生成するよう構成される、EEEA13に記載のシステム。
〔EEEA15〕
コンピュータ画面を共有するためのビデオ・インターフェース入力コネクタを有するビデオ会議エンドポイントを用いて、物理的な筆記面上に書かれたコンテンツを共有するための方法であって、当該方法は：
・物理的な筆記面のビデオ・フレームのシーケンスを捕捉するためのカメラに接続されたコンピューティング装置を提供する段階であって、前記コンピューティング装置は、出力ビデオ信号を生成するためのディスプレイ・コントローラと、前記ディスプレイ・コントローラに接続され、前記ディスプレイ・コントローラによって生成された前記出力ビデオ信号の出力のために適応されたビデオ・インターフェース出力コネクタと、プロセッサとを備える、段階；
・前記コンピューティング装置の前記ビデオ・インターフェース出力コネクタを前記ビデオ会議エンドポイントの前記ビデオ・インターフェース入力コネクタに接続する段階；
・前記コンピューティング装置の前記プロセッサを使用して、物理的な筆記面に書かれたコンテンツの判読性を向上させるビデオ向上プロセスを、前記カメラによって捕捉された前記物理的な筆記面の画像フレームの前記シーケンスに適用する段階；および
前記コンピューティング装置を使用して、処理されたビデオ・データに対応する向上されたビデオ信号を出力し、それにより、向上されたビデオ信号を、前記コンピューティング装置の前記ビデオ・インターフェース出力コネクタおよび前記ビデオ会議エンドポイントの前記ビデオ・インターフェース入力コネクタを介して、前記ビデオ会議エンドポイントに送信する段階を含む、
方法。
【0098】
〔EEEB1〕
リモートのビデオ会議クライアントおよびリモートのビデオ会議サーバーの少なくとも一つへのその後伝送のために、筆記面を捕捉するカメラからのビデオ・フレームのシーケンスを処理する方法であって、当該方法は：
・前記カメラからビデオ・フレームの前記シーケンスを受領する段階と；
・ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
〇適応的な閾値処理を適用することによってペン・ストローク・マスクを生成し；
〇前記ペン・ストローク・マスクを使用して出力ビデオ・フレームを生成する段階とを含む、
方法。
〔EEEB2〕
前記処理がリアルタイムで実行される、EEEB1に記載の方法。
〔EEEB3〕
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・前記現在のビデオ・フレームに適応的な閾値処理を適用することによって中間マスクを生成し；
・所定数のビデオ・フレームの前記中間マスクを時間的平滑化することによって、平滑化されたマスクを決定し；
・平滑化されたマスクに所定の閾値を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
EEEB1またはEEEB2に記載の方法。
〔EEEB4〕
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・所定数のビデオ・フレームを時間的平滑化することによって、平滑化されたビデオ・フレームを決定し；
・平滑化されたビデオ・フレームに対して適応的な閾値処理を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
EEEB1またはEEEB2に記載の方法。
〔EEEB5〕
前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が、前記ペン・ストローク・マスクを前記現在のビデオ・フレームに適用してペン・ストローク画像を生成することを含む、EEEB1～B4のいずれかに記載の方法。
〔EEEB6〕
前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が、前記現在のビデオ・フレームに画像向上プロセスを適用して、向上されたビデオ・フレームを生成し、前記向上されたビデオ・フレームに前記ペン・ストローク・マスクを適用して、向上されたペン・ストローク画像を生成することを含む、EEEB1～B5のいずれかに記載の方法。
〔EEEB7〕
前記出力ビデオ・フレームを生成する段階が、前記ペン・ストローク画像に画像向上プロセスを適用して、向上されたペン・ストローク画像を生成することを含む、EEEB5に記載の方法。
〔EEEB8〕
前記画像向上プロセスは色調整プロセスを含み、任意的に、前記色調整プロセスは彩度調整プロセスを含む、EEEB6またはEEEB7に記載の方法。
〔EEEB9〕
前記色調整プロセスは、それぞれ前記現在のビデオ・フレームまたはペン・ストローク画像の一つまたは複数の色成分のヒストグラム等化を実行することを含む、EEEB8に記載の方法。
〔EEEB10〕
前記出力ビデオ・フレームを生成する段階が
・前記ストローク・マスクを反転させることによって反転マスクを生成し；
・前記反転マスクを前記現在のビデオ・フレームに適用することによって背景画像を生成し；
・前記背景画像を前記ペン・ストローク画像または前記向上されたペン・ストローク画像にそれぞれ加えることを含む、EEEB5～B9のいずれかに記載の方法:。
〔EEEB11〕
前記出力ビデオ・フレームを生成する段階が、少なくとも：A）前記ペン・ストローク画像または前記向上されたペン・ストローク画像と；B）前記現在のビデオ・フレームまたは前記平滑化されたマスクまたは前記ペン・ストローク・マスクとの重み付けされた和を計算することを含む、EEEB5～B10のいずれかに記載の方法。
〔EEEB12〕
前記出力ビデオ・フレームを生成する段階が、少なくとも：A）前記背景画像に加えられた前記ペン・ストローク画像または前記向上されたペン・ストローク画像と；B）前記現在のビデオ・フレームまたは前記平滑化されたマスクまたは前記ペン・ストローク・マスクとの重み付けされた和を計算することを含む、EEEB10およびB11に記載の方法。
〔EEEB13〕
コンピューティング装置またはシステムによって実行されると、前記コンピューティング装置またはシステムにEEEB1～B12のいずれかに従う方法を実行させる命令を有するコンピュータ・プログラム製品。
〔EEEB14〕
EEEB1～B12のいずれかに従った方法を実行するように構成されたデータ処理システム。
〔EEEB15〕
ビデオ・フレームのシーケンスを捕捉するためのウェブカメラを備えたラップトップとして具現されたEEEB14のデータ処理システムであって、前記ラップトップは、データ通信ネットワークを介して、ビデオ会議サーバーおよびビデオ会議クライアントの少なくとも一つと通信するためのネットワーク・インターフェースを備え、前記ラップトップは、EEEB1～B12のいずれかに記載の方法を実行することによって、処理されたビデオ・データを生成し、前記処理されたビデオ・データを前記ネットワーク・インターフェースを介して、前記ビデオ会議サーバーおよび前記ビデオ会議クライアントの前記少なくとも一つに通信するように構成される、データ処理システム。
〔EEEB16〕
〇カメラによって捕捉された物理的な筆記面のビデオ・フレームシーケンスを受領する段階と；
〇前記ビデオ・フレームにおける関心画像領域を選択する段階であって、前記ビデオ・フレームのサブ領域および前記ビデオ・フレームの全領域の一つを選択する段階と；
〇ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・前記関心画像領域に適応的な閾値処理を適用することによってペン・ストローク・マスクを生成し；
・前記ペン・ストローク・マスクを使用して出力ビデオ・フレームを生成する段階とを実行するよう構成された、
ビデオ会議装置。
いくつかの態様を記載しておく。
〔態様１〕
リモートのビデオ会議クライアントおよびリモートのビデオ会議サーバーの少なくとも一つへのその後の伝送のために、筆記面を捕捉するカメラからのビデオ・フレームのシーケンスを処理する方法であって：
前記カメラからのビデオ・フレームの前記シーケンスを受領する段階と；
前記ビデオ・フレーム内の関心画像領域を選択する段階であって、前記ビデオ・フレームのサブ領域および前記ビデオ・フレームの全領域の一つを選択することを含む、段階と；
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
前記関心画像領域に適応的な閾値処理を適用することによってペン・ストローク・マスクを生成し；
前記ペン・ストローク・マスクを使用して出力ビデオ・フレームを生成する段階とを含む、
方法。
〔態様２〕
前記処理がリアルタイムで実行される、態様１に記載の方法。
〔態様３〕
前記関心画像領域は、前記筆記面を含む、態様１または２に記載の方法。
〔態様４〕
態様１ないし３のうちいずれか一項に記載の方法であって、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて、前記関心画像領域を長方形領域に変換することをさらに含む、方法。
〔態様５〕
前記関心画像領域を長方形領域に変換することが、幾何学的変換を適用することを含む、態様４に記載の方法。
〔態様６〕
ビデオ・フレームの前記シーケンスが、魚眼レンズを備えたカメラから受領され、当該方法は、前記ビデオ・フレームの歪みを除去することをさらに含む、態様１～５のうちいずれか一項に記載の方法。
〔態様７〕
態様１ないし６のうちいずれか一項に記載の方法であって、ビデオ・フレームの前記シーケンスは、HDRカメラから受領され、当該方法は、前記ビデオ・フレームをトーンマッピングすることをさらに含む、方法。
〔態様８〕
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
前記現在のビデオ・フレームの前記関心画像領域に適応的な閾値処理を適用することによって中間マスクを生成し；
所定数のビデオ・フレームの中間マスクを時間的平滑化することによって、平滑化されたマスクを決定し；
前記平滑化されたマスクに所定の閾値を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
態様１ないし７のうちいずれか一項に記載の方法。
〔態様９〕
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
所定数のビデオ・フレームの前記関心画像領域の時間的平滑化によって、平滑化された画像を決定し；
前記平滑化された画像に適応的な閾値処理を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
態様１ないし８のうちいずれか一項に記載の方法。
〔態様１０〕
前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が、前記ペン・ストローク・マスクを前記現在のビデオ・フレームの前記関心画像領域に適用して、ペン・ストローク画像を生成することを含む、態様１ないし９のうちいずれか一項に記載の方法。
〔態様１１〕
前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が、前記現在のビデオ・フレームの少なくとも前記関心画像領域に対して画像向上プロセスを適用して、向上された画像を生成し、前記向上された画像に前記ペン・ストローク・マスクを適用して、向上されたペン・ストローク画像を生成することを含む、態様１ないし１０のうちいずれか一項に記載の方法。
〔態様１２〕
前記出力ビデオ・フレームを生成する段階が、前記ペン・ストローク画像に画像向上プロセスを適用して、向上されたペン・ストローク画像を生成することを含む、態様１０に記載の方法。
〔態様１３〕
前記画像向上プロセスが、色調整プロセスを含む、態様１１または１２に記載の方法。
〔態様１４〕
前記色調整プロセスが、彩度調整プロセスを含む、態様１３に記載の方法。
〔態様１５〕
前記色調整プロセスが、それぞれ前記現在のビデオ・フレームの前記関心画像領域または前記ペン・ストローク画像の一つまたは複数の色成分のヒストグラム等化を実行することを含む、態様１３または１４に記載の方法。
〔態様１６〕
前記出力ビデオ・フレームを生成する段階が：
前記ストローク・マスクを反転させることによって反転マスクを生成し；
前記現在のビデオ・フレームの前記関心画像領域に前記反転マスクを適用することによって背景画像を生成し；
それぞれ前記ペン・ストローク画像または前記向上されたペン・ストローク画像に前記背景画像を加えて、組み合わされた画像を得ることを含む、
態様１０ないし１５のうちいずれか一項記載の方法。
〔態様１７〕
前記出力ビデオ・フレームを生成する段階が：少なくとも：A）前記ペン・ストローク画像または前記向上されたペン・ストローク画像と； B）前記現在のビデオ・フレームの前記関心画像領域または前記平滑化されたマスクまたは前記ペン・ストローク・マスクとの重み付けされた和を計算することを含む、態様１０ないし１６のうちいずれか一項に記載の方法。
〔態様１８〕
前記出力ビデオ・フレームを生成する段階が：少なくとも:
A）前記組み合わされた画像と；B）前記現在のビデオ・フレームの前記関心画像領域または前記平滑化されたマスクとの重み付けされた和を計算することを含む、態様１６に記載の方法。
〔態様１９〕
態様１ないし１８のうちいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令が記憶されている非一時的なコンピュータ可読記憶媒体。
〔態様２０〕
態様１ないし１８のうちいずれか一項に記載の方法を実行するように構成されたデータ処理システム。
〔態様２１〕
ディスプレイと；
視野内に物理的な筆記面を有するカメラと；
電話と；
制御システムとを有するビデオ会議システムであって、前記制御システムは、セットアップ・フェーズの間に、以下の段階：
前記カメラを使って少なくとも一つの画像を捕捉する段階と；
前記少なくとも一つの画像を前記ディスプレイ上にレンダリングする段階と；
前記少なくとも一つの画像の領域のユーザー選択を、前記電話を介して取得する段階であって、前記領域は、前記物理的な筆記面の画像を含む、段階と；
物理的な筆記面の位置をメモリに保存する段階であって、該保存される物理的な筆記面の位置は前記領域に対応する、段階とを実行するよう構成されている、
ビデオ会議システム。
〔態様２２〕
前記領域のユーザー選択を取得する段階が：
ユーザーが前記電話を介して、前記ディスプレイ上にレンダリングされた前記少なくとも一つの画像における前記領域の表現のサイズ、形状または位置のうちの少なくとも一つを設定できるようにすることを含む、
態様２１記載のビデオ会議システム。
〔態様２３〕
前記ユーザーが、前記領域の表現のサイズ、形状または位置のうちの前記少なくとも一つを設定できるようにすることが：
前記電話のタッチスクリーン上に第1の形状を表示する段階であって、前記第1の形状は前記領域の事前選択を表わす、段階と；
前記ディスプレイ上に第2の形状を表示する段階であって、前記第2の形状は前記第1の形状に対応する、段階と；
前記ユーザーが、前記タッチスクリーンを介して、前記第1の形状の操作を実行できるようにする段階と；
前記第1の形状の前記操作に応じて前記第2の形状を操作する段階とを含む、
態様２２記載のビデオ会議システム。
〔態様２４〕
前記制御システムは、ビデオ会議中に、以下の段階：
前記電話を介して、筆記面共有命令を受領する段階と；
保存されている物理的な筆記面の位置にアクセスする段階と；
前記物理的な筆記面の画像を拡大して、ビデオ・フレームの出力ストリームのピクセルの少なくとも過半数を占めるようにする段階とを実行するよう構成されており、
少なくとも前記拡大することは、前記筆記面共有命令に応答する、
態様２１ないし２３のうちいずれか一項記載のビデオ会議システム。
〔態様２５〕
前記制御システムは、前記ビデオ会議中に、以下のさらなる段階：
前記物理的な筆記面の画像に対して幾何学的変換を実行する段階を実行するよう構成され、それにより、前記物理的な筆記面の実質的に長方形の画像が生成される、
態様２４記載のビデオ会議システム。
〔態様２６〕
前記制御システムは、前記ビデオ会議中に、以下のさらなる段階：
前記物理的な筆記面の画像に対して向上処理を実行する段階を実行するよう構成されている、
態様２４または２５記載のビデオ会議システム。
〔態様２７〕
前記制御システムは、前記ビデオ会議中に、以下のさらなる段階：
前記電話を介して、筆記面共有ソフトボタンであって、その選択が前記筆記面共有命令の指示を生成するボタンを提供する段階を含む、
態様２４ないし２６のうちいずれか一項記載のビデオ会議システム。
〔態様２８〕
前記ディスプレイは：テレビジョン、コンピュータ・モニタ、またはプロジェクタおよびスクリーンを含むプロジェクタ・システムのうちの一つである、態様２１ないし２７のうちいずれか一項に記載のビデオ会議システム。
〔態様２９〕
ビデオ会議システムのための制御システムであって、当該制御システムは、セットアップ・フェーズの間、以下の段階：
カメラを使って少なくとも一つの画像を捕捉する段階と；
前記少なくとも一つの画像をディスプレイ上にレンダリングする段階と；
前記少なくとも一つの画像の領域のユーザー選択を、電話を介して取得する段階であって、前記領域は、前記カメラの視野内での物理的な筆記面の画像を含む、段階と；
物理的な筆記面の位置をメモリに保存する段階であって、該保存される物理的な筆記面の位置は前記領域に対応する、段階とを実行するよう構成されている、
制御システム。
〔態様３０〕
前記領域のユーザー選択を取得する段階が：
ユーザーが前記電話を介して、前記ディスプレイ上にレンダリングされた前記少なくとも一つの画像における前記領域の表現のサイズ、形状または位置のうちの少なくとも一つを設定できるようにすることを含む、
態様２９記載の制御システム。
〔態様３１〕
前記ユーザーが、前記領域の表現のサイズ、形状または位置のうちの前記少なくとも一つを設定できるようにすることが：
前記電話のタッチスクリーン上に第1の形状を表示する段階であって、前記第1の形状は前記領域の事前選択を表わす、段階と；
前記ディスプレイ上に第2の形状を表示する段階であって、前記第2の形状は前記第1の形状に対応する、段階と；
前記ユーザーが、前記タッチスクリーンを介して、前記第1の形状の操作を実行できるようにする段階と；
前記第1の形状の前記操作に応じて前記第2の形状を操作する段階とを実行することを含む、
態様３０記載の制御システム。
〔態様３２〕
命令を含んでいる非一時的なコンピュータ可読媒体であって、前記命令は、ビデオ会議システムのための制御システムの一つまたは複数のプロセッサによって実行されると、前記制御システムに、セットアップ・フェーズの間、以下の段階：
カメラを使って少なくとも一つの画像を捕捉する段階と；
前記少なくとも一つの画像をディスプレイ上にレンダリングする段階と；
前記少なくとも一つの画像の領域のユーザー選択を、電話を介して取得する段階であって、前記領域は、前記カメラの視野内での物理的な筆記面の画像を含む、段階と；
物理的な筆記面の位置をメモリに保存する段階であって、該保存される物理的な筆記面の位置は前記領域に対応する、段階とを実行させる
非一時的なコンピュータ可読媒体。
〔態様３３〕
前記領域のユーザー選択を取得する段階が：
ユーザーが前記電話を介して、前記ディスプレイ上にレンダリングされた前記少なくとも一つの画像における前記領域の表現のサイズ、形状または位置のうちの少なくとも一つを設定できるようにすることを含む、
態様３２記載の非一時的なコンピュータ可読媒体。
〔態様３４〕
前記ユーザーが、前記領域の表現のサイズ、形状または位置のうちの前記少なくとも一つを設定できるようにすることが：
前記電話のタッチスクリーン上に第1の形状を表示する段階であって、前記第1の形状は前記領域の事前選択を表わす、段階と；
前記ディスプレイ上に第2の形状を表示する段階であって、前記第2の形状は前記第1の形状に対応する、段階と；
前記ユーザーが、前記タッチスクリーンを介して、前記第1の形状の操作を実行できるようにする段階と；
前記第1の形状の前記操作に応じて前記第2の形状を操作する段階とを含む、
態様３３記載の非一時的なコンピュータ可読媒体。
リモートのビデオ会議クライアントおよびリモートのビデオ会議サーバーの少なくとも一つへのその後伝送のために、筆記面を捕捉するカメラからのビデオ・フレームのシーケンスを処理する方法であって、当該方法は：
・前記カメラからビデオ・フレームの前記シーケンスを受領する段階と；
・ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
〇適応的な閾値処理を適用することによってペン・ストローク・マスクを生成し；
〇前記ペン・ストローク・マスクを使用して出力ビデオ・フレームを生成する段階とを含む、
方法。
〔EEEB2〕
前記処理がリアルタイムで実行される、EEEB1に記載の方法。
〔EEEB3〕
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・前記現在のビデオ・フレームに適応的な閾値処理を適用することによって中間マスクを生成し；
・所定数のビデオ・フレームの前記中間マスクを時間的平滑化することによって、平滑化されたマスクを決定し；
・平滑化されたマスクに所定の閾値を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
EEEB1またはEEEB2に記載の方法。
〔EEEB4〕
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・所定数のビデオ・フレームを時間的平滑化することによって、平滑化されたビデオ・フレームを決定し；
・平滑化されたビデオ・フレームに対して適応的な閾値処理を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
EEEB1またはEEEB2に記載の方法。
〔EEEB5〕
前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が、前記ペン・ストローク・マスクを前記現在のビデオ・フレームに適用してペン・ストローク画像を生成することを含む、EEEB1～B4のいずれかに記載の方法。
〔EEEB6〕
前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が、前記現在のビデオ・フレームに画像向上プロセスを適用して、向上されたビデオ・フレームを生成し、前記向上されたビデオ・フレームに前記ペン・ストローク・マスクを適用して、向上されたペン・ストローク画像を生成することを含む、EEEB1～B5のいずれかに記載の方法。
〔EEEB7〕
前記出力ビデオ・フレームを生成する段階が、前記ペン・ストローク画像に画像向上プロセスを適用して、向上されたペン・ストローク画像を生成することを含む、EEEB5に記載の方法。
〔EEEB8〕
前記画像向上プロセスは色調整プロセスを含み、任意的に、前記色調整プロセスは彩度調整プロセスを含む、EEEB6またはEEEB7に記載の方法。
〔EEEB9〕
前記色調整プロセスは、それぞれ前記現在のビデオ・フレームまたはペン・ストローク画像の一つまたは複数の色成分のヒストグラム等化を実行することを含む、EEEB8に記載の方法。
〔EEEB10〕
前記出力ビデオ・フレームを生成する段階が
・前記ストローク・マスクを反転させることによって反転マスクを生成し；
・前記反転マスクを前記現在のビデオ・フレームに適用することによって背景画像を生成し；
・前記背景画像を前記ペン・ストローク画像または前記向上されたペン・ストローク画像にそれぞれ加えることを含む、EEEB5～B9のいずれかに記載の方法:。
〔EEEB11〕
前記出力ビデオ・フレームを生成する段階が、少なくとも：A）前記ペン・ストローク画像または前記向上されたペン・ストローク画像と；B）前記現在のビデオ・フレームまたは前記平滑化されたマスクまたは前記ペン・ストローク・マスクとの重み付けされた和を計算することを含む、EEEB5～B10のいずれかに記載の方法。
〔EEEB12〕
前記出力ビデオ・フレームを生成する段階が、少なくとも：A）前記背景画像に加えられた前記ペン・ストローク画像または前記向上されたペン・ストローク画像と；B）前記現在のビデオ・フレームまたは前記平滑化されたマスクまたは前記ペン・ストローク・マスクとの重み付けされた和を計算することを含む、EEEB10およびB11に記載の方法。
〔EEEB13〕
コンピューティング装置またはシステムによって実行されると、前記コンピューティング装置またはシステムにEEEB1～B12のいずれかに従う方法を実行させる命令を有するコンピュータ・プログラム製品。
〔EEEB14〕
EEEB1～B12のいずれかに従った方法を実行するように構成されたデータ処理システム。
〔EEEB15〕
ビデオ・フレームのシーケンスを捕捉するためのウェブカメラを備えたラップトップとして具現されたEEEB14のデータ処理システムであって、前記ラップトップは、データ通信ネットワークを介して、ビデオ会議サーバーおよびビデオ会議クライアントの少なくとも一つと通信するためのネットワーク・インターフェースを備え、前記ラップトップは、EEEB1～B12のいずれかに記載の方法を実行することによって、処理されたビデオ・データを生成し、前記処理されたビデオ・データを前記ネットワーク・インターフェースを介して、前記ビデオ会議サーバーおよび前記ビデオ会議クライアントの前記少なくとも一つに通信するように構成される、データ処理システム。
〔EEEB16〕
〇カメラによって捕捉された物理的な筆記面のビデオ・フレームシーケンスを受領する段階と；
〇前記ビデオ・フレームにおける関心画像領域を選択する段階であって、前記ビデオ・フレームのサブ領域および前記ビデオ・フレームの全領域の一つを選択する段階と；
〇ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
・前記関心画像領域に適応的な閾値処理を適用することによってペン・ストローク・マスクを生成し；
・前記ペン・ストローク・マスクを使用して出力ビデオ・フレームを生成する段階とを実行するよう構成された、
ビデオ会議装置。
いくつかの態様を記載しておく。
〔態様１〕
リモートのビデオ会議クライアントおよびリモートのビデオ会議サーバーの少なくとも一つへのその後の伝送のために、筆記面を捕捉するカメラからのビデオ・フレームのシーケンスを処理する方法であって：
前記カメラからのビデオ・フレームの前記シーケンスを受領する段階と；
前記ビデオ・フレーム内の関心画像領域を選択する段階であって、前記ビデオ・フレームのサブ領域および前記ビデオ・フレームの全領域の一つを選択することを含む、段階と；
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
前記関心画像領域に適応的な閾値処理を適用することによってペン・ストローク・マスクを生成し；
前記ペン・ストローク・マスクを使用して出力ビデオ・フレームを生成する段階とを含む、
方法。
〔態様２〕
前記処理がリアルタイムで実行される、態様１に記載の方法。
〔態様３〕
前記関心画像領域は、前記筆記面を含む、態様１または２に記載の方法。
〔態様４〕
態様１ないし３のうちいずれか一項に記載の方法であって、ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて、前記関心画像領域を長方形領域に変換することをさらに含む、方法。
〔態様５〕
前記関心画像領域を長方形領域に変換することが、幾何学的変換を適用することを含む、態様４に記載の方法。
〔態様６〕
ビデオ・フレームの前記シーケンスが、魚眼レンズを備えたカメラから受領され、当該方法は、前記ビデオ・フレームの歪みを除去することをさらに含む、態様１～５のうちいずれか一項に記載の方法。
〔態様７〕
態様１ないし６のうちいずれか一項に記載の方法であって、ビデオ・フレームの前記シーケンスは、HDRカメラから受領され、当該方法は、前記ビデオ・フレームをトーンマッピングすることをさらに含む、方法。
〔態様８〕
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
前記現在のビデオ・フレームの前記関心画像領域に適応的な閾値処理を適用することによって中間マスクを生成し；
所定数のビデオ・フレームの中間マスクを時間的平滑化することによって、平滑化されたマスクを決定し；
前記平滑化されたマスクに所定の閾値を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
態様１ないし７のうちいずれか一項に記載の方法。
〔態様９〕
ビデオ・フレームの前記シーケンスのそれぞれの現在のビデオ・フレームについて：
所定数のビデオ・フレームの前記関心画像領域の時間的平滑化によって、平滑化された画像を決定し；
前記平滑化された画像に適応的な閾値処理を適用して、前記ペン・ストローク・マスクを生成することをさらに含む、
態様１ないし８のうちいずれか一項に記載の方法。
〔態様１０〕
前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が、前記ペン・ストローク・マスクを前記現在のビデオ・フレームの前記関心画像領域に適用して、ペン・ストローク画像を生成することを含む、態様１ないし９のうちいずれか一項に記載の方法。
〔態様１１〕
前記ペン・ストローク・マスクを使用して前記出力ビデオ・フレームを生成する段階が、前記現在のビデオ・フレームの少なくとも前記関心画像領域に対して画像向上プロセスを適用して、向上された画像を生成し、前記向上された画像に前記ペン・ストローク・マスクを適用して、向上されたペン・ストローク画像を生成することを含む、態様１ないし１０のうちいずれか一項に記載の方法。
〔態様１２〕
前記出力ビデオ・フレームを生成する段階が、前記ペン・ストローク画像に画像向上プロセスを適用して、向上されたペン・ストローク画像を生成することを含む、態様１０に記載の方法。
〔態様１３〕
前記画像向上プロセスが、色調整プロセスを含む、態様１１または１２に記載の方法。
〔態様１４〕
前記色調整プロセスが、彩度調整プロセスを含む、態様１３に記載の方法。
〔態様１５〕
前記色調整プロセスが、それぞれ前記現在のビデオ・フレームの前記関心画像領域または前記ペン・ストローク画像の一つまたは複数の色成分のヒストグラム等化を実行することを含む、態様１３または１４に記載の方法。
〔態様１６〕
前記出力ビデオ・フレームを生成する段階が：
前記ストローク・マスクを反転させることによって反転マスクを生成し；
前記現在のビデオ・フレームの前記関心画像領域に前記反転マスクを適用することによって背景画像を生成し；
それぞれ前記ペン・ストローク画像または前記向上されたペン・ストローク画像に前記背景画像を加えて、組み合わされた画像を得ることを含む、
態様１０ないし１５のうちいずれか一項記載の方法。
〔態様１７〕
前記出力ビデオ・フレームを生成する段階が：少なくとも：A）前記ペン・ストローク画像または前記向上されたペン・ストローク画像と； B）前記現在のビデオ・フレームの前記関心画像領域または前記平滑化されたマスクまたは前記ペン・ストローク・マスクとの重み付けされた和を計算することを含む、態様１０ないし１６のうちいずれか一項に記載の方法。
〔態様１８〕
前記出力ビデオ・フレームを生成する段階が：少なくとも:
A）前記組み合わされた画像と；B）前記現在のビデオ・フレームの前記関心画像領域または前記平滑化されたマスクとの重み付けされた和を計算することを含む、態様１６に記載の方法。
〔態様１９〕
態様１ないし１８のうちいずれか一項に記載の方法を実行するためのコンピュータ実行可能命令が記憶されている非一時的なコンピュータ可読記憶媒体。
〔態様２０〕
態様１ないし１８のうちいずれか一項に記載の方法を実行するように構成されたデータ処理システム。
〔態様２１〕
ディスプレイと；
視野内に物理的な筆記面を有するカメラと；
電話と；
制御システムとを有するビデオ会議システムであって、前記制御システムは、セットアップ・フェーズの間に、以下の段階：
前記カメラを使って少なくとも一つの画像を捕捉する段階と；
前記少なくとも一つの画像を前記ディスプレイ上にレンダリングする段階と；
前記少なくとも一つの画像の領域のユーザー選択を、前記電話を介して取得する段階であって、前記領域は、前記物理的な筆記面の画像を含む、段階と；
物理的な筆記面の位置をメモリに保存する段階であって、該保存される物理的な筆記面の位置は前記領域に対応する、段階とを実行するよう構成されている、
ビデオ会議システム。
〔態様２２〕
前記領域のユーザー選択を取得する段階が：
ユーザーが前記電話を介して、前記ディスプレイ上にレンダリングされた前記少なくとも一つの画像における前記領域の表現のサイズ、形状または位置のうちの少なくとも一つを設定できるようにすることを含む、
態様２１記載のビデオ会議システム。
〔態様２３〕
前記ユーザーが、前記領域の表現のサイズ、形状または位置のうちの前記少なくとも一つを設定できるようにすることが：
前記電話のタッチスクリーン上に第1の形状を表示する段階であって、前記第1の形状は前記領域の事前選択を表わす、段階と；
前記ディスプレイ上に第2の形状を表示する段階であって、前記第2の形状は前記第1の形状に対応する、段階と；
前記ユーザーが、前記タッチスクリーンを介して、前記第1の形状の操作を実行できるようにする段階と；
前記第1の形状の前記操作に応じて前記第2の形状を操作する段階とを含む、
態様２２記載のビデオ会議システム。
〔態様２４〕
前記制御システムは、ビデオ会議中に、以下の段階：
前記電話を介して、筆記面共有命令を受領する段階と；
保存されている物理的な筆記面の位置にアクセスする段階と；
前記物理的な筆記面の画像を拡大して、ビデオ・フレームの出力ストリームのピクセルの少なくとも過半数を占めるようにする段階とを実行するよう構成されており、
少なくとも前記拡大することは、前記筆記面共有命令に応答する、
態様２１ないし２３のうちいずれか一項記載のビデオ会議システム。
〔態様２５〕
前記制御システムは、前記ビデオ会議中に、以下のさらなる段階：
前記物理的な筆記面の画像に対して幾何学的変換を実行する段階を実行するよう構成され、それにより、前記物理的な筆記面の実質的に長方形の画像が生成される、
態様２４記載のビデオ会議システム。
〔態様２６〕
前記制御システムは、前記ビデオ会議中に、以下のさらなる段階：
前記物理的な筆記面の画像に対して向上処理を実行する段階を実行するよう構成されている、
態様２４または２５記載のビデオ会議システム。
〔態様２７〕
前記制御システムは、前記ビデオ会議中に、以下のさらなる段階：
前記電話を介して、筆記面共有ソフトボタンであって、その選択が前記筆記面共有命令の指示を生成するボタンを提供する段階を含む、
態様２４ないし２６のうちいずれか一項記載のビデオ会議システム。
〔態様２８〕
前記ディスプレイは：テレビジョン、コンピュータ・モニタ、またはプロジェクタおよびスクリーンを含むプロジェクタ・システムのうちの一つである、態様２１ないし２７のうちいずれか一項に記載のビデオ会議システム。
〔態様２９〕
ビデオ会議システムのための制御システムであって、当該制御システムは、セットアップ・フェーズの間、以下の段階：
カメラを使って少なくとも一つの画像を捕捉する段階と；
前記少なくとも一つの画像をディスプレイ上にレンダリングする段階と；
前記少なくとも一つの画像の領域のユーザー選択を、電話を介して取得する段階であって、前記領域は、前記カメラの視野内での物理的な筆記面の画像を含む、段階と；
物理的な筆記面の位置をメモリに保存する段階であって、該保存される物理的な筆記面の位置は前記領域に対応する、段階とを実行するよう構成されている、
制御システム。
〔態様３０〕
前記領域のユーザー選択を取得する段階が：
ユーザーが前記電話を介して、前記ディスプレイ上にレンダリングされた前記少なくとも一つの画像における前記領域の表現のサイズ、形状または位置のうちの少なくとも一つを設定できるようにすることを含む、
態様２９記載の制御システム。
〔態様３１〕
前記ユーザーが、前記領域の表現のサイズ、形状または位置のうちの前記少なくとも一つを設定できるようにすることが：
前記電話のタッチスクリーン上に第1の形状を表示する段階であって、前記第1の形状は前記領域の事前選択を表わす、段階と；
前記ディスプレイ上に第2の形状を表示する段階であって、前記第2の形状は前記第1の形状に対応する、段階と；
前記ユーザーが、前記タッチスクリーンを介して、前記第1の形状の操作を実行できるようにする段階と；
前記第1の形状の前記操作に応じて前記第2の形状を操作する段階とを実行することを含む、
態様３０記載の制御システム。
〔態様３２〕
命令を含んでいる非一時的なコンピュータ可読媒体であって、前記命令は、ビデオ会議システムのための制御システムの一つまたは複数のプロセッサによって実行されると、前記制御システムに、セットアップ・フェーズの間、以下の段階：
カメラを使って少なくとも一つの画像を捕捉する段階と；
前記少なくとも一つの画像をディスプレイ上にレンダリングする段階と；
前記少なくとも一つの画像の領域のユーザー選択を、電話を介して取得する段階であって、前記領域は、前記カメラの視野内での物理的な筆記面の画像を含む、段階と；
物理的な筆記面の位置をメモリに保存する段階であって、該保存される物理的な筆記面の位置は前記領域に対応する、段階とを実行させる
非一時的なコンピュータ可読媒体。
〔態様３３〕
前記領域のユーザー選択を取得する段階が：
ユーザーが前記電話を介して、前記ディスプレイ上にレンダリングされた前記少なくとも一つの画像における前記領域の表現のサイズ、形状または位置のうちの少なくとも一つを設定できるようにすることを含む、
態様３２記載の非一時的なコンピュータ可読媒体。
〔態様３４〕
前記ユーザーが、前記領域の表現のサイズ、形状または位置のうちの前記少なくとも一つを設定できるようにすることが：
前記電話のタッチスクリーン上に第1の形状を表示する段階であって、前記第1の形状は前記領域の事前選択を表わす、段階と；
前記ディスプレイ上に第2の形状を表示する段階であって、前記第2の形状は前記第1の形状に対応する、段階と；
前記ユーザーが、前記タッチスクリーンを介して、前記第1の形状の操作を実行できるようにする段階と；
前記第1の形状の前記操作に応じて前記第2の形状を操作する段階とを含む、
態様３３記載の非一時的なコンピュータ可読媒体。
【図1A】
【図1B】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】