特許 7482937 プロジェクタ－カメラベースのリモートコラボレーションシステムにおけるビデオエコーを除去するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-02

(45)【発行日】2024-05-14

(54)【発明の名称】プロジェクタ－カメラベースのリモートコラボレーションシステムにおけるビデオエコーを除去するための方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240507BHJP

   G09G 5/00 20060101ALI20240507BHJP

   G09G 5/36 20060101ALI20240507BHJP

【ＦＩ】

H04N7/18 U

G09G5/00 555D

G09G5/00 510B

G09G5/00 510V

G09G5/36 300

G09G5/36 400

G09G5/00 550B

G09G5/00 550C

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2022077294

(22)【出願日】2022-05-10

(65)【公開番号】P2023004880

(43)【公開日】2023-01-17

【審査請求日】2022-10-20

(31)【優先権主張番号】17/358,641

(32)【優先日】2021-06-25

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】519448326

【氏名又は名称】コニカ ミノルタ ビジネス ソリューションズ ユー．エス．エー．， インコーポレイテッド

(74)【代理人】

【識別番号】110001254

【氏名又は名称】弁理士法人光陽国際特許事務所

(72)【発明者】

【氏名】クルビダ， ジエ

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開平０５－２１９５０１（ＪＰ，Ａ）

【文献】特開２００５－２０３８８６（ＪＰ，Ａ）

【文献】特開２００９－１４１５０８（ＪＰ，Ａ）

【文献】特開２００８－３０６２６４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２１／００９７７１９（ＵＳ，Ａ１）

【文献】米国特許第１０７８９７８０（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０９Ｇ ５／００－５／４２

(57)【特許請求の範囲】

【請求項1】

コラボレーションセッションでのビデオエコーを除去する方法であって、
ローカルワークステーションのローカルカメラを使用して、前記ローカルワークステーションのローカルワークスペース面上のローカルコンテンツの変更を検出する工程であって、前記ローカルコンテンツの前記変更が前記ローカルワークスペース面上に配置された物理的対象物によってなされる、工程と、
前記ローカルワークステーションのローカルプロジェクタを使用して、前記ローカルワークスペース面へとリモートコンテンツを投影する工程であって、前記リモートコンテンツがリモートワークステーションから受信され、前記ローカルワークスペース面上の前記ローカルコンテンツ及び前記投影されたリモートコンテンツが、ローカル拡張現実（ＡＲ）環境を集合的に形成する、工程と、
前記投影されたリモートコンテンツが前記物理的対象物上に重なるコンテンツ重複領域を識別するコンタクトオーバーラップマスクを生成する工程と、
所定時間の間及び前記コンテンツ重複領域内で、前記投影されたリモートコンテンツが前記物理的対象物上に重なることを防ぐ工程であって、前記ローカルＡＲ環境が前記所定時間の間一時的に修正される、工程と、
前記一時的に修正されたローカルＡＲ環境に基づいてローカル画像を生成する工程と、
前記コラボレーションセッションのために、前記ローカル画像をリモートワークステーションに送信する工程と、を含む方法。

【請求項2】

前記ローカルカメラを使用し、前記ローカルコンテンツにおける変更の安定化に続いて、前記ローカルＡＲ環境の第1の安定化画像を撮影する工程と、
前記物理的対象物に対応する前記第1の安定化画像の一部分を識別する変更領域マスクを生成する工程と、を更に含む方法であって、
前記コンタクトオーバーラップマスクが少なくとも前記変更領域マスクに基づいて生成される、請求項１に記載の方法。

【請求項3】

前記リモートコンテンツにおける複数の前景画素を識別する工程を更に含み、
前記コンタクトオーバーラップマスクが、前記変更領域マスクを前記複数の前景画素に適用することで生成される、請求項２に記載の方法。

【請求項4】

前記コンタクトオーバーラップマスクに基づいて、前記コンテンツ重複領域に対応する前記リモートコンテンツの一部分を識別する工程と、
前記所定時間の間、前記リモートコンテンツの前記部分の複数の画素値を背景画素値に設定し、前記投影されたリモートコンテンツが前記コンテンツ重複領域内で前記物理的対象物に重ならないようにする工程と、を更に含む請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記所定時間に続いて、前記リモートコンテンツの前記部分の前記複数の画素値を対応するオリジナルの複数の画素値に戻してリセットする工程を更に含む請求項４に記載の方法。

【請求項6】

前記ローカルカメラを使用し、前記所定時間の間、前記ローカルＡＲ環境の第２の安定化画像を撮影する工程と、
前記変更領域マスクに基づいて、前記投影されたリモートコンテンツが重なっていない前記物理的対象物に対応する、前記第２の安定化画像の一部分を識別する工程と、
を更に含む方法であって、
前記投影されたリモートコンテンツが重なっていない前記物理的対象物に対応する前記第２の安定化画像の前記部分に基づいて、以前のローカル画像を更新することで、前記ローカル画像が生成される、請求項２に記載の方法。

【請求項7】

前記所定時間の間及び前記コンテンツ重複領域内で、前記投影されたリモートコンテンツが前記物理的対象物に重ならないようにすることによって、潜在的なビデオエコー効果を除去する、請求項１から３のいずれか一項に記載の方法。

【請求項8】

コラボレーションセッションでのビデオエコーを除去するシステムであって、
ローカルカメラ、ローカルプロジェクタ、及びローカルワークスペース面を含むローカルワークステーションと、
リモートカメラ、リモートプロジェクタ、及びリモートワークスペース面を含むリモートワークステーションと、
コンピュータプロセッサと、を備え、
前記コンピュータプロセッサは、
前記ローカルカメラを使用して、前記ローカルワークスペース面上のローカルコンテンツの変更を検出し、前記ローカルコンテンツの前記変更が前記ローカルワークスペース面上に配置された物理的対象物によってなされ、
前記ローカルプロジェクタを使用して、前記ローカルワークスペース面へとリモートコンテンツを投影し、前記リモートコンテンツがリモートワークステーションから受信され、前記ローカルワークスペース面上の前記ローカルコンテンツ及び前記投影されたリモートコンテンツが、ローカル拡張現実（ＡＲ）環境を集合的に形成し、
前記投影されたリモートコンテンツが前記物理的対象物上に重なるコンテンツ重複領域を識別するコンタクトオーバーラップマスクを生成し、
所定時間の間及び前記コンテンツ重複領域内で、前記投影されたリモートコンテンツが前記物理的対象物上に重なることを防ぎ、前記ローカルＡＲ環境が前記所定時間の間一時的に修正され、
前記一時的に修正されたローカルＡＲ環境に基づいてローカル画像を生成し、
前記コラボレーションセッションのために、前記ローカル画像を前記リモートワークステーションに送信する、システム。

【請求項9】

前記コンピュータプロセッサは、更に、
前記ローカルカメラを使用し、前記ローカルコンテンツにおける変更の安定化に続いて、前記ローカルＡＲ環境の第1の安定化画像を撮影し、
前記物理的対象物に対応する前記第1の安定化画像の一部分を識別する変更領域マスクを生成し、
前記コンタクトオーバーラップマスクが少なくとも前記変更領域マスクに基づいて生成される、請求項８に記載のシステム。

【請求項10】

前記コンピュータプロセッサは、更に、
前記リモートコンテンツにおける複数の前景画素を識別し、
前記コンタクトオーバーラップマスクが、前記変更領域マスクを前記複数の前景画素に適用することで生成される、請求項９に記載のシステム。

【請求項11】

前記コンピュータプロセッサは、更に、
前記コンタクトオーバーラップマスクに基づいて、前記コンテンツ重複領域に対応する前記リモートコンテンツの一部分を識別し、
前記所定時間の間、前記リモートコンテンツの前記部分の複数の画素値を背景画素値に設定し、前記投影されたリモートコンテンツが前記コンテンツ重複領域内で前記物理的対象物に重ならないようにする、請求項８から１０のいずれか一項に記載のシステム。

【請求項12】

前記コンピュータプロセッサは、更に、
前記所定時間に続いて、前記リモートコンテンツの前記部分の前記複数の画素値を対応するオリジナルの複数の画素値に戻してリセットする、請求項１１に記載のシステム。

【請求項13】

前記コンピュータプロセッサは、更に、
前記ローカルカメラを使用し、前記所定時間の間、前記ローカルＡＲ環境の第２の安定化画像を撮影し、
前記変更領域マスクに基づいて、前記投影されたリモートコンテンツが重なっていない前記物理的対象物に対応する、前記第２の安定化画像の一部分を識別し、
前記投影されたリモートコンテンツが重なっていない前記物理的対象物に対応する前記第２の安定化画像の前記部分に基づいて、以前のローカル画像を更新することで、前記ローカル画像が生成される、請求項９に記載のシステム。

【請求項14】

前記所定時間の間及び前記コンテンツ重複領域内で、前記投影されたリモートコンテンツが前記物理的対象物に重ならないようにすることによって、潜在的なビデオエコー効果を除去する、請求項８から１０のいずれか一項に記載のシステム。

【請求項15】

コラボレーションセッションでのビデオエコーを除去するためのプログラムであって、
コンピュータに、
ローカルワークステーションのローカルカメラを使用して、前記ローカルワークステーションのローカルワークスペース面上のローカルコンテンツの変更を検出する機能であって、前記ローカルコンテンツの前記変更が前記ローカルワークスペース面上に配置された物理的対象物によってなされる、機能と、
前記ローカルワークステーションのローカルプロジェクタを使用して、前記ローカルワークスペース面へとリモートコンテンツを投影する機能であって、前記リモートコンテンツがリモートワークステーションから受信され、前記ローカルワークスペース面上の前記ローカルコンテンツ及び前記投影されたリモートコンテンツが、ローカル拡張現実（ＡＲ）環境を集合的に形成する、機能と、
前記投影されたリモートコンテンツが前記物理的対象物上に重なるコンテンツ重複領域を識別するコンタクトオーバーラップマスクを生成する機能と、
所定時間の間及び前記コンテンツ重複領域内で、前記投影されたリモートコンテンツが前記物理的対象物上に重なることを防ぐ機能であって、前記ローカルＡＲ環境が前記所定時間の間一時的に修正される、機能と、
前記一時的に修正されたローカルＡＲ環境に基づいてローカル画像を生成する機能と、
前記コラボレーションセッションのために、前記ローカル画像をリモートワークステーションに送信する機能と、を実現させるためのプログラム。

【請求項16】

前記コンピュータに、
前記ローカルカメラを使用し、前記ローカルコンテンツにおける変更の安定化に続いて、前記ローカルＡＲ環境の第1の安定化画像を撮影する機能と、
前記物理的対象物に対応する前記第1の安定化画像の一部分を識別する変更領域マスクを生成する機能と、を更に実現させ、
前記コンタクトオーバーラップマスクが少なくとも前記変更領域マスクに基づいて生成される、請求項１５に記載のプログラム。

【請求項17】

前記コンピュータに、
前記リモートコンテンツにおいて複数の前景画素を識別する機能を更に実現させ、
前記コンタクトオーバーラップマスクが、前記変更領域マスクを前記複数の前景画素に適用することで生成される、請求項１６に記載のプログラム。

【請求項18】

前記コンピュータに、
前記コンタクトオーバーラップマスクに基づいて、前記コンテンツ重複領域に対応する前記リモートコンテンツの一部分を識別する機能と、
前記所定時間の間、前記リモートコンテンツの前記部分の複数の画素値を背景画素値に設定し、前記投影されたリモートコンテンツが前記コンテンツ重複領域内で前記物理的対象物に重ならないようにする機能と、を更に実現させる、請求項１５から１７のいずれか一項に記載のプログラム。

【請求項19】

前記コンピュータに、
前記所定時間に続いて、前記リモートコンテンツの前記部分の前記複数の画素値を対応するオリジナルの複数の画素値に戻してリセットする機能を更に実現させる、請求項１８に記載のプログラム。

【請求項20】

前記コンピュータに、
前記ローカルカメラを使用し、前記所定時間の間、前記ローカルＡＲ環境の第２の安定化画像を撮影する機能と、
前記変更領域マスクに基づいて、前記投影されたリモートコンテンツが重なっていない前記物理的対象物に対応する、前記第２の安定化画像の一部分を識別する機能と、を更に実現させ、
前記投影されたリモートコンテンツが重なっていない前記物理的対象物に対応する前記第２の安定化画像の前記部分に基づいて、以前のローカル画像を更新することで、前記ローカル画像が生成される、請求項１６に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プロジェクタ－カメラベースのリモートコラボレーションシステムにおけるビデオエコーを除去するための方法に関する。

【背景技術】

【0002】

拡張現実（ＡＲ）は、コンピュータが生成した出力を、実世界環境にある物体やその周囲に重ね合わせることで、ユーザーとのインタラクションを可能にする技術である。コンピュータが生成した出力を重ねることによって拡張された実世界環境を、ＡＲ環境と呼ぶ。言い換えれば、ＡＲ環境とは、実世界環境と、それに重なるコンピュータが生成した出力の組み合わせである。場合によっては、コンピュータが生成した出力は、リモートワークスペース面から撮影され、リモートユーザーとローカルユーザーが共同デスクトップを共有するように、ローカルワークスペース面（すなわち、実世界環境）に投影されるビデオストリームであってもよい。

【発明の概要】

【発明が解決しようとする課題】

【0003】

コラボレーションセッションは、複数の参加者によるインタラクティブな会議である。コラボレーションセッションの参加者（以下、ユーザーと呼ぶ）は、ＡＲ環境を用いてコラボレーションコンテンツを共有できる。各ユーザーがカメラとプロジェクタを持つＡＲ環境を生成すると、音声のフィードバックで高音が鳴るように、映像のフィードバックループが発生し、映像が使えなくなる。ビデオエコーとは、カメラで撮影した映像投影を、伝送／処理遅延を伴って再び映像投影に挿入したものである。この問題は、電話通信の音声エコーと似ており、話している人が自分の声の遅延版を聞いていて、時間が経つにつれて継続して起こるエコーによって徐々に破損し得る。

【課題を解決するための手段】

【0004】

主として、一側面において、本発明は、コラボレーションセッションのためのビデオエコーを除去する方法に関する。前記方法は、ローカルワークステーションのローカルカメラを使用して、前記ローカルワークステーションのローカルワークスペース面上のローカルコンテンツの変更を検出する工程であって、前記ローカルコンテンツの前記変更が前記ローカルワークスペース面上に配置された物理的対象物によってなされる、工程と、前記ローカルワークステーションのローカルプロジェクタを使用して、前記ローカルワークスペース面へとリモートコンテンツを投影する工程であって、前記リモートコンテンツがリモートワークステーションから受信され、前記ローカルコンテンツ及び前記ローカルワークスペース面上の前記投影されたリモートコンテンツが、ローカル拡張現実（ＡＲ）環境を集合的に形成する、工程と、前記投影されたリモートコンテンツが前記物理的対象物上に重なるコンテンツ重複領域を識別するコンタクトオーバーラップマスクを生成する工程と、所定時間の間及び前記コンテンツ重複領域内で、前記投影されたリモートコンテンツが前記物理的対象物上に重なることを防ぐ工程であって、前記ローカル拡張現実（ＡＲ）環境が前記所定時間の間一時的に修正される、工程と、前記一時的に修正されたローカルＡＲ環境に基づいてローカル画像を生成する工程と、前記コラボレーションセッションのために、前記ローカル画像をリモートワークステーションに送信する工程と、を含む。

【0005】

主として、一側面において、本発明は、コラボレーションセッションのためのビデオエコーを除去するシステムに関する。前記システムは、ローカルカメラ、ローカルプロジェクタ、及びローカルワークスペース面を含むローカルワークステーションと、リモートカメラ、リモートプロジェクタ、及びリモートワークスペース面を含むリモートワークステーションと、コンピュータプロセッサと、を備え、前記コンピュータプロセッサは、前記ローカルカメラを使用して、前記ローカルワークスペース面上のローカルコンテンツの変更を検出し、前記ローカルコンテンツの前記変更が前記ローカルワークスペース面上に配置された物理的対象物によってなされ、前記ローカルプロジェクタを使用して、前記ローカルワークスペース面へとリモートコンテンツを投影し、前記リモートコンテンツがリモートワークステーションから受信され、前記ローカルコンテンツ及び前記ローカルワークスペース面上の前記投影されたリモートコンテンツが、ローカル拡張現実（ＡＲ）環境を集合的に形成し、前記投影されたリモートコンテンツが前記物理的対象物上に重なるコンテンツ重複領域を識別するコンタクトオーバーラップマスクを生成し、所定時間の間及び前記コンテンツ重複領域内で、前記投影されたリモートコンテンツが前記物理的対象物上に重なることを防ぎ、前記ローカルＡＲ環境が前記所定時間の間一時的に修正され、前記一時的に修正されたローカルＡＲ環境に基づいてローカル画像を生成し、前記コラボレーションセッションのために、前記ローカル画像を前記リモートワークステーションに送信する。

【0006】

主として、一側面において、本発明は、コラボレーションセッションのためのビデオエコーを除去するコンピュータ読取り可能なプログラムコードを格納したプログラムに関する。前記コンピュータ読取り可能なプログラムコードは、コンピュータプロセッサによって実行されると、ローカルワークステーションのローカルカメラを使用して、前記ローカルワークステーションのローカルワークスペース面上のローカルコンテンツの変更を検出する機能であって、前記ローカルコンテンツの前記変更が前記ローカルワークスペース面上に配置された物理的対象物によってなされる、機能と、前記ローカルワークステーションのローカルプロジェクタを使用して、前記ローカルワークスペース面へとリモートコンテンツを投影する機能であって、前記リモートコンテンツがリモートワークステーションから受信され、前記ローカルコンテンツ及び前記ローカルワークスペース面上の前記投影されたリモートコンテンツが、ローカル拡張現実（ＡＲ）環境を集合的に形成する、機能と、前記投影されたリモートコンテンツが前記物理的対象物上に重なるコンテンツ重複領域を識別するコンタクトオーバーラップマスクを生成する機能と、所定時間の間及び前記コンテンツ重複領域内で、前記投影されたリモートコンテンツが前記物理的対象物上に重なることを防ぐ機能であって、前記ローカルＡＲ環境が前記所定時間の間一時的に修正される、機能と、前記一時的に修正されたローカルＡＲ環境に基づいてローカル画像を生成する機能と、前記コラボレーションセッションのために、前記ローカル画像をリモートワークステーションに送信する機能と、とを備える。

【0007】

本発明のその他の側面は、以下の説明及び添付の特許請求の範囲から明らかとなる。

【図面の簡単な説明】

【0008】

【図1】図１は、本発明の１つまたは複数の実施形態に係るシステムを示す。

【図2】図２Ａ～２Ｃは、本発明の１つまたは複数の実施形態に係るフローチャートを示す。

【図3】図３Ａ～３Ｅは、本発明の１つまたは複数の実施形態に係る実行例を示す。

【図4】図４は、本発明の１つまたは複数の実施形態に係るコンピューティングシステムを示す。

【発明の詳細な説明】

【0009】

本発明の具体的な実施形態を、添付の図面を参照して詳細に説明する。複数の図における同様の構成要素は、一貫性を保つため、同様の参照符号で示される。

【0010】

以下の本発明の実施形態の詳細な説明では、本発明がより十分に理解されるよう、具体的な詳細が多数示されている。しかし、当業者にとっては、これらの具体的な詳細がなくとも本発明が実施可能であることは明らかであろう。他の例では、説明を不必要に複雑にしないよう、周知の特徴について詳細に説明していない。

【0011】

一般に、本発明の実施形態は、ＡＲ環境を利用するコラボレーションセッションのための潜在的なビデオエコー効果を除去するための方法、システム、及びプログラムを提供する。コラボレーションセッション中やローカルＡＲ環境では、ローカルワークスペース面に置かれた物理的対象物に投影されたリモートコンテンツが重なるコンテンツ重複領域を特定するコンタクトオーバーラップマスクが生成される。コンタクトオーバーラップマスクに基づき、コンテンツ重複領域内の物理的対象物に投影されたリモートコンテンツが重ならない短時間の間でローカルＡＲ環境が一時的に変更される。一時的に変更されたローカルＡＲ環境に基づいてローカル画像が生成され、リモートワークステーションに送られて、コラボレーションセッションで共有する。投影されたリモートコンテンツがローカル画像の物理的対象物の上に重ならないようにすることで、潜在的なビデオフィードバックループを除去でき、ビデオエコー効果の可能性を除去する。

【0012】

図１は、本発明の１つまたは複数の実施形態に係るシステムを示す。図１に示すように、システム（１００）は、例えば、バッファ（１０２）、コンテンツ変更検出エンジン（１１０）、コンテンツ重複検出エンジン（１１１）、拡張現実（ＡＲ）修正エンジン（１１２）、及びローカル画像生成エンジン（１１３）を含む複数の構成要素を有する。さらに、システム（１００）は、これらの構成要素（１０２、１１０、１１１、１１２、１１３）と通信する別々の物理的位置にある複数のワークステーション（例えば、ワークステーションＡ（１２０ａ）、ワークステーションＢ（１２０ｂ）、など）を有する。これら構成要素（１０２、１１０、１１１、１１２及び１１３）はそれぞれ、同じコンピューティング装置（例えばパーソナルコンピュータ（ＰＣ）、ノート型コンピュータ、タブレット型ＰＣ、スマートフォン、多機能周辺機器、キオスク、サーバ、ワークステーションなど）に配置されるか、若しくは有線及び／又は無線セグメントを有する任意のサイズのネットワークによって接続された異なるコンピューティング装置に配置されてよい。それぞれの構成要素とワークステーションを以下で説明する。

【0013】

バッファ（１０２）は、ハードウェア（すなわち、回路）、ソフトウェア又はそれらの任意の組合せに実装できる。バッファ（１０２）は、安定化画像（１０４）、変更領域マスク（１０５）、リモートコンテンツ（１０６）、ベースライン画像（１０７）、コンテンツ重複マスク（１０８）、及びローカル画像（１０９）を記憶するように構成される。安定化画像（１０４）、変更領域マスク（１０５）、リモートコンテンツ（１０６）、ベースライン画像（１０７）、コンテンツ重複マスク（１０８）、及びローカル画像（１０９）の複数のセットをバッファ（１０２）に記憶してもよい。安定化画像（１０４）、変更領域マスク（１０５）、リモートコンテンツ（１０６）、ベースライン画像（１０７）、コンテンツ重複マスク（１０８）、及びローカル画像（１０９）は、任意のサイズ及び任意の画像フォーマット（例えば、ＪＰＥＧ画像、ＧＩＦ画像、ビットマップ画像、ＴＩＦＦ画像、又はＰＤＦ文書）でバッファ（１０２）内に保存され得る。更に、用語「安定化画像、変更領域マスク、リモートコンテンツ、ベースライン画像、コンテンツ重複マスク、ローカル画像」は、以下明細書中では、それぞれ、「Ｉ、Ｍ_ｃ、Ｆ_ｒ、Ｂ、Ｐ_ｒｃ、Ｌ」と略記されることがある。

【0014】

各ワークステーションには、ワークスペース面に向けられたカメラとプロジェクタが含まれ、コラボレーションセッションのＡＲ環境を作り出す。例えば、ワークステーションＡ（１２０ａ）は、ワークスペース面Ａ（１２３ａ）に向けられたカメラＡ（１２１ａ）およびプロジェクタＡ（１２２ａ）を含み、ワークステーションＢ（１２０ｂ）は、ワークスペース面Ｂ（１２３ｂ）に向けられたカメラＢ（１２１ｂ）およびプロジェクタＢ（１２２ｂ）を含む。各カメラ（例えば、カメラＡ（１２１ａ）およびカメラＢ（１２１ｂ））は、特殊光学系やハードウェアを持たない任意の市販のカメラであってもよい。各プロジェクタ（例えば、プロジェクタＡ（１２２ａ）およびプロジェクタＢ（１２２ｂ））は、特殊光学系やハードウェアを持たない任意の市販のプロジェクタであってもよい。また、ワークステーションのカメラ及びプロジェクタは、特殊光学系やハードウェアを持つカスタマイズされた装置であってもよい。各ワークスペース面（例えば、ワークスペース面Ａ（１２３ａ）及びワークスペース面Ｂ（１２３ｂ））は、任意の種類の面（例えば、机、壁、ホワイトボード、及び床）であってよい。ワークスペース面は、平面であってもよい。また、ワークスペース面は、曲面であってもよい。各ワークステーションは、構成要素（１０２、１１０、１１１、１１２、１１３）とインターフェースするためのコンピューティング及び通信機能を有するハードウェア及び／又はソフトウェアをさらに含んでもよい。

【0015】

本発明の１つまたは複数の実施形態では、ワークステーションＡ（１２０ａ）のユーザー（以下、ローカルユーザーと呼ぶ）が、ワークステーションＢ（１２０ｂ）の別のユーザー（以下、リモートユーザーと呼ぶ）と共同作業するときに、ワークステーションＡ（１２０ａ）に潜在的に現れるビデオエコー効果は、除去されるか若しくは実質的に低減される。ここでは、ワークステーションＡ（１２０ａ）、ワークスペース面Ａ（１２３ａ）、カメラＡ（１２１ａ）をそれぞれ、ローカルワークステーション、ローカルワークスペース面、ローカルカメラと呼ぶ。特に、ローカルユーザーがローカルワークスペースに配置したコンテンツ（物理対象物、手書き／描画など）を、ローカルコンテンツと呼ぶ。以下の説明において、「ローカルコンテンツ」という用語は、物理的な形態のローカルコンテンツのデジタル画像及び／又はそのようなデジタル画像から得られるデータも指すこともある。これに対し、ワークステーションＢ（１２０ｂ）、ワークスペース面Ｂ（１２３ｂ）、カメラＢ（１２１ｂ）を、リモートワークステーション、リモートワークスペース面、リモートカメラと呼ぶ。特に、リモートユーザーがリモートワークスペースに配置したコンテンツ（物理対象物、手書き／描画など）を、リモートコンテンツと呼ぶ。以下の説明において、「リモートコンテンツ」という用語は、物理的な形態のリモートコンテンツのデジタル画像及び／又はそのようなデジタル画像から得られるデータも指すこともある。コラボレーションセッションの間、リモートコンテンツ及び／又はリモートコンテンツにおける変更が、ローカルワークステーションに送られ、リモート更新と呼ばれる。

【0016】

安定化画像（１０４）は、ローカルワークスペース面（すなわち、ワークスペース面Ａ（１２３ａ））の画像である。本発明の１つまたは複数の実施形態では、カメラＡ（１２１ａ）によりローカルワークスペース面の画像を定期的に撮影し、ローカルコンテンツにおける変更を検出する。ローカルコンテンツの変更が検出された後、撮影された画像における変更が安定した後に、安定化画像（１０４）が更新される。例えば、ユーザーの手がワークスペース面Ａ（１２３ａ）上をホバリングして物理対象物を置いたり、特定のテキスト／パターンを書いたり描いたりしている間に、画像のシーケンスが撮影される場合がある。ローカルコンテンツの変更は、ユーザーが手をワークスペース面Ａ（１２３ａ）から離した後、安定する。具体的には、所定の時間（例えば、１秒）、ローカルコンテンツに変更がなく安定している撮影された画像を、安定化画像（１０４）として保存する。なお、以下の説明において、安定化画像（１０４）をＩと表記する場合がある。

【0017】

変更領域マスク（１０５）は、安定化画像（１０４）の現バージョンと前バージョンとの間のローカルコンテンツの変更領域を識別するバイナリマスクである。コンテキストに基づいて、変更領域マスク（１０５）又は変更領域マスク（１０５）によって特定される領域は、以下の説明において、Ｍ_ｃと表記する場合がある。

【0018】

リモートコンテンツ（１０６）は、リモートユーザーによってリモートワークスペースに配置され、ローカルユーザーと共有されるコンテンツ（物理的対象物、手書き／描画など）の表示である。本発明の１つまたは複数の実施形態では、コラボレーションセッションの間、リモートコンテンツ（１０６）は、ローカルワークスペース面上に投影されて、ワークステーションＡ（１２０ａ）のＡＲ環境（ローカルＡＲ環境と呼ぶ）を作り出す。特に、リモート更新は、ローカルワークステーションによって定期的に受信され、ローカルＡＲ環境に投影されたリモートコンテンツとリモートワークスペース面に配置された実際のコンテンツとの間の整合性を維持する。１つまたは複数の実施形態では、リモートコンテンツ（１０６）は、リモートワークスペース画像の背景を除外して、リモート前景コンテンツと呼ばれる。リモートコンテンツ（１０６）は、以下の説明において、Ｆ_ｒと表記する場合がある。

【0019】

コラボレーションセッションの間、安定化画像（１０４）は、ローカルコンテンツと投影されたリモートコンテンツのどちらかが存在する場合の組み合わせを含む。変更検出は、新たに到着したリモートコンテンツで投影された画像を更新する前に一時停止し、カメラが新たなリモート更新を含む新しいベースライン画像を撮影した後に再びオンになる。そのため、今回のリモート更新では、安定化画像が作成されることはない。

【0020】

ベースライン画像（１０７）は、ローカルコンテンツの変更を検出するための基準として使用されるローカルワークスペース面の画像である。ローカルコンテンツの変更が検出された後、撮影された画像における変更が安定した後に、安定化画像（１０４）が更新される。更新された安定化画像（１０４）は、ベースライン画像（１０７）の新しいバージョンとして保存される。リモート更新を受信した後、安定化画像（１０４）は、投影されたリモート更新が撮影画像に含まれた後に更新される。更新された安定化画像（１０４）は、ベースライン画像（１０７）の新しいバージョンとして保存される。以下の説明において、ベースライン画像（１０７）をＢと表記する場合がある。

【0021】

コンテンツ重複マスク（１０８）は、変更領域マスク（１０５）とリモートコンテンツ（１０６）（特に、リモート前景コンテンツ）が重複する領域を識別するバイナリマスクである。コンテキストに基づいて、コンテンツ重複マスク（１０８）又はコンテンツ重複マスク（１０８）によって特定される領域は、以下の説明において、Ｐ_ｒｃと表記する場合がある。

【0022】

ローカル画像（１０９）は、リモートコンテンツを除くローカルコンテンツの画像である。本発明の１つまたは複数の実施形態において、ローカル画像（１０９）は、ローカルワークスペース面の直接撮影された画像ではなく、派生した画像である。ローカルワークスペース面の直接撮影された画像は、ローカルコンテンツとリモートコンテンツの両方を含むことができるので、ビデオエコー効果を防止するために、派生したローカル画像（１０９）は、投影されたリモートコンテンツを含まず、コラボレーションセッション中にリモートワークステーション（複数可）と共有するために使用される。以下の説明において、ローカル画像（１０９）をＬと表記する場合がある。

【0023】

１つまたは複数の実施形態において、システム（１００）は、コンテンツ変更検出エンジン（１１０）を更に含む。コンテンツ変更検出エンジン（１１０）は、ハードウェア（すなわち、回路）、ソフトウェア又はそれらの任意の組合せに実装できる。上述したように、コラボレーションセッションの間、リモートワークステーションから受信したリモートコンテンツは、ローカルワークスペース面に投影され、ローカルＡＲ環境を形成する。コンテンツ変更検出エンジン（１１０）は、ローカルカメラを使用して、ローカルワークスペース面上のローカルコンテンツの変更を検出するように構成される。特に、ローカルコンテンツの変更は、ローカルユーザーがローカルワークスペース面に配置した物理的対象物によって作り出される。コンテンツ変更検出エンジン（１１０）は、ローカルカメラを使用し、ローカルコンテンツにおける変更の安定化に続いて、ローカルＡＲ環境の安定化画像（第１の安定化画像と呼ぶ）を撮影するよう構成されている。

【0024】

１つまたは複数の実施形態において、システム（１００）は、コンテンツ重複検出エンジン（１１１）を更に含む。コンテンツ重複検出エンジン（１１１）は、ハードウェア（すなわち、回路）、ソフトウェア又はそれらの任意の組合せに実装できる。コンテンツ重複検出エンジン（１１１）は、物理的対象物に対応する第１の安定化画像の一部分を識別する変更領域マスクを生成し、投影されたリモートコンテンツが物理的対象物に重なるコンテンツ重複領域を識別するコンタクトオーバーラップマスクを生成するように構成される。

【0025】

１つまたは複数の実施形態において、システム（１００）は、ＡＲ修正エンジン（１１２）を更に含む。ＡＲ修正エンジン（１１２）は、ハードウェア（すなわち、回路）、ソフトウェア又はそれらの任意の組合せに実装できる。ＡＲ修正エンジン（１１２）は、投影されたリモートコンテンツがコンテンツ重複領域内の物理的対象物の上に重なるのを防ぐことによって、所定の時間中にローカルＡＲ環境を一時的に修正するように構成される。上述したように、投影されたリモートコンテンツがコンテンツ重複領域内の物理的対象物に重なるのを防ぐことで、潜在的なビデオエコー効果を除去することができる。

【0026】

１つまたは複数の実施形態において、システム（１００）は、ローカル画像生成エンジン（１１３）を更に含む。ローカル画像生成エンジン（１１３）は、ハードウェア（すなわち、回路）、ソフトウェア又はそれらの任意の組合せに実装できる。ローカル画像生成エンジン（１１３）は、一時的に修正されたローカルＡＲ環境に基づいてローカル画像を生成し、コラボレーションセッションのためにローカル画像をリモートワークステーションに送信するように構成されている。

【0027】

変更検出エンジン（１１０）、コンテンツ重複検出エンジン（１１１）、ＡＲ修正エンジン（１１２）、及びローカル画像生成エンジン（１１３）は、以下の図２Ａ－２Ｃを参照して説明する方法を用いて、上述の機能を集合的に実行する。

【0028】

システム（１００）は、２つのワークステーション（１２０ａ及び１２０ｂ）と通信する６つの構成要素（１０２、１１０、１１１、１１２、１１３）を有することを示しているが、本発明の別の実施形態において、システム（１００）は、任意の数のワークステーションと通信する、より多くの又はより少ない構成要素を有してよい。更に、上述した各構成要素の機能は、複数の構成要素で共有されてもよい。例えば、アライメントエンジン（１１４）又はその一部は、ＣＴエンジン（１１１）及び／又はＰＴエンジン（１１２）内に埋め込まれてもよい。構成要素（１０２、１１０、１１１、１１２、１１３）は、集中管理されていて、ワークステーションから遠隔に配置されていてもよい。あるいは、構成要素（１０２、１１０、１１１、１１２、１１３）の１つまたは複数の機能は、１つまたは複数のワークステーションに分散及び／又は複製されてもよい。更に、各構成要素（１０２、１１０、１１１、１１２、１１３）を一続きでまたは並行して複数回利用し、反復動作を実行することも可能である。

【0029】

図２Ａ～２Ｃは、本発明の１つまたは複数の実施形態に係るフローチャートを示す。図２Ａ～２Ｃの工程の１つまたは複数は、図１を参照して上述した、システム（１００）の構成要素によって実行されてもよい。本発明の１つまたは複数の実施形態において、図２Ａ～２Ｃの工程の１つまたは複数が省略され、繰り返され、及び／又は図２Ａ～２Ｃに示す順序とは異なる順序で実行されてよい。従って、本発明の範囲は、図２Ａ～２Ｃに示す工程の具体的な配置に限定されると考えるべきでない。

【0030】

上記のように、図２Ａ～２Ｃは、上記図１に描かれたシステム（１００）などのプロジェクタ－カメラベースのリモートコラボレーションシステムにおけるビデオエコーを除去するための方法を示している。より具体的に、その方法は、リモートワークステーションと共有するためにローカルワークスペース面の画像が撮影されるとき、ローカル対象物（例えば、３Ｄ物体）上に投影されたリモートコンテンツを一時的に取り除くことで、ビデオエコーを除去する。特に、その方法は、３Ｄ物体表面曲率及びカメラの視点によりローカルワークスペース面上に投影されたコンテンツロケーションの不確かさに関わらず、ビデオエコーを除去する。

【0031】

図２Ａに示すように、最初はブロック２０１で、コラボレーションセッションがユーザーによって開始される。例えば、ローカルユーザーは、リモートユーザーに電子招待状を送り、コラボレーションコンテンツを共有することができる。別の例では、ローカルユーザーは、リモートユーザーから電子招待状を受け入れ、コラボレーションコンテンツを共有することができる。

【0032】

ブロック２０２では、キャリブレーションが実行される。空間キャリブレーションは、独特のマーカー（例えば、拡張現実コルドバ大学（ＡｒＵｃｏ）マーカー）のマトリックスをワークスペース面に投影し、カメラがマーカーの画像を撮影するように指示することで実行される。撮影した画像中のマーカーとプロジェクタに送られたマーカーとの対応関係に基づいて、カメラの撮像面とプロジェクタとの間に空間的な関係を構築する。キャリブレーションの結果は一連の変換として保存され、それぞれの変換は画像をある空間から別の空間に変換するために使用され、例えば、カメラで撮影した画像からプロジェクタに送信する画像、またはその逆の変換である。これらの空間間を正確にマッピングすることで、物理的コンテンツ及び仮想的コンテンツの両方をシームレスに統合でき、ネットワーク上の複数のワークステーションで一貫性を持つことができる。空間間の変換は、線形及び非線形の両方の構成要素を含み得る。非線形構成要素はカメラレンズによる歪みを除去し、一方で、線形構成要素は透視歪み、拡大縮小、回転、倍率を補正する。

【0033】

空間キャリブレーションに加えて、ワークスペース面に白い背景を投影し、カメラのキャリブレーションを行う一連の操作を行うことで、色と強度のキャリブレーションも行われ、複数のワークステーションから（異なる環境光条件のもとなどで）撮影した画像を、できるだけ同じ色と強度に近づける。

【0034】

色分散の補正は、白背景で投影されたワークスペース面の１つまたは複数の撮影画像を解析する。色成分の平均強度の比率に基づいて、一連の係数が計算され、ホワイトバランス調整のためにカメラに送信される。カメラが内部でホワイトバランスに対応していない場合、係数をコンピュータのメモリに保存し、それを使ってソフトウェアでホワイトバランス補正を行う。この処理は、色成分からの強度を適切に均等化するために数回の繰り返しが必要になることがある。色キャリブレーションが完了すると、反復処理が行われ、撮影した白背景画像の平均強度を目標強度に近づけるために、カメラの露出、ゲイン、又はその両方を調整する。目標強度レベルは調整可能なパラメータで、デフォルト値は１６０である。

【0035】

ブロック２０３では、空間キャリブレーション及び色と強度キャリブレーションの両方が完了した後、コラボレーションセッションでのコンテンツ共有が開始される。

【0036】

ブロック２０４では、コラボレーションセッションに入ると、ユーザーがＡＲ環境と相互作用している間、カメラはワークスペース面の画像を定期的に撮影する。この方法は、ブロック２０４からブロック２０５ａ、ブロック２０５ｂ、ブロック２０５ｃへのウェイトループを回転させる形で実行する。

【0037】

ブロック２０５ａでは、ローカルコンテンツの変更が検出されたかどうかの判定が行われる。判定がＹＥＳである場合、すなわち、ローカルコンテンツの変更が検出された場合、方法はブロック２０６ａに進み、ローカルコンテンツの変更が処理される。特に、ローカルワークスペース面の画像に安定した変更が検出されると、ローカルコンテンツの変更がリモートコラボレータに自動的に送信される。ブロック２０６ａの追加の詳細については、以下の図２Ｂを参照して説明する。判定がＮＯである場合、すなわち、ローカルコンテンツの変更が検出されなかった場合、方法はブロック２０４に戻る。ブロック２０５ａからブロック２０４に戻るのに続いて、方法ウェイトループはブロック２０５ｂに進む。

【0038】

ブロック２０５ｂでは、リモート更新が受信されたかどうかの判定が行われる。判定がＹＥＳである場合、すなわち、リモート更新が受信された場合、方法はブロック２０６ｂに進み、リモート更新が処理される。特に、受信したリモート更新は、ローカルワークスペース面に投影されたコンテンツの更新をトリガーし、ローカルワークスペース面のコンテンツ全体の変更につながる。ブロック２０６ｂの追加の詳細については、以下の図２Ｃを参照して説明する。判定がＮＯである場合、すなわち、リモート更新が受信されなかった場合、方法はブロック２０４に戻る。ブロック２０５ｂからブロック２０４に戻るのに続いて、方法ウェイトループはブロック２０５ｃに進む。

【0039】

ブロック２０５ｃでは、ユーザー終了コマンドが受信されたかどうかの判定が行われる。判定がＹＥＳである場合、すなわち、ユーザー終了コマンドを受信した場合、方法はブロック２０６ｃに進み、コラボレーションセッションが終了される。判定がＮＯである場合、すなわち、ユーザー終了コマンドが受信されなかった場合、方法はブロック２０４に戻る。ブロック２０５ｂからブロック２０４に戻るのに続いて、方法ウェイトループはブロック２０５ａに進む。

【0040】

ブロック２０４からブロック２０５ａと２０５ｂまでの繰り返しに基づいて、各ワークステーションへ及び各ワークステーションからのコラボレーション情報の流れは同時に起こり、各コラボレーション情報の流れはソフトウェアでアトミックに処理される。言い換えると、ローカル、リモートを問わず、更新の処理中は、前の更新が終了するまで、次の更新は開始されない。これにより、ソフトウェアが画像で観察される各変更のソースを認識し、ローカルとリモートのコンテンツを別々に追跡することができるようになる。

【0041】

上述したウェイトループは、ブロック２０４からブロック２０５ａにまず進み、続いてブロック２０５ｂに進み、ブロック２０５ｃからシーケンスを再開することに基づいているが、ウェイトループは、他の順次順序に基づいて、異なる順次順序の組み合わせに基づいて、またはランダム順序に基づいて実行することも可能である。

【0042】

図２Ｂは、上記図２Ａに描かれたブロック２０６ａの詳細を示す。具体的には、図２Ｂは、ローカルコンテンツの変更に対応する処理を示す。

【0043】

最初にブロック２１１では、ローカルコンテンツの変更が発生し、安定化画像Ｉ_１が撮影されるところで安定化される。例えば、ローカルユーザーがコラボレーションセッションを開始し、ローカルワークスペース面に物理的対象物を配置したり、ペンやマーカーでローカルワークスペース面に書き込み／描画したりする。

【0044】

ブロック２１２では、最新の安定化画像Ｉ_１が新たなベースライン画像Ｂとして保存される。

【0045】

ブロック２１３では、安定化画像Ｉ_１をもたらすローカルコンテンツの変更を識別するための変更マスクＭ_ｃが作成される。例えば、変更マスクＭ_ｃは、安定化画像Ｉ_１内で物理的対象物又は書き込み／描画がローカルワークスペース面上のどこに配置されるかを特定する。

【0046】

ブロック２１４では、リモート前景コンテンツＦ_ｒが存在し、ローカルワークスペース面に投影されているかどうかの判定が行われる。つまり、Ｉ_１にＦ_ｒが存在するかどうかである。判定がＹＥＳである場合、すなわち、Ｉ_１に何らかのＦ_ｒが見出された場合、方法はブロック２１６に進む。判定がＮＯである場合、すなわち、Ｉ_１にＦ_ｒが見出されなかった場合、方法はブロック２１５に進む。

【0047】

ブロック２１５では、安定化画像Ｉ_１が最後の既知のローカル画像Ｌとして保存され、方法はブロック２２０に進む。

【0048】

ブロック２１６では、Ｍ_ｃにもあるＦ_ｒのリモート前景画素_、すなわち、変更が生じた領域内に入る画素が特定され、コンテンツ重複マスクＰ_ｒｃが生成される。

【0049】

ブロック２１７では、Ｐ_ｒｃの設定画素数を検証し、Ｉ_１内に非空白Ｆ_ｒが存在することを確認する。具体的には、Ｐ_ｒｃの設定画素数が０より大きいか否かの判定が行われる。判定がＹＥＳである場合、すなわち、Ｐ_ｒｃの設定画素の数が０より大きい場合、方法はブロック２１８に進む。判定がＮＯである場合、すなわち、Ｐ_ｒｃの設定画素の数が０より大きくない場合、方法はブロック２１９に進む。

【0050】

ブロック２１８は、ブロック２１８ａからブロック２０８ｄのシーケンスを含む。

【0051】

ブロック２１８ａでは、リモート前景コンテンツＦ_ｒのうち、Ｐ_ｒｃで特定された領域に対応する画素を背景画素値（例えば、２５５、２５５、２５５）に設定する。これにより、ローカルコンテンツの変更が発生した領域内に投影されたリモートコンテンツ（すなわち、Ｍ_ｃ）は、ローカルＡＲ環境から事実上排除される。

【0052】

ブロック２１８ｂでは、ローカルワークスペース面の一時的に修正された安定化画像Ｉ_３は、ローカルＡＲ環境から排除されたＭ_ｃにおいて、投影されたリモートコンテンツと一緒に撮影される。Ｉ_３では、Ｍｃ内の画素は、ブロック２１１で識別された変更されたローカルコンテツを含むが、ブロック２１４で識別されたリモート前景コンテンツの干渉はないことに留意されたい。

【0053】

ブロック２１８ｃでは、リモート前景コンテンツＦ_ｒのうち、Ｐ_ｒｃで特定された領域に対応する画素をＦ_ｒでのオリジナル値にリセットする。これにより、ブロック２１８ａで一時的に削除された投影されたリモートコンテンツが、ローカルＡＲ環境に効果的に復元される。つまり、Ｍ_ｃにおいて投影されたリモートコンテンツを削除してから復元するまでの間に、ローカルＡＲ環境が一時的に変更される。この時間は、ＡＲ環境を一時的に変更することによるローカルユーザーの視覚的な混乱を最小限に抑えるために、十分に短く選択される。例えば、この時間を１００ミリ秒としてよい。

【0054】

ブロック２１８ｄでは、先に生成されたローカル画像Ｌは、Ｍ_ｃ内の画素位置において、Ｉ_３内の対応する画素値で、更新される。下式は、背景を画素値「０」とした場合のローカル画像（Ｌ）の前景画素に対して行われたオペレーションを表す。

【0055】

(数１)
Ｌ＝（Ｉ_３∩Ｍ_ｃ）∪Ｌ

【0056】

ブロック２２０では、更新されたローカル画像Ｌを、背景を平坦化し、前景を強調することによって処理し、処理されたローカル画像Ｌ_ｐを生成する。

【0057】

ブロック２２１では、処理されたローカル画像Ｌ_ｐがリモートユーザーに送信される。

【0058】

上記図２Ａに示すように、ブロック２１１－２２１は、コラボレーションセッションが続くにつれて繰り返される。

【0059】

図２Ｃは、上記図２Ａに描かれたブロック２０６ｂの詳細を示す。具体的には、図２Ｃは、リモートワークステーションからの更新を処理するプロセスを示す。上記のように、受信したリモート更新は、ローカルワークスペース面に投影されたコンテンツの更新をトリガーし、ローカルＡＲ環境のコンテンツ全体の変更につながる。ローカルユーザーがコラボレーションセッションに参加すると、全てのリモートコラボレータによって以前に共有されたコラボレーションコンテンツが背景を平坦化された合成画像としてローカルワークステーションに受信される。合成された画像は、最初のリモート前景コンテンツＦ_ｒとして保存される。コラボレーションセッション中、リモートユーザーが追加のコラボレーションコンテンツを共有すると、最初のリモート前景コンテンツＦ_ｒが定期的に更新される。

【0060】

最初にブロック２３１では、リモート更新がローカルワークステーションによって受信される。

【0061】

ブロック２３２では、以前に保存したリモート前景コンテンツＦ_ｒを、受信したリモート更新に基づき更新する。

【0062】

ブロック２３３では、更新されたリモート前景コンテンツＦ_ｒをローカルプロジェクタの空間に変換する。

【0063】

ブロック２３４では、更新され変換されたリモート前景コンテンツＦ_ｒがローカルワークスペース面に投影される。

【0064】

ブロック２３５では、ローカルカメラは、更新され変換されたリモート前景コンテンツＦ_ｒが投影されるとすぐに、ローカルワークスペース面の画像を撮影する。

【0065】

ブロック２３６では、ローカルワークスペース面の撮影された画像が、新たなベースライン画像Ｂとして保存される。

【0066】

上記図２Ａに示すように、ブロック２３１－２３６は、コラボレーションセッションが続くにつれて繰り返される。

【0067】

図３Ａ～３Ｅは、本発明の１つまたは複数の実施形態に係る実行例を示す。図３Ａ～３Ｅに示す実施例は、上記の図１及び２Ａ～２Ｃを参照して説明したシステム及び方法フローチャートに基づくものである。具体的には、図１及び図３Ａ～３Ｅに同様の参照番号で描かれた要素は、互いに対応する。本発明の１つまたは複数の実施形態において、図３Ａ～３Ｅに示される要素の１つまたは複数は、省略され、繰り返され、及び／又は異なる配置で編成されてもよい。従って、本発明の範囲は、図３Ａ～３Ｅに示す要素の具体的な配置に限定されると考えるべきでない。

【0068】

１つまたは複数の実施形態において、図３Ａ～３Ｅに示される例示的な実装は、図１を参照して上述したローカルユーザー及びリモートユーザーが、最終的なワークプロダクトを完成するために定期的にコラボレーションコンテンツを交換する場合のコラボレーションセッションに対応する。上記のように、キャリブレーションセッションがコラボレーションセッションを始める前に実行される。キャリブレーションセッションは、空間キャリブレーション及び色と強度キャリブレーションを含む。

【0069】

図３Ａ～３Ｅに示すように、キャリブレーションセッションに続いて、ローカルユーザー及びリモートユーザーは、例示的なコラボレーションセッションにおいてコラボレーションコンテンツを交換する。特に、ローカルユーザーは、ローカルワークスペース面にリンゴ（すなわち、対象物Ａ（３１５））を配置する。ローカルカメラで撮影した画像が安定し、リンゴを置いた後に、安定化画像は、Ｉ_１として保存される（３１０）。また、Ｉ_１（３１０）は、変更検知に使用するベースライン画像Ｂ_１（３１１）として保存される。Ｉ_１（３１０）は、ローカル及びリモートワークステーション間の空間／色／強度の関係に基づいて、リモートユーザーのリモートワークステーションに送られるローカル画像（Ｌ_１）へと変換される。図３Ａは、Ｌ_１が明示されていないＩ_１（３１０）とＢ_１（３１１）を示す。

【0070】

リンゴを含むローカル画像（Ｌ_１）を受け取ると、リモートワークステーションは、Ｌ_１をリモートワークスペース面に投影し、リモートＡＲ環境を作り出す。これに対して、リモートユーザーは、投影されたＬ_１に「リンゴ」というテキストラベルとそれを指し示す矢印をアノテーションする。リモートユーザーは、次に別のテキストラベル「レモン」、矢印、及び疑問符を追加する。矢印と疑問符のついたテキストラベル「リンゴ」と「レモン」は、リモートカメラを使用して撮影され、リモート前景コンテンツとしてローカルワークステーションへと送られ、上記図１Ａで示すリモートコンテンツ（１０６）の例である。

【0071】

図３Ｂは、投影されたリモートコンテンツと共にローカルワークスペース面の画像を示す。特に、リモートコンテンツは、ローカルワークステーションによって受信され、ローカル及びリモートワークステーション間の空間／色／強度の関係に基づいて変換される。変換されたリモートコンテンツは、ローカルワークスペース面上に投影され、ローカルＡＲ環境において対象物Ａ（３１５）にオーバーレイされる（つまり、重なる）。具体的には、図３Ｂは、対象物Ａ（３１５）に、テキストラベル「リンゴ」と「レモン」に矢印（３２３）と疑問符（３２２）を加えたリモート前景コンテンツ（３２１）を重ねたものである。ローカルカメラは、リモート前景コンテンツ（３２１）と重ねた対象物Ａ（３１５）の画像を撮影する。撮影された画像はベースライン画像Ｂ_２（３２０）として保存され、その後の変更検出のために以前のベースライン画像Ｂ_１（３１１）と置き換わる。

【0072】

図３Ｃは、投影された疑問符（３２２）がある場所にローカルユーザーがレモン（すなわち、対象物Ｂ（３３５））を配置したローカルＡＲ環境の撮影された画像である。ベースライン画像Ｂ_２（３２０）に基づいて、レモンによるローカルコンテンツの変更を検出する。従って、変更が安定すると、撮影した画像を安定化画像Ｉ_２（３３０）として保存し、前回の安定化画像Ｉ_１（３１０）に置き換える。特に、Ｉ_１（３１０）は、図２Ｂのブロック２１５を横断する反復に対応し、Ｉ_２（３３０）は、図２Ｂのブロック２１６からブロック２１９を横断する後続の反復に対応する。変更領域マスク（３３２）は、安定化画像Ｉ_１（３１０）及びＩ_２（３３０）間の相違に基づいて、Ｍ_ｃとして生成される。安定化画像Ｉ_２（３３０）もまた、ベースライン画像Ｂ_３（３３１）として保存され、その後の変更検出のために以前のベースライン画像Ｂ_２（３２０）と置き換わる。図３Ｃに示すように、投影された疑問符（３２２）は、安定化画像Ｉ_２（３３０）中の物理的レモン（すなわち、対象物Ｂ（３３５））の上に重なる。

【0073】

レモンによるローカルコンテンツの変更の検出に応答して、変更領域マスク（３３２）に基づいて、変更領域内のリモート前景コンテンツ（３２１）の部分を特定し、コンテンツ重複マスク（３４１）を生成する。従って、コンテンツ重複マスク（３４１）に基づいて、投影された疑問符（３２２）がレモン（すなわち、対象物Ｂ（３２５））と重なる画素をリモート前景コンテンツ（３２１）において特定し、背景画素値に設定して、リモート前景コンテンツ（３２１）を一時的に変更することができる。

【0074】

図３Ｄは、リモート前景コンテンツ（３２１）の投影が修正版で一時的に置き換えられるローカルＡＲ環境の撮影された画像である。特に、投影された疑問符（３２２）の前記部分がコンテンツ重複マスク（３４１）に基づいてレモン（すなわち、対象物Ｂ（３３５））から削除される。投影された疑問符（３２２）の前記部分の削除に応じて、撮影された画像は、安定化画像Ｉ_３（３４０）として保存され、以前の安定化画像Ｉ_２（３３０）と置き換わる。図３Ｄに示されるように、安定化画像Ｉ_２（３３０）での対象物Ｂ（３３５）のローカルコンテンツは、リモート前景コンテンツ（３２１）の一時的に修正された投影によって重ならない。

【0075】

図３Ｅは、最後に知られたローカル画像Ｌ_１の更新バージョンを示す。具体的には、変更領域マスク（３３２）に基づいてＩ_３（３４０）から追加されたレモン（投影された疑問符（３２２）の一部を除く）を抽出し、Ｌ_１に追加して更新ローカル画像Ｌ_２（３５０）を生成する。従って、Ｌ_２（３５０）は、任意の投影されたリモートコンテンツなしでローカルコンテンツのみを含み、ビデオエコー効果を誘発することなく、リモートユーザーと共有するために使用される。

【0076】

本発明の実施形態は、使用するプラットフォームにかかわらず、事実上あらゆる種類のコンピューティングシステムに実装できる。例えば、コンピューティングシステムは、１つまたは複数の可搬装置（例えば、ノート型コンピュータ、スマートフォン、パーソナルデジタルアシスタント、タブレット型コンピュータ又はその他の可搬装置）、デスクトップコンピュータ、サーバ、サーバシャーシにおけるブレード、又は本発明の１つまたは複数の実施形態を実施するための最低限の処理能力、メモリ及び入出力装置を少なくとも備えるその他の種類の１つまたは複数のコンピューティング装置であってよい。例えば図４に示すように、コンピューティングシステム（４００）は、１つまたは複数のコンピュータプロセッサ（４０２）、関連するメモリ（４０４）（例えば、ランダムアクセスメモリ（ＲＡＭ）、キャッシュメモリ、フラッシュメモリ等）、１つまたは複数の記憶装置（４０６）（例えば、ハードディスク、コンパクトディスク（ＣＤ）ドライブやデジタル多用途ディスク（ＤＶＤ）ドライブといった光ドライブ、フラッシュメモリスティック等）、その他多くの構成要素及び機能を有してよい。コンピュータプロセッサ（４０２）は、指示を処理するための集積回路でもよい。例えば、コンピュータプロセッサは、１つまたは複数のコア又はプロセッサのマイクロコアでもよい。また、コンピューティングシステム（４００）は、タッチスクリーン、キーボード、マウス、マイク、タッチパッド、電子ペン、又はその他の種類の入力装置といった１つまたは複数の入力装置（４１０）を備えてよい。また、コンピューティングシステム（４００）は、スクリーン（例えば、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、タッチスクリーン、ブラウン管（ＣＲＴ）モニター、プロジェクタ、又はその他の表示装置）、プリンター、外部記憶装置、又はその他の出力装置等、１つまたは複数の出力装置（４０８）を備えてよい。１つまたは複数の出力装置は、入力装置と同じでも良いし、異なってもよい。コンピューティングシステム（４００）は、ネットワークインターフェース接続（図示なし）を介してネットワーク（４１２）（例えば、ローカルエリアネットワーク（ＬＡＮ）、インターネット等の広域ネットワーク（ＷＡＮ）、モバイルネットワーク、又はその他の種類のネットワーク）に接続されてよい。入力装置と出力装置は、ローカルにまたはリモートに（例えば、ネットワーク（４１２）を介して）コンピュータプロセッサ（４０２）、メモリ（４０４）及び記憶装置（４０６）に接続されてよい。コンピューティングシステムには多くの異なる種類があり、前述の入力装置及び出力装置は他の形態をとってもよい。

【0077】

本発明の実施形態を実施するためのコンピュータ読取り可能なプログラムコードの形態をとるソフトウェア指示は、全て又は一部が、一時的に又は恒久的に、ＣＤ、ＤＶＤ、記憶装置、ディスケット、テープ、フラッシュメモリ、物理メモリ、又はその他のコンピュータ読取り可能な記憶媒体といった非一時的なコンピュータ読取り可能な媒体に記憶されてよい。具体的には、ソフトウェア指示は、プロセッサによって実行された際に本発明の実施形態を実施するように構成されたコンピュータ読取り可能なプログラムコードに相当し得る。

【0078】

更に、前述のコンピューティングシステム（４００）の構成要素は、そのうち一つ以上が遠隔に配され、ネットワーク（４１２）を介してその他の構成要素と接続されてもよい。また、本発明の１つまたは複数の実施形態は、複数のノードを有する分散システムに実装されてもよく、本発明の各部は、分散システム内の異なるノード上に位置してもよい。本発明の一実施形態では、ノードは別個のコンピューティング装置に相当する。あるいは、ノードは関連する物理メモリを有するコンピュータプロセッサに相当してもよい。あるいは、ノードは、共有メモリ及び／又は情報源を有するコンピュータプロセッサ又はコンピュータプロセッサのマイクロコアに相当してもよい。

【0079】

本発明の１つまたは複数の実施形態は、従来の画像処理及びＡＲ関連技術に対する以下のうち１つまたは複数の効果及び改良を有し得る：以前にアラインされてなく互いに較正された様々なワークステーションでインストールされた様々なカメラ及びプロジェクタを使用できる；特殊光学系又はハードウェアなしで市販のカメラ及びプロジェクタを使用できる；カメラ平面及び／又はプロジェクタアングルがワークスペース面に平行でないカメラ及びプロジェクタを使用できる（例えば、画用紙）；システムには完全に未知のそれぞれの位置及び角度でカメラ及びプロジェクタを使用できる；ハードウェアセットアップ又は較正を行うためのユーザーが干渉を最小限にして、カメラ及びプロジェクタを使用できる；コラボレーションセッション間に変更し得る各ワークステーションの任意の用紙位置と併せて、任意のタイプの用紙（又は、その他任意のライティング媒体）を使用できる；など。

【0080】

限られた数の実施形態に関連して本発明を説明したが、本開示の恩恵に浴する当業者であれば、ここに開示された本発明の範囲から逸脱しない他の実施形態が考案可能であると分かるだろう。したがって、本発明の範囲は、添付の特許請求の範囲によってのみ限定されるものである。

【図1】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図4】