特表 2023-503641 協働プラットフォーム上の待ち時間を低減させるための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-01-31

(54)【発明の名称】協働プラットフォーム上の待ち時間を低減させるための方法およびシステム

(51)【国際特許分類】

   H04N 21/431 20110101AFI20230124BHJP

   H04N 21/436 20110101ALI20230124BHJP

   G06F 3/0488 20220101ALI20230124BHJP

【ＦＩ】

H04N21/431

H04N21/436

G06F3/0488

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022531417

(86)(22)【出願日】2020-11-25

(85)【翻訳文提出日】2022-07-22

(86)【国際出願番号】 US2020062427

(87)【国際公開番号】W WO2021108716

(87)【国際公開日】2021-06-03

(31)【優先権主張番号】62/941,677

(32)【優先日】2019-11-27

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】522209217

【氏名又は名称】スクリーンビーム インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】ブ， チュオン

(72)【発明者】

【氏名】エーレンバーガー， マイク

(72)【発明者】

【氏名】リー， ウェイ

(72)【発明者】

【氏名】チャン， ディーン

(72)【発明者】

【氏名】リー， チュアン

【テーマコード（参考）】

5C164

5E555

【Ｆターム（参考）】

5C164TA02S

5C164TA07S

5C164UB71P

5C164UB88P

5C164UC01S

5E555AA61

5E555AA67

5E555BA02

5E555BB02

5E555BC09

5E555CB10

5E555CB74

5E555CC11

5E555DB56

5E555DC09

5E555FA00

(57)【要約】

協働プラットフォーム上における待ち時間を低減させるためのシステムおよび方法が、提供される。協働プラットフォームは、ディスプレイと、モデレータデバイスと、１つまたはそれを上回るメンバーデバイスと、ディスプレイ、モデレータデバイス、および１つまたはそれを上回るメンバーデバイスと通信する、受信機とを伴う。協働プラットフォームの待ち時間を低減させるために、受信機は、ディスプレイから受信されたユーザ入力ならびにユーザ入力のユーザタイプに基づいて、オーバーレイ画像を生成し、オーバーレイ画像に基づいて、オーバーレイされた画像を生成し、表示のために、オーバーレイされた画像を伝送する一方、協働アプリケーションは、表示のために、ユーザ入力に基づいて、新しい実画像を生成する。

【特許請求の範囲】

【請求項1】

協働プラットフォーム上における待ち時間を低減させるための方法であって、前記方法は、
第１のデバイスによって、第１の画像を第３のデバイスから受信することと、
前記第１のデバイスによって、ユーザ入力を示すユーザ入力データを第２のデバイス上で受信することと、
前記第１のデバイスによって、前記ユーザ入力データを前記第３のデバイスに伝送することと、
前記第１のデバイスによって、前記ユーザ入力データに基づいて、オーバーレイ画像を決定することと、
前記第１のデバイスによって、前記オーバーレイ画像および前記第１の画像に基づいて、オーバーレイされた画像を決定することと、
前記第１のデバイスによって、前記オーバーレイされた画像を前記第２のデバイスに伝送し、前記オーバーレイされた画像を前記第２のデバイス上に表示させることと
を含む、方法。

【請求項2】

前記第１のデバイスによって、前記オーバーレイ画像を決定することは、前記第１のデバイスによって、前記ユーザ入力データに基づいて、前記第２のデバイス上の前記ユーザ入力を示す前記オーバーレイ画像の第１の部分を決定することを含む、請求項１に記載の方法。

【請求項3】

前記第１のデバイスによって、前記オーバーレイ画像を決定することは、前記第１のデバイスによって、前記ユーザ入力データに基づいて、前記オーバーレイ画像の延在部分を予測することを含む、請求項２に記載の方法。

【請求項4】

前記第１のデバイスによって、前記ユーザ入力データに基づいて、前記オーバーレイ画像の延在部分を予測することは、前記第１のデバイスによって、前記ユーザ入力データの空間座標または時間座標のうちの少なくとも１つに基づいて、前記オーバーレイ画像の延在部分を予測することを含む、請求項３に記載の方法。

【請求項5】

前記第１のデバイスによって、前記ユーザ入力データに基づいて、前記オーバーレイ画像の延在部分を予測することは、前記ユーザ入力データの速度に基づいて、前記第１のデバイスによって、前記オーバーレイ画像の延在部分を予測することを含む、請求項３に記載の方法。

【請求項6】

前記オーバーレイ画像の延在部分は、複数の有限線分を備える湾曲部分を備え、前記第１のデバイスによって、前記オーバーレイ画像の延在部分を予測することは、前記複数の有限線分の各有限線分の角度に基づいて、前記湾曲部分を予測することを含む、請求項３に記載の方法。

【請求項7】

前記第１のデバイスによって、前記ユーザ入力データに基づいて、前記オーバーレイ画像の延在部分を予測することは、外挿、機械学習、人工知能、またはニューラルネットワークのうちの少なくとも１つに基づいて、前記第１のデバイスによって、前記オーバーレイ画像の延在部分を予測することを含む、請求項３に記載の方法。

【請求項8】

前記第１のデバイスによって、前記オーバーレイ画像を決定することは、前記第１のデバイスによって、前記オーバーレイ画像の前記第１の部分と、延在部分とを備える前記オーバーレイ画像を決定することを含む、請求項３に記載の方法。

【請求項9】

前記オーバーレイ画像の一部は、所定の期間にわたって、前記第２のデバイス上に表示される、請求項１に記載の方法。

【請求項10】

前記所定の期間は、少なくとも、前記協働プラットフォーム上の待ち時間と同じ長さである、請求項９に記載の方法。

【請求項11】

前記オーバーレイ画像は、前端の空間座標の数が前記第２のデバイス上で増加するにつれて、後端の空間座標の一部が、前記協働プラットフォーム上における待ち時間の長さに応じて、前記第２のデバイスから除去されるように、前端と、後端とを備える、請求項１に記載の方法。

【請求項12】

前記オーバーレイ画像は、最大量の空間座標を超える付加的空間座標が表示されると、初期表示空間座標が、前記オーバーレイ画像から除去されるように、最大量の空間座標を備える、請求項１に記載の方法。

【請求項13】

前記オーバーレイ画像は、前端が延在するにつれて、後端が、前記第２のデバイス上に表示される前記オーバーレイされた画像の前記オーバーレイ画像の最大空間長を維持するように除去されるように、前端と、後端と、最大空間長とを備える、請求項１に記載の方法。

【請求項14】

前記オーバーレイ画像は、前端が前記第２のデバイス上であるレートで延在するにつれて、後端が、前記レートで前記第２のデバイスから除去されるように、前端と、後端とを備える、請求項１に記載の方法。

【請求項15】

前記オーバーレイ画像は、前端の空間座標の数が前記第２のデバイス上で増加するにつれて、後端の空間座標の一部が、増加する空間座標の速さに応じて、前記第２のデバイスから除去されるように、前端と、後端とを備える、請求項１に記載の方法。

【請求項16】

前記第１のデバイスによって、前記第２のデバイス上の前記ユーザ入力に対応する入力タイプを決定することをさらに含み、前記入力タイプは、太さ、色、またはマーカまたは消しゴムタイプのうちの少なくとも１つを備える、請求項１に記載の方法。

【請求項17】

前記第１のデバイスによって、前記入力タイプを決定することは、前記第１のデバイスによって、前記ユーザ入力データおよび機械学習に基づいて、前記入力タイプを決定することを含む、請求項１６に記載の方法。

【請求項18】

前記第１のデバイスによって、前記ユーザ入力に対応する入力タイプを示すデータを前記第３のデバイスから受信することをさらに含む、請求項１に記載の方法。

【請求項19】

前記第１のデバイスによって、前記入力タイプを示すデータを受信することは、前記第１のデバイスによって、定義されたＴＣＰポートを介して、前記入力タイプを示すデータを前記第３のデバイス上で起動するアプリケーションから受信することを含む、請求項１８に記載の方法。

【請求項20】

前記第１のデバイスによって、前記入力タイプを示すデータを受信することは、前記第１のデバイスによって、ユーザ入力バックチャネル（ＵＩＢＣ）エクステンションを介して、前記入力タイプを示すデータを前記第３のデバイス上で起動するオペレーティングシステムから受信することを含む、請求項１８に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、その全内容が、参照することによって本明細書に組み込まれる、２０１９年１１月２７日に出願された、米国仮特許出願第６２／９４１，６７７号の優先権を主張する。

【0002】

本開示は、一般に、少なくとも一時的表示のために、ユーザ入力に基づいて、オーバーレイ画像を生成し、協働プラットフォーム上における待ち時間を低減させるための方法およびシステムに関する。

【背景技術】

【0003】

有線接続によって、およびネットワークを経由して無線での両方において、コンテンツを投影するための方法および製品が、当技術分野において周知である。一実施例は、Ｗｉ－Ｆｉアライアンスによって認定されている、Ｍｉｒａｃａｓｔ(R)無線ディスプレイ規格であって、これは、Ｗｉ－Ｆｉ ＣＥＲＴＩＦＩＥＤ Ｗｉ－Ｆｉ Ｄｉｒｅｃｔ(R)を使用して、マルチメディアをデバイス間で表示するためのプロトコルを定義する。Ｗｉ－Ｆｉ Ｄｉｒｅｃｔを実装することで、Ｍｉｒａｃａｓｔ(R)は、ビデオ能力をネゴシエートする、コンテンツ保護を設定する、コンテンツをストリーミングする、およびビデオセッションを維持するための動作を提供する。Ｂｌｕｅｔｏｏｔｈ（登録商標）技術と異なり、Ｗｉ－Ｆｉ ＣＥＲＴＩＦＩＥＤ Ｍｉｒａｃａｓｔ(R)は、最大１，０８０ｐＨＤまたはさらにより高い分解能ビデオを送信することを可能にし、したがって、ビデオストリーミングおよび画面間コンテンツ投影のために好適である。例えば、Ｍｉｒａｃａｓｔ(R)は、ビデオコンテンツをラップトップコンピュータからテレビディスプレイに無線でストリーミングすることを可能にする。

【0004】

コンテンツ投影システムの望ましくない待ち時間が、協働の間、例えば、オリジナルデータファイルが記憶されていない、ディスプレイ、例えば、コンピューティングデバイス上に投影されているコンテンツに対して編集を行うときに生じる。例えば、教室設定では、教師のデスクトップは、その上に記憶されるオリジナルデータファイルを有し得、これは、当技術分野において公知のコンテンツ投影システムを使用して、教室の生徒に可視の教室の正面のディスプレイ上に投影され得る。受信機が、典型的には、教師のデスクトップまたは生徒のタブレットとディスプレイとの間でデータを伝送するために使用される。例えば、受信機は、ユーザ入力データを転送するために、ＵＳＢケーブルを介して、ディスプレイに結合され、画像を転送するために、ＨＤＭＩ（登録商標）ケーブルを介して、ディスプレイにさらに結合され得る。さらに、受信機は、ネットワーク（例えば、ローカルネットワーク、企業ネットワーク、またはインターネット）を経由して無線で、教師のデスクトップおよび生徒のタブレットと通信し得る。

【0005】

オリジナルファイル、例えば、教師のデスクトップ上に記憶される、数学問題が、ディスプレイ、例えば、タッチスクリーン上に投影されると、生徒は、直接、ディスプレイ上に描出することによって、数学問題に解答しようと試み得る。生徒が、例えば、数字「３」をディスプレイ上に描出し始めるにつれて、数字「３」の形成がディスプレイ上に現れ始めるために、ユーザ入力を表す、入力データが、ディスプレイから、ＵＳＢケーブルを介して、受信機に転送される。受信機は、次いで、ユーザ入力データを、ＷｉＦｉを介して、オリジナルファイルが記憶されている、教師のデスクトップに伝送する。教師のデスクトップ上のプロセッサは、次いで、ユーザ入力データに基づいて、オリジナルファイルを修正する、例えば、生徒がそれを描出するにつれて、数字「３」を数学問題に追加し、それによって、新しい実画像を生成し、これは、ＷｉＦｉを介して、受信機に伝送される。受信機は、次いで、生徒がそれを描出するにつれて、値「３」の形成がディスプレイ上に表示されるように、新しい実画像を、ＨＤＭＩ（登録商標）ケーブルを介して、ディスプレイに伝送する。ディスプレイから、受信機に、教師のデスクトップに、そして、受信機に戻り、次いで、最後に、ディスプレイに戻る、データフローは、生徒がディスプレイ上に描出するにつれて、持続的に生じ、協働コンテンツ投影システムの待ち時間をもたらす。

【0006】

したがって、協働コンテンツ投影システムの待ち時間を低減させるためのシステムおよび方法を提供することが望ましい。

【発明の概要】

【課題を解決するための手段】

【0007】

本発明は、少なくとも一時的表示のために、ユーザ入力に基づいて、オーバーレイ画像を生成し、協働プラットフォーム上における待ち時間を低減させるためのシステムおよび方法を対象とする。例えば、本発明の一側面によると、協働プラットフォーム上における待ち時間を低減させるための方法が、提供される。本方法は、第１のデバイス、例えば、受信機によって、第１の実画像を、第３のデバイス、例えば、モデレータデバイスから受信するステップと、第１のデバイスによって、ＵＳＢケーブルを介して、ユーザ入力を示すユーザ入力データを、第２のデバイス、例えば、ディスプレイ上で受信するステップと、第１のデバイスによって、ユーザ入力データを第３のデバイスに伝送するステップと、第１のデバイスによって、ユーザ入力データに基づいて、オーバーレイ画像を決定するステップと、第１のデバイスによって、オーバーレイ画像および第１の実画像に基づいて、オーバーレイされた画像を決定するステップと、第１のデバイスによって、例えば、ＨＤＭＩ（登録商標）ケーブルを介して、オーバーレイされた画像を第２のデバイスに伝送し、例えば、タッチスクリーンディスプレイを介して、オーバーレイされた画像を第２のデバイス上に表示させるステップとを含む。

【0008】

さらに、オーバーレイされた画像のオーバーレイ画像の一部は、所定の期間にわたって、第２のデバイス上に表示されてもよい。例えば、所定の期間は、少なくとも、協働プラットフォーム上の待ち時間と同じ長さであってもよい。例えば、オーバーレイ画像は、前端が第２のデバイス上にあるレートで延在するにつれて、後端が、そのレートで第２のデバイスから除去されるように、前端と、後端とを含んでもよい。代替として、前端の空間座標の数が第２のデバイス上で増加するにつれて、後端の空間座標の一部は、ユーザ入力データの待ち時間および／または速さに応じて、第２のデバイスから除去されてもよい。

【0009】

本発明のいくつかの側面によると、第１のデバイスによって決定されたオーバーレイ画像は、ユーザ入力データに基づく、第２のデバイスにおけるユーザ入力を示す、オーバーレイ画像の第１の部分と、ユーザ入力データに基づく、オーバーレイ画像の延在され、予測される部分とを含んでもよい。例えば、第１のデバイスは、例えば、外挿、機械学習、人工知能、またはニューラルネットワークのうちの少なくとも１つを介して、ユーザ入力データの空間または時間座標のうちの少なくとも１つに基づいて、オーバーレイ画像の延在部分を予測してもよい。例えば、第１のデバイスは、ユーザ入力データの速度に基づいて、オーバーレイ画像の延在部分を予測してもよい。オーバーレイ画像の延在部分は、第１のデバイスによって、オーバーレイ画像の延在部分を予測するステップが、複数の有限線分の各有限線分の角度に基づいて、湾曲部分を予測するステップを含むように、複数の有限線分から形成される、湾曲部分を含んでもよい。

【0010】

加えて、ユーザ入力データは、太さ、色、またはマーカ、もしくは消しゴムタイプのうちの少なくとも１つを示す、入力タイプデータを含んでもよい。本発明の一側面によると、本方法はさらに、第１のデバイスによって、ユーザ入力データおよび機械学習に基づいて、入力タイプを決定するステップを含む。例えば、入力タイプは、第２のデバイスからのユーザ入力データの空間入力のパターンを分析することによって、決定されてもよい。故に、決定されたオーバーレイ画像は、決定された入力タイプに基づいて決定されてもよい。

【0011】

本発明の別の側面によると、本方法はさらに、第１のデバイスによって、入力タイプを示すデータを第３のデバイスから受信するステップを含んでもよい。例えば、第１のデバイスは、定義されたＴＣＰポートを介して、入力タイプを示すデータを第３のデバイス上で起動するアプリケーションから受信してもよい。代替として、第１のデバイスは、ユーザ入力バックチャネル（ＵＩＢＣ）エクステンションを介して、入力タイプを示すデータを第３のデバイス上で起動するオペレーティングシステムから受信してもよい。第３のデバイスおよび第１のデバイスは、無線接続を経由して通信してもよい。

【図面の簡単な説明】

【0012】

【図1A】図１Ａは、本発明の例証的実施形態による、協働プラットフォームのブロック図である。

【0013】

【図1B】図１Ｂは、本発明の原理による、種々の通信機構を図示する、図１Ａの協働プラットフォームのブロック図である。

【0014】

【図2】図２は、本発明の一側面による、例示的設定における協働プラットフォームの略図である。

【0015】

【図3A】図３Ａ－３Ｄは、それぞれ、例示的ディスプレイ、受信機、モデレータデバイス、およびメンバーデバイスの例示的ハードウェアおよびソフトウェアコンポーネントの概略図である。

【図3B】図３Ａ－３Ｄは、それぞれ、例示的ディスプレイ、受信機、モデレータデバイス、およびメンバーデバイスの例示的ハードウェアおよびソフトウェアコンポーネントの概略図である。

【図3C】図３Ａ－３Ｄは、それぞれ、例示的ディスプレイ、受信機、モデレータデバイス、およびメンバーデバイスの例示的ハードウェアおよびソフトウェアコンポーネントの概略図である。

【図3D】図３Ａ－３Ｄは、それぞれ、例示的ディスプレイ、受信機、モデレータデバイス、およびメンバーデバイスの例示的ハードウェアおよびソフトウェアコンポーネントの概略図である。

【0016】

【図4A】図４Ａは、本発明の一側面による、協働プラットフォームのブロック図である。

【0017】

【図4B】図４Ｂは、図４Ａに描写される例証的実施形態による、協働プラットフォームを使用するためのシーケンス略図である。

【0018】

【図5A】図５Ａは、本発明の原理による、協働プラットフォーム上における待ち時間を低減させる例示的ステップを図示する、フローチャートである。

【0019】

【図5B】図５Ｂは、図５Ａのオーバーレイされた画像生成のステップを図示する、フローチャートである。

【0020】

【図5C】図５Ｃは、本発明の原理による、オーバーレイされた画像生成を図示する。

【0021】

【図6】図６Ａ－６Ｅは、本発明の原理による、協働プラットフォーム上における待ち時間を低減させるステップを図示する。

【0022】

【図7-1】図７Ａ－７Ｄは、本発明の原理による、オーバーレイ画像予測生成を図示する。

【図7-2】図７Ａ－７Ｄは、本発明の原理による、オーバーレイ画像予測生成を図示する。

【0023】

【図8】図８Ａおよび８Ｂは、本発明の一側面による、ユーザタイプデータ収集を図示する。

【0024】

【図9A】図９Ａは、本発明の別の側面による、協働プラットフォームの代替実施形態のブロック図である。

【0025】

【図9B】図９Ｂは、図９Ａに描写される例証的実施形態による、協働プラットフォームを使用するためのシーケンス略図である。

【0026】

【図10A】図１０Ａは、本発明のさらに別の側面による、協働プラットフォームの別の代替実施形態のブロック図である。

【0027】

【図10B】図１０Ｂは、図１０Ａに描写される例証的実施形態による、協働プラットフォームを使用するためのシーケンス略図である。

【0028】

【図11】図１１は、本発明の原理による、協働プラットフォーム上における待ち時間を低減させる代替の例示的ステップを図示する、フローチャートである。

【0029】

【図12A】図１２Ａは、本発明のさらに別の側面による、協働プラットフォームのさらに別の代替実施形態のブロック図である。

【0030】

【図12B】図１２Ｂは、図１２Ａに描写される例証的実施形態による、協働プラットフォームを使用するためのシーケンス略図である。

【0031】

本発明の前述および他の特徴は、付随する図面と併せて解釈される、以下の説明および添付の請求項から明白となるであろう。これらの図面が、本開示によるいくつかの実施形態のみを描写し、したがって、その範囲の限定と見なされるものではないことを理解して、本開示は、付随する図面の使用を通して、付加的特異性および詳細を伴って説明されるであろう。

【発明を実施するための形態】

【0032】

本発明の詳細な説明
コンピュータユーザが、そのコンピュータ画面のディスプレイを他者と共有することを所望し得る、多くのインスタンスが存在する。例えば、教室での授業が教室設定において与えられることに関連して、教師は、問題を教室の生徒に表示し、生徒の取組が教室全体に可視となるように、生徒に問題をディスプレイ上で解法させることを所望し得る。例えば、問題は、教師のコンピュータ上のコンピュータファイル内に記憶され、教室の生徒に可視のメインディスプレイ上に表示されてもよい。選択された生徒は、次いで、その作業が教室の生徒に可視となるように、直接、作業をメインディスプレイ上で実施し得る。そのようなインスタンスでは、迅速かつ容易に、生徒の作業をメインディスプレイ上のオリジナル問題にわたって挿入する、オーバーレイ画像を表示することが有利であり得る。当業者によって理解されるであろうように、本明細書に説明される本発明の原理は、教室以外の設定で、例えば、ミーティングまたはプレゼン等の他の協働取組を行うために、ＷｉＦｉまたはインターネットを介して、キャンパスまたは他の地理的場所を横断して遠隔で、使用されてもよい。

【0033】

本発明は、例えば、教室設定または製品プレゼンミーティングにおいて、資料をリアルタイムで提示しながら、協働プラットフォーム内の待ち時間を低減させることを促進するために使用される、協働プラットフォームを対象とする。例えば、本発明は、ユーザ入力が提供された後ほぼ直ちに、実画像が、協働プラットフォームによって生成されることが可能になる前に、ユーザ入力が、メインディスプレイ上のオリジナル画像上に挿入的にオーバーレイされるように、ユーザが、マーキング等のユーザ入力を表示されているオリジナル画像上に提供することを可能にする。協働プラットフォームは、メインディスプレイと、モデレータデバイスと、１つまたはそれを上回るメンバーデバイスと、ディスプレイ、モデレータデバイス、および１つまたはそれを上回るメンバーデバイスと通信する、受信機とを伴う。モデレータデバイスは、教師／管理者によって使用されてもよく、オリジナルデータファイルを記憶してもよく、オリジナル画像は、生徒が、メインディスプレイを介して、ユーザ入力を提供することによって、オリジナルデータファイルを編集し得るように、オリジナルデータファイルに基づいて、メインディスプレイ上に表示されてもよい。受信機は、オーバーレイ画像生成アプリケーションを起動するように構成され、これは、ディスプレイを介して生徒によって提供される、ユーザ入力に基づいて、オーバーレイ画像を生成し、オーバーレイされた画像をオリジナル画像にわたって、表示する一方、協働プラットフォームは、メインディスプレイ上での表示のために、ユーザ入力データに基づいて、オリジナルデータファイルを更新する。実データを使用して生成された更新された画像を表示する前に、オーバーレイされた画像を表示することによって、受信機は、協働プラットフォーム内の待ち時間を低減させる。

【0034】

図１Ａは、本発明の原理に従って構成される、例証的協働プラットフォームのブロック図である。協働プラットフォーム１００は、ディスプレイ１０５と、受信機１２０とその中が受信機１２０がハブとしての役割を果たす、ネットワーク１０１と、モデレータクライアント、例えば、教師によって使用されるためのモデレータデバイス１３０と、随意に、１つまたはそれを上回るメンバークライアント、例えば、生徒によって使用されるための１つまたはそれを上回るメンバーデバイス１４０とを含む。受信機１２０は、Ａｃｔｉｏｎｔｅｃ Ｅｌｅｃｔｒｏｎｉｃｓ， Ｉｎｃ．（Ｓｕｎｎｙｖａｌｅ， Ｃａｌｉｆ）から利用可能なＳｃｒｅｅｎ Ｂｅａｍ(R)無線ディスプレイキットであってもよい。１つの好ましい実施形態では、受信機１２０は、Ｍｉｒａｃａｓｔ(R)対応かつそれと互換性がある。図１Ａでは、３つのメンバーデバイス１４０が、描写されるが、当業者が理解するであろうように、３つより少ないまたはより多いメンバーデバイスが、協働プラットフォーム１００内で使用されてもよい。

【0035】

図１Ａに示されるように、モデレータデバイス１３０およびメンバーデバイス１４０は、ネットワーク１０１を通して無線で、受信機１２０と相互作用する。図１Ｂに示されるように、ネットワーク１０１は、モデレータデバイス１３０およびメンバーデバイス１４０が、ＷｉＦｉまたはインターネットを経由して、受信機１２０と相互作用するように、無線通信に基づいてもよい。ネットワーク１０１は、ローカルピアツーピアネットワーク、例えば、Ｗｉ－Ｆｉピアツーピアインターフェースであってもよい。ディスプレイ１０５は、任意の好適なコンピューティングデバイス、例えば、タッチスクリーンデバイスであって、受信機１２０から受信された情報を外部システム、ユーザ、またはメモリに提示するための、ならびに、直接、ディスプレイ１０５のインターフェースを介して、例えば、インターフェース上に内蔵されるタッチセンサを介して、ユーザ入力を収集するための、インターフェースを提供してもよい。代替実施形態では、ディスプレイ１０５は、複数の個々のディスプレイを備えてもよく、さらに、メンバーデバイス１４０および／またはモデレータデバイス１３０のそれぞれと関連付けられる、ディスプレイを構成してもよい。同様に、ユーザが、編集を行うために、直接、そのメンバーデバイス１４０の画面上で相互作用するとき、メンバーデバイス１３０は、上記に説明されるように、任意の好適なコンピューティングデバイス、例えば、タッチスクリーンデバイスであってもよい。

【0036】

受信機１２０は、１つまたはそれを上回る有線接続によって、ディスプレイ１０５に結合されてもよい。例えば、図１Ｂに示されるように、受信機１２０およびディスプレイ１０５は、ユーザ入力データを通信するために、ユニバーサルシリアルバス（ＵＳＢ）ケーブルを使用して、接続してもよく、受信機１２０およびディスプレイ１０５は、画像を通信するために、高精細マルチメディアインターフェース（ＨＤＭＩ（登録商標））ケーブルを使用して、接続してもよい。代替として、受信機１２０およびディスプレイ１０５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線接続を使用して、接続してもよい。故に、受信機１２０は、ＷｉＦｉを介して、オリジナル画像、例えば、静止画像をモデレータデバイス１３０から受信し、ＨＤＭＩ（登録商標）ケーブルを介して、モデレータデバイス１３０によって提供されるオリジナル画像をディスプレイ１０５に伝え、これは、ディスプレイ１０５上に挿入的に示される。したがって、モデレータデバイス１３０のローカルディスプレイおよびディスプレイ１０５は、同一情報（例えば、同一グラフィック、ビデオ、画像、チャート、プレゼン、ドキュメント、プログラム、アプリケーション、ウィンドウ、ビュー等）を表示し得る。加えて、受信機１２０は、ＵＳＢケーブルおよび／またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続を介して、ユーザ入力を示すユーザ入力データをディスプレイ１０５から受信し、処理のために、ＷｉＦｉディスプレイ１０５を介して、によって提供されるユーザ入力データをモデレータデバイス１３０に伝える。

【0037】

モデレータデバイス１３０は、ディスプレイ１０５によって提供されるユーザ入力データを処理し、受信されたユーザ入力データに基づいて、そのメモリ内に記憶されるオリジナル画像を修正し、ＷｉＦｉを介して、受信機１２０に、最終的には、受信機１２０を介して、ディスプレイ１０５への再配布のための画像を生成する。当業者によって理解されるであろうように、データフローの経路、すなわち、ＵＳＢおよび／またはＢｌｕｅｔｏｏｔｈ（登録商標）を介したディスプレイ１０５から受信機１２０へのユーザ入力データ、ＷｉＦｉを介した受信機１２０からモデレータデバイス１３０へのユーザ入力データ、モデレータデバイス１３０によるユーザ入力データに基づいた実画像の生成、ＷｉＦｉを介したモデレータデバイス１３０から受信機１２０への実画像、およびＨＤＭＩ（登録商標）を介した受信機１２０からディスプレイ１０５への実画像は、コンテンツ投影システムの待ち時間に起因して、時間遅延に悩まされるであろう。

【0038】

本発明の一側面によると、モデレータデバイス１３０は、米国特許出願第１４／９８６，４６８号（その全内容が、参照することによって本明細書に組み込まれる）に説明されるように、メンバーデバイス１４０をモデレータとして指定してもよい。故に、モデレータデバイス１３０は、ディスプレイ１０５上にユーザによって提供されるユーザ入力が、メンバーデバイス１４０に伝送され、メンバーデバイス１４０のメモリ内に記憶されるオリジナルファイルを修正するであろうように、メンバーデバイス１４０の画面をディスプレイ１０５上で共有することを選んでもよい。

【0039】

本発明の別の側面によると、受信機１２０は、モデレータデバイス１３０の中に組み込まれてもよい。例えば、受信機１２０は、モデレータデバイス１３０としての役割を果たす、ラップトップの中に組み込まれてもよい。本発明の別の側面によると、受信機１２０およびディスプレイ１０５の任意の好適な配列が、採用されてもよい。例えば、受信機１２０およびディスプレイ１０５は、別個のコンポーネントである、または単一デバイスに組み合わせられてもよい。

【0040】

図２は、本発明の原理に従って構成される、教室設定において使用するための協働プラットフォーム１００の実施形態を描写する。図２に示されるように、メインディスプレイ１０５は、教室の生徒に可視であって、生徒が、直接、ユーザ入力を受信機１２０と通信するディスプレイ１０５に提供し得るように、入／出力デバイス１１０、例えば、タッチスクリーンを含む、ように。本発明の別の側面によると、生徒は、直接、受信機１２０と通信する入／出力デバイス１４５を介して、ユーザ入力をメンバーデバイス１４０に提供することができ、これは、次いで、ディスプレイ１０５上に表示されるであろう。図２に示されるように、教師のデスクトップコンピュータは、入／出力デバイス１３５、例えば、タッチスクリーンを有する、モデレータデバイス１３０として指定される一方、各生徒の机に位置する、無線タブレットは、入／出力デバイス１４５、例えば、タッチスクリーンを有する、メンバーデバイス１４０としての役割を果たす。上記に説明されるように、モデレータデバイス１３０およびメンバーデバイス１４０は、受信機１２０と無線で通信する。

【0041】

本発明の別の側面によると、協働プラットフォーム１００は、複数の教室および／または他の協働作業環境設定を横断して使用されてもよい。例えば、モデレータデバイス１３０は、第１のディスプレイと、第１の複数のメンバーデバイスとを有する、第１の教室内にあってもよく、モデレータデバイス１３０は、例えば、ＷｉＦｉを介して、第２の教室内の第２のディスプレイおよび第２の複数のメンバーデバイスと通信してもよい。故に、第２の教室内の生徒は、画像への修正が、第１および第２の教室内の第１および第２のディスプレイ上で可視であるように、第２のディスプレイ上に表示される画像を修正し、それによって、第１の教室内のモデレータデバイス１３０上に記憶されるオリジナルファイルを修正してもよい。

【0042】

ここで図３Ａ－３Ｄを参照すると、それぞれ、ディスプレイ１０５、受信機１２０、モデレータデバイス１３０、およびメンバーデバイス１４０のハードウェアおよびソフトウェアコンポーネントを表す、例示的機能的ブロックが、提供される。ここで図３Ａを参照すると、ディスプレイ１０５のハードウェアおよびソフトウェアコンポーネントは、処理ユニット１０６と、メモリ１０７と、記憶装置１１１と、通信ユニット１０８と、電源１０９と、入／出力（Ｉ／Ｏ）デバイス１１０とを含んでもよい。

【0043】

処理ユニット１０６は、オペレーティングシステム１１２を起動し、本明細書に記載されるディスプレイ１０５のタスクおよび動作を実施するように構成される、１つまたはそれを上回るプロセッサであってもよい。メモリ１０７は、限定ではないが、揮発性（例えば、ランダムアクセスメモリ（ＲＡＭ））、不揮発性（例えば、読取専用メモリ（ＲＯＭ））、フラッシュメモリ、またはそれらの任意の組み合わせを含んでもよい。通信ユニット１０８は、任意の周知の有線または無線接続を経由して通信を促進する、任意の周知の通信インフラストラクチャであってもよい。例えば、通信ユニット１０８は、情報、例えば、ユーザ入力データを、ＵＳＢケーブルおよび／またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続を介して、協働プラットフォーム１００の受信機１２０に伝送してもよく、情報、例えば、画像を、ＨＤＭＩ（登録商標）ケーブルを介して、受信機１２０から受信してもよい。電源１０９は、バッテリであってもよい、またはディスプレイ１０５を壁コンセントもしくは任意の他の外部電源に接続してもよい。記憶装置１１１は、限定ではないが、例えば、磁気ディスク、光ディスク、またはテープ等のリムーバブルおよび／または非リムーバブル記憶装置を含んでもよい。

【0044】

Ｉ／Ｏデバイス１１０の入力デバイスは、データをディスプレイ１０５に入力するために、ディスプレイ１０５に結合される、またはそのの中に組み込まれる、１つまたはそれを上回るデバイスであってもよい。例えば、Ｉ／Ｏデバイス１１０の入力デバイスは、ユーザ入力をユーザから受信し、ユーザ入力を示す、ユーザ入力データを生成するように構成される、タッチ入力デバイス（例えば、タッチパッドまたはタッチスクリーン）または位置特定センサのアレイであってもよい。加えて、Ｉ／Ｏデバイス１１０の入力デバイスは、位置特定センサのアレイと相互作用する、スマートスタイレットと連動してもよい。Ｉ／Ｏデバイス１１０の出力デバイスは、画像を出力する、または別様に表示するために、ディスプレイ１０５に結合される、またはその中に組み込まれる、任意のデバイスであってもよい。故に、Ｉ／Ｏデバイス１１０は、画像を受信および表示するためのタッチスクリーンであってもよい。

【0045】

オペレーティングシステム１１２は、記憶装置１１１内に記憶され、処理ユニット１０６上で実行されてもよい。オペレーティングシステム１１２は、本明細書に説明されるディスプレイ１０５の機能性を達成するために、ディスプレイ１０５の一般的動作を制御するために好適であってもよい。ディスプレイ１０５はまた、随意に、グラフィックライブラリ、他のオペレーティングシステム、および／または任意の他のアプリケーションプログラムを起動してもよい。当然ながら、ディスプレイ１０５は、図３Ａに図示されるものより付加的またはより少ないコンポーネントを含んでもよく、１つを上回る各タイプのコンポーネントを含んでもよいことを理解されたい。

【0046】

ここで図３Ｂを参照すると、受信機１２０のハードウェアおよびソフトウェアコンポーネントは、処理ユニット１２１と、メモリ１２２と、記憶装置１２６と、通信ユニット１２３と、電源１２４と、入／出力（Ｉ／Ｏ）デバイス１２５とを含んでもよい。

【0047】

処理ユニット１２１は、オペレーティングシステム１２７、協働アプリケーション１２８、およびオーバーレイ画像生成器アプリケーション１２９を起動し、本明細書に記載される受信機１２０のタスクおよび動作を実施するように構成される、１つまたはそれを上回るプロセッサであってもよい。メモリ１２２は、限定ではないが、揮発性（例えば、ランダムアクセスメモリ（ＲＡＭ））、不揮発性（例えば、読取専用メモリ（ＲＯＭ））、フラッシュメモリ、またはそれらの任意の組み合わせを含んでもよい。通信ユニット１２３は、任意の周知の有線または無線接続を経由して通信を促進する、任意の周知の通信インフラストラクチャであってもよい。例えば、通信ユニット１２３は、ＵＳＢケーブルおよび／またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続を介して、情報、例えば、ユーザ入力データをディスプレイ１０５から、およびＷｉＦｉを介して、実画像をモデレータデバイス１３０から受信してもよく、ＨＤＭＩ（登録商標）ケーブルを介して、情報、例えば、画像をディスプレイ１０５に伝送してもよい。さらに、通信ユニット１２３は、ネットワーク１０１、例えば、ＷｉＦｉを介して、ユーザ入力データおよび画像の両方をモデレータデバイス１３０および／またはメンバーデバイス１４０に通信してもよい。本発明の一側面によると、通信ユニット１２３は、例えば、定義されたＴＣＰポートまたはＵＩＢＣエクステンションを介して、情報、例えば、ユーザ入力の１つまたはそれを上回るユーザタイプを示すデータをモデレータデバイス１３０から受信してもよい。

【0048】

電源１２４は、バッテリであってもよい、または受信機１２０を壁コンセントもしくは任意の他の外部電源に接続してもよい。記憶装置１２６は、限定ではないが、例えば、磁気ディスク、光ディスク、またはテープ等のリムーバブルおよび／または非リムーバブル記憶装置を含んでもよい。Ｉ／Ｏデバイス１２５の入力デバイスは、データを受信機１２０に入力するために、受信機１２０に結合される、またはその中に組み込まれる、１つまたはそれを上回るデバイスであってもよい。Ｉ／Ｏデバイス１１０の出力デバイスは、画像を出力または別様に表示するために、受信機１２０に結合される、またはその中に組み込まれる、任意のデバイスであってもよい。

【0049】

協働アプリケーション１２８は、記憶装置１２６内に記憶され、処理ユニット１２１上で実行されてもよい。協働アプリケーション１２８は、モデレータデバイス１３０との情報の交換を促進することを含む、本明細書に記載される受信機１２０の動作を実施するために好適な１つまたはそれを上回る命令のセットを有する、ソフトウェアアプリケーションおよび／またはソフトウェアモジュールであってもよい。例えば、協働アプリケーション１２８は、受信機１２０に、通信ユニット１２３を介して、例えば、ＵＳＢケーブルおよび／またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続を介して、ユーザ入力データをディスプレイ１０５から受信させ、通信ユニット１２３を介して、例えば、ＷｉＦｉを介して、ユーザ入力データをモデレータデバイス１３０に伝えさせてもよい。加えて、協働アプリケーション１２８はさらに、受信機デバイス１３０に、通信ユニット１２３を介して、例えば、ＷｉＦｉを介して、実画像をモデレータデバイス１３０から受信させ、例えば、ＨＤＭＩ（登録商標）ケーブルを介して、実画像に基づいてオーバーレイされた画像をディスプレイ１０５に伝えさせてもよい。本発明の別の側面によると、協働アプリケーション１２８は、下記にさらに詳細に説明されるように、通信ユニット１２３、例えば、定義されたＴＣＰポートまたは修正されたユーザ入力バックチャネル（ＵＩＢＣ）を介して、受信機１２０に、１つまたはそれを上回るユーザタイプを示すデータをモデレータデバイス１３０から受信させてもよい。

【0050】

オーバーレイ画像生成器アプリケーション１２９は、記憶装置１２６内に記憶され、処理ユニット１２１上で実行されてもよい。オーバーレイ画像生成器アプリケーション１２９は、ディスプレイ１０５、モデレータデバイス１３０、およびメンバーデバイス１４０との情報の交換を促進することを含む、本明細書に記載される受信機１２０の動作を実施するために好適な１つまたはそれを上回る命令のセットを有する、ソフトウェアアプリケーションおよび／またはソフトウェアモジュールであってもよい。例えば、オーバーレイ画像生成器アプリケーション１２９は、受信機１２０の処理ユニット１２１に、協働アプリケーション１２８を介してディスプレイ１０５から受信されたユーザ入力データを処理および分析させ、ユーザ入力データに基づいて、オーバーレイ画像を生成させ、オーバーレイ画像に基づいて、オーバーレイされた画像を生成させ、表示のために、通信ユニット１２３を介して、例えば、ＨＤＭＩ（登録商標）ケーブルを介して、オーバーレイされた画像をディスプレイ１０５に伝送させてもよい。加えて、オーバーレイ画像生成器アプリケーション１２９は、下記にさらに詳細に説明されるように、受信機１２０に、オーバーレイ画像もまた、ユーザタイプに基づいて生成されるように、協働アプリケーション１２８を介してディスプレイ１０５から受信されたユーザ入力データに基づいて、１つまたはそれを上回るユーザタイプを導出させてもよい。

【0051】

代替として、オーバーレイ画像生成器アプリケーション１２９が、下記にさらに詳細に説明されるように、受信機１２０に、ディスプレイ１０５から受信されたユーザ入力データに基づいて、１つまたはそれを上回るユーザタイプを導出する代わりに、通信ユニット１２３、例えば、定義されたＴＣＰポートを介して、モデレータデバイス１３０から受信された１つまたはそれを上回るユーザタイプを示すデータに基づいて、オーバーレイ画像を生成させてもよい。本発明の別の実施形態によると、オーバーレイ画像生成器アプリケーション１２９は、下記にさらに詳細に説明されるように、受信機１２０に、ディスプレイ１０５から受信されたユーザ入力データに基づいて、１つまたはそれを上回るユーザタイプを導出する代わりに、通信ユニット１２３、例えば、修正されたユーザ入力バックチャネル（ＵＩＢＣ）を介して、モデレータデバイス１３０から受信された１つまたはそれを上回るユーザタイプを示すデータに基づいて、オーバーレイ画像を生成させてもよい。

【0052】

オペレーティングシステム１２７は、記憶装置１２６内に記憶され、処理ユニット１２１上で実行されてもよい。オペレーティングシステム１２７は、受信機１２０の一般的動作を制御するために好適であってもよく、本明細書に説明される受信機１２０の機能性を達成するために、オーバーレイ画像生成器アプリケーション１２９と連動してもよい。受信機１２０はまた、随意に、グラフィックライブラリ、他のオペレーティングシステム、および／または任意の他のアプリケーションプログラムを起動してもよい。当然ながら、受信機１２０は、図３Ｂに図示されるものより付加的またはより少ないコンポーネントを含んでもよく、１つを上回る各タイプのコンポーネントを含んでもよいことを理解されたい。

【0053】

ここで図３Ｃを参照すると、モデレータデバイス１３０のハードウェアおよびソフトウェアコンポーネントは、処理ユニット１３１と、メモリ１３２と、記憶装置１３６と、通信ユニット１３３、電源１３４と、入／出力（Ｉ／Ｏ）デバイス１３５とを含んでもよい。

【0054】

処理ユニット１３１は、オペレーティングシステム１３７、協働アプリケーション１３８、および随意のオーバーレイ画像アプリケーション１３９を起動し、本明細書に記載されるモデレータデバイス１３０のタスクおよび動作を実施するように構成される、１つまたはそれを上回るプロセッサであってもよい。メモリ１３２は、限定ではないが、揮発性（例えば、ランダムアクセスメモリ（ＲＡＭ））、不揮発性（例えば、読取専用メモリ（ＲＯＭ））、フラッシュメモリ、またはそれらの任意の組み合わせを含んでもよい。通信ユニット１３３は、任意の周知の有線または無線接続を経由して通信を促進する、任意の周知の通信インフラストラクチャであってもよい。例えば、通信ユニット１３３は、ＷｉＦｉを介して、情報、例えば、ユーザ入力データを受信機１２０から受信してもよく、ＷｉＦｉを介して、情報、例えば、画像を受信機１２０に伝送してもよい。電源１３４は、バッテリであってもよい、またはモデレータデバイス１３０を壁コンセントもしくは任意の他の外部電源に接続してもよい。記憶装置１３６は、限定ではないが、例えば、磁気ディスク、光ディスク、またはテープ等のリムーバブルおよび／または非リムーバブル記憶装置を含んでもよい。

【0055】

Ｉ／Ｏデバイス１３５の入力デバイスは、データをモデレータデバイス１３０に入力するために、モデレータデバイス１３０に結合される、またはその中に組み込まれる、１つまたはそれを上回るデバイスであってもよい。例えば、Ｉ／Ｏデバイス１３５の入力デバイスは、ユーザ入力をユーザから受信し、ユーザ入力を示す、ユーザ入力データを生成するように構成される、タッチ入力デバイス（例えば、タッチパッドまたはタッチスクリーン）または位置特定センサのアレイであってもよい。加えて、Ｉ／Ｏデバイス１３５の入力デバイスは、位置特定センサのアレイと相互作用する、スマートスタイレットと連動してもよい。Ｉ／Ｏデバイス１３５の出力デバイスは、画像を出力または別様に表示するために、モデレータデバイス１３０に結合される、またはその中に組み込まれる、任意のデバイスであってもよい。故に、Ｉ／Ｏデバイス１３５は、画像を受信および表示するためのタッチスクリーンであってもよい。

【0056】

協働アプリケーション１３８は、記憶装置１３６内に記憶され、処理ユニット１３１上で実行されてもよい。協働アプリケーション１３８は、受信機１２０との情報の交換を促進することを含む、本明細書に記載されるモデレータデバイス１３０の動作を実施するために好適な１つまたはそれを上回る命令のセットを有する、ソフトウェアアプリケーションおよび／またはソフトウェアモジュールであってもよい。例えば、協働アプリケーション１３８は、モデレータデバイス１３０に、ディスプレイ１０５を介した表示のために、通信ユニット１３３を介して、例えば、ＷｉＦｉを介して、記憶装置１３６上に記憶されるオリジナル画像ファイルからの第１の実画像を受信機１２０に伝送させてもよい。さらに、協働アプリケーション１３８は、モデレータデバイス１３０に、通信ユニット１３３を介して、例えば、ＷｉＦｉを介して、ユーザ入力データを受信機１２０から受信させてもよい。協働アプリケーション１３８はさらに、処理ユニット１３１に、受信機１２０から受信されたユーザ入力データを処理および分析させ、ユーザ入力データに基づいて、実画像を生成することによって、記憶装置１３６上に記憶されるオリジナル画像ファイルを修正させ、実画像を記憶装置１３６上に記憶させてもよい。加えて、協働アプリケーション１３８は、モデレータデバイス１３０に、ディスプレイ１０５を介した表示のために、通信ユニット１３３を介して、例えば、ＷｉＦｉを介して、実画像、例えば、記憶装置１３６上に記憶される実画像を受信機１２０に伝送させてもよい。

【0057】

随意のオーバーレイ画像アプリケーション１３９は、記憶装置１３６内に記憶され、処理ユニット１３１上で実行されてもよい。オーバーレイ画像アプリケーション１３９は、受信機１２０との情報の交換を促進することを含む、本明細書に記載されるモデレータデバイス１３０の動作を実施するために好適な１つまたはそれを上回る命令のセットを有する、ソフトウェアアプリケーションおよび／またはソフトウェアモジュールであってもよい。例えば、オーバーレイ画像アプリケーション１３９は、モデレータデバイス１３０の処理ユニット１３１に、１つまたはそれを上回るユーザタイプを示すユーザタイプデータを協働アプリケーション１３８を通してモデレータデバイス１３０によって受信されたユーザ入力データから導出させ、通信ユニット１３３を介して、例えば、定義されたＴＣＰポートを介して、ユーザタイプデータを受信機１２０に伝送させてもよい。

【0058】

オペレーティングシステム１３７は、記憶装置１３６内に記憶され、処理ユニット１３１上で実行されてもよい。オペレーティングシステム１３７は、モデレータデバイス１３０の一般的動作を制御するために好適であってもよく、本明細書に説明されるモデレータデバイス１３０の機能性を達成するために、協働アプリケーション１３８および随意のオーバーレイ画像アプリケーション１３９と連動してもよい。モデレータデバイス１３０はまた、随意に、グラフィックライブラリ、他のオペレーティングシステム、および／または任意の他のアプリケーションプログラムを起動してもよい。当然ながら、モデレータデバイス１３０は、図３Ｃに図示されるものより付加的またはより少ないコンポーネントを含んでもよく、１つを上回る各タイプのコンポーネントを含んでもよいことを理解されたい。本発明の一実施形態によると、オペレーティングシステム１３７は、モデレータデバイス１３０の処理ユニット１３１に、通信ユニット１３３を介して、例えば、修正されたユーザ入力バックチャネル（ＵＩＢＣ）を介して、１つまたはそれを上回るユーザタイプを示すユーザタイプデータを協働アプリケーション１３８を通してモデレータデバイス１３０によって受信されたユーザ入力から導出させ、ユーザタイプデータを受信機１２０に伝送させてもよい。

【0059】

ここで図３Ｄを参照すると、１つまたはそれを上回るメンバーデバイス１４０のハードウェアおよびソフトウェアコンポーネントは、処理ユニット１４１と、メモリ１４２と、記憶装置１４６と、通信ユニット１４３と、電源１４４と、入／出力（Ｉ／Ｏ）デバイス１４５とを含んでもよい。

【0060】

処理ユニット１４１は、オペレーティングシステム１４７、協働アプリケーション１４８、および随意のオーバーレイ画像アプリケーション１４９を起動し、本明細書に記載されるメンバーデバイス１４０のタスクおよび動作を実施するように構成される、１つまたはそれを上回るプロセッサであってもよい。メモリ１４２は、限定ではないが、揮発性（例えば、ランダムアクセスメモリ（ＲＡＭ））、不揮発性（例えば、読取専用メモリ（ＲＯＭ））、フラッシュメモリ、またはそれらの任意の組み合わせを含んでもよい。通信ユニット１４３は、任意の周知の有線または無線接続を経由して通信を促進する、任意の周知の通信インフラストラクチャであってもよい。例えば、通信ユニット１４３は、ＷｉＦｉを介して、情報、例えば、ユーザ入力データを協働プラットフォーム１００の受信機１２０に伝送してもよく、ＷｉＦｉを介して、情報、例えば、画像を受信機１２０から受信してもよい。電源１４４は、バッテリであってもよい、またはメンバーデバイス１４０を壁コンセントもしくは任意の他の外部電源に接続してもよい。記憶装置１４６は、限定ではないが、例えば、磁気ディスク、光ディスク、またはテープ等のリムーバブルおよび／または非リムーバブル記憶装置を含んでもよい。

【0061】

Ｉ／Ｏデバイス１４５の入力デバイスは、データをメンバーデバイス１４０に入力するために、メンバーデバイス１４０に結合される、またはその中に組み込まれる、１つまたはそれを上回るデバイスであってもよい。例えば、Ｉ／Ｏデバイス１４５の入力デバイスは、ユーザ入力をユーザから受信し、ユーザ入力を示す、ユーザ入力データを生成するように構成される、タッチ入力デバイス（例えば、タッチパッドまたはタッチスクリーン）または位置特定センサのアレイであってもよい。加えて、Ｉ／Ｏデバイス１４５の入力デバイスは、位置特定センサのアレイと相互作用する、スマートスタイレットと連動してもよい。Ｉ／Ｏデバイス１４５の出力デバイスは、画像を出力または別様に表示するために、メンバーデバイス１４０に結合される、またはその中に組み込まれる、任意のデバイスであってもよい。故に、Ｉ／Ｏデバイス１４５は、画像を受信および表示するためのタッチスクリーンであってもよい。

【0062】

協働アプリケーション１４８は、記憶装置１４６内に記憶され、処理ユニット１４１上で実行されてもよい。協働アプリケーション１４８は、受信機１２０との情報の交換を促進することを含む、本明細書に記載されるメンバーデバイス１４０の動作を実施するために好適な１つまたはそれを上回る命令のセットを有する、ソフトウェアアプリケーションおよび／またはソフトウェアモジュールであってもよい。例えば、協働アプリケーション１４８は、メンバーデバイス１４０に、モデレータデバイス１３０へのさらなる伝送のために、通信ユニット１４３を介して、例えば、ＷｉＦｉを介して、Ｉ／Ｏデバイス１４５の入力デバイスを介して受信されたユーザ入力データを受信機１２０に伝送させてもよい。さらに、協働アプリケーション１４８は、メンバーデバイス１４０に、Ｉ／Ｏデバイス１４５の出力デバイスを介した表示のために、通信ユニット１３３を介して、例えば、ＷｉＦｉを介して、画像を受信機１２０から受信させてもよい。

【0063】

随意のオーバーレイ画像アプリケーション１４９は、記憶装置１４６内に記憶され、処理ユニット１４１上で実行されてもよい。オーバーレイ画像アプリケーション１４９は、受信機１２０との情報の交換を促進することを含む、本明細書に記載されるメンバーデバイス１４０の動作を実施するために好適な１つまたはそれを上回る命令のセットを有する、ソフトウェアアプリケーションおよび／またはソフトウェアモジュールであってもよい。メンバーデバイス１４０が、上記に説明されるように、モデレータデバイス１３０によって、モデレータと標識されると、オーバーレイ画像アプリケーション１４９は、オーバーレイ画像アプリケーション１３９と同様に動作してもよい。

【0064】

オペレーティングシステム１４７は、記憶装置１４６内に記憶され、処理ユニット１４１上で実行されてもよい。オペレーティングシステム１４７は、メンバーデバイス１４０の一般的動作を制御するために好適であってもよく、本明細書に説明されるメンバーデバイス１４０の機能性を達成するために、協働アプリケーション１４８および随意のオーバーレイ画像アプリケーション１４９と連動してもよい。メンバーデバイス１４０はまた、随意に、グラフィックライブラリ、他のオペレーティングシステム、および／または任意の他のアプリケーションプログラムを起動してもよい。当然ながら、メンバーデバイス１４０は、図３Ｄに図示されるものより付加的またはより少ないコンポーネントを含んでもよく、１つを上回る各タイプのコンポーネントを含んでもよいことを理解されたい。

【0065】

ここで図４Ａを参照すると、協働プラットフォーム１００本発明の原理による、の例示的実施形態のブロック図が、提供される。図４Ａに示されるように、ユーザ入力データは、有線接続、例えば、ＵＳＢケーブル、および／またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続を介して、ディスプレイ１０５から受信機１２０に伝送されてもよい。加えて、ユーザ入力データおよび実画像は、無線接続、例えば、ＷｉＦｉを横断して、受信機１２０とモデレータデバイス１３０との間で通信されてもよい。さらに、実画像およびオーバーレイ画像に基づいてオーバーレイされた画像は、有線接続、例えば、ＨＤＭＩ（登録商標）ケーブルを介して、受信機１２０からディスプレイ１０５に伝送されてもよい。

【0066】

ここで図４Ｂを参照すると、図４Ａに描写される協働プラットフォーム１００を使用するためのシーケンス略図が、提供される。上記に説明されるように、協働プラットフォーム１００は、モデレータデバイス１３０上に記憶されるオリジナル画像ファイルに基づいて、第１の実画像を表示し、ユーザ入力を受信し、ユーザ入力に基づいて、モデレータデバイス１３０上に記憶されるオリジナル画像ファイルを修正し、修正されたオリジナル画像に基づいて、第２の実画像を表示するために、協働アプリケーション、例えば、Ｍｉｃｒｏｓｏｆｔ（Ｒｅｄｍｏｎｄ， ＷＡ）から利用可能なＭｉｃｒｏｓｏｆｔ ＷｈｉｔｅｂｏａｒｄまたはＧｏｏｇｌｅ ＬＬＣ（Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， Ｃａｌｉｆ．）から利用可能なＧｏｏｇｌｅ Ｄｒｉｖｅ等の第三者アプリケーションを起動してもよい。具体的には、図４Ｂに示されるように、ユーザは、ユーザ入力を、直接、ディスプレイ１０５、例えば、タッチスクリーンに提供してもよい。第１の実画像は、ディスプレイ１０５上にすでに表示されている、例えば、モデレータデバイス１３０上に記憶されるオリジナル画像ファイルからの数学問題であってもよい、またはディスプレイ１０５は、最初に、モデレータデバイス１３０上に記憶されるオリジナル画像ファイルがブランクである場合、ブランクであってもよい。ユーザ入力は、例えば、数字「３」を赤色で形成する、ディスプレイ１０５のタッチスクリーンとの相互作用のパターン（例えば、クリックおよびドラッグ）であってもよい。数字「３」を形成する形状は、ユーザ入力の実施例であって、赤色は、ユーザ入力のユーザタイプの実施例である。他の可能性として考えられるユーザタイプは、例えば、異なる色（例えば、灰色、黒色、赤色、青色等）、太さレベル（例えば、細線、中線、太線）、またはマーカもしくは消しゴムタイプ等を含んでもよい。

【0067】

ディスプレイ１０５によって受信されたユーザ入力に基づくユーザ入力データは、次いで、有線接続、例えば、ＵＳＢケーブル、および／またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続を介して、受信機１２０に伝送され、これは、次いで、無線接続、例えば、ＷｉＦｉを介して、ユーザ入力データをモデレータデバイス１３０に伝える。協働アプリケーションを起動すると、モデレータデバイス１３０は、ユーザ入力データに基づいて、その中のメモリ内に記憶されるオリジナル画像ファイルを修正し、実画像に対応する、実画像ファイルを生成する、例えば、赤色「３」は、数学問題上に重畳される。典型的には、実画像は、次いで、無線接続、例えば、ＷｉＦｉを介して、受信機１２０に伝送され、これは、次いで、表示されるために、有線接続、例えば、ＨＤＭＩ（登録商標）ケーブルを介して、実画像をディスプレイ１０５に伝える。故に、ユーザがユーザ入力をディスプレイ１０５に提供する時間と、実画像がディスプレイ１０５に到達するとき、すなわち、赤色「３」が、ディスプレイ１０５上に現れ始めるときとの間には、望ましくない遅延が存在する。当業者によって理解されるであろうように、協働プラットフォームは、例えば、実画像を生成する前に、数字「３」全体が描出されるまで待機せず、代わりに、本プロセスは、ユーザが数字「３」を描出するにつれて、持続的に生じる。

【0068】

本発明の原理によると、協働プラットフォーム１００は、受信機１２０によって、ユーザによって提供されるユーザ入力に基づいて、オーバーレイ画像を生成し、オーバーレイ画像およびモデレータデバイス１３０によって受信された実画像に基づいて、オーバーレイされた画像を生成し、オーバーレイされた画像をディスプレイ１０５上のオリジナル画像上に表示し、協働プラットフォーム１００の待ち時間を低減させるために、オーバーレイ画像生成器アプリケーションを起動してもよい。

【0069】

具体的には、図４Ａおよび４Ｂに示されるように、受信機１２０は、ユーザ入力データに基づいて、オーバーレイ画像を生成し、オーバーレイ画像およびモデレータデバイス１３０から受信された実画像に基づいて、オーバーレイされた画像を生成し、ディスプレイ１０５上に表示されるオリジナル画像にわたって表示されるために、有線接続、例えば、ＨＤＭＩ（登録商標）ケーブルを介して、オーバーレイされた画像をディスプレイ１０５に伝送し、それによって、協働プラットフォーム１００の待ち時間を低減させてもよい。加えて、受信機１２０は、図７Ａおよび７Ｂに関して下記にさらに詳細に説明されるように、例えば、機械学習、人工知能、またはニューラルネットワークを使用して、ユーザタイプを示すデータをディスプレイ１０５から受信されたユーザ入力データから導出することによって、ユーザ入力のユーザタイプを決定してもよい。故に、受信機１２０は、ユーザタイプを決定するにつれて、ユーザ入力データおよびユーザタイプの両方に基づいて、オーバーレイ画像を生成してもよい。

【0070】

ここで図５Ａを参照すると、協働プラットフォーム１００の受信機１２０のオーバーレイされた画像生成機能性を実装する際に行われるデータフローおよび決定を詳述する、フローチャートが、図示される。上記に述べられたように、協働プラットフォーム１００の受信機１２０は、ユーザ入力に基づいて、オーバーレイ画像を生成し、オーバーレイされた画像が表示されるように、オーバーレイ画像およびモデレータデバイス１３０から受信された実画像に基づいて、オーバーレイされた画像を生成し、それによって、協働プラットフォーム１００の待ち時間を低減させるために使用されてもよい。

【0071】

図５Ａに記載されるプロセスを開始するために、ステップ５００では、オリジナル画像が、受信機１２０によって受信される。例えば、オリジナル画像は、モデレータデバイス１３０から受信されてもよく、例えば、ブランク画面、数学問題、写真等を含んでもよい。ステップ５０１では、受信機１２０は、モデレータデバイス１３０から受信されたオリジナル画像を現在の画像として設定する。これは、オリジナル画像をデコーディングし、および／またはオリジナル画像をバッファ内に設置するステップを伴ってもよい。ステップ５０２では、ユーザ入力を示すユーザ入力データが、受信機１２０によって、例えば、ＵＳＢケーブルおよび／またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続を介して、ディスプレイ１０５から受信されてもよい。好ましくは、ユーザ入力のユーザタイプは、随意に、ステップ５０４－５０６に関して説明されるように、ユーザによって変更されるまで、事前にプログラムされたデフォルト設定、例えば、デフォルト色（灰色）、デフォルト太さ（中線）、およびデフォルトマーカユーザタイプに設定されてもよい。受信機１２０が、ステップ５０２において、ユーザ入力データをディスプレイ１０５から受信する場合、プロセスは、ステップ５０３に進み得る。受信機１２０が、ステップ５０２において、ユーザ入力データをディスプレイ１０５から受信しない場合、プロセスは、直接、下記にさらに詳細に説明される、ステップ５０８に進み得る。

【0072】

ステップ５０３では、受信機１２０は、協働アプリケーションを起動して、さらなる処理および分析のために、ユーザ入力データを、オリジナル画像の源、例えば、モデレータデバイス１３０に伝送する。上記に説明されるように、モデレータデバイス１３０は、受信機１２０から受信されたユーザ入力データに基づいて、実画像を生成する。加えて、受信機１２０は、オーバーレイ画像生成アプリケーションを起動して、即座の表示のために、ユーザ入力データに基づいて、オーバーレイ画像を生成する。

【0073】

随意に、ステップ５０４では、受信機１２０は、ステップ５０２においてディスプレイ１０５から受信されたユーザ入力データを分析し、少なくとも１つのユーザタイプが変化したかどうかを決定する。例えば、受信機１２０は、ディスプレイ１０５上のユーザ入力の空間場所ならびに種々の時点におけるディスプレイ１０５との物理的接触を比較し、例えば、機械学習、人工知能、またはニューラルネットワークを使用して、ユーザが異なるユーザタイプを選択したかどうかを決定してもよい。受信機１２０が、異なるユーザタイプが選択されていない、例えば、ユーザが、異なるユーザタイプアイコンをクリックしていないことを決定する場合、ステップ５０５では、受信機１２０は、前のユーザタイプ、例えば、灰色を使用し続けるであろう。受信機１２０が、ユーザ入力の空間場所と、ユーザが、ディスプレイ１０５との接触を中断し、ディスプレイ１０５上のその具体的空間場所において、ディスプレイ１０５に再接触したという事実とに基づいて、異なるユーザタイプが選択された、例えば、ユーザが赤色を選択したことを決定する場合、ステップ５０６では、受信機１２０は、新しいユーザタイプ、例えば、赤色を選択する。

【0074】

ステップ５０７では、受信機１２０は、図５Ｂに関してさらに詳細に説明されるように、ステップ５０２において受信されたユーザ入力データ、ならびにユーザタイプがステップ５０５または５０６において選択された場合、ステップ５０５または５０６において選択されたユーザタイプに基づいて、オーバーレイ画像の前端を生成する。好ましくは、オーバーレイ画像は、ユーザ入力データと、デフォルトユーザタイプ、例えば、デフォルト色および／またはデフォルト線太さとに基づいて、生成されてもよく、したがって、ステップ５０７は、ステップ５０４－５０６を伴わずに、ステップ５０３後に開始されてもよい。生成されたオーバーレイ画像は、ユーザによって提供されるユーザの実際の入力を表し、さらに、ユーザの実際の入力に基づいて予測されるユーザ入力を含んでもよい。

【0075】

例えば、図５Ｂに示されるように、ユーザ入力データ、随意に、ユーザタイプに基づいて、オーバーレイ画像を生成するために、ステップ５１１では、受信機１２０は、全体的オーバーレイ画像の第１の部分を生成し、これは、例えば、ＵＳＢケーブルおよび／またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続を介して、受信機１２０によってディスプレイ１０５から受信されたユーザの実際の入力を表す。故に、オーバーレイ画像の第１の部分は、オーバーレイされた画像としてディスプレイ１０５上に表示されると、ユーザが実際にディスプレイ１０５上に入力したものを挿入するであろう。ステップ５１２では、受信機１２０は、全体的オーバーレイ画像の第２の延在部分を生成し、これは、例えば、ＵＳＢケーブルおよび／またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続を介して、受信機１２０によってディスプレイ１０５から受信されたユーザ入力データに基づく、ユーザの意図される入力の予測であってもよい。例えば、例えば、外挿、機械学習、人工知能、および／またはニューラルネットワークを使用して、受信機１２０は、下記にさらに詳細に説明されるように、ユーザ入力データからのユーザの入力の空間座標および／または時間座標を分析し、ユーザの意図される入力、例えば、ユーザの次の入力となるであろうものを予測してもよい。ステップ５１３では、受信機１２０は、オーバーレイ画像が、ユーザが実際にディスプレイ１０５上に入力したものと、ユーザがディスプレイ１０５上に入力すると予測されるものとを含むであろうように、オーバーレイ画像の第１の部分および第２の延在部分に基づいて、オーバーレイ画像を生成する。

【0076】

再び図５Ａを参照すると、ステップ５０８では、受信機１２０は、受信機１２０がオーバーレイ画像の前端を生成するにつれて、オーバーレイ画像の後端の一部を除去してもよい。例えば、ディスプレイ１０５上に表示されるオーバーレイされた画像のオーバーレイ画像の一部は、所与の時間にディスプレイ１０５上に表示されるオーバーレイされた画像のオーバーレイ画像の時間の関数として、または空間量の関数として、除去されてもよい。例えば、ディスプレイ１０５上に表示されるオーバーレイされた画像のオーバーレイ画像の各空間座標は、所定の時間量にわたって、例えば、１００～３００ミリ秒またはそれを上回って、表示されたままであり得る。故に、ディスプレイ１０５上のオーバーレイされた画像のオーバーレイ画像を構成する、各空間座標は、同一時間量にわたって、ディスプレイ１０５上に留まってもよく、その時間が経過後、除去されてもよい。オーバーレイ画像の各空間座標は、最初に、オーバーレイされた画像のオーバーレイ画像の前端において、ディスプレイ１０５上に表示され、時間が経過し、付加的空間座標が表示されるにつれて、初期前縁空間座標は、それが除去される前に、例えば、所定の時間量が経過した後、オーバーレイされた画像のオーバーレイ画像の後端で終端する。例えば、各空間座標が表示され得る、所定の時間量は、少なくとも、実画像が、ディスプレイ１０５によって受信され、その上に現れるための待ち期間と同じ長さであり得る。故に、所定の期間にわたってディスプレイ１０５上に表示される空間座標の所与の量にわたって、例えば、同一量の空間座標が、同一所定の期間内に、ディスプレイ１０５から除去されるであろう。

【0077】

本発明の別の側面によると、ディスプレイ１０５上に表示されるオーバーレイされた画像のオーバーレイ画像の一部は、所与の時間量にわたって、最大空間分布、例えば、オーバーレイされた画像のオーバーレイ画像の前端と後端との間の長さおよび／または空間座標の量を有してもよい。したがって、オーバーレイされた画像のオーバーレイ画像の空間座標が、最初に、ディスプレイ１０５上に表示された後に、所定の量の付加的空間座標が、初期空間座標が、ここで、オーバーレイされた画像のオーバーレイ画像の後端にあるように、表示された後、オーバーレイされた画像のオーバーレイ画像の初期空間座標は、ディスプレイ１０５上に表示される付加的空間座標の量が、ディスプレイ１０５上で可能にされる所定の最大量の空間座標を超えるとき、ディスプレイ１０５から除去されるであろう。

【0078】

故に、受信機１２０が、ステップ５０２において、ユーザ入力データをディスプレイ１０５から受信しない場合、ステップ５０８では、付加的前端は、例えば、ユーザが、そのスタイレット／指をディスプレイ１０５から除去すると、例えば、ディスプレイ１０５上に表示されるオーバーレイされた画像のオーバーレイ画像が、現在の画像によって完全に置換される、またはステップ５０２において、付加的ユーザ入力が、受信機１２０によってディスプレイ１０５から受信されるまで、付加的ユーザ入力が、ディスプレイ１０５に提供されない一方、オーバーレイ画像の後端の一部が、徐々に、オーバーレイ画像の後端から除去され、モデレータデバイス１３０から受信された現在の実画像と置換されるように、オーバーレイ画像に追加されないであろう。

【0079】

ステップ５０９では、受信機１２０は、ステップ５０７において生成されたオーバーレイ画像およびステップ５０１における現在の画像セットに基づいて、オーバーレイされた画像を生成する。したがって、生成されたオーバーレイされた画像は、ユーザによって提供されるユーザの実際の入力を表し、さらに、現在の画像上に重畳される、ユーザの実際の入力に基づいて予測されるユーザ入力を含んでもよい。例えば、オーバーレイ画像は、下記の図５Ｃに関して説明されるように、実画像上に重畳され、オーバーレイされた画像を形成してもよく、これは、次いで、受信機１２０によってディスプレイ１０５に送信されてもよい。故に、協働プラットフォーム１００の待ち時間は、オーバーレイされた画像の予測される部分が、見掛け上、ユーザの入力と同様に表示されるため、ディスプレイ１０５上で知覚されない。さらに、現在の画像は、受信機１２０が付加的画像（例えば、実画像）をモデレータデバイス１３０から受信するにつれて、周期的に、更新されてもよい。例えば、受信された付加的画像は、デコーディングされ、および／またはバッファに追加されてもよく、現在の画像になってもよい。このように、受信機１２０によって生成されたオーバーレイされた画像は、更新された現在の画像上に重畳されてもよい。

【0080】

図５Ｃに示されるように、オーバーレイ画像は、実画像上に重畳され、オーバーレイされた画像を形成してもよい。例えば、実画像は、受信機１２０によってディスプレイ１０５から受信されたユーザ入力に対応する、ユーザ入力データに基づいてモデレータデバイス１３０によって生成された、線５１５を含んでもよい。線５１５は、ユーザが実際にディスプレイ１０５上に描出したものを表すが、その大部分がユーザ入力データに基づいてモデレータデバイス１３０によって生成されたもののみを含む。例えば、リアルタイムにおけるユーザの実際の入力は、スタイレット７００によって示されるように、ディスプレイ１０５上の別の点にあり得る。上記に説明されるように、受信機１２０によって生成されたオーバーレイ画像は、受信機１２０によって受信されたユーザの実際の入力を表す、第１の部分５１６と、受信機１２０によって受信されたユーザ入力データに基づくユーザの意図される入力の予測であり得る、第２の延在部分５１７とを含む。さらに、オーバーレイ画像、例えば、線５１６および５１７は、実画像、例えば、線５１５上に重畳され、オーバーレイされた画像、例えば、線５１５、５１６、および５１７を形成してもよい。下記にさらに詳細に説明されるように、オーバーレイ画像の一部は、例えば、時間の関数として、除去されてもよく、したがって、実画像が、延在する、例えば、「３」が描出されるにつれて、線５１５は、より長くなる一方、オーバーレイ画像の線５１６および５１７は、図５Ｃに示されるように、オーバーレイされた画像の線５１５の延在する前端に向かってのみ表示されてもよい。さらに、オーバーレイ画像がさらに、生成され得るにつれて、ユーザの入力の速さに基づいて、オーバーレイ画像、例えば、線５１６および５１７は、ユーザ入力がディスプレイ１０５によってより高速で受信されるとき、より長い線として、ユーザ入力がディスプレイ１０５によってより低速で受信されるとき、より短い線として、表示されてもよい。

【0081】

再び図５Ａを参照すると、ステップ５１０では、受信機１２０は、オーバーレイされた画像、例えば、現在の画像上に重畳される、オーバーレイされた画像の第１部分および第２の延在部分を、ディスプレイ１０５に伝送し、それによって、協働プラットフォーム１００の待ち時間を低減および／または排除する。さらに、ディスプレイ１０５からの付加的ユーザ入力データに対応する付加的実画像が、受信機１２０によってモデレータデバイス１３０から受信され、付加的現在の画像として設定されてもよく、付加的オーバーレイされた画像は、受信機１２０によって、これらの付加的ユーザ入力データによって作成されたオーバーレイ画像に基づいて生成され、付加的現在の画像上に重畳されてもよい。

【0082】

ここで図６Ａ－６Ｅを参照すると、ユーザによって提供されるユーザ入力が、実画像の待ち時間を例証するために、受信機１２０によって生成されたオーバーレイされた画像の表示と併せて図示される。図６Ａに示されるように、ディスプレイ１０５、例えば、タッチスクリーン上に表示される、オリジナル画像は、ブランクであってもよく、ユーザは、スタイレット７００を使用して、点６０５において、スタイレット７００をディスプレイ１０５に対して押下することによって、ディスプレイ１０５と相互作用してもよい。図６Ｂに示されるように、ユーザは、スタイレット７００を、点６０５から点６０６まで、ディスプレイ１０５上でドラッグする。ユーザによるスタイレット７００のドラッグ運動、すなわち、ユーザ入力は、ディスプレイ１０５によって、ユーザ入力データに変換され、受信機１２０に伝送されることができ、これは、次いで、上記に説明されるように、ユーザ入力データをモデレータデバイス１３０に伝送し、オリジナル画像を修正し、ユーザ入力データに基づいて、実画像を生成する。オーバーレイされた画像が、次いで、受信機１２０によって、ユーザ入力データ（随意に、ユーザタイプ）およびモデレータデバイス１３０から受信された実画像に基づいて生成され、ディスプレイ１０５に伝送され、表示される。上記に説明されるように、オーバーレイされた画像は、実画像上に重畳されるオーバーレイ画像によって形成されてもよい一方、オーバーレイ画像は、ディスプレイ１０５によって受信されたユーザの実際の入力を表す、第１の部分と、ディスプレイ１０５によって受信されたユーザ入力データに基づくユーザの意図される入力の予測であり得る、第２の延在部分とを含む。図６Ｂに示されるように、実画像は、依然として、ブランクオリジナル画像であって、したがって、オーバーレイされた画像は、オーバーレイされた画像のオーバーレイ画像７０１のみを含むように現れる。故に、待ち時間は、オーバーレイされた画像が、ユーザが、スタイレット７００を、点６０５から６０６にドラッグした後ほぼ直ちに表示され、したがって、ディスプレイ１０５を見ているユーザまたは他の観察者によって気づかれることが殆どないため、協働プラットフォーム１００上で低減される。

【0083】

協働プラットフォーム１００の協働アプリケーションの待ち時間は、図６Ｃに図示される。図６Ｃに示されるように、ユーザは、スタイレット７００を点６０６から点６０７までドラッグし続ける。一方、ユーザ入力は、ディスプレイ１０５によって、ユーザ入力データに持続的に変換され、受信機１２０に伝送されることができ、これは、次いで、処理のために、無線接続、例えば、ＷｉＦｉを介して、モデレータデバイス１３０に持続的に伝送される。上記に説明されるように、モデレータデバイス１３０は、そのユーザ入力データに基づいて、メモリ内に記憶されるオリジナル画像を修正し、ユーザ入力、例えば、ユーザによるディスプレイ１０５上のスタイレット７００のドラッグ運動を表す、実画像を生成する。図６Ｃに示されるように、スタイレット７００が、点６０７にあるとき、モデレータデバイス１３０は、点６０５から点６０６へのスタイレット７００のユーザのドラッグ運動を表す、処理されたユーザ入力データのみを有し、故に、ユーザの入力を表す、実画像、例えば、実画像７０２を生成する。モデレータデバイス１３０によって生成された実画像は、次いで、受信機１２０に伝送される。上記に説明されるように、受信機１２０は、オーバーレイされた画像を生成し、これは、例えば、ディスプレイ１０５によって受信されたユーザの実際の入力を表す、第１の部分と、実画像７０２上に重畳されるユーザの意図される入力を表す、予測される第２の延在部分とを含む、オーバーレイ画像７０１である。オーバーレイされた画像は、次いで、表示されるために、有線接続、例えば、ＨＤＭＩ（登録商標）ケーブルを介して、ディスプレイ１０５に伝送される。

【0084】

協働アプリケーションのデータフローは、ユーザ入力データが、有線接続を介して、ディスプレイ１０５から受信機１２０に、無線接続を介して、受信機１２０からモデレータデバイス１３０に伝送され、実画像が、無線接続を介して、モデレータデバイス１３０から受信機１２０に、最終的には、有線接続を介して、受信機１２０からディスプレイ１０５に伝送されることを要求するため、望ましくない協働プラットフォーム１００の待ち時間が、観察される。これは、オーバーレイ画像７０１からの遅延とともに表示されている、実画像７０２として、図６Ｃに図示される。図６Ｃにおける例証的実施例として、スタイレット７００が、点６０７にあるとき、オーバーレイ画像７０１は、点６０５から真隣６０７までのマークとして現れる一方、実画像７０２は、点６０６までのみ到着している。

【0085】

さらに、図６Ｄに示されるように、スタイレット７００が、点６０８にある時、オーバーレイ画像７０１は、点６０５から真隣６０８までのマークとして現れる一方、実画像７０２は、点６０７までのみ到着している。図６Ｅは、オーバーレイ画像７０１および実画像７０２が点６０５から点６０８まで延在するように、協働プラットフォーム１００の待ち時間後のある時間後のディスプレイ１０５を図示する。

【0086】

加えて、受信機１２０は、生成されたオーバーレイ画像がまた、１つまたはそれを上回るユーザタイプに基づくように、１つまたはそれを上回るユーザタイプを示す、情報を導出および／または受信してもよい。例えば、ユーザは、１つまたはそれを上回るユーザタイプ、例えば、太さ、色、またはマーカもしくは消しゴムタイプを選択し、選択されたユーザタイプに従って、ユーザ入力を提供してもよい。故に、ユーザが、例えば、数字「３」を赤色でディスプレイ１０５上に描出し始めるにつれて、オーバーレイ画像は、赤色における数字「３」のオーバーレイされた画像が、低減された待ち時間を伴って、ディスプレイ１０５上に表示され始めるであろうように、受信機１２０によって生成され、オーバーレイされた画像として、ディスプレイ１０５に伝送されるであろう。

【0087】

ここで図７Ａ－７Ｄを参照すると、ユーザによって提供されるユーザ入力が、オーバーレイされた画像が、実画像上に重畳される、受信機１２０によって生成された予測されるユーザ入力に加え、ユーザの実際の入力を含むように、受信機１２０によって生成されたオーバーレイされた画像のディスプレイと併せて図示される。図７Ａに示されるように、ユーザは、スタイレット７００を使用して、点７０５（５，６）において、スタイレット７００をディスプレイ１０５に対して押下し、スタイレット７００を、点７０５（５，６）から、点７０６（５，７）、点７０７（５，８）、点７０８（５，９）、点７０９（５，１０）まで、ディスプレイ１０５上でドラッグすることによって、ディスプレイ１０５と相互作用してもよい。故に、ユーザの実際の入力は、図７Ａに示されるように、線７０３として描写される。スユーザによるタイレット７００のドラッグ運動、すなわち、ユーザ入力は、上記に説明されるように、ディスプレイ１０５によって、ユーザ入力データに変換され、受信機１２０に伝送されることができる。したがって、ユーザ入力データは、ユーザの実際の入力、例えば、空間座標（５，６）、（５，７）、（５，８）、（５，９）、および（５，１０）を含む。オーバーレイ画像は、次いで、受信機１２０によって、ユーザ入力データ（随意に、ユーザタイプ）に基づいて生成され、オーバーレイされた画像として表示されるために、ディスプレイ１０５に伝送される。上記に説明されるように、オーバーレイ画像は、図７Ｂに示されるように、ユーザの実際の入力、例えば、線７０３、ならびに予測されるユーザ入力、例えば、受信機１２０によって生成された線７０４を含む。例えば、線７０４は、受信機１２０によって、ユーザ入力データの空間座標（５，６）、（５，７）、（５，８）、（５，９）、および（５，１０）に基づいて、外挿、例えば、線形外挿、多項式外挿、円錐外挿、フレンチ曲線外挿、および／または任意の他の周知の外挿技法、機械学習、人工知能、またはニューラルネットワークを使用して、予測されてもよい。空間座標（５，６）、（５，７）、（５，８）、（５，９）、および（５，１０）に基づいて、受信機１２０は、ユーザの次の入力が、スタイレット７００を、点７０９（５，１０）から、点７１０（５，１１）、点７１１（５，１２）、点７１２（５，１３）、点７１３（５，１４）までドラッグし続けることであろうと予測する。

【0088】

加えて、線７０４は、受信機１２０によって、ユーザ入力データの時間座標に基づいて、外挿、機械学習、人工知能、またはニューラルネットワークを使用して、予測されてもよい。例えば、受信機１２０によって受信されたユーザ入力データは、点７０５が、スタイレット７００によって、Ｔ１において、点７０６が、Ｔ２において、点７０７が、Ｔ３によって、点７０８が、Ｔ４によって、および点７０９が、Ｔ５によってタッチされたことを示す、データを含んでもよく、受信機１２０は、Ｔ１－Ｔ５に基づいて、スタイレット７００の速度を決定してもよい。したがって、受信機１２０は、Ｔ６－Ｔ９間の速度がＴ１－Ｔ５の速度と対応するように、点７１０が、スタイレット７００によって、Ｔ６において、点７１１が、Ｔ７において、点７１２が、Ｔ８において、および点７１３が、Ｔ９において、タッチされるであろうことを予測するであろう。故に、線７０４の点７１０－７１３が、線７０４の点７１０、７１１、７１２、および７１３が、ユーザが、リアルタイムで、スタイレット７００を、点７１０、７１１、７１２、および７１３にドラッグするのと同時に、ディスプレイ１０５上に現れるであろうように、Ｔ１－Ｔ５に基づく速度に対応する速度を伴って、ディスプレイ１０５上に表示され、それによって、協働プラットフォーム１００上の任意の待ち時間を排除するであろう。加えて、受信機１２０は、Ｔ６－Ｔ９間の加速がＴ１－Ｔ５の加速と対応するように、Ｔ１－Ｔ５に基づいて、スタイレット７００の加速を決定してもよい。故に、線７０４の点７１０－７１３は、ユーザが、スタイレット７００を、リアルタイムで、点７１０、７１１、７１２、および７１３にドラッグするのと同時に、線７０４の点７１０、７１１、７１２、および７１３が、ディスプレイ１０５上に現れるであろうように、Ｔ１－Ｔ５に基づく加速に対応する修正された速度を伴って、ディスプレイ１０５上に表示され、それによって、協働プラットフォーム１００上の任意の待ち時間を排除するであろう。

【0089】

外挿、機械学習、人工知能、またはニューラルネットワークを使用して、受信機１２０は、曲線を形成する有限線分を予測し、かつ各有限線分の角度および隣接する線分間の角度の変化を予測することによって、複雑な湾曲線を予測してもよい。例えば、受信機１２０は、ユーザの実際の入力の第１の線分の第１の角度を検出し、ユーザの実際の入力の第２の線分の第２の角度を検出し、第１の角度と第２の角度との間の角度の変化を決定してもよい。第１の角度、第２の角度、およびユーザの実際の入力の角度の変化に基づいて、受信機１２０は、ユ有限線分のーザの次の入力の曲線を予測してもよい。例えば、受信機１２０が、ユーザの実際の入力が、各隣接する線分間の角度の既知の変化を伴う、曲線を形成する、有限線分のシーケンスであることを検出する場合、受信機１２０は、同一曲率を伴う、予測される延在部分を有する、オーバーレイ画像を生成するであろう。さらに、受信機１２０は、ユーザの実際の入力の隣接する有限線分間の角度の変化の変化率を検出し、隣接する有限線分間の角度の変化の検出された変化率に基づいて、ユーザの次の入力を予測してもよい。

【0090】

図７Ｃに示されるように、ユーザは、スタイレット７００を使用して、点７１６（２，５）において、スタイレット７００をディスプレイ１０５に対して押下し、スタイレット７００を、点７１６（２，５）から、点７１７（５，６）、点７１８（８，８）まで、ディスプレイ１０５上でドラッグすることによって、ディスプレイ１０５と相互作用してもよい。故に、ユーザの実際の入力は、図７Ｃに示されるように、線７１４として描写される。ユーザによるスタイレット７００のドラッグ運動、すなわち、ユーザ入力は、上記に説明されるように、ディスプレイ１０５によって、ユーザ入力データに変換され、受信機１２０に伝送されることができる。したがって、ユーザ入力データは、ユーザの実際の入力、例えば、第１の角度を有する、空間座標（２，５）から空間座標（５，６）までの第１の線分と、空間座標（５，６）から空間座標（８，８）までの第２の線分とを含む。オーバーレイ画像が、次いで、受信機１２０によって、ユーザ入力データ（随意に、ユーザタイプ）に基づいて、生成され、ディスプレイ１０５に伝送され、オーバーレイされた画像として表示される。上記に説明されるように、オーバーレイ画像は、図７Ｄに示されるように、ユーザの実際の入力、例えば、線７１４、ならびに受信機１２０によって生成された予測されるユーザ入力、例えば、線７１５を含む。例えば、線７１５は、受信機１２０によって、ユーザ入力データの空間座標（２，５）、（５，６）、および（８，８）に基づいて、外挿、機械学習、人工知能、またはニューラルネットワークを使用して、予測されてもよい。空間座標（２，５）から空間座標（５，６）までの第１の線分の第１の角度と、空間座標（５，６）から空間座標（８，８）までの第２の線分の第２の角度とに基づいて、受信機１２０は、ユーザの次の入力が、スタイレット７００を、点７１８（８，８）から、点７１９（１１，１１）、点７２０（１４，１５）までドラッグし続けるであろうと予測する。点７１８から点７１９および点７１９から点７２０までの線分の角度は、点７１６から点７１７までの線分の第１の角度と点７１７から点７１８までの線分の第２の角度との間の変化率と対応するであろう。

【0091】

上記に説明されるように、線７１５はまた、受信機１２０によって、ユーザ入力データの時間座標に基づいて、外挿、機械学習、人工知能、またはニューラルネットワークを使用して、予測されてもよい。例えば、受信機１２０によって受信されたユーザ入力データは、点７１６が、スタイレット７００によって、Ｔ１において、点７１７が、Ｔ２において、および点７１８が、Ｔ３においてタッチされたことを示す、データを含んでもよく、受信機１２０は、Ｔ１－Ｔ３に基づいて、スタイレット７００の速度を決定してもよい。したがって、受信機１２０は、Ｔ３－Ｔ５間の速度がＴ１－Ｔ３の速度と対応するように、点７１９が、スタイレット７００によって、Ｔ４において、および点７２０が、Ｔ５においてタッチされるであることを予測するであろう。故に、線７１５の点７１９および７２０は、ユーザが、リアルタイムで、スタイレット７００を、点７１９から、７２０にドラッグするのと同時に、線７１５の点７１９および７２０が、ディスプレイ１０５上に現れるであろうように、Ｔ１－Ｔ３に基づく速度に対応する速度を伴って、ディスプレイ１０５上に表示され、それによって、協働プラットフォーム１００上の任意の待ち時間を排除するであろう。加えて、受信機１２０は、Ｔ３－Ｔ５間の加速がＴ１－Ｔ３の加速と対応するように、Ｔ１－Ｔ３に基づいて、スタイレット７００の加速を決定してもよい。故に、線７１５の点７１９および７２０は、ユーザが、リアルタイムで、スタイレット７００を、点７１９から７２０にドラッグするのと同時に、線７１５の点７１９および７２０が、ディスプレイ１０５上に現れるであろうように、Ｔ１－Ｔ３に基づく加速に対応する、修正された速度を伴って、ディスプレイ１０５上に表示され、それによって、協働プラットフォーム１００上の任意の待ち時間を排除するであろう。

【0092】

ここで図８Ａおよび８Ｂを参照すると、本発明の一側面による、ユーザタイプデータを収集する例示的方法が、提供される。図８Ａは、第１の時間におけるディスプレイ１０５のスクリーンショットであって、図８Ｂは、第２の時間におけるディスプレイ１０５のスクリーンショットである。図８Ａおよび８Ｂに示されるように、ディスプレイ１０５上に表示されるインターフェースは、限定ではないが、マーカアイコン６０１、太さアイコン６０２、消しゴムアイコン６０３、および色アイコン６０４を含む、選択可能ユーザタイプを表す、画面の上部のリボン内にユーザフレンドリーアイコンを含んでもよい。例えば、太さアイコン６０２をクリックすることに応じて、ドロップダウンメニューが、「細線」、「中線」、および「太線」等の太さレベル間で選択するための付加的サブアイコンとともに現れてもよい。さらに、例えば、色アイコン６０４をクリックすることに応じて、ドロップダウンメニューが、「灰色」、「黒色」、「青色」、「黄色」等の異なる色間で選択するための付加的サブアイコンとともに現れてもよい。好ましくは、ユーザ入力のユーザタイプは、続いて、ユーザによって変更されるまで、事前にプログラムされたデフォルト設定、例えば、デフォルト色（灰色）、デフォルト太さ（中線）、およびデフォルトマーカユーザタイプに設定されてもよい。

【0093】

上記に説明されるように、受信機１２０は、有線接続、例えば、ＵＳＢケーブル、および／またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続を介して、ユーザ入力データをディスプレイ１０５から受信し、ユーザ入力データから、ユーザ入力の１つまたはそれを上回るユーザタイプを決定してもよい。例えば、例えば、機械学習、人工知能、および／またはニューラルネットワークを使用して、受信機１２０は、ユーザ入力データを分析および／または処理し、ユーザタイプを決定してもよい。機械学習、人工知能、および／またはニューラルネットワークを使用して、受信機１２０は、ディスプレイ１０５に関するユーザの移動のパターン、および／またはユーザのアクション、例えば、続いて描出されるマークのタイプを観察することに基づいて、ユーザタイプを決定してもよい。

【0094】

図８Ａを参照すると、ユーザは、例えば、ディスプレイ１０５に接触し、ディスプレイ１０５との接触を断続せずに、点６０５から、点６０６、点６０７まで移動させることによって、点６０５から、点６０６、点６０７まで延在する線を描出した。図８Ａに示されるように、マーカアイコン６０１が、例えば、マーカアイコン６０１に対応する、ディスプレイ１０５上の点の周界内の任意の点に接触することによって、以前に選択されている。機械学習、人工知能、またはニューラルネットワークに基づいて、受信機１２０は、ディスプレイ１０５のインターフェースを識別し、ユーザによる具体的アクション（例えば、マーカアイコン６０１が常駐する、ディスプレイ１０５の点をクリックする）と具体的ユーザタイプを相関させることができる。例えば、マーカアイコン６０１が、クリックされることが観察され、直後に、ユーザ入力データが、マーカアイコン６０１のクリックに続いて、点６０５から、点６０６、点６０７までのユーザによるスタイレットのドラッグ運動が、点６０５から、点６０６、点６０７まで延在する、マークをもたらすことを示すと、受信機１２０は、マーカアイコン６０１が常駐する、ディスプレイ１０５の点をクリックすることによって、マーカユーザタイプが選択され、これが、ユーザが、線を描出することを可能にすることを学習するであろう。したがって、受信機１２０は、マーカアイコン６０１の空間領域と図面実線を描出する機能を関連付けるであろう。機械学習を使用して、種々の時間点に行われる複数のユーザ入力を比較することで、受信機１２０は、任意のインターフェースの種々のアイコンと、その個別の機能とを推察することができる。故に、受信機１２０は、それによってディスプレイ１０５に対するユーザのアクションを比較し、具体的インターフェースを前提として、選択されたユーザタイプを決定する、データベースを含んでもよい。

【0095】

図８Ｂに示されるように、第２の時間において、受信機１２０は、ユーザがディスプレイ１０５との接触を中断し、次いで、機械学習を通して、消去の機能と関連付けられている、消しゴムアイコン６０３と関連付けられる、ディスプレイ１０５上の点において、ディスプレイ１０５に接触したことを示す、ユーザ入力データを受信する。故に、消しゴムアイコン６０３をクリックすることに応じて、受信機１２０は、図８Ｂに示されるように、消しゴムユーザタイプが選択されたことを決定し、ユーザが点６０７においてディスプレイ１０５に接触し、スタイレットを点６０７から点６０６までドラッグすることに応答して、点６０７から点６０６までの消しゴムマークのオーバーレイ画像を生成する。当業者によって理解されるであろうように、ディスプレイ１０５から受信されたユーザ入力データを分析し、選択されたユーザタイプを決定することによって、受信機１２０は、ユーザ入力だけではなく、ユーザ入力のユーザタイプに基づいて、オーバーレイ画像を生成し、ユーザの選択されたユーザタイプおよびユーザ入力に対応する、オーバーレイされた画像を正確に表示する。

【0096】

ここで図９Ａを参照すると、本発明の原理による、協働プラットフォーム１００’の別の例示的実施形態のブロック図が、提供される。図９Ａに示されるように、ユーザ入力データは、有線接続、例えば、ＵＳＢケーブル、および／またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続を介して、ディスプレイ１０５’から受信機１２０’に伝送されてもよい。加えて、ユーザ入力データおよび実画像が、無線接続、例えば、ＷｉＦｉを横断して、受信機１２０’とモデレータデバイス１３０’との間で通信されてもよい。さらに、オーバーレイされた画像が、有線接続、例えば、ＨＤＭＩ（登録商標）ケーブルを介して、受信機１２０’からディスプレイ１０５’に伝送されてもよい。図９Ａに示されるように、入力のユーザタイプを示す、データユーザが、無線接続、例えば、定義されたＴＣＰポートを介して、モデレータデバイス１３０’から受信機１２０’に伝送されてもよい。

【0097】

ここで図９Ｂを参照すると、図９Ａに描写される協働プラットフォーム１００’を使用するためのシーケンス略図が、提供される。図４Ｂを参照して上記に説明されるように、図９Ａの協働プラットフォーム１００’はまた、モデレータデバイス１３０’上に記憶されるオリジナル画像ファイルに基づいて、第１の画像を表示し、ユーザ入力を受信し、ユーザ入力に基づいて、モデレータデバイス１３０’上に記憶されるオリジナル画像ファイルを修正し、修正されたオリジナル画像に基づいて、第２の画像を表示するために、協働アプリケーションを起動する。

【0098】

図４Ａの協働プラットフォーム１００のように、協働プラットフォーム１００’は、受信機１２０’によって、ユーザによって提供されるユーザ入力に基づいて、オーバーレイ画像を生成し、オーバーレイ画像に基づいて、オーバーレイされた画像を生成し、オーバーレイされた画像をディスプレイ１０５’上のオリジナル画像上に表示し、協働プラットフォーム１００’の待ち時間を低減させるために、オーバーレイ画像生成器アプリケーションを起動してもよい。協働プラットフォーム１００’は、受信機１２０’が、有線接続、例えば、ＵＳＢケーブル、および／またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続を介して、ディスプレイ１０５’から受信されたユーザ入力データに加え、直接、無線接続、例えば、定義されたＴＣＰポートを介して、ユーザタイプを示すデータをモデレータデバイス１３０’から受信し得るという点で、協働プラットフォーム１００と異なる。本実施形態では、受信機１２０’は、ユーザ入力の選択されたユーザタイプに関する情報をディスプレイ１０５から受信されたユーザ入力データから導出する必要がない。例えば、図３Ｃに関して上記に説明されるように、モデレータデバイス１３０’は、受信機１２０’を通してディスプレイ１０５’から受信されたユーザ入力データを処理および分析し、選択されたユーザタイプをユーザ入力データから決定し、定義されたＴＣＰポートを介して、選択されたユーザタイプを示すデータを受信機１２０’に伝送するために、オーバーレイ画像アプリケーション１３９を含んでもよい。故に、受信機１２０’は、ユーザ入力データおよびユーザタイプデータの両方に基づいて、オーバーレイ画像を生成し、オーバーレイ画像に基づいて、オーバーレイされた画像を生成し、有線接続、例えば、ＨＤＭＩ（登録商標）ケーブルを介して、オーバーレイされた画像をディスプレイ１０５’に伝送し、それによって、協働プラットフォーム１００’の待ち時間を低減させる。

【0099】

ここで図１０Ａを参照すると、本発明の原理による、協働プラットフォーム１００’’の別の例示的実施形態のブロック図が、提供される。図１０Ａに示されるように、ユーザ入力データは、有線接続、例えば、ＵＳＢケーブル、および／またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続を介して、ディスプレイ１０５’’から受信機１２０’’に伝送されてもよい。加えて、ユーザ入力データおよび実画像が、無線接続、例えば、ＷｉＦｉを横断して、受信機１２０’’とモデレータデバイス１３０’’との間で通信されてもよい。さらに、オーバーレイされた画像が、有線接続、例えば、ＨＤＭＩ（登録商標）ケーブルを介して、受信機１２０’’からディスプレイ１０５’’に伝送されてもよい。図１０Ａに示されるように、ユーザ入力のユーザタイプを示す、データが、修正されたユーザ入力バックチャネル（ＵＩＢＣ）エクステンションを介して、モデレータデバイス１３０’’のオペレーティングシステムから受信機１２０’’に伝送されてもよい。ＵＩＢＣエクステンションは、概して、ユーザ入力データを受信機からモデレータデバイスに伝送するために使用されるであろう。しかしながら、ここでは、ＵＩＢＣエクステンションは、モデレータデバイス１３０’’から受信機１２０’’へのデータの伝送を可能にするように修正される。

【0100】

ここで図１０Ｂを参照すると、図１０Ａに描写される協働プラットフォーム１００’’を使用するためのシーケンス略図が、提供される。図４Ｂおよび９Ｂを参照して上記に説明されるように、図１０Ａの協働プラットフォーム１００’’もまた、モデレータデバイス１３０’’上に記憶されるオリジナル画像ファイルに基づいて、第１の画像を表示し、ユーザ入力を受信し、ユーザ入力に基づいて、モデレータデバイス１３０’’上に記憶されるオリジナル画像ファイルを修正し、修正されたオリジナル画像に基づいて、第２の画像を表示するために、協働アプリケーションを起動する。

【0101】

図４Ａの協働プラットフォーム１００のように、協働プラットフォーム１００’’は、受信機１２０’’によって、ユーザによって提供されるユーザ入力に基づいて、オーバーレイ画像を生成し、オーバーレイ画像に基づいて、オーバーレイされた画像を生成し、オーバーレイされた画像をディスプレイ１０５’’上のオリジナル画像上に表示し、協働プラットフォーム１００’’の待ち時間を低減させるために、オーバーレイ画像生成器アプリケーションを起動してもよい。協働プラットフォーム１００’’は、受信機１２０’’が、有線接続、例えば、ＵＳＢケーブル、および／またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続を介して、ディスプレイ１０５’から受信されたユーザ入力データに加え、直接、上記に説明されるＵＩＢＣエクステンションを介して、ユーザタイプを示すデータをモデレータデバイス１３０’’のオペレーティングシステムから受信し得るという点で、協働プラットフォーム１００と異なる。

【0102】

本実施形態では、受信機１２０’’は、ユーザ入力の選択されたユーザタイプに関する情報をディスプレイ１０５から受信されたユーザ入力データから導出する必要がない。例えば、図３Ｃに関して上記に説明されるように、モデレータデバイス１３０’’のオペレーティングシステム１３７は、受信機１２０’’を通してディスプレイ１０５’’から受信されたユーザ入力データを処理および分析し、選択されたユーザタイプをユーザ入力データから決定し、ＵＩＢＣエクステンションを介して、選択されたユーザタイプを示すデータを受信機１２０’’に伝送してもよい。故に、受信機１２０’’は、ユーザ入力データおよびユーザタイプデータの両方に基づいて、オーバーレイ画像を生成し、オーバーレイ画像に基づいて、オーバーレイされた画像を生成し、ディスプレイ１０５’’上に表示されるオリジナル画像にわたって表示されるために、有線接続、例えば、ＨＤＭＩ（登録商標）ケーブルを介して、オーバーレイされた画像をディスプレイ１０５’’に伝送し、それによって、協働プラットフォーム１００’’の待ち時間を低減させる。

【0103】

ここで図１１を参照すると、協働プラットフォーム１００’の受信機１２０’または協働プラットフォーム１００’’の受信機１２０’’のオーバーレイされた画像生成機能性を実装する際に行われるデータフローおよび決定を詳述する、フローチャートが、図示される。上記に述べられたように、協働プラットフォーム１００’の受信機１２０’および協働プラットフォーム１００’’の受信機１２０’’は、ユーザ入力に基づいて、オーバーレイ画像を生成し、オーバーレイされた画像が表示されるように、オーバーレイ画像に基づいて、オーバーレイされた画像を生成するために使用される一方、実画像は、モデレータデバイス１３０’、１３０’’によって生成され、それによって、協働プラットフォーム１００’、１００’’の待ち時間を低減させてもよい。

【0104】

図１１に記載されるプロセスを開始するために、ステップ１１０１では、ユーザ入力に対応する、ユーザ入力データが、例えば、ＵＳＢケーブルおよび／またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続を介して、受信機１２０’、１２０’’によって、ディスプレイ１０５’、１０５’’から受信される。ステップ１１０２では、受信機１２０’、１２０’’は、協働アプリケーションを起動すると、さらなる処理および分析のために、ユーザ入力データをオリジナル画像の源、例えば、モデレータデバイス１３０’、１３０’’に伝送する。例えば、モデレータデバイス１３０’、１３０’’は、ユーザ入力の少なくとも１つのユーザタイプを示す、データを導出してもよい。故に、ステップ１１０３では、ユーザタイプデータが、受信機１２０’によって、例えば、定義されたＴＣＰポートを介して、モデレータデバイス１３０’のアプリケーションから、または受信機１２０’’によって、例えば、ＵＩＢＣエクステンションを介して、モデレータデバイス１３０’’から受信される。

【0105】

ステップ１１０４では、受信機１２０’、１２０’’は、ステップ１１０１において受信されたユーザ入力データならびにステップ１１０３において受信されたユーザタイプデータに基づいて、オーバーレイ画像を生成する。オーバーレイ画像は、新しいユーザタイプが、ステップ１１０３において受信されるまで、ユーザ入力データおよびデフォルトユーザタイプに基づいて、生成されてもよい。好ましくは、ユーザ入力のユーザタイプは、続いて、ユーザによって変更されるまで、事前にプログラムされたデフォルト設定、例えば、デフォルト色（灰色）、デフォルト太さ（中線）、およびデフォルトマーカユーザタイプに設定されてもよい。ステップ１１０６では、受信機１２０’、１２０’’は、ディスプレイ１０５’、１０５’’から受信されたユーザ入力データに基づいてモデレータデバイス１３０’、１３０’’によって生成された、実画像を受信する。ステップ１１０６では、受信機１２０’、１２０’’は、オーバーレイ画像および実画像に基づいて、オーバーレイされた画像を生成する。上記に説明されるように、オーバーレイされた画像は、実画像上に重畳されるオーバーレイ画像によって形成されてもよい一方、オーバーレイ画像は、受信機１２０’、１２０’’によって受信されたユーザの実際の入力を表す、第１の部分と、受信機１２０’、１２０’’によって受信されたユーザ入力データに基づくユーザの意図される入力の予測であり得る、第２の延在部分とを含む。ステップ１１０７では、受信機１２０’、１２０’’は、オリジナル画像上に表示されるために、オーバーレイされた画像を、例えば、ディスプレイ１０５’、１０５’’に伝送し、それによって、協働プラットフォーム１００’、１００’’の待ち時間を低減させる。

【0106】

ここで図１２Ａを参照すると、本発明の原理による、協働プラットフォーム１００’’’の別の例示的実施形態のブロック図が、提供される。図１２Ａに示されるように、ユーザ入力データは、有線接続、例えば、ＵＳＢケーブル、および／またはＢｌｕｅｔｏｏｔｈ（登録商標）等の無線接続を介して、ディスプレイ１０５’’’から受信機１２０’’’に伝送されてもよい。受信機１２０’’’は、本明細書に説明されるモデレータデバイスの機能性を実施することが可能であってもよい。例えば、受信機１２０’’’は、ディスプレイ１０５’’’から受信されたユーザ入力データに基づいて、実画像を生成し、さらに、ユーザ入力データに基づいて予測される部分、ならびにオーバーレイ画像および実画像に基づいてオーバーレイされた画像を含む、オーバーレイ画像を生成してもよい。オーバーレイされた画像は、有線接続、例えば、ＨＤＭＩ（登録商標）ケーブルを介して、受信機１２０’’’からディスプレイ１０５’’’に伝送されてもよい。

【0107】

ここで図１２Ｂを参照すると、図１２Ａに描写される協働プラットフォーム１００’’’を使用するためのシーケンス略図が、提供される。図１２Ａの協働プラットフォーム１００’’’は、受信機１２０’’’上に記憶されるオリジナル画像ファイルに基づいて、第１の画像を表示し、ユーザ入力を受信し、ユーザ入力に基づいて、受信機１２０’’’上に記憶されるオリジナル画像ファイルを修正し、修正されたオリジナル画像に基づいて、第２の画像を表示するために、協働アプリケーションを起動してもよい。

【0108】

図４Ａの協働プラットフォーム１００のように、協働プラットフォーム１００’’’は、受信機１２０’’’によって、ユーザによって提供されるユーザ入力に基づいて、ユーザ入力データに基づいて予測される部分を含む、オーバーレイ画像を生成し、オーバーレイ画像に基づいて、オーバーレイされた画像を生成し、オーバーレイされた画像をディスプレイ１０５’’’上のオリジナル画像上に表示し、協働プラットフォーム１００’’’の待ち時間を低減させるために、オーバーレイ画像生成器アプリケーションを起動してもよい。協働プラットフォーム１００’’’は、受信機１２０’’’が、本明細書に説明されるモデレータデバイスとして機能し、ユーザ入力データを外部モデレータデバイスに伝送する必要なく、ディスプレイ１５０’’’から受信されたユーザ入力データに基づいて、修正された実画像を生成し得るという点で、協働プラットフォーム１００と異なる。

【0109】

故に、受信機１２０’’’は、ユーザ入力、ユーザ入力データ、随意に、ユーザタイプデータに基づいて、修正された実画像を生成し、ユーザ入力データ、随意に、ユーザタイプデータに基づいて、オーバーレイ画像を生成し、オーバーレイ画像および実画像に基づいて、オーバーレイされた画像を生成し、ディスプレイ１０５’’’上に表示されるオリジナル画像にわたって表示されるために、有線接続、例えば、ＨＤＭＩ（登録商標）ケーブルを介して、オーバーレイされた画像をディスプレイ１０５’’’に伝送し、それによって、協働プラットフォーム１００’’’の待ち時間を低減させる。

【0110】

表示のために、オーバーレイされた画像を生成するための本明細書に説明される協働プラットフォームは、無線ネットワークを横断して、例えば、受信機とモデレータとメンバーデバイスとの間でデータを伝送する必要性に起因する、待ち時間を低減させるであろう。当業者によって理解されるであろうように、遅延の付加的源は、プロセッサおよびアプリケーション遅延を含む。例えば、ユーザ入力を受信するためのコンピューティングデバイス、例えば、タッチスクリーンディスプレイは、受信機への伝送のためのユーザ入力データを生成するためのユーザ入力のその処理時間において限定されるであろう。本発明の原理によると、外挿、人工知能、機械学習、および／またはニューラルネットワークが、受信機のオーバーレイ画像生成器アプリケーションが、タッチスクリーンおよび／またはモデレータデバイス（ユーザ入力データを処理する際にアプリケーション遅延に悩まされ得る）からのユーザ入力データを待機するのではなく、予測されるユーザ入力に基づいて、オーバーレイされた画像を生成し得るように、ユーザがタッチスクリーンと相互作用するにつれて、ユーザ入力を予測し、それによって、さらに、協働プラットフォームの待ち時間を低減させるために実装されてもよい。

【0111】

上記で本明細書に説明されるコンピュータ動作のいずれかは、少なくとも部分的に、コンピュータ可読メモリ上に記憶されるコンピュータ可読命令として実装されてもよいことを理解されたい。当然ながら、本明細書に説明される実施形態は、例証的であり、コンポーネントは、多種多様な異なる構成で配列され、代用され、組み合わせられ、設計され得、その全てが、検討され、本開示の範囲内に該当することを理解されたい。

【0112】

例証的実施形態の前述の説明は、例証および説明の目的のために提示された。これは、開示される精密な形態に関して包括的または限定的であることを意図しておらず、修正および変形例が、上記の教示を踏まえて可能性として考えられる、または開示される実施形態の実戦から入手され得る。本発明の範囲は、本明細書に添付の請求項およびその均等物によって定義されることが意図される。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B】

【図5A】

【図5B】

【図5C】

【図6】

【図7-1】

【図7-2】

【図8】

【図9A】

【図9B】

【図10A】

【図10B】

【図11】

【図12A】

【図12B】

【国際調査報告】