特許 7455764 モバイルデバイスを使用した共有ディスプレイの注釈システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-15

(45)【発行日】2024-03-26

(54)【発明の名称】モバイルデバイスを使用した共有ディスプレイの注釈システム

(51)【国際特許分類】

   G06F 3/0346 20130101AFI20240318BHJP

   G06F 3/0481 20220101ALI20240318BHJP

   G06F 3/038 20130101ALI20240318BHJP

   H04N 21/435 20110101ALI20240318BHJP

   H04N 21/436 20110101ALI20240318BHJP

【ＦＩ】

G06F3/0346 425

G06F3/0481

G06F3/038 310

H04N21/435

H04N21/436

【請求項の数】 15

(21)【出願番号】P 2020567133

(86)(22)【出願日】2019-06-01

(65)【公表番号】

(43)【公表日】2021-10-07

(86)【国際出願番号】 US2019035095

(87)【国際公開番号】W WO2019232502

(87)【国際公開日】2019-12-05

【審査請求日】2022-05-30

(31)【優先権主張番号】15/996,455

(32)【優先日】2018-06-02

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】515233498

【氏名又は名称】マーシブ テクノロジーズ，インコーポレイティド

(74)【代理人】

【識別番号】100118500

【弁理士】

【氏名又は名称】廣澤 哲也

(74)【代理人】

【氏名又は名称】渡邉 勇

(74)【代理人】

【識別番号】100174089

【弁理士】

【氏名又は名称】郷戸 学

(74)【代理人】

【識別番号】100186749

【弁理士】

【氏名又は名称】金沢 充博

(72)【発明者】

【氏名】ジェインズ、クリストファー オー．

(72)【発明者】

【氏名】バルグレイ、ロバート

(72)【発明者】

【氏名】トリバー、マイケル

(72)【発明者】

【氏名】シュレイダー、ジョシュア

(72)【発明者】

【氏名】ヤーケス、コリーン

(72)【発明者】

【氏名】バーニー、マーカス ウィリアム ロバート

(72)【発明者】

【氏名】ケラー、ヴィンセント

(72)【発明者】

【氏名】フェラーリ、ヴィンセント

(72)【発明者】

【氏名】バロン、ブランドン

【審査官】塩屋 雅弘

(56)【参考文献】

【文献】特開２０１４－１０３４５１（ＪＰ，Ａ）

【文献】特開２０１４－０８６９９７（ＪＰ，Ａ）

【文献】特開２０１３－０５０８４６（ＪＰ，Ａ）

【文献】国際公開第２０１６／１５７７８３（ＷＯ，Ａ１）

【文献】国際公開第２０１５／１０４８８４（ＷＯ，Ａ１）

【文献】特開平０７－１２１６９８（ＪＰ，Ａ）

【文献】特開平１０－１０８１５４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｆ ３／０３８

Ｈ０４Ｎ ２１／４３５

Ｈ０４Ｎ ２１／４３６

(57)【特許請求の範囲】

【請求項1】

共有ディスプレイに注釈を付与するためのシステムであって、
前記共有ディスプレイと連結され、プロセッサ、およびホスト注釈ソフトウェアを格納するメモリを含むホストデバイスを備え、
前記ホスト注釈ソフトウェアは、前記プロセッサによって実行されたときに、
ホストＩＤを前記共有ディスプレイ上に表示するために該共有ディスプレイに送信し、
表示するコンテンツを前記共有ディスプレイ上に表示するために該共有ディスプレイに送信し、
モバイルデバイスから受信した登録入力がホストＩＤと一致するとの決定に応じて、前記ホストデバイスを前記モバイルデバイスに無線で接続し、
前記モバイルデバイスとのユーザのやり取りを介して生成された開始指示の受信に応答して、前記モバイルデバイスから受信したクライアント注釈出力に基づいて、表示されたコンテンツの注釈を配置するように動作し、前記クライアント注釈出力は前記モバイルデバイスの位置センサからのセンサデータに基づいており、
前記表示されたコンテンツの注釈の配置は、所定の変更子に基づいて前記クライアント注釈出力を変更することを含み、前記所定の変更子は、前記クライアント注釈出力に基づいた複数の制御ジョイントに対する多項式曲線またはスプライン曲線の適合である、システム。

【請求項2】

前記位置センサは、前記モバイルデバイスのジャイロスコープおよび加速度計である、請求項１に記載のシステム。

【請求項3】

前記ホスト注釈ソフトウェアは、前記モバイルデバイスから共有コンテンツを受信するようにさらに構成され、前記注釈は、前記共有コンテンツ上の注釈である、請求項１に記載のシステム。

【請求項4】

前記表示されたコンテンツの注釈の前記配置は、事前設定された注釈の初期開始点において前記共有ディスプレイ上で前記注釈を開始することを含む、請求項１に記載のシステム。

【請求項5】

前記注釈の前記配置は、前記センサデータがセンサしきい値を超えたことを前記クライアント注釈出力が反映しているときに、前記注釈を前記初期開始点にリセットすることを含む、請求項４に記載のシステム。

【請求項6】

前記注釈の初期開始点は、前記共有ディスプレイの中心である、請求項４に記載のシステム。

【請求項7】

前記表示されたコンテンツの注釈は、前記表示されたコンテンツに重ね合わせられる注釈コンテンツ、および前記モバイルデバイスのユーザを表すクライアントＩＤを含む、請求項１に記載のシステム。

【請求項8】

前記表示されたコンテンツの注釈の前記配置は、前記クライアント注釈出力が前記表示されたコンテンツの注釈を画面外に移動することを指示するときに、前記共有ディスプレイの端に前記注釈を表示することを含む、請求項１に記載のシステム。

【請求項9】

前記表示されたコンテンツの注釈の前記配置は、前記クライアント注釈出力がアニメーション指示を含むときに、前記表示されたコンテンツの注釈をアニメーション化することを含む、請求項１に記載のシステム。

【請求項10】

前記クライアント注釈出力に基づく前記複数の制御ジョイントが所定の適合しきい値内で形状に適合するときは、前記所定の変更子は、前記複数の制御ジョイントに対する形状適合であり、または前記クライアント注釈出力に基づく前記複数の制御ジョイントが前記所定の適合しきい値内で前記形状に適合しないときは、前記所定の変更子は、前記複数の制御ジョイントに対するパラメータ化された曲線またはスプラインの適合である、請求項１に記載のシステム。

【請求項11】

前記表示されたコンテンツの注釈の前記配置は、事前設定された注釈タイマーに基づいて前記共有ディスプレイから前記表示された注釈を削除することを含む、請求項１に記載のシステム。

【請求項12】

前記事前設定された注釈タイマーは、前記共有ディスプレイ上の前記表示されたコンテンツの注釈を前記共有ディスプレイ上に保持する期間の最大長を規定する時計式タイマーである、請求項１１に記載のシステム。

【請求項13】

前記注釈タイマーは、前記クライアント注釈出力に含まれる前記モバイルデバイスの並進情報によって定まる、前記表示されたコンテンツの注釈の速度に基づいている、請求項１１に記載のシステム。

【請求項14】

前記ホスト注釈ソフトウェアは、前記表示されたコンテンツ上の過去の注釈を示す注釈履歴を保存するようにさらに動作する、請求項１に記載のシステム。

【請求項15】

前記ホスト注釈ソフトウェアは、前記注釈履歴を外部デバイスに送信するようにさらに動作する、請求項１４に記載のシステム。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本出願は、２０１８年６月２日に出願された米国特許出願第１５／９９６，４５５号に対する優先権の利益を主張し、その全体が参照により本明細書に組み込まれる。

【背景技術】

【0002】

従来の注釈システムおよびホワイトボードシステムは、プレゼンテーションするユーザが部屋の正面に立ち、ディスプレイを直接操作して、ディスプレイ自体にマークアップおよび描画する、単一のユーザによってプレゼンテーションを行う場合のために設計されてきた。他の注釈システムでは、ユーザは、タッチディスプレイ上でデジタルペンまたはユーザの指を使用して、現れているコンテンツの上にデジタルディスプレイの表面に触れることで描画することができる。ユーザのタッチポイントは、対応する描画イベントが発生するディスプレイ上のポイントを直接示す。例えば、ユーザがポイント（ｘ，ｙ）_１に触れ、指をポイント（ｘ，ｙ）_２にドラッグすると、注釈システムはディスプレイ上のこれら２つのピクセル位置の間に線を引くことができる。この手法は、ディスプレイを同時に操作している複数のユーザをサポートするように拡張されている。

【0003】

このモデルの代替案は、ユーザが自身のデバイス上で、疑似ディスプレイの操作を可能にすることによって導入されてきた。ユーザはその場に留まってローカルディスプレイに描画し、それらの注釈を部屋のディスプレイに移動させてグループで見ることができる。

【発明の概要】

【0004】

以下の概要は、本明細書に開示される実施形態のいくつかの態様を提供することを意図している。態様の一実施形態での特徴、ならびにこの概要の他の態様、ならびに開示されているがこの概要の所与の態様に記載されていない特徴は、当業者によって理解されるように、任意の方法で組み合わせることができる。そのため、以下の概要は範囲を限定するものではないが、例として列挙されている。

【0005】

第１の態様では、共有ディスプレイに注釈を付与するためのシステムは、プロセッサ、位置センサ、およびクライアント注釈命令を有するモバイルデバイスを備えている。このクライアント注釈命令は、前記プロセッサによって実行されると、共有ディスプレイに接続されたホストデバイスに前記モバイルデバイスを登録し、ユーザの前記モバイルデバイスとのやり取りによって生成された開始指示に応答して、前記モバイルデバイスの前記位置センサからキャプチャされたセンサデータを使用して、共有ディスプレイに表示されたコンテンツの注釈を配置するように動作する。

【0006】

第１の態様の一実施形態では、前記位置センサは、前記モバイルデバイスのジャイロスコープおよび加速度計を含む。

【0007】

第１の態様の一実施形態では、前記クライアント注釈ソフトウェアは、共有コンテンツを前記モバイルデバイスから前記ホストデバイスに送信するようにさらに構成され、前記注釈は、前記共有コンテンツ上の注釈である。

【0008】

第１の態様の一実施形態では、前記モバイルデバイスの前記ホストデバイスへの前記登録は、登録入力を受信するために、前記モバイルデバイスの入力デバイスを介してユーザとやり取りすること、前記登録入力を前記ホストデバイスに送信すること、および前記登録入力がホストＩＤと一致する場合、前記ホストデバイスと前記モバイルデバイス間の接続を確立することを含む。

【0009】

第１の態様の一実施形態では、前記ホストＩＤが共有ディスプレイに表示される。

【0010】

第１の態様の一実施形態では、前記表示されたコンテンツの注釈の配置は、複数の時間測定点における前記センサデータを監視すること、および共有ディスプレイ上の注釈の意図された動作を定義する一連の（ｘ，ｙ）画面座標を生成することを含む。

【0011】

第１の態様の一実施形態では、前記表示されたコンテンツの注釈の配置は、複数の時間測定点における前記センサデータを監視すること、前記センサデータに基づいてチルト、ヨー、ロール情報を生成すること、および前記チルト、ヨー、ロール情報をクライアント注釈出力として前記ホストデバイスに送信することを含む。

【0012】

第１の態様の一実施形態では、前記監視センサデータは、前記複数の時間測定点のうちの少なくとも２つの間で並進情報を生成し、前記並進情報を前記クライアント注釈出力として出力することをさらに含む。

【0013】

第１の態様の一実施形態では、前記クライアント注釈命令は、クライアント入力データを受信するようにさらに動作し、前記クライアント入力データに基づいて前記クライアント注釈出力を出力する。

【0014】

第１の態様の一実施形態では、前記クライアント入力データは、前記ホストデバイスと連結された共有ディスプレイに表示される注釈の色、サイズ、形状、およびテキストのうちの１つまたは複数を含む。

【0015】

第１の態様の一実施形態では、前記クライアント入力データは、前記共有ディスプレイ上の注釈をアニメーション化することを指示する、前記モバイルデバイスで受信されたアニメーション指示を含む。

【0016】

第１の態様の一実施形態では、前記開始指示は、前記ユーザによって前記入力デバイス上のボタンを押すことを含む。

【0017】

第１の態様の一実施形態では、前記開始指示は、加速度計データを介して検出された、前記ユーザによるモバイルデバイスピックアップ動作の検出を含む。

【0018】

第１の態様の一実施形態では、前記クライアント注釈命令は、停止指示を受信し、前記開始指示に応答した前記注釈の前記配置を終了するようにさらに動作する。

【0019】

第１の態様の一実施形態では、前記停止指示は、前記ユーザによって前記入力デバイス上のボタンを押すことを含む。

【0020】

第１の態様の一実施形態では、前記停止指示は、前記加速度計データを介した前記ユーザによる電話を置く動作の検出を含む。

【0021】

第１の態様の一実施形態では、前記注釈の前記配置は、複数の時間測定点における前記センサデータを監視すること、前記センサデータに基づいて、意図された注釈の複数の制御ジョイントを識別すること、パラメータ化された関数を前記複数の制御ジョイントに適合させて、パラメータ化された曲線を決定すること、および前記パラメータ化された曲線をクライアント注釈出力としてホストデバイスに送信することを含む。

【0022】

第１の態様の一実施形態では、前記パラメータ化された曲線は、多項式曲線またはスプライン曲線である。

【0023】

第１の態様の一実施形態では、前記注釈の前記配置は、パラメータ化された関数の前記適合中に、前記複数の制御ジョイントまたは前記パラメータ化された曲線に形状を適合させること、および前記形状が予め定められた適合しきい値内に収まる場合、前記パラメータ化された曲線の代わりに前記形状を前記ホストデバイスに送信することをさらに含む。

【0024】

第１の態様の一実施形態では、前記クライアント注釈命令は、前記センサデータがセンサしきい値を超えたときに、前記共有ディスプレイ上の前記注釈をリセットすることを指示するクライアント注釈出力を生成する。

【0025】

第２の態様では、共有ディスプレイに注釈を付与するためのシステムは、前記共有ディスプレイと連結され、プロセッサ、およびホスト注釈命令を格納するメモリを含むホストデバイスを備え、前記ホスト注釈命令は、前記プロセッサによって実行されたときに、ホストＩＤを前記共有ディスプレイ上に表示するために該共有ディスプレイに送信し、表示されたコンテンツを前記共有ディスプレイ上に表示するために該共有ディスプレイに送信し、前記クライアントデバイスから受信した登録入力がホストＩＤと一致するとの決定に応じて、前記ホストデバイスをモバイルデバイスに無線で接続し、前記モバイルデバイスとのユーザのやり取りを介して生成された開始指示の受信に応答して、前記モバイルデバイスから受信したクライアント注釈出力に基づいて、表示されたコンテンツの注釈を配置するように動作し、前記クライアント注釈出力は前記モバイルデバイスの位置センサからのセンサデータに基づいている。

【0026】

第２の態様の一実施形態では、前記位置センサは、前記モバイルデバイスのジャイロスコープおよび加速度計を含む。

【0027】

第２の態様の一実施形態では、前記ホスト注釈ソフトウェアは、前記モバイルデバイスから共有コンテンツを受信するようにさらに構成され、前記注釈は、前記共有コンテンツ上の注釈である。

【0028】

第２の態様の一実施形態では、前記表示されたコンテンツの注釈の前記配置は、事前設定された注釈の初期開始点において前記共有ディスプレイ上で前記注釈を開始することを含む。

【0029】

第２の態様の一実施形態では、前記注釈の前記配置は、前記センサデータが前記センサしきい値を超えたことを前記クライアント注釈出力が反映しているときに、前記注釈を前記初期開始点にリセットすることを含む。

【0030】

第２の態様の一実施形態では、前記注釈の初期開始点は、前記共有ディスプレイの中心である。

【0031】

第２の態様の一実施形態では、前記表示されたコンテンツの注釈は、前記表示されたコンテンツに重ね合わされる注釈コンテンツ、および前記モバイルデバイスのユーザを表すクライアントＩＤを含む。

【0032】

第２の態様の一実施形態では、前記表示されたコンテンツの注釈の前記配置は、前記クライアント注釈出力が前記表示されたコンテンツの注釈を画面外に移動することを指示するときに、前記共有ディスプレイの端に前記注釈を表示することを含む。

【0033】

第２の態様の一実施形態では、前記表示されたコンテンツの注釈の前記配置は、前記クライアント注釈出力がアニメーション化指示を含む場合、前記表示されたコンテンツの注釈をアニメーション化することを含む。

【0034】

第２の態様の一実施形態では、前記表示されたコンテンツの注釈の前記配置は、所定の変更子に基づいて前記クライアント注釈データを変更することを含む。

【0035】

第２の態様の一実施形態では、前記所定の変更子は、前記クライアント注釈出力に基づいた複数の制御ジョイントに対するパラメータ化された曲線の適合である。

【0036】

第２の態様の一実施形態では、前記パラメータ化された曲線は、多項式曲線またはスプライン曲線である。

【0037】

第２の態様の一実施形態では、前記クライアント注釈出力に基づく複数の制御ジョイントが所定の適合しきい値内で形状に適合するときは、前記所定の変更子は、前記制御ジョイントに対する形状適合であり、または前記クライアント注釈出力に基づく前記制御ジョイントが前記所定の適合しきい値内で前記形状に適合しないときは、前記所定の変更子は、前記複数の制御ジョイントに対するパラメータ化された曲線またはスプラインの適合である。

【0038】

第２の態様の一実施形態では、前記表示されたコンテンツの注釈の前記配置は、事前設定された注釈タイマーに基づいて、前記共有ディスプレイから前記表示された注釈を削除することを含む。

【0039】

第２の態様の一実施形態では、前記事前設定された注釈タイマーは、時計式タイマーである。

【0040】

第２の態様の一実施形態では、前記注釈タイマーは、前記共有ディスプレイ上の前記表示されたコンテンツの注釈の最大長を規定する。

【0041】

第２の態様の一実施形態では、前記注釈タイマーは、前記クライアント注釈データに含まれる並進によって定まる、前記表示されたコンテンツの注釈の速度に基づいている。

【0042】

第２の態様の一実施形態では、前記ホスト注釈命令は、前記表示されたコンテンツ上の過去の注釈を示す注釈履歴を保存するようにさらに動作する。

【0043】

第２の態様の一実施形態では、前記ホスト注釈命令は、前記注釈履歴を外部デバイスに送信するようにさらに動作する。

【0044】

第３の態様では、ホストデバイスと連結された共有ディスプレイに注釈を付与するための方法は、モバイルデバイスを前記ホストデバイスに登録する工程と、ユーザの前記モバイルデバイスとのやり取りを介して生成された開始指示に応答して、前記モバイルデバイスと前記ホストデバイス間で送信されたクライアント注釈出力に基づいて、前記共有ディスプレイ上に表示されたコンテンツの注釈を配置する工程を含み、前記クライアント注釈出力は、位置センサを介して前記モバイルデバイスでキャプチャされ、前記ホストデバイスに送信されたセンサデータを含む。

【0045】

第３の態様の一実施形態では、前記位置センサは、ジャイロスコープおよび加速度計である。

【0046】

第３の態様の一実施形態では、前記方法は、前記モバイルデバイスと前記ホストデバイスとの間で共有コンテンツを送信する工程をさらに含み、前記注釈の配置は、前記共有コンテンツ上に前記注釈を配置することを含む。

【0047】

第３の態様の一実施形態では、前記モバイルデバイスを前記ホストデバイスに登録する前記工程は、前記モバイルデバイスで登録入力を受信する工程と、前記登録入力を前記ホストデバイスに送信する工程と、前記登録入力を、前記ホストデバイスに保存されたホストＩＤと比較する工程と、前記登録入力が前記ホストＩＤと一致するときに、前記ホストデバイスと前記モバイルデバイスを無線で接続する工程を含む。

【0048】

第３の態様の一実施形態では、前記クライアント注釈出力は、前記位置センサに基づいて生成されたチルトデータ、ヨーデータ、およびロールデータを含む。

【0049】

第３の態様の一実施形態では、前記クライアント注釈出力は、前記センサデータの時系列測定点のそれぞれによって定められた２つ以上の制御ジョイント間の並進データを含む。

【0050】

第３の態様の一実施形態では、前記クライアント注釈出力は、クライアント入力データを含む。

【0051】

第３の態様の一実施形態では、前記クライアント入力データは、前記ホストデバイスと連結された共有ディスプレイに表示される注釈の色、サイズ、形状、およびテキストを含む。

【0052】

第３の態様の一実施形態では、前記クライアント入力データは、前記共有ディスプレイ上の前記注釈をアニメーション化することを指示する、前記モバイルデバイスで受信されたアニメーション化指示を含む。

【0053】

第３の態様の一実施形態では、前記注釈の配置は、所定の変更子に従って前記クライアント注釈出力を変更することをさらに含む。

【0054】

第３の態様の一実施形態では、前記クライアント注釈出力に基づく複数の制御ジョイントが所定の適合しきい値内で形状に適合するときは、前記所定の変更子は、前記制御ジョイントに対する形状適合であり、または前記クライアント注釈出力に基づく前記制御ジョイントが前記所定の適合しきい値内で前記形状に適合しないときは、前記所定の変更子は、前記複数の制御ジョイントに対するパラメータ化された曲線またはスプラインの適合である。

【0055】

第３の態様の一実施形態では、前記所定の変更子は、前記クライアント注釈出力に基づいた複数の制御ジョイントに対するパラメータ化された曲線の適合である。

【0056】

第３の態様の一実施形態では、前記所定の変更子は、前記モバイルデバイスで適用されている。

【0057】

第３の態様の一実施形態では、前記所定の変更子は、前記ホストデバイスで適用されている。

【0058】

第３の態様の一実施形態では、前記配置は、前記モバイルデバイスで受信された停止指示に応答して終了する。

【0059】

第３の態様の一実施形態では、前記配置は、データキャプチャ停止遅延が経過していない場合、停止指示の後に前記センサデータをキャプチャし続けることを含む。

【0060】

第３の態様の一実施形態では、前記配置は、前記クライアント注釈出力が前記注釈を前記共有ディスプレイから外れるように移動することを指示している場合、前記共有ディスプレイの端に前記注釈を配置することを含む。

【0061】

第３の態様の一実施形態では、前記表示されたコンテンツの注釈の前記配置は、事前設定された注釈タイマーに基づいて、前記共有ディスプレイから前記表示された注釈を削除することを含む。

【0062】

第３の態様の一実施形態では、前記事前設定された注釈タイマーは、時計式タイマーである。

【0063】

第３の態様の一実施形態では、前記注釈タイマーは、前記共有ディスプレイ上の前記注釈の最大長を規定する。

【0064】

第３の態様の一実施形態では、前記注釈タイマーは、前記クライアント注釈出力に含まれる並進によって定まる前記注釈の速度に基づいている。

【0065】

第３の態様の一実施形態では、前記方法は、前記共有ディスプレイ上の過去の注釈を示す注釈履歴を保存することをさらに含む。

【0066】

第３の態様の一実施形態では、前記方法は、前記注釈履歴を前記ホストデバイスの外部のデバイスに送信することをさらに含む。

【図面の簡単な説明】

【0067】

本開示の前述および他の特徴および利点は、添付の図面に示されているように、実施形態のより具体的な説明から明らかであり、同一の参照文字は、異なる図全体にわたって同じ部分を指している。図面は必ずしも原寸に比例しておらず、代わりに本開示の原理を説明することに重点が置かれている。

【0068】

【図1】図１は、実施形態における共有ディスプレイに注釈を付与するための例示的なシステムを示す。

【0069】

【図2】図２は、図１に示すモバイルデバイスの詳細を示す。

【0070】

【図3】図３は、図１に示すホストデバイスの詳細を示す。

【0071】

【図4】図４は、実施形態における、１２個の時間測定点のそれぞれにおける複数の制御ジョイントを示す。

【0072】

【図5】図５は、実施形態における、所定の変更子の適用後の例示的なクライアント注釈出力を示す。

【0073】

【図6】図６は、複数の制御ジョイントに対する形状（楕円形）適合の形式で出力されるクライアント注釈の一例を示す。

【0074】

【図7A】図７Ａは、開始指示を示す画面上の仮想ボタンを「上にスワイプ」する様子を示す。

【図7B】図７Ｂは、開始指示を示す画面上の仮想ボタンを「上にスワイプ」する様子を示す。

【0075】

【図8】図８は、実施形態における、モバイルデバイスを使用して共有ディスプレイに注釈を付与するための方法を説明するフローチャートである。

【0076】

【図9】図９は、実施形態において、モバイルデバイスをホストデバイスに登録するための方法の一例を示す。

【0077】

【図10】図１０は、一実施形態では、表示されたコンテンツの注釈を共有ディスプレイ上に配置するための方法の一例を示す。

【発明を実施するための形態】

【0078】

従来の注釈付与の手法の重大な欠点は、コンテンツに注釈を付与したり、新しいマークアップを作成したり、描画したりするために、ユーザがディスプレイに手の届く範囲にいる必要があることである。この制限は、プレゼンテーション指向の環境では、プレゼンテーションを行うユーザが既に部屋の先頭に位置している場合においては、些細なことのように思われるかもしれない。しかしながら、共同作業を行う場面では、頻繁に、即興的に、かつオンデマンドでのやり取りが必要になることがあり、この制限は、効率的な共同作業を大幅に妨げることとなる。まだディスプレイの手の届かないところにいるユーザは、ディスプレイに近づくための手間、時間、およびエネルギーがさらに加わることによってやり取りを躊躇してしまう。さらに、この方法では、特定のユーザがディスプレイを操作するために「ステージに立つ」必要があるときに、グループの共同作業の性質を変える可能性がある。

【0079】

さらに、ユーザが自身のデバイス上で疑似ディスプレイとやり取りすることを可能にする手法もまた、重大な欠点がある。まず、ユーザのデバイスは通常、部屋のディスプレイよりもはるかに小さいため、マークを付加することが可能な対応領域を、直接やり取りするモデルと同様に忠実に編集することはできない。例えば、画素の解像度がユーザのデバイスの５倍であるディスプレイについて検討する。ユーザがディスプレイ上の小さな特徴（サイズＳ）を丸で囲みたい場合に、対応する丸をユーザのデバイス上で５分の１小さく描くことは難しいことがある。さらに、ユーザが自身のデバイスの仮想表示面に注釈を付与してディスプレイに送信することを余儀なくされると、上述した自然で直感的な、直接やり取りするモデルの利点のいくつかが失われる。例えば、各ユーザが自身のデバイスの作業領域を単純に拡張して注釈を表示できる場合、誰が注釈を付与しているかを共同編集者が知ることは困難である。

【0080】

本明細書に記載のシステムおよび方法は、モバイルデバイスを使用してディスプレイとやり取りする、１人または複数のユーザをサポートするデジタル注釈の新しい手法を導入することによって、上記の欠点を解決する。これらのシステムおよび方法は、少なくともいくつかの実施形態では、ユーザが共有ディスプレイを使用して作業しており、リアルタイムでディスプレイにマークアップおよび注釈を付与する必要がある環境をサポートする。

【0081】

例えば、ユーザのグループは、ラップトップコンピュータから共有ディスプレイでプレゼンテーションを見るために集まることができる。プレゼンテーションの途中で、１人または複数のユーザが、聞き手に向けて強調するためにプレゼンテーションの一部を丸で囲みたい場合がある。同時に、聞き手のメンバーは、スライドの領域を指して強調表示し、自身が混乱する可能性のあるプレゼンテーションの領域を強調表示したい場合がある。本明細書に記載の実施形態は、聞き手のメンバーがラップトップコンピュータと直接やり取りすることを必要とせず、聞き手のメンバー（「ユーザ」とも呼ばれる）のデバイスに第２の仮想表示面を導入しない新しい手法を開示する。代わりに、ユーザはデバイスを共有ディスプレイに向け、ジェスチャーやその他の開始動作を通じて、ディスプレイに注釈を付与することができる。この方法によれば、ユーザが部屋のどこからでもオンデマンドでやり取りでき、多数のユーザに対応できるため、より共同作業に適しており、参加者は、ユーザがグループの前でジェスチャーをしているため、誰が注釈を付与しているかを確認することができる。

【0082】

さらに、現在のシステムは、部屋のディスプレイの周りに配置された赤外線センサに関して追跡される赤外線エミッタを備えたデバイスなどの特殊なハードウェアを必要としない。代わりに、本明細書に記載のシステムと方法は、社会におけるモバイルデバイスのユビキタスな性質を利用している。本明細書に記載のシステムおよび方法は、特定のユーザによって既に所有されているデバイス（つまり彼らのモバイルデバイス）を利用しており、このデバイスは、最初に共有ディスプレイに接続してデバイス自体を識別させなければならない。このようにして、任意の数のデバイスは同時に注釈を付与することができ、注釈のマーキングをさまざまなユーザに簡単に関連付けることができる。これはまた、追加のハードウェアが必要ないことも意味する。

【0083】

図１は、実施形態における、共有ディスプレイ１０２に注釈を付与するための例示的なシステム１００を示す。図２は、図１に示すモバイルデバイス１０４の詳細を示す。図３は、図１に示すホストデバイス１０６の詳細を示す。図１乃至図３は、以下の説明を最もよく表している。

【0084】

共有ディスプレイ１０２は、ホストデバイス１０６と有線通信または無線通信している。共有ディスプレイ１０２は、コンテンツ１０８を表示する。コンテンツ１０８は、ホストデバイス１０６によって、または、例えば接続されたコンピュータ（ラップトップコンピュータ、デスクトップコンピュータなど）などの共有ディスプレイと連結された他のデバイスによって供給され得る。ユーザ１１０は、モバイルデバイス１０４を介して、以下で説明するプロセスによって、自身のモバイルデバイス１０４をホストデバイス１０６に登録し、その後、モバイルデバイス１０４の自由な動作に基づいて注釈１１２を配置することができる。実施形態では、注釈１１２は仮想ドットであり、この仮想ドットはモバイルデバイス１０４が共有ディスプレイ１０２に関してレーザーポインタとして機能するものである。他の注釈は、本明細書の範囲から逸脱することなく使用することができる。

【0085】

図１に示される実施形態では、第１のユーザ１１０（１）は、自身のモバイルデバイス１０４（１）を使用して、共有ディスプレイ１０２上に注釈１１２（１）を配置する。第２のユーザ１１０（２）は、自身のモバイルデバイス１０４（２）を使用して、共有ディスプレイ１０２上に注釈１１２（２）を配置する。注釈１１２（１）および１１２（２）は、それぞれのユーザ１１０のモバイルデバイス１０４の動作によって定まる任意の形状を有してもよい。任意の数のモバイルデバイス１０４は、ホストデバイス１０６に連結されてもよい。

【0086】

図２に示されるように、モバイルデバイス１０４は、プロセッサ２０２、通信インターフェース２０４、入力デバイス２０６、ディスプレイ２０８、センサグループ２１０、およびメモリ２１２を含む。モバイルデバイス１０４は、スマートフォン、タブレット、ラップトップコンピュータなどのうちの任意の１つまたは複数であってもよい。実施形態では、モバイルデバイス１０４は、「マルチユーザ制御および共有ディスプレイへのメディアストリーミングのためのシステムおよび方法」と題された米国特許出願公開第２０１４／０２４０４４５Ａ１号に記載された１つまたは複数のクライアントデバイスとしてもよく、その全体が参照により本明細書に組み込まれる。

【0087】

プロセッサ２０２は、コンピュータ読み取り可能命令を実行することができるマイクロプロセッサまたは任意の他のデバイスであってもよい。例えば、多くのスマートフォンは中央処理装置としてＡＲＭプロセッサを使用している。

【0088】

通信インターフェース２０４は、例えば、セルラー（２Ｇ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（登録商標）、Ｗｉ－Ｆｉ（登録商標）など）などの無線通信プロトコルを実装するハードウェア（例えば、無線データチップセットなど）および関連するファームウェアであり得る。

【0089】

入力デバイス２０６は、モバイルデバイス１０４への入力を受信するためにユーザ１１０とやり取りするように構成された、またはそのようなやり取りが可能な任意のデバイスである。実施形態では、入力デバイス２０６はディスプレイ２０８の一部であり、例えば、ディスプレイ２０８はタッチスクリーンなどである。

【0090】

センサグループ２１０は、モバイルデバイス１０４の向きおよび他の位置情報を決定するように構成された位置センサを含み得る。例えば、センサグループ２１０は、加速度計２１０、ジャイロスコープ２１６、および磁力計２１８のうちの１つまたは複数を含んでいてもよい。加速度計２１０は、モバイルデバイス１０４の方向の変化を測定する。ジャイロスコープ２１６は、モバイルデバイス自体の回転を測定する。磁力計２１８は、モバイルデバイス１０４の周りの磁場（例えば、地球の磁場）を測定し、ユーザ１１０がモバイルデバイス１０４を移動させる際に、加速度計２１４およびジャイロスコープ２１６からのデータを較正し、真の向きおよび並進情報を決定するために使用され得る。

【0091】

メモリ２１２は、揮発性メモリと不揮発性メモリの一方または両方を含み得る。メモリ２１２は、プロセッサ２０２によって実行されると、本明細書に記載のモバイルデバイス１０４の機能を実行するように動作する一時的および／または非一時的なコンピュータ読み取り可能命令として、クライアント注釈ソフトウェア２２０を保存することができる。クライアント注釈ソフトウェア２２０は、例えば、ユーザ１１０が共有ディスプレイ１０２上で注釈の付与を開始できるように、ディスプレイ２０８に表示されるモバイルデバイスで実行されるアプリケーションであり得る。例えば、クライアント注釈ソフトウェア２２０は、Mersive Technologies, Inc.製のSolstice Clientアプリケーションであってもよい。したがって、クライアント注釈ソフトウェア２２０は、ユーザ１１０をモバイルデバイス１０４の所有者および／または操作者として識別するユーザＩＤ２２２を含み得る。

【0092】

ここで、図３を参照して、ホストデバイス１０６は、共有ディスプレイ１０２に統合され得るか、またはそれから分離され、共有ディスプレイ１０２に有線または無線で接続され得る。ホストデバイス１０６は、例えば、Mersive Technologies, Inc.製のSolstice Podであってもよい。ホストデバイス１０６は、プロセッサ３０２、通信インターフェース３０４、およびメモリ３０６を含み得る。プロセッサ３０２は、コンピュータ読み取り可能命令を実行することができるマイクロプロセッサまたは任意の他のデバイスであってもよい。

【0093】

通信インターフェース２０４は、例えば、セルラー（２Ｇ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ、Ｗｉ－Ｆｉなど）などの無線通信プロトコルを実装するハードウェア（無線データチップセットなど）および関連するファームウェアであり得る。通信インターフェース２０４はまた、ホストデバイス１０６を共有ディスプレイ１０２に連結するための、例えば、ＵＳＢ、ＨＤＭＩ（登録商標）ケーブル、ライトニングケーブルなどのような有線コンポーネントを含んでいてもよい。

【0094】

メモリ３０６は、揮発性メモリおよび不揮発性メモリの一方または両方を含み得る。メモリ３０６は、プロセッサ３０２によって実行されると、本明細書に記載のホストデバイス１０６の機能を実行するように動作する、一時的および／または非一時的なコンピュータ読み取り可能命令としてホスト注釈ソフトウェア３０８を保存することができる。実施形態では、ホスト注釈ソフトウェア３０８は、共有ディスプレイ１０２に表示される表示コンテンツ１０８を含んでもよい。実施形態では、表示されるコンテンツ１０８は、「マルチユーザ制御および共有ディスプレイへのメディアストリーミングのためのシステムおよび方法」と題された米国特許出願公開第２０１４／０２４０４４５Ａ１号に記載されているような、クライアントデバイスからの１つまたは複数のメディアストリームであってもよく、その全体が参照により本明細書に組み込まれる。したがって、モバイルデバイス１０４は、モバイルデバイス１０４とホストデバイス１０６との間のメディアストリームとしてモバイルデバイス１０４自体に保存したコンテンツ２５８を共有し、次に、モバイルデバイス１０４自体のコンテンツに注釈を付与することなく、共有ディスプレイ１０２上のそのコンテンツに仮想的に注釈を付与することができる。さらに、実施形態では、複数のモバイルデバイス１０４がコンテンツを共有することができ、したがって、任意のモバイルデバイス１０４は、注釈を付与するモバイルデバイスがコンテンツを共有するかどうかによらず、他の任意のモバイルデバイス１０４から共有コンテンツ上に注釈を付けることができる。
ホストデバイスへのモバイルデバイスの登録：

【0095】

ホスト注釈ソフトウェア３０８は、ホストＩＤ３１０を含み得る。ホストＩＤ３１０は、ＩＰアドレス、またはホストデバイス１０６を識別するための他の一意のコードであり得る。ホストＩＤ３１０は、共有ディスプレイ１０２上に表示されてもよいし、他の方法でユーザ１１０に通知されてもよい。ユーザ１１０は、モバイルデバイス１０４の入力デバイス２０６とのやり取りを介して、登録入力２２４を入力することができる。次に、登録入力２２４は、モバイルデバイス１０４の通信インターフェース２０４およびホストデバイス１０６の通信インターフェース３０４を介してホストデバイス１０６に送信されてもよい。次に、ホスト注釈ソフトウェア３０８は、ホストＩＤ３１０と受信された登録入力２２４とを比較し、ホストＩＤ３１０が受信された登録入力２２４と一致する場合、モバイルデバイス１０４は、ホストデバイス１０６に登録される。そのような登録の下で、モバイルデバイス１０４は、ホストとのやり取りを介して、共有ディスプレイ１０２上にそのそれぞれの注釈（例えば、注釈１１２）を配置するか、もしくは制御することができる。モバイルデバイス１０４をホストデバイス１０６に登録する他の方法は、モバイルデバイス１０４がホストデバイス１０６と同じ部屋にあると決定された場合の自動登録など、本明細書の範囲から逸脱することなく実施できることを理解されたい。

【0096】

いくつかの実施形態では、モバイルデバイス１０４の登録は、ホストデバイス１０６に保存された１つまたは複数の管理設定３１２によって排除されるか、もしくは制御されてもよい。管理設定３１２は、例えば、すべてまたは特定のモバイルデバイス１０４のホストデバイス１０６への登録をブロックしてもよい。追加的に、または代替的に、管理設定３１２は、モバイルデバイス１０４のホストデバイス１０６への登録を許可し得るが、モバイルデバイス１０４が共有ディスプレイ１０２に注釈を付与することをブロックしてもよい。管理設定３１２は、ホストデバイス１０６への登録を許可されるモバイルデバイス１０４の最大数を定めることができる。管理設定３１２は、管理者デバイス（図示せず）を介してホストデバイス１０６に送信することができる。管理者デバイスは、実施形態では、モバイルデバイス１０４のうちの１つであってもよい。

【0097】

ホストデバイス１０６に登録する各モバイルデバイス１０４について、上述した登録が繰り返されるか、もしくは実施されてもよいことを理解されたい。
モバイルデバイスを使用した注釈付与：

【0098】

ホストデバイス１０６に登録されると、モバイルデバイス１０４は、共有ディスプレイ１０２に注釈１１２を配置することができる。注釈は、それぞれ、開始指示２２６および停止指示２２８に基づいて開始および停止され得る。ユーザ１１２がモバイルデバイス１０４を共有ディスプレイ１０２上の仮想ペンとして使用している場合は、開始指示２２６は「ペンアップ」イベントを表すことができ、停止指示２２８は「ペンダウン」イベントを表すことができる。

【0099】

開始指示２２６は、実施形態では、入力デバイス２０６上の実際のボタンまたは仮想ボタンの押圧、または他の動作であり得る。例えば、図７Ａおよび図７Ｂは、開始指示２２６を示す画面上の仮想ボタン７０２を「上にスワイプ」する様子を示す。仮想ボタン７０２は、共有ディスプレイとの他のやり取り７０４を含むアプリケーション（Solstice clientアプリケーションなど）に表示され得る。例えば、モバイルデバイス１０４の画面をミラーリングし、モバイルデバイス１０４からメディアを共有し、画像を撮影するなどであるが、これらに限定されない。実施形態では、開始指示２２６は、ユーザ１１０がモバイルデバイス１０２上の仮想ボタンまたは実際のボタンを押している場合にのみセンサデータ２３０がキャプチャされる「長押し」指示であってもよい。実施形態では、開始指示２２６は、画面下向きの状態から画面上向きの状態にする動作（例えば、モバイルデバイスをピックアップする動作）によってモバイルデバイス１０４を反転させるなど、モバイルデバイス１０４を用いてユーザ１１０によって実行される特定のジェスチャーの決定であり得る。ジェスチャーは、メモリ２１２に保存されたセンサデータ２３０に基づいて検出され、センサデータ２３０は、加速度計２１４、ジャイロスコープ２１６、および磁力計２１８の１つまたは複数によって生成される。他のジェスチャーは、本明細書の範囲から逸脱することなく実施されてもよい。

【0100】

停止指示２２８は、実施形態では、入力デバイス２０６上の実際のボタンまたは仮想ボタンの押圧、または実際のボタンまたは仮想ボタンの解放であってもよい（例えば、開始指示２２６が上述した長押し指示である場合）。図７Ａおよび図７Ｂによって示された動作の逆は、停止指示２２８を示してもよい。実施形態では、停止指示２２８は、画面上向きの状態から画面下向きの状態にする動作によってモバイルデバイス１０４を反転させるなど、モバイルデバイス１０４を用いてユーザ１１０によって実行される特定のジェスチャーの決定であり得る。ジェスチャーは、メモリ２１２に保存されたセンサデータ２３０に基づいて検出され、センサデータ２３０は、加速度計２１４、ジャイロスコープ２１６、および磁力計２１８の１つまたは複数によって生成される。他のジェスチャーは、本明細書の範囲から逸脱することなく実施されてもよい。

【0101】

実施形態では、クライアント注釈ソフトウェア２２０は、データキャプチャ停止遅延２２７をさらに含んでもよい。データキャプチャ停止遅延２２７は、停止指示２２８の前に受信された複数の開始指示２２６が互いに干渉するのを防ぐタイマーであり得る。例えば、ユーザ１１０が短期間に２つの開始指示２２６を提示した場合、共有ディスプレイ１０２上の注釈１１２の配置は、再マッピングされないか、もしくは共有ディスプレイ１０２上の初期開始点（例えば、後述する初期開始点３２２）で再開される。データキャプチャ停止遅延２２７はまた、クライアント注釈ソフトウェア２２０が停止指示２２８を受信した後、クライアント注釈ソフトウェア２２０がセンサデータ２３０をキャプチャし続けることを要求し得る。例えば、ユーザ１１０が開始指示２２６を開始した後にモバイルデバイス１０４を左に動かし、その後に停止指示２２８を開始した後もモバイルデバイス１０４を左に動かし続け、さらに、データキャプチャ停止遅延２２７の期間が経過する前に別の開始指示２２６を開始した場合は、注釈１１２は停止指示２２８の左側に開始される。これは、注釈１１２を初期開始点（例えば、後述する初期開始点３２２）にリセットするのとは対照的である。しかしながら、データキャプチャ停止遅延２２７の期間が経過した場合、注釈は初期開始点から再開される。いくつかの実施形態では、データキャプチャ停止遅延２２７は、後述するホスト注釈ソフトウェア３０８に実装できることを理解されたい。

【0102】

開始指示２２６を受信すると、クライアント注釈ソフトウェア２２０は、センサグループ２１０内のセンサからデータをキャプチャし、そのデータをセンサデータ２３０として保存するように動作する。このデータ収集は繰り返されて、センサデータ２３０の複数の時間測定点を形成してもよい。これら時間測定点内の所与の時間ごとに、モバイルデバイス１０４のチルト２３２（γ，ｔ）、ヨー２３４（α，ｔ）、およびロール２３６（β，ｔ）のうちの１つまたは複数が計算される。いくつかの実施形態では、並進２３８はまた、加速度計２１４のデータ、および２つ以上の時間測定点間のチルト２３２、ヨー２３４、およびロール２３６の計算に基づいて計算され得る。次に、チルト２３２、ヨー２３４、ロール２３６、および並進２３８のデータのうちの１つまたは複数がパッケージ化され、クライアント注釈出力２４０としてホストデバイス１０６に送信される。実施形態では、クライアント注釈出力２４０は、チルト２３２、ヨー２３４、ロール２３６、および並進２３８のデータに加えて、またはそれらに代えて、センサデータ２３０に基づく共有ディスプレイ１０２上の注釈１１２の意図された動きを表す一連の（ｘ，ｙ）画面座標を含む。磁力計２１８および／またはそこから収集されたセンサデータを含まない実施形態では、モバイルデバイス１０４の動きは複数の時間測定点のそれぞれで追跡され、開始指示２２６が生成されたときにこの追跡が開始されるため、センサデータ２３０は磁場データに基づいて較正される必要はない。したがって、センサデータ２３０は、最初の時間測定点に基づいて計算されるため、磁力計２０８からの磁場データは必要とされない。

【0103】

実施形態では、センサデータ２３０は、センサしきい値２３９によって制限されてもよい。センサしきい値２３９は、許容されるセンサデータの最大変化を設定するように動作する。例えば、モバイルデバイス１０６が（センサしきい値２３９によって定義される）最大値を超えてヨー、ロール、またはチルトされた場合、クライアント注釈ソフトウェア２４０は、注釈を初期開始点（例えば、後述する初期開始点３２２）にリセットすることを指示するクライアント注釈出力２４０を生成することができる。

【0104】

実施形態では、クライアント注釈出力２４０は、ホストデバイス１０６に送信される前にクライアント注釈ソフトウェア２２０によって前処理されて、複数の制御ジョイント２４２を決定する。これらの制御ジョイント２４２は、複数の時間測定点内の所与の各時間における意図された注釈を表す一連の点である。例えば、制御ジョイント２４２は、複数の時間測定点内のある時間から次の時間への並進２３８を表すことができる。図４は、実施形態における、１２個の時間測定点のそれぞれにおける複数の制御ジョイント４０２を示している。図４に示すように、各制御ジョイント４０２間の線４０４の長さは、各境界制御ジョイント４０２間の並進によって定まる。さらに、線４０４のベクトルの向きは、１つの制御ジョイント４０２から次の制御ジョイント４０２までのチルト、ヨー、およびロールの１つまたは複数によって決定される。
注釈情報の変更

【0105】

実施形態では、クライアント注釈出力２４０は、ホストデバイス１０６に送信される前に、クライアント注釈ソフトウェア２２０によって前処理されて、所定の変更子２４４を複数の制御ジョイント２４２に適用する。所定の変更子２４４は、例えば、パラメータ化された曲線を複数の制御ジョイント２４２に適合させて、制御ジョイント２４２によって示される線内のノイズおよびジッタを平滑化するか、または削除することを含む。パラメータ化された曲線は、多項式曲線またはスプライン曲線であってもよい。図５は、所定の変更子２４４の適用後の例示的なクライアント注釈出力２４０を示している。

【0106】

実施形態では、クライアント注釈出力２４０は、ホストデバイス１０６に送信される前に、クライアント注釈ソフトウェア２２０によって前処理されて、形状を複数の制御ジョイント２４２、またはパラメータ化された曲線またはスプラインのいずれかに適合させる。例えば、制御ジョイント２４２は、異なるパラメトリック関数のそれぞれに対するフィッティング残差を導出するために、最小二乗法などのフィッティング技術を使用して複数のパラメトリック関数に適合されるが、これに限定されない。適合が十分である場合、最適なフィッティング曲線は、クライアント注釈出力２４０として（単独で、または制御ジョイント２４２とともに）送信され、そうでない場合、スプラインは、制御ジョイント２４２に適合され得る。ユーザ１１０がモバイルデバイス１０４を使用してディスプレイに楕円を「描画する」例を考えてみると、当然ながら、生の制御点２４２にはジッタがあり、ユーザ１１０は、近似された楕円のみを描画することができる。制御ジョイント２４２は、それぞれの線（その任意のパラメトリック関数を含む）、円、楕円、長方形などに繰り返し適合している。楕円は適合誤差が小さい可能性があり、それゆえ、ユーザの意図は実際に楕円を描くことであったと理解されているため、それが制御出力２４０として表示されるものである。図６は、複数の制御ジョイント４０２に適合する形状６０２（楕円形）の形式の例示的なクライアント注釈出力２４０を示している。１つまたは複数の制御ジョイントの外れ値（例えば、制御ジョイント４０２（１２））は、形状適合プロセスから除外される。

【0107】

実施形態では、ホストデバイス１０６に送信される前に、クライアント注釈出力２４０は、クライアント入力データ２４６のうちの１つまたは複数を含むか、または変更するように前処理される。クライアント入力データ２４６は、入力デバイス２０６を介したユーザ１１０からの入力を含む。クライアント入力データ２４６は、色２４８、サイズ２５０、形状２５２、テキスト２５４、およびアニメーション指示２５６のうちの１つまたは複数を含み得る。形状２５２がユーザ１１０によって選択される場合など、クライアント入力データ２４６が含まれる場合、上述の所定の変更子２４４を必要としない場合がある。例えば、ユーザ１１０は、円の形状を選択することができ、その円は、共有ディスプレイデバイス１０２上に注釈として表示される。

【0108】

アニメーション指示２５６は、実際のボタンまたは仮想ボタンの押圧（例えば、開始指示２２６と同じボタンのダブルタップ）であってもよいし、またはジェスチャー（例えば、モバイルデバイス１０４を空間内で前方へ押し出す）であってもよい。アニメーション指示２５６は、共有ディスプレイ１０２上の注釈１１２をアニメーション化させる（例えば、水の滴下、または揺れる動き、円運動などの他の注釈を介して）。このアニメーションは、注釈の現在の位置とその下にあるコンテンツに聞き手の注意を引き付ける。

【0109】

実施形態では、クライアント注釈出力２４０は、生のセンサデータ２３０（および他のクライアント入力データ２４６）のみを含み、次に、ホストデバイス１０６は、所定の変更子を実行してもよい。さらに、任意の数の制御ジョイント２４２が、所与の時間にホストデバイス１０６に送信され得ることを理解されたい。したがって、モバイルデバイス１０４は、現在の注釈出力２４０および任意の追加の制御ジョイント２４２（および変更されたデータ、または生データ２３０）を含む、注釈の更新を定期的に送信する。

【0110】

ホストデバイス１０６は、クライアント注釈出力２４０の受信を検証する注釈確認応答３１４をモバイルデバイス１０４に送信することができる。モバイルデバイス１０４は、注釈が共有ディスプレイ１０２に表示されていることをユーザが知るように、ディスプレイ２０８を介して注釈確認応答３１４をユーザ１０４に表示してもよい。

【0111】

モバイルデバイスは、停止指示２２８を識別するまで、クライアント注釈出力２４０を連続的または定期的に生成することができる。したがって、共有ディスプレイ１０２上の注釈１１２は、モバイルデバイス１０４からのデータに基づいてリアルタイムで生成される。

【0112】

したがって、クライアント注釈ソフトウェア２２０は、連続注釈モードで動作されてもよい。この連続注釈モードでは、開始指示２２６は、肯定的な停止指示２２８が受信される（例えば、仮想ボタンまたはアクティブボタンを押すか、肯定的なジェスチャーを実行するなど）まで、注釈が常にアクティブになる（例えば、「オンにする」）ように制御する。クライアント注釈ソフトウェア２２０はまた、間欠注釈モードで実行されてもよい。この間欠注釈モードでは、停止指示２２８は、開始指示２２６を開始するのと同じモバイルデバイス１０４上のボタンを単に離すだけである。例えば、ボタン７０２が押され（またはモバイルデバイス１０４のディスプレイ上で上に移動し）、ボタン７０２が解放されるまで（またディスプレイ上で下に移動されるまで）、そのモバイルデバイス１０４に関連する注釈１１２が表示される。
ホストデバイスの注釈処理：

【0113】

クライアント注釈出力２４０を受信すると、ホスト注釈ソフトウェア３０８は、共有ディスプレイ１０２を制御して、その上に注釈３１６を表示することができる。注釈３１６は、注釈コンテンツ３１８と、モバイルデバイス１０４またはそのユーザ１１０を識別する、関連付けられたユーザＩＤ２２２を含んでもよい。関連付けられたユーザＩＤ２２２は、テキストによる識別（例えば、ユーザ１１０の名前）、カラーコード、または様式（例えば、破線の特定のパターンなど）であってもよい。

【0114】

実施形態では、注釈３１８は、１つまたは複数の注釈設定３２０に従って表示されてもよい。注釈設定３２０は、注釈の開始点を表す注釈初期開始点３２２を含んでもよい。例えば、開始点３２２は、共有ディスプレイ１０２の中心でもよい。開始点３２２はまた、共有ディスプレイ１０２の隅、またはそれに関連する任意の他の点（共有ディスプレイ１０２の画面内または画面外を含む）でもよい。

【0115】

さらに、センサデータ２３０の上述した処理は、いずれもモバイルデバイス１０４、またはホストデバイス１０６で実行され得る。例えば、クライアント注釈出力２４０が生のセンサデータ２３０、変更されていない制御ジョイント２４２、および／またはクライアント入力データ２４６のいずれかを含む実施形態では、注釈設定３２０は、共有ディスプレイ１０２上に注釈３１６として表示する前に、上述したのと同様の方法で、クライアント注釈出力２４０が所定の変更子２４４に従って前処理されるように、所定の変更子２４４を含んでもよい。
一時的な注釈：

【0116】

実施形態では、注釈３１６は、本質的に一時的なものであってもよい。したがって、注釈設定３２０は、注釈３１６が共有ディスプレイ１０２上に存在する時間を規定する注釈タイマー３２４を含む。実施形態では、注釈タイマー３２４は、共有ディスプレイ１０２が共有コンテンツ１０８を表示している限りにおいて無限であってもよい所定の期間、共有ディスプレイ１０２上に注釈３１６を保持する時計式タイマーである。実施形態では、注釈タイマー３２４は、共有ディスプレイ上の注釈３１６の長さに基づいている。例えば、注釈３１６は、共有ディスプレイ１０２上で所定の長さだけ消滅または「トレイル」することができる。実施形態では、注釈３１６の長さは、上述した並進情報２３８によって定まる注釈３１６の速度に基づいてもよい。

【0117】

さらに、実施形態では、注釈３１６は、生の注釈データ（例えば、制御ジョイント２４２の直接表示など）から、変更された注釈データ（例えば、所定の変更子２４４の適用後の変更された注釈データの表示）への遷移を含んでもよい。例えば、共有ディスプレイ１０２上の注釈３１６は、制御ジョイント２４２から変更された注釈に徐々に変化することができる。これにより、聞き手は、注釈が平滑化されていること、および／または曲線／形状に適合していることを視覚的に理解できる。

【0118】

実施形態では、ホストデバイス１０６は、共有ディスプレイ１０２の制約に基づいて意図された注釈を変更するようにさらに動作してもよい。例えば、注釈１１２が共有ディスプレイ１０２の端に到達する場合、注釈は画面から外れる代わりに、共有ディスプレイ１０２の端のみに表示されてもよい。後続のクライアント注釈出力２４０が注釈１１２を端から離れるように戻すことを指示するとすぐに、注釈は端から離れるように表示される。実施形態では、後続の注釈出力２４０は、受信された他のすべてのクライアント注釈出力２４０に比例しなければならない。例えば、注釈１１２が共有ディスプレイ１１２の端に到達し、注釈出力２４０が端より１０％離れて移動する場合、後続のクライアント注釈出力２４０は、注釈１１２が共有ディスプレイ１０２上を移動する前に、１０％に比例して端に向かって戻って移動しなければならない。あるいは、後続の注釈出力２４０は、「画面内」に戻るために、注釈１１２が表示される端と反対の方向に移動する必要があるだけである。例えば、クライアント注釈出力２４０が注釈１１２を上端で画面外に出るまで制御したために注釈１１２が上端で表示される場合、ユーザ１１０がモバイルデバイス１０４を下方に移動することを後続の注釈２４０が指示するとすぐに、注釈１１２は上端から離れて配置される。
注釈の保存：

【0119】

ホスト注釈ソフトウェア３０８は、注釈履歴３２６をさらに保持することができる。注釈履歴３２６は、すべてのユーザ１１０からのすべての注釈３１６を含むようにすべてを網羅することができる。注釈履歴３２６は、共有コンテンツ１０８のプレゼンテーション後、あるユーザ１１０が後日、自身（または他のユーザ１１０）の注釈３１６にアクセスできるように、ユーザ１１０によって分割されてもよい。注釈履歴３２６は、Ｗｏｒｄ文書のページ、ＰｏｗｅｒＰｏｉｎｔのページ、プレゼンテーションの議事録など、表示されたコンテンツ１０８の自然な区切りによって分割されてもよい。次に、注釈履歴３２６は、クラウドサーバなどのホストデバイス１０６からリモートデバイスに送信されてもよく、その結果、ユーザ１１０は、後日クライアント注釈ソフトウェア２２０を介して注釈３１６にアクセスすることができる。

【0120】

図８は、実施形態における、モバイルデバイスを使用して共有ディスプレイに注釈を付与するための方法８００のフローチャートである。方法８００は、例えば、図１乃至図７Ｂを参照して上述したシステム１００を使用して実行される。

【0121】

ブロック８０２において、方法８００は、モバイルデバイスをホストデバイスに登録する。ブロック８０２の一例では、モバイルデバイス１０４は、ホストデバイス１０６に登録され、したがって、無線でともに接続される。

【0122】

ブロック８０４において、方法８００は、モバイルデバイスの少なくともジャイロスコープおよび加速度計のデータを使用して、表示されたコンテンツの注釈を共有ディスプレイ上に配置する。ブロック８０４の一例では、注釈３１６は、モバイルデバイス１０４によって生成されたセンサデータ２３０に基づいて共有ディスプレイ１０２上に配置される。

【0123】

ブロック８０６において、方法８００は、共有ディスプレイから注釈を削除する。方法８００の一例では、ホストデバイス１０６は、注釈タイマー３２４に従ってクライアント注釈３１６を削除する。したがって、ブロック８０６の一例では、クライアント注釈３１６は、時計式注釈タイマーである注釈タイマー３２４に基づいて所定の時間経過後に削除される。したがって、ブロック８０６の一例では、クライアント注釈３１６は、共有ディスプレイ１０２に表示される注釈３１６の所定の長さの後に削除される。したがって、ブロック８０６の一例では、クライアント注釈３１６は、並進情報２３８によって決定される、共有ディスプレイ１０２上の注釈３１６の速度に基づいて徐々に消滅する。

【0124】

ブロック８０８において、方法８００は、注釈を保存する。ブロック８０８の一例では、ホストデバイス１０６は、注釈３１６を注釈履歴３２６としてメモリ３０６に保存する。ブロック８０８の例では、注釈履歴３２６は、共有コンテンツ１０８のプレゼンテーション後、あるユーザ１１０が後日、自身（または他のユーザの１１０）の注釈３１６にアクセスできるように、ユーザ１１０によって分割されてもよい。ブロック８０８の例では、注釈履歴３２６は、Ｗｏｒｄ文書内のページ、ＰｏｗｅｒＰｏｉｎｔのページ、プレゼンテーションの議事録など、表示されたコンテンツ１０８の自然な区切りによって分割されてもよい。

【0125】

ブロック８１０において、方法８００は、保存された注釈を外部デバイスに送信する。ブロック８１０の一例では、注釈履歴３２６は、モバイルデバイス１０４に直接送信される。ブロック８１０の一例では、注釈履歴３２６は、クラウドストレージなどの外部デバイスに送信され、外部デバイスは、モバイルデバイス１０４から注釈履歴へのアクセスを可能にする。

【0126】

図９は、実施形態において、モバイルデバイスをホストデバイスに登録するための例示的な方法９００を示している。方法９００は、方法８００のブロック８０２の例である。

【0127】

ブロック９０２において、方法９００は、モバイルデバイスで登録入力を受信する。ブロック９０２の一例では、ユーザ１１０は、入力デバイス２０６を使用して登録入力２２４を入力する。ブロック９０２の一例では、登録入力２２４は、モバイルデバイス１０４のホストデバイス１０６への近接度に基づいて自動的に生成される。

【0128】

ブロック９０４において、方法９００は、登録入力をホストデバイスに送信する。ブロック９０４の一例では、登録入力２２４は、モバイルデバイス１０４からホストデバイス１０６に送信される。

【0129】

ブロック９０６において、登録入力は、ホストＩＤと比較される。ブロック９０６の一例では、登録入力２２６は、ホスト注釈ソフトウェア３０８によってホストＩＤ３１０と比較される。

【0130】

ブロック９０８において、登録入力がブロック９０６におけるホストＩＤと一致するとき、モバイルデバイスとホストデバイスは無線で接続される。ブロック９０８の一例では、モバイルデバイス１０４は、ホストデバイス１０６に無線で接続される。

【0131】

図１０は、一実施形態において、表示されたコンテンツの注釈を共有ディスプレイ上に配置するための例示的な方法１０００を示している。方法１０００は、方法８００のブロック８０４の一例である。

【0132】

ブロック１００２において、方法１０００は、モバイルデバイスで開始指示を受信する。ブロック１００２の一例では、モバイルデバイス１０４は、開始指示２２６を受信する。開始指示２２６は、入力デバイス２０６上の実際のボタンまたは仮想ボタンの押圧、または図７Ａおよび図７Ｂに示される「上にスワイプ」するなどの他の動作であってもよい。開始指示２２６は、画面下向きの状態から画面上向きの状態にして電話を反転させるなど、モバイルデバイス１０４を用いてユーザ１１０によって実行される特定のジェスチャーの決定であってもよい。

【0133】

ブロック１００４において、方法１０００は、複数の時間測定点でモバイルデバイスからセンサデータをキャプチャする。ブロック１００４の一例では、センサデータ２３０は、複数の時間測定点のそれぞれにおいて、センサグループ２１０内のそれぞれのセンサからキャプチャされる。

【0134】

ブロック１００６において、クライアント注釈出力は、センサデータに基づいて、モバイルデバイスからホストデバイスに送信される。ブロック１００６の一例では、クライアント注釈出力２４０は、モバイルデバイス１０４からホストデバイス１０６に送信される。ブロック１００６は、１つまたは複数のサブブロックを含んでもよい。サブブロック１０２６において、方法１０００は、チルトデータを生成する。サブブロック１０２６の一例では、チルトデータ２３２が生成され、クライアント注釈出力２４０に含まれる。サブブロック１０２８では、方法１０００は、ヨーデータを生成する。サブブロック１０２８の一例では、ヨーデータ３２４が生成され、クライアント注釈出力２４０に含まれる。サブブロック１０３０では、方法１０００は、ロールデータを生成する。サブブロック１０３０の一例では、ロールデータ２３６が生成され、クライアント注釈出力２４０に含まれる。サブブロック１０３２では、方法１０００は、各時間測定点の２つの間の並進データを生成する。サブブロック１０３２の一例では、並進データ２３８が生成され、クライアント注釈出力２４０に含まれる。サブブロック１０３４では、方法１０００は、クライアント入力データを含む。サブブロック１０３４の一例では、クライアント入力データ２４６は、クライアント注釈出力２４０に含まれる。

【0135】

ブロック１００８において、クライアント注釈出力は、所定の変更子に基づいて変更される。ブロック１００８の一例では、クライアント注釈ソフトウェア２２０は、ブロック１００６においてクライアント注釈出力２４０をホストデバイス１０６に送信する前に、所定の変更子２４４を適用する。ブロック１００８の一例では、ホスト注釈ソフトウェア３０８は、ブロック１００６においてモバイルデバイス１０４からクライアント注釈出力２４０を受信した後に、所定の変更子２４４を適用する。ブロック１００８の例では、クライアント注釈ソフトウェア２２０またはホスト注釈ソフトウェア３０８のいずれかが複数の制御ジョイント２４２を識別し、そこに所定の変更子２４４を適用する。所定の変更子２４４は、例えば、パラメータ化された曲線を複数の制御ジョイント２４２に適合させて、制御ジョイント２４２によって示される線内のノイズおよびジッタを平滑化するか、または削除することを含んでもよい。パラメータ化された曲線は、多項式曲線またはスプライン曲線であってもよい。

【0136】

ブロック１０１０において、表示されたコンテンツの注釈は、上述したステップ１００２～１００８に基づいて、共有ディスプレイ上に表示された共有コンテンツ上に表示される。ブロック１０１０の一例では、ホストデバイス１０６は、共有コンテンツ１０８上に重ね合わせられた共有ディスプレイ１０２上に表示するために注釈３１６を送信する。

【0137】

次に、方法１０００は、１つまたは複数の決定ステップを開始して、注釈の継続的な表示を決定する。例えば、ブロック１０１２は決定である。ブロック１０１２において、方法１０００は、共有ディスプレイに表示された注釈がモバイルデバイスによって画面外に配置されているかどうかを決定する。はいの場合、方法１０００はブロック１０１４に進み、そうでない場合、方法はブロック１０２０に進む。ブロック１０１４において、方法は、モバイルデバイスが注釈を外に配置した共有ディスプレイの端に注釈を表示する。動作の一例では、ホストデバイス１０６は、注釈１１２を共有ディスプレイ１０２の端に配置することを指示する注釈３１６を生成する。方法１０００が、注釈を端から離れて配置することを指示するさらなるクライアント注釈出力を受信するまで（例えば、ブロック１００６において）、注釈１１２は端に留まってもよい。

【0138】

ブロック１０１６は、ブロック１０１２およびブロック１０２０のいずれかと同時に、前に、または後に起こり得る別の決定である。ブロック１０１６において、方法は、アニメーション指示がモバイルデバイスから受信されるかどうかを決定する。はいの場合、方法１０００はブロック１０１８に進み、そうでない場合、方法１０００はブロック１０２０に進む。ブロック１０１６の動作の一例では、クライアント注釈出力２４０は、アニメーション指示２５６を含む。ブロック１０１８では、方法１０００は、共有ディスプレイ上の注釈をアニメーション化する。ブロック１０１８の一例では、注釈１１２は、共有ディスプレイ１０２上で点滅する、揺れる、円を描く、透かしを表示する、または他のアニメーションにアニメーション化される。

【0139】

ブロック１０２０は決定である。ブロック１０２０において、方法１０００は、停止指示が受信されたかどうかを決定する。いいえの場合、方法１０００はステップ１００４を繰り返し、そうでない場合、方法１０００はブロック１０２２に進む。ブロック１０２０の一例では、モバイルデバイス１０４は停止指示２２８を受信する。開始指示２２８は、入力デバイス２０６上の実際のボタンまたは仮想ボタンの押圧、または「下にスワイプ」するなどの他の動作であってもよい。停止指示２２８は、画面上向きの状態から画面下向きの状態にして電話を反転させるなど、モバイルデバイス１０４を用いてユーザ１１０によって実行される特定のジェスチャーの決定であってもよい。

【0140】

ブロック１０２２は決定である。ブロック１０２２において、方法１０００は、キャプチャ停止遅延タイマーが経過したかどうかを決定する。そうである場合、方法は、ブロック１００２を繰り返すことができるブロック１０２４で終了する。そうでない場合、方法１０００は、ブロック１００４を繰り返し、キャプチャ停止遅延タイマーが経過する前に別の開始指示が受信されると、注釈の表示を開始する。ブロック１０２２の一例では、キャプチャ停止遅延２２７の時間が経過したかどうかが決定される。

【0141】

本明細書の範囲から逸脱することなく、上述した方法およびシステムに変更を加えることができる。したがって、上記の説明に含まれる、または添付の図面に示される事項は、限定的な意味ではなく、例示として解釈されるべきであることに留意されたい。以下の特許請求の範囲は、本明細書に記載のすべての一般的および特定の特徴、ならびに言語の問題としてそれらの間にあると言われる可能性がある本方法およびシステムの範囲のすべての記載を網羅することを意図している。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】