(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023038195
(43)【公開日】2023-03-16
(54)【発明の名称】画像処理方法及び情報処理装置
(51)【国際特許分類】
H04N 7/15 20060101AFI20230309BHJP
G06F 3/04883 20220101ALI20230309BHJP
G06T 11/80 20060101ALI20230309BHJP
【ＦＩ】
H04N7/15
G06F3/04883
G06T11/80 A
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022203866
(22)【出願日】2022-12-21
(62)【分割の表示】P 2022554349の分割
【原出願日】2021-12-16
(31)【優先権主張番号】P 2020208723
(32)【優先日】2020-12-16
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2021163158
(32)【優先日】2021-10-02
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000139403
【氏名又は名称】株式会社ワコム
(74)【代理人】
【識別番号】100130982
【弁理士】
【氏名又は名称】黒瀬 泰之
(72)【発明者】
【氏名】加藤 龍憲
(72)【発明者】
【氏名】武部 佳文
(72)【発明者】
【氏名】坂井 清一
(72)【発明者】
【氏名】山本 定雄
(72)【発明者】
【氏名】渡辺 直樹
(57)【要約】
【課題】暫定画像とストリーミング映像内に現れるペンストローク画像とで、外観を合わせることを可能にする。
【解決手段】コンピュータ１，２により実行される画像描画方法であって、コンピュータ２が、第１のレンダリング処理により生成されたペンストローク画像を含むストリーミング映像ＳＶを送信するステップＳ２４と、コンピュータ１が、第１のレンダリング処理と共有された第２のレンダリング処理を第１のレンダリング処理と並列に実行することによりペンストローク画像ＰＳ２を生成するステップＳ２５と、コンピュータ１が、遅延の発生する通信を経由してコンピュータ２からストリーミング映像ＳＶを受信し、ペンストローク画像ＰＳ２を合成して出力するステップＳ２７と、を含む。
【選択図】図７
【解決手段】コンピュータ１，２により実行される画像描画方法であって、コンピュータ２が、第１のレンダリング処理により生成されたペンストローク画像を含むストリーミング映像ＳＶを送信するステップＳ２４と、コンピュータ１が、第１のレンダリング処理と共有された第２のレンダリング処理を第１のレンダリング処理と並列に実行することによりペンストローク画像ＰＳ２を生成するステップＳ２５と、コンピュータ１が、遅延の発生する通信を経由してコンピュータ２からストリーミング映像ＳＶを受信し、ペンストローク画像ＰＳ２を合成して出力するステップＳ２７と、を含む。
【選択図】図７
【特許請求の範囲】
【請求項1】
リモート側装置及びローカル側装置により実行される画像描画方法であって、
前記リモート側装置が、第１のレンダリング処理により生成された画像を含むストリーミング映像を送信するステップと、
前記ローカル側装置が、前記第１のレンダリング処理と共有された第２のレンダリング処理を前記第１のレンダリング処理と並列に実行することにより暫定画像を生成するステップと、
前記ローカル側装置が、遅延の発生する通信を経由して前記リモート側装置から前記ストリーミング映像を受信し、前記暫定画像を合成して出力するステップと、
を含む画像処理方法。
前記リモート側装置が、第１のレンダリング処理により生成された画像を含むストリーミング映像を送信するステップと、
前記ローカル側装置が、前記第１のレンダリング処理と共有された第２のレンダリング処理を前記第１のレンダリング処理と並列に実行することにより暫定画像を生成するステップと、
前記ローカル側装置が、遅延の発生する通信を経由して前記リモート側装置から前記ストリーミング映像を受信し、前記暫定画像を合成して出力するステップと、
を含む画像処理方法。
【請求項2】
前記遅延は、ネットワーク遅延、画像圧縮符号化遅延、バッファリング遅延のうちのいずれか少なくとも１つを含む、
請求項１に記載の画像処理方法。
請求項１に記載の画像処理方法。
【請求項3】
前記ローカル側装置は、ペンの指示位置を検出して前記リモート側装置に送信するよう構成され、
前記第１のレンダリング処理及び前記第２のレンダリング処理はそれぞれ、一連の前記指示位置に基づいてペンストローク画像を描画する処理である、
請求項１又は２に記載の画像処理方法。
前記第１のレンダリング処理及び前記第２のレンダリング処理はそれぞれ、一連の前記指示位置に基づいてペンストローク画像を描画する処理である、
請求項１又は２に記載の画像処理方法。
【請求項4】
前記第１のレンダリング処理と前記第２のレンダリング処理との共有は、前記ペンストローク画像を描画する際に参照されるペン先属性を前記ローカル側装置と前記リモート側装置とで共有することを含む、
請求項３に記載の画像処理方法。
請求項３に記載の画像処理方法。
【請求項5】
前記ペン先属性は、前記ペンのペン先の形状を含む、
請求項４に記載の画像処理方法。
請求項４に記載の画像処理方法。
【請求項6】
前記ペン先属性は、前記ペンストローク画像の描画色を含む、
請求項４に記載の画像処理方法。
請求項４に記載の画像処理方法。
【請求項7】
前記ペン先属性は、前記ペンに関する情報に基づいてペンストロークの属性を導出するための関数を含む、
請求項４に記載の画像処理方法。
請求項４に記載の画像処理方法。
【請求項8】
前記ペンに関する情報は筆圧値を含み、
前記ペンストロークの属性は線幅を含む、
請求項７に記載の画像処理方法。
前記ペンストロークの属性は線幅を含む、
請求項７に記載の画像処理方法。
【請求項9】
前記ペン先属性は、パーティクル散乱により前記ペンストローク画像を描画する場合の乱数シードを含む、
請求項４に記載の画像処理方法。
請求項４に記載の画像処理方法。
【請求項10】
前記ローカル側装置は、前記ペンを検出した後、少なくとも定期的に前記ペン先属性に関する情報を前記リモート側装置から受信する、
請求項４乃至９のいずれか一項に記載の画像処理方法。
請求項４乃至９のいずれか一項に記載の画像処理方法。
【請求項11】
前記第１のレンダリング処理と前記第２のレンダリング処理との共有は、前記ペンストロークの描画領域を前記ローカル側装置と前記リモート側装置とで共有することを含む、
請求項３乃至１０のいずれか一項に記載の画像処理方法。
請求項３乃至１０のいずれか一項に記載の画像処理方法。
【請求項12】
前記第２のレンダリング処理は、前記ペンストローク画像を前記描画領域内に描画する処理である、
請求項１１に記載の画像処理方法。
請求項１１に記載の画像処理方法。
【請求項13】
前記ローカル側装置は、前記ペンのペンダウン位置が前記描画領域内にある場合に、前記第２のレンダリング処理を実行する、
請求項１１又は１２に記載の画像処理方法。
請求項１１又は１２に記載の画像処理方法。
【請求項14】
前記ローカル側装置は、前記ペンのペンダウンからペンアップまでの間、前記描画領域を固定して前記第２のレンダリング処理を実行する、
請求項１１乃至１３のいずれか一項に記載の画像処理方法。
請求項１１乃至１３のいずれか一項に記載の画像処理方法。
【請求項15】
前記ローカル側装置が、前記ストリーミング映像に合成した暫定画像を消去するステップ、
を含む請求項１乃至１４のいずれか一項に記載の画像処理方法。
を含む請求項１乃至１４のいずれか一項に記載の画像処理方法。
【請求項16】
前記ローカル側装置は、前記暫定画像のうち生成から所定時間が経過した部分を消去していくことにより、前記消去するステップを実行する、
請求項１５に記載の画像処理方法。
請求項１５に記載の画像処理方法。
【請求項17】
前記所定時間は、前記リモート側装置により設定される、
請求項１６に記載の画像処理方法。
請求項１６に記載の画像処理方法。
【請求項18】
前記所定時間は、前記遅延の時間長に応じて設定される、
請求項１６又は１７に記載の画像処理方法。
請求項１６又は１７に記載の画像処理方法。
【請求項19】
前記ローカル側装置は、前記暫定画像のうち前記ストリーミング映像内に現れた部分を消去していくことにより、前記消去するステップを実行する、
請求項１５乃至１８のいずれか一項に記載の画像処理方法。
請求項１５乃至１８のいずれか一項に記載の画像処理方法。
【請求項20】
前記リモート側装置は、前記ローカル側装置から順次受信されるペンの指示位置のうち前記第１のレンダリング処理が開始されたものを示す情報を前記ローカル側装置に対して送信するよう構成され、
前記ローカル側装置は、前記暫定画像のうち前記リモート側装置からの情報により前記第１のレンダリング処理の開始が示された前記指示位置に対応する部分を消去していくことにより、前記消去するステップを実行する、
請求項１５乃至１９のいずれか一項に記載の画像処理方法。
前記ローカル側装置は、前記暫定画像のうち前記リモート側装置からの情報により前記第１のレンダリング処理の開始が示された前記指示位置に対応する部分を消去していくことにより、前記消去するステップを実行する、
請求項１５乃至１９のいずれか一項に記載の画像処理方法。
【請求項21】
前記第２のレンダリング処理により描画されるペンストローク画像である第２のペンストローク画像は、前記第１のレンダリング処理により描画されるペンストローク画像である第１のペンストローク画像と形状が一致する一方、模様及び色彩のいずれか一方又はこれらの組み合わせが前記第１のペンストローク画像と異なるペンストローク画像である、
請求項３に記載の画像処理方法。
請求項３に記載の画像処理方法。
【請求項22】
前記ローカル側装置が、前記ストリーミング映像に合成した暫定画像を消去するステップ、を含み、
前記消去ステップが前記暫定画像の消去を行う時点で表示されているペンストローク画像のうち、前記第１のペンストローク画像に相当する部分と、前記第２のペンストローク画像に相当する部分とで、模様及び色彩のいずれか一方又はこれらの組み合わせが異なる、
請求項２１に記載の画像処理方法。
前記消去ステップが前記暫定画像の消去を行う時点で表示されているペンストローク画像のうち、前記第１のペンストローク画像に相当する部分と、前記第２のペンストローク画像に相当する部分とで、模様及び色彩のいずれか一方又はこれらの組み合わせが異なる、
請求項２１に記載の画像処理方法。
【請求項23】
前記色彩は、透明度を含む、
請求項２２に記載の画像処理方法。
請求項２２に記載の画像処理方法。
【請求項24】
前記ローカル側装置は、２色以上の多色混在の模様を用いて前記第２のペンストローク画像を生成する
請求項２１乃至２３のいずれか一項に記載の画像処理方法。
請求項２１乃至２３のいずれか一項に記載の画像処理方法。
【請求項25】
前記ローカル側装置は、前記リモート側装置から取得した前記第１のペンストローク画像の描画色を特定する情報に基づいて、前記第２のペンストローク画像の描画色を決定する、
請求項２１乃至２４のいずれか一項に記載の画像処理方法。
請求項２１乃至２４のいずれか一項に記載の画像処理方法。
【請求項26】
前記ローカル側装置は、描画領域の背景色に基づいて、前記第２のペンストローク画像の描画色を決定する、
請求項２１乃至２５のいずれか一項に記載の画像処理方法。
請求項２１乃至２５のいずれか一項に記載の画像処理方法。
【請求項27】
前記ローカル側装置は、前記第１のペンストローク画像が線を描画するためのストロークではない特殊ストロークである場合に、輪郭線によって前記第２のペンストローク画像を描画する、
請求項２１乃至２６のいずれか一項に記載の画像処理方法。
請求項２１乃至２６のいずれか一項に記載の画像処理方法。
【請求項28】
前記第２のレンダリング処理により描画されるペンストローク画像である第２のペンストローク画像は、前記第１のレンダリング処理により描画されるペンストローク画像である第１のペンストローク画像と軌跡が一致する一方、形状が前記第１のペンストローク画像と異なるペンストローク画像である、
請求項３に記載の画像処理方法。
請求項３に記載の画像処理方法。
【請求項29】
前記ローカル側装置が、前記第２のペンストローク画像の生成方法を設定するための設定画面をディスプレイに表示するステップ、を含み、
前記第２のレンダリング処理は、前記第１のレンダリング処理と前記第２のレンダリング処理との共有が完了するまでの間、前記設定画面により設定された生成方法を用いて前記第２のペンストローク画像を描画する、
請求項２０乃至２８のいずれか一項に記載の画像処理方法。
前記第２のレンダリング処理は、前記第１のレンダリング処理と前記第２のレンダリング処理との共有が完了するまでの間、前記設定画面により設定された生成方法を用いて前記第２のペンストローク画像を描画する、
請求項２０乃至２８のいずれか一項に記載の画像処理方法。
【請求項30】
前記表示するステップは、所定のスイッチの状態が第１の状態に変化したことに応じて前記設定画面の表示を行い、
前記ローカル側装置は、前記所定のスイッチの状態が前記第１の状態に変化したことを前記リモート側装置に通知しない、
請求項２９に記載の画像処理方法。
前記ローカル側装置は、前記所定のスイッチの状態が前記第１の状態に変化したことを前記リモート側装置に通知しない、
請求項２９に記載の画像処理方法。
【請求項31】
前記ローカル側装置は、
前記ペンの指示位置を含む前記ペンに関する複数のデータを前記リモート側装置に送信するとともに、該複数のデータそれぞれの送信の可否を示すフラグ情報を記憶し、
前記ローカル側装置のディスプレイに表示中の情報に応じて前記フラグ情報を制御し、
前記複数のデータのうち前記フラグ情報により送信否が示されるデータを前記リモート側装置に送信しない、
請求項３に記載の画像処理方法。
前記ペンの指示位置を含む前記ペンに関する複数のデータを前記リモート側装置に送信するとともに、該複数のデータそれぞれの送信の可否を示すフラグ情報を記憶し、
前記ローカル側装置のディスプレイに表示中の情報に応じて前記フラグ情報を制御し、
前記複数のデータのうち前記フラグ情報により送信否が示されるデータを前記リモート側装置に送信しない、
請求項３に記載の画像処理方法。
【請求項32】
前記リモート側装置及び前記ローカル側装置は互いに別体のコンピュータである、
請求項１乃至３１のいずれか一項に記載の画像処理方法。
請求項１乃至３１のいずれか一項に記載の画像処理方法。
【請求項33】
前記ローカル側装置はコンピュータの中央処理装置であり、
前記リモート側装置は、前記ローカル側装置内で動作する仮想マシンである、
請求項１乃至３１のいずれか一項に記載の画像処理方法。
前記リモート側装置は、前記ローカル側装置内で動作する仮想マシンである、
請求項１乃至３１のいずれか一項に記載の画像処理方法。
【請求項34】
前記ローカル側装置はコンピュータ内に設けられた集積回路であり、
前記リモート側装置は前記コンピュータの中央処理装置である、
請求項１乃至３１のいずれか一項に記載の画像処理方法。
前記リモート側装置は前記コンピュータの中央処理装置である、
請求項１乃至３１のいずれか一項に記載の画像処理方法。
【請求項35】
前記ローカル側装置はコンピュータの中央処理装置であり、
前記リモート側装置はウェブブラウザ上で動作するアプリケーションである、
請求項１乃至３１のいずれか一項に記載の画像処理方法。
前記リモート側装置はウェブブラウザ上で動作するアプリケーションである、
請求項１乃至３１のいずれか一項に記載の画像処理方法。
【請求項36】
前記ローカル側装置はペン入力装置を含み、
前記暫定画像を生成するステップは、前記ペン入力装置内の集積回路によって実行される、
請求項１乃至３１のいずれか一項に記載の画像処理方法。
前記暫定画像を生成するステップは、前記ペン入力装置内の集積回路によって実行される、
請求項１乃至３１のいずれか一項に記載の画像処理方法。
【請求項37】
前記ペン入力装置は表示装置を含み、
前記ペン入力装置は、前記暫定画像を合成して出力するステップとは別に、前記暫定画像を前記表示装置に出力するステップを実行する、
請求項３６に記載の画像処理方法。
前記ペン入力装置は、前記暫定画像を合成して出力するステップとは別に、前記暫定画像を前記表示装置に出力するステップを実行する、
請求項３６に記載の画像処理方法。
【請求項38】
前記ローカル側装置はコンピュータを含み、
前記コンピュータは、前記リモート側装置からペン先属性を示す情報を受信し、受信した前記ペン先属性に前記ペン入力装置が対応していない場合に、前記暫定画像の生成場所を前記ペン入力装置から前記コンピュータに切り替える、
請求項３６又は３７に記載の画像処理方法。
前記コンピュータは、前記リモート側装置からペン先属性を示す情報を受信し、受信した前記ペン先属性に前記ペン入力装置が対応していない場合に、前記暫定画像の生成場所を前記ペン入力装置から前記コンピュータに切り替える、
請求項３６又は３７に記載の画像処理方法。
【請求項39】
リモート側装置及びローカル側装置により実行される画像描画方法であって、
前記リモート側装置が、ストリーミング映像を送信するステップと、
前記リモート側装置が、前記ストリーミング映像内の描画領域を示す描画領域情報を送信するステップと、
前記ローカル側装置が、前記リモート側装置から前記描画領域情報を受信するステップと、
前記ローカル側装置が、前記ストリーミング映像内に暫定的に表示するための暫定画像を生成するステップと、
前記ローカル側装置が、前記ストリーミング映像のうち前記描画領域情報により示される領域に前記暫定画像を合成して出力するステップと、
を含む画像処理方法。
前記リモート側装置が、ストリーミング映像を送信するステップと、
前記リモート側装置が、前記ストリーミング映像内の描画領域を示す描画領域情報を送信するステップと、
前記ローカル側装置が、前記リモート側装置から前記描画領域情報を受信するステップと、
前記ローカル側装置が、前記ストリーミング映像内に暫定的に表示するための暫定画像を生成するステップと、
前記ローカル側装置が、前記ストリーミング映像のうち前記描画領域情報により示される領域に前記暫定画像を合成して出力するステップと、
を含む画像処理方法。
【請求項40】
前記リモート側装置は、前記ストリーミング映像内の描画領域が変更された場合に、前記描画領域情報を再送信する、
請求項３９に記載の画像処理方法。
請求項３９に記載の画像処理方法。
【請求項41】
前記ローカル側装置は、前記リモート側装置からの前記描画領域情報によって前記描画領域の変更が示される場合に、前記暫定画像を消去する、
請求項４０に記載の画像処理方法。
請求項４０に記載の画像処理方法。
【請求項42】
前記暫定画像はペンストロークを含む画像であり、
前記リモート側装置は、前記ペンストロークを含む画像を生成するためのアプリケーションが前記リモート側装置内においてフォアグラウンドになったことに応じて、前記描画領域情報を送信する
請求項３９乃至４１のいずれか一項に記載の画像処理方法。
前記リモート側装置は、前記ペンストロークを含む画像を生成するためのアプリケーションが前記リモート側装置内においてフォアグラウンドになったことに応じて、前記描画領域情報を送信する
請求項３９乃至４１のいずれか一項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像描画方法に関し、特に、リモート会議の共有画面においてペン入力を行うための画像描画方法に関する。
【背景技術】
【0002】
最近、複数のコンピュータを通信回線により相互に接続して行うリモート会議が多用されるようになっている。この種のリモート会議においては、あるコンピュータで開いている画面を他のコンピュータでも見られるように「共有」することが広く行われている。この場合、画面を共有したコンピュータ（以下「リモート側装置」と称する）からその他のコンピュータ（以下「ローカル側装置」と称する）に対し、共有している画面のストリーミング映像が送信されることになる。
【0003】
また、タブレット端末などのペン入力に対応するコンピュータにおいては、ホストプロセッサの処理遅延によるペンストロークの描画への影響を軽減するため、ペンの位置を検出するセンサコントローラから表示用プロセッサに対し、ホストプロセッサを介さず直接ペンの位置を供給する処理を行う場合がある。特許文献１～３には、このような処理を行うコンピュータの例が開示されている。このうち特許文献１には、センサコントローラからホストプロセッサ及び表示用プロセッサの両方に位置を供給し、ホストプロセッサによって生成される画像にペンストロークが現れるまでの間、表示用プロセッサが一時的にペンストロークを描画することが記載されている。
【0004】
また、ペン入力を行うにあたり、ペン先のサイズ、形状、色などのペン先属性を設定可能に構成する技術が知られている。特許文献４，５には、そのような技術の例が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】米国特許第９７２１３６５号明細書
【特許文献2】国際公開第２０２０／１３６７２９号公報
【特許文献3】米国特許第８５６４５５５号明細書
【特許文献4】米国特許公開第２００５－０１６２４１３号明細書
【特許文献5】米国特許第９７９２５１７号明細書
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、上述したリモート会議においては、リモート側装置から送信されてくるストリーミング映像に対して、ローカル側装置からペン入力を行う場合がある。この場合、ローカル側装置が行うのは、センサコントローラにより検出されたペンの位置をリモート側装置に逐次送信する処理までであり、ペンストロークのレンダリングとストリーミング映像への合成はリモート側装置によって実行される。しかし、この処理によれば、ペンストロークがストリーミング映像に反映されるまでに無視できない量の遅延が発生するため、本願の発明者は、特許文献１～３に記載の技術を応用し、ストリーミング映像内にペンストロークが現れるまでの間、ローカル側装置において一時的にペンストロークを描画することを検討している。以下、この一時的な描画処理によって描かれるペンストロークの画像を「暫定画像」と称する。
【0007】
しかしながら、特許文献１～３に記載の技術は簡易な表示用プロセッサでの描画処理を前提としたものであり、特許文献４，５に記載されるようなペン先属性を考慮した高度な描画処理には対応していない。そうすると、暫定画像と最終的にストリーミング映像内に現れるペンストローク画像とで外観の異なる場合が生じてしまうので、改善が必要とされていた。
【0008】
したがって、本発明の目的の一つは、暫定画像とストリーミング映像内に現れるペンストローク画像とで外観を合わせることのできる画像描画方法を提供することにある。
【0009】
また、ストリーミング映像は、例えばメニューバーなど、ペンストロークを描画する領域として適切でない領域を含むことが一般的である。しかしながら、特許文献１～３に記載の技術によれば、ローカル側装置はペンストロークの描画に適したストリーミング映像内の領域（以下「描画領域」と称する）を判別できず、ユーザのペンの動きによっては描画領域外にも暫定画像が描画されてしまうことになるため、改善が必要とされていた。
【0010】
したがって、本発明の目的の他の一つは、暫定画像が描画領域外に描画されてしまうことを防止できる画像描画方法を提供することにある。
【課題を解決するための手段】
【0011】
本発明の第１の側面による画像処理方法は、リモート側装置及びローカル側装置により実行される画像描画方法であって、前記リモート側装置が、第１のレンダリング処理により生成された画像を含むストリーミング映像を送信するステップと、前記ローカル側装置が、前記第１のレンダリング処理と共有された第２のレンダリング処理を前記第１のレンダリング処理と並列に実行することにより暫定画像を生成するステップと、前記ローカル側装置が、遅延の発生する通信を経由して前記リモート側装置から前記ストリーミング映像を受信し、前記暫定画像を合成して出力するステップと、を含む画像処理方法である。
【0012】
本発明の第２の側面による画像処理方法は、リモート側装置及びローカル側装置により実行される画像描画方法であって、前記リモート側装置が、ストリーミング映像を送信するステップと、前記リモート側装置が、前記ストリーミング映像内の描画領域を示す描画領域情報を送信するステップと、前記ローカル側装置が、前記リモート側装置から前記描画領域情報を受信するステップと、前記ローカル側装置が、前記ストリーミング映像内に暫定的に表示するための暫定画像を生成するステップと、前記ローカル側装置が、前記ストリーミング映像のうち前記描画領域情報により示される領域に前記暫定画像を合成して出力するステップと、を含む画像処理方法である。
【発明の効果】
【0013】
本発明の第１の側面によれば、ローカル側装置により実行される第２のレンダリング処理がリモート側装置により実行される第１のレンダリング処理と共有されているので、ローカル側装置は、ペン先属性を考慮した高度な描画処理を用いて暫定画像を描画することが可能になる。
【0014】
本発明の第２の側面によれば、暫定画像を合成する領域を描画領域情報により示される領域に制限できるので、描画領域外における暫定画像の描画を制限することが可能になる。
【図面の簡単な説明】
【0015】
【図1】本発明の第１の実施の形態による画像処理方法を実行するコンピュータ１，２のシステム構成を示す図である。
【図2】（ａ）は、ストリーミング映像ＳＶ及びデスクトップ映像ＤＶ１，ＤＶ１ａの例を示す図であり、（ｂ）は、ユーザがペン入力を行っている最中におけるストリーミング映像ＳＶ及びデスクトップ映像ＤＶ１，ＤＶ１ａの例を示す図である。
【図3】レンダリング処理を行うために描画アプリケーション３６が必要とするデータのフォーマットを示す図である。
【図4】（ａ）は、アプリ状態情報ＡＳのフォーマットを示す図であり、（ｂ）は、描画アプリウインドウ位置情報ＧＡＷＰのフォーマットを示す図である。
【図5】描画領域Ａ３の内部へのペンストローク画像ＰＳ２の描画の例を示す図である。
【図6】本発明の第１の実施の形態による画像処理方法のシーケンスを示す図である。
【図7】本発明の第１の実施の形態による画像処理方法のシーケンスを示す図である。
【図8】（ａ）及び（ｂ）はそれぞれ、ユーザがペン入力を行っている最中におけるストリーミング映像ＳＶ及びデスクトップ映像ＤＶ１，ＤＶ１ａの例を示す図である。
【図9】（ａ）～（ｃ）は、ペンストローク画像ＰＳ１と形状は一致しつつも、模様及び色彩のいずれか一方又はこれらの組み合わせが異なるペンストローク画像ＰＳ２の例を示す図であり、（ｄ）は、ペンストローク画像ＰＳ１と軌跡（形状の中心線）は一致しつつも、形状が異なるペンストローク画像ＰＳ２の例を示す図である。
【図10】ペンストローク画像ＰＳ１が特殊ストロークを表すものである場合におけるペンストローク画像ＰＳ１，ＰＳ２の例を示す図である。
【図11】本発明の第２の実施の形態による画像処理方法を示すシーケンスを示す図である。
【図12】本発明の第３の実施の形態による画像処理方法を示すシーケンスを示す図である。
【図13】本発明の第４の実施の形態による画像処理方法を実行するコンピュータ３のシステム構成を示す図である。
【図14】本発明の第５の実施の形態による画像処理方法を実行するコンピュータ１，２のシステム構成を示す図である。
【発明を実施するための形態】
【0016】
以下、添付図面を参照しながら、本発明の実施の形態について詳細に説明する。
【0017】
図１は、本発明の第１の実施の形態による画像処理方法を実行するコンピュータ１，２のシステム構成を示す図である。コンピュータ１，２はそれぞれ、例えばパーソナルコンピュータ、タブレット端末、スマートフォンなどの、個人用として用いられる情報処理装置である。コンピュータ１，２のそれぞれには所定の会議アプリケーションがインストールされており、コンピュータ１，２は、この会議アプリケーションを通じて相互にリモート会議を行う。会議アプリケーションの種類は特に限定されないが、本実施の形態においては、一方のコンピュータ（リモート側装置）の画面（デスクトップ画面又はアプリケーションのウインドウ）を他方のコンピュータ（ローカル側装置）に共有する機能を有するものを用いる。
【0018】
本実施の形態では、コンピュータ１がローカル側装置であり、コンピュータ２がリモート側装置であるとする。リモート側装置であるコンピュータ２のユーザが自身のデスクトップ画面を共有するための所定の操作を行うと、ローカル側装置であるコンピュータ１のデスクトップ画面内に、コンピュータ２のデスクトップ画面が表示される。以下では、コンピュータ１のデスクトップ画面を構成する映像をデスクトップ映像ＤＶ１と称し、コンピュータ２のデスクトップ画面を構成する映像をデスクトップ映像ＤＶ２と称する。また、デスクトップ映像ＤＶ１内におけるデスクトップ映像ＤＶ２の配置領域を、仮想デスクトップ領域ＶＤＩ（後述する図２を参照）と称する。
【0019】
コンピュータ１は、自身のデスクトップ画面内の仮想デスクトップ領域ＶＤＩに対し、ペンＰによるペン入力を受け付ける機能を有している。具体的には、仮想デスクトップ領域ＶＤＩ内におけるペンＰの指示位置を検出する処理と、筆圧値等のデータをペンＰから受信する処理と、検出した指示位置及び受信したデータを含むペンデータＰＤをコンピュータ２に供給する処理とを実行可能に構成される。ペンデータＰＤの供給を受けたコンピュータ２は、供給されたペンデータＰＤに基づいてペンストローク画像ＰＳ１を生成し、デスクトップ映像ＤＶ２内に表示する処理を行う。仮想デスクトップ領域ＶＤＩにはデスクトップ映像ＤＶ２が表示されているので、これらの一連の処理により、ペンＰによって入力されたペンストロークがコンピュータ１，２それぞれのデスクトップ画面内に表示されることになる。
【0020】
【0021】
コンピュータ１，２はそれぞれ、プロセッサ２０、通信装置２１、入力装置２２、ビデオデバイス２３、ディスプレイ２４を有して構成される。また、コンピュータ１は、ペン入力装置２５をさらに有して構成される。
【0022】
プロセッサ２０はコンピュータ１，２それぞれの中央処理装置であり、オペレーティングシステム、各種のデバイスドライバ、各種のアプリケーションを構成するプログラムを図示しないメモリから読み出して実行するように構成される。図１においてプロセッサ２０内に示した各部は、対応するプログラムをプロセッサ２０が実行することによって実現される機能部を示している。
【0023】
具体的に説明すると、コンピュータ１のプロセッサ２０によって実現される機能部には、入力装置２２のデバイスドライバであるＵＳＢ（Universal Serial Bus）デバイスドライバ３０と、ペン入力装置２５のデバイスドライバであるＵＳＢデバイスドライバ３１と、ＵＳＢデバイスドライバ３１を介してペン入力装置２５を制御するタブレットドライバ３２と、タブレットドライバ３２から供給される情報に基づいてペンストローク画像ＰＳ２を描画するレンダリングエンジン３３と、他のコンピュータとの間でのリモート会議を実現する会議アプリケーション３５とが含まれる。また、コンピュータ２のプロセッサ２０によって実現される機能部には、ＵＳＢデバイスドライバ３０、タブレットドライバ３２、及び会議アプリケーション３５の他、レンダリングエンジン３３のコンピュータ２内におけるエージェントとして機能するレンダリングエンジンエージェント３４と、タブレットドライバ３２から供給される情報に基づいてペンストローク画像ＰＳ１を描画する描画アプリケーション３６とが含まれる。各機能部の動作の詳細については、後述する。
【0024】
通信装置２１は、インターネットやアドホックネットワークを介して、他のコンピュータと通信する機能を有する装置である。この通信はＯＳＩ(Open Systems Interconnection)参照モデルに従って行われるもので、図示したディスプレイチャンネル４０、データチャンネル４１、タブレットチャンネル４２、ＵＳＢリダイレクトチャンネル４３はそれぞれ、トランスポート層に設定されるチャンネルを示している。
【0025】
入力装置２２は、例えばマウス又はキーボードである。ＵＳＢデバイスドライバ３０は、ユーザによる入力装置２２の操作結果を示す操作情報を逐次取得し、プロセッサ２０内の各機能部に供給するとともに、ＵＳＢリダイレクトチャンネル４３を介して、他のコンピュータのＵＳＢデバイスドライバ３０にも供給可能に構成される。他のコンピュータから操作情報を取得したＵＳＢデバイスドライバ３０は、自身に直接接続されている入力装置２２から取得した操作情報と同様に、他のコンピュータからの操作情報をプロセッサ２０内の各機能部に供給する処理を行う。
【0026】
ペン入力装置２５は、ペンＰによるペン入力を受け付ける装置である。典型的な例では、ペンＰは平面における位置を指示する機能を有する棒状の指示体であり、その場合のペン入力装置２５は、タッチ面を有するタッチセンサ及びセンサコントローラによって構成される。タッチセンサは、タッチ面に配置された複数のセンサ電極によって構成される。センサコントローラは、タッチセンサを利用してペンＰの指示位置を示す２次元座標を検出するとともに、ペンＰから筆圧値等のデータを受信するよう構成される。センサコントローラによるペンＰの位置の検出方式は特に限定されないが、アクティブ静電方式又は電磁誘導方式を用いることが好適である。ペンＰはＸＲ空間内で３Ｄ入力を行うためのコントローラであってもよく、その場合のペン入力装置２５は、ＸＲ空間内におけるペンＰの指示位置を示す３次元座標を検出するとともに、ペンＰから筆圧値等のデータを受信するよう構成される。
【0027】
ペン入力装置２５は、ペンＰの指示位置を検出する都度、検出したペンＰの指示位置及びペンＰから受信したデータを、ＵＳＢデバイスドライバ３１を介してタブレットドライバ３２に供給するよう構成される。タブレットドライバ３２は、ペン入力装置２５から供給された指示位置及びデータを含むペンデータＰＤを生成し、レンダリングエンジン３３に逐次供給するとともに、タブレットチャンネル４２を介して他のコンピュータのタブレットドライバ３２にも逐次供給するよう構成される。
【0028】
タブレットドライバ３２はまた、自身が動作しているコンピュータのデスクトップ映像のうち、ペン入力装置２５の入力を対応付ける部分に関する情報を取得するように構成される。具体的に説明すると、コンピュータ１のタブレットドライバ３２は、デスクトップ映像ＤＶ１内における仮想デスクトップ領域ＶＤＩの位置及びサイズを示す仮想デスクトップ情報ＶＤＰを会議アプリケーション３５又はオペレーティングシステムから取得し、レンダリングエンジン３３に供給する処理を行う。また、コンピュータ２のタブレットドライバ３２は、デスクトップ映像ＤＶ２内における描画アプリケーション３６のウインドウＷの位置及びサイズなどを示す描画アプリウインドウ位置情報ＧＡＷＰを取得し、レンダリングエンジンエージェント３４に供給する処理を行う。描画アプリウインドウ位置情報ＧＡＷＰについては、後ほど別途詳しく説明する。
【0029】
ビデオデバイス２３は、プロセッサ２０の制御に従ってデスクトップに表示すべきデスクトップ映像を生成し、ディスプレイ２４に供給する装置である。ディスプレイ２４は、こうして供給されたデスクトップ映像を表示する役割を果たす。図１の例においては、コンピュータ１のビデオデバイス２３はデスクトップ映像ＤＶ１を生成し、コンピュータ２のビデオデバイス２３はデスクトップ映像ＤＶ２を生成する。詳しくは後述するが、コンピュータ１のビデオデバイス２３は、コンピュータ２から送信されてくるストリーミング映像ＳＶを含むデスクトップ映像ＤＶ１ａをまず生成し、生成したデスクトップ映像ＤＶ１ａにレンダリングエンジン３３から供給されるペンストローク画像ＰＳ２を合成することにより、デスクトップ映像ＤＶ１を生成するよう構成される。
【0030】
ビデオデバイス２３は、会議アプリケーション３５の制御に応じて、自身が生成しているデスクトップ映像の一部又は全体を、ディスプレイチャンネル４０を通じて他のコンピュータにストリーミング送信する処理も行う。図１に示したストリーミング映像ＳＶは、こうしてコンピュータ２のビデオデバイス２３が送信した映像を表している。
【0031】
図２（ａ）は、ストリーミング映像ＳＶ及びデスクトップ映像ＤＶ１，ＤＶ１ａの例を示す図である。同図には、ストリーミング映像ＳＶがデスクトップ映像ＤＶ２の全体によって構成され、かつ、レンダリングエンジン３３がペンストローク画像ＰＳ２の供給を行っていない場合を示している。この場合、ストリーミング映像ＳＶとデスクトップ映像ＤＶ２とが同一となり、デスクトップ映像ＤＶ１とデスクトップ映像ＤＶ１ａとが同一となる。
【0032】
ストリーミング映像ＳＶ内に示しているウインドウＷは、描画アプリケーション３６によって生成され、デスクトップ映像ＤＶ２内に配置されるウインドウである。この例のように、デスクトップ映像ＤＶ２内には、各種のウインドウやアイコンが含まれる場合がある。共有の対象がデスクトップ映像ＤＶ２の全体である場合、これらのウインドウやアイコンはストリーミング映像ＳＶにも含まれることとなる。一方、共有の対象がデスクトップ映像ＤＶ２内に表示されている特定のウインドウのみである場合、ストリーミング映像ＳＶは、共有対象となったウインドウの映像のみによって構成される。
【0033】
ストリーミング映像ＳＶは、デスクトップ映像ＤＶ１ａに設けられた仮想デスクトップ領域ＶＤＩの中に配置される。コンピュータ１のビデオデバイス２３は、会議アプリケーション３５の制御に応じてデスクトップ映像ＤＶ１ａ内に仮想デスクトップ領域ＶＤＩを配置し、その中にストリーミング映像ＳＶを配置するよう構成される。これにより、図２（ａ）のデスクトップ映像ＤＶ１に示すように、コンピュータ２のデスクトップ映像ＤＶ２の一部又は全体がコンピュータ１のディスプレイ２４に表示されるので、コンピュータ１，２のユーザは、同じ画面を見ながらリモート会議を行えることになる。
【0034】
図１に戻る。会議アプリケーション３５は、データチャンネル４１を介して他のコンピュータの会議アプリケーション３５と通信を行うことにより、複数のコンピュータの間でリモート会議を設定する機能を有する機能部である。コンピュータ２の会議アプリケーション３５は、デスクトップ映像ＤＶ２の一部又は全体をストリーミング映像ＳＶとしてコンピュータ１に送信するようビデオデバイス２３を制御する処理も行う。また、コンピュータ１の会議アプリケーション３５は、デスクトップ映像ＤＶ１内に仮想デスクトップ領域ＶＤＩを配置し、その中に、コンピュータ２から供給されるストリーミング映像ＳＶを配置するようビデオデバイス２３を制御する処理も行う。
【0035】
描画アプリケーション３６は、タブレットドライバ３２から供給されるペンデータＰＤに基づくレンダリング処理を行うことにより、ペンストローク画像ＰＳ１を生成する機能部である。描画アプリケーション３６は、図２（ａ）に示したウインドウＷを生成し、その中に、生成したペンストローク画像ＰＳ１を配置するよう構成される。ペンストローク画像ＰＳ１を含むウインドウＷは、ビデオデバイス２３によってデスクトップ映像ＤＶ２内に配置される。
【0036】
ウインドウＷの内部構造について説明すると、図２（ａ）に示すように、ウインドウＷは、メインエリアＡ１及びキャンパスエリアＡ２と、その他の領域（ヘッダー、フッター、ツールバー、各種プロパティパネルなど）とを含んで構成される。メインエリアＡ１は、キャンパスエリアＡ２を表示するための領域である。キャンパスエリアＡ２は、ユーザ操作により、メインエリアＡ１の中で拡大・縮小、回転、移動などの各種操作を行えるように構成される。キャンパスエリアＡ２は、ペンＰによる描画を受け付ける領域（描画領域）である。描画アプリケーション３６は、生成したペンストローク画像ＰＳ１がキャンパスエリアＡ２外に位置している部分を含む場合、その部分の描画を行わないよう構成される。したがって、ペンストローク画像ＰＳ１はキャンパスエリアＡ２の内側のみに配置される。
【0037】
デスクトップ映像ＤＶ２内に配置されたウインドウＷ、及び、その中に含まれるペンストローク画像ＰＳ１は、ストリーミング映像ＳＶの全体又は一部として、コンピュータ１のディスプレイ２４に表示されることになる。しかし、ペンＰによるペン入力の結果がデスクトップ映像ＤＶ１に反映されるまでの過程では、コンピュータ１，２間の通信にかかるネットワーク遅延や、コンピュータ１，２内部の処理で発生する画像圧縮符号化遅延及びバッファリング遅延を含む各種の遅延が発生する。その結果、ペンＰのペン先とコンピュータ１のディスプレイ２４上に表示されるペンストローク画像ＰＳ１の先端との間に、無視できない程度の乖離が発生してしまう場合がある。本実施の形態による画像処理方法の目的の１つは、この乖離を小さくすることにある。
【0038】
図３は、描画アプリケーション３６によって行われるレンダリング処理に関連する各種データのフォーマットを示す図である。同図に示すように、各種データには、ペンデータ、履歴データ、及びブラシデータが含まれる。描画アプリケーション３６は、これらのデータに基づいて、ペンストローク画像ＰＳ１の描画を行う。
【0039】
ペンデータは、タブレットドライバ３２から供給されるペンデータＰＤである。図３に示すように、ペンデータＰＤには、カーソル情報、ボタン情報、座標データ、筆圧値情報、エアブラシホイール情報、傾き情報、回転情報が含まれ得る。ペンデータＰＤは、一連のペンデータＰＤ内における自身の順番を示すシリアル情報を含むこととしてもよい。
【0040】
カーソル情報は、ペンＰによる操作の対象がカーソルであるか否かを示すとともに、カーソルでない場合（すなわち、ペンストロークを描画するためにペンＰが操作されている場合）に、ペンＰに設けられているスイッチ（例えば、ペンＰの末端に配置されたテールスイッチ）が押下されているか否かを示す情報である。典型的な例では、カーソル情報は、ペンＰによる操作の対象がカーソルである場合に０となり、ペンＰによる操作の対象がカーソルでなくスイッチが押下されていない場合に１となり、ペンＰによる操作の対象がカーソルでなくスイッチが押下されている場合に２となる。ペンＰによる操作の対象がカーソルであることがカーソル情報により示される場合、描画アプリケーション３６はペンストローク画像ＰＳ１の生成を行わない。
【0041】
ボタン情報は、ペンＰに設けられているその他のスイッチのオンオフ状態を示す情報である。座標データは、ペン入力装置２５のセンサコントローラによって検出されたペンＰの位置を示す２次元又は３次元の座標である。筆圧値情報は、ペンＰに設けられている圧力センサによって検出された筆圧値（ペンＰの先端に加わる圧力の値）を示す情報である。筆圧値は、ペンＰのペン先がタッチ面に接触している場合（ペンダウン中である場合）には０より大きい値となり、ペンＰのペン先がタッチ面に接触していない場合（ホバー中である場合）には０となる。エアブラシホイール情報は、ペンＰがエアブラシ型のものである場合に、ペンＰの表面に設けられるホイールに印加された力を示す情報である。傾き情報は、タッチ面に対するペンＰの傾きを示す情報である。回転情報は、ペンＰのペン軸方向の回転量を示す情報である。
【0042】
履歴データは、ペンデータＰＤの履歴である。描画アプリケーション３６は、一定時間分のペンデータＰＤを履歴データとして記憶しておくよう構成される。描画アプリケーション３６は、ペンデータＰＤ及び履歴データのそれぞれに含まれる一連の座標に基づいてベジエ曲線やキャットマル－ロム曲線などの曲線を導出し、ペンデータＰＤ及び履歴データのそれぞれに含まれるその他のデータ並びに後述するブラシデータに基づいて曲線の属性（線幅、透明度、色など）を制御することにより、ペンストローク画像ＰＳ１の生成を行う。また、描画アプリケーション３６は、後述する関数を計算する際に必要となる場合、ペンデータＰＤ及び履歴データのそれぞれに含まれる一連の座標に基づいて、筆記速度の導出も行う。
【0043】
ブラシデータは、ペンＰのペン先属性を示す情報であり、ユーザによって描画アプリケーション３６に設定される。具体的に説明すると、ブラシデータは、関数情報、色情報、サイズ情報、ペン先形状情報、ブラシ選択解除情報、パターンビットマップ、粗密データ、粗密ランダム度、粗密乱数シード、向きデータ、向きランダム度、向き乱数シードを含んで構成される。
【0044】
関数情報は、筆圧値、傾き、筆記速度などのペンＰに関する情報に基づいてペンストロークの属性（線幅、透明度、濃淡、粗密など）を導出するための関数を示す情報である。典型的な例では、関数情報は、筆圧値と線幅との関係を規定する関数を示す情報である。他にも、関数情報は、筆圧値及び筆記速度の組み合わせと線幅との関係を規定する関数を示す情報であるとしてもよいし、ペンＰの傾き及び筆記速度の組み合わせと濃淡との関係を規定する関数を示す情報であるとしてもよいし、これらを含む複数の関数を示す情報であるとしてもよい。また、色情報は、ペンストローク画像の描画色（透明度を含む）を特定する情報である。サイズ情報は、ペンストロークの線幅の基準値（筆圧値変化に伴う線幅変化の基準値）を特定する情報である。サイズ情報に、同じ位置におけるペンＰの滞在時間と線幅との関係を示す関数（例えば、同じ位置でのペンＰの滞在時間が長いほど線幅を大きくすることにより、インクが滲んでいく様子を再現するための関数）を含むこととしてもよい。ペン先形状情報は、ボールペンタイプ、カラーマーカータイプなどのペン先の形状のタイプを特定する情報である。描画アプリケーション３６による曲線の属性（線幅、透明度、色など）の制御は、これらの情報にも基づいて実行される。
【0045】
ブラシ選択解除情報は、領域選択や塗りつぶしなど、ペンストロークの描画を必要としないツールが選択されていることを示す情報である。ブラシ選択解除情報によりペンストロークの描画を必要としないツールの選択中であることが示されている場合、描画アプリケーション３６はペンストローク画像ＰＳ１の生成を行わない。
【0046】
パターンビットマップ、粗密データ、粗密ランダム度、粗密乱数シード、向きデータ、向きランダム度、向き乱数シードは、描画アプリケーション３６がパーティクル散乱によりペンストローク画像ＰＳ１を生成する際に参照される情報である。具体的に説明すると、パターンビットマップは、パーティクル散乱による曲線の個々のパーツを示す画像データである。粗密データはパターンビットマップの配置密度の基準値を示すデータであり、向きデータはパターンビットマップの配置の向きの基準値を示すデータである。描画アプリケーション３６は、粗密データにより示される配置密度を中心としてランダムに決定される配置密度で、かつ、向きデータにより示される配置の向きを中心としてランダムに決定される配置の向きで、座標データに基づいて導出した曲線に沿ってパターンビットマップを配置することにより、パーティクル散乱によるペンストローク画像ＰＳ１を生成するように構成される。
【0047】
粗密ランダム度、粗密乱数シード、向きランダム度、向き乱数シードはそれぞれ、乱数を発生するための乱数発生器に設定される値である。ランダム度は、乱数生成器によって生成される疑似乱数列と理想的な乱数列との乖離度を示し、乱数シードは、乱数生成器に設定する初期値を示す。描画アプリケーション３６は、粗密ランダム度及び粗密乱数シードを乱数生成器に設定することによって得られる擬似乱数に基づいてパターンビットマップの配置密度を決定し、向きランダム度及び向き乱数シードを乱数生成器に設定することによって得られる擬似乱数に基づいてパターンビットマップの配置の向きを決定するよう構成される。
【0048】
図１に戻る。描画アプリケーション３６は、自身が行うレンダリング処理を特徴付けるアプリ状態情報ＡＳを生成し、レンダリングエンジンエージェント３４に対して供給する処理も行う。
【0049】
図４（ａ）は、アプリ状態情報ＡＳのフォーマットを示す図である。同図に示すように、アプリ状態情報ＡＳは、描画設定情報、キャンパスエリア情報を含んで構成される。
【0050】
描画設定情報は、レンダリング処理によって描画されるペンストロークの外観を特定する情報であり、ブラシデータ及びブラシパラメータ変更情報を含んで構成される。ブラシデータは、図３に示したブラシデータそのものである。ブラシパラメータ変更情報は、ブラシデータのうち前回のアプリ状態情報ＡＳから変更されたものを特定する情報である。
【0051】
キャンパスエリア情報は、図２（ａ）に示したウインドウＷ内におけるキャンパスエリアＡ２（ペンＰによる描画を受け付ける領域）に関する情報であり、初期状態情報、拡大・縮小情報、回転情報、移動情報、描画領域情報を含んで構成される。初期状態情報は、ウインドウＷ内におけるキャンパスエリアＡ２の位置・サイズの初期値を示す情報である。拡大・縮小情報は、初期状態情報により示される初期サイズからのキャンパスエリアＡ２の表示の拡大率を示す情報である。回転情報は、キャンパスエリアＡ２の回転角度を示す情報である。移動情報は、初期状態情報により示される初期位置からのキャンパスエリアＡ２の移動量を示す情報である。描画領域情報は、図２（ａ）に示した描画領域Ａ３のキャンパスエリアＡ２内における位置・サイズ・形状・背景色を示す情報である。
【0052】
図１に戻る。レンダリングエンジンエージェント３４はレンダリングエンジン３３のエージェントとして機能する機能部であり、レンダリングエンジン３３がペンストローク画像ＰＳ２の描画を開始する際に、レンダリングエンジン３３にアタッチされる。レンダリングエンジンエージェント３４は、タブレットドライバ３２から描画アプリウインドウ位置情報ＧＡＷＰを取得するとともに、描画アプリケーション３６からアプリ状態情報ＡＳを取得し、取得したこれらの情報を、タブレットチャンネル４２を介してレンダリングエンジン３３に供給するよう構成される。
【0053】
図４（ｂ）は、描画アプリウインドウ位置情報ＧＡＷＰのフォーマットを示す図である。同図に示すように、描画アプリウインドウ位置情報ＧＡＷＰは、位置情報、サイズ情報、アクティブ情報、非アクティブ情報、メニュー開閉情報、子ウインドウ展開情報を含んで構成される。
【0054】
位置情報は、デスクトップ映像ＤＶ２内におけるウインドウＷの位置を示す情報であり、サイズ情報は、ウインドウＷの大きさを示す情報である。アクティブ情報は、ウインドウＷがフォアグラウンドとなっている場合に真、そうでない場合に偽となる情報であり、非アクティブ情報は、ウインドウＷがバックグラウンドとなっている場合に真、そうでない場合に偽となる情報である。アクティブ情報が偽となり、非アクティブ情報が真となっている場合、描画アプリケーション３６はペン入力を受け付けない状態（ペンストローク画像ＰＳ１の生成を行わない状態）になっている。
【0055】
メニュー開閉情報は、ウインドウＷ内に設けられるメニューのうちの１つが開いた状態になっている場合に真、そうでない場合に偽となる情報である。子ウインドウ展開情報は、ウインドウＷ内に子ウインドウ（ファイル保存時のフォルダ選択画面、設定画面など）が開いている場合に真、そうでない場合に偽となる情報である。メニュー開閉情報が真となっている場合、及び、子ウインドウ展開情報が真となっている場合にも、描画アプリケーション３６はペン入力を受け付けない状態（ペンストローク画像ＰＳ１の生成を行わない状態）になっている。
【0056】
図１に戻る。レンダリングエンジン３３は、描画アプリケーション３６の行うレンダリング処理（以下「第１のレンダリング処理」という）と共有されたレンダリング処理（以下「第２のレンダリング処理」という）を第１のレンダリング処理と並列に実行することにより、ペンストローク画像ＰＳ２（暫定画像）を生成する機能部である。第１のレンダリング処理と第２のレンダリング処理との共有は、要するに、ペンストローク画像ＰＳ２の外観をペンストローク画像ＰＳ１の外観に合わせるということであり、描画アプリウインドウ位置情報ＧＡＷＰ及びアプリ状態情報ＡＳをコンピュータ１，２間で共有することを含む。
【0057】
より詳しく説明すると、レンダリングエンジン３３は、タブレットドライバ３２から供給される仮想デスクトップ情報ＶＤＰに基づいて、デスクトップ映像ＤＶ１内における仮想デスクトップ領域ＶＤＩの位置及びサイズを取得する。続いてレンダリングエンジン３３は、レンダリングエンジンエージェント３４から受信した描画アプリウインドウ位置情報ＧＡＷＰに基づいて、仮想デスクトップ領域ＶＤＩ内におけるウインドウＷの位置・サイズを取得する。レンダリングエンジン３３はさらに、レンダリングエンジンエージェント３４から受信したアプリ状態情報ＡＳ内のキャンパスエリア情報に基づいて、ウインドウＷ内における描画領域Ａ３の位置・サイズ・形状・背景色を取得する。レンダリングエンジン３３は、こうして得た描画領域Ａ３の内部にのみ、ペンストローク画像ＰＳ２を描画するよう構成される。これによりペンストローク画像ＰＳ２は、遅れて表示されるペンストローク画像ＰＳ１と同じ位置に描画されることになる。
【0058】
ここで、図５は、描画領域Ａ３の内部へのペンストローク画像ＰＳ２の描画の例を示す図である。タブレットドライバ３２は、ペンＰの指示位置が描画領域Ａ３の外にある場合においても、ペンデータＰＤを生成してレンダリングエンジン３３に供給するよう構成される。図５に示した位置Ｐ１～Ｐ４は、タブレットドライバ３２からレンダリングエンジン３３に供給される一連のペンデータＰＤに含まれるペンＰの指示位置を表しており、このうち位置Ｐ１，Ｐ２は描画領域Ａ３外の位置となっている。レンダリングエンジン３３は、この位置Ｐ１，Ｐ２のように描画領域Ａ３の外にある位置も必要に応じて参照しながら、ペンストローク画像ＰＳ２の描画を行う。すなわち、例えば上述したキャットマル－ロム曲線を導出する際には、４つの位置が必要となる。そこでレンダリングエンジン３３は、描画領域Ａ３の外にある位置も含めて４つの位置を参照することによって曲線を導出し、そのうち描画領域Ａ３の中にある部分のみを描画することにより、ペンストローク画像ＰＳ２の描画を行う。
【0059】
図１に戻る。レンダリングエンジン３３は、レンダリングエンジンエージェント３４から受信したアプリ状態情報ＡＳ内の描画設定情報に基づいて、第１のレンダリング処理で使用されるブラシデータを取得する。そして、取得したブラシデータを用い、タブレットドライバ３２から供給されるペンデータＰＤに基づいて第２のレンダリング処理を行うことにより、ペンストローク画像ＰＳ２を生成する。これにより、ペンストローク画像ＰＳ２は、ペンストローク画像ＰＳ１と同じ外観を有する画像となる。
【0060】
また、レンダリングエンジン３３は、レンダリングエンジンエージェント３４から受信した描画アプリウインドウ位置情報ＧＡＷＰ及びアプリ状態情報ＡＳに基づいて、描画アプリケーション３６がペンストローク画像ＰＳ１の生成を行っているか否かを判定する。そして、描画アプリケーション３６がペンストローク画像ＰＳ１の生成を行っていると判定した場合にのみ、第２のレンダリング処理を行ってペンストローク画像ＰＳ２を生成する。これにより、ペンストローク画像ＰＳ１が生成されていないのにペンストローク画像ＰＳ２が生成されるという事態が発生することを防止できる。
【0061】
図２（ｂ）は、ユーザがペン入力を行っている最中におけるストリーミング映像ＳＶ及びデスクトップ映像ＤＶ１，ＤＶ１ａの例を示す図である。同図には、レンダリングエンジン３３によって生成されるペンストローク画像ＰＳ２も示している。同図に示すように、レンダリングエンジン３３は、仮想デスクトップ領域ＶＤＩ、ウインドウＷ、及び描画領域Ａ３を仮想的に設定し、そのうちの描画領域Ａ３内にのみペンストローク画像ＰＳ２を描画するよう構成される。
【0062】
図１に戻る。レンダリングエンジン３３は、生成したペンストローク画像ＰＳ２をビデオデバイス２３に供給する処理も行う。ビデオデバイス２３は、内部で生成しているデスクトップ映像ＤＶ１ａにペンストローク画像ＰＳ２を合成することによってデスクトップ映像ＤＶ１を生成し、ディスプレイ２４に供給する。これにより、図２（ｂ）に示したように、ペンストローク画像ＰＳ２を含むデスクトップ映像ＤＶ１がディスプレイ２４に表示されることになる。したがって、コンピュータ１のユーザは、表示の遅れがちなペンストローク画像ＰＳ１が表示される前の段階で、ペンストローク画像ＰＳ１と同じ位置に、ペンストローク画像ＰＳ１と同じ外観を有するペンストローク画像ＰＳ２を見ることが可能になる。
【0063】
【0064】
まず図６を参照すると、初めにユーザにより、会議アプリケーション３５上で、リモート会議を開始するための操作が行われる（ステップＳ１）。この操作は、入力装置２２又はペン入力装置２５を用いて実行され得る。この点は、以下に説明する各操作においても同様である。なお、図６にはコンピュータ１のユーザが行う操作のみを示しているが、会議を開始するための操作はコンピュータ１，２のそれぞれにおいて行われる。
【0065】
コンピュータ１，２の会議アプリケーション３５は、ステップＳ１の操作が行われたことを受け、図１に示したデータチャンネル４１を通じて、リモート会議を開始するための処理を実行する（ステップＳ２）。これにより、コンピュータ１，２の間でリモート会議が開始される。
【0066】
リモート会議を開始したコンピュータ２の会議アプリケーション３５は、コンピュータ２のユーザの操作に応じて、図１に示したデスクトップ映像ＤＶ２の全体又は一部のストリーミングを開始する（ステップＳ３）。これにより、図１に示したディスプレイチャンネル４０を介してデスクトップ映像ＤＶ２の全体又は一部を含むストリーミング映像ＳＶの送信が開始され、コンピュータ１のディスプレイ２４に表示されるデスクトップ映像ＤＶ１の中に、コンピュータ２から受信したストリーミング映像ＳＶが現れるようになる。
【0067】
次に、コンピュータ１のユーザにより、会議アプリケーション３５上で、ペンＰによるペン入力を開始するための操作が実行される（ステップＳ４）。この操作を受けた会議アプリケーション３５は、ペン入力を開始する旨をレンダリングエンジン３３及びコンピュータ２の会議アプリケーション３５に通知する（ステップＳ５）。
【0068】
ステップＳ５の通知を受けたレンダリングエンジン３３は、タブレットドライバ３２から上述した仮想デスクトップ情報ＶＤＰを取得し（ステップＳ６）、それによって示される仮想デスクトップ領域ＶＤＩの位置に、ストロークを描画するためのキャンパスを設定する（ステップＳ７）。また、レンダリングエンジン３３はさらに、図１に示したタブレットチャンネル４２を通じて、コンピュータ２内のレンダリングエンジンエージェント３４にアタッチする（ステップＳ８）。
【0069】
また、ステップＳ５の通知を受けたコンピュータ２の会議アプリケーション３５は、描画アプリケーション３６を起動する（ステップＳ９）。これによって起動した描画アプリケーション３６は、タブレットドライバ３２からのペンデータＰＤの受付を開始する（ステップＳ１０）。
【0070】
ステップＳ８においてレンダリングエンジン３３にアタッチされたレンダリングエンジンエージェント３４は、タブレットドライバ３２から描画アプリウインドウ位置情報ＧＡＷＰを取得する（ステップＳ１１）とともに、描画アプリケーション３６からアプリ状態情報ＡＳを取得し（ステップＳ１２）、取得したこれらの情報を、図１に示したタブレットチャンネル４２を通じてレンダリングエンジン３３に送信する（ステップＳ１３）。
【0071】
レンダリングエンジンエージェント３４から描画アプリウインドウ位置情報ＧＡＷＰ及びアプリ状態情報ＡＳを受信したレンダリングエンジン３３は、描画アプリケーション３６によって実行される第１のレンダリング処理を共有するための共有処理を実行する（ステップＳ１４）。具体的に説明すると、レンダリングエンジン３３は、描画アプリウインドウ位置情報ＧＡＷＰに基づいて、ステップＳ７で設定したキャンパス内におけるウインドウＷの位置・サイズを取得し、さらに、アプリ状態情報ＡＳ内のキャンパスエリア情報に基づいて、ウインドウＷ内における描画領域Ａ３の位置・サイズ・形状・背景色を取得する。また、レンダリングエンジン３３は、アプリ状態情報ＡＳ内の描画設定情報に基づいて、第１のレンダリング処理で使用されるブラシデータを取得するとともに、描画アプリウインドウ位置情報ＧＡＷＰ及びアプリ状態情報ＡＳに基づいて、描画アプリケーション３６がペンストローク画像ＰＳ１の生成を行っていることを確認する。レンダリングエンジン３３は、この共有処理を実行することにより、ペンストローク画像ＰＳ１と同じ外観を有するペンストローク画像ＰＳ２を描画領域Ａ３内に描画することが可能になる。
【0072】
ここで、レンダリングエンジンエージェント３４は、少なくとも定期的に、描画アプリウインドウ位置情報ＧＡＷＰ及びアプリ状態情報ＡＳの取得及びレンダリングエンジン３３への送信を実行することが好ましい。或いは、レンダリングエンジンエージェント３４は、描画アプリウインドウ位置情報ＧＡＷＰ及びアプリ状態情報ＡＳの変更を監視し、変更される都度、その取得及びレンダリングエンジン３３への送信を実行することとしてもよい。一例を挙げると、レンダリングエンジンエージェント３４は、描画アプリケーション５５がフォアグラウンドになり、その結果として描画アプリウインドウ位置情報ＧＡＷＰ内のアクティブ情報が変更されたことに応じて、描画アプリウインドウ位置情報ＧＡＷＰを送信することとしてもよい。
【0073】
また、レンダリングエンジン３３において、レンダリングエンジン３３が生成したペンストローク画像ＰＳ２と、その後に受信されたペンストローク画像ＰＳ１とが異なっているか否かを判定し、異なっていると判定した場合に、レンダリングエンジン３３からレンダリングエンジンエージェント３４に対して描画アプリウインドウ位置情報ＧＡＷＰ及びアプリ状態情報ＡＳを要求し、該要求に応じてレンダリングエンジンエージェント３４がレンダリングエンジン３３に対して描画アプリウインドウ位置情報ＧＡＷＰ及びアプリ状態情報ＡＳを送信することとしてもよい。こうすることで、描画アプリウインドウ位置情報ＧＡＷＰ又はアプリ状態情報ＡＳが変更されたことによってペンストローク画像ＰＳ２とペンストローク画像ＰＳ１の間に相違が生じた場合に、速やかにペンストローク画像ＰＳ２をペンストローク画像ＰＳ１に合わせることが可能になる。
【0074】
また、レンダリングエンジン３３は、レンダリングエンジンエージェント３４から描画アプリウインドウ位置情報ＧＡＷＰ又はアプリ状態情報ＡＳが受信される都度、必要に応じてステップＳ１４の共有処理を再実行することが好ましい。或いは、レンダリングエンジン３３の側から、レンダリングエンジンエージェント３４が新たな描画アプリウインドウ位置情報ＧＡＷＰ又はアプリ状態情報ＡＳを取得したか否かを少なくとも定期的に確認し、必要に応じて、描画アプリウインドウ位置情報ＧＡＷＰ又はアプリ状態情報ＡＳの受信と、ステップＳ１４の共有処理とを再実行することとしてもよい。これによりレンダリングエンジン３３は、常に最新の情報に基づいてペンストローク画像ＰＳ２の生成を行うことが可能になる。
【0075】
続いて、図７を参照する。ユーザがペンＰの操作を行うと（ステップＳ２０）、コンピュータ１のタブレットドライバ３２によりペンデータＰＤが取得される。ペンデータＰＤを取得したタブレットドライバ３２は、取得したペンデータＰＤをレンダリングエンジン３３に供給するとともに、図１に示したタブレットチャンネル４２を用いて、コンピュータ２のタブレットドライバ３２にも供給する（ステップＳ２１）。このステップＳ２１から以下で説明するステップＳ３０までの処理は、コンピュータ１のタブレットドライバ３２が新たなペンデータＰＤを取得する都度、繰り返し実行される。
【0076】
コンピュータ２のタブレットドライバ３２は、供給されたペンデータＰＤを描画アプリケーション３６に供給する（ステップＳ２１）。これを受けた描画アプリケーション３６は、図３に示した各データに基づいて第１のレンダリング処理を行い（ステップＳ２２）、その結果として得られたペンストローク画像ＰＳ２を含むウインドウＷをコンピュータ２のビデオデバイス２３に供給する。これにより、第１のレンダリング処理によって得られたペンストローク画像ＰＳ２を含むストリーミング映像ＳＶがコンピュータ２からコンピュータ１に対して送信され（ステップＳ２４）、いずれデスクトップ映像ＤＶ１内にペンストローク画像ＰＳ２が現れることになる。
【0077】
一方、コンピュータ１のレンダリングエンジン３３は、図６に示したステップＳ１４で実行しておいた共有処理により第１のレンダリング処理と共有された第２のレンダリング処理を第１のレンダリング処理と並列に実行することにより、ペンストローク画像ＰＳ２を生成する（ステップＳ２５）。具体的には、まず初めに、最新の所定個のペンデータＰＤに含まれる一連の指示位置に基づいて、ベジエ曲線やキャットマル－ロム曲線などの曲線を導出する。そして、導出した曲線をベースに、各ペンデータＰＤ内のデータ及びステップＳ１４で取得したブラシデータに基づいてペンストローク画像ＰＳ２の生成を行い、生成したペンストローク画像ＰＳ２のうちステップＳ１４で位置等を取得した描画領域Ａ３内に位置する部分のみを描画する。ただし、レンダリングエンジン３３は、描画アプリウインドウ位置情報ＧＡＷＰ又はアプリ状態情報ＡＳにより描画アプリケーション３６がペンストローク画像ＰＳ１の生成を行っていないことが示される場合、ペンストローク画像ＰＳ２の生成を行わない。
【0078】
レンダリングエンジン３３は、ステップＳ２５にて生成したペンストローク画像ＰＳ２を、ビデオデバイス２３に供給する（ステップＳ２６）。ビデオデバイス２３は、供給されたペンストローク画像ＰＳ２をデスクトップ映像ＤＶ１ａに合成することによってデスクトップ映像ＤＶ１を生成し、図１に示したディスプレイ２４に出力する（ステップＳ２７）。これによりコンピュータ１のユーザは、デスクトップ映像ＤＶ１内にペンストローク画像ＰＳ２が反映される前の段階で、後に表示されることとなるペンストローク画像ＰＳ１と同じ位置に、ペンストローク画像ＰＳ１と同一の外観を有するペンストローク画像ＰＳ２を視認することが可能になる。
【0079】
レンダリングエンジン３３は、ステップＳ２５においてペンストローク画像ＰＳ２を生成してから所定時間後に、デスクトップ映像ＤＶ１からペンストローク画像ＰＳ２を消去するための処理を行う（ステップＳ２８）。この処理は、最新のペンストローク画像ＰＳ２から、所定時間前のステップＳ２５において新たに生成した部分を消去してなるペンストローク画像ＰＳ２を新たに生成する処理とすればよい。より具体的に言えば、レンダリングエンジン３３は、タブレットドライバ３２から供給されるペンデータＰＤを蓄積し、描画タイミングの都度、透明なスクリーンを用意し、蓄積したペンデータＰＤのうち描画対象とするもの（初めて描画の対象となってから所定時間が経過していないもの）のみをスクリーン上に描画することにより、ペンストローク画像ＰＳ２の消去を実行することとすればよい。
【0080】
レンダリングエンジン３３は、ステップＳ２５にて生成したペンストローク画像ＰＳ２を、ビデオデバイス２３に供給する（ステップＳ２９）。ビデオデバイス２３は、ステップＳ２７と同様にしてデスクトップ映像ＤＶ１を生成し、図１に示したディスプレイ２４に出力する（ステップＳ３０）。これにより、ペンストローク画像ＰＳ２のうち所定時間前に生成された部分がデスクトップ映像ＤＶ１から消えることになる。
【0081】
図８（ａ）及び図８（ｂ）はそれぞれ、ユーザがペン入力を行っている最中におけるストリーミング映像ＳＶ及びデスクトップ映像ＤＶ１，ＤＶ１ａの例を示す図である。図８（ａ）には図２（ｂ）から所定時間後の状態を示し、図８（ｂ）には図８（ａ）から所定時間後の状態を示している。なお、実際の処理では、新たなペンデータＰＤが取得される都度ステップＳ２８の消去処理を行うことになるが、理解を容易にするため、図８（ａ）及び図８（ｂ）においては、図示したペンストロークが２回の消去処理によって消去されることとしている。以下、この図８（ａ）及び図８（ｂ）を参照しながら、ステップＳ２８～Ｓ３０の処理について、より具体的に説明する。
【0082】
まず図８（ａ）を参照すると、この時点でストリーミング映像ＳＶ内に現れているペンストローク画像ＰＳ１は、図示したペンストロークの前半部分のみを含んでいる。このタイミングで図示したペンストロークの前半部分をペンストローク画像ＰＳ２から消去すれば、デスクトップ映像ＤＶ１には、ペンストローク画像ＰＳ１とペンストローク画像ＰＳ２とが重なって表示されることなく、かつ、途切れずにペンストロークが表示されることになる。
【0083】
次に図８（ｂ）を参照すると、この時点では、ストリーミング映像ＳＶ内に現れているペンストローク画像ＰＳ１は、図示したペンストロークの全体を含んでいる。このタイミングで図示したペンストロークの後半部分をペンストローク画像ＰＳ２から消去すれば、デスクトップ映像ＤＶ１には引き続き、ペンストローク画像ＰＳ１とペンストローク画像ＰＳ２とが重なって表示されることなく、かつ、途切れずにペンストロークが表示されることになる。
【0084】
このように、ユーザのペン入力によって描画したペンストロークのうち、ストリーミング映像ＳＶ内に現れた部分をペンストローク画像ＰＳ２から順次消去していけば、デスクトップ映像ＤＶ１内において、ペンストローク画像ＰＳ１とペンストローク画像ＰＳ２とが重なって表示されることなく、かつ、途切れずにペンストローク画像が表示されることになる。ユーザがペン入力を行ってからその結果を示すペンストローク画像ＰＳ１がストリーミング映像ＳＶ内に現れるまでに要する時間が一定であるとすれば、図７に示したように、ステップＳ２５のレンダリング処理を行ってから所定時間後にステップＳ２８の消去処理を行うことで、このようなペンストローク画像の表示を実現することが可能になる。
【0085】
ここで、ペンストローク画像ＰＳ２を生成してから消去するまでの所定時間はコンピュータ１，２のいずれによってレンダリングエンジン３３に設定されることとしてもよいが、所定のキャリブレーション処理を行うことによって実際の遅延時間を測定し、測定した遅延の時間長に応じて設定されることが好ましい。特に、ブラシデータによるペンストロークの属性の導出と制御に時間がかかる場合においては、コンピュータ２によって、上記所定時間をレンダリングエンジン３３に設定することが好ましい。こうすることで、より適切にペンストローク画像ＰＳ２を消去していくことが可能になる。
【0086】
また、図８（ａ）には、ペンストローク画像ＰＳ２の外観がペンストローク画像ＰＳ１との外観と完全に一致する例を示したが、ペンストローク画像ＰＳ２の外観とペンストローク画像ＰＳ１との外観とは、必ずしも完全に一致していなくてもよい。つまり、図７に示したステップＳ２８の消去処理を行う時点で表示されているペンストローク画像のうち、ペンストローク画像ＰＳ１に相当する部分の外観と、ペンストローク画像ＰＳ２に相当する部分の外観とが完全には一致していなくてもよい。以下、具体的な例を参照しながら、ペンストローク画像ＰＳ１の外観と完全には一致しない外観を有するペンストローク画像ＰＳ２について説明する。
【0087】
図９（ａ）～図９（ｃ）は、ペンストローク画像ＰＳ１と形状は一致しつつも、模様及び色彩のいずれか一方又はこれらの組み合わせが異なるペンストローク画像ＰＳ２の例を示す図である。これらの図では、ペンストローク画像ＰＳ１がベタ塗りの黒線により描かれているのに対し、図９（ａ）のペンストローク画像ＰＳ２はハッチングされた線により描かれており、図９（ｂ）のペンストローク画像ＰＳ２は輪郭を有する線により描かれており、図９（ｃ）のペンストローク画像ＰＳ２は所定時間ごと（例えば１０ミリ秒ごと）に描画色の異なる線（いわゆるゼブラ模様の線）により描かれている。このようにペンストローク画像ＰＳ１とペンストローク画像ＰＳ２とで模様及び色彩のいずれか一方又はこれらの組み合わせを異ならせることにより、コンピュータ１のユーザは、どの部分が暫定画像であるのかを識別することが可能になる。また、図９（ｃ）のようにペンストローク画像ＰＳ２の描画色を所定時間ごとに変更することで、ある時点でディスプレイ２４に表示されているペンストローク画像ＰＳ２における描画色変更箇所の数を数えることにより、その時点での遅延時間の概数を知ることが可能になる。
【0088】
なお、ペンストローク画像ＰＳ１とペンストローク画像ＰＳ２とで模様及び色彩のいずれか一方又はこれらの組み合わせを異ならせる場合における「色彩」には、透明度を含むこととしてもよい。また、図９（ｂ）に示すペンストローク画像ＰＳ２の輪郭の内側の塗り方は、特に限定されない。例えば、ベタ塗りとしてもよいし、ハッチングを施すこととしてもよいし、透明又は半透明としてもよい。
【0089】
また、ペンストローク画像ＰＳ１と異なる描画色（透明度を含む）によりペンストローク画像ＰＳ２を生成する場合、レンダリングエンジン３３は、コンピュータ２から取得されるアプリ状態情報ＡＳに含まれる色情報（ペンストローク画像ＰＳ１の描画色を特定する情報）に基づき、ペンストローク画像ＰＳ２の描画色を決定することが好ましい。こうすることで、レンダリングエンジン３３は、ペンストローク画像ＰＳ１とは確実に異なる色（例えば、ペンストローク画像ＰＳ１の描画色の補色）でペンストローク画像ＰＳ２を生成することが可能になる。また、レンダリングエンジン３３は、コンピュータ２から取得されるアプリ状態情報ＡＳに含まれる描画領域Ａ３の背景色にも基づき、ペンストローク画像ＰＳ２の色彩を決定することがより好ましい。こうすることで、ペンストローク画像ＰＳ２の描画色をペンストローク画像ＰＳ１の描画色と異なる色にした結果、ペンストローク画像ＰＳ２の描画色が描画領域Ａ３の背景色と同一又は類似の色になり、ペンストローク画像ＰＳ２の視認が困難になってしまうことを防止できる。
【0090】
ペンストローク画像ＰＳ２の描画色が描画領域Ａ３の背景色と同一又は類似の色になり、ペンストローク画像ＰＳ２の視認が困難になってしまうことは、図９（ｂ）や図９（ｃ）に示す例のようなペンストローク画像ＰＳ２を用いることによっても防止できる。すなわち、レンダリングエンジン３３は、図９（ｃ）に示す例のように２色以上の多色混在の模様を用いてペンストローク画像ＰＳ２を生成することによってペンストローク画像ＰＳ２の視認性を確保することとしてもよいし、図９（ｂ）に示す例のようにペンストローク画像ＰＳ２に輪郭を設けることによってペンストローク画像ＰＳ２の視認性を確保することとしてもよい。その他、ペンストローク画像ＰＳ２の描画色や模様を時間的に変化させる（例えば点滅させる）ことによっても、ペンストローク画像ＰＳ２の視認性を確保することが可能になる。
【0091】
図９（ｄ）は、ペンストローク画像ＰＳ１と軌跡（形状の中心線）は一致しつつも、形状が異なるペンストローク画像ＰＳ２の例を示す図である。同図の例によるレンダリングエンジン３３は、ペンストローク画像ＰＳ１の線幅に比べて細い線幅でペンストローク画像ＰＳ２を生成している。別の言い方をすると、同図の例によるレンダリングエンジン３３は、ペンストローク画像ＰＳ１と同じ補間曲線（上述したベジエ曲線、キャットマル－ロム曲線など）を用いてペンストローク画像ＰＳ２を生成しつつ、ペンストローク画像ＰＳ１と線幅を異ならせている。こうすることで、描画色を変える場合などに比べてユーザが感じる遅延の度合いを軽減する効果が得られ、また、ペンストローク画像ＰＳ１とペンストローク画像ＰＳ２の軌跡が一致していることから、ユーザにとって違和感の少ない処理を実現することが可能になる。
【0092】
図１０は、描画アプリケーション３６によって生成されるペンストローク画像ＰＳ１が線を描画するためのストロークではないストローク（以下「特殊ストローク」と称する）を表すものである場合におけるペンストローク画像ＰＳ１，ＰＳ２の例を示す図である。この例によるペンストローク画像ＰＳ１は色混ぜ用のストロークを示すものであり、図１０には、相対的に薄い色で塗られた領域ＡＲ１と、相対的に濃い色で塗られた領域ＡＲ２とが仮想デスクトップ領域ＶＤＩ内に隣接して表示された状態で、領域ＡＲ１，ＡＲ２の境界近傍においてユーザがペンＰを移動させ、その結果として入力されたペンストローク画像ＰＳ１により領域ＡＲ１，ＡＲ２の色が混合された状態を示している。この場合のペンストローク画像ＰＳ１は、色の混合領域によって示される。特殊ストロークの例としては、他にも、３Ｄモデルのスカルプティング（粘土細工的操作）用のストロークなどが挙げられる。一方、ペンストローク画像ＰＳ２は、図９（ｂ）に示した例と同様、輪郭を有する線により描かれている。ただし、図１０には、ペンストローク画像ＰＳ２の線幅をペンストローク画像ＰＳ１の線幅より狭くし、かつ、ペンストローク画像ＰＳ２を構成する輪郭線の内側を透明とする例を示している。
【0093】
ペンストローク画像ＰＳ１が特殊ストロークである場合、描画アプリウインドウ位置情報ＧＡＷＰ及びアプリ状態情報ＡＳを利用したとしても、レンダリングエンジン３３が描画アプリケーション３６によって実行される第１のレンダリング処理を共有することは難しい場合がある。図１０の例でいえば、レンダリングエンジン３３がペンストローク画像ＰＳ１と完全に同じ外観を有するペンストローク画像ＰＳ２を描画するためには領域ＡＲ１，ＡＲ２の情報が必須であるが、描画アプリウインドウ位置情報ＧＡＷＰ及びアプリ状態情報ＡＳは領域ＡＲ１，ＡＲ２の情報を含んでいないため、上述したステップＳ１４の共有処理によっても、ペンストローク画像ＰＳ１及びペンストローク画像ＰＳ２の外観は完全には一致しない。そのようなペンストローク画像ＰＳ２をペンストローク画像ＰＳ１に重ねて描画したとすると、不自然なペンストローク画像ＰＳ２によってペンストローク画像ＰＳ１が隠れてしまい、ユーザの感じる違和感がむしろ増大する結果になりかねない。この点、図１０に例示するように、輪郭線によってペンストローク画像ＰＳ２を構成することで、操作中の位置を、違和感なくユーザに知らせることが可能になる。なお、図１０には、輪郭線によって囲まれた領域の描画色を透明とした例を示しているが、半透明としてもよい。
【0094】
以上説明したように、本実施の形態による画像処理方法によれば、コンピュータ１により実行される第２のレンダリング処理がコンピュータ２により実行される第１のレンダリング処理と共有されているので、コンピュータ１は、ペン先属性を考慮した高度な描画処理を用いて、暫定画像であるペンストローク画像ＰＳ２を描画することが可能になる。
【0095】
また、本実施の形態による画像処理方法によれば、ビデオデバイス２３によりペンストローク画像ＰＳ２が合成される領域を描画領域Ａ３内に制限できるので、描画領域Ａ３外におけるペンストローク画像ＰＳ２の描画を制限することが可能になる。
【0096】
さらに、本実施の形態による画像処理方法によれば、生成から所定時間後にペンストローク画像ＰＳ２を消去するための処理を行っているので、ペンストローク画像ＰＳ１とペンストローク画像ＰＳ２とが重なって表示されることなく、かつ、途切れることなく、デスクトップ映像ＤＶ１内にペンストローク画像を表示することが可能になる。
【0097】
なお、本実施の形態によれば、図７のステップＳ２８において、ペンＰの指示位置の単位で小刻みにペンストローク画像ＰＳ２が消去されていくことになるが、レンダリングエンジン３３は、複数の指示位置分のペンストローク画像ＰＳ２をまとめて消去することとしてもよい。こうすることで、プロセッサ２０の負荷を軽減することが可能になる。
【0098】
図１１は、本発明の第２の実施の形態による画像処理方法を示すシーケンスを示す図である。本実施の形態による画像処理方法は、ペンストローク画像ＰＳ２の消去方法の点で、第１の実施の形態による画像処理方法と相違する。以下、第１の実施の形態による画像処理方法との相違点に着目して説明する。
【0099】
図１１と図７を比較すると理解されるように、ステップＳ２７までの処理は第１の実施の形態による処理と同じである。本実施の形態においては、ステップＳ２５，Ｓ２６の処理を実行したレンダリングエンジン３３は、所定時間の待機に代え、デスクトップ映像ＤＶ１ａのうち、ステップＳ２５で新たに生成したペンストローク画像ＰＳ２の部分に対応する位置の画素情報を取得する（ステップＳ４０）。レンダリングエンジン３３は、このステップＳ４０の処理を、例えば周期的に繰り返し実行する。
【0100】
ステップＳ２５で新たに生成したペンストローク画像ＰＳ２の部分に対応するペンストローク画像ＰＳ１の部分がストリーミング映像ＳＶに含まれるようになると、ステップＳ４０の画素情報に変化が現れる。レンダリングエンジン３３は、この変化を検出すると（ステップＳ４１）、ペンストローク画像ＰＳ２のうち対応する部分を消去する処理を行い（ステップＳ４２）、新たに生成したペンストローク画像ＰＳ２をビデオデバイス２３に供給する（ステップＳ４３）。このペンストローク画像ＰＳ２を受けたビデオデバイス２３は、図７に示したステップＳ３０と同様にしてデスクトップ映像ＤＶ１を生成し、図１に示したディスプレイ２４に出力する（ステップＳ４４）。
【0101】
このような処理を採用することにより、レンダリングエンジン３３は、ペンストローク画像ＰＳ２のうちストリーミング映像ＳＶに現れた部分を随時消去していくことができる。したがって、本実施の形態による画像処理方法によれば、万一遅延が増大したとしても、途切れずにペンストロークを表示することが可能になる。
【0102】
なお、本実施の形態によるペンストローク画像ＰＳ２の消去方法と、図７を参照して説明したペンストローク画像ＰＳ２の消去方法とを併用することとしてもよい。本実施の形態によるペンストローク画像ＰＳ２の消去方法によれば、描画アプリケーション３６が上述したインクが滲んでいく様子を再現するための関数（同じ位置でのペンＰの滞在時間が長いほど線幅を大きくする関数）を用いてペンストローク画像ＰＳ２の描画を行うとすると、ペンＰがタッチ面内の同じ位置に滞在し続けた場合、ペン先周辺の画素に変化が現れず、ペンストローク画像ＰＳ１がいつまで経っても消去されないことになる。図７を参照して説明したペンストローク画像ＰＳ２の消去方法を併用すれば、このような場合においても、所定時間が経過した後、ペンストローク画像ＰＳ１を消去することが可能になる。
【0103】
図１２は、本発明の第３の実施の形態による画像処理方法を示すシーケンスを示す図である。本実施の形態による画像処理方法も、ペンストローク画像ＰＳ２の消去方法の点で、第１の実施の形態による画像処理方法と相違する。以下、第１の実施の形態による画像処理方法との相違点に着目して説明する。
【0104】
図１２と図７を比較すると理解されるように、ステップＳ２７までの処理は第１の実施の形態による処理と同じである。本実施の形態によるコンピュータ２のタブレットドライバ３２は、ステップＳ２１においてペンデータＰＤを描画アプリケーション３６に供給した後（すなわち、描画アプリケーション３６によるレンダリングが始まった後）、タブレットチャンネル４２を介し、そのペンデータＰＤのシリアル情報ＳＮをコンピュータ１のタブレットドライバ３２に対して送信する（ステップＳ５０）。コンピュータ１のタブレットドライバ３２は、こうして受信したシリアル情報ＳＮをレンダリングエンジン３３に転送する（ステップＳ５１）。
【0105】
タブレットドライバ３２からシリアル情報ＳＮの供給を受けたレンダリングエンジン３３は、生成済みのペンストローク画像ＰＳ２のうち、供給されたシリアル情報ＳＮに対応する部分を消去する処理を行い（ステップＳ５２）、新たに生成したペンストローク画像ＰＳ２をビデオデバイス２３に供給する（ステップＳ５３）。このペンストローク画像ＰＳ２を受けたビデオデバイス２３は、図７に示したステップＳ３０と同様にしてデスクトップ映像ＤＶ１を生成し、図１に示したディスプレイ２４に出力する（ステップＳ５４）。
【0106】
このような処理を採用することにより、レンダリングエンジン３３は、生成済みのペンストローク画像ＰＳ２のうち、コンピュータ２内でのレンダリングが始まったペンデータＰＤに対応する部分を随時消去していくことができる。コンピュータ１へのシリアル情報ＳＮの供給は、ストリーミング映像ＳＶの供給に対して僅かに先んじることが通常であるので、本実施の形態による画像処理方法によれば、ペンストローク画像ＰＳ１が表示されていくタイミングに合わせて、ペンストローク画像ＰＳ２を消去していくことが可能になる。
【0107】
なお、本実施の形態によるペンストローク画像ＰＳ２の消去方法と、図７を参照して説明したペンストローク画像ＰＳ２の消去方法とを併用することとしてもよい。こうすることで、万一ステップＳ５０におけるシリアル情報ＳＮの送信が滞り、シリアル情報ＳＮに基づく消去が適時のタイミングで行えなかったとしても、所定時間が経過した後には、ペンストローク画像ＰＳ１を確実に消去することが可能になる。さらに、本実施の形態によるペンストローク画像ＰＳ２の消去方法と、図１１を参照して説明したペンストローク画像ＰＳ２の消去方法とを併用することとしてもよいし、本実施の形態によるペンストローク画像ＰＳ２の消去方法と、図７を参照して説明したペンストローク画像ＰＳ２の消去方法及び図１１を参照して説明したペンストローク画像ＰＳ２の消去方法の両方とを併用することとしてもよい。
【0108】
また、コンピュータ２のタブレットドライバ３２は、すべてのペンデータＰＤについてシリアル情報ＳＮを送信するのではなく、数個おきなど間欠的にシリアル情報ＳＮを送信することとしてもよい。こうすることで、シリアル情報ＳＮの送信のために使用される通信リソースを削減することが可能になる。
【0109】
図１３は、本発明の第４の実施の形態による画像処理方法を実行するコンピュータ３のシステム構成を示す図である。本実施の形態による画像処理方法は、１台のコンピュータ３により実行される点で、第１の実施の形態による画像処理方法と相違する。以下、コンピュータ３の構成及び動作について、第１の実施の形態によるコンピュータ１，２との相違点に着目して説明する。
【0110】
コンピュータ３は、仮想マシン５０を実行する点で、図１に示したコンピュータ１と異なっている。仮想マシン５０は、コンピュータ３上で２つ目のオペレーティングシステムを実行するために使用される仮想的なコンピュータであり、プロセッサ２０が所定のプログラムを実行することによって実現される。典型的な例では、仮想マシン５０は、コンピュータ３のオペレーティングシステム上で動作しない描画アプリケーションを使用したい場合に用いられる。
【0111】
図１３に示すように、仮想マシン５０は、通信部５１、ＵＳＢデバイスドライバ５２、タブレットドライバ５３、レンダリングエンジンエージェント５４、描画アプリケーション５５、及びビデオデバイス５６を有して構成される。これらの基本的な動作は、図１に示した通信装置２１、ＵＳＢデバイスドライバ３０、タブレットドライバ３２、レンダリングエンジンエージェント３４、描画アプリケーション３６、及びビデオデバイス２３と同様である。ただし、コンピュータ３においては、ストリーミング映像ＳＶはウインドウＷを示す映像となる。また、描画アプリケーション５５の起動は、コンピュータ３のユーザ操作によって実行される。
【0112】
本実施の形態においては、プロセッサ２０がローカル側装置として機能し、仮想マシン５０がリモート側装置として機能する。描画アプリケーション５５により生成されたウインドウＷを含むストリーミング映像ＳＶが仮想マシン５０からプロセッサ２０に供給され、デスクトップ映像ＤＶ１内に配置される。プロセッサ２０により実行される第２のレンダリング処理が仮想マシン５０により実行される第１のレンダリング処理と共有されている点は、第１の実施の形態と同様である。したがって、本実施の形態による画像処理方法によっても、プロセッサ２０は、ペン先属性を考慮した高度な描画処理を用いて、暫定画像であるペンストローク画像ＰＳ２を描画することが可能になる。
【0113】
また、本実施の形態による画像処理方法によっても、ビデオデバイス２３によりペンストローク画像ＰＳ２が合成される領域を描画領域Ａ３内に制限できる。したがって、描画領域Ａ３外におけるペンストローク画像ＰＳ２の描画を制限することが可能になる。
【0114】
なお、仮想マシン５０は、ウェブブラウザ上で動作するアプリケーションであってもよい。そのようなアプリケーションの例としては、ウェブブラウザ上で動作するお絵かきアプリや、画面転送型のシンクライアントで用いられるデスクトップ仮想化アプリなどが挙げられる。アプリケーションが実際に動作する場所は、コンピュータ３上であってもよいし、ネットワークを介してコンピュータ３に接続されたサーバコンピュータ上であってもよい。いずれの場合であっても、本実施の形態による画像処理方法を用いることにより、ペン先属性を考慮した高度な描画処理を用いて、暫定画像であるペンストローク画像ＰＳ２を描画することが可能になる。
【0115】
図１４は、本発明の第５の実施の形態による画像処理方法を実行するコンピュータ１，２のシステム構成を示す図である。本実施の形態による画像処理方法は、ペン入力装置２５の内部でペンストローク画像ＰＳ２の生成とレンダリングが行われる点で、第１の実施の形態と相違する。以下、本実施の形態によるコンピュータ１，２の構成及び動作について、第１の実施の形態によるコンピュータ１，２との相違点に着目して説明する。
【0116】
本実施の形態によるペン入力装置２５は、いわゆる液タブ（液晶画面付きタブレット）であり、図１４に示すように、タッチセンサ２５ａ、ペン処理部２５ｂ、描画処理部２５ｃ、及び最前面表示処理部２５ｄを有して構成される。本実施の形態においては、ディスプレイ２４もペン入力装置２５の一部を構成する。ただし、ペン入力装置２５の種類は液タブに限られず、例えば小型画面付きのサインタブレットであることとしてもよい。この場合、ディスプレイ２４はペン入力装置２５の一部を構成せず、ペン入力装置２５内には、ディスプレイ２４とは別の小型のディスプレイが配置される。
【0117】
タッチセンサ２５ａは、タッチ面に配置された複数のセンサ電極によって構成される装置である。ペン処理部２５ｂは集積回路によって構成される機能部であり、上述したセンサコントローラとしての機能を有している。すなわち、ペン処理部２５ｂは、例えばアクティブ静電方式又は電磁誘導方式により、タッチセンサ２５を利用してペンＰの指示位置を示す２次元座標を検出するとともに、ペンＰから筆圧値等のデータを受信する役割を果たす。ペン処理部２５ｂは、ＵＳＢデバイスドライバ３１を介してタブレットドライバ３２に接続されるとともに、描画処理部２５ｃにも接続されており、ペンＰの指示位置を検出する都度、検出したペンＰの指示位置及びペンＰから受信したデータ（ペンデータＰＤ）を、タブレットドライバ３２及び描画処理部２５ｃの両方に供給するよう構成される。
【0118】
ここで、本実施の形態によるレンダリングエンジン３３は、レンダリングエンジンエージェント３４から受信した描画アプリウインドウ位置情報ＧＡＷＰ及びアプリ状態情報ＡＳをタブレットドライバ３２に供給するよう構成される。また、タブレットドライバ３２は、レンダリングエンジン３３から供給された描画アプリウインドウ位置情報ＧＡＷＰ及びアプリ状態情報ＡＳを、取得している仮想デスクトップ情報ＶＤＰとともに、ＵＳＢデバイスドライバ３１を介してペン処理部２５ｂに供給するよう構成される。ペン処理部２５ｂは、こうしてタブレットドライバ３２から供給された描画アプリウインドウ位置情報ＧＡＷＰ、アプリ状態情報ＡＳ、及び仮想デスクトップ情報ＶＤＰを、描画処理部２５ｃに対して供給するよう構成される。
【0119】
描画処理部２５ｃも集積回路によって構成される機能部であり、レンダリングエンジン３３と同様に、ペン処理部２５ｂから供給される情報に基づいてペンストローク画像ＰＳ２を生成する機能を有している。具体的に説明すると、描画処理部２５ｃは、まず仮想デスクトップ情報ＶＤＰに基づいて、デスクトップ映像ＤＶ１内における仮想デスクトップ領域ＶＤＩの位置及びサイズを取得し、次いで、描画アプリウインドウ位置情報ＧＡＷＰに基づいて、仮想デスクトップ領域ＶＤＩ内におけるウインドウＷの位置・サイズを取得する。そして、アプリ状態情報ＡＳ内のキャンパスエリア情報に基づいて、ウインドウＷ内における描画領域Ａ３の位置・サイズ・形状・背景色を取得し、こうして得た描画領域Ａ３の内部にペンストローク画像ＰＳ２を描画するよう構成される。描画処理部２５ｃはまた、アプリ状態情報ＡＳ内の描画設定情報に基づいてブラシデータを取得し、取得したブラシデータを用いて、ペンデータＰＤに基づくレンダリング処理を行うことにより、ペンストローク画像ＰＳ２を生成するよう構成される。
【0120】
最前面表示処理部２５ｄも集積回路によって構成される機能部であり、ディスプレイ２４に表示するための映像信号を一時的に記憶するためのメモリを含んで構成される。最前面表示処理部２５ｄは、描画処理部２５ｃによって生成されたペンストローク画像ＰＳ２を、このメモリに蓄積するよう構成される。また、最前面表示処理部２５ｄは、ビデオデバイス２３からデスクトップ映像ＤＶ１を受け取り、上記メモリに蓄積した映像信号とともにディスプレイ２４に出力する処理も行う。この出力を受けたディスプレイ２４は、デスクトップ映像ＤＶ１の上に重ねてペンストローク画像ＰＳ２を表示する。これによりユーザは、ディスプレイ２４において、デスクトップ映像ＤＶ１の上にペンストローク画像ＰＳ２が合成されてなる映像を見ることが可能になる。
【0121】
本実施の形態による画像処理方法によっても、コンピュータ１は、第１の実施の形態によるコンピュータ１と同様、ペン先属性を考慮した高度な描画処理を用いて、暫定画像であるペンストローク画像ＰＳ２を描画することが可能になる。
【0122】
なお、図１４に破線で示したように、本実施の形態によるコンピュータ１においても、第１の実施の形態によるコンピュータ１と同様に、レンダリングエンジン３３によるペンストローク画像ＰＳ２の生成を行えるようにしてもよい。この場合、タブレットドライバ３２が、レンダリングエンジン３３から供給されたアプリ状態情報ＡＳにより示されるペン先属性に描画処理部２５ｃが対応しているか否かを判定し、対応していないと判定した場合に、ペンストローク画像ＰＳ２の生成場所を描画処理部２５ｃからレンダリングエンジン３３に切り替えることとしてもよい。このような切り替え処理を採用することにより、描画処理部２５ｃが対応していないような高度な描画処理（ブラシ形状、ブラシ挙動など）を実行する場合にも、ペンストローク画像ＰＳ１と同一の外観でペンストローク画像ＰＳ２を表示することが可能になる。
【0123】
また、描画処理部２５ｃは、図７を参照して説明したペンストローク画像ＰＳ２の消去方法、及び、図１２を参照して説明したペンストローク画像ＰＳ２の消去方法の一方又は両方と同様の方法により、最前面表示処理部２５ｄがディスプレイ２４に供給する画像からペンストローク画像ＰＳ２を消去するための処理を行うこととしてもよい。こうすれば、描画処理部２５ｃにより生成されるペンストローク画像ＰＳ２のうちペンストローク画像ＰＳ１として表示されるようになった部分を、適宜消去していくことが可能になる。
【0124】
また、ペン処理部２５ｂ、描画処理部２５ｃ、及び最前面表示処理部２５ｄは、１つの集積回路によって構成されることとしてもよいし、２つ以上の集積回路によって構成されることとしてもよい。後者の場合において、ペン処理部２５ｂ及び描画処理部２５ｃを１つの集積回路で構成する場合、ＭＣＵ（Micro Controller Unit）を用いることが好ましい。また、描画処理部２５ｃ及び最前面表示処理部２５ｄを１つの集積回路で構成する場合、スケーラーＩＣ（Scaler IC）を用いることが好ましい。なお、複数の集積回路を用いる場合における各集積回路の間は、Ｉ２Ｃ（Inter-Integrated Circuit）やＵＡＲＴ（Universal Asynchronous Receiver / Transmitter）などのＵＳＢではない周辺機器用インターフェイスを介して、相互に接続することが一般的である。
【0125】
以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。
【0126】
例えば、レンダリングエンジン３３は、ペンダウンが発生したとき（すなわち、筆圧値が０から０より大きい値に変化したとき）のペンＰの指示位置を検出し、その指示位置が描画領域Ａ３内にある場合にのみ、第２のレンダリング処理を行うこととしてもよい。また、レンダリングエンジン３３は、ペンダウンが発生してからペンアップが発生するまで（すなわち、筆圧値が０に戻るまで）の間、仮に新たな描画アプリウインドウ位置情報ＧＡＷＰ又はアプリ状態情報ＡＳが受信され、それによって描画領域Ａ３の位置の変更が示されたとしても、描画領域Ａ３の位置を変更することなく（つまり、描画領域Ａ３を固定して）第２のレンダリング処理を実行し続けることとしてもよい。一方、レンダリングエンジン３３は、新たな描画アプリウインドウ位置情報ＧＡＷＰ又はアプリ状態情報ＡＳが受信され、それによって描画領域Ａ３の位置の変更が示された場合に、表示中のペンストローク画像ＰＳ２を一旦すべて消去することとしてもよい。
【0127】
また、図１３に示した構成のうち、タブレットドライバ３２及びレンダリングエンジン３３を集積回路内に設ける一方、タブレットドライバ５３、レンダリングエンジンエージェント５４、描画アプリケーション５５をプロセッサ２０内に設け、描画アプリケーション５５によって生成されたペンストローク画像ＰＳ１がデスクトップ映像ＤＶ１に反映されるまでの間、集積回路内でペンストローク画像ＰＳ２を生成することとしてもよい。これによれば、集積回路をローカル側装置、プロセッサ２０をリモート側装置として、コンピュータ３に本発明を適用することが可能になる。
【0128】
また、ペンＰのペン先とコンピュータ１のディスプレイ２４上に表示されるペンストローク画像ＰＳ１の先端との間の乖離は、ディスプレイ２４が小さいほど小さくなり、ディスプレイ２４が大きいほど大きくなる。そこでレンダリングエンジン３３は、ディスプレイ２４のサイズに応じて、ペンストローク画像ＰＳ２の存在感を制御することとしてもよい。より具体的に言えば、レンダリングエンジン３３は、ディスプレイ２４が小さいほどペンストローク画像ＰＳ２の存在感を弱くすることとしてもよい。例えば、レンダリングエンジン３３は、ディスプレイ２４のサイズが所定値以下である場合、ペンストローク画像ＰＳ２の生成をオフにすることとしてもよい。また、レンダリングエンジン３３は、ディスプレイ２４が小さいほど、図７に示したステップＳ２５においてペンストローク画像ＰＳ２を生成してから、図７に示したステップＳ２８において該ペンストローク画像ＰＳ２を消去するまでの時間を短くすることとしてもよい。また、レンダリングエンジン３３は、ディスプレイ２４が小さいほどペンストローク画像ＰＳ２の線幅を細くすることとしてもよいし、ディスプレイ２４が小さいほどペンストローク画像ＰＳ２の透明度を高く（すなわち、描画色を薄く）することとしてもよい。
【0129】
また、ペンストローク画像ＰＳ２の具体的な生成方法（例えば、描画色、模様、輪郭の有無など）を設定するための設定画面をデスクトップ映像ＤＶ１内に表示し、コンピュータ１のユーザがペンストローク画像ＰＳ２の生成方法を設定できるようにしてもよい。この場合において、レンダリングエンジンエージェント３４又は描画アプリケーション３６が仮想デスクトップ領域ＶＤＩ内（又は、ウインドウＷ内）に設定画面を描画することとしてもよい。こうすれば、ディスプレイ２４において仮想デスクトップ領域ＶＤＩを全画面表示している場合に、仮想デスクトップ領域ＶＤＩを最小化したり移動したりしなくても、ペンストローク画像ＰＳ２の生成方法を変更することが可能になる。
【0130】
一方、コンピュータ１のレンダリングエンジン３３（図１４の例では、描画処理部２５ｃ）により、仮想デスクトップ領域ＶＤＩの外に、ペンストローク画像ＰＳ２の具体的な生成方法を設定するための設定画面を描画することとしてもよい。こうすれば、ローカル側装置内でユーザがペンストローク画像ＰＳ２の外観を設定することができるので、レンダリングエンジンエージェント３４からレンダリングエンジン３３へのアプリ状態情報ＡＳの送信が遅れたとしても、アプリ状態情報ＡＳが受信されるまでの間、ペン先属性を考慮した高度な描画処理を用いて、暫定画像であるペンストローク画像ＰＳ２を描画することが可能になる。なお、頻繁に使用する１以上の生成方法をレンダリングエンジン３３内にプリセットしておき、プリセットされた１以上の生成方法のうちの１つを選択するだけでペンストローク画像ＰＳ２の生成方法を設定できるよう、設定画面を構成することしてもよい。
【0131】
なお、コンピュータ１のレンダリングエンジン３３は、ペン入力装置２５から供給されたデータに含まれるボタン情報の変化に応じて、上記設定画面の表示動作を実行することとしてもよい。例えば、ペン入力装置２５から供給されるデータに含まれるボタン情報によりペンＰに設けられている所定のスイッチの状態がオフからオンに変化したことが示される場合に、上記設定画面を表示すればよい。こうすることによりユーザは、ペンＰに設けられている所定のスイッチを押下することにより、コンピュータ１に上記設定画面を表示させることが可能になる。この場合においてタブレットドライバ３２は、コンピュータ２に対して送信するペンデータＰＤのうち、上記所定のスイッチに対応するボタン情報の値を、ペン入力装置２５から供給されるデータの内容にかかわらず常時オフを示す値に固定することにより、上記所定のスイッチの状態がオンに変化したことをコンピュータ２に通知しないことが好ましい。こうすることで、１つのスイッチの操作で２つの操作結果（コンピュータ１における上記設定画面の表示と、コンピュータ２で実行される他の動作）が発生し、ユーザを困惑させてしまうことを回避できるようになる。
【0132】
また、ペン入力装置２５に１以上のスイッチ（オンオフボタン、タッチリングなど）を設けることとしてもよく、ペン入力装置２５に設けられている１以上のスイッチそれぞれの状態を示す情報もペンデータＰＤ内に配置することとしてもよい。また、コンピュータ１のレンダリングエンジン３３は、ペン入力装置２５に設けられている所定のスイッチの状態変化に応じて、上記設定画面の表示動作を実行することとしてもよい。この場合において、この所定のスイッチの状態を示す情報がペンデータＰＤ内に配置されているならば、コンピュータ１のタブレットドライバ３２は、少なくとも該所定のスイッチの状態を設定画面の表示動作に対応付けている間、該所定のスイッチの実際の状態によらず該所定のスイッチの状態を示す情報を固定することにより、該所定のスイッチの状態をコンピュータ２に通知しないことが好ましい。
【0133】
また、ペンデータＰＤを構成する各データのコンピュータ２への送信の可否を示すフラグ情報をコンピュータ１のタブレットドライバ３２内に記憶しておき、ディスプレイ２４に表示中の情報に応じて、レンダリング３３又は会議アプリケーション３５がこのフラグ情報の値を制御することとしてもよい。そして、タブレットドライバ３２は、フラグ情報により送信否が示されるデータをコンピュータ２に送信しない（又は、送信する値を所定値に固定する）こととしてもよい。こうすることで、例えば、レンダリング３３又は会議アプリケーション３５が表示しているメニュー画面内にペンＰの指示位置が存在する場合に、ペンＰの座標データをコンピュータ２に対して送信しないようにすることができ、そうすることによって、コンピュータ１のユーザがペンＰによりメニューの操作をしているときに、コンピュータ２においてペンストローク画像ＰＳ１が描かれてしまうことを防止できるようになる。
【0134】
また、コンピュータ１，２はそれぞれ、複数のディスプレイ２４を有していてもよい。この場合において、コンピュータ２の複数のディスプレイ２４のそれぞれに表示される画面を結合したものをデスクトップ映像ＤＶ２としてもよい。仮想デスクトップ領域ＶＤＩがデスクトップ映像ＤＶ１内に収まらない場合には、仮想デスクトップ領域ＶＤＩを縮小することとしてもよいし、仮想デスクトップ領域ＶＤＩの一部のみをデスクトップ映像ＤＶ１内に表示することとしてもよい。
【0135】
また、ペン入力装置２５は、いわゆる液晶タブレットとしてディスプレイ２４と一体に構成されてもよいし、いわゆる板タブレットとしてディスプレイ２４と別体に構成されてもよい。前者の場合、コンピュータ１が複数のディスプレイ２４を有しているとすれば、それぞれを液晶タブレットとして構成してもよい。後者の場合、第２の実施の形態に記載したレンダリングエンジン３３の処理によれば、レンダリングエンジン３３は、コンピュータ１のディスプレイ２４に表示されるペンＰの位置を示すカーソルと、ストリーミング映像ＳＶに現れたペンストローク画像ＰＳ１の先端とを結ぶようにペンストローク画像ＰＳ２を描画することになる。
【0136】
また、ペン入力装置２５は、複数のペンＰを同時に検出可能に構成されてもよい。この場合におけるレンダリングエンジン３３は、ペンＰごとにペンストローク画像ＰＳ２を生成することが好ましい。
【0137】
また、ペンＰとともに、或いは、ペンＰに代えて、指などのパッシブポインタにより仮想デスクトップ領域ＶＤＩ内への書き込みが行えるようにしてもよい。この場合におけるレンダリングエンジン３３は、パッシブポインタの一連の指示位置によって示されるストロークについても、ペンストローク画像ＰＳ２と同様にして暫定画像を生成することが好ましい。
【0138】
また、会議アプリケーション３５は、ブラウザのプラグインとして構成することとしてもよいし、ブラウザとは別のアプリケーションとして構成することとしてもよい。
【0139】
また、本発明は、上記実施の形態で取り上げたリモート会議を行う場合のみならず、一方のコンピュータ（リモート側装置）の画面（デスクトップ画面又はアプリケーションのウインドウ）を他方のコンピュータ（ローカル側装置）に共有する場合に広く適用可能である。
【符号の説明】
【0140】
１～３ コンピュータ
２０ プロセッサ
２１ 通信装置
２２ 入力装置
２３，５６ ビデオデバイス
２４ ディスプレイ
２５ ペン入力装置
２５ａ タッチセンサ
２５ｂ ペン処理部
２５ｃ 描画処理部
２５ｄ 最前面表示処理部
３０，３１，５２ デバイスドライバ
３２，５３ タブレットドライバ
３３ レンダリングエンジン
３４，５４ レンダリングエンジンエージェント
３５，４５ 会議アプリケーション
３６，５５ 描画アプリケーション
４０ ディスプレイチャンネル
４１ データチャンネル
４２ タブレットチャンネル
４３ リダイレクトチャンネル
５０ 仮想マシン
５１ 通信部
Ａ１ メインエリア
Ａ２ キャンパスエリア
Ａ３ 描画領域
ＡＳ アプリ状態情報
ＤＶ１，ＤＶ１ａ，ＤＶ２ デスクトップ映像
ＧＡＷＰ 描画アプリウインドウ位置情報
Ｐ ペン
Ｐ１～Ｐ４ ペンＰの指示位置
ＰＤ ペンデータ
ＰＳ１，ＰＳ２ ペンストローク画像
ＳＶ ストリーミング映像
ＶＤＩ 仮想デスクトップ領域
ＶＤＰ 仮想デスクトップ情報
Ｗ 描画アプリケーション３６のウインドウ
２０ プロセッサ
２１ 通信装置
２２ 入力装置
２３，５６ ビデオデバイス
２４ ディスプレイ
２５ ペン入力装置
２５ａ タッチセンサ
２５ｂ ペン処理部
２５ｃ 描画処理部
２５ｄ 最前面表示処理部
３０，３１，５２ デバイスドライバ
３２，５３ タブレットドライバ
３３ レンダリングエンジン
３４，５４ レンダリングエンジンエージェント
３５，４５ 会議アプリケーション
３６，５５ 描画アプリケーション
４０ ディスプレイチャンネル
４１ データチャンネル
４２ タブレットチャンネル
４３ リダイレクトチャンネル
５０ 仮想マシン
５１ 通信部
Ａ１ メインエリア
Ａ２ キャンパスエリア
Ａ３ 描画領域
ＡＳ アプリ状態情報
ＤＶ１，ＤＶ１ａ，ＤＶ２ デスクトップ映像
ＧＡＷＰ 描画アプリウインドウ位置情報
Ｐ ペン
Ｐ１～Ｐ４ ペンＰの指示位置
ＰＤ ペンデータ
ＰＳ１，ＰＳ２ ペンストローク画像
ＳＶ ストリーミング映像
ＶＤＩ 仮想デスクトップ領域
ＶＤＰ 仮想デスクトップ情報
Ｗ 描画アプリケーション３６のウインドウ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【手続補正書】
【提出日】2023-02-27
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
リモート側装置及びローカル側装置により実行される画像処理方法であって、
前記ローカル側装置が、ペンの指示位置を検出し、ネットワーク経由で前記リモート側装置に送信するステップと、
前記リモート側装置が、前記ローカル側装置から受信した一連の前記指示位置に基づいて生成されたペンストローク画像を含むストリーミング映像を前記ネットワーク経由で送信するステップと、
前記ローカル側装置が、検出した一連の前記指示位置に基づいて、ペンストローク画像である暫定画像を生成するステップと、
前記ローカル側装置が、前記リモート側装置から前記ネットワーク経由で前記ストリーミング映像を受信し、前記暫定画像を合成して出力するステップと、
前記ローカル側装置が、前記暫定画像のうち所定の条件が満たされた部分を順次消去するステップと、
を含む画像処理方法。
前記ローカル側装置が、ペンの指示位置を検出し、ネットワーク経由で前記リモート側装置に送信するステップと、
前記リモート側装置が、前記ローカル側装置から受信した一連の前記指示位置に基づいて生成されたペンストローク画像を含むストリーミング映像を前記ネットワーク経由で送信するステップと、
前記ローカル側装置が、検出した一連の前記指示位置に基づいて、ペンストローク画像である暫定画像を生成するステップと、
前記ローカル側装置が、前記リモート側装置から前記ネットワーク経由で前記ストリーミング映像を受信し、前記暫定画像を合成して出力するステップと、
前記ローカル側装置が、前記暫定画像のうち所定の条件が満たされた部分を順次消去するステップと、
を含む画像処理方法。
【請求項2】
前記所定の条件が満たされた部分は、生成から所定時間が経過した部分である、
請求項１に記載の画像処理方法。
請求項１に記載の画像処理方法。
【請求項3】
前記所定時間は、前記リモート側装置により設定される、
請求項２に記載の画像処理方法。
請求項２に記載の画像処理方法。
【請求項4】
前記所定時間は、前記ペンストローク画像が前記ストリーミング映像に反映されるまでの時間長に応じて設定される、
請求項２又は３に記載の画像処理方法。
請求項２又は３に記載の画像処理方法。
【請求項5】
前記所定の条件が満たされた部分は、前記ストリーミング映像内に現れた部分である、
請求項１乃至４のいずれか一項に記載の画像処理方法。
請求項１乃至４のいずれか一項に記載の画像処理方法。
【請求項6】
前記リモート側装置は、前記ローカル側装置から順次受信されるペンの指示位置のうち前記ストリーミング映像に含まれるペンストローク画像を生成するためのレンダリング処理が開始されたものを示す情報を前記ローカル側装置に対して送信するよう構成され、
前記所定の条件が満たされた部分は、前記リモート側装置からの情報により前記レンダリング処理の開始が示された前記指示位置に対応する部分である、
請求項１乃至５のいずれか一項に記載の画像処理方法。
前記所定の条件が満たされた部分は、前記リモート側装置からの情報により前記レンダリング処理の開始が示された前記指示位置に対応する部分である、
請求項１乃至５のいずれか一項に記載の画像処理方法。
【請求項7】
前記リモート側装置及び前記ローカル側装置は互いに別体のコンピュータである、
請求項１乃至６のいずれか一項に記載の画像処理方法。
請求項１乃至６のいずれか一項に記載の画像処理方法。
【請求項8】
前記ローカル側装置はペン入力装置を含み、
前記暫定画像を生成するステップは、前記ペン入力装置内の集積回路によって実行される、
請求項１乃至７のいずれか一項に記載の画像処理方法。
前記暫定画像を生成するステップは、前記ペン入力装置内の集積回路によって実行される、
請求項１乃至７のいずれか一項に記載の画像処理方法。
【請求項9】
前記ペン入力装置は表示装置を含み、
前記ペン入力装置は、前記暫定画像を合成して出力するステップとは別に、前記暫定画像を前記表示装置に出力するステップを実行する、
請求項８に記載の画像処理方法。
前記ペン入力装置は、前記暫定画像を合成して出力するステップとは別に、前記暫定画像を前記表示装置に出力するステップを実行する、
請求項８に記載の画像処理方法。
【請求項10】
ペンの位置を検出するペン入力装置と、
映像を表示する表示装置と、
ネットワーク経由で他の情報処理装置と通信する通信装置と、
前記ペン入力装置、前記表示装置、前記通信装置のそれぞれに接続される制御部と、を含み、
前記制御部は、
前記ペン入力装置によって検出された前記ペンの一連の指示位置を、前記通信装置を介して前記他の情報処理装置に送信するとともに、前記一連の指示位置に基づいて、ペンストローク画像である暫定画像を生成し、
前記他の情報処理装置から前記通信装置を介して受信されたストリーミング映像に前記暫定画像を合成してなる映像を前記表示装置に表示し、
表示した前記暫定画像のうち所定の条件が満たされた部分を順次消去する、
情報処理装置。
映像を表示する表示装置と、
ネットワーク経由で他の情報処理装置と通信する通信装置と、
前記ペン入力装置、前記表示装置、前記通信装置のそれぞれに接続される制御部と、を含み、
前記制御部は、
前記ペン入力装置によって検出された前記ペンの一連の指示位置を、前記通信装置を介して前記他の情報処理装置に送信するとともに、前記一連の指示位置に基づいて、ペンストローク画像である暫定画像を生成し、
前記他の情報処理装置から前記通信装置を介して受信されたストリーミング映像に前記暫定画像を合成してなる映像を前記表示装置に表示し、
表示した前記暫定画像のうち所定の条件が満たされた部分を順次消去する、
情報処理装置。
【請求項11】
前記所定の条件が満たされた部分は、生成から所定時間が経過した部分である、、
請求項１０に記載の情報処理装置。
請求項１０に記載の情報処理装置。
【請求項12】
前記所定時間は、前記他の情報処理装置により設定される、
請求項１１に記載の情報処理装置。
請求項１１に記載の情報処理装置。
【請求項13】
前記所定時間は、前記ペンストローク画像が前記ストリーミング映像に反映されるまでの時間長に応じて設定される、
請求項１１又は１２に記載の情報処理装置。
請求項１１又は１２に記載の情報処理装置。
【請求項14】
前記所定の条件が満たされた部分は、前記ストリーミング映像内に現れた部分である、
請求項１０乃至１３のいずれか一項に記載の情報処理装置。
請求項１０乃至１３のいずれか一項に記載の情報処理装置。
【請求項15】
前記他の情報処理装置は、前記情報処理装置から順次受信されるペンの指示位置のうち前記ストリーミング映像に含まれるペンストローク画像を生成するためのレンダリング処理が開始されたものを示す情報を前記情報処理装置に対して送信するよう構成され、
前記所定の条件が満たされた部分は、前記暫定画像のうち前記他の情報処理装置からの情報により前記レンダリング処理の開始が示された前記指示位置に対応する部分である、
請求項１０乃至１４のいずれか一項に記載の情報処理装置。
前記所定の条件が満たされた部分は、前記暫定画像のうち前記他の情報処理装置からの情報により前記レンダリング処理の開始が示された前記指示位置に対応する部分である、
請求項１０乃至１４のいずれか一項に記載の情報処理装置。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【0001】
本発明は画像処理方法に関し、特に、リモート会議の共有画面においてペン入力を行うための画像処理方法に関する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
したがって、本発明の目的の一つは、暫定画像とストリーミング映像内に現れるペンストローク画像とで外観を合わせることのできる画像処理方法を提供することにある。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【0010】
したがって、本発明の目的の他の一つは、暫定画像が描画領域外に描画されてしまうことを防止できる画像処理方法を提供することにある。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【0011】
本発明の第１の側面による画像処理方法は、リモート側装置及びローカル側装置により実行される画像処理方法であって、前記リモート側装置が、第１のレンダリング処理により生成された画像を含むストリーミング映像を送信するステップと、前記ローカル側装置が、前記第１のレンダリング処理と共有された第２のレンダリング処理を前記第１のレンダリング処理と並列に実行することにより暫定画像を生成するステップと、前記ローカル側装置が、遅延の発生する通信を経由して前記リモート側装置から前記ストリーミング映像を受信し、前記暫定画像を合成して出力するステップと、を含む画像処理方法である。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【0012】
本発明の第２の側面による画像処理方法は、リモート側装置及びローカル側装置により実行される画像処理方法であって、前記リモート側装置が、ストリーミング映像を送信するステップと、前記リモート側装置が、前記ストリーミング映像内の描画領域を示す描画領域情報を送信するステップと、前記ローカル側装置が、前記リモート側装置から前記描画領域情報を受信するステップと、前記ローカル側装置が、前記ストリーミング映像内に暫定的に表示するための暫定画像を生成するステップと、前記ローカル側装置が、前記ストリーミング映像のうち前記描画領域情報により示される領域に前記暫定画像を合成して出力するステップと、を含む画像処理方法である。