(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-03-10
(45)【発行日】2025-03-18
(54)【発明の名称】通信管理システム、通信システム、通信管理装置、画像処理方法、及びプログラム
(51)【国際特許分類】
H04M 3/56 20060101AFI20250311BHJP
H04N 7/15 20060101ALI20250311BHJP
H04L 65/40 20220101ALI20250311BHJP
【FI】
H04M3/56 Z
H04N7/15 120
H04L65/40
(21)【出願番号】P 2020037611
(22)【出願日】2020-03-05
【審査請求日】2023-01-16
(31)【優先権主張番号】P 2019046413
(32)【優先日】2019-03-13
(33)【優先権主張国・地域又は機関】JP
【前置審査】
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】110004381
【氏名又は名称】弁理士法人ITOH
(72)【発明者】
【氏名】日野原 寛
(72)【発明者】
【氏名】中村 滋
(72)【発明者】
【氏名】本間 毅史
(72)【発明者】
【氏名】河崎 佑一
(72)【発明者】
【氏名】小笠原 将
(72)【発明者】
【氏名】宮本 篤
(72)【発明者】
【氏名】城 英樹
(72)【発明者】
【氏名】森田 健一郎
【審査官】山岸 登
(56)【参考文献】
【文献】特開2016-170613(JP,A)
【文献】特開2009-093274(JP,A)
【文献】特開2016-152505(JP,A)
【文献】特開平04-010994(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F3/01
3/048-3/04895
15/00
H04L13/00-13/18
61/00-65/80
69/00-101/695
H04M3/00
3/16-3/20
3/38-3/58
7/00-7/16
11/00-11/10
H04N7/10
7/14-7/173
7/20-7/56
21/00-21/858
(57)【特許請求の範囲】
【請求項1】
第1の端末装置と第2の端末装置とを含む複数の端末装置の間でストローク画像を共有するセッションを管理する通信管理システムであって、
前記ストローク画像を表す複数のストロークデータを含むストローク情報を管理するストローク情報管理部と、
前記第1の端末装置から、前記複数のストロークデータのうち、編集操作の対象となる1つ以上のストロークデータを指定するグループ操作要求を受信する受信部と、
前記編集操作の対象となる1つ以上のストロークデータを指定するグループ操作要求に基づいて、前記第1の端末装置とは異なる前記第2の端末装置による前記1つ以上のストロークデータに関する編集操作を制限する操作制限部と、
を有し、
前記操作制限部は、前記グループ操作
要求が指定する前記1つ以上のストロークデータに、
操作制限処理によって編集操作を制限中のストロークデータが含まれない場合、
前記操作制限処理を開始させることにより、前記1つ以上のストロークデータに対する前記第1の端末装置からの編集操作を受付可能とし、前記第2の端末装置による前記1つ以上のストロークデータに関する
編集操作を禁止
させ、前記グループ操作要求が指定する前記1つ以上のストロークデータに、前記操作制限処理によって編集操作を制限中のストロークデータが含まれる場合、前記1つ以上のストロークデータに対する前記第1の端末装置からの編集操作を受付可能としないことにより、前記第1の端末装置による該1つ以上のストロークデータに関する編集操作を禁止させる、通信管理システム。
【請求項2】
前記操作制限部は、前記グループ操作
要求が指定する前記1つ以上のストロークデータに、操作を制限中のストロークデータが含まれる場合、前記第2の端末装置による前記1つ以上のストロークデータに関する操作を禁止する処理を中止する、請求項
1に記載の通信管理システム。
【請求項3】
前記操作制限部は、
前記第2の端末装置による前記1つ以上のストロークデータに関する操作を禁止した後に、前記第1の端末装置によって前記操作の対象となる1つ以上のストロークデータの各々に関する操作が行われた場合、前記1つ以上のストロークデータに関する操作の禁止を終了する、請求項1
又は2に記載の通信管理システム。
【請求項4】
前記ストローク情報管理部は、前記セッションを識別する第1の識別情報に対応付けて、前記複数のストロークデータを管理し、
前記ストロークデータは、前記ストロークデータを識別する第2の識別情報と、前記ストローク画像を再現するための描画データと、前記描画データを識別する第3の識別情報と、を含む、請求項1乃至
3のいずれか一項に記載の通信管理システム。
【請求項5】
前記グループ操作
要求は、前記第1の識別情報と、前記1つ以上のストロークデータを識別する前記第2の識別情報と、を含む、請求項
4に記載の通信管理システム。
【請求項6】
請求項1乃至
5のいずれか一項に記載の通信管理システムと、前記通信管理システムが管理するセッションに参加する複数の端末装置とを含む通信システムであって、
前記端末装置は、
操作の対象となる1つ以上のストロークデータを指定する指定操作、及び前記1つ以上のストロークデータに関する編集操作を受け付ける受付部と、
前記指定操作に応じて、前記編集操作の対象となる1つ以上のストロークデータを指定するグループ操作
要求を、前記通信管理システムに送信する情報送信部と、
を有する、通信システム。
【請求項7】
前記端末装置は、前記通信管理システムから通知される、1つ以上のストロークデータに関する操作を制限する操作制限通知に応じて、前記1つ以上のストロークデータに関する操作が制限されていることを示す表示情報を表示画面に表示する表示制御部を有する、請求項
6に記載の通信システム。
【請求項8】
前記受付部は、前記通信管理システムから通知される、1つ以上のストロークデータに関する操作を制限する操作制限通知に応じて、前記1つ以上のストロークデータに関する編集操作の受け付けを禁止する、請求項
6又は
7に記載の通信システム。
【請求項9】
前記通信管理システムの操作制限部は、
第1の端末装置から受信した、1つ以上のストロークデータを指定するグループ操作
要求に基づいて、前記複数の端末装置のうち、前記第1の端末装置とは異なる第2の端末装置の各々に、前記1つ以上のストロークデータに関する操作が制限されていることを示す操作制限通知を送信する、請求項
6乃至
8のいずれか一項に記載の通信システム。
【請求項10】
第1の端末装置と第2の端末装置とを含む複数の端末装置の間でストローク画像を共有するセッションを管理する通信管理装置であって、
前記ストローク画像を表す複数のストロークデータを含むストローク情報を管理するストローク情報管理部と、
前記第1の端末装置から、前記複数のストロークデータのうち、
編集操作の対象となる1つ以上のストロークデータを指定するグループ操作
要求を受信する受信部と、
前記
編集操作の対象となる1つ以上のストロークデータを指定するグループ操作
要求に基づいて、前記第1の端末装置とは異なる
前記第2の端末装置による前記1つ以上のストロークデータに関する
編集操作を制限する操作制限部と、
を有
し、
前記操作制限部は、前記グループ操作要求が指定する前記1つ以上のストロークデータに、操作制限処理によって編集操作を制限中のストロークデータが含まれない場合、前記操作制限処理を開始させることにより、前記1つ以上のストロークデータに対する前記第1の端末装置からの編集操作を受付可能とし、前記第2の端末装置による前記1つ以上のストロークデータに関する編集操作を禁止させ、前記グループ操作要求が指定する前記1つ以上のストロークデータに、前記操作制限処理によって編集操作を制限中のストロークデータが含まれる場合、前記1つ以上のストロークデータに対する前記第1の端末装置からの編集操作を受付可能としないことにより、前記第1の端末装置による該1つ以上のストロークデータに関する編集操作を禁止させる、通信管理装置。
【請求項11】
第1の端末装置と第2の端末装置とを含む複数の端末装置の間でストローク画像を共有するセッションを管理する通信管理システムが、
前記ストローク画像を表す複数のストロークデータを含むストローク情報を管理する処理と、
前記第1の端末装置から、前記複数のストロークデータのうち、
編集操作の対象となる1つ以上のストロークデータを指定するグループ操作
要求を受信する処理と、
前記
編集操作の対象となる1つ以上のストロークデータを指定するグループ操作
要求に基づいて、前記第1の端末装置とは異なる
前記第2の端末装置による前記1つ以上のストロークデータに関する
編集操作を制限する処理と、
を実行
し、
前記編集操作を制限する処理は、前記グループ操作要求が指定する前記1つ以上のストロークデータに、操作制限処理によって編集操作を制限中のストロークデータが含まれない場合、該操作制限処理を開始させることにより、前記1つ以上のストロークデータに対する前記第1の端末装置からの編集操作を受付可能とし、前記第2の端末装置による前記1つ以上のストロークデータに関する編集操作を禁止させ、前記グループ操作要求が指定する前記1つ以上のストロークデータに、操作制限処理によって編集操作を制限中のストロークデータが含まれる場合、前記1つ以上のストロークデータに対する前記第1の端末装置からの編集操作を受付可能としないことにより、前記第1の端末装置による該1つ以上のストロークデータに関する編集操作を禁止させる、
画像処理方法。
【請求項12】
請求項
11に記載の画像処理方法を通信管理システムに実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信管理システム、通信システム、通信管理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【0002】
インターネット等の通信ネットワークを介して、複数の端末装置の間で会議を行う会議システムが普及している。また、このような会議システムにいて、電子黒板等の端末装置を用いて、ユーザが電子ペンやユーザの手等で描画したストローク画像を再生するためのストロークデータを、端末装置の間で送受信することにより、ストローク画像を共有することが行われている。
【0003】
また、このような会議システムにおいて、各拠点のユーザが、他の拠点のユーザによる操作を事前に把握することができるように、ディスプレイ等に他の拠点のユーザによる操作に関する情報を表示する技術が知られている(例えば、特許文献1参照)。
【発明の概要】
【発明が解決しようとする課題】
【0004】
複数の端末装置の間でストローク画像を共有する会議では、共有しているストローク画像に対して複数の端末装置から操作が行われた場合、操作のタイミングによって、ストローク画像に対して利用者の意図とは異なる操作が行われてしまうという問題がある。
【0005】
なお、このような問題は、会議を行う会議システムに限られず、例えば、遠隔授業、遠隔診療等、ストローク画像を共有するセッションが行われる様々な通信システムに共通に存在する。
【0006】
本発明の実施の形態は、上記の問題点に鑑みてなされたものであって、複数の端末装置の間でストローク画像を共有するセッションにおいて、複数の端末装置からの操作により、ストローク画像に対して利用者の意図とは異なる操作が行われてしまうことを防ぐことを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本発明の一実施形態に係る通信管理システムは、第1の端末装置と第2の端末装置とを含む複数の端末装置の間でストローク画像を共有するセッションを管理する通信管理システムであって、前記ストローク画像を表す複数のストロークデータを含むストローク情報を管理するストローク情報管理部と、前記第1の端末装置から、前記複数のストロークデータのうち、編集操作の対象となる1つ以上のストロークデータを指定するグループ操作要求を受信する受信部と、前記編集操作の対象となる1つ以上のストロークデータを指定するグループ操作要求に基づいて、前記第1の端末装置とは異なる前記第2の端末装置による前記1つ以上のストロークデータに関する編集操作を制限する操作制限部と、を有し、前記操作制限部は、前記グループ操作要求が指定する前記1つ以上のストロークデータに、操作制限処理によって編集操作を制限中のストロークデータが含まれない場合、前記操作制限処理を開始させることにより、前記1つ以上のストロークデータに対する前記第1の端末装置からの編集操作を受付可能とし、前記第2の端末装置による前記1つ以上のストロークデータに関する編集操作を禁止させ、前記グループ操作要求が指定する前記1つ以上のストロークデータに、前記操作制限処理によって編集操作を制限中のストロークデータが含まれる場合、前記1つ以上のストロークデータに対する前記第1の端末装置からの編集操作を受付可能としないことにより、前記第1の端末装置による該1つ以上のストロークデータに関する編集操作を禁止させる。
【発明の効果】
【0008】
本発明の一実施形態によれば、複数の端末装置の間でストローク画像を共有するセッションにおいて、複数の端末装置からの操作により、ストローク画像に対して利用者の意図とは異なる操作が行われてしまうことを防ぐことができる。
【図面の簡単な説明】
【0009】
【
図1】一実施形態に係る通信システムにおける通信ルートの例を示す概略図である。
【
図2】一実施形態に係る電子黒板の使用イメージについて説明するための図である。
【
図3】一実施形態に係る電子黒板のハードウェア構成の例を示す図である。
【
図4】一実施形態に係るコンピュータのハードウェア構成の例を示す図である。
【
図5】一実施形態に係る通信システムのシステム構成の例を示す図である。
【
図6】一実施形態に係る通信システムの機能構成の例を示す図である。
【
図7】一実施形態に係る認証管理テーブルの例を示す図である。
【
図8】一実施形態に係る端末管理テーブルの例を示す図である。
【
図9】一実施形態に係る宛先リスト管理テーブルの例を示す図である。
【
図10】一実施形態に係るセッション管理テーブルの例を示す図である。
【
図11】一実施形態に係る中継装置管理テーブルの例を示す図である。
【
図12】一実施形態に係るストローク情報について説明するための図である。
【
図13】一実施形態に係る準備段階の処理の例を示すシーケンス図である。
【
図14】一実施形態に係るセッションの開始処理の例を示すシーケンス図である。
【
図15】一実施形態に係るストローク画像の共有処理の例を示すシーケンス図である。
【
図16】一実施形態に係るストローク画像の移動処理の例を示すシーケンス図である。
【
図17】一実施形態に係る表示画面の例を示す図である。
【
図18】第1の実施形態に係る操作制限処理の例を示すシーケンス図(1)である。
【
図19】一実施形態に係るグループ操作情報の例を示す図である。
【
図20】第1の実施形態に係る操作制限処理の例を示すシーケンス図(2)である。
【
図21】第2の実施形態に係る操作制限処理の例を示すシーケンス図である。
【
図22】第2の実施形態に係る表示画面の例を示す図である。
【
図23】第3の実施形態に係る操作制限処理の例を示すシーケンス図である。
【
図24】第3の実施形態に係る表示画面の例を示す図である。
【
図25】一実施形態に係る利用シーンの別の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【0011】
〔通信システムの概略〕
<通信ルート>
まず、
図1を用いて、複数の電子黒板1a、1b間で描画しながらビデオ会議を行うための通信システム100について説明する。
図1は、本実施形態の通信ルートを示した概略図である。また、「ビデオ会議」は、「テレビ会議」、「遠隔会議」等と呼ばれる場合がある。
【0012】
なお、「ビデオ会議」、「テレビ会議」、「遠隔会議」の会議は、複数の端末装置の間でストローク画像を共有するセッションの一例である。例えば、ストローク画像を共有するセッションは、遠隔授業、遠隔診療、打ち合わせ、単なる会話等を行う、会議以外のセッションであっても良い。
【0013】
通信システム100は、例えば、複数の電子黒板1a、1b、中継装置3、通信管理システム5、及び画像保存装置7等によって構築されている。
【0014】
電子黒板(端末装置)1a、1bは、通話用の映像データ及び音データ、共有用の画像データ、及びストロークデータ等のコンテンツデータの相互通信を行う端末装置であり、IWB(Interactive White Board)とも呼ばれる。
【0015】
なお、通信システム100は、2つの電子黒板1a、1bに限らず、3つ以上の電子黒板を有していても良い。また、以下の説明の中で、通信システム100に含まれる複数の電子黒板のうち、任意の電子黒板を示す場合、「電子黒板1」を用いる。
【0016】
なお、電子黒板1は、本実施形態に係る端末装置の一例である。端末装置は、通信機能、描画機能、表示機能等を備える他の端末装置であっても良い。例えば、端末装置は、通信システム100に対応するアプリケーションプログラムがインストールされた、PC(Personal Computer)、タブレット端末、スマートフォン等の情報端末であっても良い。
【0017】
ストロークデータは、ストローク画像を再生(再現)するために必要なデータであり、座標データ、線の幅データ、線の色データ、ベクトルデータ等が含まれる。また、電子黒板1a、1bは、通話用の映像データ及び音データの送受信により、相手側の映像及び音を再生することで、ビデオ通話が可能となる。
【0018】
電子黒板1a、1bは、共有用の資料画像の画像データを送受信することにより、通信システム100を利用する利用者が、同じ資料画像を共有することができる。資料画像は、電子黒板1のディスプレイに表示される画像であり、例えば、会議の資料、ディスプレイに表示される背景画像、ディスプレイ画面をキャプチャされた場合のキャプチャ画面等の画像等が含まれ得る。
【0019】
また、電子黒板1a、1bは、共有用のストローク画像のストロークデータを送受信することにより、通信システムを利用する参加者が、同じストローク画像を共有することができる。ストローク画像は、利用者によって電子ペン等で手書きストロークにより描画された線等を示す画像である。ストローク画像は、ディスプレイ上の座標を特定する点を示すストロークデータによって表示される。
【0020】
図1では、電子黒板1a、1bの一例としてビデオ会議機能が搭載された電子黒板が示されている。なお、映像データの画像は、動画であっても良いし、静止画であっても良い。
【0021】
また、以下の説明において、ビデオ会議の開始を要求する要求元の電子黒板1を「開始端末」と呼び、要求先である宛先(中継先)の電子黒板1を「宛先端末」と呼ぶ。例えば、
図1において、電子黒板1aから電子黒板1bにビデオ会議の開始を要求する場合、電子黒板1aが開始端末となり、電子黒板1bが宛先端末となる。なお、各電子黒板1b,1bは、複数の事業所間での通信や、同じ事業所内の異なる部屋間での通信だけでなく、同じ部屋内での通信や、屋外と屋内又は屋外と屋外での通信で使われても良い。
【0022】
中継装置3は、コンピュータによって構成され、複数の電子黒板1a、1b間で、通話用のコンテンツデータを中継する処理を行う。
【0023】
通信管理システム5は、コンピュータによって構成され、電子黒板1a、1bからのログインの認証、電子黒板1a、1bの通信状況の管理、宛先リストの管理、及び中継装置3の通信状況等を一元的に管理する。また、通信管理システム5は、複数の電子黒板1a、1b間で、共有用のストロークデータを中継する。
【0024】
画像保存装置7は、コンピュータによって構成され、電子黒板1aからアップロードされた共有用の資料画像の画像データを保存して、電子黒板1bにダウンロードする。また、この逆も実行される。即ち、画像保存装置7は、電子黒板1bからアップロードされた画像データを保存して、電子黒板1aにダウンロードする。
【0025】
なお、中継装置3、通信管理システム5及び画像保存装置7は、単一のコンピュータによって構築されても良いし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていても良い。
【0026】
また、通信システム100において、電子黒板1a、1bとの間では、通信管理システム5を介して、各種の管理情報を送受信するための管理情報用セッションsei(以下、「セッションsei」と呼ぶ)が確立される。また、電子黒板1a、1bとの間では、中継装置3を介して、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音データの4つの各データを送受信するための4つのセッションが確立される。
図1では、これら4つのセッションをまとめて、画像・音データ用セッションsed(以下、単に「セッション」と呼ぶ)として示している。なお、セッションは、必ずしも4つのセッションである必要はなく、4つのセッション数より少ない又は多いセッション数であっても良い。また、開始端末と宛先端末との間で、中継装置3を介さずに、直接、セッションを確立しても良い。
【0027】
さらに、通信システム100において、電子黒板1a、1bとの間では、セッションseiを利用して、ストロークデータの送受信を行うことができる。
【0028】
ここで、本実施形態で扱われる映像データの映像の解像度について説明する。低解像度の映像データは、例えば、横が160画素、縦が120画素から成り、ベース画像となる。中解像度の映像データは、横が320画素、縦が240画素から成る。高解像度の映像データは、例えば、横が640画素、縦が480画素から成る。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の映像データのみから成る低画質の映像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の映像データ、及び中解像度の映像データから成る中画質の映像データが中継される。また、帯域が非常に広い場合には、ベース画像となる低解像度の映像データ、中解像度の映像データ、及び高解像度の映像データから成る高画質の映像データが中継される。音データは、映像データに比べてデータ量が少ないため、狭帯域経路であっても中継される。
【0029】
<電子黒板の使用イメージ>
図2は、一実施形態に係る電子黒板の使用イメージについて説明するための図である。電子黒板1は、
図2に示すように、下部側に複数のキャスタが設けられた脚部151、脚部151の上部側に設けられた支柱152、支柱152上部側に設けられた電子黒板1の本体153、及び本体153の前面に設けられたディスプレイ160等を有している。本体153には、後述するCPU101等が内蔵されている。そして、利用者は、電子ペン140等を用いて、ディスプレイ160に文字等のストローク画像を入力(描画)することができる。
【0030】
〔ハードウェア構成〕
次に、本実施形態に係る各装置のハードウェア構成について説明する。
【0031】
<電子黒板のハードウェア構成>
図3は、一実施形態に係る電子黒板のハードウェア構成の例を示す図である。
図3に示されているように、電子黒板1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、SSD(Solid State Drive)104、ネットワークI/F(Interface)105、及び、外部機器接続I/F106等を備えている。
【0032】
これらのうち、CPU101は、電子黒板1全体の動作を制御する演算装置である。ROM102は、CPU101やIPL(Initial Program Loader)等のCPU101の起動に用いられるプログラムを記憶する不揮発性のメモリである。RAM103は、CPU101のワークエリアとして使用される揮発性のメモリである。SSD104は、電子黒板1用のプログラム等の各種データを記憶する大容量の記憶装置である。
【0033】
ネットワークI/F105は、電子黒板1を通信ネットワークに接続し、通信を行うための通信インタフェースである。外部機器接続I/F106は、各種の外部機器を接続するためのインタフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ131、外付け機器(マイク132、スピーカ133、カメラ134)等が含まれる。
【0034】
また、電子黒板1は、キャプチャデバイス111、GPU(Graphics Processing Unit)112、ディスプレイコントローラ113、接触センサ114、センサコントローラ115、電子ペンコントローラ116、近距離通信回路119、及び近距離通信回路119のアンテナ119a、電源スイッチ117及び選択スイッチ類118等を備えている。
【0035】
これらのうち、キャプチャデバイス111は、外付けのPC(Personal Computer)150のディスプレイ等に表示されている表示画面等を、静止画、又は動画としてキャプチャ(取得)する。GPU112は、グラフィクスを専門に扱う半導体チップ(プロセッサ)である。ディスプレイコントローラ113は、GPU112からの出力画像をディスプレイ160等へ出力するために画面表示の制御及び管理を行う。接触センサ114は、ディスプレイ160上に電子ペン140やユーザの手H等が接触したことを検知する。センサコントローラ115は、接触センサ114の処理を制御する。
【0036】
接触センサ114は、例えば、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ160の上側両端部に設置された2つ受発光装置が、ディスプレイ160に平行して複数の赤外線を放射し、ディスプレイ160の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ114は、物体によって遮断された2つの受発光装置が放射した赤外線のIDをセンサコントローラ115に出力し、センサコントローラ115が、物体の接触位置である座標位置を特定する。電子ペンコントローラ116は、電子ペン140と通信することで、ディスプレイ160へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路119は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。
【0037】
電源スイッチ117は、電子黒板1の電源のオン/オフを切り換えるためのスイッチである。選択スイッチ類118は、例えば、ディスプレイ160の表示の明暗や色合い等を調整するためのスイッチ群である。
【0038】
さらに、電子黒板1は、バスライン120を備えている。バスライン120は、
図3に示されているCPU101等の各構成要素を電気的に接続するためのアドレスバス、データバス、及び各種の制御信号等を含む。
【0039】
なお、接触センサ114は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル等を用いても良い。また、接触センサ114は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネル等の種々の検出手段を用いても良い。さらに、電子ペンコントローラ116が、電子ペン140のペン先及びペン尻だけでなく、電子ペン140のユーザが握る部分や、その他の電子ペンの部分におけるタッチの有無を判断するようにしても良い。
【0040】
<管理装置、中継装置、画像保存装置、及びPC等のハードウェア構成>
通信管理システム5、中継装置3、画像保存装置7、及びPC150等は、例えば、
図4に示すようなコンピュータ400のハードウェア構成を備えている。或いは、通信管理システム5、中継装置3、及び画像保存装置7は、複数のコンピュータ400によって実現されるものであっても良い。
【0041】
図4は、一実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ400は、例えば、CPU401、ROM402、RAM403、HD(Hard Disk)404、HDD(Hard Disk Drive)コントローラ405、ディスプレイ406、外部機器接続I/F407、ネットワークI/F408、キーボード409、ポインティングデバイス410、DVD-RW(Digital Versatile Disk ReWritable)ドライブ412、メディアI/F414、及び、バスライン415等を備えている。
【0042】
これらのうち、CPU401は、コンピュータ400の全体の動作を制御する演算装置である。ROM402は、IPL等のCPU401の駆動に用いられるプログラムを記憶する不揮発性のメモリである。RAM403は、CPU401のワークエリアとして使用される揮発性のメモリである。HD404は、OS(Operating System)やアプリケーション等のプログラムや、各種のデータ等を記憶する大容量の記憶装置である。HDDコントローラ405は、CPU401の制御にしたがってHD404に対する各種データの読み出し又は書き込みを制御する。
【0043】
ディスプレイ406は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続I/F407は、各種の外部機器を接続するためのインタフェースである。ネットワークI/F408は、通信ネットワークを利用してデータ通信をするための通信インタフェースである。キーボード409は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス410は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。
【0044】
DVD-RWドライブ412は、DVD-RW411に対するデータの読み出し又は書き込み(記憶)を制御する。なお、DVD-RWドライブ412は、DVD-RW411ではなく、BD-RE(Blu-ray(登録商標) Disc Rewritable)等のディスクに対するデータの読み出し又は書き込み(記憶)を制御しても良い。メディアI/F414は、フラッシュメモリ等の記録メディア413に対するデータの読み出し又は書き込み(記憶)を制御する。バスライン415は、
図4に示されているCPU401等の各構成要素を電気的に接続するためのアドレスバス、データバス、及び各種の制御信号等を含む。
【0045】
〔通信システムの全体構成〕
続いて、通信システム100の全体構成について説明する。
図5は、一実施形態に係る通信システムのシステム構成の例を示す図である。
【0046】
図5において、電子黒板1aは拠点A、電子黒板1bは拠点Bに設置されている。例えば、拠点Aは日本の東京事業所で、拠点Bは日本の大阪事業所等である。拠点Aでは利用者Aが電子黒板1aを利用し、拠点Bでは利用者B、利用者Cが電子黒板1bを利用しているものとする。なお、電子黒板1aは、第1の端末装置の一例であり、電子黒板1bは、第2の端末装置の一例である。
【0047】
また、電子黒板1a、1b、中継装置3、通信管理システム5、及び画像保存装置7は、例えば、インターネットやLAN(Local Area Network)等の通信ネットワーク500を介して、相互にデータを送受信することができる。なお、通信ネットワーク500には、無線通信部分が含まれていても良い。なお、
図5において、電子黒板1a、1bは、会議映像を送受信可能な電子黒板であるものとする。
【0048】
〔通信システムの機能構成〕
次に、本実施形態に係る通信システム100の機能構成について説明する。
図6は、一実施形態に係る通信システムの機能構成の例を示す図である。なお、
図6において、電子黒板1bは、電子黒板1aと同じ機能構成を有しているものとする。
【0049】
<電子黒板の機能構成>
各電子黒板1は、
図3のCPU101で所定のプログラムを実行することにより、送受信部11、受付部12、映像・音処理部13、表示制御部14、画像処理部15、情報送信部16、近距離通信部17、及び記憶・読出処理部18等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。また、電子黒板1は、
図3のRAM103、SSD104等によって実現される記憶部1001を有している。
【0050】
(電子黒板1の各機能構成)
送受信部11は、通信ネットワーク500を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。また、送受信部11は、開始部としての役割も果たし、通信管理システム5等へのログイン処理や、他の端末装置と通信を開始する処理を行う。
【0051】
受付部12は、利用者から電子ペン140等による各種入力を受け付ける。例えば、受付部12は、操作の対象となる1つ以上のストロークデータを指定する指定操作、ストロークデータに関する変更操作、ストローク画像の描画操作等を受け付ける。
【0052】
映像・音処理部13は、ビデオ会議機能の主な処理を行う。例えば、映像・音処理部13は、マイク132の出力信号及びカメラ134の出力信号に共づき、映像データ及び音データのエンコード等のデジタル処理を行う。また、映像・音処理部13は、送受信部11で受信された映像データ及び音データに基づき、映像信号の生成、音信号の生成等を行う。さらに、映像・音処理部13は、解像度の異なる映像データを組み合わせる処理等も行う。
【0053】
表示制御部14は、ディスプレイ160に映像信号(画像信号)等を出力して、表示画面を表示させるための制御を行う。
【0054】
画像処理部15は、電子黒板機能の主な処理を行う。例えば、画像処理部15は、受付部12によって受け付けられた電子ペン140等のストロークに基づいてストローク画像及びストロークデータを作成する処理や、送受信部11によって受信されたストロークデータに基づいてストローク画像を作成する処理等を行う。また、画像処理部15は、送受信部11で受信された資料画像の画像データに基づき、画像信号を生成する処理も行う。
【0055】
情報送信部16は、画像処理部15が作成したストロークデータを、通信管理システム5に送信する。また、情報送信部16は、受付部12が受け付けた、操作の対象となる1つ以上のストロークデータを指定する指定操作に応じて、1つ以上のストロークデータを指定するグループ操作情報を、通信管理システム5に送信する。
【0056】
近距離通信部17は、近距離通信部を有する各端末との間で、近距離無線通信により、データの取得及び提供を行う。
【0057】
記憶・読出処理部18は、記憶部1001又はUSBメモリ131等の記録媒体1002に各種データを記憶する処理、記憶部1001又は記録媒体1002に記憶された各種データを読み出す処理等を行う。
【0058】
また、記憶部1001には、他の端末との通信を行う際に受信される映像データ及び音データが、受信される度に上書き記憶される。このうち、上書きされる前の映像データによってディスプレイ160に画像が表示され、上書きされる前の音データによってスピーカ133から音声が出力される。
【0059】
<通信管理システムの機能構成>
通信管理システム(通信管理装置)5は、例えば、
図4のCPU401で所定のプログラムを実行することにより、送受信部51、認証部52、端末管理部53、セッション管理部54、中継装置管理部55、ストローク情報管理部56、操作制限部57、及び記憶・読出処理部58等を実現している。なお、上記の各機能構成は、複数のコンピュータ400で実行されるプログラムによって実現されるものであっても良い。また、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。また、通信管理システム5は、
図4のHD504等によって実現される記憶部5000を有している。記憶部5000には、例えば、認証管理DB(Database)5001、端末管理DB5002、宛先リスト管理DB5003、セッション管理DB5004、中継装置管理DB5005、及びストローク情報5006等が記憶されている。
【0060】
(認証管理テーブル)
図7は、一実施形態に係る認証管理テーブルの例を示す図である。記憶部5000には、例えば、
図7に示されるような認証管理テーブル700によって構成される認証管理DB5001が記憶されている。この認証管理テーブル700では、通信管理システム5によって管理される全ての電子黒板1の各端末IDに対して、各パスワードが関連付けられて管理される。例えば、
図7に示されている認証管理テーブル700において、電子黒板1a(端末装置)の端末IDは「01aa」に対応するパスワードが、「aaaa」であることが示されている。
【0061】
なお、端末IDは、電子黒板(端末装置)1を識別する識別情報であり、通信管理システム5が電子黒板1等の端末装置を管理するための識別情報の一例である。例えば、通信管理システム5は、端末IDに代えて、利用者を識別する利用者ID、契約者を識別する契約ID、通信元を特定する通信ID等を用いて、電子黒板1を管理するものであっても良い。
【0062】
また、パスワードは、電子黒板1等の端末装置を認証するための認証情報の一例である。認証情報は、例えば、アクセストークン等のパスワード以外の認証情報であっても良い。
【0063】
(端末管理テーブル)
図8は、一実施形態に係る端末管理テーブルの例を示す図である。記憶部5000には、例えば、
図8に示されるような端末管理テーブル800によって構成されている端末管理DB5002が記憶されている。この端末管理テーブル800では、各電子黒板1(端末装置)を識別するための端末ID毎に、各電子黒板1を宛先とした場合の宛先名、各電子黒板1の稼動状態、後述のログイン要求情報が通信管理システム5で受信された受信日時、及び各電子黒板1(端末装置)のIPアドレスが関連付けられて管理される。
【0064】
例えば、
図8に示されている端末管理テーブル800において、端末IDが「01aa」の電子黒板1aは、端末名が「日本 東京事業所 AA端末」で、稼動状態が「オンライン(通信可能)」であることが示されている。また、端末IDが「01aa」の電子黒板1aは、通信管理システム5でログイン要求情報が受信された日時が「2015年4月10日の13時40分」で、IPアドレスが「1.2.1.3」であることが示されている。なお、端末ID、宛先名、及び端末のIPアドレス等は、各電子黒板1が、通信管理システム5によるサービスの提供を受けるために事前登録する際に記憶される。
【0065】
(宛先リスト管理テーブル)
図9は、一実施形態に係る宛先リスト管理テーブルの例を示す図である。記憶部5000には、例えば、
図9に示されるような宛先リスト管理テーブル900によって構成されている宛先リスト管理DB5003が記憶されている。この宛先リスト管理テーブル900では、通信の開始を要求する電子黒板1(開始端末)の端末IDに対して、電子黒板1(宛先端末)の候補として登録されている宛先端末の端末IDが全て関連付けられて管理される。例えば、
図9に示されている宛先リスト管理テーブル900において、端末IDが「01aa」である開始端末(電子黒板1a)から通信の開始を要求することができる宛先端末の候補には、端末IDが「01ba」の電子黒板1b等が含まれていることが示されている。この宛先端末の候補は、任意の開始端末から通信管理システム5に対する追加又は削除の要請により、追加又は削除されることで更新される。
【0066】
なお、宛先リストは、宛先情報の一例であり、宛先情報には、リスト形式になっておらず、端末ID等の宛先に関する情報が羅列されていても良い。
【0067】
(セッション管理テーブル)
図10は、一実施形態に係るセッション管理テーブルの例を示す図である。記憶部5000には、例えば、
図10に示されているようなセッション管理テーブル1000によって構成されているセッション管理DB5004が記憶されている。このセッション管理テーブル1000では、セッションを識別するためのセッションID毎に、使用する中継装置3の装置ID、開始端末の端末ID、宛先端末の端末ID、及び1つ以上の参加端末の端末ID等が関連付けて管理される。また、セッション管理テーブル1000では、例えば、宛先端末において映像データが受信される際の受信の遅延時間(ms)、及びこの遅延時間が示されている遅延情報を宛先端末から受信した受信日時等の情報が、さらに関連付けられて管理される。例えば、
図10に示すセッション管理テーブル1000において、セッションID「se01」のセッションは、中継装置ID「111a」の中継装置3が、端末ID「01aa」の開始端末と端末ID「01ba」の宛先端末との間の通信を中継している。また、セッションID「se01」のセッションにおいて、「2015年4月10日の13時41分」時点における映像データの遅延時間が200(ms)であることが示されている。
【0068】
(中継装置管理テーブル)
図11は、一実施形態に係る中継装置管理テーブルの例を示す図である。記憶部5000には、例えば、
図11に示されるような中継装置管理テーブル1100によって構成される中継装置管理DB5005が記憶されている。この中継装置管理テーブル1100では、複数の中継装置3の中継装置ID毎に、各中継装置3の稼動状態、稼動状態が示される状態情報を受信した受信日時、中継装置3のIPアドレス、及び、最大データ伝送速度(Mbps)等が関連付けられて管理される。例えば、
図11に示されている中継装置管理テーブル1100において、中継装置IDが「111a」の中継装置3は、稼動状態が「オンライン」で、通信管理システム5で状態情報が受信された日時が「2015年4月10日の12時00分」であることが示されている。また、中継装置IDが「111a」の中継装置3は、この中継装置3のIPアドレスが「1.2.1.2」で、この中継装置3における最大データ伝送速度が100Mbpsであることが示されている。
【0069】
(ストローク情報)
図12は、一実施形態に係るストローク情報について説明するための図である。この図は、記憶部5000に記憶されているストローク情報5006の一例のイメージを示している。
【0070】
図12の例では、ストローク情報5006は、「会議」、「ページ(ページ1~3)」、「ストローク(ストローク1~5)」の階層構造を有している。
【0071】
「ストローク」は、本実施形態に係るストロークデータに対応しており、ストローク情報管理部56によって、「ページ」毎に管理される。例えば、ストローク1には、ストローク1を識別するストロークID(id=aaaaaa)、親となるページ1を特定する情報(parent=hijkl)、描画データ1を識別するGid「g001」、及び描画データ1等が含まれる。例えば、ストローク1が表すストローク画像に対して、移動等の操作が行われると、ストロークID(id=aaaaaa)は、そのまま引き継がれるが、描画データ1と描画データ1を識別するGid「g001」は、更新される。
【0072】
描画データ1は、ストローク1を再現するための描画データであり、例えば、座標データ、線の幅データ、線の色データ、ベクトルデータ等が含まれる。
【0073】
電子黒板1は、ページの切り替えが可能であり、「ページ」は、電子黒板1の各ページに対応している。例えば、ページ1には、ページ1を識別するページID(id=hijkl)、親となる「会議」特定するための情報(parent=abcdefg)等の情報が含まれる。
【0074】
「会議」は、通信システム100が管理するセッションに対応しており、例えば、セッションを識別するセッションID(id=abcdefg)等によって管理される。
【0075】
例えば、電子黒板1の画像処理部15は、ストローク1~5に含まれる描画データ1~5を用いて、ページ1に描画されたストローク画像を作成することができる。
【0076】
なお、セッションID(id=abcdefg)は、セッション(会議)を識別する第1の識別情報の一例であり、ストロークID(id=aaaaaa)等は、ストロークデータを識別する第2の識別情報の一例である。また、描画データ1を識別するGid「g001」等は、描画データを識別する第3の識別情報の一例である。
【0077】
(通信管理システムの各機能構成)
ここで、
図6に戻り、通信管理システム5の各機能構成について説明する。
【0078】
送受信部51は、通信ネットワーク500を介して他の端末、装置、又はシステムと各種データ(または情報)の送受信を行う。例えば、送受信部51は、電子黒板1から、操作の対象となる1つ以上のストロークデータを指定するグループ操作情報を受信する受信部として機能する。
【0079】
認証部52は、送受信部51を介して受信されたログイン要求の認証を行う。例えば、認証部52は、電子黒板1から受信したログイン要求に含まれている端末ID及びパスワードの組合せが、
図7に示すような認証管理テーブル700に記憶されている場合、電子黒板1のログインを許可する。
【0080】
端末管理部53は、端末管理DB5002を管理し、例えば、電子黒板1の状態に応じて、
図8に示すような端末管理テーブル800における稼動状態、受信日時、端末のIPアドレス等の情報を更新する。
【0081】
また、端末管理部53は、宛先リスト管理テーブル900を管理し、例えば、電子黒板1からの要求に応じて、
図9に示すような宛先リスト管理テーブル900における宛先端末の端末IDを含む宛先リスト情報を提供する。
【0082】
セッション管理部54は、通信システム100で開催されるセッションを管理する。例えば、セッション管理部54は、電子黒板1から通信の開始を要求する開始要求情報に応じて、セッションを識別するためのセッションIDを生成する。また、セッション管理部54は、セッションIDに対応付けて、セッションに関する様々な情報を、例えば、
図10に示すようなセッション管理テーブル1000に記憶して管理する。
【0083】
中継装置管理部55は、中継装置管理DB5005を管理し、例えば、
図11に示すような中継装置管理テーブル1100を用いて、セッションの中継に用いる中継装置3を選択する。例えば、中継装置管理部55は、中継装置管理テーブル1100に記憶されている各中継装置3のIPアドレスと、開始端末のIPアドレスとから、開始端末の近くにある中継装置3を選択するものであっても良い。或いは、中継装置管理部55は、中継装置管理テーブル1100に記憶されている各中継装置3の最大データ伝送速度等に基づいて、中継装置3を選択するものであっても良い。
【0084】
なお、本実施形態では、セッションの中継に用いる中継装置3の選択方法は任意の方法であって良い。また、通信システム100が有する中継装置3の数は、1つであって良い。
【0085】
ストローク情報管理部56は、セッションに参加している電子黒板1から、例えば、セッションseiで送信されるストロークデータを、セッションIDと対応付けて、記憶部5000等に記憶して管理する。例えば、ストローク情報管理部56は、電子黒板1から受信したストロークデータを、
図12に示すようなストローク情報5006に記憶する。また、ストローク情報管理部56は、例えば、電子黒板1から受信したストロークデータを、電子黒板1と同じセッションに参加している他の電子黒板1に転送する。
【0086】
操作制限部57は、送受信部51が電子黒板1から受信した、操作の対象となる1つ以上のストロークデータを指定するグループ操作情報に基づいて、他の電子黒板1による、指定されたストロークデータに関する操作を制限する。なお、操作制限部57による処理、及びグループ操作情報については後述する。
【0087】
記憶・読出処理部58は、記憶部5000に各種データを記憶する処理、及び記憶部5000に記憶された各種データを読み出す処理等を行う。
【0088】
<画像保存装置の機能構成>
画像保存装置7は、例えば、
図4のCPU401で所定のプログラムを実行することにより、送受信部71、記憶・読出処理部72等を実現している。また、画像保存装置7は、
図4のRAM403、HD404等によって実現される記憶部7000を有している。
【0089】
(画像保存装置の各機能構成)
送受信部71は、通信ネットワーク500を介して他の端末、装置、又はシステムと各種データ(または情報)の送受信を行う。記憶・読出処理部72は、記憶部7000に各種データを記憶したり、記憶部7000に記憶された各種データを読み出したりする処理を行う。
【0090】
上記の構成により、画像保存装置7は、例えば、電子黒板1からアップロードされる画像データを、指定されたURL(Uniform Resource Locator)に記憶するとともに、電子黒板1からの要求に応じて、指定されたURLに記憶された画像データを提供する。
【0091】
<中継装置の機能構成>
中継装置3は、例えば、
図4のCPU401で所定のプログラムを実行することにより、送受信部31、判断部32、及び記憶・読出処理部33等を実現している。また、中継装置3は、
図4のRAM403、HD404等によって実現される記憶部3000を有している。
【0092】
(中継装置の各機能構成)
送受信部31は、通信ネットワーク500を介して他の端末、装置、又はシステムと各種データ(または情報)の送受信を行う。また、送受信部31は、転送部としての役割も果たし、例えば、電子黒板1から受信した映像データ及び音データを、電子黒板1と同じセッションに参加している他の電子黒板1に転送する。判断部32は、データの遅延状態等の判断等、各種の判断を行う。
【0093】
記憶・読出処理部33は、記憶部3000に各種データを記憶する処理、記憶部3000に記憶された各種データを読み出す処理等を行う。
【0094】
なお、
図6に示す通信システム100の機能構成は一例であり、通信システム100は、様々な変形が可能である。例えば、通信管理システム5に含まれる各機能構成は、複数のコンピュータ400によって実現されるものであっても良い。また、画像保存装置7の機能は、通信システム100の外部のストレージサーバ等によって実現されるものであっても良い。さらに画像保存装置7、及び中継装置3の各機能構成のうち、少なくとも一部は、通信管理システム5に含まれていても良い。さらにまた、電子黒板1は、端末装置の一例であり、端末装置は、通信システム100に対応するアプリケーションを実行する情報端末であっても良い。
【0095】
〔処理の流れ〕
続いて、本実施形態に係る通信管理方法、及び画像処理方法の処理の流れについて説明する。
【0096】
<遠隔通信の準備段階の処理>
図13は、一実施形態に係る準備段階の処理の例を示すシーケンス図である。この処理は、通信システム100において、電子黒板1がセッション(ビデオ会議)に参加する前に実行される準備段階の処理の例を示している。
【0097】
まず、電子黒板1aで電源スイッチ117がオンされると、受付部12が、電源オンを受け付ける(ステップS22)。
【0098】
次に、送受信部11は、通信ネットワーク500を介して通信管理システム5に、ログインを要求するログイン要求情報を送信する(ステップS23)。このログイン要求情報には、例えば、電子黒板1aの端末ID及びパスワード等が含まれる。
【0099】
次に、通信管理システム5の認証部52は、送受信部51を介して受信したログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、
図7に示すような認証管理テーブル700を検索する。また、認証部52は、ログイン要求情報に含まれている端末ID及びパスワードの組合せが、認証管理テーブル700で管理されている場合、電子黒板1aのログインを許可する(ステップS24)。ここで、ログイン要求情報に含まれている端末ID及びパスワードの組合せが、認証管理テーブル700で管理されている場合、ステップS25以降の処理が実行される。
【0100】
電子黒板1aのログインが許可された場合、端末管理部53は、
図8に示すような端末管理テーブル800において、電子黒板1aの端末ID「01aa」に対応する情報を更新する。例えば、端末管理部53は、端末ID「01aa」に対応する「稼動状態」の情報を「オンライン(通信可能)」に変更するとともに、「受信日時」の情報を、ログイン要求情報を受信した日時に更新する(ステップS25)。なお、端末のIPアドレスの情報は、事前に登録されているのではなく、上記ステップS23で電子黒板1aから送信されたIPアドレスを用いるようにしても良い。これにより、端末管理テーブル800には、例えば、
図8に示すように、端末ID「01aa」に、稼動状態「オンライン(通信可能)」、受信日時「2015.4.10.13:40」及びIPアドレス「1.2.1.3」等が関連付けて管理される。
【0101】
次に、セッション管理部54は、上記のステップS23で受信した電子黒板1aの端末ID「01aa」を、「開始端末の端末ID」とする新しいレコードを、
図10に示すようなセッション管理テーブル1000に追加して管理する(ステップS26)。そして、通信管理システム5の送受信部51は、ステップ24の処理によって得られた認証結果が示された認証結果情報を、通信ネットワーク500を介して、上記ログイン要求してきた電子黒板1aに送信する(ステップS27)。
【0102】
電子黒板1aの送受信部11は、ログインが許可されたことを示す認証結果情報を受信すると、通信ネットワーク500を介して通信管理システム5へ、宛先リストを要求する旨が示された宛先リスト要求情報を送信する(ステップS28)。これにより、通信管理システム5の送受信部51は、宛先リスト要求情報を受信する。
【0103】
次に、端末管理部53は、電子黒板1aの端末ID「01aa」を検索キーとして、
図9に示すような宛先リスト管理テーブル900を検索し、電子黒板1aと通信することができる宛先候補の端末IDを読み出す。また、端末管理部53は、
図8に示すような端末管理テーブル800から、宛先候補の端末IDに対応する宛先名を読み出す(ステップS29)。これにより、電子黒板1aの端末ID「01aa」に対応する宛先候補のそれぞれの端末IDと、これらに対応する宛先名が抽出される。
【0104】
次に、通信管理システム5の送受信部51は、記憶・読出処理部58を介して、例えば、記憶部5000に記憶されている宛先リスト枠のデータ及び稼動状態を示すアイコンのデータ等を読み出す(ステップS30)。また、通信管理システム5の送受信部51は、読み出した宛先リスト枠及びアイコン、ステップS29で抽出した端末ID及び宛先名を含めた「宛先リスト情報(宛先リスト枠、アイコン、端末ID、宛先名)」を、電子黒板1aに送信する(ステップS31)。これにより、電子黒板1aは、送受信部11が宛先リスト情報を受信し、記憶・読出処理部18が記憶部1001に、受信した宛先リスト情報を記憶する(ステップS32)。
【0105】
このように、本実施形態では、各電子黒板1で宛先リスト情報を管理するのではなく、通信管理システム5が全ての端末の宛先リスト情報を一元管理している。よって、通信管理システム5に新たな電子黒板1が登録された場合、既に含まれている電子黒板1に替えて新機種の端末装置が登録された場合、宛先リスト枠の見栄え等を変更する場合等でも、各電子黒板1側で宛先リスト情報の変更を行う手間を省くことができる。
【0106】
また、通信管理システム5の端末管理部53は、ステップS29で抽出した宛先候補の端末IDを検索キーとして、
図8に示すような端末管理テーブル800を検索し、宛先候補の端末ID毎に、対応する稼動状態を読み出す。これにより、端末管理部53は、宛先候補の端末IDに対応する各電子黒板1の稼動状態を取得する(ステップS33)。
【0107】
次に、通信管理システム5の送受信部51は、ステップS33で検索キーとして使用された端末IDと、対応する各宛先端末の稼動状態とが含まれた「端末の状態情報」を、通信ネットワーク500を介して、電子黒板1aに送信する(ステップS34)。
【0108】
次に、電子黒板1aの記憶・読出処理部18は、順次、通信管理システム5から受信した端末の状態情報を記憶部1001に記憶する(ステップS35)。よって、電子黒板1aは、上記各電子黒板1状態情報を受信することで、電子黒板1aと通信することができる宛先候補である電子黒板1b、1c等の現時点における稼動状態を取得することができる。
【0109】
次に、電子黒板1aの表示制御部14は、記憶部1001に記憶されている宛先リスト情報、及び端末の状態情報に基づいて、宛先候補としての端末の状態を反映させた宛先リストを作成する。また、表示制御部14は、作成した宛先リストを用いて、宛先リスト画面を、電子黒板1aのディスプレイ160に表示させる(ステップS36)。
【0110】
一方、通信管理システム5の端末管理部53は、電子黒板1aの端末ID「01aa」に基づいて、
図9に示すような宛先リスト管理テーブル900を検索することにより、電子黒板1aを宛先候補として登録している他の端末の端末IDを抽出する(ステップS37)。
【0111】
次に、通信管理システム5の端末管理部53は、電子黒板1aの端末ID「01aa」に基づいて、
図8に示すような端末管理テーブル800を検索し、電子黒板1aの稼動状態を取得する(ステップS38)。
【0112】
そして、送受信部51は、ステップS37で抽出した端末IDのうち、端末管理テーブル800で稼動状態が「オンライン」となっている端末IDの電子黒板1に、電子黒板1aの端末IDと稼動状態とを含む「端末の状態情報」を送信する(ステップS39)。なお、送受信部51は、各電子黒板1に端末の状態情報を送信する際に、各端末IDに基づいて、端末管理テーブル800で管理されている各電子黒板1のIPアドレスを参照する。これにより、電子黒板1aを宛先候補として通信することができる各電子黒板1に、電子黒板1aの端末ID「01aa」、及び稼動状態「オンライン」を伝えることができる。これにより、宛先候補となる各電子黒板1においても、電子黒板1aの状態を表示させることができる(ステップS40)。
【0113】
<セッションの開始処理>
図14は、一実施形態に係るセッションの開始処理の例を示すシーケンス図である。この処理は、例えば、電子黒板1aが電子黒板1bに対して、セッションの開始を要求したときに通信システム100で実行されるセッションの開始処理の例を示している。
【0114】
ステップS1401において、開始端末である電子黒板1aが、利用者Aによる宛先選択を受け付けると、ステップS1402以降の処理が実行される。ここでは、利用者Aにより、宛先端末として電子黒板1bが選択されたものとする。
【0115】
ステップS1402において、電子黒板1aが、利用者Aによる宛先選択を受け付けると、電子黒板1aの送受信部11は、セッションの開始を要求する開始要求情報を通信管理システム5に送信する。この開始要求情報には、例えば、開始端末である電子黒板1aの端末ID「01aa」、宛先端末である電子黒板1bの端末ID等「01ba」、及び開始端末である電子黒板1aのIPアドレス等が含まれる。これにより、通信管理システム5の送受信部51は、開始要求情報を受信するとともに、送信元である開始端末(電子黒板1a)のIPアドレスを受信する。
【0116】
ステップS1403において、通信管理システム5の端末管理部53は、開始要求情報に含まれる開始端末の端末IDと宛先端末の端末IDとに基づいて、端末管理DB5002を更新する。例えば、端末管理部53は、開始要求情報に含まれる開始端末の端末ID「01aa」、宛先端末の端末ID「01ba」に基づき、端末管理テーブル800において、端末ID「01aa」、「01ba」に対応する「稼動状態」を「オンライン(通信中)」に更新する。なお、この状態では、開始端末である電子黒板1a、及び宛先端末である電子黒板1bは、セッションに参加していないが、通信中状態として管理する。
【0117】
ステップS1404において、通信管理システム5のセッション管理部54は、電子黒板1aと電子黒板1bとの間で開催されるセッションを識別するためのセッションIDを生成する。ここでは、セッション管理部54が、セッションID「se01」を生成するものとする。
【0118】
ステップS1405において、セッション管理部54は、
図10に示すようなセッション管理テーブル1000に、生成したセッションID、開始端末の端末ID「01aa」、宛先端末の端末ID「01ba」等を、対応付けて記憶して管理する。
【0119】
ステップS1406において、通信管理システム5の中継装置管理部55は、開始端末(電子黒板1a)と宛先端末(電子黒板1b)との間のセッションを中継する中継装置3を選択する。例えば、中継装置管理部55は、中継装置管理テーブル1100において稼動状態が「オンライン」の中継装置3に係る装置IDのうち、端末管理テーブル800において開始端末(電子黒板1a)のIPアドレスに近いIPアドレスの中継装置3を選択する。ここでは、装置ID「111a」の中継装置3が選択されるものとする。
【0120】
ステップS1407a、S1407bにおいて、通信管理システム5のセッション管理部54は、送受信部51を介して、開始端末(電子黒板1a)、及び宛先端末(電子黒板1b)に、中継装置選択情報を送信する。この中継装置選択情報には、例えば、ステップS1406で選択された中継装置3のIPアドレス、ステップS1404で生成されたセッションID、及び通信管理システム5のIPアドレス等が含まれる。
【0121】
ステップS1408a、S1408bにおいて、開始端末(電子黒板1a)、及び宛先端末(電子黒板1b)の送受信部11は、中継装置選択情報を受信すると、中継装置選択情報を受信したことを示す受信完了情報を、通信管理システム5に送信する。この受信完了情報には、例えば、中継装置選択情報に含まれていたセッションID「se01」等が含まれる。
【0122】
ステップS1409a、S1409bにおいて、開始端末(電子黒板1a)、及び宛先端末(電子黒板1b)の送受信部11は、中継装置選択情報に含まれている、中継装置3の装置ID、及びセッションIDを用いて、中継装置3とセッションを確立する。これにより、電子黒板1a、電子黒板1bは、同じセッションID「se01」のセッションに参加し、会議映像等の映像データ、音データ等を、中継装置3を介して相互に送受信することができるようになる。
【0123】
上記の処理により、電子黒板1aの利用者Aと、電子黒板1bの利用者Bとの間で、会議映像等を送受信するビデオ会議を行うことができる。
【0124】
<ストローク画像の共有処理>
通信システム100では、ビデオ会議に参加している電子黒板1aの利用者A、及び電子黒板1bの利用者B、Cは、各電子黒板1に電子ペン140等で描画したストローク画像を共有画像として、他の電子黒板1に表示させることができる。ここでは、同じセッションに参加している電子黒板1aと電子黒板1bとの間で、ストローク画像を共有する処理の例について説明する。
【0125】
図15は、一実施形態に係るストローク画像の共有処理の例を示すシーケンス図である。なお、
図15に示す処理の開始時点において、電子黒板1aと電子黒板1bは、例えば、
図14に示すセッションの開始処理により、同じセッションに参加しているものとする。
【0126】
また、電子黒板1aと電子黒板1bは、必要に応じて、画像保存装置7を介して、資料画像を共有し、ディスプレイ160に資料画像を表示しているものとする。
【0127】
ステップS1501において、利用者Aが、電子ペン140や手Hを、電子黒板1aのディスプレイ160上に接触させて描画(移動)することにより、受付部12は、描画されたストローク(軌跡)の入力を受け付ける。
【0128】
ステップS1502において、電子黒板1aの画像処理部15は、受付部12が受け付けたストロークに応じたストローク画像を表示するためのストロークデータを作成する。
【0129】
ステップS1503において、電子黒板1aの表示制御部14は、画像処理部15が作成したストロークデータに基づいて、ディスプレイ160にストローク画像を表示させる。これにより、利用者Aが、ディスプレイ160に電子ペン140等で描画したストローク画像が、ディスプレイ160に表示される。
【0130】
ステップS1504において、電子黒板1aの送受信部11は、利用者Aによって描画されたストローク画像を再生するためのストロークデータを、例えば、セッションseiで通信管理システム5に送信する。これにより、通信管理システム5の送受信部51は、電子黒板1aから送信されたストロークデータを受信する。
【0131】
ステップS1505において、通信管理システム5のストローク情報管理部56は、電子黒板1aから受信したストロークデータを、例えば、
図12に示すようなストローク情報5006に登録する。
【0132】
ステップS1506において、通信管理システム5のストローク情報管理部56は、電子黒板1aと同じセッションに参加している電子黒板1bに、ストロークデータを転送する。これにより、電子黒板1bの送受信部11は、ストロークデータを受信する。
【0133】
ステップS1507において、電子黒板1bの画像処理部15は、送受信部11が受信したストロークデータに基づいて、ストローク画像を作成する。
【0134】
ステップS1508において、電子黒板1bの表示制御部14は、画像処理部15が作成したストローク画像、すなわち、ステップS1501でユーザAが描画したストローク画像を、ディスプレイ160に表示させる。
【0135】
なお、電子黒板1bに対して、利用者B、又は利用者Cが電子ペン140等で描画を行った場合も、同様にして、ストローク画像を電子黒板1aに表示させることができる。
【0136】
このように、同じセッションに参加している電子黒板1aと電子黒板1bの間では、ストローク画像を共有することができる。
【0137】
<ストローク画像の移動処理>
複数の電子黒板(端末装置)1a、1bの間でストローク画像を共有する会議では、共有しているストローク画像に対して、複数の電子黒板1a、1bから、それぞれ、移動処理等の編集処理を行うことができる。この場合、例えば、複数の電子黒板1a、1bから、共有しているストローク画像に対して、移動操作等が行われた場合、操作のタイミングによっては、ストローク画像に対して、利用者の意図とは異なる操作が行われてしまう場合がある。
【0138】
このような問題を解決するため、通信管理システム5は、例えば、ユーザAが操作対象となるストローク画像に対して編集操作を行っているときに、当該ストローク画像に対するユーザBによる編集操作を制限する操作制限機能を有している。
【0139】
ここでは、操作制限機能について説明する前に、操作制限機能を用いない場合におけるストローク画像の移動処理の例について説明する。
【0140】
図16は、一実施形態に係るストローク画像の移動処理の例を示すシーケンス図である。
図16に示す処理の開始時点において、例えば、
図15に示すストローク画像の共有処理により、電子黒板1a及び電子黒板1bのディスプレイには、
図17(A)に示すように、ストローク画像ST1~5を含む表示画面1710が表示されているものとする。また、通信管理システム5のストローク情報管理部56が管理するストローク情報5006には、例えば、
図12に示すように、ストローク画像ST1~5に対応するストロークデータ(ストローク1~5)が記憶されているものとする。
【0141】
また、ここでは、説明用の一例として、電子黒板1aの利用者Aが、ストローク画像ST1~5を順次に左方向に移動させる操作を行い、電子黒板1bの利用者Bが、ストローク画像ST2~4を順次に下方向に移動させる操作を行うものとする。
【0142】
ステップS1601において、電子黒板1aの情報送信部16は、利用者Aによるストローク画像ST1への移動操作に応じて、ストローク画像ST1(Gid=g001)を左方向に所定の距離だけ移動させる操作情報を、通信管理システム5に送信する。この操作情報には、例えば、ストローク画像ST1の移動後の座標情報等が含まれる。
【0143】
これに応じて、通信管理システム5のストローク情報管理部56は、例えば、
図12に示すストローク情報5006において、ストローク画像ST1(Gid=g001)に対応するストローク1の描画データ1、及びGidを更新する。また、これにより、例えば、
図17(B)に示す表示画面1720のように、電子黒板1aと電子黒板1bとの間で共有しているストローク画像ST1が、左方向に移動する。
【0144】
ステップS1602において、通信管理システム5のストローク情報管理部56は、ストローク画像ST1の移動が成功したことを示す成功通知を、電子黒板1aに送信する。この成功通知には、ストローク画像ST1の更新されたgid(例えば、Gid=g006)が含まれる。
【0145】
ステップS1603において、電子黒板1aの情報送信部16は、利用者Aによるストローク画像ST2への移動操作に応じて、ストローク画像ST2(Gid=g002)を左方向に所定の距離だけ移動させる操作情報を、通信管理システム5に送信する。これに応じて、通信管理システム5のストローク情報管理部56は、例えば、
図12に示すストローク情報5006において、ストローク画像ST2(Gid=g002)に対応するストローク2の描画データ2、及びGidを更新する。また、これにより、例えば、
図17(C)に示す表示画面1730のように、電子黒板1aと電子黒板1bとの間で共有しているストローク画像ST2が、左方向に移動する。
【0146】
ステップS1604において、通信管理システム5のストローク情報管理部56は、ストローク画像ST2の移動が成功したことを示す成功通知を、電子黒板1aに送信する。この成功通知には、ストローク画像ST2の更新されたgid(例えば、Gid=g007)が含まれる。
【0147】
ステップS1605において、電子黒板1bの情報送信部16は、利用者Bによるストローク画像ST2への移動操作に応じて、ストローク画像ST2(Gid=g002)を下方向に所定の距離だけ移動させる操作情報を、通信管理システム5に送信する。しかし、ストローク画像ST2のgidは、「g007」に更新されているので、通信管理システム5のストローク情報管理部56は、ストローク画像ST2(Gid=g002)の移動処理を行うことができない。
【0148】
ステップS1606において、通信管理システム5のストローク情報管理部56は、ストローク画像ST2の移動が失敗したことを示す失敗通知を、電子黒板1bに送信する。
【0149】
ステップS1607において、電子黒板1bの情報送信部16は、利用者Bによるストローク画像ST3への移動操作に応じて、ストローク画像ST3(Gid=g003)を下方向に所定の距離だけ移動させる操作情報を、通信管理システム5に送信する。これに応じて、通信管理システム5のストローク情報管理部56は、例えば、
図12に示すストローク情報5006において、ストローク画像ST3(Gid=g003)に対応するストローク3の描画データ3、及びGidを更新する。また、これにより、例えば、
図17(D)に示す表示画面1740のように、電子黒板1aと電子黒板1bとの間で共有しているストローク画像ST3が、下方向に移動する。
【0150】
ステップS1608において、通信管理システム5のストローク情報管理部56は、ストローク画像ST3の移動が成功したことを示す成功通知を、電子黒板1bに送信する。この成功通知には、ストローク画像ST3の更新されたgid(例えば、Gid=g008)が含まれる。
【0151】
ステップS1609において、電子黒板1bの情報送信部16は、利用者Bによるストローク画像ST4への移動操作に応じて、ストローク画像ST4(Gid=g004)を下方向に所定の距離だけ移動させる操作情報を、通信管理システム5に送信する。これに応じて、通信管理システム5のストローク情報管理部56は、例えば、
図12に示すストローク情報5006において、ストローク画像ST4(Gid=g004)に対応するストローク4の描画データ3、及びGidを更新する。また、これにより、例えば、
図17(E)に示す表示画面1750のように、電子黒板1aと電子黒板1bとの間で共有しているストローク画像ST4が、下方向に移動する。
【0152】
ステップS1610において、通信管理システム5のストローク情報管理部56は、ストローク画像ST4の移動が成功したことを示す成功通知を、電子黒板1bに送信する。この成功通知には、ストローク画像ST4の更新されたgid(例えば、Gid=g009)が含まれる。
【0153】
ステップS1611において、電子黒板1aの情報送信部16は、利用者Aによるストローク画像ST3への移動操作に応じて、ストローク画像ST3(Gid=g003)を左方向に所定の距離だけ移動させる操作情報を、通信管理システム5に送信する。しかし、ストローク画像ST3のgidは、「g008」に更新されているので、通信管理システム5のストローク情報管理部56は、ストローク画像ST3(Gid=g003)の移動処理を行うことができない。
【0154】
ステップS1612において、通信管理システム5のストローク情報管理部56は、ストローク画像ST3の移動が失敗したことを示す失敗通知を、電子黒板1aに送信する。
【0155】
ステップS1613において、電子黒板1aの情報送信部16は、利用者Aによるストローク画像ST4への移動操作に応じて、ストローク画像ST4(Gid=g004)を左方向に所定の距離だけ移動させる操作情報を、通信管理システム5に送信する。しかし、ストローク画像ST4のgidは、「g009」に更新されているので、通信管理システム5のストローク情報管理部56は、ストローク画像ST4(Gid=g004)の移動処理を行うことができない。
【0156】
ステップS1614において、通信管理システム5のストローク情報管理部56は、ストローク画像ST4の移動が失敗したことを示す失敗通知を、電子黒板1aに送信する。
【0157】
ステップS1615において、電子黒板1aの情報送信部16は、利用者Aによるストローク画像ST5への移動操作に応じて、ストローク画像ST5(Gid=g005)を左方向に所定の距離だけ移動させる操作情報を、通信管理システム5に送信する。これに応じて、通信管理システム5のストローク情報管理部56は、例えば、
図12に示すストローク情報5006において、ストローク画像ST5(Gid=g005)に対応するストローク2の描画データ2、及びGidを更新する。また、これにより、例えば、
図17(F)に示す表示画面1760のように、電子黒板1aと電子黒板1bとの間で共有しているストローク画像ST5が、左方向に移動する。
【0158】
このように、操作制限機能を用いない場合、
図17(F)に示す表示画面1760のように、ストローク画像ST1、ST2、ST5は、利用者Aの操作に応じて左方向に移動するが、ストローク画像ST3、ST4は、利用者Bの操作に応じて下方向に移動する。結果として、ストローク画像ST1~5は、利用者Aの意図とも、利用者Bの意図とも異なる位置に移動されてしまうことになる。
【0159】
このような問題を解決するため、通信管理システム5は、例えば、ユーザAが操作対象となるストローク画像に対して編集操作を行っているときに、当該ストローク画像に対するユーザBによる編集操作を制限する操作制限機能を有している。
【0160】
[第1の実施形態]
図18は、第1の実施形態に係る操作制限処理の例を示すシーケンス図(1)である。この処理は、通信管理システム5の操作制限部57による操作制限処理の一例を示している。
【0161】
なお、
図18に示す処理の開始時点において、例えば、
図15に示すストローク画像の共有処理により、電子黒板1a及び電子黒板1bのディスプレイには、
図17(A)に示すように、ストローク画像ST1~5を含む表示画面1710が表示されているものとする。また、通信管理システム5のストローク情報管理部56が管理するストローク情報5006には、例えば、
図12に示すように、ストローク画像ST1~5に対応するストロークデータ(ストローク1~5)が記憶されているものとする。
【0162】
また、ここでは、説明用の一例として、電子黒板1aの利用者Aが、ストローク画像ST1~5を順次に左方向に移動させる操作を行うものとする。
【0163】
ステップS1801において、電子黒板1aの受付部12は、利用者Aによるグループの選択操作を受け付ける。
【0164】
本実施形態では、利用者は、共有しているストローク画像に編集操作を行う前に、操作対象となるストローク画像を選択して、操作対象となるストロークデータの一覧を通信管理システム5に通知することができるものとする。
【0165】
ステップS1802において、電子黒板1aの情報送信部16は、利用者Aによるグループの選択操作に応じて、操作対象となる1つ以上のストロークデータを指定するグループ操作要求1を、通信管理システム5に送信する。なお、グループ操作要求1は、操作の対象となる1つ以上のストロークデータを指定するグループ操作情報の一例である。
【0166】
図19(a)は、電子黒板1aの情報送信部16が、通信管理システム5に送信するグループ操作情報1910(グループ操作要求1)の一例のイメージを示している。
図19(a)に示すグループ操作情報1910において、文字列「"lock":"abcdefg"」は、操作対象となる会議(セッション)を識別する識別情報を指定する情報である。
図19(a)の例では、操作対象となるストローク情報が、例えば、
図12に示す会議(id=abcdefg)のストローク情報5006であることが示されている。
【0167】
また、文字列「"list":["aaaaa","bbbbb","ccccc","ddddd","eeeee"]」は、操作対象となるストロークデータのストロークIDを指定する情報である。
図19(a)の例では、操作対象となるストロークデータが、ストローク1、ストローク2、ストローク3、ストローク4、ストローク5であることが示されている。
【0168】
図18のステップS1803において、通信管理システム5の操作制限部57は、電子黒板1aから送信されたグループ操作要求1を受け付けると、グループ操作要求1で指定された操作対象(ストロークデータ)に、操作制限中の操作対象(ストロークデータ)が含まれる否かを判断する。
【0169】
グループ操作要求1で指定された操作対象に、操作制限中の操作対象が含まれていない場合、ステップS1804以降の処理が実行される。一方、グループ操作要求1で指定された操作対象に、操作制限中の操作対象が含まれている場合、後述するように、通信管理システム5の操作制限部57は、要求元の電子黒板1に拒否通知を送信する。
【0170】
ステップS1804において、通信管理システム5の操作制限部57は、グループ操作要求1で指定されたストロークデータに対する操作制限処理を開始する。これにより、操作制限部57は、電子黒板1aから送信されたグループ操作要求1で指定されたストローク画像に関する他の電子黒板1bからの操作を禁止する。
【0171】
ステップS1805において、通信管理システム5の操作制限部57は、グループ操作要求1を受け付けたことを示す受付通知を、要求元の電子黒板1aに送信する。
【0172】
ステップS1806において、電子黒板1aの情報送信部16は、利用者Aによるストローク画像ST1への移動操作に応じて、ストローク画像ST1(Gid=g001)を左方向に所定の距離だけ移動させる操作情報を、通信管理システム5に送信する。これに応じて、通信管理システム5のストローク情報管理部56は、例えば、
図12に示すストローク情報5006において、ストローク画像ST1(Gid=g001)に対応するストローク1の描画データ1を更新し、Gidを「g006」に更新する。
【0173】
ステップS1807において、電子黒板1aの情報送信部16は、利用者Aによるストローク画像ST2への移動操作に応じて、ストローク画像ST2(Gid=g002)を左方向に所定の距離だけ移動させる操作情報を、通信管理システム5に送信する。これに応じて、通信管理システム5のストローク情報管理部56は、例えば、
図12に示すストローク情報5006において、ストローク画像ST2(Gid=g002)に対応するストローク2の描画データ2を更新し、Gidを「g007」に更新する。
【0174】
ここで、例えば、ステップS1808において、電子黒板1bの受付部12は、利用者Bによるグループの選択操作を受け付けるものとする。
【0175】
ステップS1809において、電子黒板1bの情報送信部16は、利用者Bによるグループの選択操作に応じて、操作対象となる1つ以上のストロークデータを指定するグループ操作要求2を、通信管理システム5に送信する。なお、グループ操作要求2は、操作の対象となる1つ以上のストロークデータを指定するグループ操作情報の別の一例である。
【0176】
図19(b)は、電子黒板1bの情報送信部16が、通信管理システム5に送信するグループ操作情報1920(グループ操作要求2)の一例のイメージを示している。
図19(b)に示すグループ操作情報1920において、文字列「"lock":"abcdefg"」により、操作対象となるストローク情報が、例えば、
図12に示す会議(id=abcdefg)のストローク情報5006であることが示されている。
【0177】
また、文字列「"list":["bbbbb","ccccc","ddddd"]」により、操作対象となるストロークデータが、ストローク2、ストローク3、ストローク4であることが示されている。
【0178】
図18のステップS1810において、通信管理システム5の操作制限部57は、電子黒板1bから送信されたグループ操作要求2を受け付けると、グループ操作要求2で指定された操作対象(ストロークデータ)に、操作制限中の操作対象(ストロークデータ)が含まれる否かを判断する。
【0179】
ここでは、ステップS1804において、
図19(a)に示すグループ操作情報1910により、ストロークID「aaaaaa」、「bbbbbb」、「cccccc」、[dddddd]、「eeeeee」のストロークデータに対する操作制限処理が開始されている。また、
図19(b)に示すグループ操作情報1920では、操作対象となるストロークデータとして、ストロークID「bbbbbb」、「cccccc」、[dddddd]が指定されている。
【0180】
このように、指定された操作対象(ストロークデータ)の一部、又は全部が、操作制限中の操作対象(ストロークデータ)に含まれる場合、操作制限部57は、ステップ1811において、要求元の電子黒板1bに対して拒否通知(又は失敗通知)を送信する。この場合、電子黒板1bの利用者B、Cは、操作対象となるストロークデータST2、ST3、ST4に対する操作を行うことができない。
【0181】
ステップS1812において、電子黒板1aの情報送信部16は、利用者Aによるストローク画像ST3への移動操作に応じて、ストローク画像ST3(Gid=g003)を左方向に所定の距離だけ移動させる操作情報を、通信管理システム5に送信する。これに応じて、通信管理システム5のストローク情報管理部56は、例えば、
図12に示すストローク情報5006において、ストローク画像ST3(Gid=g003)に対応するストローク3の描画データ3を更新し、Gidを「g008」に更新する。
【0182】
ステップS1813において、電子黒板1aの情報送信部16は、利用者Aによるストローク画像ST4への移動操作に応じて、ストローク画像ST4(Gid=g004)を左方向に所定の距離だけ移動させる操作情報を、通信管理システム5に送信する。これに応じて、通信管理システム5のストローク情報管理部56は、例えば、
図12に示すストローク情報5006において、ストローク画像ST4(Gid=g004)に対応するストローク4の描画データ4を更新し、Gidを「g009」に更新する。
【0183】
ステップS1814において、電子黒板1aの情報送信部16は、利用者Aによるストローク画像ST5への移動操作に応じて、ストローク画像ST5(Gid=g005)を左方向に所定の距離だけ移動させる操作情報を、通信管理システム5に送信する。これに応じて、通信管理システム5のストローク情報管理部56は、例えば、
図12に示すストローク情報5006において、ストローク画像ST5(Gid=g005)に対応するストローク4の描画データ5を更新し、Gidを「g010」に更新する。
【0184】
ステップS1815において、通信管理システム5の操作制限部57は、一例として、操作対象として指定された全てのストロークデータに対する操作を受け付けると、グループ操作が完了したと判断し、操作制限処理を終了する。
【0185】
別の一例として、操作制限部57は、電子黒板1aから、グループ操作の終了情報を受け付けたときに、グループ操作が完了したと判断しても良い。
【0186】
好ましくは、操作制限部57は、操作制限処理を開始してから、所定の時間を経過した場合、グループ制限処理を終了させる。これにより、例えば、電子黒板1aが、通信管理システム5にグループ操作情報を送信し、操作対象となる全てのストローク情報に対する操作を終える前に、障害等によりセッションから退出したとき等に、操作対象が編集できなくなることを防止することができる。
【0187】
ステップS1816において、通信管理システム5の操作制限部57は、グループ操作が完了したことを示す完了情報を、電子黒板1aに送信する。なお、グループ操作によって更新された各ストロークデータのGidは、この完了情報を用いて電子黒板1aに通知するものであっても良いし、例えば、
図16のステップS1602に示すような成功通知を用いて、電子黒板1aに通知するものであっても良い。
【0188】
上記の処理により、例えば、
図17(G)の表示画面1770に示すように、操作対象となるストローク画像ST1~ST5が、利用者Aの意図通り左側に移動される。
【0189】
図20は、第1の実施形態に係る操作制限処理の例を示すシーケンス図(2)である。この処理は、通信管理システム5の操作制限部57による操作制限処理の別の一例を示している。なお、
図20に示す処理のうち、ステップS1801~S1807、S1812~S1816の処理は、
図18で説明した処理と同様なので、ここでは、
図18に示す処理との相違点を中心に説明を行う。
【0190】
ステップS2001において、電子黒板1bの受付部12は、利用者Aによるストローク画像ST1~ST5に対するグループ操作中に、利用者Bによる、ストローク画像ST3を下方向に所定の距離だけ移動させる移動操作を受け付けるものとする。
【0191】
ステップS2002において、電子黒板1bの情報送信部16は、利用者Bによるストローク画像ST3への移動操作に応じて、ストローク画像ST3(Gid=g003)を下方向に所定の距離だけ移動させる操作情報を、通信管理システム5に送信する。しかし、ストローク画像ST3は、通信管理システム5の操作制限部57による操作制限処理により操作が制限されているので、ストローク情報管理部56は、ストローク画像ST3(Gid=g003)の移動処理を行うことができない。
【0192】
ステップS2003において、通信管理システム5のストローク情報管理部56は、ストローク画像ST3の移動が失敗したことを示す失敗通知を、電子黒板1bに送信する。
【0193】
このように、本実施形態に係る操作制限部57は、電子黒板1から送信されたグループ操作情報を受け付けると、グループ操作情報で指定されたストローク画像に関する他の電子黒板1からの操作を制限する。
【0194】
従って、本実施形態によれば、複数の端末装置の間でストローク画像を共有するセッションにおいて、複数の端末装置からの操作により、ストローク画像に対して利用者の意図とは異なる操作が行われてしまうことを防ぐことができる。
【0195】
[第2の実施形態]
図21は、第2の実施形態に係る操作制限処理の例を示すシーケンス図である。この処理は、通信管理システム5、及び電子黒板1による操作制限処理の一例を示している。
【0196】
なお、ここでは、通信システム100が、3台の電子黒板1a、1b、1cを有しており、3台の電子黒板1a、1b、1cが、同じストローク画像を共有するビデオ会議に参加しているものとして以下の説明を行う。
【0197】
ステップS2101において、電子黒板1aの受付部12は、電子黒板1aを利用する利用者Aによるグループの選択操作を受け付ける。なお、ここでは、グループ選択操作により、電子黒板1aの「ページ1」が選択されたものとする。このように、操作の対象となる1つ以上のストロークデータを指定するグループの選択操作は、ページ単位で行われるものであっても良い。
【0198】
ステップS2102において、電子黒板1aの情報送信部16は、利用者Aによるグループの選択操作に応じて、選択された操作対象の情報である「ページ1」と、電子黒板1aの端末ID「10aa」とを含むグループ操作要求を通信管理システム5に送信する。
【0199】
ステップS2103において、通信管理システム5の操作制限部57は、電子黒板1aから送信されたグループ操作要求を受け付けると、グループ操作要求で指定された「ページ1」に、操作制限中の操作対象(ストロークデータ、ページ等)が含まれる否かを判断する。
【0200】
グループ操作要求で指定された操作対象に、操作制限中の操作対象が含まれていない場合、ステップS2104以降の処理が実行される。一方、グループ操作要求で指定された操作対象に、操作制限中の操作対象が含まれている場合、通信管理システム5の操作制限部57は、ステップS2104以降の処理の実行を中止して、要求元の電子黒板1aに拒否通知を送信する。ここでは、グループ操作要求で指定された操作対象に、操作制限中の操作対象が含まれていないものとして、以下の説明を行う。
【0201】
ステップS2104において、通信管理システム5の操作制限部57は、グループ操作要求で指定されたページ1に対する操作制限処理を開始する。
【0202】
ステップS2105において、通信管理システム5の操作制限部57は、グループ操作要求を受け付けたことを示す受付通知を、要求元の電子黒板1aに送信する。
【0203】
また、第2の実施形態に係る通信管理システム5の操作制限部57は、ステップS2106、S2107において、ビデオ会議に参加している他の全ての電子黒板1b、1cに対して、操作制限処理を開始したことを示す操作制限通知を送信する。この操作制限通知には、例えば、操作制限の対象となる操作対象の情報(例えば、「ページ1」)、及び操作対象に対する操作制限を行った電子黒板1aの情報(例えば、端末ID「10aa」)等が含まれる。なお、電子黒板1aの情報は、電子黒板1aの端末名や、端末管理テーブル800で管理されている宛先名等であっても良い。
【0204】
ステップS2108、S2109において、通信管理システム5から操作制限通知を受信した電子黒板1b、1cの表示制御部14は、例えば、
図22に示すような、ページ1が操作制限されていることを示す表示画面2200を表示する。
【0205】
図22は、第2の実施形態に係る表示画面の例を示す図である。この図は、例えば、
図21のステップS2108、S2109において、電子黒板1b、1cが表示する表示画面2200の例を示している。
図22において、電子黒板1b、1cの表示画面2200には、ページ1が表示されているものとする。また、表示画面2200には、ページ1が操作制限されていることを示すメッセージ2201が表示されている。このメッセージ2201により、電子黒板1b、1cによって、ページ1に操作が行われることを抑制することができる。好ましくは、このメッセージ2201には、ページ1をロック(操作制限)している電子黒板1aに関する情報(例えば、端末名、宛先名、端末ID等)が含まれる。
【0206】
なお、メッセージ2201は、操作制限されていることを示す表示情報の一例である。例えば、操作制限されていることを示す表示情報は、絵文字やアイコン等の文字列以外の情報であっても良い。
【0207】
上記の処理により、電子黒板1aを利用する利用者Aは、操作対象「ページ1」に含まれるストローク画像を優先的に操作することができる。
【0208】
例えば、ステップS2111において、利用者Aが、電子黒板1aのページ1のストローク画像ST1を右に移動させると、ステップS2112以降の処理が実行される。
【0209】
ステップS2112において、電子黒板1aの情報送信部16は、ページ1のストローク画像ST1(stroke1)を右方向に所定の距離だけ移動させる操作情報を、通信管理システム5に送信する。
【0210】
ステップS2113、S2114において、通信管理システム5のストローク情報管理部56は、ストローク画像ST1(stroke1)を右方向に所定の距離だけ移動させる操作情報を、電子黒板1b、1cに送信する。
【0211】
これにより、ステップS2115、S2116において、電子黒板1b、1cにおけるページ1のストローク画像ST1が右に移動され、電子黒板1a、1b、1cのページ1には、同じストローク画像が表示される。
【0212】
このように、第2の実施形態に係る通信システム100によれば、複数の電子黒板1a、1b、1cからの操作により、ストローク画像に対して利用者の意図とは異なる操作が行われてしまうことを防ぐことができる。
【0213】
[第3の実施形態]
図23は、第3の実施形態に係る操作制限処理の例を示すシーケンス図である。なお、
図23のステップS2101~S2104の処理は、
図21で説明した第2の実施形態に係る処理と同様なので、ここでは、第2の実施形態との相違点を中心に説明を行う。
【0214】
図23のステップS2104において、通信管理システム5の操作制限部57が、操作制限処理を開始した後、電子黒板1b、1cに操作制限通知を送信するまでの間は、電子黒板1b、1cにおいて、ページ1に対する操作が行われてしまう恐れがある。
【0215】
例えば、
図23のステップS2301において、電子黒板1bを利用する利用者Bが、ページ1のストローク画像ST1を左に移動したものとする。この場合、通信管理システム5、及び電子黒板1は、ステップS2302~S2304の処理を実行する。
【0216】
ステップS2302において、電子黒板1bの情報送信部16は、ページ1のストローク画像ST1(stroke1)を左方向に所定の距離だけ移動させる操作情報を、通信管理システム5に送信する。
【0217】
しかし、ページ1は、通信管理システム5の操作制限部57による操作制限処理により、既に操作が制限されているので、ストローク情報管理部56は、ページ1のストローク画像ST1の移動処理を行うことができない。このような場合、通信管理システム5のストローク情報管理部56は、ステップS2303において、ページ1のストローク画像ST1の移動に失敗したことを示す失敗通知を、電子黒板1bに送信する。
【0218】
ステップS2304において、電子黒板1bの画像処理部15は、通信管理システム5から失敗通知を受信すると、移動に失敗したページ1のストローク画像ST1を元の位置に戻す。これにより、電子黒板1a、1b、1cに表示されるページ1のストローク画像を、同じ状態に維持することができる。
【0219】
なお、第2の実施形態において、電子黒板1bが、
図22に示すような表示画面2200を表示しているときに、ページ1のストローク画像ST1に対する移動操作を受け付けた場合にも、
図23のステップS2302~S2304の処理を適用することができる。
【0220】
続いて、ステップS2305において、通信管理システム5の操作制限部57が、グループ操作要求を受け付けたことを示す受付通知を、要求元の電子黒板1aに送信した後の処理について説明する。
【0221】
ステップS2306、S2307において、通信管理システム5の操作制限部57は、
ビデオ会議に参加している他の全ての電子黒板1b、1cに対して、操作制限処理を開始したことを示す操作制限通知を送信する。
【0222】
ステップS2308、S2309において、通信管理システム5から操作制限通知を受信した電子黒板1b、1cは、操作制限の対象となるページ1のストローク画像に対する操作を禁止する。例えば、電子黒板1b、1cの表示制御部14は、
図24に示すような表示画面2400を表示するとともに、電子黒板1b、1cの受付部12は、ページ1のストローク画像に対する編集操作の受付を禁止する。
【0223】
図24は、第3の実施形態に係る表示画面の例を示す図である。この図は、例えば、
図23のステップS2308、S2309において、電子黒板1b、1cが表示する表示画面2400の例を示している。
【0224】
図24において、電子黒板1b、1cの表示画面2400には、ページ1が表示されているものとする。ただし、ページ1は操作が行えないように、例えば、グレーアウトして表示される。また、表示画面2400には、ページ1が操作制限されており、操作できないことを示すメッセージ2401が表示されている。好ましくは、このメッセージ2401には、ページ1をロック(操作制限)している電子黒板1aに関する情報(例えば、端末名、宛先名、端末ID等)が含まれる。
【0225】
上記の処理により、電子黒板1b、1cからは、ページ1のストローク画像に対して編集操作を行うことができないので、電子黒板1aを利用する利用者Aは、ページ1に含まれるストローク画像を優先的に操作することができる。
【0226】
なお、第2、3の実施形態では、一例として、ページ1のストローク画像に対して操作制限する場合の例について説明を行ったが、操作制限の対象となるストロークデータは、第1の実施形態と同様に、選択された1つ以上のストローク画像であっても良い。また、操作制限の対象となるストロークデータは、複数のページのストローク画像であっても良い。
【0227】
以上、本発明の各実施形態によれば、複数の端末装置の間でストローク画像を共有するセッションにおいて、複数の端末装置からの操作により、ストローク画像に対して利用者の意図とは異なる操作が行われてしまうことを防ぐことができる。
【0228】
<補足>
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【0229】
また、上記で説明した実施形態では、端末装置が電子黒板1であるものとして説明を行ったが、これに限るものではない。例えば、本発明の各実施形態は、
図25に示すようなインタラクティブプロジェクタ2501にも適用可能である。インタラクティブプロジェクタ2501は、例えば、投影面2502に表示画面2503を投影し、電子黒板1と同様に、ペン、ユーザの指等でストローク画像の書き込みやメニューの選択等を行うことができる端末装置である。
【0230】
また、端末装置の他の例として、通信システム100に対応するアプリケーションを実行するPC、スマートフォン、スマートウォッチ、カーナビゲーション装置等の情報端末が含まれ得る。また、端末装置には、医療機器が含まれる。医療機器の場合には、資料画像は患者の画像等が含まれ得る。
【0231】
さらに、上記で説明した各実施形態では、通信システム100によってビデオ会議をする場合について説明したが、これに限るものではなく、打ち合わせ、家族間や友人間等の一般的な会話、遠隔診療、又は、一方向での情報の提示に使用されても良い。
【符号の説明】
【0232】
1 電子黒板(端末装置の一例)
5 通信管理システム(通信管理装置)
51 送受信部(受信部)
56 ストローク情報管理部
57 操作制限部
100 通信システム
1910、1920 グループ操作情報
5006 ストローク情報
【先行技術文献】
【特許文献】
【0233】