(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-17
(45)【発行日】2024-09-26
(54)【発明の名称】通信端末、通信システム、通信方法、及びプログラム
(51)【国際特許分類】
H04M 3/56 20060101AFI20240918BHJP
H04M 1/00 20060101ALI20240918BHJP
H04N 7/15 20060101ALI20240918BHJP
H04N 21/231 20110101ALI20240918BHJP
【FI】
H04M3/56 Z
H04M1/00 R
H04N7/15 150
H04N21/231
(21)【出願番号】P 2020149068
(22)【出願日】2020-09-04
【審査請求日】2023-07-14
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】日野原 寛
(72)【発明者】
【氏名】中村 滋
(72)【発明者】
【氏名】河崎 佑一
(72)【発明者】
【氏名】本間 毅史
【審査官】山中 実
(56)【参考文献】
【文献】特開2010-204926(JP,A)
【文献】特開2017-175590(JP,A)
【文献】特開2019-114123(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04M 3/56
H04M 1/00
H04N 7/15
H04N 21/231
(57)【特許請求の範囲】
【請求項1】
第1の端末、及び第2の端末と
、通信管理装置を介して画像データを共有する通信端末であって、
第1のページの画像データを
前記通信端末の表示部に表示させる表示制御部と、
操作を受け付ける受付部と、
前記受付部
が、回答モードの開始操作
を受け付けた場合、前記
第1のページの画像データ
を複製し、
前記第1の端末と共有する第2のページの画像データと、前記第2の端末と共有する第3のページの画像データと
を作成して記憶するページ情報管理部と、
前記第2のページの画像データを、前記通信管理装置を介して前記第1の端末へ送信し、前記第3のページの画像データを、前記通信管理装置を介して前記第2の端末へ送信する情報送信部と、
を有する通信端末。
【請求項2】
前記回答モードにおいて、前記第1の端末、及び前記第2の端末によるページの切り替えを禁止する、請求項1に記載の通信端末。
【請求項3】
前記回答モードにおいて、前記第1の端末、及び前記第2の端末による音の出力を停止させる、請求項1に記載の通信端末。
【請求項4】
前記受付部が、前記回答モードの終了操作を受け付けた場合、
前記情報送信部は、現在のページが前記第1のページであることを示す情報を、前記通信管理装置を介して前記第1の端末、及び前記第2の端末に送信し、
前記第1の端末、及び前記第2の端末に、前記第1のページを表示させる、
請求項1に記載の通信端末。
【請求項5】
前記表示制御部は、
前記受付部が、前記第2のページへの切替操作を受け付けた場合、
前記情報送信部は、現在のページが前記第2のページであることを示す情報を、前記通信管理装置を介して前記第1の端末、及び前記第2の端末に送信し、
前記第1の端末、及び前記第2の端末に、前記第2のページを表示させる、
請求項4に記載の通信端末。
【請求項6】
前記ページ情報管理部は、前記
第1の端末、及び前記第2の端末と
、前記通信端末との遠隔会議の識別情報を生成し、
前記情報送信部は、前記ページ情報管理部で生成された前記識別情報を
、前記通信管理装置を介して前記
第1の端末、及び前記第2の端末に送信する、
請求項
1に記載の通信端末。
【請求項7】
第1の端末、及び第2の端末と
、通信端末との間で画像データを
、通信管理装置を介して共有する通信システムであって、
前記通信端末は、
第1のページの画像データを
前記通信端末の表示部に表示させる第1の表示制御部と、
操作を受け付ける受付部と、
前記受付部
が、回答モードの開始操作を受け付けた場合、前記第1のページの画像データを複製し、前記第1の端末と共有する第2のページの画像データと、前記第2の端末と共有する第3のページの画像データとを作成して記憶するページ情報管理部と、
前記第2のページの画像データを、前記通信管理装置を介して前記第1の端末へ送信し、前記第3のページの画像データを、前記通信管理装置を介して前記第2の端末へ送信する情報送信部と、
を有する通信システム。
【請求項8】
前記通信管理装置は、
前記通信端末から受信した
、前記第2のページの画像データを前記第1の端末に転送し、前記第3のページの画像データを前記第2の端末に転送する通信部
を有する、請求項
7に記載の通信システム。
【請求項9】
前記
第1の端末、及び前記第2の端末は、
前記通信管理装置から送信された画像データを受信する受信部と、
前記受信部で受信した画像データを表示する第2の表示制御部と
、を有する、
請求項
8に記載の通信システム。
【請求項10】
前記受付部
が、
前記回答モードの開始操作を受け付け
た場合、
前記情報送信部は、前記受付部で受け付けた
前記回答モードの開始操作を
、前記通信管理装置を介して前記
第1の端末、及び前記第2の端末に送信する、
請求項
7乃至9のいずれか一項に記載の通信システム。
【請求項11】
前記ページ情報管理部は
、複数の異なる
ページの画像データを管理し、
前記受付部は、前記ページ情報管理部に管理される前記複数の異なる
ページの画像データの中から前記
第1の端末、又は前記第2の端末に送信する画像データを選択する選択操作を受け付ける、
請求項
7乃至
9のいずれか1に記載の通信システム。
【請求項12】
前記ページ情報管理部は、前記
第1の端末、及び前記第2の端末と
、前記通信端末の遠隔会議の識別情報を生成し、
前記情報送信部は、前記ページ情報管理部で生成された前記識別情報を
、前記通信管理装置を介して前記
第1の端末、及び前記第2の端末に送信する、
請求項
7乃至
9のいずれか1に記載の通信システム。
【請求項13】
第1の端末、及び第2の端末と
、通信管理装置を介して画像データを共有する通信端末が実行する通信方法であって、
前記通信端末が、
第1のページの画像データを
前記通信端末の表示部に表示させる表示制御ステップと、
操作を受け付ける受付ステップと、
前記受付ステップで
、回答モードの開始操作
を受け付けた場合、前記
第1のページの画像データ
を複製し、
前記第1の端末と共有する第2のページの画像データと、前記第2の端末と共有する第3のページの画像データと
を作成して記憶するページ情報管理ステップと、
前記第2のページの画像データを、前記通信管理装置を介して前記第1の端末へ送信し、前記第3のページの画像データを、前記通信管理装置を介して前記第2の端末へ送信する情報送信ステップと、
を
実行する、通信方法。
【請求項14】
第1の端末、及び第2の端末と
、通信端末との間で画像データを
、通信管理装置を介して共有する通信システムにおける通信方法であって、
前記通信端末が、
第1のページの画像データを
前記通信端末の表示部に表示させる表示制御ステップと、
操作を受け付ける受付ステップと、
前記受付ステップで
、回答モードの開始操作
を受け付けた場合、前記
第1のページの画像データ
を複製し、
前記第1の端末と共有する第2のページの画像データと、前記第2の端末と共有する第3のページの画像データと
を作成して記憶するページ情報管理ステップと、
前記第2のページの画像データを、前記通信管理装置を介して前記第1の端末へ送信し、前記第3のページの画像データを、前記通信管理装置を介して前記第2の端末へ送信する情報送信ステップと、
を実行
する、通信方法。
【請求項15】
請求項13
又は14に記載の通信方法を通信端末に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信端末、通信システム、通信方法、及びプログラムに関する。
【背景技術】
【0002】
インターネット等の通信ネットワークを介して、複数の通信端末の間で表示画面を共有する通信を行う通信システムが普及している。
【0003】
例えば、ユーザが電子ペンや手等で描画したストローク画像を再生するためのストロークデータを、通信端末の間で送受信することにより、ストローク画像を共有する通信システムが知られている(例えば、特許文献1参照)。
【0004】
また、講師側の通信端末と、複数の生徒側の通信端末との間の通信を行い、通信を維持した状態で、講師側の通信端末と、各生徒側の通信端末との間で文字情報を一対一で交換する通信システムが知られている(例えば、特許文献2参照)。
【発明の概要】
【発明が解決しようとする課題】
【0005】
例えば、特許文献2に示すような通信システムにおいて、講師側の通信端末と生徒側端末との間で1対1で文字情報のやりとりを行うものがある。
【0006】
しかしながら、生徒側の端末が複数あり、講師側の端末と複数の生徒側の端末それぞれとの間で文字情報のやりとりをする場合、講師側の端末の表示画面を複数の生徒側端末と共有できても、複数の端末それぞれと情報のやりとりを行うことができない。
【0007】
本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、通信端末の表示画面を複数の端末と共有し、情報のやりとりを行えるようにする。
【課題を解決するための手段】
【0008】
上記の課題を解決するため、本発明の一実施形態に係る通信端末は、第1の端末、及び第2の端末と、通信管理装置を介して画像データを共有する通信端末であって、第1のページの画像データを前記通信端末の表示部に表示させる表示制御部と、操作を受け付ける受付部と、前記受付部が、回答モードの開始操作を受け付けた場合、前記第1のページの画像データを複製し、前記第1の端末と共有する第2のページの画像データと、前記第2の端末と共有する第2のページの画像データとを作成して記憶するページ情報管理部と、前記第2のページの画像データを、前記通信管理装置を介して前記第1の端末へ送信し、前記第3のページの画像データを、前記通信管理装置を介して前記第2の端末へ送信する情報送信部と、を有する。
【発明の効果】
【0009】
本発明の一実施形態によれば、通信端末の表示画面を複数の端末と共有し、情報のやりとりを行えるようになる。
【図面の簡単な説明】
【0010】
【
図1】一実施形態に係る通信システムにおける通信ルートの一例を示す概略図である。
【
図2】一実施形態に係る電子黒板の使用イメージについて説明するための図である。
【
図3】一実施形態に係る電子黒板のハードウエア構成の一例を示す図である。
【
図4】一実施形態に係る通信管理装置、中継装置および画像保存装置のハードウエア構成の一例を示す図である。
【
図5】一実施形態に係る通信システムのシステム構成の一例を示す図である。
【
図6】一実施形態に係る通信システムの機能構成の一例を示す図である。
【
図7】一実施形態に係るページ情報の一例を示す概念図である。
【
図8】一実施形態に係る操作情報の一例を示す概念図である。
【
図9】一実施形態に係る認証管理テーブルの一例を示す概念図である。
【
図10】一実施形態に係る端末管理テーブルの一例を示す概念図である。
【
図11】一実施形態に係る宛先リスト管理テーブルの一例を示す概念図である。
【
図12】一実施形態に係るセッション管理テーブルの一例を示す概念図である。
【
図13】一実施形態に係る中継装置管理テーブルの一例を示す概念図である。
【
図14】一実施形態に係る共有データ管理テーブルの一例を示す概念図である。
【
図15】一実施形態に係る共有状態管理テーブルの一例を示す概念図である。
【
図16】一実施形態に係る準備段階の処理の一例を示すシーケンス図である。
【
図17】一実施形態に係る電子黒板が表示する宛先リスト画面の一例を示す図である。
【
図18】一実施形態に係るセッションの開始処理の例を示すシーケンス図である。
【
図19】一実施形態に係るセッションへの参加処理の一例を示すシーケンス図である。
【
図20】第1の実施形態に係る講義モード中の画面共有処理の例を示すシーケンス図である。
【
図21】第1の実施形態に係る電子黒板の表示画面の例を示す図(1)である。
【
図22】第1の実施形態に係る回答モード中の画面共有処理の例を示すシーケンス図(1)である。
【
図23】第1の実施形態に係る講義情報の例を示す図である。
【
図24】第1の実施形態に係る回答モード中の画面共有処理の例を示すシーケンス図(2)である。
【
図25】第1の実施形態に係る電子黒板の表示画面の例を示す図(2)である。
【
図26】第1の実施形態に係る回答モード終了後の画面共有処理の例を示すシーケンス図(1)である。
【
図27】第1の実施形態に係る回答モード終了後の画面共有処理の例を示すシーケンス図(1)である。
【
図28】第2の実施形態に係る回答モード中の通話制御処理の例を示すシーケンス図である。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
【0012】
〔通信システムの概略〕
まず、
図1を用いて、本実施形態の前提となる、複数の電子黒板1a,1b間で描画しながらビデオ会議、遠隔講義等を行なうための通信システムについて説明する。
図1は、一実施形態に係る通信システムにおける通信ルートの一例を示した概略図である。なお、「ビデオ会議」は、「テレビ会議」、「遠隔会議」等と呼ばれる場合もある。また、「遠隔講義」は、「遠隔授業」、「遠隔レッスン」等と呼ばれる場合もある。
【0013】
また、「ビデオ会議」、「遠隔講義」等は、複数の端末の間で表示画面に表示するページを共有するセッション(通信)の一例である。表示画面に表示するページを共有するセッションは、例えば、遠隔診察、遠隔試験、遠隔調査、打ち合わせ、単なる会話等を行う、他のセッションであってもよい。また、表示画面に表示するページを共有するセッションは、一方向での情報の提示に使用されてもよい。
【0014】
通信システムは、例えば、複数の電子黒板1a,1b、中継装置3、通信管理装置5および画像保存装置7によって構築されている。電子黒板1a,1bは、通話用の画像データおよび音データ、並びに、共有用の画像データおよびストロークデータ等のコンテンツデータの相互通信を行う。ストロークデータには、ストローク画像を再生(再現)するために必要なデータであり、例えば、座標データ、線の幅データ、線の色データ、ベクトルデータ、ストロークが描画された際の筆圧を示すデータ等を含む。また、ストロークデータは、例えば、電子黒板1a,1bによってシリアライズされた文字列として送受信される。電子黒板1a,1bは、通話用の画像データおよび音データの送受信により、相手側の拠点の拠点画像および音を再生することで、遠隔ビデオ通話が可能となる。
【0015】
電子黒板1a,1bは、共有用の背景画像の画像データを送受信することにより、通信システムを利用する参加者が、同じ背景画像を共有することができる。背景画像は、電子黒板1のディスプレイに表示された画像である。背景画像には、例えば、会議の資料、講義の教材等の電子ファイルがディスプレイ180に表示された資料画像が含まれている。背景画像の画像データは、例えば、JPEG(Joint Photographic Experts Group)等のファイル形式で送受信される。また、電子黒板1a,1bは、共有用のストローク画像のストロークデータを送受信することにより、通信システムを利用する参加者が、同じストローク画像を共有することができる。ストローク画像は、利用者によって電子ペン等で手書きストロークにより描画された線等を示す画像である。ストローク画像は、ディスプレイ上の座標を特定する点を示すストロークデータによって表示される。
【0016】
なお、通信システムは、二つの電子黒板1a,1bに限らず、三つ以上の電子黒板によって構築されてもよい。以降、電子黒板1a,1bの総称を示す場合は、「電子黒板1」と示す。また、電子黒板1は、通信機能、描画機能および表示機能等を備える通信端末の一例である。通信端末は、例えば、通信システムに対応するアプリケーションプログラムがインストールされたPC(Personal Computer)、スマートフォン、タブレット端末、スマートウォッチ、カーナビゲーション端末、ゲーム機またはテレプレゼンスロボット等であってもよい。さらに、通信端末は、医療機器であってもよい。医療機器の場合には、背景画像が患者の画像となる。
【0017】
図1では、電子黒板1a,1bの一例としてビデオ会議機能が搭載された電子黒板が示されている。なお、拠点画像データに係る拠点画像は、動画であっても静止画であってもよい。
【0018】
また、以下の説明において、ビデオ会議の開始を要求する要求元としての電子黒板を「開始端末」と呼び、要求先である宛先(中継先)としての電子黒板を「宛先端末」と呼ぶ場合がある。例えば、
図1において、電子黒板1aからビデオ会議の開始を要求する場合は、電子黒板1aが開始端末となり、電子黒板1bが宛先端末となる。また、電子黒板1bからビデオ会議の開始を要求する場合は、電子黒板1bが開始端末となり、電子黒板1aが宛先端末となる。なお、各電子黒板1a,1bは、複数の事業所間での通信や、同じ事業所内の異なる部屋間での通信だけでなく、同じ部屋内での通信や、屋外と屋内または屋外と屋外での通信で使われてもよい。
【0019】
中継装置3は、コンピュータによって構成され、複数の電子黒板1a,1b間で、通話用のコンテンツデータを中継する処理を行なう。
【0020】
通信管理装置5は、コンピュータによって構成され、電子黒板1a,1bからのログイン認証、電子黒板1a,1bの通信状況の管理、宛先リストの管理、および中継装置3の通信状況等を一元的に管理する。また、通信管理装置5は、複数の電子黒板1a,1b間で、共有用のストロークデータを中継する。
【0021】
画像保存装置7は、コンピュータによって構成され、電子黒板1aからアップロードされた共有用の背景画像の画像データを保存して、電子黒板1bにダウンロードする。また、この逆も実行される。すなわち、画像保存装置7は、電子黒板1bからアップロードされた画像データを保存して、電子黒板1aにダウンロードする。
【0022】
なお、中継装置3、通信管理装置5および画像保存装置7は、それぞれが単一のコンピュータによって構築されてもよいし、各装置の各部(機能または手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。ここで、通信管理装置5と画像保存装置7は、複数の電子黒板1a,1b間で共有されるデータを管理するサーバシステム6を構成する。このサーバシステム6は、通信管理装置5および画像保存装置7の各部(機能または手段)を備える単一のコンピュータによって構成されてもよい。また、画像保存装置7は、通信管理装置5に変わり、複数の電子黒板1a,1b間で、共有用のストロークデータを中継する構成であってもよい。
【0023】
また、通信システムにおいて、電子黒板1a,1bとの間では、通信管理装置5を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。また、電子黒板1a,1bとの間では、中継装置3を介して、高解像度の拠点画像データ、中解像度の拠点画像データ、低解像度の拠点画像データ、および音データの四つの各データを送受信するための四つのセッションが確立される。
図1では、これら四つのセッションをまとめて、画像・音データ用セッションsedとして示している。なお、画像・音データ用セッションsedは、必ずしも四つのセッションである必要はなく、四つのセッション数より少ないまたは多いセッション数であってもよい。また、開始端末と宛先端末との間で、中継装置3を介さずに、直接、通信セッションを確立してもよい。さらに、通信システムにおいて、通信管理装置5が中継装置3の機能を有しており、通信管理装置5を介して電子黒板1a,1bとの間の画像・音データ用セッションsedが確立されてもよい。
【0024】
さらに、通信システムにおいて、電子黒板1a,1bとの間では、管理情報用セッションseiを利用して、ストロークデータの送受信を行うことができる。
【0025】
ここで、通信システムで扱われる拠点画像データの画像の解像度について説明する。低解像度の拠点画像データは、例えば、横が160画素、縦が120画素から成り、ベース画像となる。中解像度の拠点画像データは、横が320画素、縦が240画素から成る。高解像度の拠点画像データは、例えば、横が640画素、縦が480画素から成る。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の拠点画像データのみから成る低画質の画像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の拠点画像データ、および中解像度の拠点画像データから成る中画質の画像データが中継される。また、帯域が非常に広い場合には、ベース画像となる低解像度の拠点画像データ、中解像度の拠点画像データ、および高解像度の拠点画像データから成る高画質の画像データが中継される。音データは、拠点画像データに比べてデータ量が少ないため、狭帯域経路であっても中継される。
【0026】
(電子黒板の使用イメージ)
図2は、一実施形態に係る電子黒板の使用イメージについて説明するための図である。電子黒板1は、
図2に示されているように、下部側に複数のキャスタが設けられた脚部151、脚部151の上部側に設けられた支柱152、支柱152上部側に設けられた電子黒板1の本体153、および本体153の前面に設けられたディスプレイ180によって構成されている。本体153には、後述のCPU101等が内蔵されている。そして、利用者は、電子ペン190を用いて、ディスプレイ180に文字等のストローク画像を入力(描画)することができる。ディスプレイ180は、表示部の一例である。
【0027】
<ハードウエア構成>
次に、
図3および
図4を用いて、通信システムを構成する各装置または端末のハードウエア構成について説明する。なお、
図3および
図4に示されているハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。
【0028】
(電子黒板のハードウエア構成)
図3は、一実施形態に係る電子黒板のハードウエア構成の一例を示す図である。
図3に示されているように、電子黒板1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、SSD(Solid State Drive)104、ネットワークI/F(Interface)105、および外部機器接続I/F106を備えている。
【0029】
これらのうち、CPU101は、電子黒板1全体の動作を制御する。ROM102は、CPU101やIPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する不揮発性のメモリである。RAM103は、CPU101のワークエリアとして使用される揮発性のメモリである。SSD104は、電子黒板用のプログラム等の各種データを記憶する大容量の記憶装置である。ネットワークI/F105は、電子黒板1を通信ネットワーク200に接続し、通信を行うための通信インターフェースである。外部機器接続I/F106は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ130、外付け機器(マイク140、スピーカ150、カメラ160)である。
【0030】
また、電子黒板1は、キャプチャデバイス111、GPU(Graphics Processing Unit)112、ディスプレイコントローラ113、接触センサ114、センサコントローラ115、電子ペンコントローラ116、近距離通信回路119、近距離通信回路119のアンテナ119a、電源スイッチ122および選択スイッチ類123を備えている。
【0031】
これらのうち、キャプチャデバイス111は、外付けのPC170のディスプレイ等に対して画像データ(画像情報)を静止画または動画として表示させる。GPU112は、グラフィクスを専門に扱う半導体チップ(プロセッサ)である。ディスプレイコントローラ113は、GPU112からの出力画像をディスプレイ180等へ出力するために画面表示の制御および管理を行う。接触センサ114は、ディスプレイ180上に電子ペン190や利用者の手H等が接触したことを検知する。センサコントローラ115は、接触センサ114の処理を制御する。
【0032】
接触センサ114は、赤外線遮断方式による座標の入力および座標の検出を行う。この座標の入力および座標の検出する方法は、ディスプレイ180の上側両端部に設置された二つの受発光装置が、ディスプレイ180に平行して複数の赤外線を放射し、ディスプレイ180の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ114は、物体によって遮断された二つの受発光装置が放射した赤外線のIDをセンサコントローラ115に出力し、センサコントローラ115が、物体の接触位置である座標位置を特定する。
【0033】
電子ペンコントローラ116は、電子ペン190と通信することで、ディスプレイ180へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路119は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。電源スイッチ122は、電子黒板1の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類123は、例えば、ディスプレイ180の表示の明暗や色合い等を調整するためのスイッチ群である。
【0034】
さらに、電子黒板1は、バスライン110を備えている。バスライン110は、
図3に示されているCPU101等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0035】
なお、接触センサ114は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する二つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネル等の種々の検出手段を用いてもよい。また、電子ペンコントローラ116が、電子ペン190のペン先およびペン尻だけでなく、電子ペン190の利用者が握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
【0036】
(通信管理装置、中継装置、および画像保存装置のハードウエア構成)
図4は、一実施形態に係る通信管理装置、中継装置および画像保存装置のハードウエア構成の一例を示す図である。通信管理装置5の一例としてのコンピュータは、CPU501、ROM502、RAM503、HD(Hard Disk)504、HDD(Hard Disk Drive)コントローラ505、ディスプレイ506、外部機器接続I/F(Interface)508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD-RW(Digital Versatile Disk ReWritable)ドライブ514、メディアI/F516、およびバスライン510を備えている。
【0037】
これらのうち、CPU501は、通信管理装置5全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する不揮発性のメモリである。RAM503は、CPU501のワークエリアとして使用される揮発性のメモリである。HD504は、通信管理用プログラム等の各種データを記憶する大容量の記憶装置である。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出しまたは書き込みを制御する。
【0038】
ディスプレイ506は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。ネットワークI/F509は、インターネット等の通信ネットワーク200を利用してデータ通信をするためのインターフェースである。キーボード511は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。
【0039】
DVD-RWドライブ514は、DVD-RW513に対するデータの読み出しまたは書き込み(記憶)を制御する。なお、DVD-RW513は、DVD-R等であってもよい。また、DVD-RWドライブ514は、BD-RE(Blu-ray(登録商標) Disc Rewritable)またはCD-RW(Compact Disc-ReWritable)等のディスクに対するデータの読み出しまたは書き込み(記憶)を制御するブルーレイドライブまたはCD-RWドライブ等であってもよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出しまたは書き込み(記憶)を制御する。また、バスライン510は、
図4に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0040】
また、中継装置3は、一般的なコンピュータによって構築されており、
図6に示されているように、CPU301、ROM302、RAM303、HD304、HDDコントローラ305、ディスプレイ306、外部機器接続I/F308、ネットワークI/F309、キーボード311、ポインティングデバイス312、DVD-RWドライブ314、メディアI/F316およびバスライン310を備えている。これらは、それぞれ通信管理装置5におけるCPU501、ROM502、RAM503、HD504、HDDコントローラ505、ディスプレイ506、外部機器接続I/F508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD-RWドライブ514、メディアI/F516、およびバスライン510と同様の構成であるため、説明を省略する。ただし、中継装置3の場合は、HD304に中継用プログラムが記憶されている。
【0041】
さらに、画像保存装置7は、一般的なコンピュータによって構築されており、
図6に示されているように、CPU701、ROM702、RAM703、HD704、HDDコントローラ705、ディスプレイ706、外部機器接続I/F708、ネットワークI/F709、キーボード711、ポインティングデバイス712、DVD-RWドライブ714、メディアI/F716およびバスライン710を備えている。これらは、それぞれ通信管理装置5におけるCPU501、ROM502、RAM503、HD504、HDDコントローラ505、ディスプレイ506、外部機器接続I/F508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD-RWドライブ514、メディアI/F516、およびバスライン510と同様の構成であるため、説明を省略する。また、画像保存装置7の場合は、HD704に画像保存用プログラムが記憶されている。
【0042】
また、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD-R(Compact Disc Recordable)、DVD、ブルーレイディスク、SDカードまたはUSBメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、電子黒板1bは、本発明に係るプログラムが実行されることで本発明に係る画面共有方法を実現する。
【0043】
<通信システムのシステム構成>
続いて、
図5を用いて、本実施形態に係る通信システム100のシステム構成について説明する。
図5は、一実施形態に係る通信システムのシステム構成の一例を示す図である。ここでは、一例として、講師と受講者A~Cが、通信システム100を利用して遠隔講義を行うものとして以下の説明を行う。
【0044】
図5において、電子黒板(通信端末)1tは、講義を行う講師がいる拠点(以下、講師拠点と呼ぶ)に設置されているものとする。電子黒板(第1の端末)1aは拠点Aに設置され、受講者Aが電子黒板1aを利用して講義を受講するものとする。また、電子黒板(第2の端末)1bは拠点Bに設置され、受講者Bが電子黒板1bを利用して講義を受講するものとする。さらに、電子黒板(第3の端末)1cは拠点Cに設置され、受講者Cが電子黒板1cを利用して講義を受講するものとする。なお、電子黒板1a~1c、及び受講者A~Cの数は一例であり、他の数であっても良い。
【0045】
なお、電子黒板1a、1b、1c、中継装置3、通信管理装置5、および画像保存装置7は、例えば、インターネットやLAN(Local Area Network)等の通信ネットワーク200を介して、相互にデータの送受信できるように接続されている。また、通信ネットワーク200には、有線だけでなく、Wi-Fi(登録商標)等の無線による通信が行われる箇所があってもよい。
【0046】
また、通信管理装置5と画像保存装置7とは、前述したように、1つのサーバシステム6に含まれていても良い。
【0047】
<機能構成>
次に、本実施形態に係る通信システム100の機能構成について説明する。
図6は、一実施形態に係る通信システムの機能構成の一例を示す図である。なお、
図5において、電子黒板1a~1cは、電子黒板1tと同じ機能構成を有しているものとする。また、以下の説明において、電子黒板1t、及び電子黒板1a~1cのうち、任意の電子黒板を示す場合、「電子黒板1」を用いる。
【0048】
<電子黒板の機能構成>
電子黒板1は、例えば、
図3のCPU101で所定のプログラムを実行することにより、通信部11、受付部12、画像・音処理部13、表示制御部14、判断部15、画像処理部16、ページ情報管理部17、情報送信部18、受信部19、共有状態切替部20、近距離通信部21、及び記憶・読出処理部22等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウエアによって実現されるものであっても良い。
【0049】
また、電子黒板1は、例えば、
図3のRAM103、SSD104等によって実現される記憶部1000を有している。
【0050】
通信部11は、例えば、
図3のネットワークI/F105を用いて、電子黒板1を通信ネットワーク200に接続し、他の端末、装置またはシステムと各種データ(または情報)の送受信を行う通信処理を実行する。通信部11は、例えば、開始部としての役割も果たし、他の電子黒板1と通信を開始する処理を行う。
【0051】
受付部12は、例えば、
図3の接触センサ114、電子ペンコントローラ116等を用いて、利用者から電子ペン190、手H等による各種の入力操作を受け付ける受付処理を実行する。
【0052】
画像・音処理部13は、ビデオ会議機能に関する主な処理を実行する。画像・音処理部13は、例えば、マイク140の出力信号およびカメラ160の出力信号に共づき、拠点画像データおよび音データのエンコード等のデジタル処理を行う。また、画像・音処理部13は、例えば、通信部11で受信された拠点画像データおよび音データに基づき、画像信号を生成したり音信号を生成したりする。さらに、画像・音処理部13は、例えば、解像度の異なる拠点画像データを組み合わせる処理を行う。
【0053】
表示制御部14は、例えば、
図3のディスプレイコントローラ113等を用いて、ディスプレイ180等の表示部に画像データ等を出力し、表示させる表示制御処理を実行する。表示制御部14は、例えば、画像処理部16によって生成された表示画面データに基づいて、表示対象となるページを、ディスプレイ180等の表示部に表示させる。
【0054】
また、電子黒板1tの表示制御部14は、電子黒板1tのページ情報管理部17が管理する複数のページを、ディスプレイ180等の表示部に選択可能に表示し、選択されたページを他の電子黒板1a~1cに表示させる処理を実行する。判断部15は、各種の判断を行う判断処理を実行する。
【0055】
画像処理部16は、電子黒板機能に関する主な処理を実行する。画像処理部16は、例えば、受付部12によって受け付けられた電子ペン190、手H等による描画操作に基づいてストロークデータおよびストローク画像を生成する。また、画像処理部16は、例えば、通信部11によって受信されたストロークデータに基づいてストローク画像を生成する。さらに、画像処理部16は、例えば、生成したストローク画像を含む描画画面データを生成する。
【0056】
ページ情報管理部17は、電子黒板1のディスプレイ180等の表示部に表示可能な複数のページの情報を、例えば、
図7に示すようなページ情報1001に記憶して管理するページ情報管理処理を実行する。
【0057】
図7の例では、ページ情報1001は、「セッション」、「ページ(ページ1~3)」、「ストローク(ストローク1~5)」の階層構造を有している。「ストローク」は、本実施形態に係るストロークデータに対応しており、「ページ」毎に管理されている。「ページ」は、ディスプレイ180に表示された1ページの画面(表示画面)に係る画像データが記憶された状態を示す。さらに、「セッション」は、電子黒板1によって実行されている通信(例えば、遠隔講義を行うための通信)の情報を示す。
【0058】
例えば、ストローク1には、ストローク1を識別するストロークID(id=aaaaa)、ストローク1が存在するページ1を特定するための情報(parent=pag01)、描画データ1のgid(global id)「g001」、および描画データ1等が含まれている。例えば、ストローク1が表すストローク画像に対して、移動等の操作が行われると、ストロークID(id=aaaaa)は、そのまま引き継がれるが、描画データ1と描画データ1を識別するgid「g001」は、更新される。描画データ1は、ストローク1を再現するための描画データである。描画データ1には、例えば、座標データ、線の幅データ、線の色データ、およびベクトルデータ等が含まれている。なお、描画データは、ページ情報1001とは別の記憶領域に、gidと対応付けて記憶しておくものであってもよい。
【0059】
電子黒板1は、ページの切り替えが可能であり、「ページ」は、電子黒板1の各ページに対応している。例えば、ページ1には、ページ1を識別するページID(id=pag01)、電子黒板1で実行されている「セッション」を特定するための情報(parent=se01)、ページ(ページデータ)を識別するgid「g01」、および画像データ1等が含まれている。画像データ1は、ページ1を構成する背景画像の画像データである。すなわち、画像データ1は、ページ1に表示されている背景画像を示す。なお、ページには、画像データが含まれていなくてもよい。この場合、画像データが含まれているページは、背景画像を有していない(空白の背景である)ことを意味する。
【0060】
「セッション」は、電子黒板1で実行されている通信(ここでは遠隔講義)に対応しており、ページ情報1001を識別する識別情報(gid=g2)、セッションを識別するセッションID(id=se01)、セッションで生成されたページを示す情報(pages)、および電子黒板1に現在表示されている表示画面を構成するページを示す情報(current page)等を含む。例えば、電子黒板1の画像処理部16は、ストローク1~3に含まれている描画データ1~3を用いて、ページ1に描画されたストローク画像を生成することができる。なお、各階層に示されているgidは、他の電子黒板との間でデータの共有を行う際に、例えば、通信管理装置5によって採番される。また、
図7に示されているページ情報1001の階層構造は、同じセッションに参加している複数の電子黒板1の間で共有される。
【0061】
また、電子黒板1tのページ情報管理部17は、後述する回答モードにおいて、受付部12で受け付けた所定の操作に基づいて、電子黒板1tにされる画像データを複数の電子黒板(端末)1a~1cの分だけ複製し、異なる画像データとして記憶する。
【0062】
ここで、
図6に戻り、電子黒板1の機能構成の説明を続ける。
【0063】
情報送信部18は、例えば、電子黒板1が表示しているページに書き込まれたストローク画像を表すストロークデータや、講義に関する制御情報である講義情報等の様々な情報を、通信管理装置5を介して、他の電子黒板1に送信する情報送信処理を実行する。なお、別の一例として、情報送信部18は、操作情報、講義情報等の様々な情報を、通信管理装置5を介さずに、講義に参加する他の電子黒板1送信するものであってもよい。
【0064】
また、電子黒板1tの情報送信部18は、後述する回答モードにおいて、ページ情報管理部17に記憶された複数の異なる画像データを画像データ毎に、複数の電子黒板(端末)1a~1cにそれぞれ送信する処理を実行する。
【0065】
受信部19は、他の電子黒板1の情報送信部18から送信された、画像データ(ストロークデータ等)又は講義情報等の様々な情報を受信する受信処理を実行する。
【0066】
共有状態切替部20は、他の電子黒板1との間における表示画面の共有状態を切り替える共有状態切替処理を実行する。共有状態切替部20は、例えば、表示画面に対する特定の操作が受け付けられた場合、他の電子黒板1との間における画面共有が停止された非同期状態に移行させる。
【0067】
近距離通信部21は、例えば、
図3の近距離通信回路119、アンテナ119a等を用いて、ICカードやスマートフォン等の近距離通信部を有する各端末との間で、近距離無線通信を行う。
【0068】
記憶・読出処理部22は、記憶部1000に各種データを記憶させ、または記憶部1000から各種データを読み出す処理を実行する。記憶部1000には、他の電子黒板1との通信を行う際に受信される拠点画像データおよび音データが、受信される度に上書き記憶される。このうち、上書きされる前の拠点画像データによってディスプレイ180に画像が表示され、上書きされる前の音データによってスピーカ150から音声が出力される。さらに、記憶部1000には、ディスプレイ180に描画されたストローク画像に係るストロークデータ、およびディスプレイ180に表示された背景画像に係る背景画像データが記憶される。
【0069】
また、本実施形態では、記憶部1000には、前述したページ情報1001、及び
図8に示すような操作情報1002等が記憶される。
【0070】
図8は、一実施形態に係る操作情報の一例を示す概略図である。
図8に示されている操作情報1002には、電子黒板1に表示される表示画面に対して実行された操作の情報が記憶されている。
図8に示されている操作情報1002には、ストロークデータを識別するためのストロークID(Id)、ストロークデータが描画されたページを識別するためのページID(DistId)、表示画面に対して実行された操作の種類を示す操作種別情報(Operation Type)、操作対象となるデータの種別を示すデータ種別情報(Data Type)、操作対象となるデータの内容を示すデータ詳細情報(Data)が含まれている。
【0071】
このうち、操作種別情報(Operation Type)には、表示画面に含まれているストロークやページに対して、利用者によって実行された操作の種類が示されている。例えば、操作対象がストロークである場合において、操作種別情報は、ストロークが描画されたときには「Add(追加)」、ストロークが削除されたときには「Remove(削除)」、ストロークが移動されたときには「Update」が示される。また、データ種別情報(Data Type)には、操作対象がストロークである場合には「Stroke」、ページである場合には「Page」が示される。さらに、操作対象がストロークである場合において、データ詳細情報(Data)は、ストロークデータに対応し、座標データ、線の幅データ、線の色データ等の情報が含まれる。データ詳細情報は、後述する共有データ管理テーブル(
図14参照)に示されているbodyの情報に対応している。
【0072】
なお、操作対象となるデータは、ストロークまたはページ単位に限られず、複数のストロークの集合であるオブジェクト単位であってもよい。このオブジェクトには、ストロークが文字もしくは数値等の記号としてOCR(Optical Character Reader)処理されたテキスト、日付もしくは時刻等のシステム生成文字、三角形、星もしくは円形等の予め定められた図形、または矢印、線分もしくはベジェ曲線等の線等が含まれる。
【0073】
<中継装置の機能構成>
中継装置3は、転送部を兼ねた通信部31、判断部32および記憶・読出処理部33を有している。これら各部は、
図4に示されている各構成要素のいずれかが、HD304からRAM303上に展開された中継用プログラムに従ったCPU501からの命令によって動作することで実現される機能、または機能する手段である。また、中継装置3は、
図4に示されているRAM303、HD304または記録メディア315によって構築される記憶部3000を有している。
【0074】
通信部31は、
図4に示されているCPU301からの命令、およびネットワークI/F309によって実現され、通信ネットワーク200を介して、他の端末、装置またはシステムと各種データ(または情報)の送受信を行う機能である。また、通信部31は、転送部としての役割も果たし、所定の端末ら送信されて来た拠点画像データおよび音データを、他の端末に転送する。
【0075】
判断部32は、
図4に示されているCPU301からの命令によって実現され、データの遅延状態等の判断等の各種判断を行なう機能である。
【0076】
記憶・読出処理部33は、
図4に示されているCPU301からの命令によって実行され、記憶部3000に各種データを記憶させ、または記憶部3000に記憶された各種データを読み出す機能である。
【0077】
<通信管理装置の機能構成>
通信管理装置5は、例えば、
図4のCPU501で所定のプログラムを実行することにより、通信部51、認証部52、判断部53、端末管理部54、セッション管理部55、中継装置管理部56、共有データ管理部57、共有状態管理部58、及び記憶・読出処理部59等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウエアによって実現されるものであっても良い。
【0078】
また、通信管理装置5は、
図4に示されているRAM503、HD504または記録メディア515によって構築される記憶部5000を有している。
【0079】
通信部51は、例えば、
図4のネットワークI/F509等を用いて、通信管理装置5を通信ネットワーク200に接続して、他の端末または装置と各種データ(または情報)の送受信を行う通信処理を実行する。通信部51は、例えば、電子黒板1から送信されるストロークデータ、講義情報、操作情報等を受信し、受信した情報を、電子黒板1と同じセッションに参加している他の電子黒板1等に送信する。
【0080】
認証部52は、通信部51が電子黒板1からログイン要求を受信したときに、例えば、
図9に示すような認証管理テーブル900を参照してログイン要求の認証を行う。
【0081】
図9は、一実施形態に係る認証管理テーブルの一例を示す概念図である。記憶部5000には、例えば、
図9に示されているような認証管理テーブル900によって構成されている認証管理DB5001が構築されている。この認証管理テーブル900では、通信管理装置5によって管理される全ての電子黒板1の各端末IDに対して、各パスワードが関連づけられて管理される。例えば、
図9に示されている認証管理テーブル900において、電子黒板1aの端末IDである「01aa」に対応するパスワードが「aaaa」であることが示されている。なお、パスワードは認証情報の一例である。認証情報は、例えば、アクセストークン、電子証明書等のパスワード以外の認証情報であっても良い。
【0082】
認証部52は、例えば、電子黒板1から受信したログイン要求に含まれている端末ID及びパスワードの組合せが、
図9に示すような認証管理テーブル900に記憶されている場合、電子黒板1のログインを許可する。判断部53は、各種の判断を行う判断処理を実行する。
【0083】
端末管理部54は、通信システム100に含まれる複数の電子黒板1の状態を、例えば、
図10に示すような端末管理テーブル1010に記憶して管理する。
【0084】
図10は、一実施形態に係る端末管理テーブルの一例を示す概念図である。記憶部5000には、例えば、
図10に示されているような端末管理テーブル1010によって構成されている端末管理DB5002が構築されている。この端末管理テーブル1010では、各電子黒板1を識別する端末ID毎に、各電子黒板1を宛先とした場合の宛先名、各電子黒板1の稼動状態、後述のログイン要求情報が通信管理装置5で受信された受信日時、および各電子黒板1のIPアドレス等が関連づけられて管理される。例えば、
図10に示されている端末管理テーブル1010において、端末IDが「01aa」の電子黒板1aは、端末名が「日本 東京事業所 AA端末」で、稼動状態が「オンライン(通信可能)」で、通信管理装置5でログイン要求情報が受信された日時が「20xx年2月10日の13時40分」で、この電子黒板1aのIPアドレスが「1.2.1.3」であることが示されている。なお、端末ID、宛先名、および端末のIPアドレスは、各電子黒板1が、通信管理装置5によるサービスの提供を受けるために事前登録する際に記憶される。
【0085】
端末管理部54は、例えば、端末管理テーブル1010における稼動状態、受信日時、端末のIPアドレス等の情報を更新する。
【0086】
また、端末管理部54は、例えば、
図11に示すような宛先リスト管理テーブル1100を管理し、電子黒板1からの要求に応じて、宛先リスト管理テーブル1100で管理されている宛先端末の端末IDを含む宛先リスト情報を提供する。
【0087】
図11は、一実施形態に係る宛先リスト管理テーブルの一例を示す概念図である。記憶部5000には、例えば、
図11に示されているような宛先リスト管理テーブル1100によって構成されている宛先リスト管理DB5003が構築されている。この宛先リスト管理テーブル1100では、通信の開始を要求する電子黒板1(開始端末)の端末IDに対して、電子黒板1(宛先端末)の候補として登録されている宛先端末の端末IDが全て関連づけられて管理される。例えば、
図11に示されている宛先リスト管理テーブル1100において、端末IDが「01aa」である開始端末(電子黒板1a)から通信の開始を要求することができる宛先端末の候補は、端末IDが「01ba,01ca,01ta、・・・」の電子黒板1であることが示されている。この宛先端末の候補は、任意の開始端末から通信管理装置5に対する追加または削除の要請により、追加または削除されることで更新される。
【0088】
セッション管理部55は、通信システム100で開催されるセッションに関する情報を、例えば、
図12に示すようなセッション管理テーブル1200に記憶して管理する。
【0089】
図12は、一実施形態に係るセッション管理テーブルの一例を示す概念図である。記憶部5000には、例えば、
図12に示されているようなセッション管理テーブル1200によって構成されているセッション管理DB5004が構築されている。このセッション管理テーブル1200では、例えば、セッション(通信)を識別するためのセッションID毎に、使用する中継装置3の中継装置ID、開始端末の端末ID、宛先端末の端末ID、及び参加端末の端末ID等が関連付けて管理される。なお、本実施形態では、開始端末と宛先端末との間で開催されているセッションに、他の1つ以上の端末(電子黒板1)が参加することができる。このように、セッションに途中から参加する端末を、「参加端末」と呼ぶ場合がある。
【0090】
また、セッション管理テーブル1200には、例えば、宛先端末において拠点画像データが受信される際の受信の遅延時間(ms)、およびこの遅延時間が示されている遅延情報を通信管理装置5が受信した受信日時等の情報が関連づけられて管理される。例えば、
図12に示されているセッション管理テーブル1200において、セッションID「se01」のセッションは、中継装置ID「111a」の中継装置3を用いて、端末IDが「01aa」の開始端末と、端末IDが「01ta」の宛先端末との間で開催されていることが示されている。また、セッションID「se01」のセッションには、端末IDが「01ba」、「01ca」の参加端末が参加しており、「20xx年4月10日の13時41分」時点における拠点画像データの遅延時間が200(ms)であることが示されている。
【0091】
セッション管理部55は、例えば、電子黒板1から通信の開始を要求する開始要求情報に応じて、セッションを識別するためのセッションIDを生成する。また、セッション管理部55は、例えば、セッションIDに対応づけて、セッションに関する各種情報を、例えば、
図12に示すようなセッション管理テーブル1200に記憶して管理する。
【0092】
中継装置管理部56は、例えば、
図13に示すような中継装置管理テーブル1300に、通信システム100に含まれる複数の中継装置3の情報を記憶して管理し、複数の中継装置3の中からセッションの中継に用いる中継装置3を選択する。
【0093】
図13は、一実施形態に係る中継装置管理テーブルの一例を示す概念図である。記憶部5000には、例えば、
図13に示されているような中継装置管理テーブル1300によって構成されている中継装置管理DB5005が構築されている。この中継装置管理テーブル1300では、中継装置ID毎に、各中継装置3の稼動状態、稼動状態を示す状態情報を受信した受信日時、中継装置3のIPアドレス、および、中継装置3における最大データ伝送速度(Mbps)等の情報が関連づけられて管理される。例えば、
図13の中継装置管理テーブル1300において、中継装置IDが「111a」の中継装置3は、稼動状態が「オンライン」で、通信管理装置5が状態情報を受信した日時が「20xx年4月10日の13時30分」であることが示されている。また、中継装置管理テーブル1300において、この中継装置3のIPアドレスが「1.2.1.2」で、この中継装置3における最大データ伝送速度が100Mbpsであることが示されている。
【0094】
中継装置管理部56は、例えば、中継装置管理テーブル1300に記憶されている各中継装置3に関する各種情報を用いて、セッションの中継に用いる中継装置3を選択する。中継装置管理部56は、例えば、中継装置管理テーブル1300に記憶されている各中継装置3のIPアドレスと、開始端末のIPアドレスとから、開始端末の近くにある中継装置3を選択する。また、中継装置管理部56は、例えば、中継装置管理テーブル1300に記憶されている各中継装置3の最大データ伝送速度等に基づいて、中継装置3を選択しても良い。なお、本実施形態では、セッションの中継に用いる中継装置3の選択方法は任意の方法であって良い。また、通信システム100が有する中継装置3の数は、一つであってもよい。
【0095】
共有データ管理部57は、各電子黒板1の間で送受信される表示画面に関する各種データを、例えば、
図14に示すような共有データ管理テーブル1400に記憶して管理する。例えば、共有データ管理部57は、セッションに参加している電子黒板1から、セッションseiで送信される各種データを、セッションIDと関連づけて、共有データ管理テーブル1400に記憶する。
【0096】
図14は、一実施形態に係る共有データ管理テーブルの一例を示す概念図である。記憶部5000には、例えば、
図14に示されているような共有データ管理テーブル1400によって構成されている共有データ管理DB5006が構築されている。この共有データ管理テーブル1400には、セッションを識別するためのセッションID毎に、電子黒板1の間で共有して記憶される表示画面に関する各種データが記憶されて管理されている。共有データ管理テーブル1400には、各電子黒板1のページ情報管理部17が管理している、例えば、
図7に示すようなページ情報1001の「画像データ1~3」、「描画データ1~5」等に対応するデータが含まれる。
【0097】
共有データ管理テーブルに示されているデータには、各データを識別するためのID、各データの発生順序を示すシーケンス番号、データの内容を示す情報(body)、および上位層(親)となるデータを特定するための情報(parent)等が含まれている。
図14の例では、共有データ管理テーブル1400には、開催されているセッションを識別するためのセッションID、セッションで生成されたページを示す情報(children)および電子黒板1に現在表示されている表示画面を構成するページを示す情報(current page)が含まれている。また、例えば、ページデータの場合、共有データ管理テーブルには、ページ(ページデータ)を識別するためのページID、および該当するページを構成する背景画像データの記憶位置を示すURL(Uniform Resource Locator)が含まれている。
【0098】
さらに、共有データ管理テーブル1400には、生成されたストロークデータを識別するためのストロークID、ストロークデータの内容を示す情報、およびストロークが存在するページ(ページデータ)を特定するための情報(parent)が含まれている。この場合、ストロークデータの内容を示す情報(body)には、例えば、描画されたストロークの色、描画されたストロークの線の太さを示す幅、および描画されたストロークの頂点(x,y)の情報が含まれている。
【0099】
ここで、ストロークデータは、「ストローク描画」イベントによって描画されたストローク画像を表す描画データである。また、「ストローク描画」イベントは、利用者による描画情報の入力処理であり、例えば、利用者が電子ペン190をディスプレイ180に押し付け、この状態で電子ペン190を移動させ、ディスプレイ180から電子ペン190を離すまでのイベントである。また、ストロークの色は、RGBA(Red Green Blue Alpha)のデータ形式で、各要素が0-255の数値で表される。さらに、描画されたストロークの線の太さの幅は、ピクセル数で表される。また、描画されたストロークの頂点は、XY座標で表され、それぞれの頂点をベジェ曲線で結ぶとストロークを示す線分となる。この共有データ管理テーブル1400により、通信管理装置5は、特定の通信セッションを用いたビデオ会議等によって発生したストロークデータを含む表示画面に関する各種データを管理することができる。
【0100】
共有状態管理部58は、電子黒板1の画面共有状態を、例えば、
図15に示すような共有状態管理テーブル1500に記憶して管理する。共有状態管理部58は、例えば、電子黒板1から送信された、電子黒板1の画面共有状態を示す共有状態情報に応じて、共有状態管理テーブル1500に記憶されている「共有状態」を更新する。
【0101】
記憶・読出処理部59は、記憶部5000に各種データを記憶させ、または記憶部5000に記憶された各種データを読み出す処理を実行する。
【0102】
<画像保存装置の機能構成>
画像保存装置7は、通信部71、生成部73および記憶・読出処理部79を有している。これら各部は、
図4に示されている各構成要素のいずれかが、HD704からRAM703上に展開された画像保存用プログラムに従ったCPU701からの命令によって動作することで実現される機能、または機能する手段である。また、画像保存装置7は、
図4に示されているRAM703、HD704または記録メディア715によって構築される記憶部7000を有している。
【0103】
通信部71は、
図4に示されているCPU701からの命令、およびネットワークI/F709によって実現され、通信ネットワーク200を介して、他の端末または装置と各種データ(または情報)の送受信を行う機能である。生成部73は、
図4に示されているCPU701からの命令によって実現され、背景画像データの記憶位置を示すURLを生成する機能である。記憶・読出処理部79は、
図4に示されているCPU701からの命令によって実行され、記憶部7000に各種データを記憶させ、または記憶部7000に記憶された各種データを読み出す機能である。
【0104】
なお、
図6に示す通信システム100の機能構成は一例である。例えば、
図6において、通信管理装置5が備える機能構成のうち、少なくとも一部は、電子黒板1が有していても良い。また、電子黒板1が備える機能構成のうち、少なくとも一部は、通信管理装置5が有していても良い。さらに、画像保存装置7が備える各機能構成は、通信管理装置5が備えていても良いし、通信システム100の外部のクラウドサービス等によって実現されるものであっても良い。さらにまた、電子黒板1が備えるビデオ会議の機能は、外付けのビデオ会議装置等によって実現されるものであっても良い。
【0105】
また、電子黒板1a~1cは、電子黒板1tが備える機能構成のうち、少なくとも一部を有していなくても良い。
【0106】
<処理の流れ>
続いて、本実施形態に係る通信方法の処理の流れについて説明する。
【0107】
(準備段階の処理)
図16は、一実施形態に係る準備段階の処理の一例を示すシーケンス図である。この処理は、通信システム100において、電子黒板1の間でセッション(通信)を開始する前に実行される準備段階の処理の一例を示している。なお、電子黒板1b、1cが実行する準備段階の処理は、電子黒板1aの処理と同様であるため、説明を省略する。また、
図16に示す処理の開始時点において、電子黒板1tは、既に準備段階の処理を実行して、通信管理装置5にログイン済であるものとする。
【0108】
まず、電子黒板1aで電源スイッチ122がONされると、電子黒板1aの受付部12は、電源ONを受け付ける(ステップS11)。
【0109】
次に、電子黒板1aの通信部11は、通信ネットワーク200を介して、通信管理装置5へログイン認証の要求を示すログイン要求情報を送信する(ステップS12)。このログイン要求情報には、電子黒板1aの端末IDおよびパスワードが含まれている。これら端末IDおよびパスワードは、電子黒板1aの記憶・読出処理部22によって、電子黒板1aの記憶部1000から読み出されて、通信部11に送られたデータである。なお、これら端末IDおよびパスワードは、これに限るものではなく、利用者がキーボード等の入力手段によって入力した端末IDやパスワードが送信されてもよい。また、電子黒板1aに接続されたSIM(Subscriber Identity Module Card)カードやSDカード等の記録媒体から読み出された端末IDやパスワードが送信されてもよい。これにより、通信管理装置5の通信部51は、電子黒板1aから送信されたログイン要求情報を受信する。
【0110】
次に、通信管理装置5の認証部52は、通信部51を介して受信したログイン要求情報に含まれている端末IDおよびパスワードを検索キーとして、
図9に示すような認証管理テーブル900を検索する。また、認証部52は、ログイン要求情報に含まれている端末IDおよびパスワードの組み合わせが、認証管理テーブルで管理されている場合、電子黒板1aのログインを許可する(ステップS13)。ここで、電子黒板1aのログインが許可された場合、ステップS14以降の処理が実行される。
【0111】
電子黒板1aのログインが許可された場合、端末管理部54は、
図10に示すような端末管理テーブル1010において、電子黒板1aの端末ID「01aa」に対応する情報を更新する。例えば、端末管理部54は、端末ID「01aa」に対応する「稼動状態」の情報を「オンライン(通信可能)」に変更するとともに、「受信日時」の情報を、ログイン要求情報を受信した日時に更新する(ステップS14)。なお、端末のIPアドレスの情報は、事前に登録されているのではなく、上記ステップS12で電子黒板1aから送信されたIPアドレスを用いるようにしても良い。これにより、端末管理テーブルには、例えば、
図10に示されているように端末ID「01aa」に、稼動状態「オンライン(通信可能)」、受信日時「20xx.4.10.13:40」およびIPアドレス「1.2.1.3」が関連づけて管理されることになる。
【0112】
次に、セッション管理部55は、ステップS12によって受信された電子黒板1aの端末ID「01aa」を、「開始端末の端末ID」とする新しいレコードを、
図12に示すようなセッション管理テーブル1200に追加して管理する(ステップS15)。そして、通信部51は、ステップ13の処理によって得られた認証結果が示された認証結果情報を、通信ネットワーク200を介して、上記ログイン要求してきた電子黒板1aへ送信する(ステップS16)。
【0113】
電子黒板1aの通信部11は、ログインが許可されたことを示す認証結果情報を受信すると、通信ネットワーク200を介して通信管理装置5へ、宛先リストを要求する旨が示された宛先リスト要求情報を送信する(ステップS17)。これにより、通信管理装置5の通信部51は、宛先リスト要求情報を受信する。
【0114】
次に、端末管理部54は、電子黒板1aの端末ID「01aa」を検索キーとして、
図11に示すような宛先リスト管理テーブル1100を検索し、電子黒板1aと通信することができる宛先候補の端末IDを読み出す。また、端末管理部54は、
図10に示すような端末管理テーブル1010から、宛先候補の端末IDに対応する宛先名を読み出す(ステップS18)。ここでは、電子黒板1aの端末ID「01aa」に対応する宛先候補のそれぞれの端末IDと、これらに対応する宛先名が抽出される。
【0115】
次に、通信部51は、記憶・読出処理部59を介して、例えば、記憶部5000から宛先リスト枠のデータおよび稼動状態を示すアイコンのデータ等を読み出す(ステップS19)。また、通信部51は、読み出した宛先リスト枠およびアイコン、並びにステップS18で抽出した端末IDおよび宛先名を含めた「宛先リスト情報(宛先リスト枠、アイコン、端末ID、宛先名)」を、電子黒板1aへ送信する(ステップS20)。これにより、電子黒板1aは、通信部11が宛先リスト情報を受信し、記憶・読出処理部22が記憶部1000に、受信した宛先リスト情報を記憶する(ステップS21)。
【0116】
このように、本実施形態では、各端末で宛先リスト情報を管理するのではなく、通信管理装置5が全ての端末の宛先リスト情報を一元管理している。よって、通信システムに新たな電子黒板1が含まれるようになったり、既に含まれている端末に替えて新機種の端末を含めるようになったり、宛先リスト枠の見栄え等を変更することになった場合でも、本実施形態に係る通信システムは、通信管理装置5側で一括して対応するため、各端末側で宛先リスト情報の変更を行う手間を省くことができる。
【0117】
また、端末管理部54は、ステップ18で抽出した宛先候補の端末IDを検索キーとして、
図10に示すような端末管理テーブル1010を検索し、宛先候補の端末ID毎に、対応する稼動状態を読み出す。これにより、端末管理部54は、宛先候補の端末IDに対応する各電子黒板1の各稼動状態を取得する(ステップS22)。
【0118】
次に、通信部51は、ステップS22で検索キーとして使用された端末IDと、対応する各宛先端末の稼動状態とが含まれた「端末の状態情報」を、通信ネットワーク200を介して、電子黒板1aに送信する(ステップS23)。
【0119】
次に、電子黒板1aの記憶・読出処理部22は、順次、通信管理装置5から受信した端末の状態情報を電子黒板1aの記憶部1000に記憶する(ステップS24)。よって、電子黒板1aは、上記各電子黒板の状態情報を受信することで、電子黒板1aと通信することができる宛先候補である電子黒板1t等の現時点のそれぞれの稼動状態を取得することができる。
【0120】
次に、電子黒板1aの表示制御部14は、電子黒板1aの記憶部1000に記憶されている宛先リスト情報、および端末の状態情報に基づいて、宛先候補としての端末の状態を反映させた宛先リストを作成する。また、電子黒板1aの表示制御部14は、作成した宛先リストを用いて、電子黒板1aのディスプレイ180に対して、例えば、
図17に示されているような宛先リスト画面1700を表示させる(ステップS25)。この宛先リスト画面1700には、宛先候補毎に、稼動状態を示すアイコン、端末ID、および宛先名が表示されている。
図17の例では、各端末の稼動状態を示したアイコンが、上から「オフライン」、「オンライン(通信可能)」、「オンライン(通信可能)」として表示されている。
【0121】
一方、通信管理装置5の端末管理部54は、電子黒板1aの端末ID「01aa」に基づいて宛先リスト管理テーブル1100を検索することにより、電子黒板1aを宛先候補として登録している他の端末の端末IDを抽出する(ステップS26)。
図10(A)に示されている宛先リスト管理テーブルでは、読み出される他の端末の端末IDは、「01ba」、「01ca」、「01ta」等である。
【0122】
次に、端末管理部54は、電子黒板1aの端末ID「01aa」に基づいて端末管理テーブル1010を検索し、電子黒板1aの稼動状態を取得する(ステップS27)。
【0123】
そして、通信部51は、ステップS26で抽出された端末IDに係る端末のうち、端末管理テーブル1010で稼動状態が「オンライン」となっている端末に、ステップS27で取得された電子黒板1aの端末ID「01aa」と稼動状態「オンライン」が含まれる「端末の状態情報」を送信する(ステップS28)。なお、通信部51が電子黒板1tに端末の状態情報を送信する際に、各端末IDに基づいて、端末管理テーブル1010で管理されている電子黒板のIPアドレスを参照する。これにより、電子黒板1aを宛先候補として通信することができる他の宛先端末のそれぞれに、電子黒板1aの端末ID「01aa」、および稼動状態「オンライン」を伝えることができる。よって、宛先候補(電子黒板1t等)においても、宛先候補の状態を表示させることができる(ステップS29)。
【0124】
(セッションの開始処理)
図14は、一実施形態に係るセッションの開始処理の一例を示すシーケンス図である。この処理は、例えば、電子黒板(第1の端末)1aが電子黒板(通信端末)1tに対して、セッション(通信)の開始を要求したときに通信システム100で実行されるセッションの開始処理の例を示している。
【0125】
ステップS1801において、電子黒板1aの受付部12が、受講者Aによる宛先選択を受け付けると、ステップS1802以降の処理が実行される。ここでは、受講者Aにより、宛先端末として電子黒板1tが選択されたものとして、以下の説明を行う。
【0126】
ステップS1802において、電子黒板1aの通信部11は、セッションの開始を要求する開始要求情報を通信管理装置5に送信する。この開始要求情報には、例えば、電子黒板1aの端末ID「01aa」(開始端末ID)、電子黒板1tの端末ID「01ta」(宛先端末ID)、及び電子黒板1aのIPアドレス等が含まれる。これにより、通信管理装置5の通信部51は、開始要求情報を受信するとともに、送信元である電子黒板1aのIPアドレスを取得する。
【0127】
ステップS1803において、通信管理装置5の端末管理部54は、開始要求情報に含まれる開始端末の端末IDと宛先端末の端末IDとに基づいて、端末管理DB5002を更新する。例えば、端末管理部54は、開始要求情報に含まれる電子黒板1aの端末ID「01aa」と、電子黒板1tの端末ID「01ta」に基づき、端末管理テーブル1010において、端末ID「01aa」、「01ta」に対応する「稼動状態」を「オンライン(通信中)」に更新する。なお、この状態では、電子黒板1a、及び電子黒板1tは、セッション(通信)を開始していないが、通信中状態として管理する。
【0128】
ステップS1804において、通信管理装置5のセッション管理部55は、電子黒板1aと電子黒板1tとの間で開催されるセッション(講義)を識別するためのセッションIDを生成する。ここでは、セッション管理部55が、セッションID「se01」を生成するものとする。
【0129】
ステップS1805において、セッション管理部55は、
図12に示すようなセッション管理テーブル1200に、生成したセッションID、開始端末の端末ID「01aa」、宛先端末の端末ID「01ta」等を、対応付けて記憶する。
【0130】
ステップS1806において、通信管理装置5の中継装置管理部56は、電子黒板1aと電子黒板1tとの間のセッション(通信)を中継する中継装置3を選択する。例えば、中継装置管理部56は、中継装置管理テーブル1300において稼動状態が「オンライン」の中継装置3のうち、端末管理テーブル1010において電子黒板1aのIPアドレスに近いIPアドレスの中継装置3を選択する。ここでは、装置ID「111a」の中継装置3が選択されるものとする。
【0131】
ステップS1807a、S1807bにおいて、通信管理装置5のセッション管理部55は、通信部51を介して、電子黒板1a、及び電子黒板1tに、中継装置選択情報を送信する。この中継装置選択情報には、例えば、ステップS1806で選択された中継装置3のIPアドレス、ステップS1804で生成されたセッションID、及び通信管理装置5のIPアドレス(管理装置IPアドレス)等が含まれる。
【0132】
ステップS1808a、S1808bにおいて、電子黒板1a、及び電子黒板1tの通信部11は、中継装置選択情報の受信に応じて、中継装置選択情報を受信したことを示す受信完了情報を、通信管理装置5に送信する。この受信完了情報には、例えば、中継装置選択情報に含まれていたセッションID「se01」等が含まれる。
【0133】
ステップS1809a、S1809bにおいて、電子黒板1a、及び電子黒板1tの通信部11は、中継装置選択情報に含まれている、中継装置3のIPアドレス、及びセッションIDを用いて、中継装置3とセッションを確立する。これにより、電子黒板1a、電子黒板1tは、同じセッションID「se01」のセッションに参加し、拠点画像データ、音データ等を、中継装置3を介して相互に送受信することができるようになる。
【0134】
(セッションへの参加処理)
図19は、一実施形態に係るセッションへの参加処理の一例を示すシーケンス図である。この処理は、例えば、
図18のセッションの開始処理で、電子黒板1tと電子黒板1との間で通信中のセッションに、電子黒板1b、1cが参加する参加処理の一例を示している。
【0135】
ステップS1901において、電子黒板1tと、電子黒板1aは、中継装置3を介して、同じセッションに参加し、拠点画像データ、音データ等を送受信可能な通信中状態であるものとする。
【0136】
ステップS1902において、電子黒板1bの受付部12が、受講者Bによるセッションへの参加操作を受け付けると、ステップS1903~S1910の処理が実行される。
【0137】
ステップS1903において、電子黒板1bの通信部11は、セッションへの参加を要求する参加要求情報を通信管理装置5に送信する。この開始要求情報には、例えば、電子黒板1bの端末ID「01aa」(参加端末ID)、講師が利用する電子黒板1tの端末ID「01ta」(宛先端末ID)等が含まれる。
【0138】
ステップS1904において、通信管理装置5の端末管理部54は、参加要求情報に含まれる参加端末の端末IDに基づいて、端末管理DB5002を更新する。例えば、端末管理部54は、参加要求情報に含まれる電子黒板1bの端末ID「01ba」に基づき、端末管理テーブル1010において、端末ID「01ba」に対応する「稼動状態」を「オンライン(通信中)」に更新する。
【0139】
ステップS1905において、通信管理装置5のセッション管理部55は、セッション管理DB5004を更新する。例えば、セッション管理部55は、
図12に示すようなセッション管理テーブル1200において、宛先端末の端末ID「01ta」と対応付けて、参加端末のID「01ba」を記憶する。
【0140】
ステップS1906において、通信管理装置5のセッション管理部55は、通信部51を介して、電子黒板1bに、中継装置選択情報を送信する。この中継装置選択情報には、例えば、宛先端末である電子黒板1tが参加しているセッションを中継している中継装置3のIPアドレス、及び電子黒板1tが参加しているセッションのセッションID等が含まれる。
【0141】
ステップS1907において、電子黒板1bの通信部11は、中継装置選択情報の受信に応じて、中継装置選択情報を受信したことを示す受信完了情報を、通信管理装置5に送信する。
【0142】
ステップS1908において、電子黒板1bの通信部11は、中継装置選択情報に含まれている、中継装置3のIPアドレス、及びセッションIDを用いて、中継装置3とセッションを確立する。これにより、ステップS1909において、電子黒板1bは、電子黒板1t、及び電子黒板1aと同じセッションに参加し、拠点画像データ、音データ等を、中継装置3を介して相互に送受信することができるようになる。
【0143】
ステップS1910~S1907において、電子黒板1cは、電子黒板1bと同様の処理を実行し、中継装置3とセッションを確立する。これにより、電子黒板1cは、電子黒板1t、電子黒板1a、及び電子黒板1bと同じセッションに参加し、拠点画像データ、音データ等を、中継装置3を介して相互に送受信することができるようになる。
【0144】
つづいて、講義(遠隔講義)中の各処理について説明する。
【0145】
[第1の実施形態]
(講義モード中の画面共有処理)
図20は、第1の実施形態に係る講義モード中の処理の例を示すシーケンス図である。本実施形態では、講師が電子黒板1tの表示部に表示しているページを、受講者の電子黒板1a~1cの表示部に表示しつつ、拠点画像データ、及び音データを送受信して、講師が講義を行う状態を、「講義モード」と呼ぶものとする。ただし、この状態を表す名称は、「講義モード」に限られず、例えば、「説明モード」、「聴講モード」、「解説状態」等、任意の名称であって良い。
【0146】
また、
図20に示す処理の開始時点において、
図18、19の処理により、電子黒板1t、及び電子黒板1a~1cは、同じセッションに参加しているものとする。
【0147】
ステップS2001において、電子黒板1tの受付部12が、講師によるストローク画像の入力操作を受け付けると、ステップS2002以降の処理が実行される。
【0148】
ステップS2002において、電子黒板1tの画像処理部16は、入力されたストローク画像を表すストロークデータ(例えば、座標データ、線の幅データ、線の色データ、ベクトルデータ等)を作成する。また、ステップS2003において、電子黒板1tの表示制御部(第1の表示制御部)14は、電子黒板1tのディスプレイ180等の表示部に、入力されたストローク画像を表示させる。
【0149】
ステップS2004において、電子黒板1tの情報送信部18は、ステップS2002で作成したストロークデータを、通信管理装置5へ送信する。
【0150】
ステップS2005において、通信管理装置5の共有データ管理部57は、電子黒板1tから受信したストロークデータを、例えば、
図14に示すような共有データ管理テーブル1400に、セッションID「se01」と対応付けて記憶する。例えば、共有データ管理部57は、
図14に示されるように、通信部51が受信したストロークデータを、発生順(シーケンス順)に、セッションIDに対応づけて記憶する。また、共有データ管理部57は、ステップS2004で受信したストロークデータに対応するgidを採番する。
【0151】
ステップS2006において、通信管理装置5の共有データ管理部57は、ステップS2005で共有データ管理テーブル1400に記憶したストロークデータ、及び採番したgidを、通信部51を介して、電子黒板1tに送信する。これにより、電子黒板1tは、送信したストロークデータが受け付けられたことを把握することができるとともに、採番されたgidを知ることができる。
【0152】
ステップS2007a~S2007cにおいて、通信管理装置5の共有データ管理部57は、共有データ管理テーブル1400に記憶したストロークデータ、及び採番したgidを、通信部51を介して、電子黒板1a~1cへ送信する。これにより、電子黒板1a~1cの受信部19は、通信管理装置5から送信された、ストロークデータ、及びgidを受信する。
【0153】
ステップS2008a~S2008cにおいて、電子黒板1a~1cのページ情報管理部17は、通信管理装置5から受信したストロークデータ、及びgidを、例えば、
図7に示すようなページ情報1001に記憶する。
【0154】
ステップS2009a~S2009cにおいて、電子黒板1a~1cの表示制御部(第2の表示制御部)14は、通信管理装置5から受信したストロークデータによって表されるストローク画像を、ディスプレイ180等の表示部に表示させる。
【0155】
上記の処理を、繰り返し実行することにより、講師が利用する電子黒板1tの表示部には、例えば、
図21(A)に示すように、講師によって描画されたストローク画像(例えば、数式、文字列、図形等)を表示する表示画面2101が表示される。同様に、受講者A~Cが利用する電子黒板1a~1cの表示部にも、講師によって描画されたストローク画像を表示する表示画面2101が表示される。
【0156】
(回答モード中の画面共有処理)
図22、24は、第1の実施形態に係る回答モード中の画面共有処理の例を示すシーケンス図である。ここでは、講師が電子黒板1tの表示部に表示しているページ(例えば、ページ1)のコピーを、受講者の電子黒板1a~1cの表示部に表示させ、受講者に回答を入力させる状態を「回答モード」と呼ぶものとする。ただし、この状態を表す名称は、「回答モード」に限られず、例えば、「試験モード」、「テスト状態」、「記入受付時」等、任意の名称であって良い。
【0157】
ステップS2201において、電子黒板1tの受付部12が、講師による回答モードの開始操作を受け付けると、ステップS2202以降の処理が実行される。なお、回答モードの開始操作は、複数の端末(電子黒板1a~1c)と通信端末(電子黒板1t)との画像データの共有状態から非共有状態への切替操作の一例である。
【0158】
ステップS2202において、電子黒板1tの共有状態切替部20は、通信部11を介して、通信管理装置5に、電子黒板1t、電子黒板1a~1cの共有状態を「非同期」に設定する非同期設定情報を送信する。
【0159】
ステップS2203において、通信管理装置5の共有状態管理部58は、電子黒板1tから非同期設定情報を受け付けると、例えば、
図15に示すような共有状態管理テーブル1500を更新して、電子黒板1t、電子黒板1a~1cの共有状態を「非同期」に設定する。
【0160】
ステップS2204において、通信管理装置5の通信部51は、電子黒板1tから受信した非同期設定情報を、電子黒板1tに送信する。これにより、ステップS2205において、電子黒板1tの共有状態切替部20は、電子黒板1tの共有状態を「非同期」に切り替える。なお、ステップS2204の処理は必須ではなく、電子黒板1tは、ステップS2202の後に、ステップS2205の処理を実行しても良い。
【0161】
ステップS2206a~2206cにおいて、通信管理装置5の通信部51は、電子黒板1tから受信した非同期設定情報を、電子黒板1a~1cに送信する。これにより、ステップS2207a~S2207cにおいて、電子黒板1a~1cの共有状態切替部20は、電子黒板1a~1cの共有状態を「非同期」に切り替える。
【0162】
本実施形態では、共有状態の「非同期」は、電子黒板1に対するページの切り替え操作が、通信中の他の電子黒板1に反映されない状態を表す。例えば、電子黒板1tの共有状態が「非同期」に設定されると、電子黒板1tに対するページ切り替え操作を行っても、電子黒板1tは、ページ切り替えに関する操作情報を、通信管理装置5へ送信しない。ただし、この状態でも、ストロークデータの共有等は行われる。
【0163】
一方、電子黒板1tの共有状態が「同期」に設定されると、電子黒板1tに対するページ切り替え操作を行うと、電子黒板1tは、ページ切り替えに関する操作情報を、通信管理装置5へ送信する。
【0164】
ステップS2211において、電子黒板1tのページ情報管理部17は、電子黒板1tの表示部に表示しているページ1をコピーして、電子黒板1a~1cに表示させるページ2~4を作成する。例えば、電子黒板1tのページ情報管理部17は、電子黒板1tの表示画面2101に表示させているページ1をコピーして、
図21(B)に示すような表示画面2102を作成し、ページ2(第2のページ)として、ページ情報1001に記憶して管理する。また、電子黒板1tのページ情報管理部17は、電子黒板1tの表示画面2101に表示させているページ1をコピーして、
図21(C)に示すような表示画面2103を作成し、ページ3(第3のページ)として、ページ情報1001に記憶して管理する。同様に、電子黒板1tのページ情報管理部17は、電子黒板1tの表示画面2101に表示させているページ1をコピーして、
図21(D)に示すような表示画面2104を作成し、ページ4として、
図7に示すようなページ情報1001に記憶して管理する。
【0165】
このように、電子黒板1tのページ情報管理部17は、受付部12で受け付けた前記所定の操作に基づいて、電子黒板1tに表示される画像データを複数の電子黒板1a~1cの分だけ複製(複数の端末分複製)し、異なる画像データとして記憶する。
【0166】
ステップS2212において、電子黒板1tのページ情報管理部17は、例えば、
図23(A)に示すような講義情報2301を作成する。
図23(A)に示す講義情報2301において、「gid」は、講義を識別する識別情報であり、「id」は、セッションを識別する識別情報である。「pages」は、講義で作成されたページを示す情報であり、
図20(A)の例では、ページ1~4が作成されていることを示している。「current_Page」は、電子黒板1tが、現在表示しているページ(例えばページ1)を示している。
【0167】
「force_current」は、電子黒板1a~1cに表示させるページを示している。
図2(A)の例では、電子黒板1a(端末A)にページ2、電子黒板1b(端末B)にページ3、電子黒板1c(端末C)にページ4を表示させることを示している。
【0168】
ステップS2213において、電子黒板1tの表示制御部14は、情報送信部18を用いて、ページ情報管理部17が作成した講義情報2301と、ページ2~4の情報とを、通信管理装置5へ送信する。
【0169】
ステップS2214a~S2214cにおいて、通信管理装置5の通信部51は、電子黒板1tから受信した講義情報、及びページ2~4の情報を、電子黒板1a~1cに送信(転送)する。
【0170】
ステップS2215において、電子黒板1aの表示制御部14は、通信管理装置5から受信した講義情報と、ページ2の情報に基づいて、電子黒板1aのディスプレイ180等の表示部にページ2を表示させる。このとき、電子黒板1aは、受講者A等によるページの切り替えを禁止する。
【0171】
ステップS2216において、電子黒板1bの表示制御部14は、通信管理装置5から受信した講義情報と、ページ3の情報に基づいて、電子黒板1bのディスプレイ180等の表示部にページ3を表示させる。このとき、電子黒板1bは、受講者B等によるページの切り替えを禁止する。
【0172】
ステップS2217において、電子黒板1bの表示制御部14は、通信管理装置5から受信した講義情報と、ページ4の情報に基づいて、電子黒板1bのディスプレイ180等の表示部にページ4を表示させる。このとき、電子黒板1cは、受講者C等によるページの切り替えを禁止する。
【0173】
上記の処理により、電子黒板1tの表示制御部14は、回答モードの開始操作(所定の操作)に応じて、表示部に表示しているページ1(第1のページ)のコピーを、複数の端末(電子黒板1a~1c)の表示部に表示させることができる。
【0174】
この状態で、例えば、受講者Aにより、電子黒板1aにストローク画像が入力されると,
図24に示す処理が実行される。
【0175】
ステップS2401において、電子黒板1aの受付部12が、受講者Aによるストローク画像の入力を受け付けると、ステップS2402以降の処理が実行される。
【0176】
ステップS2402において、電子黒板1aの画像処理部16は、入力されたストローク画像を表すストロークデータ(例えば、座標データ、線の幅データ、線の色データ、ベクトルデータ等)を作成する。また、ステップS2403において、電子黒板1aの表示制御部14は、電子黒板1aのディスプレイ180等の表示部に、入力されたストローク画像を表示させる。
【0177】
ステップS2404において、電子黒板1aの情報送信部18は、ステップS2402で作成したストロークデータを、通信管理装置5へ送信する。
【0178】
ステップS2005において、通信管理装置5の共有データ管理部57は、電子黒板1aから受信したストロークデータを、例えば、
図14に示すような共有データ管理テーブル1400に、セッションID「se01」と対応付けて記憶する。例えば、共有データ管理部57は、
図14に示されるように、通信部51が受信したストロークデータを、発生順(シーケンス順)に、セッションIDに対応づけて記憶する。また、共有データ管理部57は、ステップS2404で受信したストロークデータに対応するgidを採番する。
【0179】
ステップS2406において、通信管理装置5の共有データ管理部57は、ステップS2405で共有データ管理テーブル1400に記憶したストロークデータ、及び採番したgidを、通信部51を介して、電子黒板1tに送信する。
【0180】
ステップS2407において、電子黒板1tのページ情報管理部17は、通信管理装置5から受信したストロークデータ、gidを、例えば、
図7に示すようなページ情報1001に記憶する。
【0181】
ステップS2408a~S2408cにおいて、通信管理装置5の共有データ管理部57は、共有データ管理テーブル1400に記憶したストロークデータ、及び採番したgidを、通信部51を介して、電子黒板1a~1cへ送信する。
【0182】
ステップS2409a~S2409cにおいて、電子黒板1a~1cのページ情報管理部17は、通信管理装置5から受信したストロークデータ、gidを、例えば、
図7に示すようなページ情報1001に記憶する。
【0183】
上記の処理を、繰り返し実行することにより、受講者Aが利用する電子黒板1aの表示部には、例えば、
図25(A)に示すように、受講者Aによって追記されたストローク画像(例えば、回答等)を含む表示画面2510が表示される。
【0184】
また、受講者Bが利用する電子黒板1bは、
図24と同様の処理を、電子黒板1bで繰り返し実行することにより、電子黒板1bの表示部に、
図25(B)に示すように、受講者Bによって追記されたストローク画像を含む表示画面2520を表示させる。なお、表示画面2520には、回答モード中に、受講者Aによって追記されたストローク画像は含まれない。
【0185】
同様に、受講者Cが利用する電子黒板1cは、
図24と同様の処理を、電子黒板1cで繰り返し実行することにより、電子黒板1cの表示部に、
図25(C)に示すように、受講者Cによって追記されたストローク画像を含む表示画面2530を表示させる。なお、表示画面2530には、回答モード中に、受講者A、受講者Bによって追記されたストローク画像は含まれない。
【0186】
好ましくは、電子黒板1tの表示制御部14は、例えば、ステップS2411において、
図25(D)に示すような、表示する1つ以上のページの選択画面2411を、表示画面2540に表示させる。また、電子黒板1tの受付部12は、ページの選択画面2411に対する選択操作を受け付ける。
図25(D)の例では、ページの選択画面2411には、ページ1を選択する「1」ボタン、ページ2を選択する「2」ボタン2442、ページ3を選択する「3」ボタン、ページ4を選択する「4」ボタンが表示されている。
【0187】
ステップS2412において、電子黒板1tの表示制御部14は、ページの選択画面2411で選択された1つ以上のページを、電子黒板1tのディスプレイ180等の表示部に、ローカルで表示する。例えば、
図25(D)に示すような、ページの選択画面2441において、「2」ボタン2442が選択されると、表示画面2540には、例えば、
図25(A)に示すようなページ2と、ページの選択画面2441とが表示される。このとき、ローカルで表示される表示画面2540は、電子黒板1a~1cには表示されない。これにより、講師は、回答モード中に、受講者A~Cの回答状況の確認や、採点等を行うことができる。
【0188】
好適な一例として、電子黒板1tの表示制御部14は、例えば、
図25(E)に示すように、ページ1~4をサムネイル表示する表示画面2550を表示する機能を有していても良い。
【0189】
(回答モード終了後の画面共有処理)
図26は、第1の実施形態に係る回答モード終了後の画面共有処理の例を示すシーケンス図である。
【0190】
ステップS2601において、電子黒板1tの受付部12が、回答モードの終了操作を受け付けると、ステップS2602以降の処理が実行される。
【0191】
ステップS2602において、電子黒板1tの共有状態切替部20は、通信部11を介して、通信管理装置5に、電子黒板1t、電子黒板1a~1cの共有状態を「同期」に設定する同期設定情報を送信する。
【0192】
ステップS2603において、通信管理装置5の共有状態管理部58は、電子黒板1tから同期設定情報を受け付けると、例えば、
図15に示すような共有状態管理テーブル1500を更新して、電子黒板1t、電子黒板1a~1cの共有状態を「同期」に設定する。
【0193】
ステップS2604において、通信管理装置5の通信部51は、電子黒板1tから受信した同期設定情報を、電子黒板1tに送信する。これにより、ステップS1605において、電子黒板1tの共有状態切替部20は、電子黒板1tの共有状態を「非同期」に切り替える。なお、ステップS2604の処理は必須ではなく、電子黒板1tは、ステップS2602の後に、ステップS2605の処理を実行しても良い。
【0194】
ステップS2606a~2606cにおいて、通信管理装置5の通信部51は、電子黒板1tから受信した同期設定情報を、電子黒板1a~1cに送信する。これにより、ステップS2607a~S2607cにおいて、電子黒板1a~1cの共有状態切替部20は、電子黒板1a~1cの共有状態を「同期」に切り替える。
【0195】
ステップ2611において、電子黒板1tのページ情報管理部17は、例えば、
図23(B)に示すような講義情報2302を作成する。この講義情報2302は、
図23(A)に示す講義情報2301から、「force_current」の情報を削除した構成になっている。また、現在のページを示す「current_page」の情報が、回答モード開始時のページであるページ1に設定されている。
【0196】
ステップS2603において、電子黒板1tの表示制御部14は、情報送信部18を用いて、ページ情報管理部17が作成した講義情報2302を、通信管理装置5へ送信する。
【0197】
ステップS2604a~S2604cにおいて、通信管理装置5の通信部51は、電子黒板1tから受信した講義情報2303を、電子黒板1a~1cに送信(転送)する。
【0198】
ステップS2605a~S2605cにおいて、電子黒板1a~1cの表示制御部14は、通信管理装置5から受信した講義情報2302に基づいて、ディスプレイ180等の表示部にページ1を表示する。
【0199】
この状態から、例えば、
図27のステップS2701において、電子黒板1tの受付部12が、ページ2への切り替え操作(ページ2の選択操作)を受け付けると、ステップS2702以降の処理が実行される。
【0200】
ステップS2702において、電子黒板1tの表示制御部14は、電子黒板1tのディスプレイ180等の表示部に、ページ2を表示させる。
【0201】
ステップS2703において、電子黒板1tのページ情報管理部17は、例えば、
図23(C)に示すような講義情報2303を作成する。この講義情報2303は、
図23(B)に示す講義情報2302の「current_page」の情報が、ページ2に変更されている。
【0202】
ステップS2704において、電子黒板1tの表示制御部14は、情報送信部18を用いて、ページ情報管理部17が作成した講義情報2303を、通信管理装置5へ送信する。
【0203】
ステップS2705a~S2705cにおいて、通信管理装置5の通信部51は、電子黒板1tから受信した講義情報2303を、電子黒板1a~1cに送信(転送)する。
【0204】
ステップS2706a~S2706cにおいて、電子黒板1a~1cの表示制御部14は、通信管理装置5から受信した講義情報2302に基づいて、ディスプレイ180等の表示部にページ2を表示させる。
【0205】
上記の処理により、電子黒板1tは、回答モード中に、電子黒板1aと共有したページ2を、他の電子黒板1b、1cと共有することができる。
【0206】
なお、上記の説明では、回答モード中に、電子黒板1aにストローク画像が入力される場合の例について説明したが、受講者Aは、ストローク画像に代えて、文字、文字列等を表示画面2505に入力し、電子黒板1aは、入力された文字情報を他の電子黒板と共有しても良い。
【0207】
以上、本実施形態によれば、通信端末、及び通信端末と表示画面を共有する複数の端末を含む通信システム100において、通信端末が、複数の端末のうちの一の端末と共有する表示画面を、他の端末と共有できる。
【0208】
[第2の実施形態]
図27は、第2の実施形態に係る回答モード中の音声処理の例を示すシーケンス図である。この処理は、回答モード中における、通話(拠点画像の表示、音の出力等)を制御する処理の例を示している。なお、この処理は、例えば、
図22、24等で説明した、回答モード中の画面共有処理と並行して実行される。
【0209】
ステップS2801において、電子黒板1tの受付部12が、回答モードの開始操作を受け付けると、ステップS2802以降の処理が実行される。
【0210】
ステップS2802において、電子黒板1tの情報送信部18は、拠点画像の表示、及び音の出力の停止を要求する通話制御情報(All OFF)を、通信管理装置5に送信する。
【0211】
ステップS2803a~S2803cにおいて、通信管理装置5の通信部51は、電子黒板1tから受信した通話制御情報(All OFF)を、電子黒板1a~1cに送信(転送)する。
【0212】
ステップS2804a~S2804cにおいて、電子黒板1a~1cの画像・音処理部13は、拠点画像の表示、音の出力を停止する。
【0213】
ステップS2811において、例えば、電子黒板1tの受付部12が、電子黒板1aとの通話操作を受け付けると、ステップS2812以降の処理が実行される。
【0214】
ステップS2812において、電子黒板1tの情報送信部18は、電子黒板1aとの通話機能をオンに制御する通話制御情報(端末ID「01aa」ON)を、通信管理装置5に送信する。
【0215】
ステップS2813a~S2813cにおいて、通信管理装置5の通信部51は、電子黒板1tから受信した通話制御情報(端末ID「01aa」ON)を、電子黒板1a~1cに送信(転送)する。
【0216】
ステップS2814において、電子黒板1aの画像・音処理部13は、通話制御情報(端末ID「01aa」ON)を受け付けると、拠点画像の表示、音の出力を再開する。
【0217】
ステップS2715、S2716において、電子黒板1b、1cの画像・音処理部13は、拠点画像の表示、音の出力を停止した状態を維持する。
【0218】
上記の処理により、講師は、回答モード中に、指定した受講者(例えば、受講者A)と1対1で通話を行い、個別の指導や、注意等を行うことができるようになる。
【0219】
以上、本発明の各実施形態によれば、通信端末の表示画面を複数の端末と共有し、情報のやりとりを行えるようになる。
【0220】
<補足>
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【0221】
また、上記の各実施形態では、通信端末、及び複数の端末が電子黒板1であるものとして説明を行ったが、通信端末、又は複数の端末は、例えば、通信システム100に対応するアプリケーションを実行するPC、スマートフォン、タブレット端末等の通信機能を有する情報端末であっても良い。また、通信端末は、通信システム100に対応するプロジェクタ、テレビ会議装置、デジタルサイネージ、医療機器、カーナビゲーション装置等の通信機能と表示機能とを有する様々な電子機器であっても良い。
【0222】
なお、電子黒板1、及び通信管理装置5のプログラムは、例えば、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしても良い。また、電子黒板1、及び通信管理装置5のプログラムは、記録媒体だけではなく、例えば、サーバ(クラウドやオンプレミス)からダウンロードして、通信端末にインストール可能なもの等であっても良い。
【0223】
また、通信管理装置5は、
図4に示すようなコンピュータ400に限られず、例えば、携帯電話、スマートフォン、タブレット端末、ウェアラブル端末、PDA(Personal data assistant)、及び、画像形成装置等の電子機器で実現しても良い。
【符号の説明】
【0224】
1t 電子黒板(通信端末)
1a、1b、1c 電子黒板(端末)
5 通信管理装置
12 受付部
14 表示制御部
17 ページ情報管理部
18 情報送信部
19 受信部
51 通信部
100 通信システム
【先行技術文献】
【特許文献】
【0225】
【文献】特開2018-93361号公報
【文献】特開2012-215786号公報