(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-08
(45)【発行日】2024-04-16
(54)【発明の名称】通信端末、通信システム、通信方法およびプログラム
(51)【国際特許分類】
H04L 67/06 20220101AFI20240409BHJP
G06F 3/04817 20220101ALI20240409BHJP
G06F 3/04883 20220101ALI20240409BHJP
H04L 65/401 20220101ALI20240409BHJP
H04M 1/00 20060101ALI20240409BHJP
H04M 3/56 20060101ALI20240409BHJP
H04N 7/15 20060101ALI20240409BHJP
【FI】
H04L67/06
G06F3/04817
G06F3/04883
H04L65/401
H04M1/00 R
H04M3/56
H04N7/15
(21)【出願番号】P 2020035268
(22)【出願日】2020-03-02
【審査請求日】2023-01-16
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】城 英樹
(72)【発明者】
【氏名】中村 滋
(72)【発明者】
【氏名】河崎 佑一
(72)【発明者】
【氏名】日野原 寛
(72)【発明者】
【氏名】本間 毅史
【審査官】鈴木 香苗
(56)【参考文献】
【文献】特開2017-045180(JP,A)
【文献】特開2010-068057(JP,A)
【文献】特開2008-107911(JP,A)
【文献】特開2016-170614(JP,A)
【文献】特開2019-179368(JP,A)
【文献】米国特許出願公開第2018/0267753(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04L 67/06
G06F 3/04817
G06F 3/04883
H04L 65/401
H04M 1/00
H04M 3/56
H04N 7/15
(57)【特許請求の範囲】
【請求項1】
他の通信端末との間においてデータを共有する通信端末であって、
前記他の通信端末から送信された背景画像データの記憶位置を示す記憶位置情報
、および、前記背景画像データのアップロードが完了した旨を示す完了通知を、前記他の通信端末との間で共有されるデータを管理する通信管理装置から受信する受信手段と、
前記完了通知の受信に応じて、前記背景画像データのダウンロード要求を、前記記憶位置に対応する画像保存装置に対して送信する送信手段と、を備え、
前記受信手段は、前記ダウンロード要求に応じて前記画像保存装置からの前記背景画像データのダウンロードを開始するとともに、前記他の通信端末に描画されたストローク画像に係るストロークデータを前記通信管理装置から受信する通信端末。
【請求項2】
請求項1に記載の通信端末であって、更に、
受信された前記ストロークデータに係るストローク画像およびダウンロードされた前記背景画像データに係る背景画像を、表示部に表示させる表示制御手段を備える通信端末。
【請求項3】
前記表示制御手段は、前記記憶位置情報の受信に基づいて、前記背景画像データをダウンロードする予定である旨を示す予定情報を、前記表示部に表示させる請求項2に記載の通信端末。
【請求項4】
前記予定情報は、時間経過を視覚的に示すアイコンを含む請求項3に記載の通信端末。
【請求項5】
第1の通信端末と、前記第1の通信端末との間においてデータを共有する第2の通信端末と、を備える通信システムであって、
前記第1の通信端末は、
背景画像データの記憶位置を示す記憶位置情報を、前記第2の通信端末との間で共有されるデータを管理する通信管理装置に対して送信する第2の送信手段を備え、
前記第2の通信端末は、
前記通信管理装置から前記記憶位置情報
、および、前記背景画像データのアップロードが完了した旨を示す完了通知を受信する受信手段と、
前記完了通知の受信に応じて、前記背景画像データのダウンロード要求を、前記記憶位置に対応する画像保存装置に対して送信する送信手段と、を備え、
前記受信手段は、前記ダウンロード要求に応じて前記画像保存装置からの前記背景画像データのダウンロードを開始するとともに、前記通信管理装置から、前記第1の通信端末に描画されたストローク画像に係るストロークデータを受信する通信システム。
【請求項6】
他の通信端末との間においてデータを共有する通信端末が実行する通信方法であって、
前記他の通信端末から送信された背景画像データの記憶位置を示す記憶位置情報
、および、前記背景画像データのアップロードが完了した旨を示す完了通知を、前記他の通信端末との間で共有されるデータを管理する通信管理装置から受信する受信ステップと、
前記完了通知の受信に応じて、前記背景画像データのダウンロード要求を、前記記憶位置に対応する画像保存装置に対して送信する送信ステップと、を実行し、
前記受信ステップは、前記ダウンロード要求に応じて前記画像保存装置からの前記背景画像データのダウンロードを開始するとともに、前記通信管理装置から前記他の通信端末に描画されたストローク画像に係るストロークデータを受信する処理を含む通信方法。
【請求項7】
他の通信端末との間においてデータを共有する通信端末に、
前記他の通信端末から送信された背景画像データの記憶位置を示す記憶位置情報
、および、前記背景画像データのアップロードが完了した旨を示す完了通知を、前記他の通信端末との間で共有されるデータを管理する通信管理装置から受信する受信ステップと、
前記完了通知の受信に応じて、前記背景画像データのダウンロード要求を、前記記憶位置に対応する画像保存装置に対して送信する送信ステップと、を実行させ、
前記受信ステップは、前記ダウンロード要求に応じて前記画像保存装置からの前記背景画像データのダウンロードを開始するとともに、前記通信管理装置から前記他の通信端末に描画されたストローク画像に係るストロークデータを受信する処理を含むプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信端末、通信システム、通信方法およびプログラムに関する。
【背景技術】
【0002】
インターネット等の通信ネットワークを介して遠隔地との間で通信する通信システムが普及している。当該通信システムとしては、例えば、遠隔会議を行う会議システムが挙げられる。一般的な会議システムにおいて、遠隔会議を行う当事者の一方が利用する通信端末側で保持または表示中の画像データを、通信ネットワークを介して当事者の他方が利用する通信端末に送信することで、画像データを共有することができる(特許文献1参照)。これにより、実際の会議に近い状態で遠隔地との会議を行うことができる。
【0003】
また、企業や教育機関、行政機関等における会議等において、ディスプレイに画像を表示させ、この画像の上に、利用者が、文字、数字および図形等のストローク画像を描画する電子黒板等の通信端末が利用されている(特許文献2参照)。このストローク画像は、通信端末が利用者により電子ペンや手でディスプレイ上に接触して移動させることで描いた内容を電子的に変換して、座標データ等のストロークデータを生成することによって描画される。さらに、一方の通信端末でストローク画像が描画された場合、このストローク画像を再生するためのストロークデータが通信ネットワークを介して他方の通信端末に送信されることで、他方の通信端末でも同じストローク画像が表示される。
【0004】
以上より、一方の通信端末(第1の通信端末)が、表示中または記憶している資料等の画像データ、およびストローク画像を再生するためのストロークデータを、通信ネットワークを介して他方の通信端末(第2の通信端末)に送信することで、他方の通信端末は資料や画像背景等の背景画像を表示するとともにストローク画像を表示させることができる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、近年、資料等の背景画像データはアプリケーションの高度化によりデータそのものの容量が非常に大きくなっている。例えば、背景画像の画像データのデータ量は、ストローク画像を再生するためのストロークデータのデータ量よりも非常に大きいため、第2の通信端末に到達する画像データとストロークデータのタイミングが合わない。即ち、第2の通信端末では、背景画像データよりも先にストロークデータが届くことがあり、このような場合に、第2の通信端末ではストローク画像の表示が進んだ後に背景画像が表示される。これにより、第2の通信端末の利用者は、ストローク画像の表示が進んだ後に背景画像の存在に気づき、第1の通信端末の利用者との円滑なコミュニケーションに支障が生じてしまうという課題があった。
【課題を解決するための手段】
【0006】
上述した課題を解決すべく、請求項1に係る発明は、他の通信端末との間においてデータを共有する通信端末であって、前記他の通信端末から送信された背景画像データの記憶位置を示す記憶位置情報、および、前記背景画像データのアップロードが完了した旨を示す完了通知を、前記他の通信端末との間で共有されるデータを管理する通信管理装置から受信する受信手段と、前記完了通知の受信に応じて、前記背景画像データのダウンロード要求を、前記記憶位置に対応する画像保存装置に対して送信する送信手段と、を備え、前記受信手段は、前記ダウンロード要求に応じて前記画像保存装置からの前記背景画像データのダウンロードを開始するとともに、前記通信管理装置から前記他の通信端末に描画されたストローク画像に係るストロークデータを受信する通信端末である。
【発明の効果】
【0007】
本発明によれば、他の通信端末の間で背景画像の共有とストローク画像の共有を適切に行うことで、他の通信端末の利用者との円滑なコミュニケーションに寄与することができるという効果を奏する。
【図面の簡単な説明】
【0008】
【
図1】実施形態に係る通信システムにおける通信ルートの一例を示した概略図である。
【
図2】実施形態に係る電子黒板の使用イメージについて説明するための図である。
【
図3】実施形態に係る電子黒板のハードウエア構成の一例を示す図である。
【
図4】実施形態に係る通信管理装置、中継装置および画像保存装置のハードウエア構成の一例を示す図である。
【
図5】実施形態に係る通信システムのシステム構成の一例を示す図である。
【
図6】実施形態に係る通信システムの機能構成の一例を示す図である。
【
図7】実施形態に係る表示画面情報の一例を概略的に説明するための図である。
【
図8】実施形態に係る操作情報管理DBに記憶されている操作情報の一例を概略的に説明するための図である。
【
図9】実施形態に係る認証管理テーブルの一例を示す概念図である。
【
図10】実施形態に係る端末管理テーブルの一例を示す概念図である。
【
図11】実施形態に係る宛先リスト管理テーブルの一例を示す概念図である。
【
図12】実施形態に係るセッション管理テーブルの一例を示す概念図である。
【
図13】実施形態に係る中継装置管理テーブルの一例を示す概念図である。
【
図14】実施形態に係る共有データ管理テーブルの一例を示す概念図である。
【
図15】電子黒板間で遠隔通信を開始する準備段階の処理の一例を示すシーケンス図である。
【
図16】電子黒板に表示される宛先リスト画面の一例を示す図である。
【
図17】遠隔通信を開始する処理の一例を示すシーケンス図である。
【
図18】実施形態に係る通信システムにおける電子黒板間でデータを共有する処理の一例を示すシーケンス図である。
【
図19】実施形態に係る通信システムにおける電子黒板間でデータを共有する処理の一例を示すシーケンス図である。
【
図20】実施形態に係る通信システムにおける電子黒板間でデータを共有する処理の一例を示すシーケンス図である。
【
図21】(A)電子黒板1aの画面例、(B)電子黒板1bの画面例、(C)電子黒板1aの画面例、(D)電子黒板1bの画面例を示す図である。
【
図22】(A)~(D)電子黒板の間で共有される表示画面の一例を示す図である。
【
図23】実施形態の変形例1に係る通信システムにおける電子黒板間でデータを共有する処理の一例を示すシーケンス図である。
【
図24】実施形態の変形例2に係るに係る通信システムにおける電子黒板間でデータを共有する処理の一例を示すシーケンス図である。
【
図25】実施形態の変形例2に係る通信システムにおける電子黒板間でデータを共有する処理の一例を示すシーケンス図である。
【
図26】実施形態の変形例2に係る通信システムにおける電子黒板間でデータを共有する処理の一例を示すシーケンス図である。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
【0010】
●通信システムの概略●
●通信ルート
まず、
図1を用いて、複数の電子黒板1a,1b間で描画しながらビデオ会議を行なうための通信システムについて説明する。
図1は、実施形態に係る通信システムにおける通信ルートの一例を示した概略図である。なお、「ビデオ会議」は、「テレビ会議」、「遠隔会議」等と呼ばれる場合もある。また、「ビデオ会議」「テレビ会議」または「遠隔会議」の会議は、複数の端末の間で画像データおよびストロークデータを共有するセッションの一例である。例えば、画像データおよびストロークデータを共有するセッションは、遠隔授業、遠隔診察、打ち合わせ、単なる会話等を行う、会議以外のセッションであってもよい。また、画像データおよびストロークデータを共有するセッションは、一方向での情報の提示に使用されてもよい。
【0011】
通信システムは、複数の電子黒板1a,1b、中継装置3、通信管理装置5および画像保存装置7によって構築されている。電子黒板1a,1bは、通話用の画像データおよび音データ、並びに、共有用の画像データおよびストロークデータ等のコンテンツデータの相互通信を行う。ストロークデータには、ストローク画像を再生(再現)するために必要なデータであり、座標データ、線の幅データ、線の色データ、ベクトルデータ、ストロークが描画された際の筆圧を示すデータ等が含まれている。また、ストロークデータは、電子黒板1a,1bによってシリアライズされた文字列として送受信される。電子黒板1a,1bは、通話用の画像データおよび音データの送受信により、相手側の拠点の拠点画像および音を再生することで、遠隔ビデオ通話が可能となる。
【0012】
電子黒板1a,1bは、共有用の背景画像の画像データを送受信することにより、通信システムを利用する参加者が、同じ背景画像を共有することができる。背景画像は、電子黒板1のディスプレイに表示された画像である。背景画像には、例えば、会議の資料等の電子ファイルがディスプレイ180に表示された資料画像が含まれている。背景画像の画像データは、例えば、JPEG(Joint Photographic Experts Group)等のファイル形式で送受信される。また、電子黒板1a,1bは、共有用のストローク画像のストロークデータを送受信することにより、通信システムを利用する参加者が、同じストローク画像を共有することができる。ストローク画像は、利用者によって電子ペン等で手書きストロークにより描画された線等を示す画像である。ストローク画像は、ディスプレイ上の座標を特定する点を示すストロークデータによって表示される。
【0013】
なお、通信システムは、二つの電子黒板1a,1bに限らず、三つ以上の電子黒板によって構築されてもよい。以降、電子黒板1a,1bの総称を示す場合は、「電子黒板1」と示す。また、電子黒板1は、通信機能、描画機能および表示機能等を備える通信端末の一例である。通信端末は、例えば、通信システムに対応するアプリケーションプログラムがインストールされたPC(Personal Computer)、スマートフォン、タブレット端末、スマートウォッチ、カーナビゲーション端末、ゲーム機またはテレプレゼンスロボット等であってもよい。さらに、通信端末は、医療機器であってもよい。医療機器の場合には、背景画像が患者の画像となる。
【0014】
図1では、電子黒板1a,1bの一例としてビデオ会議機能が搭載された電子黒板が示されている。なお、拠点画像データに係る拠点画像は、動画であっても静止画であってもよい。
【0015】
また、ビデオ会議の開始を要求する要求元としての電子黒板は「開始端末」と表され、要求先である宛先(中継先)としての電子黒板は「宛先端末」と表されている。
図1では、電子黒板1aが開始端末として、電子黒板1bが宛先端末として表されている。ただし、電子黒板1bからビデオ会議の開始を要求する場合は、電子黒板1bが開始端末となり、電子黒板1aが宛先端末となる。なお、各電子黒板1a,1bは、複数の事業所間での通信や、同じ事業所内の異なる部屋間での通信だけでなく、同じ部屋内での通信や、屋外と屋内または屋外と屋外での通信で使われてもよい。
【0016】
中継装置3は、コンピュータによって構成され、複数の電子黒板1a,1b間で、通話用のコンテンツデータを中継する処理を行なう。
【0017】
通信管理装置5は、コンピュータによって構成され、電子黒板1a,1bからのログイン認証、電子黒板1a,1bの通信状況の管理、宛先リストの管理、および中継装置3の通信状況等を一元的に管理する。また、通信管理装置5は、複数の電子黒板1a,1b間で、共有用のストロークデータを中継する。
【0018】
画像保存装置7は、コンピュータによって構成され、電子黒板1aからアップロードされた共有用の背景画像の画像データを保存して、電子黒板1bにダウンロードする。また、この逆も実行される。すなわち、画像保存装置7は、電子黒板1bからアップロードされた画像データを保存して、電子黒板1aにダウンロードする。
【0019】
なお、中継装置3、通信管理装置5および画像保存装置7は、それぞれが単一のコンピュータによって構築されてもよいし、各装置の各部(機能または手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。ここで、通信管理装置5と画像保存装置7は、複数の電子黒板1a,1b間で共有されるデータを管理するサーバシステム6を構成する。このサーバシステム6は、通信管理装置5および画像保存装置7の各部(機能または手段)を備える単一のコンピュータによって構成されてもよい。また、画像保存装置7は、通信管理装置5に変わり、複数の電子黒板1a,1b間で、共有用のストロークデータを中継する構成であってもよい。
【0020】
また、通信システムにおいて、電子黒板1a,1bとの間では、通信管理装置5を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。また、電子黒板1a,1bとの間では、中継装置3を介して、高解像度の拠点画像データ、中解像度の拠点画像データ、低解像度の拠点画像データ、および音データの四つの各データを送受信するための四つのセッションが確立される。
図1では、これら四つのセッションをまとめて、画像・音データ用セッションsedとして示している。なお、画像・音データ用セッションsedは、必ずしも四つのセッションである必要はなく、四つのセッション数より少ないまたは多いセッション数であってもよい。また、開始端末と宛先端末との間で、中継装置3を介さずに、直接、通信セッションを確立してもよい。さらに、通信システムにおいて、通信管理装置5が中継装置3の機能を有しており、通信管理装置5を介して電子黒板1a,1bとの間の画像・音データ用セッションsedが確立されてもよい。
【0021】
さらに、通信システムにおいて、電子黒板1a,1bとの間では、管理情報用セッションseiを利用して、ストロークデータの送受信を行うことができる。
【0022】
ここで、本実施形態で扱われる拠点画像データの画像の解像度について説明する。低解像度の拠点画像データは、例えば、横が160画素、縦が120画素から成り、ベース画像となる。中解像度の拠点画像データは、横が320画素、縦が240画素から成る。高解像度の拠点画像データは、例えば、横が640画素、縦が480画素から成る。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の拠点画像データのみから成る低画質の画像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の拠点画像データ、および中解像度の拠点画像データから成る中画質の画像データが中継される。また、帯域が非常に広い場合には、ベース画像となる低解像度の拠点画像データ、中解像度の拠点画像データ、および高解像度の拠点画像データから成る高画質の画像データが中継される。音データは、拠点画像データに比べてデータ量が少ないため、狭帯域経路であっても中継される。
【0023】
●電子黒板の使用イメージ
図2は、実施形態に係る電子黒板の使用イメージについて説明するための図である。電子黒板1は、
図2に示されているように、電子黒板1は、下部側に複数のキャスタが設けられた脚部151、脚部151の上部側に設けられた支柱152、支柱152上部側に設けられた電子黒板1の本体153、および本体153の前面に設けられたディスプレイ180によって構成されている。本体153には、後述のCPU101等が内蔵されている。そして、利用者は、電子ペン190を用いて、ディスプレイ180に文字等のストローク画像を入力(描画)することができる。ディスプレイ180は、表示部の一例である。
【0024】
●ハードウエア構成●
次に、
図3および
図4を用いて、通信システムを構成する各装置または端末のハードウエア構成について説明する。なお、
図3および
図4に示されているハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。
【0025】
●電子黒板のハードウエア構成
図3は、実施形態に係る電子黒板のハードウエア構成の一例を示す図である。
図3に示されているように、電子黒板1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、SSD(Solid State Drive)104、ネットワークI/F(Interface)105、および外部機器接続I/F106を備えている。
【0026】
これらのうち、CPU101は、電子黒板1全体の動作を制御する。ROM102は、CPU101やIPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する不揮発性のメモリである。RAM103は、CPU101のワークエリアとして使用される揮発性のメモリである。SSD104は、電子黒板用のプログラム等の各種データを記憶する大容量の記憶装置である。ネットワークI/F105は、電子黒板1を通信ネットワーク100に接続し、通信を行うための通信インターフェースである。外部機器接続I/F106は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ130、外付け機器(マイク140、スピーカ150、カメラ160)である。
【0027】
また、電子黒板1は、キャプチャデバイス111、GPU(Graphics Processing Unit)112、ディスプレイコントローラ113、接触センサ114、センサコントローラ115、電子ペンコントローラ116、近距離通信回路119、近距離通信回路119のアンテナ119a、電源スイッチ122および選択スイッチ類123を備えている。
【0028】
これらのうち、キャプチャデバイス111は、外付けのPC170のディスプレイ等に対して画像データ(画像情報)を静止画または動画として表示させる。GPU112は、グラフィクスを専門に扱う半導体チップ(プロセッサ)である。ディスプレイコントローラ113は、GPU112からの出力画像をディスプレイ180等へ出力するために画面表示の制御および管理を行う。接触センサ114は、ディスプレイ180上に電子ペン190や利用者の手H等が接触したことを検知する。センサコントローラ115は、接触センサ114の処理を制御する。接触センサ114は、赤外線遮断方式による座標の入力および座標の検出を行う。この座標の入力および座標の検出する方法は、ディスプレイ180の上側両端部に設置された二つの受発光装置が、ディスプレイ180に平行して複数の赤外線を放射し、ディスプレイ180の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ114は、物体によって遮断された二つの受発光装置が放射した赤外線のIDをセンサコントローラ115に出力し、センサコントローラ115が、物体の接触位置である座標位置を特定する。電子ペンコントローラ116は、電子ペン190と通信することで、ディスプレイ180へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路119は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。電源スイッチ122は、電子黒板1の電源のON/OFFを切り換えるためのスイッチである。選択スイッチ類123は、例えば、ディスプレイ180の表示の明暗や色合い等を調整するためのスイッチ群である。
【0029】
さらに、電子黒板1は、バスライン110を備えている。バスライン110は、
図3に示されているCPU101等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0030】
なお、接触センサ114は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する二つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネル等の種々の検出手段を用いてもよい。また、電子ペンコントローラ116が、電子ペン190のペン先およびペン尻だけでなく、電子ペン190の利用者が握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
【0031】
●通信管理装置、中継装置、および画像保存装置のハードウエア構成
図4は、実施形態に係る通信管理装置、中継装置および画像保存装置のハードウエア構成の一例を示す図である。通信管理装置5の一例としてのコンピュータは、CPU501、ROM502、RAM503、HD(Hard Disk)504、HDD(Hard Disk Drive)コントローラ505、ディスプレイ506、外部機器接続I/F(Interface)508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD-RW(Digital Versatile Disk ReWritable)ドライブ514、メディアI/F516、およびバスライン510を備えている。
【0032】
これらのうち、CPU501は、通信管理装置5全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する不揮発性のメモリである。RAM503は、CPU501のワークエリアとして使用される揮発性のメモリである。HD504は、通信管理用プログラム等の各種データを記憶する大容量の記憶装置である。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ506は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。ネットワークI/F509は、インターネット等の通信ネットワーク100を利用してデータ通信をするためのインターフェースである。キーボード511は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス512は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。DVD-RWドライブ514は、DVD-RW513に対するデータの読み出しまたは書き込み(記憶)を制御する。なお、DVD-RW513は、DVD-R等であってもよい。また、DVD-RWドライブ514は、BD-RE(Blu-ray(登録商標) Disc Rewritable)またはCD-RW(Compact Disc-ReWritable)等のディスクに対するデータの読み出しまたは書き込み(記憶)を制御するブルーレイドライブまたはCD-RWドライブ等であってもよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出しまたは書き込み(記憶)を制御する。また、バスライン510は、
図4に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0033】
また、中継装置3は、一般的なコンピュータによって構築されており、
図6に示されているように、CPU301、ROM302、RAM303、HD304、HDDコントローラ305、ディスプレイ306、外部機器接続I/F308、ネットワークI/F309、キーボード311、ポインティングデバイス312、DVD-RWドライブ314、メディアI/F316およびバスライン310を備えている。これらは、それぞれ通信管理装置5におけるCPU501、ROM502、RAM503、HD504、HDDコントローラ505、ディスプレイ506、外部機器接続I/F508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD-RWドライブ514、メディアI/F516、およびバスライン510と同様の構成であるため、説明を省略する。ただし、中継装置3の場合は、HD304に中継用プログラムが記憶されている。
【0034】
さらに、画像保存装置7は、一般的なコンピュータによって構築されており、
図6に示されているように、CPU701、ROM702、RAM703、HD704、HDDコントローラ705、ディスプレイ706、外部機器接続I/F708、ネットワークI/F709、キーボード711、ポインティングデバイス712、DVD-RWドライブ714、メディアI/F716およびバスライン710を備えている。これらは、それぞれ通信管理装置5におけるCPU501、ROM502、RAM503、HD504、HDDコントローラ505、ディスプレイ506、外部機器接続I/F508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD-RWドライブ514、メディアI/F516、およびバスライン510と同様の構成であるため、説明を省略する。また、画像保存装置7の場合は、HD704に画像保存用プログラムが記憶されている。
【0035】
また、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、CD-R(Compact Disc Recordable)、DVD、ブルーレイディスク、SDカード等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、電子黒板1は、本発明に係るプログラムが実行されることで本発明に係る通信方法を実現する。
【0036】
●通信システムの全体構成●
次に、
図5を用いて、通信システムの全体構成について説明する。
図5は、実施形態に係る通信システムのシステム構成の一例を示す図である。
【0037】
図5において、電子黒板1aは拠点A、電子黒板1bは拠点Bに設置されている。例えば、拠点Aは日本の東京事業所で、拠点Bは中国の北京事業所である。拠点Aでは利用者A1が電子黒板1aを利用し、拠点Bでは利用者B1,B2が電子黒板1bを利用しているものとする。
【0038】
さらに、電子黒板1a,1b、中継装置3、通信管理装置5、および画像保存装置7は、例えば、インターネットやLAN(Local Area Network)等の通信ネットワーク100を介して、相互にデータの送受信を行なうことができる。なお、通信ネットワーク100には、有線だけでなく、Wi-Fi(登録商標)等の無線による通信が行われる箇所があってもよい。
【0039】
●通信システムの機能構成●
次に、
図6乃至
図14を用いて、本実施形態に係る通信システムの機能構成について説明する。
図6は、実施形態に係る通信システムの機能構成の一例を示す図である。なお、
図6では、
図5に示されている各端末、装置およびサーバのうち、後述の処理または動作に関連しているものが示されている。
【0040】
●電子黒板の機能構成
まず、
図6を用いて、電子黒板1a,1bの機能構成について説明する。なお、電子黒板1a,1bが有している機能は同様であるため、ここでは、電子黒板1が有している機能として説明する。電子黒板1は、通信部11、受付部12、画像・音処理部13、表示制御部14、判断部15、画像処理部16、近距離通信部18、表示画面管理部21および記憶・読出処理部19を有している。これら各部は、
図3に示されている各構成要素のいずれかが、SSD104からRAM103上に展開されたプログラムに従ったCPU101からの命令によって動作することで実現される機能、または機能する手段である。また、電子黒板1は、
図3に示されているRAM103、SSD104またはUSBメモリ130によって構築される記憶部1000を有している。
【0041】
通信部11は、
図3に示されているCPU101からの命令、およびネットワークI/F105によって実現され、通信ネットワーク100を介して、他の端末、装置またはシステムと各種データ(または情報)の送受信を行う機能である。通信部11は、例えば、開始部としての役割も果たし、他の電子黒板1と通信を開始する処理を行う。また、通信部11は、例えば、他の電子黒板との間で、ディスプレイ180に表示させる描画画面データ(背景画像データおよびストロークデータ)を、通信管理装置5を介して送受信する。受付部12は、
図3に示されているCPU101からの命令、並びに接触センサ114および電子ペンコントローラ116によって実現され、利用者から電子ペン190等による各種入力を受け付ける。
【0042】
画像・音処理部13は、
図3に示されているCPU101からの命令によって実現され、ビデオ会議機能の主な処理を行う。画像・音処理部13は、例えば、マイク140の出力信号およびカメラ160の出力信号に共づき、拠点画像データおよび音データのエンコード等のデジタル処理を行う。また、画像・音処理部13は、例えば、通信部11で受信された拠点画像データおよび音データに基づき、画像信号を生成したり音信号を生成したりする。さらに、画像・音処理部13は、例えば、解像度の異なる拠点画像データを組み合わせる処理を行う。
【0043】
表示制御部14は、
図3に示されているCPU101からの命令、および
図3に示されているディスプレイコントローラ113によって実現され、ディスプレイ180に画像信号等を出力するための制御を行う機能である。表示制御部14は、例えば、画像処理部16によって生成された描画画面データに係る描画画面を、ディスプレイ180に表示させる。判断部15は、
図3に示されているCPU101からの命令によって実現され、各種判断を行う機能である。
【0044】
画像処理部16は、
図3に示されているCPU101からの命令、およびキャプチャデバイス111によって実現され、電子黒板機能の主な処理を行う機能である。画像処理部16は、例えば、受付部12によって受け付けられた電子ペン190等のストロークに基づいてストロークデータおよびストローク画像を生成する。また、画像処理部16は、例えば、通信部11によって受信されたストロークデータに基づいてストローク画像を生成する。さらに、画像処理部16は、例えば、生成したストローク画像を含む描画画面データを生成する。
【0045】
近距離通信部18は、
図3に示されているCPU101からの命令、並びに近距離通信回路119およびアンテナ119aによって実現され、ICカードやスマートフォン等の近距離通信部を有する各端末との間で、近距離無線通信により、データの取得および提供を行なう機能である。表示画面管理部21は、
図3に示されているCPU101からの命令によって実行され、他の電子黒板1との間で共有される表示画面を構成する画面データを管理する機能である。
【0046】
記憶・読出処理部19は、
図3に示されているCPU101からの命令によって実行され、記憶部1000に各種データを記憶させ、または記憶部1000から各種データを読み出す機能である。記憶部1000には、他の端末との通信を行う際に受信される拠点画像データおよび音データが、受信される度に上書き記憶される。このうち、上書きされる前の拠点画像データによってディスプレイ180に画像が表示され、上書きされる前の音データによってスピーカ150から音声が出力される。さらに、記憶部1000には、ディスプレイ180に描画されたストローク画像に係るストロークデータ、およびディスプレイ180に表示された背景画像に係る背景画像データが記憶される。
【0047】
○表示画面情報
図7は、実施形態に係る表示画面情報の一例を概略的に説明するための図である。
図7は、表示画面管理DB1001に記憶されている電子黒板1に表示される表示画面の状態の一例のイメージを示している。
【0048】
図7の例では、表示画面は、「会議」、「ページ(ページ1~4)」、「ストローク(ストローク1~5)」の階層構造を有している。「ストローク」は、本実施形態に係るストロークデータに対応しており、「ページ」毎に管理されている。また、「ページ」とは、ディスプレイ180に表示された1ページの画面(表示画面)に係る画像データが記憶された状態を示す。さらに、「会議」とは、電子黒板1によって実行されている会議の情報を示す。例えば、ストローク1には、ストローク1を識別するストロークID(id=aaaaa)、ストローク1が存在するページ1を特定するための情報(parent=pag04)、描画データ1のgid(global id)「g048」、および描画データ1等が含まれている。例えば、ストローク1が表すストローク画像に対して、移動等の操作が行われると、ストロークID(id=aaaaa)は、そのまま引き継がれるが、描画データ1と描画データ1を識別するgid「g048」は、更新される。描画データ1は、ストローク1を再現するための描画データである。描画データ1には、例えば、座標データ、線の幅データ、線の色データ、およびベクトルデータ等が含まれている。
【0049】
電子黒板1は、ページの切り替えが可能であり、「ページ」は、電子黒板1の各ページに対応している。例えば、ページ1には、ページ1を識別するページID(id=pag01)、電子黒板1で実行されている「会議」を特定するための情報(parent=se01)、ページ(ページデータ)を識別するgid「g01」、および画像データ1等が含まれている。画像データ1は、ページ1を構成する背景画像の画像データである。すなわち、画像データ1は、ページ1に表示されている背景画像を示す。また、ページ2には、画像データが含まれていない。これは、ページ2が背景画像を有していない(空白の背景である)ことを意味する。
【0050】
「会議」は、電子黒板1で実行されている会議に対応しており、会議を識別するための会議IDおよび会議(会議情報)のgid「g1」によって管理されている。また、電子黒板1が他の電子黒板との遠隔通信を行っている場合、会議IDは、セッションを識別するためのセッションID(id=se01)に対応している。例えば、電子黒板1の画像処理部16は、ストローク1~5に含まれている描画データ1~5を用いて、ページ4に描画されたストローク画像を生成することができる。なお、各階層に示されいるgidは、他の電子黒板との間でデータの共有を行う際に、通信管理装置5によって採番される。また、
図7に示されている共有データの階層構造は、複数の電子黒板1の間で共有される。
【0051】
○操作情報
ここで、
図8を用いて、電子黒板1で実行された表示画面に対する操作を示す操作情報について説明する。
図8は、実施形態に係る操作情報の一例を概略的に説明するための図である。
図8に示されている操作情報には、電子黒板1に表示される表示画面に対して実行された操作の情報が記憶されている。
図8に示されている操作情報には、ストロークデータを識別するためのストロークID(Id)、ストロークデータが描画されたページを識別するためのページID(DistId)、描画画面に対して実行された操作の種類を示す操作種別情報(Operation Type)、操作対象となるデータの種別を示すデータ種別情報(Data Type)、操作対象となるデータの内容を示すデータ詳細情報(Date)が含まれている。
【0052】
このうち、操作種別情報には、表示画面に含まれているストロークやページに対して、利用者によって実行された操作の種類が示されている。例えば、操作対象がストロークである場合において、操作種別情報は、ストロークが描画されたときには「Add(追加)」、ストロークが削除されたときには「Remove(削除)」、ストロークが移動されたときには「Update」が示される。また、データ種別情報には、操作対象がストロークである場合には「Stroke」、ページである場合には「Page」が示される。さらに、操作対象がストロークである場合において、データ詳細情報は、ストロークデータに対応し、座標データ、線の幅データ、線の色データ等の情報が含まれる。データ詳細情報は、後述する共有データ管理テーブル(
図14参照)に示されているbodyの情報に対応している。なお、データ詳細情報には、実行された操作の種別に応じた情報が示される。また、データ詳細情報は、操作種別情報に示されている操作内容に応じて、座標データ等の情報が更新される。
【0053】
なお、操作対象となるデータは、ストロークまたはページ単位に限られず、複数のストロークの集合であるオブジェクト単位であってもよい。このオブジェクトには、ストロークが文字もしくは数値等の記号としてOCR(Optical Character Reader)処理されたテキスト、日付もしくは時刻等のシステム生成文字、三角形、星もしくは円形等の予め定められた図形、または矢印、線分もしくはベジェ曲線等の線等が含まれる。
【0054】
●中継装置の機能構成
続いて、
図6を用いて、中継装置3の機能構成について説明する。中継装置3は、転送部を兼ねた通信部31、判断部35および記憶・読出処理部39を有している。これら各部は、
図4に示されている各構成要素のいずれかが、HD304からRAM303上に展開された中継用プログラムに従ったCPU501からの命令によって動作することで実現される機能、または機能する手段である。また、中継装置3は、
図4に示されているRAM303、HD304または記録メディア315によって構築される記憶部3000を有している。
【0055】
通信部31は、
図4に示されているCPU301からの命令、およびネットワークI/F309によって実現され、通信ネットワーク100を介して、他の端末、装置またはシステムと各種データ(または情報)の送受信を行う機能である。また、通信部31は、転送部としての役割も果たし、所定の端末ら送信されて来た拠点画像データおよび音データを、他の端末に転送する。判断部35は、
図4に示されているCPU301からの命令によって実現され、データの遅延状態等の判断等の各種判断を行なう機能である。
【0056】
記憶・読出処理部39は、
図4に示されているCPU301からの命令によって実行され、記憶部3000に各種データを記憶させ、または記憶部3000に記憶された各種データを読み出す機能である。
【0057】
●通信管理装置の機能構成
続いて、
図6を用いて、通信管理装置5の機能構成について説明する。通信管理装置5は、通信部51、認証部52、判断部53、端末管理部54、セッション管理部55、中継装置管理部56、共有データ管理部57および記憶・読出処理部59を有している。これら各部は、
図4に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理用プログラムに従ったCPU501からの命令によって動作することで実現される機能または機能する手段である。また、通信管理装置5は、
図4に示されているRAM503、HD504または記録メディア515によって構築される記憶部5000を有している。
【0058】
通信部51は、
図4に示されているCPU501からの命令、およびネットワークI/F509によって実現され、通信ネットワーク100を介して、他の端末または装置と各種データ(または情報)の送受信を行う機能である。通信部51は、例えば、電子黒板1に対して、他の電子黒板1から送信されたストロークデータの送受信を行う。
【0059】
認証部52は、
図4に示されているCPU501からの命令によって実現され、ログイン要求元の認証を行う機能である。認証部52は、通信部51によってログイン要求情報を受信した場合、認証管理DB5001を用いて、ログイン要求元の認証処理を実行する。判断部53は、
図4に示されているCPU501からの命令によって実現され、各種判断を行う機能である。
【0060】
端末管理部54は、
図4に示されているCPU501からの命令によって実現され、電子黒板1の状態に応じて、端末管理DB5002で管理されている電子黒板1に関する各種情報を管理する機能である。端末管理部54は、例えば、端末管理DB5002における稼動状態、受信日時、端末のIPアドレス等の情報を更新する。また、端末管理部54は、宛先リスト管理DB5003を管理し、電子黒板1からの要求に応じて、宛先リスト管理DB5003で管理されている宛先端末の端末IDを含む宛先リスト情報を提供する。
【0061】
セッション管理部55は、
図4に示されているCPU501からの命令によって実現され、通信システムで開催されるセッションを管理する機能である。セッション管理部55は、例えば、電子黒板1から通信の開始を要求する開始要求情報に応じて、セッションを識別するためのセッションIDを生成する。また、セッション管理部55は、例えば、セッションIDに対応づけて、セッションに関する各種情報をセッション管理DB5004に記憶させて管理する。
【0062】
中継装置管理部56は、
図4に示されているCPU501からの命令によって実現され、複数の中継装置3からセッションの中継に用いる中継装置3を選択する機能である。中継装置管理部56は、例えば、中継装置管理DB5005を管理し、中継装置管理DB5005に記憶されている各中継装置3に関する各種情報を用いて、中継装置3を選択する。中継装置管理部56は、例えば、中継装置管理DB5005に記憶されている各中継装置3のIPアドレスと、開始端末のIPアドレスとから、開始端末の近くにある中継装置3を選択する。また、中継装置管理部56は、例えば、中継装置管理DB5005に記憶されている各中継装置3の最大データ伝送速度等に基づいて、中継装置3を選択する。なお、本実施形態では、セッションの中継に用いる中継装置3の選択方法は任意の方法であって良い。また、通信システムが有する中継装置3の数は、一つであってもよい。
【0063】
共有データ管理部57は、
図4に示されているCPU501からの命令によって実現され、各電子黒板1(通信端末)の間で送受信される表示画面に関する各種データを管理する機能である。共有データ管理部57は、例えば、セッションに参加している電子黒板1から、セッションseiで送信されるストロークデータを、セッションIDと関連づけて、共有データ管理DB5006に記憶して管理する。
【0064】
記憶・読出処理部59は、
図4に示されているCPU501からの命令によって実行され、記憶部5000に各種データを記憶させ、または記憶部5000に記憶された各種データを読み出す機能である。
【0065】
○認証管理テーブル
図9は、実施形態に係る認証管理テーブルの一例を示す概念図である。記憶部5000には、
図9に示されているような認証管理テーブルによって構成されている認証管理DB5001が構築されている。この認証管理テーブルでは、通信管理装置5によって管理される全ての電子黒板1の各端末IDに対して、各パスワードが関連づけられて管理される。例えば、
図9に示されている認証管理テーブルにおいて、電子黒板1a(通信端末)の端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。なお、パスワードは認証情報の一例であり、認証情報にはアクセストークンも含まれる。
【0066】
○端末管理テーブル
図10は、実施形態に係る端末管理テーブルの一例を示す概念図である。記憶部5000には、
図10に示されているような端末管理テーブルによって構成されている端末管理DB5002が構築されている。この端末管理テーブルでは、各電子黒板1(通信端末)を識別するための端末ID毎に、各電子黒板1を宛先とした場合の宛先名、各電子黒板1の稼動状態、後述のログイン要求情報が通信管理装置5で受信された受信日時、および各電子黒板1(通信端末)のIPアドレスが関連づけられて管理される。例えば、
図10に示されている端末管理テーブルにおいて、端末IDが「01aa」の電子黒板1aは、端末名が「日本 東京事業所 AA端末」で、稼動状態が「Online(通信可能)」で、通信管理装置5でログイン要求情報が受信された日時が「2020年2月10日の13時40分」で、この端末1aaのIPアドレスが「1.2.1.3」であることが示されている。なお、端末ID、宛先名、および端末のIPアドレスは、各電子黒板1が、通信管理装置5によるサービスの提供を受けるために事前登録する際に記憶される。
【0067】
○宛先リスト管理テーブル
図11は、実施形態に係る宛先リスト管理テーブルの一例を示す概念図である。記憶部5000には、
図11に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB5003が構築されている。この宛先リスト管理テーブルでは、通信の開始を要求する電子黒板1(開始端末)の端末IDに対して、電子黒板1(宛先端末)の候補として登録されている宛先端末の端末IDが全て関連づけられて管理される。例えば、
図11に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である開始端末(電子黒板1a)から通信の開始を要求することができる宛先端末の候補は、端末IDが「01ba」の電子黒板1b等であることが示されている。この宛先端末の候補は、任意の開始端末から通信管理装置5に対する追加または削除の要請により、追加または削除されることで更新される。
【0068】
なお、宛先リストは、宛先情報の一例であり、宛先情報には、リスト形式になっておらず、端末ID等の宛先に関する情報が羅列されていてもよい。
【0069】
○セッション管理テーブル
図12は、実施形態に係るセッション管理テーブルの一例を示す概念図である。記憶部5000には、
図12に示されているようなセッション管理テーブルによって構成されているセッション管理DB5004が構築されている。このセッション管理テーブルでは、各電子黒板1(通信端末)と中継装置3との間で相互通信を行なうためのセッションを識別するためのセッションID毎に、使用される中継装置3の中継装置ID、電子黒板1(開始端末)の端末ID、電子黒板1(宛先端末)の端末ID、宛先端末において拠点画像データが受信される際の受信の遅延時間(ms)、およびこの遅延時間が示されている遅延情報を宛先端末から送られて来て通信管理装置5で受信された受信日時が関連づけられて管理される。例えば、
図12に示されているセッション管理テーブルにおいて、セッションID「se01」を用いて実行された通信セッションで、中継装置(中継装置ID「111a」)は、端末IDが「01aa」の電子黒板と、端末IDが「01db」の電子黒板との間で、拠点画像データおよび音データを中継しており、電子黒板(宛先端末)において「2020年2月10日の13時41分」時点における拠点画像データの遅延時間が200(ms)であることが示されている。
【0070】
○中継装置管理テーブル
図13は、実施形態に係る中継装置管理テーブルの一例を示す概念図である。記憶部5000には、
図13に示されているような中継装置管理テーブルによって構成されている中継装置管理DB5005が構築されている。この中継装置管理テーブルでは、中継装置3の中継装置ID毎に、各中継装置3の稼動状態、稼動状態が示される状態情報が通信管理装置5で受信された受信日時、中継装置3のIPアドレス、および、中継装置3における最大データ伝送速度(Mbps)が関連づけられて管理される。例えば、
図13に示されている中継装置管理テーブルにおいて、中継装置IDが「111a」の中継装置3は、稼動状態が「Online」で、通信管理装置5で状態情報が受信された日時が「2020年2月10日の13時30分」で、この中継装置3のIPアドレスが「1.2.1.2」で、この中継装置3における最大データ伝送速度が100Mbpsであることが示されている。
【0071】
○共有データ管理テーブル
図14は、実施形態に係る共有データ管理テーブルの一例を示す概念図である。記憶部5000には、
図14に示されているような共有データ管理テーブルによって構成されている共有データ管理DB5006が構築されている。この共有データ管理テーブルには、各電子黒板1(通信端末)と中継装置3との間で相互通信を行なうためのセッションを識別するためのセッションID毎に、電子黒板1の間で共有して記憶される表示画面に関する各種データが記憶されて管理されている。共有データ管理テーブルに示されているデータは、各電子黒板1の表示画面管理DB1001に記憶されている表示画面の状態(
図7参照)に対応している。
【0072】
共有データ管理テーブルに示されているデータには、各データを識別するためのID、各データの発生順序を示すシーケンス番号、データの内容を示す情報(body)、および上位層(親)となるデータを特定するための情報(parent)が含まれている。例えば、複数の電子黒板1によって実行されている遠隔会議を示す会議情報の場合、共有データ管理テーブルには、実行されている会議を識別するための会議ID(セッションID)、会議によって生成されたページを示す情報(children)および電子黒板1に現在表示されている表示画面を構成するページを示す情報(current page)が含まれている。また、例えば、ページデータの場合、共有データ管理テーブルには、ページ(ページデータ)を識別するためのページID、および該当するページを構成する背景画像データの記憶位置を示すURL(Uniform Resource Locator)が含まれている。
【0073】
さらに、例えば、ストロークデータの場合、共有データ管理テーブルには、「ストローク描画」イベントによって生成されたストロークデータを識別するためのストロークID、ストロークデータの内容を示す情報、およびストロークが存在するページ(ページデータ)を特定するための情報(parent)が含まれている。この場合、ストロークデータの内容を示す情報(body)には、描画されたストロークの色、描画されたストロークの線の太さを示す幅、および描画されたストロークの頂点(x,y)の情報が含まれている。
【0074】
ここで、「ストローク描画」は、利用者による描画情報の入力処理であり、例えば、利用者が電子ペン190をディスプレイ180に押し付け、この状態で電子ペン190を移動させ、ディスプレイ180から電子ペン190を離すまでのイベントである。また、ストロークの色は、RGBA(Red Green Blue Alpha)のデータ形式で、各要素が0-255の数値で表される。さらに、描画されたストロークの線の太さの幅は、ピクセル数で表される。また、描画されたストロークの頂点は、XY座標で表され、それぞれの頂点をベジェ曲線で結ぶとストロークを示す線分となる。この共有データ管理テーブルにより、通信管理装置5は、特定の通信セッションを用いたビデオ会議等によって発生したストロークデータを含む表示画面に関する各種データを管理することができる。
【0075】
●画像保存装置の機能構成
続いて、
図6を用いて、画像保存装置7の機能構成について説明する。画像保存装置7は、通信部71、生成部73および記憶・読出処理部79を有している。これら各部は、
図4に示されている各構成要素のいずれかが、HD704からRAM703上に展開された画像保存用プログラムに従ったCPU701からの命令によって動作することで実現される機能、または機能する手段である。また、画像保存装置7は、
図4に示されているRAM703、HD704または記録メディア715によって構築される記憶部7000を有している。
【0076】
通信部71は、
図4に示されているCPU701からの命令、およびネットワークI/F709によって実現され、通信ネットワーク100を介して、他の端末または装置と各種データ(または情報)の送受信を行う機能である。生成部73は、
図4に示されているCPU701からの命令によって実現され、背景画像データの記憶位置を示すURLを生成する機能である。記憶・読出処理部79は、
図4に示されているCPU701からの命令によって実行され、記憶部7000に各種データを記憶させ、または記憶部7000に記憶された各種データを読み出す機能である。
【0077】
●実施形態の処理または動作●
次に、
図15乃至
図22を用いて、本実施形態に係る通信システムにおける処理または動作を説明する。
【0078】
●遠隔通信の準備段階の処理
まず、
図15および
図16を用いて、ログイン要求端末としての電子黒板1aが行なう通信の準備処理を説明する。
図15は、電子黒板間で遠隔通信を開始する準備段階の処理の一例を示すシーケンス図である。
図16は、電子黒板に表示される宛先リスト画面の一例を示す図である。なお、電子黒板1bがログイン共有を行う処理も電子黒板1aの処理と同様であるため、説明を省略する。
【0079】
まず、電子黒板1aで電源スイッチ122がONされると、受付部12aが、電源ONを受け付ける(ステップS11)。
【0080】
次に、通信部11aは、通信ネットワーク100を介して、通信管理装置5へログイン認証の要求を示すログイン要求情報を送信する(ステップS12)。このログイン要求情報には、電子黒板1aの端末IDおよびパスワードが含まれている。これら端末IDおよびパスワードは、記憶・読出処理部19aによって記憶部1000aから読み出されて、通信部11aに送られたデータである。なお、これら端末IDおよびパスワードは、これに限るものではなく、利用者がキーボード等の入力手段によって入力した端末IDやパスワードが送信されてもよい。また、電子黒板1aに接続されたSIM(Subscriber Identity Module Card)カードやSDカード等の記録媒体から読み出された端末IDやパスワードが送信されてもよい。これにより、通信管理装置5の通信部51は、電子黒板1aから送信されたログイン要求情報を受信する。
【0081】
次に、通信管理装置5の認証部52は、通信部51を介して受信したログイン要求情報に含まれている端末IDおよびパスワードを検索キーとして、認証管理テーブル(
図9参照)を検索する。また、認証部52は、ログイン要求情報に含まれている端末IDおよびパスワードの組み合わせが、認証管理テーブルで管理されている場合、電子黒板1aのログインを許可する(ステップS13)。ここで、ログイン要求情報に含まれている端末IDおよびパスワードの組合せが、認証管理テーブルで管理されている場合、ステップS14以降の処理が実行される。
【0082】
電子黒板1aのログインが許可された場合、端末管理部54は、端末管理テーブル(
図10参照)において、電子黒板1aの端末ID「01aa」に対応する情報を更新する。例えば、端末管理部54は、端末ID「01aa」に対応する「稼動状態」の情報を「Online(通信可能)」」に変更するとともに、「受信日時」の情報を、ログイン要求情報を受信した日時に更新する(ステップS14)。なお、端末のIPアドレスの情報は、事前に登録されているのではなく、上記ステップS12で電子黒板1aから送信されたIPアドレスを用いるようにしてもよい。これにより、端末管理テーブルには、例えば、
図9(B)に示されているように端末ID「01aa」に、稼動状態「Online(通信可能)」、受信日時「2020.2.10.13:40」およびIPアドレス「1.2.1.3」が関連づけて管理されることになる。
【0083】
次に、セッション管理部55は、ステップS12で受信された電子黒板1aの端末ID「01aa」を、「開始端末の端末ID」とする新しいレコードを、セッション管理テーブル(
図12参照)に追加して管理する(ステップS15)。そして、通信部51は、ステップ13の処理によって得られた認証結果が示された認証結果情報を、通信ネットワーク100を介して、上記ログイン要求してきた電子黒板1aへ送信する(ステップS16)。
【0084】
電子黒板1a(ログイン要求端末)の通信部11aは、ログインが許可されたことを示す認証結果情報を受信すると、通信ネットワーク100を介して通信管理装置5へ、宛先リストを要求する旨が示された宛先リスト要求情報を送信する(ステップS17)。これにより、通信管理装置5の通信部51は、宛先リスト要求情報を受信する。
【0085】
次に、端末管理部54は、電子黒板1a(ログイン要求端末)の端末ID「01aa」を検索キーとして、宛先リスト管理テーブル(
図11参照)を検索し、電子黒板1aと通信することができる宛先候補の端末IDを読み出す。また、端末管理部54は、端末管理テーブル(
図10参照)から、宛先候補の端末IDに対応する宛先名を読み出す(ステップS18)。ここでは、電子黒板1aの端末ID「01aa」に対応する宛先候補のそれぞれの端末IDと、これらに対応する宛先名が抽出される。
【0086】
次に、通信部51は、記憶・読出処理部59を介して、例えば、記憶部5000から宛先リスト枠のデータおよび稼動状態を示すアイコンのデータ等を読み出す(ステップS19)。また、通信部51は、読み出した宛先リスト枠およびアイコン、並びにステップS18で抽出した端末IDおよび宛先名を含めた「宛先リスト情報(宛先リスト枠、アイコン、端末ID、宛先名)」を、電子黒板1aへ送信する(ステップS20)。これにより、電子黒板1aは、通信部11aが宛先リスト情報を受信し、記憶・読出処理部19aが記憶部1000aに、受信した宛先リスト情報を記憶する(ステップS21)。
【0087】
このように、本実施形態では、各端末で宛先リスト情報を管理するのではなく、通信管理装置5が全ての端末の宛先リスト情報を一元管理している。よって、通信システムに新たな電子黒板1が含まれるようになったり、既に含まれている端末に替えて新機種の端末を含めるようになったり、宛先リスト枠の見栄え等を変更することになった場合でも、本実施形態に係る通信システムは、通信管理装置5側で一括して対応するため、各端末側で宛先リスト情報の変更を行う手間を省くことができる。
【0088】
また、端末管理部54は、ステップ18で抽出した宛先候補の端末IDを検索キーとして、端末管理テーブル(
図10参照)を検索し、宛先候補の端末ID毎に、対応する稼動状態を読み出す。これにより、端末管理部54は、宛先候補の端末IDに対応する各電子黒板1の各稼動状態を取得する(ステップS22)。
【0089】
次に、通信部51は、ステップS22で検索キーとして使用された端末IDと、対応する各宛先端末の稼動状態とが含まれた「端末の状態情報」を、通信ネットワーク100を介して、電子黒板1aに送信する(ステップS23)。
【0090】
次に、電子黒板1aの記憶・読出処理部19aは、順次、通信管理装置5から受信した端末の状態情報を記憶部1000aに記憶する(ステップS24)。よって、電子黒板1aは、上記各電子黒板の状態情報を受信することで、電子黒板1aと通信することができる宛先候補である電子黒板1b等の現時点のそれぞれの稼動状態を取得することができる。
【0091】
次に、表示制御部14aは、記憶部1000aに記憶されている宛先リスト情報、および端末の状態情報に基づいて、宛先候補としての端末の状態を反映させた宛先リストを作成する。また、表示制御部14aは、作成した宛先リストを用いて、電子黒板1aのディスプレイ180に対して、
図16に示されているような宛先リスト画面800を表示させる(ステップS25)。この宛先リスト画面800には、宛先候補毎に、稼動状態を示すアイコン、端末ID、および宛先名が表示されている。
図16では、各端末の稼動状態を示したアイコンが、上から「Offline」、「Online(通信可能)」として表示されている。
【0092】
一方、通信管理装置5の端末管理部54は、電子黒板1aの端末ID「01aa」に基づいて宛先リスト管理テーブル(
図11参照)を検索することにより、電子黒板1aを宛先候補として登録している他の端末の端末IDを抽出する(ステップS26)。
図11に示されている宛先リスト管理テーブルでは、読み出される他の端末の端末IDは、「01ba」、「01ca」、「01da」等である。
【0093】
次に、端末管理部54は、電子黒板1aの端末ID「01aa」に基づいて端末管理テーブル(
図10参照)を検索し、電子黒板1aの稼動状態を取得する(ステップS27)。
【0094】
そして、通信部51は、ステップS26で抽出された端末IDに係る端末のうち、端末管理テーブル(
図10参照)で稼動状態が「Online」となっている端末に、ステップS27で取得された電子黒板1aの端末ID「01aa」と稼動状態「Online」が含まれる「端末の状態情報」を送信する(ステップS28)。なお、通信部51が電子黒板1bに端末の状態情報を送信する際に、各端末IDに基づいて、端末管理テーブル(
図10参照)で管理されている電子黒板のIPアドレスを参照する。これにより、電子黒板1aを宛先候補として通信することができる他の宛先端末のそれぞれに、電子黒板1aの端末ID「01aa」、および稼動状態「Online」を伝えることができる。よって、宛先候補(電子黒板1b等)においても、宛先候補の状態を表示させることができる(ステップS29)。
【0095】
●遠隔通信の開始処理
続いて、
図17を用いて、電子黒板1aが電子黒板1bに対して遠隔通信を開始する処理を説明する。
図17は、遠隔通信を開始する処理の一例を示すシーケンス図である。
【0096】
まず、開始端末(電子黒板1a)の利用者A1が
図16に示されている宛先候補(端末ID「01ba」)を押下して電子黒板1bを選択すると、受付部12aは、宛先端末(電子黒板1b)との通話を開始する要求を受け付ける(ステップS31)。そして、開始端末(電子黒板1a)の通信部11aは、通信管理装置5に対して、通話を開始したい旨を示す開始要求情報を送信する(ステップS32)。この開始要求情報には、開始端末(電子黒板1a)の端末ID「01aa」、および宛先端末(電子黒板1b)の端末ID「01ba」が含まれている。これにより、通信管理装置5の通信部51は、上記開始要求情報を受信すると共に、送信元である開始端末(電子黒板1a)のIPアドレスを受信する。
【0097】
そして、端末管理部54は、開始要求情報に含まれる開始端末(電子黒板1a)の端末ID「01aa」および宛先端末(電子黒板1b)の端末ID「01ba」に基づき、端末管理テーブル(
図10参照)を更新する。例えば、端末管理部54は、開始要求情報に含まれる開始端末の端末ID「01aa」、宛先端末の端末ID「01ba」に基づき、端末管理テーブルにおいて、端末ID「01aa」、「01ba」に対応する「稼動状態」を「Online(通信中)」に更新する。なお、この状態では、開始端末である電子黒板1a、および宛先端末である電子黒板1bは、セッションに参加していないが、通信中状態として管理する(ステップS33)。なお、この状態では、開始端末(電子黒板1a)、および宛先端末(電子黒板1b)は、ビデオ会議を開始していないが、通話中状態となり、第3の電子黒板(例えば、途中参加端末)が開始端末(電子黒板1a)または宛先端末(電子黒板1b)と通話しようとする(途中参加しようとする)と、いわゆる通話中状態を示す旨の通知音または表示が出力される。
【0098】
次に、実際に利用される中継装置3を選択するためのセッションを実行する処理を説明する。まず、通信管理装置5のセッション管理部55は、電子黒板1aと電子黒板1bとの間で開催されるセッションを識別するためのセッションIDを生成する(ステップS34)。ここでは、セッションID「se01」が生成された場合について説明する。
【0099】
そして、セッション管理部55は、セッション管理テーブル(
図12参照)に、ステップS34で生成されたセッションID「se01」、開始端末(電子黒板1a)の端末ID「01aa」、および宛先端末(電子黒板1b)の端末ID「01ba」を関連づけて記憶して管理する(ステップS35)。
【0100】
次に、中継装置管理部56は、開始端末(電子黒板1a)と宛先端末(電子黒板1b)との間のセッションを中継する中継装置3を選択する(ステップ36)。例えば、中継装置管理部56は、中継装置管理テーブル(
図13参照)において稼動状態が「Online」の中継装置3に係る中継装置IDのうち、端末管理テーブル(
図10参照)において開始端末(電子黒板1a)のIPアドレスに近いIPアドレスの中継装置3を選択する。ここでは、中継装置ID「111a」の中継装置3が選択された場合について、以降、続けて説明する。
【0101】
以上のステップS36における中継装置の選択の処理が終了すると、通信管理装置5の通信部51は、開始端末(電子黒板1a)に対して、中継装置選択情報を送信する(ステップS37-1)。この中継装置選択情報には、ステップS36によって選択された中継装置3のIPアドレス、およびステップS34によって生成されたセッションID「se01」が含まれている。これにより、開始端末(電子黒板1a)は、中継装置選択情報の送信元である通信管理装置5のIPアドレスを取得することができる。
【0102】
さらに、通信管理装置5の通信部51は、宛先端末(電子黒板1b)に対して、中継装置選択情報を送信する(ステップS37-2)。この中継装置選択情報には、ステップS36によって選択された中継装置3のIPアドレス、開始端末(電子黒板1a)の端末ID「01aa」、およびステップS34によって生成されたセッションID「se01」が含まれている。これにより、宛先端末(電子黒板1b)は、セッションID「se01」におけるセッションの実行において、中継装置選択情報の送信元である通信管理装置5のIPアドレスを取得することができる。
【0103】
次に、開始端末(電子黒板1a)の通信部11は、通信管理装置5に対して、ステップS37-1の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS38-1)。この受信完了情報には、ステップS37-1の処理で送受信されたセッションIDが含まれている。これにより、通信管理装置5は、特定のセッションID「se01」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
【0104】
さらに、宛先端末(電子黒板1b)は、同様に通信管理装置5へ、ステップS37-2の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS38-2)。この場合も、通信管理装置5は、特定のセッションID「se01」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
【0105】
以上により、電子黒板1a,1bは、上記ステップS36で選択された中継装置3を介して、拠点画像データおよび音データを送受信することで、ビデオ会議を行うことができる。
【0106】
●電子黒板間でのデータの共有処理
次に、
図18乃至
図22を用いて、電子黒板1の間でデータを共有する処理について説明する。
図18乃至
図20は、実施形態に係る通信システムにおける電子黒板間でデータを共有する処理の一例を示すシーケンス図である。ここでは、電子黒板1a,1bで背景画像データおよびストロークデータを共有する場合であって、電子黒板1aで表示された背景画像および入力されたストローク画像が、電子黒板1bでも表示される場合について説明する。
図21のうち、(A)は電子黒板1aの画面例、(B)は電子黒板1bの画面例、(C)は電子黒板1aの画面例、(D)は電子黒板1bの画面例である。
【0107】
まず、拠点Aの電子黒板1aでは、表示制御部14aによって
図21(A)に示されている画面がディスプレイ180上に表示されている。ここでは、背景画像dA、拠点Bの映像v2、背景画像dAを共有する場合に押下される「共有」ボタンb1が表示されている。この状態で、電子黒板1aの利用者aが「共有」ボタンb1を押下すると、受付部12aが利用者aから背景画像の共有処理を受け付ける(ステップS51)。次に、通信部11aは、画像保存装置7に対して、背景画像の画像データのアップロードを要求する旨を示すアップロード要求を送信する(ステップS52)。この場合、通信部11aは、例えば、予め定められた所定のアップロード用のURL(例えば、「http://○○○.jp/upload」)に対して、背景画像データを送信する。これにより、画像保存装置7の通信部71は、電子黒板1aから送信されたアップロード要求を受信する。
【0108】
画像保存装置7の記憶・読出処理部79は、ステップS52で受信された背景画像データを、記憶部7000に記憶する(ステップS53)。そして、画像保存装置7の生成部73は、記憶した背景画像データの記憶位置を示すURLを生成する(ステップS54)。URLは記憶位置情報の一例であり、記憶位置情報にはURI(Uniform Resource Identifier)も含まれる。なお、ステップS53およびステップS54の処理の順序は、前後してもよく、または並行して行われてもよい。これにより、電子黒板1aは、URLに対して、背景画像データのアップロードを開始する。
【0109】
画像保存装置7の通信部71は、電子黒板1aに対して、生成部73によって生成された背景画像データのURLを送信する(ステップS55)。これにより、電子黒板1aの通信部11aは、画像保存装置7から送信された背景画像データのURLを受信する。
【0110】
次に、電子黒板1aの表示画面管理部21aは、表示画面管理DB1001aに記憶されたページ情報を更新する(ステップS56)。この場合、表示画面管理部21aは、画像保存装置7へアップロードする背景画像データに対応するページデータ(例えば、ページ1)を記憶する。
【0111】
そして、通信部11aは、通信管理装置5に対して、背景画像データのアップロードを開始した旨を示すアップロード開始通知を送信する(ステップS57)。このアップロード開始通知には、アップロード対象の背景画像データに対応するページのページID、およびステップS55で受信されたURLが含まれている。これにより、通信管理装置5の通信部51は、電子黒板1aから送信されたアップロード開始通知を受信する。
【0112】
通信管理装置5の共有データ管理部57は、ステップS57で受信された各種情報に基づいて、共有データ管理DB5006(
図14参照)に記憶されているページ情報を更新する(ステップS58)。具体的には、共有データ管理部57は、共有データ管理テーブルを検索することにより、ステップS57で受信されたページIDに関連づけられているbodyに、ステップS57で受信されたURLを記述する。また、共有データ管理部57は、共有データ管理DB5006に記憶させるページ(ページデータ)に対応するgidを採番する。
【0113】
通信管理装置5の通信部51は、アップロード開始通知を、遠隔会議中の相手側の電子黒板1bに対して、ステップS57で受信されたアップロード開始通知を転送する(ステップS59)。これにより、電子黒板1bの通信部11bは、開始通知を受信する。そして、電子黒板1bの表示制御部14bは、電子黒板1bのディスプレイ180上に、
図21(B)に示されているような画面を表示させる(ステップS60)。ここでは、もともと拠点Aの映像v1および共有する場合に押下される「共有」ボタンb2が表示されており、ステップS59の開始通知により、背景画像の画像データのダウンロードの時間経過を視覚的に示す砂時計のアイコンc2を表示する出力が行われる。
【0114】
また、時間経過は、静止画の砂時計によって示したり、砂の動きがある動画の砂時計によって示したりすることができる。また、砂時計のアイコンc2は、画像データをダウンロードする予定である旨を示す予定情報の一例である。予定情報の他の例としては、砂時計以外のアイコン(例えば、時計のアイコン)であっても良いし、アイコンではなく文字(および/または「記号」)であってもよし、アイコンと文字(および/または「記号」)の組み合わせであってもよい。また、予定情報は、音による通知であってもよい。この場合、表示制御部14aではなく、画像・音処理部13aによってスピーカ150から音の出力が行われる。
【0115】
続いて、拠点Aでは、利用者A1が、電子ペン190や手Hを電子黒板1aのディスプレイ180上に接触して移動させることで、受付部12aが、移動のストローク(軌跡)の入力を受け付ける(ステップS61)。そして、画像処理部16aがストロークに基づいて、二次元のディスプレイ180上にストローク画像を表示させるためのストロークデータ(例えば、座標データ(x,y))を作成する(ステップS62)。そして、表示制御部14aは、電子黒板1aのディスプレイ180上に、ストローク画像を表示させる(ステップS63)。これにより、
図21(C)に示されているように、ストローク画像stAが表示される。
【0116】
次に、通信部11aは、通信管理装置5に対して、ステップS62で作成されたストローク画像を再生するためのストロークデータを送信する(ステップS64)。これにより、通信管理装置5の通信部51は、電子黒板1aから送信されたストロークデータを受信する。
【0117】
そして、共有データ管理部57は、共有データ管理DB5006(
図14参照)に、ステップS64で受信されたストロークデータを記憶させる(ステップS65)。この場合、共有データ管理部57は、
図14に示されるように、通信部51によって受信されたストロークデータを、発生順(シーケンス順)に、実行されている遠隔会議を示す会議ID(セッションID)に関連づけて共有データ管理テーブルに記憶させる。また、共有データ管理部57は、ステップS64で受信されたストロークデータに対応するgidを採番する。
【0118】
次に、通信部51は、電子黒板1aに対して、ステップS65によって記憶されたストロークデータ、および共有データ管理部57によって採番されたgidを送信する(ステップS66)。これにより、電子黒板1aは、通信管理装置5から送信されたストロークデータおよびgidを受信する。電子黒板1aは、ストロークデータが受け付けられたことを把握することができるとともに、採番されたgidを知ることができる。
【0119】
また、通信部51は、相手側の電子黒板1bに対して、ストロークデータおよびgidを送信する(ステップS67)。これにより、電子黒板1bの通信部11bは、通信管理装置5から送信されたストロークデータおよびgidを受信する。そして、電子黒板1bの画像処理部16bは、通信部11bによって受信されたストロークデータに基づいて、ストローク画像を生成する(ステップS68)。そして、表示制御部14bは、ステップS68によって生成されたストローク画像を、電子黒板1bのディスプレイ180上に表示させる(ステップS69)。これにより、電子黒板1bには、
図21(D)に示されているように、相手側の電子黒板1aと同じストローク画像stAが表示される。このように、通信システムは、電子黒板1aに描画されたストローク画像を、電子黒板1bに共有させることができる。
【0120】
続いて、
図20に示されているように、画像保存装置7の通信部71は、電子黒板1aに対して、背景画像データのアップロードが完了した旨を示すアップロード完了通知を送信する(ステップS71)。このアップロード完了通知には、アップロードされた背景画像データの記憶位置を示すURLが含まれている。これにより、電子黒板1aの通信部11aは、画像保存装置7から送信されたアップロード完了通知を受信する。
【0121】
電子黒板1aの通信部11aは、通信管理装置5に対して、ステップS71で受信されたアップロード完了通知を転送する(ステップS72)。また、通信管理装置5の通信部51は、電子黒板1bに対して、ステップS72で受信されたアップロード完了通知を転送する(ステップS73)。これにより、電子黒板1bの通信部11bは、通信管理装置5から送信されたアップロード完了通知を受信する。
【0122】
電子黒板1bの通信部11bは、ステップS73で受信された画像保存装置7に係るURLに対して、背景画像データのダウンロードを要求する旨を示すダウンロード要求を送信する(ステップS74)。これにより、画像保存装置7の通信部71は、電子黒板1bから送信されたダウンロード要求を受信する。
【0123】
次に、画像保存装置7の記憶・読出処理部79は、通信部71によって受信されたダウンロード要求に示されているURLに基づいて、記憶部7000から要求対象である背景画像データを読み出す(ステップS75)。そして、通信部71が、要求元である電子黒板1bに対して、要求対象である背景画像データを送信する(ステップS76)。これにより、電子黒板1bの通信部11bは、背景画像データのダウンロード(受信)を行う。そして、電子黒板1bの表示制御部14bは、通信部11bによってダウンロード(受信)された背景画像データに係る背景画像を、ディスプレイ180に表示させる(ステップS77)。具体的には、表示制御部14bが、
図21(D)に示されている画面上に、
図21(C)に示されている背景画像dAと同じ背景画像を表示させると共に、それまで表示していた砂時計のアイコンc2を非表示にする。
【0124】
これにより、電子黒板1aと電子黒板1bは、ディスプレイ180に表示されるストローク画像および背景画像を共有することができる。一方の電子黒板1(例えば、電子黒板1a)に表示された背景画像に係る背景画像データは、画像保存装置7にアップロードされ、他方の電子黒板1(例えば、電子黒板1b)にダウンロード可能な状態となる。また、一方の電子黒板1(例えば、電子黒板1a)に描画されたストロークに係るストロークデータは、通信管理装置5を経由して他方の電子黒板1(例えば、電子黒板1b)に共有される。さらに、電子黒板1に表示される描画画面(ページ)の作成および描画画面(ページ)の変更等の操作情報(
図8参照)についても、通信管理装置5を経由して、それぞれの電子黒板1に共有される。なお、ステップS51~ステップS60の電子黒板1aから画像保存装置7への背景画像データのアップロードを開始する処理と、ステップS61~ステップS69のストロークデータの共有処理の順序は前後してもよく、または並行して行われてもよい。
【0125】
ここで、
図22を用いて、電子黒板1aと電子黒板1bとの間で共有される描画画面について説明する。まず、
図22(A)に示されている描画画面200aには、背景画像d1およびストローク画像st1が表示されている。また、
図22(B)に示されている描画画面200bには、ストローク画像st2が表示されている。さらに、
図22(C)に示されている描画画面200cは、背景画像d3およびストローク画像st3が表示されている。また、
図22(D)に示されている描画画面200dは、背景画像d4およびストローク画像st4が表示されている。
【0126】
このように、電子黒板1aと電子黒板1bには、
図22(A)~(D)に示されているような複数の描画画面が共有されている。また、電子黒板1aおよび電子黒板1bは、
図7に示されている描画画面情報として、ディスプレイ180に表示させる描画画面を構成する画面データ(背景画像データおよびストロークデータ)を管理している。例えば、
図22(A)に示されている描画画面200aは、「ページ1」の画面データに対応する描画画面であり、
図22(B)に示されている描画画面200bは、「ページ2」の画面データに対応する描画画面である。また、例えば、
図22(C)に示されている描画画面200cは、「ページ3」の画面データに対応する描画画面であり、
図22(D)に示されている描画画面200dは、「ページ4」の画面データに対応する描画画面である。なお、
図22に示されている描画画面200a~200dは、ディスプレイ180に表示される表示画面の一例である。
【0127】
以上説明したように、電子黒板1aが、背景画像データを送信した後に、ストローク画像のストロークデータを送信しても、ストロークデータが画像データよりも非常にデータ量が小さいために、相手側の電子黒板1bにはストロークデータが先に届いてしまう。これに対して、本実施形態において、通信管理装置5は、画像データをアップロードする電子黒板1aからアップロードの開始通知を受信し、電子黒板1bに対して開始通知を転送(送信)する(S59参照)。そして、電子黒板1bでは、
図21(B)に示されているように、背景画像データのダウンロードを行う旨を視覚的に示す砂時計のアイコンc2を表示する出力が行われる(S60参照)。これにより、拠点Bの電子黒板1bの利用者B1,B2は、ストローク画像の表示が進んでいる最中に、後ほど送られて来る資料等の背景画像の存在に気づくため、拠点Aの電子黒板1aの利用者A1との円滑なコミュニケーションを行うことができる。
【0128】
●実施形態の変形例1
次に、
図23を用いて、実施形態の変形例1に係る通信システムの処理について説明する。変形例1に係る通信システムは、電子黒板1aからのアップロードが完了する前に、電子黒板1bが画像保存装置7から背景画像データのダウンロードを開始する。
図23は、実施形態の変形例1に係る通信システムにおける電子黒板間でデータを共有する処理の一例を示すシーケンス図である。なお、電子黒板1aから画像保存装置7へ背景画像データのアップロードを開始する処理とストロークデータの共有処理は、
図18および
図19に示されている処理と同様であるため、説明を省略する。
【0129】
電子黒板1bの通信部11bは、通信管理装置5から送信された画像保存装置7に係るURLに対して、背景画像データのダウンロードを要求する旨を示すダウンロード要求を送信する(ステップS91)。これにより、画像保存装置7の通信部71は、電子黒板1bから送信されたダウンロード要求を受信する。
【0130】
次に、画像保存装置7の記憶・読出処理部79は、通信部71によって受信されたダウンロード要求に示されているURLに基づいて、記憶部7000から要求対象である背景画像データを読み出す(ステップS92)。そして、通信部71が、要求元である電子黒板1bに対して、読み出された背景画像データを送信する(ステップS93)。これにより、電子黒板1bの通信部11bは、背景画像データのダウンロード(受信)を開始する。
【0131】
ここで、画像保存装置7は、背景画像データの送信と並行して、電子黒板1aからの背景画像のアップロード処理(ステップS52)および記憶(ステップS53)を実行する。そして、画像保存装置7の通信部71は、画像保存装置7の背景画像データのアップロードが完了すると、電子黒板1aに対して背景画像データのアップロードが完了した旨を示すアップロード完了通知を送信する(ステップS94)。
【0132】
また、電子黒板1bは、画像保存装置7からの背景画像データのダウンロードを継続して行う。電子黒板1bによるダウンロード処理が電子黒板1aからのアップロード処理よりも先行した場合、画像保存装置7は、例えば、電子黒板1bを待機させ、アップロードが完了した背景画像データから、電子黒板1bに対して逐次送信する。画像保存装置7は、記憶部7000に記憶された背景画像データを、電子黒板1bに対して随時送信するとともに、電子黒板1aからのアップロードを並行して受け付ける。
【0133】
そして、電子黒板1bの表示制御部14bは、画像保存装置7からの背景画像データのダウンロードが完了した場合(ステップS95)、ダウンロード(受信)された背景画像データに係る背景画像を、ディスプレイ180に表示させる(ステップS96)。
【0134】
このように、拠点Bの電子黒板1bは、拠点Aの電子黒板1aからの背景画像データのアップロード完了を待たずにダウンロードを開始することができるので、アップロードが完了してからダウンロードを開始する場合と比較して背景画像データが共有されるまでの時間を短縮することができる。これにより、変形例1に係る通信システムは、電子黒板1aの利用者A1と電子黒板1bの利用者B1,B2との円滑なコミュニケーションに更に寄与することができる。
【0135】
●実施形態の変形例2
次に、
図24乃至
図26を用いて、実施形態の変形例2に係る通信システムの処理について説明する。変形例2に係る通信システムは、電子黒板1aが他の電子黒板(例えば、電子黒板1b)からのダウンロード要求の受信することに応じて、画像保存装置7に対して背景画像データのアップロードを開始する。すなわち、変形例2に係る通信システムにおいて、電子黒板1bから電子黒板1aに対して背景画像のダウンロード要求を送信しない限り、電子黒板1aは、画像保存装置7に対する背景画像データのアップロードを行わない。
【0136】
図24乃至
図26は、実施形態の変形例2に係る通信システムにおける電子黒板間でデータを共有する処理の一例を示すシーケンス図である。ここでは、電子黒板1a,1bで背景画像の画像データおよびストローク画像のストロークデータを共有する場合であって、電子黒板1aで表示された背景画像および入力されたストローク画像が、電子黒板1bでも表示される場合について説明する。
【0137】
まず、拠点Aの電子黒板1aでは、表示制御部14aによって
図21(A)に示されている画面がディスプレイ180上に表示されている。この状態で、電子黒板1aの利用者aが「共有」ボタンb1を押下すると、受付部12aが利用者aから背景画像の共有処理を受け付ける(ステップS101)。次に、通信部11aは、画像保存装置7に対して、背景画像データの記憶位置を示すURLを要求する旨を示す要求情報を送信する(ステップS102)。これにより、画像保存装置7の通信部71は、電子黒板1aから送信された要求情報を受信する。
【0138】
次に、画像保存装置の生成部73は、背景画像データの記憶位置を示すURLを生成する(ステップS103)。そして、通信部71は、電子黒板1aに対して、生成部73によって生成された背景画像データのURLを送信する(ステップS104)。これにより、電子黒板1aの通信部11aは、背景画像データのURLを受信する。
【0139】
次に、電子黒板1aの表示画面管理部21aは、表示画面管理DB1001aに記憶されたページ情報を更新する(ステップS105)。この場合、表示画面管理部21aは、画像保存装置7へアップロードする背景画像データに対応するページデータを記憶する。
【0140】
そして、通信部11aは、通信管理装置5に対して、背景画像データのURLを通知する旨を示す通知情報を送信する(ステップS106)。この通知情報には、アップロード対象の背景画像データに対応するページのページID、ステップS104で受信されたURLが含まれている。これにより、通信管理装置5の通信部51は、電子黒板1aから送信された通知情報を受信する。
【0141】
通信管理装置5の共有データ管理部57は、ステップS106で受信された各種情報に基づいて、共有データ管理DB5006に記憶されているページ情報を更新する(ステップS107)。具体的には、共有データ管理部57は、共有データ管理テーブルを検索することにより、ステップS106で受信されたページIDに関連づけられているbodyに、ステップS106で受信されたURLを記述する。また、共有データ管理部57は、共有データ管理DB5006に記憶させるページ(ページデータ)に対応するgidを採番する。
【0142】
通信管理装置5の通信部51は、電子黒板1bに対して、ステップS106で受信され通知情報を転送する(ステップS108)。これにより、電子黒板1bの通信部11bは、通信管理装置5から送信された通知情報を受信する。そして、電子黒板1bの表示制御部14bは、電子黒板1bのディスプレイ180上に、上述の
図21(B)に示されているような画面を表示させる(ステップS109)。
【0143】
図25のステップS111~ステップS119までのストローク画像の共有処理は、
図19のステップS61~ステップS69の処理と同様であるため、説明を省略する。続いて、
図26において、電子黒板1bの利用者B1,B2による所定の操作に応じて、電子黒板1bの通信部11bは、通信管理装置5に対して、背景画像データのダウンロードを要求する旨を示すダウンロード要求を送信する(ステップS121)。このダウンロード要求には、ステップS108で受信された背景画像データの記憶位置を示すURLが含まれている。次に、通信管理装置5の通信部51は、電子黒板1aに対して、ステップS121で受信されたダウンロード要求を転送する(ステップS122)。これにより、電子黒板1aの通信部11aは、通信管理装置5から送信されたダウンロード要求を受信する。
【0144】
次に、電子黒板1aの通信部11aは、通信管理装置5から送信された画像保存装置7に係るURLに対して、背景画像データのアップロードを要求する旨を示すアップロード要求を送信する(ステップS123)。これにより、画像保存装置7の通信部71は、電子黒板1aから送信されたアップロード要求を受信する。次に、画像保存装置7の記憶・読出処理部79は、ステップS123で受信された背景画像データを、記憶部7000に記憶する(ステップS124)。これにより、電子黒板1aは、URLに対して、背景画像データのアップロードを開始する。画像保存装置7の通信部71は、背景画像データのアップロードが完了した場合、電子黒板1aに対して、アップロード完了通知を送信する(ステップS125)。なお、以下のステップS126~S131の処理は、
図20のステップS72~ステップS77の処理と同様であるため、説明を省略する。
【0145】
このように、拠点Aの電子黒板1aは、拠点Bの電子黒板1bからのダウンロード要求を受信しない限り、背景画像データのアップロードを行わない構成にすることできる。これにより、変形例2に係る通信システムは、遠隔会議の進行状態や通信ネットワーク100の帯域状態等を考慮して、拠点Bの利用者B1,B2がダウンロード要求を送信するタイミングに基づいて背景画像データの送信タイミングを調整することができる。
【0146】
●まとめ●
以上説明したように、本発明の一実施形態に係る電子黒板は、電子黒板1a(他の通信端末の一例)との間においてデータを共有する電子黒板1b(通信端末の一例)であって、電子黒板1aから送信された背景画像データの記憶位置を示すURL(記憶位置情報の一例)を、電子黒板1aとの間で共有されるデータを管理する通信管理装置5から受信し、背景画像データのダウンロード要求をURLに対応する画像保存装置7に対して送信する。そして、電子黒板1bは、送信したダウンロード要求に応じて画像保存装置7からの背景画像データのダウンロードを開始するとともに、電子黒板1aに描画されたストローク画像に係るストロークデータを通信管理装置5から受信する。これにより、電子黒板1bは、電子黒板1aとの間におけるストローク画像と背景画像の共有を並行して行うことができるので、電子黒板1aの利用者との円滑なコミュニケーションに寄与することができる。
【0147】
また、本発明の一実施形態に係る電子黒板1b(通信端末の一例)は、電子黒板1a(他の通信端末の一例)から送信されたURL(記憶位置情報の一例)の受信に基づいて、背景画像データをダウンロードする予定である旨を示すアイコンc2(予定情報の一例)を、ディスプレイ180(表示部の一例)に表示させる。これにより、電子黒板1bの利用者は、ストローク画像の表示が進んでいる最中に、後ほど送られて来る資料等の背景画像の存在に気づくため、電子黒板1aの利用者Aとの円滑なコミュニケーションを行うことができる。
【0148】
さらに、本発明の一実施形態に係る電子黒板1b(通信端末の一例)は、電子黒板1a(他の通信端末の一例)から送信されたURL(記憶位置情報の一例)の受信に応じて、背景画像データのダウンロード要求を画像保存装置7に対して送信する。これにより、電子黒板1bは、電子黒板1aからのアップロード完了を待たずに背景画像データのダウンロードを開始することで、背景画像データが共有されるまでに要する時間を短縮することができるので、電子黒板1aの利用者と電子黒板1bの利用者との円滑なコミュニケーションに更に寄与することができる。
【0149】
また、本発明の一実施形態に係る電子黒板1b(通信端末の一例)は、背景画像データのアップロードが完了した旨を示す完了通知を通信管理装置5から受信し、完了通知の受信に応じて、背景画像データのダウンロード要求を画像保存装置7に対して送信する。これにより、電子黒板1bの利用者は、ダウンロード要求を送信するタイミングに基づいて、電子黒板1aから背景画像データが送信されるタイミングを調整することができる。
【0150】
さらに、本発明の一実施形態に係る通信システムは、電子黒板1a(第1の通信端末の一例)と、電子黒板1aとの間においてデータを共有する電子黒板1b(第2の通信端末の一例)と、を備える。電子黒板1aは、背景画像データの記憶位置を示すURL(記憶位置情報の一例)を、電子黒板1bとの間で共有されるデータを管理する通信管理装置5に対して送信する。また、電子黒板1bは、通信管理装置5からURLを受信し、背景画像データのダウンロード要求を、URLに対応する画像保存装置7に対して送信する。そして、電子黒板1bは、送信したダウンロード要求に応じて画像保存装置7からの前記背景画像データのダウンロードを開始するとともに、電子黒板1aに描画されたストローク画像に係るストロークデータを通信管理装置5から受信する。これにより、本発明の一実施形態に係る通信システムは、電子黒板1aと電子黒板1bとの間におけるストローク画像と背景画像の共有を並行して行うことができるので、電子黒板1aの利用者と電子黒板1bの利用者の円滑なコミュニケーションに寄与することができる。
【0151】
また、本発明の一実施形態に係る通信システムは、電子黒板1a(第1の通信端末の一例)と電子黒板1b(第2の通信端末の一例)との間で共有される背景画像データを記憶する画像保存装置7を備える。電子黒板1aは、電子黒板1bから送信されたダウンロード要求を受信し、当該ダウンロード要求の受信に応じて、背景画像データのアップロード要求を、当該背景画像データの記憶位置に対応する画像保存装置7に対して送信する。また、画像保存装置7は、電子黒板1aから送信されたアップロード要求を受信し、アップロード要求の受信に基づいて、背景画像データの記憶位置を示すURL(記憶位置情報の一例)を生成し、生成されたURLを、電子黒板1aに対して送信する。そして、電子黒板1aは、画像保存装置7から送信されたURLを、通信管理装置5に対して送信する。これにより、本発明の一実施形態に係る通信システムは、電子黒板1aから背景画像データが送信されるタイミングを、ダウンロードを行う電子黒板1bの利用者が調整することができる。
【0152】
●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【0153】
また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり,コンピュータが,データ識別等の判断に必要なアルゴリズムを,事前に取り込まれる学習データから自律的に生成し,新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。
【0154】
これまで本発明の一実施形態に係る通信端末、通信システム、通信方法およびプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【符号の説明】
【0155】
1a 電子黒板(他の通信端末の一例、第1の通信端末の一例)
1b 電子黒板(通信端末の一例、第2の通信端末の一例)
3 中継装置
5 通信管理装置
6 サーバシステム
7 画像保存装置
11a 通信部(第2の送信手段の一例、第2の受信手段の一例)
11b 通信部(受信手段の一例、送信手段の一例)
14b 表示制御部(表示制御手段の一例)
71 通信部(第3の受信手段の一例、第3の送信手段の一例)
73 生成部(生成手段の一例)
180 ディスプレイ(表示部の一例)
【先行技術文献】
【特許文献】
【0156】
【文献】特開2011-254453号公報
【文献】特開2015-70543号公報