IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧

特許7512675通信端末、通信システム、通信方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-01
(45)【発行日】2024-07-09
(54)【発明の名称】通信端末、通信システム、通信方法、及びプログラム
(51)【国際特許分類】
   H04N 7/15 20060101AFI20240702BHJP
   H04M 3/56 20060101ALI20240702BHJP
【FI】
H04N7/15
H04M3/56 Z
【請求項の数】 10
(21)【出願番号】P 2020091136
(22)【出願日】2020-05-26
(65)【公開番号】P2021190733
(43)【公開日】2021-12-13
【審査請求日】2023-02-27
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】110000420
【氏名又は名称】弁理士法人MIP
(72)【発明者】
【氏名】神田 倫希
(72)【発明者】
【氏名】中村 滋
(72)【発明者】
【氏名】河崎 佑一
(72)【発明者】
【氏名】日野原 寛
(72)【発明者】
【氏名】本間 毅史
【審査官】鈴木 隆夫
(56)【参考文献】
【文献】特表2014-518594(JP,A)
【文献】特開2017-041696(JP,A)
【文献】国際公開第2016/178365(WO,A1)
【文献】特開2017-167888(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/14-7/173
H04N 21/00-21/858
H04M 3/56
(57)【特許請求の範囲】
【請求項1】
他の通信端末との間で共有した所定の動画を再生する通信端末であって、
前記所定の動画を再生するための再生開始通知を、当該通信端末及び前記他の通信端末との間の通信を管理する通信管理システムに送信する送信手段と、
前記所定の動画を表示手段に再生する再生手段と、
を有し、
前記送信手段は、前記再生開始通知として、当該通信端末と前記他の通信端末が前記所定の動画の再生を開始する時刻を示す再生開始時刻情報を、前記通信管理システムに対して送信し、
前記再生手段は、前記再生開始時刻情報が示す時刻に前記所定の動画を前記表示手段に再生し、前記再生開始時刻情報を前記表示手段に表示し、
前記再生開始時刻情報は、当該通信端末及び前記他の通信端末の各々によって管理される現在時刻の時間差を示す時間差情報に応じて算出される、
ことを特徴とする通信端末。
【請求項2】
請求項1に記載の通信端末であって、
前記送信手段によって送信された前記再生開始通知に対する前記他の通信端末の応答として、前記他の通信端末が送信した応答通知を受信する受信手段を有することを特徴とする通信端末。
【請求項3】
他の通信端末との間で共有した所定の動画を再生する通信端末であって、
前記所定の動画を再生するための再生開始通知を、当該通信端末及び前記他の通信端末との間の通信を管理する通信管理システムに送信する送信手段と、
前記所定の動画を表示手段に再生する再生手段と、
前記送信手段によって送信された前記再生開始通知に対する前記他の通信端末の応答として、前記他の通信端末が送信した応答通知と、前記通信管理システムに対して前記送信手段が送信した当該通信端末と前記通信管理システムとの時間差を問い合わせるための第1の問合せ情報に対する第1の応答情報とを受信する受信手段と、
前記第1の応答情報に含まれる前記第1の問合せ情報の受信時刻を示す第1の問合せ受信時刻情報及び前記第1の応答情報の送信時刻を示す第1の応答送信時刻情報に基づいて前記通信管理システムとの時間差を示す第1の時間差を算出する算出手段と、
を有し、
前記送信手段は、前記再生開始通知として、当該通信端末と前記他の通信端末が前記所定の動画の再生を開始する時刻を示す再生開始時刻情報を、前記通信管理システムに対して送信し、
前記再生手段は、前記再生開始時刻情報が示す時刻に前記所定の動画を前記表示手段に再生し、前記再生開始時刻情報を前記表示手段に表示し、
前記受信手段は、前記通信管理システムが送信した前記通信管理システムと前記他の通信端末との時間差を示す第2の時間差を第2の時間差情報として受信し、
前記算出手段は、前記算出した前記第1の時間差及び前記受信手段によって受信された前記第2の時間差情報に基づいて、当該通信端末及び前記他の通信端末の各々によって管理される現在時刻の時間差を示す時間差情報を算出する、
ことを特徴とする通信端末。
【請求項4】
請求項3に記載の通信端末であって、
前記受信手段は、前記通信管理システムが送信した前記通信管理システムと前記他の通信端末との時間差を問い合わせるための第2の問合せ情報に対する前記他の通信端末からの第2の応答情報に含まれる前記第2の問合せ情報の受信時刻を示す第2の問合せ受信時刻情報、及び前記第2の応答情報の送信時刻を示す第2の応答送信時刻情報を受信し、
前記算出手段は、前記算出した前記第1の時間差、並びに、前記第2の問合せ受信時刻情報及び前記第2の応答送信時刻情報に基づいて、当該通信端末及び前記他の通信端末の各々によって管理される現在時刻の時間差を示す時間差情報を算出する、
ことを特徴とする通信端末。
【請求項5】
前記再生手段は、前記他の通信端末が前記所定の動画の共有を完了した後、前記他の通信端末の前記所定の動画の共有が完了した旨を前記表示手段に表示することを特徴とする請求項1乃至4のいずれか一項に記載の通信端末。
【請求項6】
請求項1乃至5のいずれか一項に記載の通信端末と、前記他の通信端末と、前記通信管理システムと、を有する通信システムであって、
前記他の通信端末は、前記通信端末が送信した前記時間差情報及び前記再生開始時刻情報を受信し、前記受信した前記時間差情報及び前記再生開始時刻情報に基づいて、前記通信端末との間で共有した前記所定の動画を再生する、
ことを特徴とする通信システム。
【請求項7】
前記通信端末が管理する時刻情報よりも前記他の通信端末が管理する時刻情報が進んでいる場合に、当該他の通信端末は、前記再生開始時刻情報として、前記受信した再生開始時刻情報に前記受信した前記時間差情報を加えた情報が示す時刻に前記所定の動画を再生する、
ことを特徴とする請求項6に記載の通信システム。
【請求項8】
前記通信端末が管理する時刻情報よりも前記他の通信端末が管理する時刻情報が遅れている場合に、当該他の通信端末は、前記再生開始時刻情報として、前記受信した再生開始時刻情報が示す時刻に前記所定の動画を再生する、
ことを特徴とする請求項6に記載の通信システム。
【請求項9】
他の通信端末との間で共有した所定の動画を再生する通信端末が実行する通信方法であって、
前記所定の動画を再生するための再生開始通知を、当該通信端末及び前記他の通信端末との間の通信を管理する通信管理システムに送信する送信ステップと、
前記所定の動画を表示手段に再生する再生ステップと、
を有し、
前記送信ステップは、前記再生開始通知として、当該通信端末と前記他の通信端末が前記所定の動画の再生を開始する時刻を示す再生開始時刻情報を、前記通信管理システムに対して送信する処理を含み、
前記再生ステップは、前記再生開始時刻情報が示す時刻に前記所定の動画を前記表示手段に再生し、前記再生開始時刻情報を前記表示手段に表示する処理を含み、
前記再生開始時刻情報は、当該通信端末及び前記他の通信端末の各々によって管理される現在時刻の時間差を示す時間差情報に応じて算出される、
ことを特徴とする通信方法。
【請求項10】
コンピュータを、請求項1乃至5のいずれか一項に記載の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信端末、通信システム、通信方法、及びプログラムに関する。
【背景技術】
【0002】
インターネット等の通信ネットワークを介して遠隔地との間で通信する通信システムが普及している。当該通信システムとしては、例えば、遠隔会議を行う会議システムが挙げられる。一般的な会議システムでは、遠隔会議を行う当事者の一方が利用する通信端末が、会議室の被写体の画像や音をデジタルデータに変換して、当事者の他方が利用する通信端末に送信する。次に、当事者の他方が利用する通信端末は、ディスプレイに画像を表示させると共にスピーカから音を出力させる。これにより、実際の会議に近い状態で画像や音を共有し、遠隔地間の会議を行うことができる。また、過去の共有情報の中から、現在の会議で共有する共有情報を特定するのにかかる時間を短くすることを目的として、情報端末から転送された過去の会議履歴情報(履歴情報の一例)を解析し、会議主催者などのユーザに対して、解析により得られる共有情報を選択可能に表示する技術が開示されている(特許文献1参照)。
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかしながら、特許文献1では、他の通信端末との間で共有する対象として動画を扱うことは想定されていない。そのため、他の通信端末との間で共有した動画を通信端末の再生タイミングに合わせて再生しようとする場合、通信端末と他の通信端末が独自に管理する時刻情報に時間差があると、その時間差の分だけ動画の再生タイミングがずれてしまう。特に、再生される動画に音声が含まれる場合、通信端末と他の通信端末との間で再生される動画の再生タイミングのずれによって、ある時刻における通信端末の再生画面で発せられる音声は、他の通信端末の再生画面で再生されている動画の内容と異なる位置で聞こえてしまう。つまり、通信端末と他の通信端末との間で共有した動画を再生する際に、その動画の内容に対して同期をとることができなという課題が生じる。
【課題を解決するための手段】
【0004】
請求項1に係る発明は、他の通信端末との間で共有した所定の動画を再生する通信端末であって、前記所定の動画を再生するための再生開始通知を、当該通信端末及び前記他の通信端末との間の通信を管理する通信管理システムに送信する送信手段と、前記所定の動画を表示手段に再生する再生手段と、を有し、前記送信手段は、前記再生開始通知として、当該通信端末と前記他の通信端末が前記所定の動画の再生を開始する時刻を示す再生開始時刻情報を、前記通信管理システムに対して送信し、前記再生手段は、前記再生開始時刻情報が示す時刻に前記所定の動画を前記表示手段に再生し、前記再生開始時刻情報を前記表示手段に表示する、ことを特徴とする通信端末である。
【発明の効果】
【0005】
以上説明したように本発明によれば、通信端末と他の通信端末との間で共有した動画の再生において同期をとることができるという効果を奏する。
【図面の簡単な説明】
【0006】
図1】本実施形態の通信ルートを示した概略図である。
図2】電子黒板の使用イメージ図である。
図3】本実施形態に係る電子黒板のハードウェア構成図である。
図4】本実施形態に係る通信管理システム、中継装置、及び画像保存装置のハードウェア構成図である。
図5】本実施形態に係る通信システムの全体構成図である。
図6】本実施形態に係る通信システムの各機能ブロック図である。
図7】認証管理テーブルを示す概念図である。
図8】端末管理テーブルを示す概念図である。
図9】宛先リスト管理テーブルを示す概念図である。
図10】セッション管理テーブルを示す概念図である。
図11】中継装置管理テーブルを示す概念図である。
図12】電子黒板間で遠隔通信を開始する準備段階の処理を示したシーケンス図である。
図13】電子黒板1aで表示される宛先リストの画面例である。
図14】遠隔通信を開始する処理を示したシーケンス図である。
図15】資料画像の画像データを共有する処理を示したシーケンス図である。
図16】第1の実施形態に係る画像(動画)データを共有する処理を示したシーケンス図である。
図17】第1の実施形態に係る共有完了を判断する処理のフローチャートである。
図18】第1の実施形態に係る時間差の算出処理及び動画の再生処理を示したシーケンス図である。
図19】NTPの基本概念について説明した図である。
図20】第1の実施形態に係るファイルの読出し及び動画の再生処理のフローチャートである。
図21】第1の実施形態に係る動画再生時の処理を示したシーケンス図(ケース1)である。
図22】第1の実施形態に係る動画再生時の処理を示したシーケンス図(ケース2)である。
図23】第1の実施形態に係るストローク画像の表示処理及び動画の一時停止処理を示したシーケンス図である。
図24】(A)は動画をアップロード中の電子黒板1aの画面例、(B)は動画をダウンロード中の電子黒板1bの画面例である。
図25】(A)は動画の共有を完了したときの電子黒板1aの画面例、(B)は動画のダウンロードを完了したときの電子黒板1bの画面例、(C)はケース1における動画再生開始時の電子黒板1aの画面例、(D)はケース1における動画再生開始時の電子黒板1bの画面例を示す図である。
図26】(A)はケース1における動画再生中の電子黒板1aの画面例、(B)はケース1における動画再生中の電子黒板1bの画面例、(C)はケース1における動画再生を一時停止した電子黒板1aの画面例、(D)はケース1における動画再生を一時停止した電子黒板1bの画面例を示す図である。
図27】(A)はケース2における動画再生開始時の電子黒板1aの画面例、(B)はケース2における動画再生開始時の電子黒板1bの画面例を示す図である。
図28】(A)はケース2における電子黒板1aの画面例、(B)はケース2における電子黒板1bの画面例、(C)はケース2における電子黒板1aの画面例、(D)はケース2における電子黒板1bの画面例を示す図である。
図29】第2の実施形態に係る時間差の算出処理及び動画の再生処理を示したシーケンス図である。
【発明を実施するための形態】
【0007】
以下、図面を用いて、本発明の一実施形態について説明する。
【0008】
〔第1の実施形態〕
まず、図1乃至図28を用いて、第1の実施形態について説明する。
【0009】
〔通信システムの概略〕
<通信ルート>
まず、図1を用いて、複数の電子黒板1a,1b間で描画しながらビデオ会議を行うための通信システムについて説明する。図1は、本実施形態の通信ルートを示した概略図である。なお、「ビデオ会議」ではなく「テレビ会議」と呼ばれる場合もある。また、ここでは、一例として、ビデオ会議について説明するが、打ち合わせや単なる会話等であってもよい。
【0010】
通信システムは、複数の電子黒板1a,1b、中継装置3、通信管理システム5、及び画像保存装置7によって構築されている。電子黒板1a,1bは、通話用の映像データ及び音データ、並びに、共有用の画像データ及びストロークデータ等のコンテンツデータの相互通信を行う。なお、ストロークデータは、ストローク画像を再生(再現)するために必要なデータであり、座標データ、線の幅データ、線の色データ、ベクトルデータ等が含まれる。電子黒板1a,1bは、通話用の映像データ及び音データの送受信により、相手側の映像及び音を再生することで、遠隔ビデオ通話が可能となる。
【0011】
電子黒板1a,1bは、共有用の資料画像の画像データを送受信することにより、通信システムを利用する参加者が、同じ資料画像を共有することができる。資料画像は、電子黒板1のディスプレイに表示される画像であり、会議の資料、ディスプレイに表示される背景画像、ディスプレイ画面をキャプチャされた場合のキャプチャ画面等の画像である。また、電子黒板1a,1bは、共有用のストローク画像のストロークデータを送受信することにより、通信システムを利用する参加者が、同じストローク画像を共有することができる。ストローク画像は、利用者によって電子ペン等で手書きストロークにより描画された線等を示す画像である。ストローク画像は、ディスプレイ上の座標を特定する点を示すストロークデータによって表示される。
【0012】
なお、通信システムは、2つの電子黒板1a,1bに限らず、3つ以上の電子黒板によって構築されてもよい。以降、電子黒板1a,1bの総称を示す場合は、「電子黒板1」と示す。
【0013】
図1では、電子黒板1a,1bの一例としてビデオ会議機能が搭載された電子黒板が示されている。なお、映像データの画像は、動画であっても静止画であってもよい。
【0014】
また、ビデオ会議の開始を要求する要求元としての電子黒板は「開始端末」と表され、要求先である宛先(中継先)としての電子黒板は「宛先端末」と表されている。図1では、電子黒板1aが開始端末として、電子黒板1bが宛先端末として表されている。但し、電子黒板1bからビデオ会議の開始を要求する場合は、電子黒板1bが開始端末となり、電子黒板1aが宛先端末となる。なお、各電子黒板1a,1bは、複数の事業所間での通信や、同じ事業所内の異なる部屋間での通信だけでなく、同じ部屋内での通信や、屋外と屋内又は屋外と屋外での通信で使われてもよい。さらに、本実施形態では、電子黒板1aを通信端末、電子黒板1bを他の通信端末と呼ぶ。
【0015】
中継装置3は、コンピュータによって構成され、複数の電子黒板1a,1b間で、通話用のコンテンツデータを中継する処理を行なう。
【0016】
通信管理システム5は、コンピュータによって構成され、電子黒板1a,1bからのログイン認証、電子黒板1a,1bの通信状況の管理、宛先リストの管理、及び中継装置3の通信状況等を一元的に管理する。また、通信管理システム5は、複数の電子黒板1a,1b間で、共有用のストロークデータを中継する。
【0017】
画像保存装置7は、コンピュータによって構成され、電子黒板1aからアップロードされた共有用の資料画像の画像データを保存して、電子黒板1bにダウンロードする。また、この逆も実行される。即ち、画像保存装置7は、電子黒板1bからアップロードされた画像データを保存して、電子黒板1aにダウンロードする。
【0018】
なお、中継装置3、通信管理システム5及び画像保存装置7は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
【0019】
また、通信システムにおいて、電子黒板1a,1bとの間では、通信管理システム5を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。また、電子黒板1a,1bとの間では、中継装置3を介して、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音データの4つの各データを送受信するための4つのセッションが確立される。図1では、これら4つのセッションをまとめて、画像・音データ用セッションsedとして示している。なお、画像・音データ用セッションsedは、必ずしも4つのセッションである必要はなく、4つのセッション数より少ない又は多いセッション数であってもよい。また、開始端末と宛先端末との間で、中継装置3を介さずに、直接、通信セッションを確立してもよい。
【0020】
更に、通信システムにおいて、電子黒板1a,1bとの間では、管理情報用セッションseiを利用して、ストロークデータの送受信を行うことができる。
【0021】
ここで、本実施形態で扱われる映像データの映像の解像度について説明する。低解像度の映像データは、例えば、横が160画素、縦が120画素から成り、ベース画像となる。中解像度の映像データは、横が320画素、縦が240画素から成る。高解像度の映像データは、例えば、横が640画素、縦が480画素から成る。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の映像データのみから成る低画質の映像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の映像データ、及び中解像度の映像データから成る中画質の映像データが中継される。また、帯域が非常に広い場合には、ベース画像となる低解像度の映像データ、中解像度の映像データ、及び高解像度の映像データから成る高画質の映像データが中継される。音データは、映像データに比べてデータ量が少ないため、狭帯域経路であっても中継される。
【0022】
<電子黒板の使用イメージ>
図2は、電子黒板の使用イメージ図である。電子黒板1は、図2に示されているように、電子黒板1は、下部側に複数のキャスタが設けられた脚部151、脚部151の上部側に設けられた支柱152、支柱152上部側に設けられた電子黒板1の本体153、及び本体153の前面に設けられたディスプレイ180によって構成されている。本体153には、後述のCPU101等が内蔵されている。そして、利用者は、電子ペン190を用いて、ディスプレイ180に文字等のストローク画像を入力(描画)することができる。
【0023】
〔ハードウェア構成〕
次に、本実施形態のハードウェア構成を説明する。
【0024】
<電子黒板のハードウェア構成>
図3は、電子黒板のハードウェア構成図である。図3に示されているように、電子黒板1は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、SSD(Solid State Drive)104、ネットワークI/F105、及び、外部機器接続I/F(Interface)106を備えている。
【0025】
これらのうち、CPU101は、電子黒板1全体の動作を制御する。ROM102は、CPU101やIPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する。RAM103は、CPU101のワークエリアとして使用される。SSD104は、電子黒板用のプログラム等の各種データを記憶する。ネットワークI/F105は、通信ネットワーク100との通信を制御する。外部機器接続I/F106は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ130、外付け機器(マイク140、スピーカ150、カメラ160)である。
【0026】
また、電子黒板1は、キャプチャデバイス111、GPU112、ディスプレイコントローラ113、接触センサ114、センサコントローラ115、電子ペンコントローラ116、近距離通信回路119、及び近距離通信回路119のアンテナ119a、電源スイッチ122及び選択スイッチ類123を備えている。
【0027】
これらのうち、キャプチャデバイス111は、外付けのPC(Personal Computer))170のディスプレイに対して映像情報を静止画又は動画として表示させる。つまり、PC170は、電子黒板1で再生される映像情報としての静止画又は動画を表示する装置として与えられる。GPU(Graphics Processing Unit)112は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ113は、GPU112からの出力画像をディスプレイ180等へ出力するために画面表示の制御及び管理を行う。接触センサ114は、ディスプレイ180上に電子ペン190やユーザの手H等が接触したことを検知する。センサコントローラ115は、接触センサ114の処理を制御する。接触センサ114は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ180の上側両端部に設置された2つ受発光装置が、ディスプレイ180に平行して複数の赤外線を放射し、ディスプレイ180の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ114は、物体によって遮断された2つの受発光装置が放射した赤外線のIDをセンサコントローラ115に出力し、センサコントローラ115が、物体の接触位置である座標位置を特定する。電子ペンコントローラ116は、電子ペン190と通信することで、ディスプレイ180へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路119は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。電源スイッチ122は、電子黒板1の電源のオン/オフ(オンとオフ)を切り換えるためのスイッチである。選択スイッチ類123は、例えば、ディスプレイ180の表示の明暗や色合い等を調整するためのスイッチ群である。
【0028】
更に、電子黒板1は、バスライン110を備えている。バスライン110は、図3に示されているCPU101等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0029】
なお、接触センサ114は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ116が、電子ペン190のペン先及びペン尻だけでなく、電子ペン190のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。
【0030】
<通信管理システム、中継装置、及び画像保存装置のハードウェア構成>
図4は、本実施形態に係る通信管理システム5のハードウェア構成図である。通信管理システム5の一例としてのコンピュータは、CPU501、ROM502、RAM503、HD(Hard Disk)504、HDD(Hard Disk Drive)コントローラ505、ディスプレイ506、外部機器接続I/F(Interface)508、ネットワークI/F509、キーボード511、ポインティングデバイス512、DVD-RW(Digital Versatile Disk ReWritable)ドライブ514、メディアI/F516、及び、バスライン510を備えている。
【0031】
これらのうち、CPU501は、通信管理システム5全体の動作を制御する。ROM502は、IPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。HD504は、通信管理用プログラム等の各種データを記憶する。HDDコントローラ505は、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御する。ディスプレイ506は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続I/F508は、各種の外部機器を接続するためのインターフェースである。ネットワークI/F509は、インターネット等の通信ネットワーク4を利用してデータ通信をするためのインターフェースである。キーボード511は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス12は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。DVD-RWドライブ514は、DVD-RW513に対するデータの読み出し又は書き込み(記憶)を制御する。なお、DVD-RWドライブでなく、BD-RE(Blu-ray Disc Rewritable)等のディスクに対するデータの読み出し又は書き込み(記憶)を制御してもよい。メディアI/F516は、フラッシュメモリ等の記録メディア515に対するデータの読み出し又は書き込み(記憶)を制御する。
【0032】
また、バスライン510は、図4に示されているCPU501等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0033】
なお、図1に示されている中継装置3及び画像保存装置7のハードウェア構成は、通信管理システム5のハードウェア構成と同様であるため、その説明を省略する。但し、中継装置3の場合は、HD504に中継用プログラムが記憶されている。また、画像保存装置7の場合は、HD504に画像保存用プログラムが記憶されている。
【0034】
〔通信システムの全体構成〕
続いて、図5を用いて、通信システムの全体構成について説明する。図5は、本発明の実施形態に係る通信システムの全体構成図である。
【0035】
図5において、電子黒板1aは拠点A、電子黒板1bは拠点Bに設置されている。例えば、拠点Aは日本の東京事業所で、拠点Bは日本の大阪事業所である。拠点Aでは利用者A1が電子黒板1aを利用し、拠点Bでは利用者B1,B2が電子黒板1bを利用している。
【0036】
更に、電子黒板1a,1b、中継装置3、通信管理システム5、及び画像保存装置7は、インターネット等の通信ネットワーク100を介してデータの相互通信を行なうことができる。なお、通信ネットワーク100には、無線通信部分が含まれてもよい。
【0037】
なお、図5では、電子黒板1a,1bは、ともに映像通信可能な電子黒板である。
【0038】
〔通信システムの機能構成〕
次に、図6乃至図11を用いて、本実施形態の機能構成について説明する。図6は、本実施形態に係る通信システムの各機能ブロック図である。
【0039】
<電子黒板1aの機能構成>
図6に示されているように、電子黒板1aは、送受信部11a、受付部12a、映像・音処理部13a、表示制御部(再生部)14a、判断部15a、画像処理部17a、近距離通信部18a、及び記憶・読出処理部19aを有している。これら各部は、図2に示されている各構成要素のいずれかが、SSD104からRAM103上に展開されたプログラムに従ったCPU101からの命令によって動作することで実現される機能、又は機能する手段である。また、電子黒板1aは、図2に示されているRAM103、及び図3に示されているSSD104によって構築される記憶部1000aを有している。
【0040】
<<電子黒板1aの各機能構成>>
次に、電子黒板1aの各機能構成について説明する。送受信部11aは、主に、図3に示されているCPU101の処理、ネットワークI/F105及び外部機器接続I/F106によって実現され、通信ネットワーク100を介して他の端末、装置又はシステムと各種データ(又は情報)の送受信を行う。つまり、送受信部11aは、送信手段及び受信手段としての機能を有する。また、送受信部11aは、開始部としての役割も果たし、電子黒板1b等の他の通信端末と通信を開始する処理を行なう。
【0041】
受付部12aは、主に、図3に示されているCPU101の処理、電子ペンコントローラ116、接触センサ114、センサコントローラ115、ディスプレイ180及びディスプレイコントローラ113によって実現され、利用者から電子ペン190等による各種入力を受け付ける。
【0042】
映像・音処理部13aは、主に、図3に示されているCPU101の処理及びキャプチャデバイス111によって実現され、ビデオ会議機能の主な処理を行う。例えば、映像・音処理部13aは、マイク140の出力信号及びカメラ160の出力信号に共づき、映像データ及び音データのエンコード等のデジタル処理を行う。また、映像・音処理部13aは、送受信部11aで受信された映像データ及び音データに基づき、映像信号を生成したり音信号を生成したりする。映像・音処理部13a、解像度の異なる映像データを組み合わせる処理を行う。
【0043】
表示制御部(再生部)14aは、主に、図3に示されているCPU101の処理及びディスプレイコントローラ113によって実現され、ディスプレイ180に映像信号(画像信号)等を出力するための制御を行う表示制御手段の一例である。また、表示制御部(再生部)14aは、動画を再生するための再生部としての機能も有する。
【0044】
判断部15aは、主に、図3に示されているCPU101の処理によって実現され、電子黒板1aにおける各種判断を行う判断手段の一例である。
【0045】
算出部16aは、主に、図3に示されているCPU101の処理によって実現され、電子黒板1aと通信管理システム5との通信に要する時間及び時間差、並びに通信管理システム5と電子黒板1bとの時間差を含む各種時間を算出する。本実施形態では、算出部16aは、算出手段の一例として機能する。
【0046】
画像処理部17aは、主に、図3に示されているCPU101の処理によって実現され、電子黒板機能の主な処理を行う。例えば、画像処理部17aは、受付部12aによって受け付けられた電子ペン190等のストロークに基づいてストローク画像及びストロークデータを作成したり、送受信部11aによって受信されたストロークデータに基づいてストローク画像を作成したりする。また、画像処理部17aは、送受信部11aで受信された資料画像の画像データに基づき、画像信号を生成する。
【0047】
近距離通信部18aは、主に、図3に示されているCPU101の処理及び近距離通信回路119によって実現され、近距離通信部を有する各端末との間で、近距離無線通信により、データの取得及び提供を行なう。
【0048】
記憶・読出処理部19aは、主に、図3に示されているCPU101の処理によって実現され、記憶部1000a又はUSBメモリ130等の記録媒体1010aに各種データを記憶したり、記憶部1000a又は記録媒体1010aに記憶された各種データを読み出したりする処理を行う。
【0049】
更に、記憶部1000aには、他の端末との通信を行う際に受信される映像データ及び音データが、受信される度に上書き記憶される。このうち、上書きされる前の映像データによってディスプレイ180に画像が表示され、上書きされる前の音データによってスピーカ150から音声が出力される。
【0050】
<電子黒板1bの機能構成>
図6に示されているように、電子黒板1bは、送受信部11b、受付部12b、映像・音処理部13b、表示制御部(再生部)14b、判断部15b、算出部16b、画像処理部17b、近距離通信部18b、及び記憶・読出処理部19bを有している。送受信部11b、受付部12b、映像・音処理部13b、表示制御部(再生部)14b、判断部15b、算出部16b、画像処理部17b、近距離通信部18b、及び記憶・読出処理部19bは、それぞれ、送受信部11a、受付部12a、映像・音処理部13a、表示制御部(再生部)14a、判断部15a、算出部16a、画像処理部17a、近距離通信部18a、及び記憶・読出処理部19aと同様の機能を有しているため、これらの説明を省略する。なお、送受信部11bは、送信手段及び受信手段の一例としての機能を有する。また、表示制御部(再生部)14bは、表示制御部(再生部)14aと同様に、ディスプレイ180に映像信号(画像信号)等を出力するための制御を行う表示制御手段の一例である。さらに、表示制御部(再生部)14bは、動画を再生するための再生部としての機能も有する。また、判断部15bは、判断部15aと同様に、判断手段として機能する。また、算出部16bは、算出部16aと同様に、算出手段の一例として機能する。
【0051】
<中継装置の機能構成>
図6に示されているように、中継装置3は、転送部を兼ねた送受信部31、判断部35、及び記憶・読出処理部39を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD504からRAM503上に展開された中継用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。また、中継装置3は、図4に示されているRAM503、HD504によって構築される記憶部3000を有している。
【0052】
<<中継装置の各機能構成>>
次に、中継装置3の各機能構成について詳細に説明する。図6に示されている中継装置3の送受信部31は、主に、図4に示されているCPU301の処理、外部機器接続I/F308及びネットワークI/F309によって実現され、通信ネットワーク100を介して他の端末、装置、又はシステムと各種データ(又は情報)の送受信を行う。また、送受信部31は、転送部としての役割も果たし、所定の端末ら送信されて来た映像データ及び音データを、他の端末に転送する。
【0053】
判断部35は、主に、図4に示されているCPU301の処理によって実現され、データの遅延状態等の判断等の各種判断を行なう。
【0054】
記憶・読出処理部39は、主に、図4に示されているCPU301の処理によって実現され、記憶部3000に各種データを記憶したり、記憶部3000に記憶された各種データを読み出したりする処理を行う。
【0055】
<通信管理システムの機能構成>
図6に示されているように、通信管理システム5は、送受信部51、認証部52、生成部53、選択部54、判断部55、算出部56及び記憶・読出処理部59を有している。これら各部は、図6に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。また、通信管理システム5は、図4に示されているHD504により構築される記憶部5000を有している。
【0056】
(認証管理テーブル)
図7は、認証管理テーブルを示す概念図である。記憶部5000には、図7に示されているような認証管理テーブルによって構成されている認証管理DB5001が構築されている。この認証管理テーブルでは、通信管理システム5によって管理される全ての電子黒板1の各端末IDに対して、各パスワードが関連付けられて管理される。例えば、図7に示されている認証管理テーブルにおいて、電子黒板1a(通信端末)の端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。なお、パスワードは認証情報の一例であり、認証情報にはアクセストークンも含まれる。
【0057】
(端末管理テーブル)
図8は、端末管理テーブルを示す概念図である。記憶部5000には、図8に示されているような端末管理テーブルによって構成されている端末管理DB5002が構築されている。この端末管理テーブルでは、各電子黒板1(通信端末)を識別するための端末ID毎に、各電子黒板1を宛先とした場合の宛先名、各電子黒板1の稼動状態、後述のログイン要求情報が通信管理システム5で受信された受信日時、及び各電子黒板1(通信端末)のIPアドレスが関連付けられて管理される。例えば、図8に示されている端末管理テーブルにおいて、端末IDが「01aa」の電子黒板1aは、端末名が「日本 東京事業所 AA端末」で、稼動状態が「オンライン(通信可能)」で、通信管理システム5でログイン要求情報が受信された日時が「2015年4月10日の13時40分」で、この端末1aaのIPアドレスが「1.2.1.3」であることが示されている。なお、端末ID、宛先名、及び端末のIPアドレスは、各電子黒板1が、通信管理システム5によるサービスの提供を受けるために事前登録する際に記憶される。
【0058】
(宛先リスト管理テーブル)
図9は、宛先リスト管理テーブルを示す概念図である。記憶部5000には、図9に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB5003が構築されている。この宛先リスト管理テーブルでは、通信の開始を要求する電子黒板1(開始端末)の端末IDに対して、電子黒板1(宛先端末)の候補として登録されている宛先端末の端末IDが全て関連付けられて管理される。例えば、図9に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である開始端末(電子黒板1a)から通信の開始を要求することができる宛先端末の候補は、端末IDが「01ba」の電子黒板1b等であることが示されている。この宛先端末の候補は、任意の開始端末から通信管理システム5に対する追加又は削除の要請により、追加又は削除されることで更新される。
【0059】
なお、宛先リストは、宛先情報の一例であり、宛先情報には、リスト形式になっておらず、端末ID等の宛先に関する情報が羅列されていてもよい。
【0060】
(セッション管理テーブル)
図10は、セッション管理テーブルを示す概念図である。記憶部5000には、図10に示されているようなセッション管理テーブルによって構成されているセッション管理DB5004が構築されている。このセッション管理テーブルでは、各電子黒板(通信端末)と中継装置3との間で相互通信を行なうためのセッションを識別するための通信セッションID毎に、使用される中継装置3の中継装置ID、電子黒板1(開始端末)の端末ID、電子黒板1(宛先端末)の端末ID、宛先端末において映像データが受信される際の受信の遅延時間(ms)、及びこの遅延時間が示されている遅延情報を宛先端末から送られて来て通信管理システム5で受信された受信日時が関連付けられて管理される。例えば、図10に示されているセッション管理テーブルにおいて、セッションID「se01」を用いて実行された通信セッションで、中継装置(中継装置ID「111a」)は、端末IDが「01aa」の電子黒板と、端末IDが「01db」の電子黒板との間で、映像データ及び音データを中継しており、電子黒板(宛先端末)において「2015年4月10日の13時41分」時点における映像データの遅延時間が200(ms)であることが示されている。
【0061】
(中継装置管理テーブル)
図11は、中継装置管理テーブルを示す概念図である。記憶部5000には、図11に示されているような中継装置管理テーブルによって構成されている中継装置管理DB5005が構築されている。この中継装置管理テーブルでは、中継装置ID毎に、各中継装置3の稼動状態、稼動状態が示される状態情報が通信管理システム5で受信された受信日時、中継装置3のIPアドレス、及び、中継装置3における最大データ伝送速度(Mbps)が関連付けられて管理される。例えば、図11に示されている中継装置管理テーブルにおいて、中継装置IDが「111a」の中継装置3は、稼動状態が「オンライン」で、通信管理システム5で状態情報が受信された日時が「2014年4月10日の13時30分」で、この中継装置3のIPアドレスが「1.2.1.2」で、この中継装置3における最大データ伝送速度が100Mbpsであることが示されている。
【0062】
<<通信管理システムの各機能構成>>
次に、通信管理システム5の各機能構成について詳細に説明する。図6に示されている通信管理システム5の送受信部51は、主に、図4に示されているCPU501の処理、外部機器接続I/F508及びネットワークI/F509によって実現され、通信ネットワーク100を介して他の端末、装置、又はシステムと各種データ(又は情報)の送受信を行う。
【0063】
認証部52は、主に、図4に示されているCPU501の処理によって実現され、送受信部51を介して受信されたログイン要求に含まれている端末ID及びパスワードを検索キーとし、記憶部5000の認証管理DB5001を検索し、認証管理DB5001に同一の組の端末ID及びパスワードが管理されているかを判断することによって認証を行う。
【0064】
生成部53は、主に、図4に示されているCPU501の処理によって実現され、電子黒板1からの通信開始要求(S62参照)に基づき、通信セッションを識別するためのセッションIDを生成する。
【0065】
選択部54は、主に、図4に示されているCPU501の処理によって実現され、複数の中継装置3から最終的に1つの中継装置3を選択する処理を行う。
【0066】
判断部55は、主に、図4に示されているCPU501の処理によって実現され、通信管理システム5における各種判断を行なう。本実施形態では、この判断部55は、判断手段の一例として機能する。
【0067】
算出部56は、主に、図4に示されているCPU501の処理によって実現され、通信管理システム5と電子黒板1bとの時間差を含む各種時間を算出する。本実施形態では、算出部56は、算出手段の一例として機能する。
【0068】
記憶・読出処理部59は、主に、図4に示されているCPU501の処理によって実現され、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出したりする処理を行う。
【0069】
<画像保存装置の機能構成>
図6に示されているように、画像保存装置7は、送受信部71、及び記憶・読出処理部79を有している。これら各部は、図6に示されている各構成要素のいずれかが、HD504からRAM503上に展開された画像保存用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。また、画像保存装置7は、図4に示されているRAM503、HD504によって構築される記憶部7000を有している。
【0070】
<<画像保存装置の各機能構成>>
次に、画像保存装置7の各機能構成について詳細に説明する。図6に示されている画像保存装置7の送受信部71は、主に、図4に示されているCPU701の処理、外部機器接続I/F708及びネットワークI/F709によって実現され、通信ネットワーク100を介して他の端末、装置、又はシステムと各種データ(又は情報)の送受信を行う。
【0071】
記憶・読出処理部79は、主に、図4に示されているCPU701の処理によって実現され、記憶部7000に各種データを記憶したり、記憶部7000に記憶された各種データを読み出したりする処理を行う。
【0072】
〔実施形態の処理又は動作〕
次に、図12乃至図26を用いて、第1の実施形態に係る通信システムにおける処理又は動作を説明する。
【0073】
<遠隔通信の準備段階の処理>
まず、図12及び図13を用いて、ログイン要求端末としての電子黒板1aが行なう通信の準備処理を説明する。なお、図12は、電子黒板間で遠隔通信を開始する準備段階の処理を示したシーケンス図である。図13は、電子黒板1aで表示される宛先リストの画面例である。なお、電子黒板1bがログイン共有を行う処理も電子黒板1aの処理と同様であるため、説明を省略する。
【0074】
まず、電子黒板1aで電源スイッチ122がオンされると、受付部12aが、電源オンを受け付ける(ステップS22)。
【0075】
次に、送受信部11aは、通信ネットワーク100を介して通信管理システム5に、ログイン認証の要求を示すログイン要求情報を送信する(ステップS23)。このログイン要求情報には、電子黒板1aの端末ID及びパスワードが含まれている。
【0076】
次に、通信管理システム5の認証部52は、送受信部51を介して受信したログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、認証管理テーブル(図7参照)を検索し、同一の端末ID及び同一のパスワードが管理されているかを判断することによって端末の認証を行う(ステップS24)。ここでは、記憶・読出処理部59によって、同一の端末ID及び同一のパスワードが管理されているものとして、続けて説明する。
【0077】
認証部52によって、同一の端末ID及び同一のパスワードが管理されているものとして、正当な利用権限を有する端末からのログイン要求であると判断された場合には、記憶・読出処理部59は、端末管理テーブル(図8参照)において、上記ステップS23で受信された端末IDのレコードの稼動状態のフィールド部分を「オンライン(通信可能)」に変更すると共に、受信日時のフィールド部分に上記ステップS23によってログイン要求情報が受信された受信日時を記憶する(ステップS25)。これにより、端末管理テーブルには、端末ID「01aa」に、稼動状態「オンライン(通信可能)」、受信日時「2015.4.10.13:40」及びIPアドレス「1.2.1.3」が関連付けて管理されることになる。なお、端末のIPアドレスは、事前に登録されているのではなく、上記ステップS23で電子黒板1aから送信されるようにしてもよい。
【0078】
次に、記憶・読出処理部59は、上記ステップS23によって受信された電子黒板1aの端末IDを含む新しいレコードを、セッション管理テーブル(図10参照)で追加して管理する(ステップS26)。そして、通信管理システム5の送受信部51は、上記ステップ24の処理によって得られた認証結果が示された認証結果情報を、通信ネットワーク100を介して、上記ログイン要求してきた電子黒板1aに送信する(ステップS27)。
【0079】
ログイン要求端末(電子黒板1a)の送受信部11aが、正当な利用権限を有する端末であると判断された結果が示された認証結果情報を受信すると、送受信部11aが通信ネットワーク100を介して通信管理システム5へ、宛先リストを要求する旨が示された宛先リスト要求情報を送信する(ステップS28)。これにより、通信管理システム5の送受信部51は、宛先リスト要求情報を受信する。
【0080】
次に、記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」を検索キーとして、宛先リスト管理テーブル(図9参照)を検索し、ログイン要求端末(電子黒板1a)と通信することができる宛先候補の端末IDを読み出すと共に、この端末IDに対応する宛先名を端末管理テーブル(図8参照)から読み出す(ステップS29)。ここでは、ログイン要求端末(電子黒板1a)の端末ID「01aa」に対応する宛先候補のそれぞれの端末IDと、これらに対応する宛先名が抽出される。
【0081】
次に、通信管理システム5の送受信部51は、記憶・読出処理部59を介して記憶部5000から宛先リスト枠のデータ及び稼動状態を示すアイコンのデータを読み出す(ステップS30)と共に、この宛先リスト枠及びアイコン並びに上記記憶・読出処理部59によって読み出された端末ID及び宛先名を含めた「宛先リスト情報(宛先リスト枠、アイコン、端末ID、宛先名)」を、ログイン要求端末(電子黒板1a)に送信する(ステップS31)。これにより、ログイン要求端末(電子黒板1a)では、送受信部11aが宛先リスト情報を受信し、記憶・読出処理部19aが記憶部1000aへ宛先リスト情報を記憶する(ステップS32)。
【0082】
このように、本実施形態では、各端末で宛先リスト情報を管理するのではなく、通信管理システム5が全ての端末の宛先リスト情報を一元管理している。よって、通信システムに新たな電子黒板が含まれるようになったり、既に含まれている端末に替えて新機種の端末を含めるようになったり、宛先リスト枠の見栄え等を変更することになった場合でも、通信管理システム5側で一括して対応するため、各端末側で宛先リスト情報の変更を行う手間を省くことができる。
【0083】
また、通信管理システム5の記憶・読出処理部59は、上述の読み出した宛先候補の端末IDを検索キーとして、端末管理テーブル(図8参照)を検索し、上記端末ID毎に、対応する稼動状態を読み出すことで、宛先候補としての電子黒板の各稼動状態を取得する(ステップS33)。
【0084】
次に、送受信部51は、上記ステップS33で使用された検索キーとしての端末IDと、対応する各宛先端末の稼動状態とが含まれた「端末の状態情報」を、通信ネットワーク100を介してログイン要求端末(電子黒板1a)に送信する(ステップS34)。
【0085】
次に、ログイン共有端末(電子黒板1a)の記憶・読出処理部19aは、順次、通信管理システム5から受信した端末の状態情報を記憶部1000aに記憶する(ステップS35)。よって、ログイン要求端末(電子黒板1a)は、上記各電子黒板の状態情報を受信することで、ログイン要求端末(電子黒板1a)と通信することができる宛先候補である電子黒板1b等の現時点のそれぞれの稼動状態を取得することができる。
【0086】
次に、ログイン要求端末(電子黒板1a)の表示制御部(再生部)14aは、記憶部1000aに記憶されている宛先リスト情報、及び端末の状態情報に基づいて、宛先候補としての端末の状態を反映させた宛先リストを作成すると共に、表示制御部(再生部)14aが、電子黒板1aのディスプレイ180に対して、図13に示されている宛先リスト画面1100を表示する(ステップS36)。この宛先リスト画面1100には、宛先候補毎に、稼動状態を示すアイコン、端末ID、及び宛先名が表示されている。図13では、各端末の稼動状態を示したアイコンが、上から「オフライン」、「オンライン(通信可能)」として表示されている。
【0087】
一方、通信管理システム5の記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」に基づいて宛先リスト管理テーブル(図9参照)を検索することにより、ログイン要求端末(電子黒板1a)の端末ID「01aa」を宛先候補として登録している他の端末の端末IDを抽出する(ステップS37)。図9に示されている宛先リスト管理テーブルでは、読み出される他の端末の端末IDは、「01ba」、「01ba」、「01da」等である。
【0088】
次に、通信管理システム5の記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」に基づいて端末管理テーブル(図8参照)を検索し、ログイン要求端末(電子黒板1a)の稼動状態を取得する(ステップS38)。
【0089】
そして、送受信部51は、上記ステップS37で抽出された端末IDに係る端末のうち、端末管理テーブル(図8参照)で稼動状態が「オンライン」となっている端末に、上記ステップS38で取得されたログイン要求端末(電子黒板1a)の端末ID「01aa」と稼動状態「オンライン」が含まれる「端末の状態情報」を送信する(ステップS39)。なお、送受信部51が電子黒板1bに端末の状態情報を送信する際に、各端末IDに基づいて、端末管理テーブル(図8参照)で管理されている電子黒板のIPアドレスを参照する。これにより、ログイン要求端末(電子黒板1a)を宛先候補として通信することができる他の宛先端末のそれぞれに、上記ログイン要求端末(電子黒板1a)の端末ID「01aa」、及び稼動状態「オンライン」を伝えることができる。よって、宛先候補(電子黒板1b等)においても、宛先候補の状態を表示させることができる(ステップS40)。
【0090】
<遠隔通信の開始処理>
続いて、図14を用いて、電子黒板1aが電子黒板1bに対して遠隔通信を開始する処理を説明する。図14は、遠隔通信を開始する処理を示したシーケンス図である。
【0091】
まず、要求元端末(電子黒板1a)の利用者が図8に示されている宛先候補(端末ID「01ba」)を押下して電子黒板1bを選択すると、図6に示されている受付部12aは、宛先端末(電子黒板1b)との通話を開始する要求を受け付ける(ステップS61)。そして、要求元端末(電子黒板1a)の送受信部11aは、通信管理システム5に対して、通話を開始したい旨を示す開始要求情報を送信する(ステップS62)。この開始要求情報には、要求元端末(電子黒板1a)の端末ID「01aa」、及び宛先端末(電子黒板1b)の端末ID「01ba」が含まれている。これにより、通信管理システム5の送受信部51は、上記開始要求情報を受信すると共に、送信元である要求元端末(電子黒板1a)のIPアドレスを受信する。
【0092】
そして、記憶・読出処理部59は、開始要求情報に含まれる要求元端末(電子黒板1a)の端末ID「01aa」及び宛先端末(電子黒板1b)の端末ID「01ba」に基づき、端末管理テーブル(図8参照)において、上記端末ID「01aa」、及び端末ID「01ba」がそれぞれ含まれるレコードの稼動状態のフィールド部分を、ともに「通話中」に変更する(ステップS63)。なお、この状態では、要求元端末(電子黒板1a)、及び宛先端末(電子黒板1b)は、ビデオ会議を開始していないが、通話中状態となり、第3の電子黒板端末が要求元端末(電子黒板1a)又は宛先端末(電子黒板1b)と通話しようとすると、いわゆる通話中状態を示す旨の通知音又は表示が出力される。
【0093】
次に、実際に利用される中継装置3を選択するためのセッションを実行する処理を説明する。まず、通信管理システム5の生成部53は、中継装置3を選択するためのセッションの実行に用いられるセッションIDを生成する(ステップS64)。ここでは、セッションID「se01」が生成された場合について説明する。
【0094】
そして、記憶・読出処理部59は、セッション管理テーブル(図10参照)に、上記ステップS64で生成されたセッションID「se01」、要求元端末(電子黒板1a)の端末ID「01aa」、及び宛先端末(電子黒板1b)の端末ID「01ba」を関連付けて記憶して管理する(ステップS65)。
【0095】
次に、図8に示されている通信管理システム5の選択部54は、中継装置管理テーブル(図11参照)及び端末管理テーブル(図8参照)に基づいて、要求元端末(電子黒板1a)及び宛先端末(電子黒板1b)の2拠点間の通話を中継するための中継装置3の選択を行う(ステップS66)。具体的には、中継装置管理テーブル(図11参照)において稼動状態が「オンライン」の中継装置に係る中継装置IDのうち、端末管理テーブル(図8参照)において要求元端末(電子黒板1a)のIPアドレスに近いIPアドレスの中継装置3に係る中継装置IDが選択される。ここでは、中継装置30a(中継装置ID「111a」)が選択された場合について、以降、続けて説明する。
【0096】
以上のステップS66における中継装置の選択の処理が終了すると、通信管理システム5の送受信部51は、要求元端末(電子黒板1a)に対して、中継装置選択情報を送信する(ステップS67-1)。この中継装置選択情報には、上記ステップS66によって選択された中継装置3のIPアドレス、及び上記ステップS64によって生成されたセッションID「se0101」が含まれている。これにより、要求元端末(電子黒板1a)は、中継装置選択情報の送信元である通信管理システム5のIPアドレスを取得することができる。
【0097】
更に、通信管理システム5の送受信部51は、宛先端末(電子黒板1b)に対して、中継装置選択情報を送信する(ステップS67-2)。この中継装置選択情報には、上記ステップS66によって選択された中継装置3のIPアドレス、要求元端末(電子黒板1a)の端末ID「01aa」、及び上記ステップS64によって生成されたセッションID「se01」が含まれている。これにより、宛先端末(電子黒板1b)は、セッションID「se01」におけるセッションの実行において、中継装置選択情報の送信元である通信管理システム5のIPアドレスを取得することができる。
【0098】
次に、上記ステップS67-1の処理に対して、要求元端末(電子黒板1a)の送受信部11は、通信管理システム5に対して、上記ステップS67-1の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS68-1)。この受信完了情報には、上記ステップS67-1の処理で送受信されたセッションIDが含まれている。これにより、通信管理システム50は、特定のセッションID「se01」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
【0099】
更に、上記ステップS67-2の処理に対して、宛先端末(電子黒板1b)は、同様に通信管理システム5へ、上記ステップS67-2の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS68-2)。この場合も、通信管理システム5は、特定のセッションID「se01」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
【0100】
以上により、電子黒板1a,1bは、上記ステップS66で選択された中継装置3を介して、映像データ及び音データを送受信することで、ビデオ会議を行うことができる。
【0101】
<資料画像の通信処理>
続いて、図15を用いて、電子黒板1aに表示されている資料画像(動画)及び入力されたストローク画像の通信処理について説明する。図15は、資料画像の画像データを共有する処理を示したシーケンス図である。ここでは、電子黒板1a,1bで資料画像の画像(動画)データを共有する場合であって、電子黒板1aで表示される資料画像(動画)が、画像保存装置7に記憶されるまでの処理について説明する。後述する図24のうち、(A)は動画をアップロード中の電子黒板1aの画面例、(B)は動画をダウンロード中の電子黒板1bの画面例である。
【0102】
まず、拠点Aの電子黒板1aでは、表示制御部(再生部)14aによって図24(A)に示されている画面がディスプレイ180上に表示されている。ここでは、資料画像d1、拠点Bの映像v2、資料画像d1を共有する場合に押下される「共有」ボタンb1が表示されている。この状態で、電子黒板1aの利用者aが「共有」ボタンb1を押下すると、受付部12aが利用者aから資料画像の共有処理を受け付ける(ステップS101)。なお、「共有」ボタンb1は、アイコン等で示されるものであってもよく、ディスプレイ180の「共有」ボタンb1の位置をタップ操作することによって機能するものでもよい。「共有ボタン」b2についても同様である。
【0103】
受付部12aがステップS101で共有処理を受け付けると、表示制御部(再生部)14aは、ディスプレイ180に画像データ共有中である旨の内容を表示する(ステップS102)。
【0104】
続いて、送受信部11aは、通信管理システム5に対して、資料画像の画像データの保存位置を示すURL(Uniform Resource Locator)を要求する旨を示す要求情報を送信する(ステップS103)。これにより、通信管理システム5の送受信部51は、要求情報を受信する。なお、URLは保存位置情報の一例であり、保存位置情報にはURI(Uniform Resource Identifier)も含まれる。
【0105】
次に、通信管理システム5の生成部53は、資料画像の画像データの保存位置を示すURLを生成する(ステップS104)。そして、送受信部51は、電子黒板1aに対して、生成部53によって生成された画像データのURLを送信する。これにより、電子黒板1aの送受信部11aは、画像データのURLを受信する(ステップS105)。
【0106】
次に、電子黒板1aの送受信部11aは、通信管理システム5に対して、資料画像の画像データのアップロードの開始通知を送信する(ステップS106)。これにより、通信管理システム5の送受信部51は、開始通知を受信する。
【0107】
次に、送受信部51は、遠隔会議中の相手側の電子黒板1bに対して、開始通知を転送する(ステップS107)。これにより、電子黒板1bの送受信部11bは、開始通知を受信する。電子黒板1bの表示制御部14dは、電子黒板1bのディスプレイ180上に、図24(B)に示されているような画面を表示させる(ステップS108)。ここでは、もともと拠点Aの映像v1及び共有する場合に押下される「共有」ボタンb2が表示されており、ステップS106の開始通知により、資料画像の画像データのダウンロードの時間経過を視覚的に示す砂時計のアイコンc2を表示する出力が行われる。
【0108】
また、時間経過は、静止画の砂時計によって示したり、砂の動きがある動画の砂時計によって示したりすることができる。また、砂時計のアイコンc2は、画像データをダウンロードする予定である旨を示す予定情報の一例である。予定情報の他の例としては、砂時計以外のアイコン(例えば、時計のアイコン)であっても良いし、アイコンではなく文字及び「記号」のうち少なくとも一方であってもよいし、アイコンと文字及び「記号」のうち少なくとも一方の組合せであってもよい。また、予定情報は、音による通知であってもよい。この場合、表示制御部(再生部)14aではなく、映像・音処理部13aによってスピーカ150から音の出力が行われる。
【0109】
なお、電子黒板1aは、上記ステップS105の処理後に上記ステップS103の処理を行ってもよい。また、通信管理システム5は、上記ステップS106により画像データのアップロード開始通知を受信した後に、上記ステップS105により画像データのURLを送信してもよい。
【0110】
続いて、電子黒板1aの送受信部11aは、ステップS105で受信した画像保存装置7に係るURLに対して、資料画像の画像データのアップロードを行う(ステップS109)。これにより、画像保存装置7の送受信部71は、画像データを受信する。そして、画像保存装置7の記憶・読出処理部79は、記憶部7000におけるURLに対して、画像データを記憶する(ステップS110)。
【0111】
続いて、図25に示されているように、画像保存装置7の送受信部71は、電子黒板1aに対して、資料画像の画像データのアップロードが完了した旨を示す完了通知を送信する(ステップS121)。これにより、電子黒板1aの送受信部11aが、完了通知を受信する。図25のうち、(A)は動画の共有を完了したときの電子黒板1aの画面例、(B)は動画のダウンロードを完了したときの電子黒板1bの画面例、(C)はケース1における動画再生開始時の電子黒板1aの画面例、(D)はケース1における動画再生開始時の電子黒板1bの画面例を示す図である。
【0112】
次に、電子黒板1aの送受信部11aは、通信管理システム5に対して、資料画像の画像データのアップロードが完了した旨を示す完了通知を送信する(ステップS122)。この完了通知には、ステップS104で受信された画像データのURLが含まれている。これにより、通信管理システム5の送受信部51は、完了通知を受信する。そして、送受信部51は、相手側の電子黒板1bに対して、URLを含む完了通知を転送する(ステップS123)。これにより、電子黒板1bの送受信部11bは、完了通知を受信する。
【0113】
次に、電子黒板1bの送受信部11bは、ステップS123で受信した画像保存装置7に係るURLに対して、資料画像の画像データのダウンロードを要求する旨を示す要求情報を送信する(ステップS124)。これにより、画像保存装置7の送受信部71は、要求情報を受信する。
【0114】
次に、画像保存装置7では、記憶・読出処理部79がURLに基づいて、記憶部7000から要求対象である資料画像の画像データを読み出す(ステップS125)。そして、送受信部71が、要求元である電子黒板1bに対して、要求対象である資料画像の画像データを送信する(ステップS126)。これにより、電子黒板1bの送受信部11bは、画像データのダウンロード(受信)を行う。そして、電子黒板1bの記憶・読出処理部19bは、ダウンロードした画像(動画)データを記憶部1000bに記憶する(ステップS127)。
【0115】
続いて、電子黒板1bの送受信部11bは、通信管理システム5に対して、画像データのダウンロード完了通知を送信する(ステップS128)。これにより、通信管理システム5の送受信部51は、電子黒板1bから送信された画像データのダウンロード完了通知を受信する。
【0116】
続いて、送受信部51は、電子黒板1aに対して、画像データのダウンロード完了通知を送信する(ステップS129)。これにより、電子黒板1aの送受信部11aは、通信管理システム5から送信された画像データのダウンロード完了通知を受信する。
【0117】
次に、判断部15aは、共有完了の判断処理を行う(ステップS130)。この処理に詳細については、図17に示されているフローチャートにて説明する。
【0118】
<共有完了を判断する処理のフローチャート>
図17は、第1の実施形態に係る共有完了を判断する処理のフローチャートである。ステップS130で、電子黒板1aの判断部15aは、以下の処理を行う。
【0119】
まず、送受信部11aは、画像(動画)データのダウンロード完了通知を受信する(ステップS130-1)
続いて、判断部151aは、全ての拠点からダウンロード完了通知を受信したか否かを判断する(ステップS130-2)。
【0120】
全ての拠点からダウンロード完了通知が受信されたと判断された場合(ステップS130-2;YES)、表示制御部(再生部)14aは、図25(A)に示されているように、ディスプレイ180に、共有完了を示す旨の表示b1を表示してこのフローを抜ける(ステップS130-3)。
【0121】
全ての拠点からダウンロード完了通知が受信されていないと判断された場合(ステップS130-2;NO)、判断部151aは、ダウンロード完了通知についてタイムアウトか否かをさらに判断する(ステップS130-4)。
【0122】
ダウンロード完了通知についてタイムアウトと判断された場合(ステップS130-4;YES)、表示制御部(再生部)14aは、ディスプレイ180に、共有エラーを示す旨を表示してこのフローを抜ける(ステップS130-5)。
【0123】
一方、ダウンロード完了通知についてタイムアウトと判断されない場合(ステップS130-4;NO)、判断部151aは、ステップS130-2の処理に戻り、全ての拠点からダウンロード完了通知を受信されたか否かの判断を繰り返す。
【0124】
図16に戻り、表示制御部(再生部)14aは、ディスプレイ180に画像データ共有完了を示す旨の内容を表示する(ステップS131)。
【0125】
<電子黒板間の時間差の算出処理及び動画の再生処理>
本実施形態に係る通信システムにおいて、共有したデータが動画を示す動画データであった場合に以下の処理を行い、動画の再生箇所の同期をとるようにする。図18は、第1の実施形態に係る時間差の算出処理及び動画の再生処理を示したシーケンス図である。なお、図18のシーケンス図において、電子黒板1a、通信管理システム5及び電子黒板1bは、それぞれが有する固有の時計を用いて内部の時刻管理を実行する。そのため、各々に対して時刻のずれが生じることを前提とする。
【0126】
まず、電子黒板1aの送受信部11aは、通信管理システム5に対して時間差の問合せを示す問合せ情報を送信する(ステップS141)。これにより、通信管理システム5の送受信部51は、電子黒板1aから送信された時間差の問合せ情報を受信する。ステップS141で送信された時間差の問合せ情報は、第1の問合せ情報の一例である。
【0127】
次に、送受信部51は、電子黒板1aから送信された時間差の問合せ情報に対する応答として、受信時刻情報及び応答時刻情報を電子黒板1aに送信する(ステップS142)。これにより、電子黒板1aの送受信部11aは、通信管理システム5から時間差の問合せに対する応答として受信時刻情報及び応答時刻情報を受信する。ステップS142で受信された時間差の問合せに対する応答は、第1の応答情報の一例である。
【0128】
続いて、電子黒板1aの算出部16aは、受信した受信時刻情報及び応答時刻情報から通信管理システム5との時間差を算出する(ステップS143)。時間差の算出については、図19にて詳述する。
【0129】
ステップS143で算出された時間差は、第1の時間差の一例である。なお、このステップS143の処理において、後述する往復の通信に要する時間も考慮する必要があるが、電子黒板1a及び電子黒板1bとの間の互いの時計が管理する時間差の方が十分に大きければ(十分に無視できる値であれば)、算出部16aは、往復の通信に要する時間を無視して計算してもよい。そこで、本実施形態では、以降、往復の通信に要する時間を無視した上で時間差を算出する例を示す。
【0130】
<往復時間及び時間差の算出の考え方>
図19は、NTPの基本概念について説明した図である。NTP(Network Time Protocol)とは、ネットワークに接続されたコンピュータや各種機器の時刻同期に用いられるプロトコルで、RFC 5905*1やRFC 7822*2で標準化されているものである。
【0131】
<<算出公式>>
図19に示されているように、電子黒板1aの時計が示す時刻と通信管理システム5の時計が示す時刻の時間差の算出方法について、以下の各式を用いて説明する。但し、時間差の算出にあたっては、図19で示された場合のほかに、通信管理システム5の時計が示す時刻と電子黒板1bの時計が示す時刻の時間差を算出する場合であってもよい。なお、それぞれの時刻T1,T2,T3及びT4は、以下の時刻を示すものとする。
T1・・・電子黒板1aが送信する問合せの送信時刻
T2・・・通信管理システム5が受信する問合せの受信時刻
T3・・・通信管理システム5が送信する応答の送信時刻
T4・・・電子黒板1aが受信する応答の受信時刻
●往復時間の算出公式
【0132】
【数1】
【0133】
●時刻差の算出公式
【0134】
【数2】
【0135】
図18に戻り、通信管理システム5の送受信部51は、電子黒板1bに対して時間差の問合せ情報を送信する。(ステップS144)。これにより、電子黒板1bの送受信部11bは、通信管理システム5から時間差の問合せ情報を受信する。なお、ステップS144で送信される時間差の問合せ情報は、第2の問合せ情報の一例である。
【0136】
続いて、電子黒板1bの送受信部11bは、ステップS144で受信した時間差の問合せ情報に応じて、時間差の問合せに対する応答としての応答情報を通信管理システム5に送信する(ステップS145)。これにより、通信管理システム5の送受信部51は、電子黒板1bから送信された時間差の問合せに対する応答としての応答情報を受信する。この応答情報には、ステップS144で受信した問合せ情報の受信時刻を示す問合せ受信時刻情報、及び応答情報の送信時刻を示す応答送信時刻情報が含まれる。なお、ステップS145で送信された応答情報は、第2の応答情報の一例である。さらに、ステップS145で送信された応答情報に含まれる問合せ受信時刻情報は、第2の問合せ受信時刻情報の一例であり、ステップS145で送信された応答情報に含まれる応答送信時刻情報は、第2の応答送信時刻情報の一例である。
【0137】
ここで、上述した電子黒板1bが実行するステップS144及びS145の処理は、電子黒板1aが実行するステップS141~S143までの処理と非同期の関係であるため、ステップS141~S143の間のどのタイミングで実行されてもよい。
【0138】
次に、通信管理システム5の算出部56は、受信した問合せ受信時刻情報及び応答送信時刻情報に基づいて、電子黒板1bとの時間差の算出を行う(ステップS146)。ステップS145で算出された通信管理システム5と電子黒板1bとの時間差である時間差情報は、第2の時間差情報の一例である。なお、算出部56は、算出手段の一例として機能する。
【0139】
続いて、送受信部51は、ステップS145で算出された通信管理システム5と電子黒板1bとの時間差である時間差情報を電子黒板1aに対して送信する(ステップS147)。これにより。電子黒板1aの送受信部11aは、通信管理システム5から送信された時間差情報を受信する。
【0140】
続いて、算出部16aは、上述した(式2)を利用して、ステップS143で算出した時間差(第1の時間差情報)、及びステップS147で受信した時間差情報(第2の時間差情報)に基づいて、電子黒板1bとの時間差の算出を行う(ステップS148)。
【0141】
続いて、送受信部11aは、ステップS148で実行された時間差の算出処理の後、通信管理システム5に対して動画の再生開始通知を送信する(ステップS149)。これにより、通信管理システム5の送受信部51は、電子黒板1aから送信された動画の再生開始通知を受信する。この動画の再生開始通知には、ステップS148で算出された時間差を示す時間差情報、電子黒板1a及び電子黒板1bで共有された動画の再生開始時刻を示す再生開始時刻情報、及び動画ファイルのファイル名が含まれる。
【0142】
ステップS149で動画の再生開始通知を受信した通信管理システム5では、送受信部51が、電子黒板1bに対して、受信された動画の再生開始通知を送信する(ステップS150)。これにより、電子黒板1bの送受信部11bは、通信管理システム5から送信された動画の再生開始通知を受信する。このときに受信する動画の再生開始通知には、ステップS149で電子黒板1aから送信された時間差情報、再生開始時刻情報及びファイル名が含まれる。
【0143】
ステップS150で動画の再生開始通知を受信すると、送受信部11bは、動画の再生開始通知に対する応答通知として応答情報を通信管理システム5に送信する(ステップS151)。これにより、通信管理システム5の送受信部51は、電子黒板1bから送信された応答通知としての応答情報を受信する。
【0144】
続いて、送受信部51は、電子黒板1aに対して、受信した応答通知としての応答情報を送信する(ステップS152)。これにより、電子黒板1aの送受信部11aは、通信管理システム5から送信された応答通知としての応答情報を受信する。
【0145】
なお、上述したステップS149の処理において、電子黒板1aの送受信部11aは、動画の再生時に表示される一般に知られたタイムカウンタ(例えば、「00:00:00」、「01:23:45」等を示すカウンタ値)を、再生開始通知に含めて通信管理システム5に送信してもよい。この場合、通信管理システム5の送受信部51は、ステップS150の処理において、上述したタイムカウンタを再生開始通知に含めて電子黒板1bに対して送信する。
【0146】
さらに、上述したステップS152での送受信部11aにおける応答通知(応答情報)の受信は、ステップS149で電子黒板1aから送信された動画再生の開始通知に対する応答を念のために確認する受信処理である。そのため、電子黒板1aにおいては、ステップS152の処理は必ずしも実行されなくてもよい。
【0147】
ステップS152の処理の後、表示制御部(再生部)14aは、動画の再生処理を行う(ステップS153-1)。このときの電子黒板1aにおける再生画面を図25(C)に示す。図25(C)では、表示制御部(再生部)14aは、ディスプレイ180上に動画再生時刻「13:00:00」、タイムカウンタ「00:00:00」を表示する。つまり、13:00:00に、動画の先頭「00:00:00」から再生するという処理を表す情報をb1として表示する。このとき、再生される動画のファイル名をあわせて表示してもよい。
【0148】
ステップS151で動画の再生開始通知に対する応答通知を送信した電子黒板1bの表示制御部(再生部)14bは、電子黒板1bの時計を用いて受信した再生開始時刻情報が示す時刻に、共有した動画を電子黒板1bのディスプレイ180上に再生する(ステップS153-2)。このときの電子黒板1bにおける再生画面を図25(D)に示す。図25(D)では、表示制御部(再生部)14bは、ディスプレイ180上に動画再生時刻「13:00:02」、タイムカウンタ「00:00:00」を表示する。つまり、13:00:02に、動画の先頭を示すタイムカウンタ「00:00:00」から再生するという処理を表す情報をb1として表示する。このとき、再生される動画のファイル名をあわせて表示してもよい。
【0149】
ステップS153-2では、記憶・読出し処理部19bは、記憶部1000bにダウンロードされた共有動画のファイルを読み出す。このとき、記憶・読出し処理部19bは、ダウンロードされた動画ファイルのファイル名を画像保存装置7に問合せすることなく記憶部1000bから読み出してもよい。その場合、記憶・読出し処理部19bは、最後にダウンロードされた最新ファイルを次に読み出すべきファイルとして管理する。このようにすることで、ステップS153-2の処理では、ファイル名を指定しなくても記憶・読出し処理部19bによって読み出すべきファイルを読み出すことが可能となる。
【0150】
なお、電子黒板1bが共有した動画を再生する処理については、ステップS150で受信した時間差情報、再生開始時刻情報及びタイムカウンタ値に基づいて決定される。以下、図20を用いて、電子黒板1bにおける動画再生処理について説明する。
【0151】
<電子黒板1bのファイル読出し及び動画再生処理のフローチャート>
図20は、第1の実施形態に係るファイルの読出し及び動画の再生処理のフローチャートである。電子黒板1bが受信した時間差情報には、時間差がゼロ(0)の場合、時間差が正の値の場合及び時間差が負の値の場合の3通りが考えられる。図20では、この考え方にしたがって、以下の各処理を説明している。まず、電子黒板1bの記憶・読出し処理部19bは、ステップS150で受信したファイル名又は最後に記憶されたファイル名が示す動画ファイルを記憶部1000bから読み出す(ステップS153-21)。
【0152】
続いて、判断部15bは、ステップS150で受信した時間差情報がゼロ(0)であるか否かを判断する(ステップS153-22)。時間差情報がゼロの場合(ステップS153-22;YES)、表示制御部(再生部)14bは、再生開始時刻に、ステップS150で受信した再生開始時刻情報を与える。さらに、表示制御部(再生部)14bは、タイムカウンタに「00:00:00」を与えて、このフローを抜ける(ステップS153-23)。
【0153】
一方、時間差情報がゼロでない場合(ステップS153-22;NO)、判断部15bは、時間差情報が正の値であるか否かを判断する(ステップS153-24)。時間差情報が正の値(ケース1)である場合(ステップS153-24;YES)、表示制御部(再生部)14bは、再生開始時刻に、ステップS150で受信した再生開始時刻情報に受信した時間差情報を加えた値(情報)を与える。さらに、表示制御部(再生部)14bは、タイムカウンタに「00:00:00」を与えてこのフローを抜ける(ステップS153-25)。
【0154】
時間差情報が負の値(ケース2)である場合(ステップS153-24;NO)、表示制御部(再生部)14bは、再生開始時刻に、ステップS150で受信した再生開始時刻情報を与える。さらに、表示制御部(再生部)14bは、タイムカウンタとして、「00:00:00」に受信した時間差情報の絶対値を加えた値(情報)を与えてこのフローを抜ける(ステップS153-26)。
【0155】
上述したステップS153-25の処理、すなわちケース1とした場合の処理は、ステップS153-24で判断された時間差情報が正の値の場合である。これは、電子黒板1aの時刻が電子黒板1bの時刻よりも遅れている(電子黒板1bの時刻が電子黒板1aの時刻よりも進んでいる)場合を表すものである。
【0156】
一方、上述したステップS153-26の処理、すなわちケース2とした場合の処理は、ステップS153-24で判断された時間差情報が負の値の場合である。これは、電子黒板1aの時刻が電子黒板1bの時刻よりも進んでいる(電子黒板1bの時刻が電子黒板1aの時刻よりも遅れている)場合を表すものである。以下、図21及び図22を用いて、それぞれのケースにおける具体的な処理について説明する。
【0157】
図21は、第1の実施形態に係る動画再生時の処理を示したシーケンス図(ケース1)である。まず、電子黒板1aの時刻が12:00:00を指しているとき、通信管理システム5の時刻は12:00:01を指しているとする。さらに、電子黒板1bの時刻は12:00:03を指しているとする。
【0158】
図21に示されたケース1では、図19に示したNTPの基本概念図及び(式2)により、電子黒板1aと電子黒板1bとの間には01秒の時間差があり、電子黒板1aの時刻が電子黒板1bの時刻よりも遅れている(電子黒板1bの時刻が電子黒板1aの時刻よりも進んでいる)ことがわかる。例えば、具体的な数値を例に検証すると、
T1・・・電子黒板1aが送信する問合せの送信時刻=12:00:01
T2・・・通信管理システム5が受信する問合せの受信時刻=12:00:03
T3・・・通信管理システム5が送信する応答の送信時刻=12:00:04
T4・・・電子黒板1aが受信する応答の受信時刻=12:00:04
とした場合、(式2)より、電子黒板1aと通信管理システム5との時間差tは、
t={(T3+T2)-(T1+T4)/2
={(12:00:04+12:00:03)-(12:00:01+12:00:04)}/2
=00:00:01
となり、+01秒の時間差が求められる。同様に、通信管理システム5と電子黒板1bとの間の時間差も求めることができ、その場合の時間差は、+02秒として求められる。つまり、電子黒板1aと電子黒板1bとの間には、+03秒の時間差があると求めることができる。以下、後述するケース2の時間差についても同様に求めることができる。
【0159】
つまり、図21では、電子黒板1aの送受信部11aは、上述したステップS149において開始時刻情報=13:30:00、時間差情報=+00:00:01を、通信管理システム5に対して送信する。
【0160】
同様に、通信管理システム5の送受信部51は、上述したステップS150において開始時刻情報=13:30:00、時間差情報=+00:00:03を電子黒板1bに対して送信する。なお、ここでの時間差情報は、電子黒板1aと通信管理システム5との時間差、及び通信管理システム5と電子黒板1bとの時間差の和としての値になる。
【0161】
電子黒板1bの判断部15b及び算出部16bは、図20のフローチャートより、
●再生開始時刻=受信した再生開始時刻情報+受信した時間差情報
=13:30:00+00:00:03
=13:30:03
●タイムカウンタ=00:00:00
として算出する(ステップS153-25参照)。
【0162】
上述したステップS153-1の処理において、電子黒板1aの表示制御部(再生部)14aは、電子黒板1bと共有した動画を、再生開始時刻「13:30:00」、タイムカウンタ「00:00:00」から再生する(ステップS153-1)。なお、タイムカウンタは必ずしも00:00:00からではなく、後述する動画再生の一時停止後の再生時などのように、任意の値を与えてもよい。
【0163】
電子黒板1aにおいてステップS153-1の処理が実行されると、電子黒板1bの表示制御部(再生部)14aは、ステップS150で受信した時間差情報「+00:00:03」、再生開始時刻情報「13:30:00」、タイムカウンタ「00:00:00」に基づいて算出された再生開始時刻「13:30:03」、タイムカウンタ「00:00:00」から共有した動画を再生する(ステップS153-2)。このときの電子黒板1bのディスプレイ180上に表示される画面例は、図25(C)に示すとおりである。
【0164】
図22は、第1の実施形態に係る動画再生時の処理を示したシーケンス図(ケース2)である。まず、電子黒板1aの時刻が12:00:00を指しているとき、通信管理システム5の時刻は11:59:59を指しているとする。さらに、電子黒板1bの時刻は11:59:58を指しているとする。この場合も図21に示されたケース1の場合と同様に、電子黒板1aと電子黒板1bとの間の時間差を-00:00:02と算出することができる。算出方法はケース1の場合と同様であるため、詳細は省略する。
【0165】
電子黒板1bの判断部15b及び算出部16bは、図20のフローチャートより、
●再生開始時刻=受信した再生開始時刻情報
=13:30:00
●「00:00:00」+受信した時間差情報の絶対値
=00:00:00+00:00:02
=00:00:02
として算出する(ステップS153-26参照)。ケース2のタイムカウンタを算出する処理において、受信した時間差情報が負の値である場合は、「00:00:00」にその絶対値を加算する。つまり、電子黒板1a及び電子黒板1bの互いの時計の同時刻で動画を再生させる代わりに、電子黒板1b側で、再生される動画のタイムカウンタを受信した時間差情報分ずらして(進ませて)動画を再生させる。
【0166】
つまり、図22では、電子黒板1aにおいてステップS153-1の処理が実行されると、電子黒板1bの表示制御部(再生部)14aは、ステップS150で受信した時間差情報「-00:00:02」、再生開始時刻情報「13:30:00」、タイムカウンタ「00:00:00」に基づいて算出された再生開始時刻「13:30:00」、タイムカウンタ「00:00:02」から再生する(ステップS153-2)。このときの電子黒板1bのディスプレイ180上に表示される画面例は、図27(B)に示すとおりである。一方で、図27(A)は、電子黒板1aのディスプレイ180上に表示される画面例である。これらの画面例において、ストローク画像st2が互いに一致していない理由は、電子黒板1aが示す時刻情報と電子黒板1bが示す時刻情報の間に時間差があるためである。つまり、その時間差の吸収用として動画再生を開始させるタイムカウンタを変えているために表示される画面が異なるのである。このような処理を行うことで、電子黒板1aと電子黒板1bで再生されている動画の同期をとることができ、共有した動画に対して、同時刻に、同じ再生画面を共有することができる。
【0167】
上述したように、電子黒板1bの算出部16bは、電子黒板1aと電子黒板1bが共有した所定の動画の再生を開始する時刻を示す再生開始時刻情報を、電子黒板1aと電子黒板1bの時間差を示す時間差情報に応じて算出する。これにより、電子黒板1aと電子黒板1bの各々によって管理される現在時刻に時間差がある場合でも、互いの動画再生のタイミングの同期を取ることが可能になる。
【0168】
<ストローク画像の通信処理及び動画表示の一時停止処理>
図23は、第1の実施形態に係るストローク画像の表示処理及び動画の一時停止処理を示したシーケンス図である。また、図26(C)はケース1における動画再生を一時停止した電子黒板1aの画面例、図26(D)はケース1における動画再生を一時停止した電子黒板1bの画面例を示す図である。さらに、図28(C)はケース2における動画再生を一時停止した電子黒板1aの画面例、図28(D)はケース2における動画再生を一時停止した電子黒板1bの画面例を示す図である。
【0169】
拠点Aでは、利用者A1が、電子ペン190や手Hを電子黒板1aのディスプレイ180上に接触して移動させることで、受付部12aが、移動のストローク(軌跡)の入力を受け付ける(ステップS171)。そして、画像処理部17aがストロークに基づいて、2次元のディスプレイ180上にストローク画像を表示させるためのストロークデータ(例えば、座標データ(x,y))を作成すると共に、表示制御部(再生部)14aが電子黒板1aのディスプレイ180上にストローク画像を表示させる(ステップS172)。これにより、図26(C)に示されているように、ストローク画像st1が表示される。
【0170】
次に、送受信部11aは、通信管理システム5に対して、ステップS111で作成されたストローク画像を再生するためのストロークデータを送信する(ステップS173)。これにより、通信管理システム5の送受信部51は、ストローク画像のストロークデータを受信する。そして、通信管理システム5では、記憶・読出処理部59が、ストロークデータを記憶する(ステップS174)。
【0171】
次に、送受信部51は、相手側の電子黒板1bに対して、ストロークデータを転送する(ステップS175)。これにより、電子黒板1bの送受信部11bは、ストロークデータを受信する。そして、電子黒板1bでは、画像処理部17bがストロークデータに基づいてストローク画像を作成し、表示制御部(再生部)14bが電子黒板1bのディスプレイ180上にストローク画像を表示させる(ステップS176)。これにより、図26(D)に示されているように、相手側の電子黒板1aと同じストローク画像st1が表示される。
【0172】
さらに、拠点Aの利用者A1が再生中の動画を一時停止させるための処理を行うと、電子黒板1aの受付部12aはその処理を受け付け、その後、表示制御部(再生部)14a、再生中の動画を一時停止させるとともに、送受信部11aは、動画の再生を停止させた時刻を示す停止時刻情報を通信管理システム5に対して送信する(ステップS177)。これにより、通信管理システム5の送受信部51は、電子黒板1aから送信された停止時刻情報を受信する。このときの電子黒板1aのディスプレイ180上には、例えば、図26(C)に示されている動作一時停止時刻「13:40:08」、及び停止した時の動画のタイムカウンタ「00:10:08」がb1として表示される。
【0173】
ステップS177で停止時刻情報を受信すると、通信管理システム5の送受信部51は、受信した停止時刻情報を電子黒板1bに対して送信する(ステップS178)。これにより、電子黒板1bの送受信部11bは、通信管理システム5から送信された停止時刻情報を受信する。このときの電子黒板1aのディスプレイ180上には、ケース1の場合では、例えば、図26(D)に示されている動作一時停止時刻「13:40:11」、及び停止した時の動画のタイムカウンタ「00:10:08」がb1として表示される。同様に、ケース2の場合では、例えば、図28(D)に示されている動作一時停止時刻「13:40:08」、及び停止した時の動画のタイムカウンタ「00:10:08」がb1として表示される。
【0174】
〔実施形態の主な効果〕
以上説明したように、第1の実施形態によれば、電子黒板1aは、再生開始通知として、電子黒板1a及び電子黒板1bの各々によって管理される現在時刻の時間差を示す時間差情報及び電子黒板1aと電子黒板1bが所定の動画の再生を開始する時刻を示す再生開始時刻情報を、通信管理システム5に対して送信する(S149)。さらに、再生開始時刻情報が示す時刻に、電子黒板1bと共有した所定の動画をディスプレイ180に再生するとともに、再生開始時刻情報をディスプレイ180に表示する(S153-1)。これにより、電子黒板1aは、電子黒板1bと共有した動画を再生する際に、電子黒板1bが電子黒板1aの再生タイミングと同期して共有した動画を再生させることができるようになる。つまり、同時刻において電子黒板1aで再生される動画と電子黒板1bで再生される動画の内容を一致させることができるようになるため、音声付きの動画が再生されている場合でも、複数の拠点において円滑なコミュニケーションを実現することができるという効果を奏する。
【0175】
〔第2の実施形態〕
次に、図29を用いて、第2の実施形態に係る通信システムにおける処理又は動作を説明する。図29は、第2の実施形態に係る時間差の算出処理及び動画の再生処理を示したシーケンス図である。
【0176】
図29におけるステップS201~S205までの処理は、図18で示されているステップS141~S145までの処理と同様であるので、詳細の説明を省略する。
【0177】
第1の実施形態との差異は、第1の実施形態では、通信システム5と電子黒板1bとの時間差の算出を通信管理システム5の算出部56が実行していた(図18;ステップS146参照)が、第2の実施形態では、送受信部51が、ステップS205で受信された時間差の問合せに対する応答情報に含まれる問合せ受信時刻情報及び応答送信時刻情報を、電子黒板1aに送信する(ステップS206)。これにより、電子黒板1aの送受信部11aは、通信管理システム5から送信された問合せ受信時刻情報及び応答送信時刻情報を受信する。
【0178】
その後、算出部16aは、ステップS203で算出した時間差、及びステップS206で受信された問合せ受信時刻情報及び応答送信時刻情報に基づいて、電子黒板1aと電子黒板1bとの時間差を算出する(ステップS207)。
【0179】
その後のステップS149~ステップS153-2までの処理は、第1の実施形態で説明された図18の内容と同様であるので、詳細の説明を省略する。また、第2の実施形態における電子黒板1a及び電子黒板1bの各ディスプレイ180上に表示、再生される内容については、図24乃至図28に示された内容と同様であるので、詳細の説明を省略する。
【0180】
〔実施形態の主な効果〕
以上説明したように、第2の実施形態によれば、通信管理システム5が実行する、通信管理システム5と電子黒板1bとの時間差を算出するための処理(図18のステップS146参照)に代わり、電子黒板1aの算出部16aが実行する(ステップS207)。これにより、通信管理システム5は、電子黒板1bとの時間差を算出する算出部56を有する必要がなく、システムを簡略化できる。さらに、電子黒板1aの算出部16aが、通信管理システム5との時間差と電子黒板1bとの時間差をともに算出するため、システム全体の処理の複雑化も回避できるという効果を奏する。
【0181】
〔実施形態の補足〕
上記実施形態では、通信端末の一例として、電子黒板であるオフィス機器について説明したが、これに限るものではない。通信端末の他の例として、PC、スマートフォン、スマートウォッチ、カーナビゲーション端末等が含まれる。更に、通信端末には、医療機器が含まれる。医療機器の場合には、資料画像が患者の画像となる。
【0182】
また、上記実施形態では、通信システムによってビデオ会議をする場合について説明したが、これに限るものではなく、打合せ、家族間や友人間等の一般的な会話、遠隔診断、又は、一方向での情報の提示に使用されても構わない。
【0183】
また、上述した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU(Graphics Processing Unit)や従来の回路モジュール等のデバイスを含むものとする。
【符号の説明】
【0184】
1a 電子黒板(通信端末の一例)
1b 電子黒板(通信端末の一例)
3 中継装置
5 通信管理システム
7 画像保存装置
11a 送受信部(送信手段の一例、受信手段の一例)
11b 送受信部(送信手段の一例、受信手段の一例)
14a 表示制御部(再生部)(表示制御手段の一例、再生手段の一例)
14b 表示制御部(再生部)(表示制御手段の一例、再生手段の一例)
15a 判断部(判断手段の一例)
15b 判断部(判断手段の一例)
16a 算出部(算出手段の一例)
16b 算出部(算出手段の一例)
51 送受信部(送信手段の一例、受信手段の一例)
52 認証部(認証手段の一例)
53 生成部(生成手段の一例)
54 選択部(選択手段の一例)
55 判断部(判断手段の一例)
56 算出部(算出手段の一例)
5001 認証管理DB
5002 端末管理DB
5003 宛先リスト管理DB
5004 セッション管理DB
5005 中継装置管理DB
【先行技術文献】
【特許文献】
【0185】
【文献】特開2017-167888号公報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29