IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧

特許7581683通信端末、情報通信システム、画像処理方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-05
(45)【発行日】2024-11-13
(54)【発明の名称】通信端末、情報通信システム、画像処理方法及びプログラム
(51)【国際特許分類】
   G06F 3/04883 20220101AFI20241106BHJP
   H04N 7/15 20060101ALI20241106BHJP
   G06F 3/0481 20220101ALI20241106BHJP
【FI】
G06F3/04883
H04N7/15 150
G06F3/0481
【請求項の数】 11
(21)【出願番号】P 2020124351
(22)【出願日】2020-07-21
(65)【公開番号】P2022021017
(43)【公開日】2022-02-02
【審査請求日】2023-05-11
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】110000420
【氏名又は名称】弁理士法人MIP
(72)【発明者】
【氏名】河崎 佑一
(72)【発明者】
【氏名】中村 滋
【審査官】菅原 浩二
(56)【参考文献】
【文献】米国特許出願公開第2018/0203556(US,A1)
【文献】米国特許出願公開第2019/0286255(US,A1)
【文献】特開2015-165398(JP,A)
【文献】特開2014-035670(JP,A)
【文献】特開2015-106333(JP,A)
【文献】特開2018-116411(JP,A)
【文献】特開2018-067018(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/048ー3/04895
H04N 7/15
(57)【特許請求の範囲】
【請求項1】
情報処理装置が送信した画像データにより表される画像が表示される第1の画面を表示手段に表示させる通信端末であって、
前記第1の画面上の座標の入力により描画された入力画像を受け付ける受付手段と、
前記受付手段によって受け付けられた前記入力画像の入力が所定の条件を満たす場合に、前記画像データにより表される画像と前記入力画像とを含めた前記第1の画面を取り込んで取込画像とし、前記表示手段に表示させる内容を、前記第1の画面から、前記取込画像が表示される第2の画面に切り替える取込手段と、
を有する通信端末。
【請求項2】
請求項1に記載の通信端末であって、
前記表示手段と、
前記画像データにより表される画像及び前記入力画像を前記表示手段に表示させている状態で前記入力画像を消去する場合に、前記画像データにより表される画像を前記表示手段に残して表示させる表示制御手段と、
を有する通信端末。
【請求項3】
前記表示手段には、前記画像データにより表される画像を表示させる画像レイヤと前記入力画像を表示させる画像レイヤとが独立して備えられ、
前記表示制御手段は、
前記入力画像が消去される場合に、前記入力画像を表示させる画像レイヤの内容を消去する、
ことを特徴とする請求項2に記載の通信端末。
【請求項4】
請求項1乃至3のいずれか一項に記載の通信端末であって、
前記画像データにより表される画像と前記入力画像とを含めた前記第1の画面を取り込むために選択される取込選択手段と、
を有し、
前記取込手段は、前記取込選択手段が選択されない場合でも、前記入力画像の入力が所定の条件を満たす場合に、前記画像データにより表される画像と前記入力画像とを含めた前記第1の画面を取り込む、
ことを特徴とする通信端末。
【請求項5】
請求項1乃至4のいずれか一項に記載の通信端末であって、
前記所定の条件は、前記入力画像の入力に係る入力時間又は距離が所定の閾値以上である、
ことを特徴とする通信端末。
【請求項6】
請求項1乃至4のいずれか一項に記載の通信端末であって、
前記所定の条件は、前記入力画像の入力と次の入力画像の入力との時間間隔が所定の閾値以上である、
ことを特徴とする通信端末。
【請求項7】
請求項2または3に記載の通信端末であって、
前記所定の条件は、前記受付手段により前記表示手段に対する前記入力画像の入力が受け付けられてから前記入力画像の入力の受付が最初に中断されたときである、
ことを特徴とする通信端末。
【請求項8】
前記受付手段は、利用者が用いる所定の器具又は前記利用者の身体の一部によって入力された前記入力画像の入力を受け付けることを特徴とする請求項1乃至7のいずれか一項に記載の通信端末。
【請求項9】
情報処理装置と、
前記情報処理装置が送信した画像データにより表される画像が表示される第1の画面を表示手段に表示させる通信端末と、
を有する情報通信システムであって、
前記通信端末は、
前記第1の画面上の座標の入力により描画された入力画像を受け付ける受付手段と、
前記受付手段によって受け付けられた前記入力画像の入力が所定の条件を満たす場合に、前記画像データにより表される画像と前記入力画像とを含めた前記第1の画面を取り込んで取込画像とし、前記表示手段に表示させる内容を、前記第1の画面から、前記取込画像が表示される第2の画面に切り替える取込手段と、
を有する情報通信システム。
【請求項10】
情報処理装置が送信した画像データにより表される画像が表示される第1の画面を表示手段に表示させる通信端末が実行する画像処理方法であって、
前記第1の画面上の座標の入力により描画された入力画像を受け付ける受付ステップと、
前記受付ステップによって受け付けられた前記入力画像の入力が所定の条件を満たす場合に、前記画像データにより表される画像と前記入力画像とを含めた前記第1の画面を取り込んで取込画像とし、前記表示手段に表示させる内容を、前記第1の画面から、前記取込画像が表示される第2の画面に切り替える取込ステップと、
を含む画像処理方法。
【請求項11】
コンピュータを、請求項1乃至8のいずれか一項に記載の通信端末の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信端末、情報通信システム、通信方法及びプログラムに関する。
【背景技術】
【0002】
インターネット等の通信ネットワークを介して遠隔地との間で通信する通信システムが普及している。この通信システムとしては、例えば、企業や教育機関、行政機関等において遠隔会議を行う会議システムが挙げられる。また、会議システムでは、ディスプレイに画像を表示させ、この画像の上に、ユーザが、文字、数字及び図形等のストローク画像を描画する電子黒板等の通信端末が利用されている(例えば、特許文献1参照)。このストローク画像は、通信端末が利用者により電子ペンや手でディスプレイ上に接触して移動させることで描かれた内容を電子的に変換して、座標データ等のストロークデータを生成することによって描画される。さらに、一方の通信端末でストローク画像が描画された場合、そのストローク画像を再生するためのストロークデータを通信ネットワークを介して他方の通信端末に送信することで、他方の通信端末でも同じストローク画像を表示することができる。
【0003】
上述した技術に加えて、ストローク画像等の画像が表示された画面を取り込む場合、ポップアップメニュー421に含まれる全体取得ボタン422と一部取得ボタン423のうち、全体取得ボタン422が押下されると、資料表示アプリ11の画面41の全体が取り込まれる技術が知られている(例えば、特許文献2参照)。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、これまでの通信端末は、通信端末と通信する情報処理装置が送信した画像が表示される画面を表示し、その画面を取り込む場合、利用者は、通信端末に設定されたカメラボタンを一例とする取込選択手段への操作を予め行わなければならない。ところが、利用者がこの取込選択手段への操作を忘れた状態で画面上での入力画像の入力が続けられた場合、情報処理装置が送信する画像が変わると通信端末の画面の内容も変わるため、それまでに利用者が入力した入力画像の内容と表示された画面の内容との関係性が保てなくなるという課題が生じる。
【課題を解決するための手段】
【0005】
上述した課題を解決するために、請求項1に係る発明は、情報処理装置が送信した画像データにより表される画像が表示される画面を表示させる通信端末であって、前記画面上の座標の入力により描画された入力画像を受け付ける受付手段と、前記受付手段によって受け付けられた前記入力画像の入力が所定の条件を満たす場合に、前記画像データにより表される画像と前記入力画像を含めた前記画面を取り込む取込手段と、を有する通信端末を提供する。
【発明の効果】
【0006】
以上説明したように本発明によれば、表示されていた画面の内容が変わっても、画面に対して入力された入力画像の内容との関係性を保つことができるという効果を奏する。





【図面の簡単な説明】
【0007】
図1】本実施形態に係る通信ルートの一例を示す概略図である。
図2】電子黒板の使用イメージの一例を示す図である。
図3】(A)は電子黒板におけるPC画面を表示した各画像のレイヤ構成の一例を示す図、(B)は電子黒板における取込画面を表示した各画像のレイヤ構成の一例を示す図である。
図4】本実施形態に係る電子黒板のハードウェア構成の一例を示す図である。
図5】本実施形態に係るPC、中継装置、通信管理システム及び画像保存装置のハードウェア構成の一例を示す図である。
図6】本実施形態に係る通信システムの全体構成の一例を示す図である。
図7】本実施形態に係る通信システムの各機能ブロックの一例を示す図である。
図8】認証管理テーブルの一例を示す概念図である。
図9】端末管理テーブルの一例を示す概念図である。
図10】宛先リスト管理テーブルの一例を示す概念図である。
図11】セッション管理テーブルの一例を示す概念図である。
図12】中継装置管理テーブルの一例を示す概念図である。
図13】電子黒板間で遠隔通信を開始する準備段階の処理の一例を示すシーケンス図である。
図14】電子黒板1aで表示される宛先リストの画面例を示す図である。
図15】遠隔通信を開始する処理の一例を示すシーケンス図である。
図16】PC2と電子黒板1との間の処理の一例を示すシーケンス図である。
図17】資料画像の画像データ及びストローク画像のストロークデータを共有する処理の一例を示すシーケンス図である。
図18】資料画像の画像データのアップロード処理及びダウンロード処理の一例を示すシーケンス図である。
図19】(A)は電子黒板1aの画面例、(B)は電子黒板1bの画面例、(C)は電子黒板1aの画面例、(D)は電子黒板1bの画面例を示す図である。
図20】本実施形態に係る表示切替処理の一例を示すフローチャートである。
図21】(A)は電子黒板1aにおけるPC画面例、(B)は電子黒板1aにおけるペンモード画面例、(C)は電子黒板1aにおけるPC画面にストローク画像が描画された画面例、(D)は電子黒板1aにおけるマーカモード画面例を示す図である。
図22】本実施形態に係る表示切替処理及びモード切替処理の一例を示すフローチャートである。
図23】本実施形態に係る画面取込時の判断処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0008】
以下、図面を用いて、本発明の一実施形態について説明する。なお、図面の説明において重複する部分がある場合は、その説明を省略する。
【0009】
〔通信システムの概略〕
<通信ルート>
まず、図1を用いて、複数の電子黒板1a,1b間で描画しながらビデオ会議を行うための通信システムについて説明する。図1は、本実施形態に係る通信ルートの一例を示す概略図である。なお、「ビデオ会議」ではなく「テレビ会議」と呼ばれる場合もある。また、ここでは、一例として、ビデオ会議について説明するが、打合せや単なる会話等であってもよい。
【0010】
通信システムは、複数の電子黒板1a,1b、中継装置3、通信管理システム5、及び画像保存装置7によって構築されている。電子黒板1a,1bは、通話用の映像データ及び音データ、並びに、共有用の画像データ及びストロークデータ等のコンテンツデータの相互通信を行う。なお、ストロークデータは、ストローク画像を再生(再現)するために必要なデータであり、座標データ、線の幅データ、線の色データ、ベクトルデータ等が含まれる。電子黒板1a,1bは、通話用の映像データ及び音データの送受信により、相手側の映像及び音を再生することで、遠隔ビデオ通話が可能となる。
【0011】
電子黒板1a,1bは、共有用の資料画像の画像データを送受信することにより、通信システムを利用する参加者が、同じ資料画像を共有することができる。資料画像は、電子黒板1a,1bのディスプレイに表示される画像であり、会議の資料、ディスプレイに表示される背景画像、ディスプレイ画面を画面キャプチャされた場合のキャプチャ画面等の画像である。なお、本実施形態において、「資料画像」には動画としての映像が含まれてもよいが、説明の便宜上、単に「資料画像」と記載する。そのため、資料画像を示すデータには、資料画像データ及び資料映像データが含まれる。
【0012】
また、電子黒板1a,1bは、共有用のストローク画像のストロークデータを送受信することにより、通信システムを利用する参加者が、同じストローク画像を共有することができる。ストローク画像は、利用者によって電子ペン等を利用して描画された画像である。具体的には、ストローク画像は、手書きのストロークによって描画された点、又は線等で示された画像である。また、ストローク画像は、電子黒板1a,1bのディスプレイ上の座標を特定する点を示すストロークデータによって表示される。
【0013】
なお、通信システムは、二つの電子黒板1a,1bに限らず、三つ以上の電子黒板によって構築されてもよい。以降、電子黒板1a,1bの総称を示す場合は、「電子黒板1」と示す。
【0014】
図1では、電子黒板1a,1bの一例としてビデオ会議機能が搭載された電子黒板が示されている。なお、映像データの画像は、動画であっても静止画であってもよい。
【0015】
また、ビデオ会議の開始を要求する要求元としての電子黒板は「開始端末」と表され、要求先である宛先(中継先)としての電子黒板は「宛先端末」と表されている。図1では、電子黒板1aが開始端末として、電子黒板1bが宛先端末として表されている。但し、電子黒板1bからビデオ会議の開始を要求する場合は、電子黒板1bが開始端末となり、電子黒板1aが宛先端末となる。なお、各電子黒板1a,1bは、複数の事業所間での通信や、同じ事業所内の異なる室内間での通信だけでなく、同じ室内での通信、屋内と屋外及び屋外と屋外での通信のうち、いずれの環境で使用されてもよい。
【0016】
PC(Personal Computer)2は、電子黒板1a,1bのそれぞれに接続されるコンピュータであり、電子黒板1a,1bに対して資料映像(画像)となる映像(画像)データ、音データ等を送信する。また、PC2と電子黒板1a,1bは、VGA(登録商標、以下省略)、HDMI(登録商標、以下省略)等のインターフェイスケーブルで互いに接続される。なお、PC2は、本実施形態における情報処理装置の一例として機能する。
【0017】
中継装置3は、コンピュータによって構成され、電子黒板1a,1bの間に、通信又は通話用のコンテンツデータを中継する処理を行う。
【0018】
通信管理システム5は、コンピュータによって構成され、電子黒板1a,1bからのログイン認証、電子黒板1a,1bの通信状況の管理、宛先リストの管理、及び中継装置3の通信状況等を一元的に管理する。また、通信管理システム5は、複数の電子黒板1a,1b間で、共有用のストロークデータを中継する。
【0019】
画像保存装置7は、コンピュータによって構成され、電子黒板1aからアップロードされた共有用の資料画像の画像データを保存して、電子黒板1bにダウンロードする。また、この逆も実行される。即ち、画像保存装置7は、電子黒板1bからアップロードされた共有用の資料画像の画像データを保存して、電子黒板1aにダウンロードすることも可能である。
【0020】
なお、中継装置3、通信管理システム5及び画像保存装置7は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
【0021】
また、通信システムにおいて、電子黒板1a,1bとの間では、通信管理システム5を介して、各種の管理情報を送受信するための管理情報用セッションseiが確立される。また、電子黒板1a,1bとの間では、中継装置3を介して、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音データの四つの各データを送受信するための四つのセッションが確立される。図1では、これら四つのセッションをまとめて、画像・音データ用セッションsedとして示している。なお、画像・音データ用セッションsedは、必ずしも四つのセッションである必要はなく、四つのセッション数より少ない又は多いセッション数であってもよい。また、開始端末と宛先端末との間で、中継装置3を介さずに、直接、通信セッションを確立してもよい。
【0022】
さらに、通信システムにおいて、電子黒板1a,1bとの間では、管理情報用セッションseiを利用して、ストロークデータの送受信を行うことができる。
【0023】
ここで、本実施形態で扱われる映像データの解像度について説明する。低解像度の映像データは、例えば、縦が120画素、横が160画素からなり、ベース画像となる。中解像度の映像データは、例えば、縦が240画素、横が320画素からなる。高解像度の映像データは、例えば、縦が480画素、横が640画素からなる。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の映像データのみからなる低画質の映像データが中継される。帯域が比較的広い場合には、ベース画像となる低解像度の映像データ、及び中解像度の映像データからなる中画質の映像データが中継される。また、帯域が非常に広い場合には、ベース画像となる低解像度の映像データ、中解像度の映像データ、及び高解像度の映像データからなる高画質の映像データが中継される。なお、音データは、映像データに比べてデータ量が少ないため、狭帯域経路であっても中継される。
【0024】
<電子黒板の使用イメージ>
図2は、電子黒板の使用イメージの一例を示す図である。電子黒板1は、図2に示されているように、その下部側に複数のキャスタが設けられた脚部151、脚部151の上部側に設けられた支柱152、支柱152上部側に設けられた電子黒板1の本体153、及び本体153の前面に設けられたディスプレイ180によって構成されている。本体153には、後述のCPU101等が内蔵されている。そして、利用者は、電子ペン190等を用いて、ディスプレイ180に文字等のストローク画像を入力(描画)することができる。
【0025】
<電子黒板で表示される画像のレイヤ構成>
図3は、電子黒板で表示される画像のレイヤ構成を示す図である。図3(A)は、電子黒板におけるPC画面を表示した各画像のレイヤ構成の一例を示す図、図3(B)は電子黒板における取込画面を表示した各画像のレイヤ構成の一例を示す図である。ここで、PC画面とは、電子黒板1と接続されるPC2から送信された画像又は映像が電子黒板1のディスプレイ180に表示される際の画面であり、第1の画面ともいう。一方、取込画面とは、PC2のディスプレイ画面が利用者によって画面取込操作(画面キャプチャ操作)された場合のキャプチャ画面であり、第2の画面ともいう。なお、説明の便宜上、本実施形態では、便宜上、PC2から送信された画像又は映像を、単に「画像」と呼ぶ。
【0026】
図3(A)に示されているように、電子黒板1は、四つの画像レイヤを重畳(合成)する画像を作成する。各画像レイヤは、重なっても利用者が見える順に、左から、UI画像(L1)、共有ストローク画像(L2)、資料画像(L3)及び背景画像(L4)の各レイヤの構成となっている。これらのうち、UI画像(L1)のレイヤ及び背景画像(L4)のレイヤは、電子黒板1aだけで表示される画像レイヤであり、共有ストローク画像(L2)のレイヤ及び資料画像(L3)のレイヤは、相手側の電子黒板1bにも表示されて共有される画像レイヤである。なお、この画像レイヤとは別に、ピクチャー・イン・ピクチャーの技術により、相手側の拠点の映像が表示される。以下に、各画像レイヤについて説明する。なお、レイヤとは「Layer」をカタカナ表記したもので、画像をセル画のように重ねて使うことができる構造や状態を表す。そのため、レイヤは、日本語では層、重ね合わせ等の意味をもつ。
【0027】
UI画像(L1)のレイヤは、利用者が電子ペン190又は手Hで所定の入力又は選択を行うことができるように、ボタン、アイコン等を表示して入力又は選択等のUI(User Interface)操作を受け付ける画像レイヤである。ここでは、一例として、共有モードを選択する場合に押下等の操作(以下、単に「操作」ともいう)がされる「共有」アイコンa11、非共有モードを選択する場合に操作される「非共有」アイコンa12が表示されている。また、UI画面(L1)には、電子ペン190により描画される線の色や幅等が設定されるボタン、アイコン等も表示される。
【0028】
共有ストローク画像(L2)のレイヤは、利用者が電子ペン190又は手Hで描画したストローク画像を相手側の電子黒板1bと共有する場合(「共有モード」の場合)の画像レイヤである。この場合、電子黒板1aは、通信ネットワーク100を介して相手側の電子黒板1bにストロークデータを送ることで、自端末である電子黒板1aだけでなく他端末である電子黒板1bにも同じストローク画像を表示させることができる。ここでは、一例として、曲線矢印を示すストローク画像bが表示されている。
【0029】
資料画像(L3)のレイヤは、電子黒板1aに接続されるPC2等からの出力画像である資料画像を表示するための画像レイヤである。ここでは、円グラフを示す資料画像c1が表示されている。
【0030】
背景画像(L4)のレイヤは、各電子黒板1特有の背景画像を表示するための画像レイヤである。背景画像は、ストローク画像や資料画像と異なり基本的に変更されない画像であり、ディスプレイ180上に表示される画像の全体像の見栄えを良くするため等に使われる画像である。ここでは、一例として、常にディスプレイ180上に表示される文字である「理光電子黒板」を含むグリッド画像等の背景画像d1が表示されている。
【0031】
なお、電子黒板1bについても同様に、四つの画像レイヤが表示される。この場合も、UI画像(L1)、及び背景画像(L4)は、電子黒板1bだけで表示される画像レイヤであり、共有ストローク画像(L2)及び資料画像(L3)は、相手側の電子黒板1aにも表示されて共有される画像レイヤである。
【0032】
一方、図3(B)も同様に、電子黒板1は、四つの画像レイヤを重畳(合成)する画像を作成する。各画像レイヤは、重なっても利用者が見える順に、左から、UI画像(L1)、共有ストローク画像(L2)、資料画像(L3)及び背景画像(L4)の各レイヤの構成となっている。但し、電子黒板における取込画面を表示した図3(B)では、図3(A)との相違点として、資料画像(L3)のレイヤにおいて資料画像c1が非表示(点線にて図示した状態)となり、背景画像d1に資料画像c1がコピーされた状態で表示される。上述したPC画面及び取込画面における画面生成ついては、あとで詳しく説明する。
【0033】
〔ハードウェア構成〕
次に、本実施形態に係るハードウェア構成を説明する。
【0034】
<電子黒板のハードウェア構成>
図4は、本実施形態に係る電子黒板のハードウェア構成の一例を示す図である。図4に示されているように、電子黒板1は、CPU(Central Processing Unit)101、ROM(Read only Memory)102、RAM(Random Access Memory)103、SSD(Solid State Drive)104、ネットワークI/F105及び外部機器接続I/F(Interface)106を備えている。
【0035】
これらのうち、CPU101は、電子黒板1全体の動作を制御する。ROM102は、CPU101やIPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶する。RAM103は、CPU101のワークエリアとして使用される。SSD104は、電子黒板用のプログラム等の各種データを記憶する。ネットワークコントローラ105は、通信ネットワーク100との通信を制御する。外部機器接続I/F106は、各種の外部機器を接続するためのインターフェイスである。この場合の外部機器は、例えば、USB(Universal Serial Bus)メモリ130、外付け機器(マイク140、スピーカ150、カメラ160)である。
【0036】
また、電子黒板1は、キャプチャデバイス111、GPU112、ディスプレイコントローラ113、接触センサ114、センサコントローラ115、電子ペンコントローラ116、近距離通信回路119、近距離通信回路119のアンテナ119a、電源スイッチ122及び選択スイッチ類123を備えている。
【0037】
これらのうち、キャプチャデバイス111は、電子黒板1に接続されるPC2のディスプレイに対して映像情報を静止画又は動画として表示させるハードウェアである。キャプチャデバイス111は、キャプチャボードとも呼ばれ、例えば、PC2とUSB I/Fを介して接続される。GPU(Graphics Processing Unit)112は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ113は、GPU112からの出力画像をディスプレイ180等へ出力するために画面表示の制御及び管理を行う。接触センサ114は、ディスプレイ180上に電子ペン190やユーザの手H等が接触したことを検知する。センサコントローラ115は、接触センサ114の処理を制御する。接触センサ114は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力方法及び検出方法は、ディスプレイ180の上側両端部に設置された二つの受発光装置が、ディスプレイ180に平行して複数の赤外線を放射し、ディスプレイ180の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ114は、物体によって遮断された二つの受発光装置が放射した赤外線のIDをセンサコントローラ115に出力し、センサコントローラ115が、物体の接触位置である座標位置を特定する。電子ペンコントローラ116は、電子ペン190と通信することで、ディスプレイ180へのペン先又はペン尻の接触の有無を判断する。近距離通信回路119は、NFC(Near Field Communication)やBluetooth(登録商標)等の通信回路である。電源スイッチ122は、電子黒板1の電源のオン/オフを切り換えるためのスイッチである。選択スイッチ類123は、例えば、ディスプレイ180の表示の明暗や色合い等を調整するためのスイッチ群である。
【0038】
さらに、電子黒板1は、バスライン110を備えている。バスライン110は、図4に示されているCPU101等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0039】
なお、接触センサ114は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する二つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ116が、電子ペン190のペン先及びペン尻だけでなく、電子ペン190のユーザが握る部分や、電子ペン190のその他の部分の接触の有無を判断するようにしてもよい。上述したように、本実施形態では、電子黒板1は、通信端末の一例として機能する。
【0040】
<PC、中継装置、通信管理システム及び画像保存装置のハードウェア構成>
図5は、本実施形態に係るPC、中継装置、通信管理システム及び画像保存装置のハードウェア構成の一例を示す図である。PC2の一例としてのコンピュータは、CPU201、ROM202、RAM203、HD(Hard Disk)204、HDD(Hard Disk Drive)コントローラ205、ディスプレイ206、外部機器接続I/F(Interface)208、ネットワークI/F209、キーボード211、ポインティングデバイス212、DVD-RW(Digital Versatile Disk ReWritable)ドライブ214、メディアI/F216及びバスライン210を備えている。
【0041】
これらのうち、CPU201は、PC2全体の動作を制御する。ROM202は、IPL等のCPU201の駆動に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリアとして使用される。HD204は、情報処理用プログラム等の各種データを記憶する。HDDコントローラ205は、CPU201の制御にしたがってHD204に対する各種データの読出し又は書込みを制御する。ディスプレイ206は、カーソル、メニュー、ウィンドウ、文字又は画像等の各種情報を表示する。外部機器接続I/F208は、各種の外部機器を接続するためのインターフェイスである。ネットワークI/F209は、インターネット等の通信ネットワークを利用してデータ通信をするためのインターフェイスである。キーボード211は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス212は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス等の入力手段の一種である。DVD-RWドライブ214は、DVD-RWに対するデータの読出し又は書込み(記憶)を制御する。なお、DVD-RWドライブ214は、DVD-RWドライブでなく、BD-RE(Blu-ray Disc Rewritable)等のディスクに対するデータの読出し又は書込み(記憶)を制御してもよい。メディアI/F216は、フラッシュメモリ等の記録メディア215に対するデータの読出し又は書込み(記憶)を制御する。
【0042】
バスライン210は、図5に示されているCPU201等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0043】
なお、図1に示されている中継装置3、通信管理システム5及び画像保存装置7の各ハードウェア構成は、PC2のハードウェア構成と同様であるため、その説明を省略する。但し、中継装置3の場合は、HD304に中継用プログラム等が記憶されている。また、通信管理システム5の場合は、HD504に通信管理用プログラム等が記憶されている。また、画像保存装置7の場合は、HD704に画像保存用プログラム等が記憶されている。
【0044】
〔通信システムの全体構成〕
続いて、図6を用いて、通信システムの全体構成について説明する。図6は、本発明の実施形態に係る通信システムの全体構成図である。
【0045】
図6において、電子黒板1aは拠点A、電子黒板1bは拠点Bにそれぞれ設置されている。例えば、拠点Aは日本の東京事業所で、拠点Bは中国の北京事業所である。拠点Aでは利用者A1が電子黒板1aを利用し、拠点Bでは利用者B1,B2が電子黒板1bを利用している。
【0046】
さらに、電子黒板1a,1b、PC2a,2b、中継装置3、通信管理システム5、及び画像保存装置7は、インターネット等の通信ネットワーク100を介してデータの相互通信を行うことができる。なお、通信ネットワーク100には、無線通信部分が含まれてもよい。
【0047】
図1及び図6において、電子黒板1aは、PC2aと映像通信可能な電子黒板である。また、電子黒板1aとPC2aを含むシステムを情報通信システム8aという。上述した図1及び図6では、PC2aは拠点Aの外側に設置されているが、電子黒板1aと同じ拠点A内で使用されてもよい。他方の電子黒板1bは、PC2bと映像通信可能な電子黒板である。また、電子黒板1bとPC2bを含むシステムを情報通信システム8bという。上述したPC2aと同様に、図1及び図6では、PC2bは拠点Bの外側に設置されているが、電子黒板1bと同じ拠点B内で使用されてもよい。なお、情報通信システム8a及び情報通信システム8bをまとめて、単に情報通信システム8ともいう。
【0048】
〔通信システムの機能構成〕
次に、図7乃至図12を用いて、本実施形態の機能構成について説明する。図7は、本実施形態に係る通信システムの各機能ブロックの一例を示す図である。
【0049】
<電子黒板1aの機能構成>
図7に示されているように、電子黒板1aは、送受信部11a、受付部12a、映像・音処理部13a、表示制御部14a、判断部15a、計測部16a、画像処理部17a、提供・取得部18a及び記憶・読出処理部19aを有している。これら各部は、図4に示されている各構成要素のいずれかが、SSD104からRAM103上に展開されたプログラムに従ったCPU101からの命令によって動作することで実現される機能、又は機能する手段である。また、電子黒板1aは、図4に示されているRAM103及びSSD104によって構築される記憶部1000aを有している。
【0050】
<<電子黒板1aの各機能構成>>
次に、電子黒板1aの各構成要素について説明する。送受信部11aは、主に、図4に示されているCPU101の処理、及びネットワークI/F105によって実現され、通信ネットワーク100を介して他の端末、装置又はシステムと各種データ(又は情報)の送受信を行う。また、送受信部11aは、開始部としての役割も果たし、電子黒板1b等の他の通信端末と通信を開始する処理を行う。なお、送受信部11a(送受信部11b)は、本実施形態おいて受信手段の一例として機能する。受付部12aは、主に、図4に示されているCPU101の処理、電子ペンコントローラ116、接触センサ114及びセンサコントローラ115によって実現され、利用者から電子ペン190等による各種入力、及び利用者の手などの身体の一部を用いた各種入力を受け付ける。電子ペン190は、本実施形態における所定の器具の一例である。なお、所定の器具として、電子ペン190に代えて、図4に示された電子ペンコントローラ116と通信可能なインターフェイスを有する器具であれば、その種類は問わない。また、受付部12a(受付部12b)は、本実施形態における受付手段の一例として機能する。
【0051】
映像・音処理部13aは、主に、図4に示されているCPU101の処理、マイク140、スピーカ150、及びカメラ160によって実現され、ビデオ会議機能の主な処理を行う。例えば、映像・音処理部13aは、マイク140の出力信号及びカメラ160の出力信号に共づき、映像データ及び音データのエンコード等のデジタル処理を行う。また、映像・音処理部13aは、送受信部11aで受信された映像データ及び音データに基づき、映像信号を生成したり音信号を生成したりする。さらに、映像・音処理部13aは、解像度の異なる映像データを組み合わせる処理を行う。
【0052】
表示制御部14aは、主に、図4に示されているCPU101の処理及びディスプレイコントローラ113によって実現され、ディスプレイ180に映像信号(画像信号)等を出力するための制御を行う。本実施形態において、表示制御部14a(表示制御部14b)は、表示制御手段の一例として機能する。さらに、ディスプレイ180は、表示手段の一例として機能する。
【0053】
判断部15aは、主に、図4に示されているCPU101の処理によって実現され、各種判断を行う。
【0054】
計測部16aは、主に、図4に示されているCPU101の処理、接触センサ114、センサコントローラ115によって実現され、電子ペン190又は手H等が電子黒板1aのディスプレイ180の表示画面に接触している時間、電子ペン190又は手H等により描画入力された入力画像の長さ(距離)を計測する。具体的には、計測部16aは、CPU101で用いられる時計情報等を利用して、電子ペン190又は手H等が電子黒板1aのディスプレイ180の表示画面に接触している時間を計測する。さらに、計測部16aは、接触センサ114等の各種センサを利用して、電子ペン190又は手H等により描画入力された入力画像の長さ(距離)を計測する。なお、計測部16a(計測部16b)は、本実施形態における計測手段の一例として機能する。また、本実施形態において、電子ペン190等により入力されるストローク画像は、入力画像の一例として扱われる。
【0055】
画像処理部17aは、主に、図4に示されているCPU101の処理によって実現され、電子黒板機能の主な処理を行う。例えば、画像処理部17aは、受付部12aによって受け付けられた電子ペン190等のストロークに基づいてストローク画像及びストロークデータを作成する。また、例えば、画像処理部17aは、送受信部11aによって受信されたストロークデータに基づいてストローク画像を作成する。また、画像処理部17aは、送受信部11aで受信された資料画像の画像データに基づき、資料画像を示す画像信号を生成する。また、画像処理部17aは、利用者による画面の取込処理(画面キャプチャ処理)に応じて、画面の取込み(画面キャプチャ。以下、単に「画面の取込み」という)を行う。つまり、画像処理部17a(画像処理部17b)は、本実施形態における取込手段の一例として機能する。さらに、画像処理部17aは、電子黒板機能の主な処理を行う。例えば、画像処理部17aは、上述した図3に示されたような画像レイヤの重畳処理(合成処理)等を行う。
【0056】
提供・取得部18aは、主に、図4に示されているCPU101の処理及び外部機器接続I/F208によって実現され、外部機器(例えば、PC2)との間の通信により、データの提供、取得を行う。
【0057】
記憶・読出処理部19aは、主に、図4に示されているCPU101の処理、外部機器接続I/F106、ROM102及びSSD104によって実現され、記憶部1000a又はUSBメモリ130等の記録媒体1010aに各種データを記憶したり、記憶部1000a又は記録媒体1010aに記憶された各種データを読み出したりする処理を行う。
【0058】
さらに、記憶部1000aには、他の端末との通信を行う際に受信される映像データ及び音データが、受信される度に上書き記憶される。このうち、上書き記憶される前の映像データによってディスプレイ180に画像又は映像が表示され、上書き記憶される前の音データによってスピーカ150から音声が出力される。
【0059】
<電子黒板1bの機能構成>
図7に示されているように、電子黒板1bは、送受信部11b、受付部12b、映像・音処理部13b、表示制御部14b、判断部15b、計測部16b、画像処理部17b、提供・取得部18b及び記憶・読出処理部19bを有している。さらに、電子黒板1bは、図4に示されているRAM103及びSSD104によって構築される記憶部1000bを有している。送受信部11b、受付部12b、映像・音処理部13b、表示制御部14b、判断部15b、画像処理部17b、提供・取得部18b及び記憶・読出処理部19bは、それぞれ、送受信部11a、受付部12a、映像・音処理部13a、表示制御部14a、判断部15a、画像処理部17a、提供・取得部18a及び記憶・読出処理部19aと同様の機能を有しているため、これらの説明を省略する。同様に、記憶部1000bについても記憶部1000aと同様の機能を有しているため、その説明を省略する。
【0060】
<PC2aの機能構成>
図7に示されているように、PC2aは、送受信部21a、表示制御部24a、提供・取得部28a及び記憶・読出処理部29aを有している。これら各部は、図5に示されている各構成要素のいずれかが、HD204からRAM203上に展開された情報処理用プログラムに従ったCPU201からの命令によって動作することで実現される機能又は機能する手段である。また、PC2aは、図5に示されているRAM203、HD204によって構築される記憶部2000を有している。
【0061】
<<PC2aの各機能構成>>
次に、PC2aの各機能構成について詳細に説明する。図7に示されているPC2aの送受信部21aは、主に、図5に示されているCPU201の処理、外部機器接続I/F208及びネットワークI/F209によって実現され、通信ネットワーク100を介して他の端末、装置、又はシステムと各種データ(又は情報)の送受信を行う。表示制御部24aは、主に、図5に示されているCPU201の処理及びディスプレイ206によって実現され、ディスプレイ206に映像信号(画像信号)等を出力するための制御を行う。提供・取得部28aは、主に、図5に示されているCPU201の処理及び外部機器接続I/F208によって実現され、外部機器(例えば、電子黒板1)との間の通信により、データの提供、取得を行う。記憶・読出処理部29aは、主に、図5に示されているCPU201の処理、ROM202、HDDコントローラ205及びHD204によって実現され、記憶部2000に各種データを記憶したり、記憶部2000に記憶された各種データを読み出したりする処理を行う。なお、電子黒板1bと通信するPC2bについても、PC2aと同様の各機能を有するため、それらの説明を省略する。
【0062】
<中継装置の機能構成>
図7に示されているように、中継装置3は、転送部を兼ねた送受信部31、判断部35、及び記憶・読出処理部39を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD504からRAM503上に展開された中継用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。また、中継装置3は、図5に示されているRAM303、HD304によって構築される記憶部3000を有している。
【0063】
<<中継装置の各機能構成>>
次に、中継装置3の各機能構成について詳細に説明する。図7に示されている中継装置3の送受信部31は、主に、図5に示されているCPU301の処理、外部機器I/F308及びネットワークI/F309によって実現され、通信ネットワーク100を介して他の端末、装置又はシステムと各種データ(又は情報)の送受信を行う。また、送受信部31は、転送部としての役割も果たし、所定の端末ら送信されて来た映像データ及び音データを、他の端末に転送する。判断部35は、データの遅延状態等の判断等の各種判断を行う。
【0064】
記憶・読出処理部39は、主に、図5に示されているCPU301の処理、ROM302、HDDコントローラ305及びHD304によって実現され、記憶部3000に各種データを記憶したり、記憶部3000に記憶された各種データを読み出したりする処理を行う。
【0065】
<通信管理システムの機能構成>
図7に示されているように、通信管理システム5は、送受信部51、認証部52、生成部53、選択部54、判断部55及び記憶・読出処理部59を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD504からRAM503上に展開された通信管理用プログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。また、通信管理システム5は、図5に示されているRAM503、HD504により構築される記憶部5000を有している。
【0066】
(認証管理テーブル)
図8は、認証管理テーブルの一例を示す概念図である。記憶部5000には、図8に示されている認証管理テーブルによって構成された認証管理DB5001が構築されている。この認証管理テーブルでは、通信管理システム5によって管理される全ての電子黒板1の各端末IDに対して、各パスワードが関連付けられて管理される。例えば、図7に示されている認証管理テーブルにおいて、電子黒板1a(通信端末)の端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。なお、パスワードは認証情報の一例であり、認証情報にはアクセストークンも含まれる。本実施形態において、認証管理テーブル(認証管理DB5001)は、認証管理手段の一例として機能する。
【0067】
(端末管理テーブル)
図9は、端末管理テーブルの一例を示す概念図である。記憶部5000には、図9に示されている端末管理テーブルによって構成された端末管理DB5002が構築されている。この端末管理テーブルでは、各電子黒板1(通信端末)を識別するための端末ID毎に、各電子黒板1を宛先とした場合の宛先名、各電子黒板1の稼動状態、後述のログイン要求情報が通信管理システム5で受信された受信日時、及び各電子黒板1(通信端末)のIPアドレスが関連付けられて管理される。例えば、図9に示されている端末管理テーブルにおいて、端末IDが「01aa」の電子黒板1aは、端末名が「日本 東京事業所 AA端末」で、稼動状態が「オンライン(通信可能)」で、通信管理システム5でログイン要求情報が受信された日時が「2015年4月10日の13時40分」で、この端末1aaのIPアドレスが「1.2.1.3」であることが示されている。なお、端末ID、宛先名及び端末のIPアドレスは、各電子黒板1が、通信管理システム5によるサービスの提供を受けるために事前登録する際に記憶される。本実施形態において、端末管理テーブル(端末管理DB5002)は、端末管理手段の一例として機能する。
【0068】
(宛先リスト管理テーブル)
図10は、宛先リスト管理テーブルの一例を示す概念図である。記憶部5000には、図10に示されている宛先リスト管理テーブルによって構成された宛先リスト管理DB5003が構築されている。この宛先リスト管理テーブルでは、通信の開始を要求する電子黒板1(開始端末)の端末IDに対して、電子黒板1(宛先端末)の候補として登録されている宛先端末の端末IDが全て関連付けられて管理される。例えば、図10に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である開始端末(電子黒板1a)から通信の開始を要求することができる宛先端末の候補は、端末IDが「01ba」の電子黒板1b等であることが示されている。この宛先端末の候補は、任意の開始端末から通信管理システム5に対する追加又は削除の要請により、追加又は削除されることで更新される。
【0069】
なお、宛先リストは、宛先情報の一例であり、宛先情報には、リスト形式になっておらず、端末ID等の宛先に関する情報が羅列されていてもよい。本実施形態において、宛先リスト管理テーブル(宛先リスト管理DB5003)は、宛先リスト管理手段の一例として機能する。
【0070】
(セッション管理テーブル)
図11は、セッション管理テーブルの一例を示す概念図である。記憶部5000には、図11に示されているセッション管理テーブルによって構成されたセッション管理DB5004が構築されている。このセッション管理テーブルでは、各電子黒板(通信端末)と中継装置3との間で相互通信を行うためのセッションを識別するための通信セッションID毎に、使用される中継装置3の中継装置ID、電子黒板1(開始端末)の端末ID、電子黒板1(宛先端末)の端末ID、宛先端末において映像データが受信される際の受信の遅延時間(ms)、及びこの遅延時間が示されている遅延情報が宛先端末から送信された後に通信管理システム5で受信された受信日時が関連付けられて管理される。例えば、図11に示されているセッション管理テーブルにおいて、セッションID「se01」を用いて実行された通信セッションで、中継装置(中継装置ID「111a」)は、端末IDが「01aa」の電子黒板と、端末IDが「01db」の電子黒板との間で、映像データ及び音データを中継しており、電子黒板1(宛先端末)において「2020年6月19日の13時41分」時点における映像データの遅延時間が200(ms)であることが示されている。本実施形態において、セッション管理テーブル(セッション管理DB5004)は、セッション管理手段の一例として機能する。
【0071】
(中継装置管理テーブル)
図12は、中継装置管理テーブルの一例を示す概念図である。記憶部5000には、図12に示されている中継装置管理テーブルによって構成された中継装置管理DB5005が構築されている。この中継装置管理テーブルでは、中継装置ID毎に、各中継装置3の稼動状態、稼動状態が示される状態情報が通信管理システム5で受信された受信日時、中継装置3のIPアドレス、及び、中継装置3における最大データ伝送速度(Mbps)が関連付けられて管理される。例えば、図12に示されている中継装置管理テーブルにおいて、中継装置IDが「111a」の中継装置3は、稼動状態が「オンライン」で、通信管理システム5で状態情報が受信された日時が「2019年4月10日の13時00分」で、この中継装置3のIPアドレスが「1.2.1.2」で、この中継装置3における最大データ伝送速度が100Mbpsであることが示されている。本実施形態において、中継装置管理テーブル(中継装置管理DB5005)は、中継装置管理手段の一例として機能する。
【0072】
<<通信管理システムの各機能構成>>
次に、通信管理システム5の各機能構成について詳細に説明する。図7に示されている通信管理システム5の送受信部51は、主に、図5に示されているCPU501の処理、外部機器I/F508及びネットワークI/F509によって実現され、通信ネットワーク100を介して他の端末、装置、又はシステムと各種データ(又は情報)の送受信を行う。
【0073】
認証部52は、主に、図5に示されているCPU501の処理によって実現され、送受信部51を介して受信されたログイン要求に含まれている端末ID及びパスワードを検索キーとして、記憶部5000の認証管理DB5001を検索し、認証管理DB5001に同一の組の端末ID及びパスワードが管理されているかを判断することによって認証を行う。生成部53は、主に、図5に示されているCPU501の処理によって実現され、電子黒板1からの通信開始要求(ステップS62参照)に基づき、通信セッションを識別するためのセッションIDを生成する。選択部54は、主に、図5に示されているCPU501の処理によって実現され、複数の中継装置3から最終的に1つの中継装置3を選択する処理を行う。判断部55は、主に、図5に示されているCPU501の処理によって実現され、通信管理システム5における各種判断を行う。記憶・読出処理部59は、主に、図5に示されているCPU501の処理、ROM502、HDDコントローラ505及びHD504によって実現され、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出したりする処理を行う。
【0074】
<画像保存装置の機能構成>
図7に示されているように、画像保存装置7は、送受信部71、及び記憶・読出処理部79を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD704からRAM703上に展開された画像保存用プログラムに従ったCPU701からの命令によって動作することで実現される機能又は機能する手段である。また、画像保存装置7は、図5に示されているRAM703、HD704によって構築される記憶部7000を有している。
【0075】
<<画像保存装置の各機能構成>>
次に、画像保存装置7の各機能構成について詳細に説明する。図7に示されている画像保存装置7の送受信部71は、主に、図5に示されているCPU701の処理、外部機器I/F708及びネットワークI/F709によって実現され、通信ネットワーク100を介して他の端末、装置、又はシステムと各種データ(又は情報)の送受信を行う。記憶・読出処理部79は、主に、図5に示されているCPU701の処理、ROM702、HDDコントローラ705及びHD704によって実現され、記憶部7000に各種データを記憶したり、記憶部7000に記憶された各種データを読み出したりする処理を行う。
【0076】
〔実施形態の処理又は動作〕
次に、図13乃至図19を用いて、本実施形態に係る通信システムにおける処理又は動作を説明する。
【0077】
<遠隔通信の準備段階の処理>
まず、図13及び図14を用いて、ログイン要求端末としての電子黒板1aが行う通信の準備処理を説明する。なお、図13は、電子黒板間で遠隔通信を開始する準備段階の処理の一例を示すシーケンス図である。図14は、電子黒板1aで表示される宛先リストの画面例を示す図である。なお、電子黒板1bがログイン共有を行う処理も電子黒板1aの処理と同様であるため、説明を省略する。
【0078】
まず、電子黒板1aで電源スイッチ122がオンされると、受付部12aが、電源オンを受け付ける(ステップS22)。
【0079】
次に、送受信部11aは、通信ネットワーク100を介して通信管理システム5に、ログイン認証の要求を示すログイン要求情報を送信する(ステップS23)。これにより、通信管理システム5の送受信部51は、電子黒板1aの送受信部11aから送信されたログイン要求情報を受信する。なお、ログイン要求情報には、電子黒板1aの端末ID及びパスワードが含まれている。
【0080】
次に、通信管理システム5の認証部52は、送受信部51を介して受信したログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、認証管理テーブル(図8参照)を検索し、同一の端末ID及び同一のパスワードが管理されているかを判断することによって端末の認証を行う(ステップS24)。ここでは、記憶・読出処理部59によって、同一の端末ID及び同一のパスワードが管理されているものとして、続けて説明する。
【0081】
認証部52によって、同一の端末ID及び同一のパスワードが管理されているものとして、正当な利用権限を有する端末からのログイン要求であると判断された場合には、記憶・読出処理部59は、端末管理テーブル(図9参照)において、上記ステップS23で受信された端末IDのレコードの稼動状態のフィールド部分を「オンライン(通信可能)」に変更すると共に、受信日時のフィールド部分に上記ステップS23によってログイン要求情報が受信された受信日時を記憶する(ステップS25)。これにより、端末管理テーブルには、端末ID「01aa」に、稼動状態「オンライン(通信可能)」、受信日時「2020.6.19.13:40」及びIPアドレス「1.2.1.3」が関連付けて管理されることになる。なお、端末のIPアドレスは、事前に登録されているのではなく、上記ステップS23で電子黒板1aから送信されるようにしてもよい。
【0082】
次に、記憶・読出処理部59は、上記ステップS23によって受信された電子黒板1aの端末IDを含む新しいレコードを、セッション管理テーブル(図11参照)で追加して管理する(ステップS26)。
【0083】
そして、通信管理システム5の送受信部51は、上記ステップ24の処理によって得られた認証結果が示された認証結果情報を、通信ネットワーク100を介して、上記ログイン要求してきた電子黒板1aに送信する(ステップS27)。これにより、電子黒板1aの送受信部11aは、通信管理システム5の送受信部51から送信された認証結果情報を受信する。
【0084】
ログイン要求端末(電子黒板1a)の送受信部11aが、正当な利用権限を有する端末であると判断された結果が示された認証結果情報を受信すると、送受信部11aが通信ネットワーク100を介して通信管理システム5へ、宛先リストを要求する旨が示された宛先リスト要求情報を送信する(ステップS28)。これにより、通信管理システム5の送受信部51は、電子黒板1aの送受信部11aから送信された宛先リスト要求情報を受信する。
【0085】
次に、記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」を検索キーとして、宛先リスト管理テーブル(図10参照)を検索することで、ログイン要求端末(電子黒板1a)と通信することが可能な宛先候補の端末IDを読み出すと共に、この端末IDに対応する宛先名を端末管理テーブル(図9参照)から読み出す(ステップS29)。ここでは、ログイン要求端末(電子黒板1a)の端末ID「01aa」に対応する宛先候補のそれぞれの端末IDと、これらに対応する宛先名が抽出される。
【0086】
次に、通信管理システム5の送受信部51は、記憶・読出処理部59を介して記憶部5000から宛先リスト枠のデータ及び稼動状態を示すアイコンのデータを読み出す(ステップS30)と共に、この宛先リスト枠及びアイコン並びに上記記憶・読出処理部59によって読み出された端末ID及び宛先名を含めた「宛先リスト情報(宛先リスト枠、アイコン、端末ID、宛先名)」を、ログイン要求端末(電子黒板1a)に送信する(ステップS31)。
【0087】
これにより、ログイン要求端末(電子黒板1a)では、送受信部11aが通信管理システム5の送受信部51から送信された宛先リスト情報を受信し、記憶・読出処理部19aが記憶部1000aへ宛先リスト情報を記憶する(ステップS32)。
【0088】
このように、本実施形態では、各端末で宛先リスト情報を管理するのではなく、通信管理システム5が全ての端末の宛先リスト情報を一元管理している。よって、以下のような場合でも、通信管理システム5側で一括して対応するため、各端末側で宛先リスト情報の変更を行う手間を省くことができる。ここで、以下のような場合とは、通信システムに新たな電子黒板が含まれる場合、既に含まれている端末に代えて新機種の端末が含まれる場合、宛先リスト枠の見栄え等が変更される場合、等をいう。
【0089】
また、通信管理システム5の記憶・読出処理部59は、上述の読み出した宛先候補の端末IDを検索キーとして、端末管理テーブル(図9参照)を検索し、上記端末ID毎に、対応する稼動状態を読み出すことで、宛先候補としての電子黒板の各稼動状態を取得する(ステップS33)。
【0090】
次に、送受信部51は、上記ステップS33で使用された検索キーとしての端末IDと、対応する各宛先端末の稼動状態とが含まれた「端末の状態情報」を、通信ネットワーク100を介してログイン要求端末(電子黒板1a)に送信する(ステップS34)。これにより、電子黒板1aの送受信部11aは、通信管理システム5の送受信部51から送信された「端末の状態情報」を受信する。
【0091】
次に、ログイン共有端末(電子黒板1a)の記憶・読出処理部19aは、順次、通信管理システム5から受信した端末の状態情報を記憶部1000aに記憶する(ステップS35)。よって、ログイン要求端末(電子黒板1a)は、上記各電子黒板の状態情報を受信することで、ログイン要求端末(電子黒板1a)と通信することが可能な宛先候補である電子黒板1b等の現時点のそれぞれの稼動状態を取得することができる。
【0092】
次に、ログイン要求端末(電子黒板1a)の表示制御部14aは、記憶部1000aに記憶されている宛先リスト情報、及び端末の状態情報に基づいて、宛先候補としての端末の状態を反映させた宛先リストを作成すると共に、表示制御部14aが、図14に示されている宛先リスト画面1100を電子黒板1aのディスプレイ180に表示する(ステップS36)。この宛先リスト画面1100には、宛先候補毎に、稼動状態を示すアイコン、端末ID、及び宛先名が表示されている。図14では、各端末の稼動状態を示したアイコンが、上から「オフライン」、「オンライン(通信可能)」として表示されている。
【0093】
一方、通信管理システム5の記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」に基づいて宛先リスト管理テーブル(図10参照)を検索することにより、ログイン要求端末(電子黒板1a)の端末ID「01aa」を宛先候補として登録している他の端末の端末IDを抽出する(ステップS37)。図10に示されている宛先リスト管理テーブルでは、読み出される他の端末の端末IDは、「01ba」、「01ca」、「01da」等である。
【0094】
次に、通信管理システム5の記憶・読出処理部59は、ログイン要求端末(電子黒板1a)の端末ID「01aa」に基づいて端末管理テーブル(図9参照)を検索し、ログイン要求端末(電子黒板1a)の稼動状態を取得する(ステップS38)。
【0095】
そして、送受信部51は、上記ステップS37で抽出された端末IDに係る端末のうち、端末管理テーブル(図9参照)で稼動状態が「オンライン」となっている端末に、上記ステップS38で取得されたログイン要求端末(電子黒板1a)の端末ID「01aa」と稼動状態「オンライン」が含まれる「端末の状態情報」を送信する(ステップS39)。なお、送受信部51が電子黒板1bに端末の状態情報を送信する際に、各端末IDに基づいて、端末管理テーブル(図9参照)で管理されている電子黒板のIPアドレスを参照する。
【0096】
これにより、ログイン要求端末(電子黒板1a)を宛先候補として通信することができる他の宛先端末のそれぞれに、上記ログイン要求端末(電子黒板1a)の端末ID「01aa」、及び稼動状態「オンライン」を伝えることができる。よって、宛先候補(電子黒板1b等)においても、宛先候補の状態を表示させることができる(ステップS40)。
【0097】
<遠隔通信の開始処理>
続いて、図15を用いて、電子黒板1aが電子黒板1bに対して遠隔通信を開始する処理を説明する。図15は、遠隔通信を開始する処理の一例を示すシーケンス図である。
【0098】
まず、要求元端末(電子黒板1a)の利用者が図9に示されている宛先候補(端末ID「01ba」)を操作して電子黒板1bを選択すると、図7に示されている受付部12aは、宛先端末(電子黒板1b)との通話を開始する要求を受け付ける(ステップS61)。そして、要求元端末(電子黒板1a)の送受信部11aは、通信管理システム5に対して、通話を開始したい旨を示す開始要求情報を送信する(ステップS62)。これにより、通信管理システム5の送受信部51は、上記開始要求情報を受信すると共に、送信元である要求元端末(電子黒板1a)のIPアドレスを受信する。なお、開始要求情報には、要求元端末(電子黒板1a)の端末ID「01aa」、及び宛先端末(電子黒板1b)の端末ID「01ba」が含まれている。
【0099】
そして、記憶・読出処理部59は、開始要求情報に含まれる要求元端末(電子黒板1a)の端末ID「01aa」及び宛先端末(電子黒板1b)の端末ID「01ba」に基づき、端末管理テーブル(図9参照)において、上記端末ID「01aa」、及び端末ID「01ba」がそれぞれ含まれるレコードの稼動状態のフィールド部分を、ともに「通話中」に変更する(ステップS63)。なお、この状態では、要求元端末(電子黒板1a)、及び宛先端末(電子黒板1b)は、ビデオ会議を開始していないが、通話中状態となり、第3の電子黒板端末が要求元端末(電子黒板1a)又は宛先端末(電子黒板1b)と通話しようとすると、いわゆる通話中状態を示す旨の通知音又は表示が出力される。
【0100】
次に、実際に利用される中継装置3を選択するためのセッションを実行する処理を説明する。まず、通信管理システム5の生成部53は、中継装置3を選択するためのセッションの実行に用いられるセッションIDを生成する(ステップS64)。ここでは、セッションID「se01」が生成された場合について説明する。
【0101】
そして、記憶・読出処理部59は、セッション管理テーブル(図11参照)に、上記ステップS64で生成されたセッションID「se01」、要求元端末(電子黒板1a)の端末ID「01aa」、及び宛先端末(電子黒板1b)の端末ID「01ba」を関連付けて記憶して管理する(ステップS65)。
【0102】
次に、図7に示されている通信管理システム5の選択部54は、中継装置管理テーブル(図12参照)及び端末管理テーブル(図9参照)に基づいて、要求元端末(電子黒板1a)及び宛先端末(電子黒板1b)の2拠点間の通話を中継するための中継装置3の選択を行う(ステップS66)。具体的には、中継装置管理テーブル(図12参照)において稼動状態が「オンライン」の中継装置に係る中継装置IDのうち、端末管理テーブル(図9参照)において要求元端末(電子黒板1a)のIPアドレスに近いIPアドレスの中継装置3に係る中継装置IDが選択される。ここでは、中継装置30a(中継装置ID「111a」)が選択された場合について、以降、続けて説明する。
【0103】
以上のステップS66における中継装置の選択の処理が終了すると、通信管理システム5の送受信部51は、要求元端末(電子黒板1a)に対して、中継装置選択情報を送信する(ステップS67-1)。これにより、要求元端末(電子黒板1a)は、中継装置選択情報の送信元である通信管理システム5のIPアドレスを受信し、取得することができる。なお、中継装置選択情報には、上記ステップS66によって選択された中継装置3のIPアドレス、及び上記ステップS64によって生成されたセッションID「se01」が含まれている。
【0104】
さらに、通信管理システム5の送受信部51は、宛先端末(電子黒板1b)に対して、中継装置選択情報を送信する(ステップS67-2)。これにより、宛先端末(電子黒板1b)は、セッションID「se01」におけるセッションの実行において、中継装置選択情報の送信元である通信管理システム5のIPアドレスを取得することができる。なお、中継装置選択情報には、上記ステップS66によって選択された中継装置3のIPアドレス、要求元端末(電子黒板1a)の端末ID「01aa」、及び上記ステップS64によって生成されたセッションID「se01」が含まれている。
【0105】
次に、上記ステップS67-1の処理に対して、要求元端末(電子黒板1a)の送受信部11は、通信管理システム5に対して、上記ステップS67-1の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS68-1)。これにより、通信管理システム5は、特定のセッションID「se01」で実行されている中継装置選択情報の伝達が完了した旨を受信し、取得する。なお、受信完了情報には、上記ステップS67-1の処理で送受信されたセッションIDが含まれている。
【0106】
さらに、上記ステップS67-2の処理に対して、宛先端末(電子黒板1b)は、同様に通信管理システム5へ、上記ステップS67-2の処理により中継装置選択情報の受信が完了した旨を示す受信完了情報を送信する(ステップS68-2)。この場合も、通信管理システム5は、特定のセッションID「se01」で実行されている中継装置選択情報の伝達が完了した旨を取得する。
【0107】
以上により、電子黒板1a,1bは、上記ステップS66で選択された中継装置3を介して、映像データ及び音データを送受信することで、ビデオ会議を行うことができる。
【0108】
<情報通信システム8における通信処理>
ここで、PC2と電子黒板1との通信処理について説明する。図16は、PC2と電子黒板1との間の処理の一例を示すシーケンス図である。まず、情報通信システム8を構成するPC2aと電子黒板1a(PC2bと電子黒板1b)が、例えば、VGAケーブル、HDMIケーブル等を介して互いに接続される(ステップS81)。このとき、情報通信システム8において、VGA、HDMI等のそれぞれの通信規格に基づいた通信確立を含む初期設定が行われる。通信確立を含む初期設定については周知の技術であるので、ここではその説明を省略する。
【0109】
続いて、PC2aの表示制御部24aは、ディスプレイ206に、資料画像(動画)を表示する(ステップS82-1)。これに対して、電子黒板1aの表示制御部14aは、電子黒板1aのディスプレイ180の所定の位置に選択ボタン(又はアイコン。以下、単に「選択ボタン」という)を表示する(ステップS82-2)。この選択ボタンとは、「共有」ボタンbs1、「PC」ボタンbc1、「ペン」ボタンbp1、「マーカ」ボタンbm1及び「カメラ」ボタンba1である。これらの各ボタンのうち、「共有」ボタンb1は、拠点Bの資料画像d1を共有する場合に操作されるボタンである。「PC」ボタンbs1は、表示画面がPC画面か取込画面かを選択する場合に操作されるボタンである。「ペン」ボタンbp1は、例えば、電子ペン190を用いてストローク画像等を入力するペンモードを選択する場合に操作されるボタンである。「マーカ」ボタンbm1は、例えば、手H等でディスプレイ180の表面をなぞり、なぞった軌跡をマーカ(例えば、色付きの太線。「ポインタ」ともいう)として表示させるマーカモードを選択する場合に操作されるボタンである。そして、「カメラ」ボタンba1は、ディスプレイ180に表示されている画面を取り込む(画面キャプチャする)場合に操作されるボタンであり、本実施形態における取込選択手段の一例である。これらの「共有」ボタンbs1、「PC」ボタンbc1、「ペン」ボタンbp1、「マーカ」ボタンbm1及び「カメラ」ボタンba1は、ディスプレイ180の右側に並べて表示されている。なお、上述した各選択ボタンは、各選択アイコンによって構成されていてもよい。また、電子黒板の機種に応じて、上述した「ペン」ボタンbp1の機能及び「マーカ」ボタンbm1の機能を一つのボタンに集約したボタン(アイコン)で与えるようにしてもよい。
【0110】
次に、PC2aの送受信部11aは、電子黒板1aに対してステップS82-1で表示した資料画像(動画)を表す画像データを送信する(ステップS83)。これにより、電子黒板1aの送受信部11aは、PC2aが送信した資料画像(動画)を表す画像データを受信する。
【0111】
続いて、表示制御部14aは、受信した資料画像(動画)を表す画像データに基づいてPC2で表示されている資料画像(動画)をディスプレイ180に表示する(ステップS84)。
【0112】
続いて、受付部12aは、ディスプレイ180に表示された選択ボタンに対する利用者からの操作を受け付ける(ステップS85)。
【0113】
さらに、電子黒板1aは、後述するステップS101に進み、このフローを抜ける(ステップS86)。
【0114】
なお、本実施形態に係る情報通信システム8では、上述したステップS83の処理が実行される場合、PC2(情報処理装置)と電子黒板1(通信端末)との間に他の装置等が存在してもよい。つまり、PC2と電子黒板1との間で送受信される各情報は、一度他の装置を介して送受信されるような構成であってもよい。
【0115】
<資料画像の通信処理>
続いて、図17乃至図19を用いて、電子黒板1に表示されている資料画像及び入力されたストローク画像の通信処理について説明する。図17は、資料画像の画像データ及びストローク画像のストロークデータを共有する処理の一例を示すシーケンス図である。また、図18は、資料画像の画像データのアップロード処理及びダウンロード処理の一例を示すシーケンス図である。ここでは、電子黒板1a,1bで資料画像の画像データ及びストローク画像のストロークデータを共有する場合であって、電子黒板1aで表示された資料画像及び入力されたストローク画像が、電子黒板1bでも表示される場合について説明する。さらに、図19は、図17及び図18の各処理において各電子黒板に表示される画面例である。図19のうち、(A)は電子黒板1aの画面例、(B)は電子黒板1bの画面例、(C)は電子黒板1aの画面例、(D)は電子黒板1bの画面例を示す図である。
【0116】
まず、拠点Aの電子黒板1aでは、表示制御部14aが、図19(A)に示されている画面をディスプレイ180上に表示させる。その表示内容は、資料画像c1、背景画像d1、映像v2、並びに、上述した「共有」ボタンbs1、「PC」ボタンbc1、「ペン」ボタンbp1、「マーカ」ボタンbm1及び「カメラ」ボタンba1である。資料画像c1は、例えば、円グラフで示される画像である。背景画像d1は、例えば、「理光電子黒板」といった文字列である。映像v2は、例えば、拠点Bの二人の人物がテーブルに向かい合わせに座っている映像である。この状態で、電子黒板1aの利用者A1が「共有」ボタンb1に対して押下、タップ等の操作を行うと、受付部12aが利用者A1から資料画像(動画)の共有処理を受け付ける(ステップS101)。図19に示された画面例では、「共有」ボタンbs1は、例えば、ハイライト表示又はボタンの外枠が太く表示される。なお、「PC」ボタンbs1及び「マーカ」ボタンbm1は、電子黒板の機種によって上述したように別々に選択可能もあれば、いずれか一方のボタンがサポートされていない場合もある。
【0117】
続いて、送受信部11aは、通信管理システム5に対して、資料画像の画像データの保存位置を示すURL(Uniform Resource Locator)を要求する旨を示す要求情報を送信する(ステップS102)。これにより、通信管理システム5の送受信部51は、要求情報を受信する。なお、URLは保存位置情報の一例であり、保存位置情報にはURI(Uniform Resource Identifier)も含まれる。
【0118】
次に、通信管理システム5の生成部53は、資料画像の画像データの保存位置を示すURLを生成する(ステップS103)。
【0119】
そして、送受信部51は、電子黒板1aに対して、生成部53によって生成された画像データのURLを送信する(ステップS104)。これにより、電子黒板1aの送受信部11aは、画像データのURLを受信する。
【0120】
次に、電子黒板1aの送受信部11aは、通信管理システム5に対して、資料画像の画像データのアップロードの開始通知を送信する(ステップS105)。これにより、通信管理システム5の送受信部51は、開始通知を受信する。
【0121】
次に、送受信部51は、遠隔会議中の相手側の電子黒板1bに対して、開始通知を転送する(ステップS106)。これにより、電子黒板1bの送受信部11bは、開始通知を受信する。
【0122】
拠点Bの電子黒板1bでは、表示制御部14bが、図19(B)に示されている画面をディスプレイ180上に表示させる(ステップS107)。ここでは、拠点Aの映像v1を共有する場合に操作される「共有」ボタンbs2、「PC」ボタンbc2、「ペン」ボタンbp2、「マーカ」ボタンbm2及び「カメラ」ボタンba2が、それぞれ電子黒板1aのディスプレイ180上に表示された位置と同様の位置に表示されている。この状態で、表示制御部14bは、ステップS106の開始通知により、資料画像の画像データのダウンロードの時間経過を視覚的に示す砂時計のアイコンc2を表示する出力が行われる。なお、「共有」ボタンbs2、「PC」ボタンbc2、「ペン」ボタンbp2、「マーカ」ボタンbm2及び「カメラ」ボタンba2は、電子黒板1aにおける「共有」ボタンbs1、「PC」ボタンbc1、「ペン」ボタンbp1、「マーカ」ボタンbm1及び「カメラ」ボタンba1と同様の機能を有する。
【0123】
また、時間経過は、静止画の砂時計によって示したり、砂の動きがある動画の砂時計によって示したりすることができる。また、砂時計のアイコンc2は、画像データをダウンロードする予定である旨を示す予定情報の一例である。予定情報の他の例としては、砂時計以外のアイコン(例えば、時計のアイコン)であってもよいし、アイコンではなく文字及び記号のうちいずれか一つであってもよいし、アイコンと文字及び記号の組合せであってもよい。また、予定情報は、音による通知であってもよい。この場合、表示制御部14aではなく、映像・音処理部13aによってスピーカ150から音の出力が行われる。
【0124】
なお、電子黒板1aは、上記ステップS105の処理後に上記ステップS102の処理を行ってもよい。また、通信管理システム5は、上記ステップS105により画像データのアップロード開始通知を受信した後に、上記ステップS104により画像データのURLを送信してもよい。
【0125】
続いて、電子黒板1aの送受信部11aは、ステップS104で受信した画像保存装置7に係るURLに対して、資料画像の画像データのアップロードを行う(ステップS108)。これにより、画像保存装置7の送受信部71は、画像データを受信する。そして、画像保存装置7の記憶・読出処理部79は、記憶部7000におけるURLに対して、画像データを記憶する(ステップS109)。
【0126】
<ストローク画像の通信処理>
続いて、拠点Aでは、利用者A1が、電子ペン190や手Hを電子黒板1aのディスプレイ180上に接触して移動させることで、受付部12aが、移動のストロークの入力を受け付ける(ステップS110)。なお、本実施形態では、移動のストロークを電子ペン190や手Hを用いて描画された軌跡として用いる。
【0127】
続いて、画像処理部17aは、利用者A1が行ったストローク処理に基づいて、二次元のディスプレイ180上にストローク画像を表示させるためのストロークデータ(例えば、座標データ(x,y))を作成する。それと共に、表示制御部14aは、電子黒板1aのディスプレイ180上にストローク画像を表示させる(ステップS111)。これにより、図19(C)に示されているように、湾曲した矢印で表されるストローク画像st1が表示される。さらに、図19(C)では、図19(A)と同様に、資料画像c1、背景画像d1、映像v2、並びに、「共有」ボタンbs1、「PC」ボタンbc1、「ペン」ボタンbp1、「マーカ」ボタンbm1及び「カメラ」ボタンba1が、それぞれ電子黒板1aのディスプレイ180上に表示されている。
【0128】
次に、送受信部11aは、通信管理システム5に対して、ステップS111で作成されたストローク画像を再生するためのストロークデータを送信する(ステップS112)。これにより、通信管理システム5の送受信部51は、電子黒板1aから送信されたストローク画像のストロークデータを受信する。
【0129】
そして、通信管理システム5では、記憶・読出処理部59が、ストロークデータを記憶する(ステップS113)。
【0130】
次に、送受信部51は、相手側の電子黒板1bに対して、ストロークデータを転送する(ステップS114)。これにより、電子黒板1bの送受信部11bは、通信管理システム5から送信されたストロークデータを受信する。
【0131】
そして、電子黒板1bでは、画像処理部17bがストロークデータに基づいてストローク画像を作成し、表示制御部14bが電子黒板1bのディスプレイ180上にストローク画像を表示させる(ステップS115)。これにより、図19(D)に示されているように、相手側(開始端末)の電子黒板1aに表示されたストローク画像st1と同じ湾曲した矢印で表されるストローク画像st2が表示される。さらに、図19(D)では、資料画像C1、背景画像d2、映像v1、並びに、「共有」ボタンbs2、「PC」ボタンbc2、「ペン」ボタンbp2、「マーカ」ボタンbm2及び「カメラ」ボタンba2が、それぞれ電子黒板1bのディスプレイ180上に表示されている。
【0132】
続いて、図18に示されているように、画像保存装置7の送受信部71は、電子黒板1aに対して、資料画像の画像データのアップロードが完了した旨を示す完了通知を送信する(ステップS121)。これにより、電子黒板1aの送受信部11aは、画像保存装置7から送信された完了通知を受信する。
【0133】
次に、電子黒板1aの送受信部11aが、通信管理システム5に対して、資料画像の画像データのアップロードが完了した旨を示す完了通知を送信する(ステップS122)。これにより、通信管理システム5の送受信部51は、完了通知を受信する。なお、完了通知には、ステップS104で受信された画像データのURLが含まれている。
【0134】
そして、送受信部51は、相手側の電子黒板1bに対して、URLを含む完了通知を転送する(ステップS123)。これにより、電子黒板1bの送受信部11bは、通信管理システム5から送信された完了通知を受信する。
【0135】
次に、電子黒板1bの送受信部11bは、ステップS123で受信した画像保存装置7に係るURLに対して、資料画像の画像データのダウンロードを要求する旨を示す要求情報を送信する(ステップS124)。これにより、画像保存装置7の送受信部71は、電子黒板1bから送信された要求情報を受信する。
【0136】
次に、画像保存装置7では、記憶・読出処理部79がURLに基づいて、記憶部7000から要求対象である資料画像の画像データを読み出す(ステップS125)。そして、送受信部71が、要求元である電子黒板1bに対して、要求対象である資料画像の画像データを送信する(ステップS126)。これにより、電子黒板1bの送受信部11bは、画像保存装置7から送信された画像データのダウンロード(受信)を行う。
【0137】
画像データのダウンロード後、電子黒板1bの表示制御部14bは、ダウンロードした画像を電子黒板1bのディスプレイ180に表示する(ステップS127)。
【0138】
続いて、電子黒板1b側では、表示制御部14bが、図19(D)に示されている画面上に、図19(C)に示されている資料画像c1と同じ資料画像を表示させると共に、それまで表示していた砂時計のアイコンc2を非表示にする(ステップS128)。
【0139】
続いて、電子黒板1bの送受信部11bは、通信管理システム5に対して、画像(動画)データのダウンロード完了通知を送信する(ステップS129)。これにより、通信管理システム5の送受信部51は、電子黒板1bから送信された画像(動画)データのダウンロード完了通知を受信する。
【0140】
そして、送受信部51は、電子黒板1aに対して、画像(動画)データのダウンロード完了通知を送信する(ステップS130)。これにより、電子黒板1aの送受信部11aは、通信管理システム5から送信された画像(動画)データのダウンロード完了通知を受信する。
【0141】
<表示切替処理のフローチャート>
本実施形態における通信システムでは、図17及び図18で例示したシーケンス図による処理のうち、上述したステップS101の資料画像(動画)の共有受付処理に対して表示切替処理が行われる。但し、図17及び図18で例示した一連の処理におけるステップS101の処理は一例であり、電子黒板1a(開始端末)及び電子黒板1b(宛先端末)の両方を備えずにいずれか一方の電子黒板が単体で存在するシステムにおいても、本実施形態を適用させることが可能である。そこで、以下は、電子黒板1aで実行される表示切替処理の詳細を説明する。
【0142】
図20は、本実施形態に係る表示切替処理の一例を示すフローチャートである。図20に示されているように、電子黒板1aの受付部12aは、利用者A1からのディスプレイ180に表示された各種選択ボタンへの入力を待つ(ステップS101-1)。なお、利用者A1からの入力には、電子ペン190、手H等による入力が可能である。
【0143】
受付部12aが利用者A1による任意の選択ボタンへの入力を受け付けると、判断部15aは、ディスプレイ180に対する表示内容がPC画面か取込画面(キャプチャ画面。以下、「キャプチャ画面」という)のどちらであるかを判断する(ステップS101-2)。このステップS102-2で判断されるPC画面とは、図21(A)及び図21(C)に示されているように、例えば、「PC」ボタンbc1が操作されハイライト表示された状態、又は「PC」ボタンbc1の外枠が太く表示された状態の画面をいう。一方、キャプチャ画面とは、図21に示された画面例のうち、例えば、「カメラ」ボタンba1が操作されハイライト表示された状態、又は「カメラ」ボタンba1の外枠が太く表示された状態の画面をいう。
【0144】
表示内容がPC画面である場合(ステップS101-2;PC画面)、画像処理部17aは、PC画面の取込みを行う(ステップS101-3)。このPC画面の取込みについては、図23に示されたフローチャートで具体例を詳述する。
【0145】
続いて、画像処理部17aは、取り込まれたPC画面を構成する画像からその画像に書き込むための取込画面用の表示データを作成する(ステップS101-4)。
【0146】
その後、表示制御部14aは、ステップS101-4で作成された取込画面用の表示データをディスプレイ180に表示してこのフローを抜ける(ステップS101-5)。
【0147】
一方、表示内容がキャプチャ画面に係る画像である場合(ステップS101-2;取込画面)、表示制御部14aは、ペン描画として手書きによる描画データ(ストロークデータ)をディスプレイ180に表示してこのフローを抜ける(ステップS101-6)。
【0148】
上述したステップS101-3,S101-4における画像処理部17aの処理は、例えば、図3に示されているように、電子黒板1aが備える複数の画像レイヤ構造によって実現される。つまり、画像処理部17aは、図3(A)の資料画像(L3)のレイヤに表示された円グラフ(資料画像c1)の画像を背景画像(L4)のレイヤにコピーして、(L3)のレイヤに表示されていた円グラフを消去する(点線表示された円グラフのように資料画像(L3)のレイヤを透明画面にする)。つまり、資料画像(L3)のレイヤに表示されていた円グラフの画像を背景画像(L4)のレイヤに移動させる(図3(B)参照)。これによって、表示制御部14aは、図3(B)背景画像(L4)のレイヤの画面をディスプレイ180に表示する(させる)ので、資料画像(L3)のレイヤに表示される画像(動画)が変化しても、利用者A1は、画面キャプチャされた状態の画面を見ることが可能になる。
【0149】
<表示切替処理及びモード切替処理のフローチャート>
図22は、本実施形態に係る表示切替処理及びモード切替処理の一例を示すフローチャートである。図22では、図20で説明したPC画面又は取込画面の判断結果に対して、さらに、ペンモード又はマーカモードのいずれかが設定されているかを判断する処理が追加される。つまり、本実施形態において、電子黒板1a,1bは、利用者A1により設定可能なペンモード及びマーカモードを予め備えた電子黒板である。
【0150】
なお、ペンモードとは、利用者A1によりペン190等を用いてディスプレイ180上に書きを行うモードである。一方、マーカモードとは、電子黒板1のディスプレイ180に対して、利用者A1の手H等の動きに応じて線などを描画することで示されるマーカ(ポインタとも呼ばれる)が表示されるモードのことである。このマーカは、利用者A1の手Hによりなぞられた、又は専用のタッチペン等により描画された後、数秒でディスプレイ180から消去される画像である(図21(D)参照)。つまり、マーカモードとは、用紙上にマーカペンで描かれたような描画がディスプレイ180に対して行われるモードである。なお、マーカモードによる描画は、電子黒板の機種等によって、利用者A1の手H、専用のタッチペン(電子ペン190)等のいずれか又は両方で使用可能か否かが仕様分けされている。
【0151】
まず、図22におけるステップS101-1、S101-2の処理は、図20におけるステップS101-1、S101-2の処理と同様のため、説明を省略する。
【0152】
続いて、表示内容がPC画面である場合(ステップS101-2;PC画面)、判断部15aは、さらに、設定されたモードがペンモードかマーカモードのどちらかであるかを判断する(ステップS101-11)。
【0153】
設定されたモードがペンモードである場合(ステップS101-11;ペンモード)、画像処理部17aは、PC画面の取込みを行う(ステップS101-12)。このステップS101-12の処理は、上述したステップS101-3の処理と同様である。
【0154】
続いて、画像処理部17aは、取り込まれたPC画面を構成する画像からその画像に書き込むための取込画面用の表示データを作成(取込画像を作成)する(ステップS101-13)。このステップS101-13の処理は、上述したステップS101-4の処理と同様である。ステップS101-12、S101-13において、画像処理部17aは、例えば、図3(B)で示された各レイヤのうち、ストローク画像(L2)のレイヤ及び資料画像(L3)のレイヤのそれぞれの画像を背景画像(L4)のレイヤにコピーするように処理する。本実施形態では、特に、ストローク画像(L2)のレイヤに関して、以下のような処理が行われる。そなわち、画像処理部17aは、利用者が湾曲矢印の湾曲した実線部分を書き終えたときに画面キャプチャ処理を行い、湾曲矢印の湾曲した実線部分と資料画像c1の円グラフを背景画像(L4)のレイヤにコピーする。
【0155】
その後、表示制御部14aは、ステップS101-4で作成された取込画面用の表示データをディスプレイ180に表示してこのフローを抜ける(ステップS101-14)。つまり、表示内容をキャプチャ画面の内容に切り替えてこのフローを抜ける。このステップS101-14の処理は、上述したステップS101-5の処理と同様である。
【0156】
一方、設定されたモードがマーカモードである場合(ステップS101-11;マーカモード)、表示制御部14aは、マーカ描画データをディスプレイ180に表示してこのフローを抜ける(ステップS101-15)。
【0157】
ここで、ステップS101-15のマーカ描画処理(PC画面におけるマーカ描画処理)が行われたときにも、画像処理部17aは、PC画面に画像入力された入力画像を画面キャプチャして、上述したステップS101-3,4,5の処理を実行することも可能である。つまり、画像処理部17aは、マーカモードにおける画像入力時にも、ペン入力時と同様の画面キャプチャ処理を実行するようにしてもよい。
【0158】
ステップS101-2で、表示内容が取込画面(キャプチャ画面)に係る画像である場合(ステップS101-2;取込画面(キャプチャ画面))、判断部15aは、さらに、設定されたモードがペンモードかマーカモードのどちらかであるかを判断する(ステップS101-16)。
【0159】
設定されたモードがペンモードである場合(ステップS101-16;ペンモード)、画像処理部17aは、電子ペン190等により入力された入力画像に対する描画処理を行い、その後、表示制御部14aが各画像レイヤの画像をディスプレイ180に表示してこのフローを抜ける(ステップS101-17)。
【0160】
一方、設定されたモードがマーカモードである場合(ステップS101-16;マーカモード)、画像処理部17aは、マーカ描画処理を行い、その後、表示制御部14aが各画像レイヤの画像をディスプレイ180に表示してこのフローを抜ける(ステップS101-18)。
【0161】
<画面取込時の判断処理のフローチャート>
図23は、本実施形態に係る画面取込時の判断処理の一例を示すフローチャートである。図23では、図22で説明した表示切替処理及びモード切替処理に対して、さらに、ペンモード時における入力画像の入力時間と入力長さを判断する処理が追加される。なお、図23におけるステップS101-1、S101-2及びS101-11の各処理は、図22におけるステップS101-1、S101-2及びS101-11の各処理と同様のため、説明を省略する。
【0162】
ステップS101-11で、判断部15aがペンモードであると判断した場合、判断部15aはさらに、ペン描画の線の長さ又はペンがディスプレイ180(表示装置)に表面に接触している時間が所定の閾値以上であるか否かを判断する(ステップS101-21)。このとき、判断部15aは、計測部16aと協働して、ペン描画の線の長さを計測し、所定の閾値以上であるか否かを判断する。さらに、判断部15aは、計測部16aと協働して、ペン描画の線の長さを計測し、それぞれが所定の閾値以上であるか否かを判断する。なお、ステップS101-21では、上述したペン描画の線の長さ又は時間のいずれか一方がそれぞれの所定の閾値以上であれば、上述したステップS101-12以降の処理を行う。なお、図23におけるステップS101-12,13,14の各処理は、図22におけるステップS101-12,13,14の各処理と同様のため、対応する詳細の説明を省略する。
【0163】
本実施形態では、図23のフローチャートのステップS101-2で「PC」ボタンbc1が選択され、PC画面がディスプレイ180に表示された状態、すなわち「カメラ」ボタンba1が選択されていない場合でも、ステップS101-21で判断部15aが入力画像の入力が所定の閾値以上であると判断すれば(所定の条件を満たす場合に)、画像処理部17aは、PC画面の取込みを行う。これにより、利用者A1が取込選択手段(「カメラ」ボタンba1,又はカメラアイコン)への選択操作を忘れて画面に対して入力画像の入力を続けた場合でも、PC画面の取込みが行われるため、PC画面の内容が急に変わっても(遷移しても)、利用者A1が入力した入力画像との関係性を保つことが可能になる。このとき、表示制御部14aは、ディスプレイ180の下部等に、画面の取込みが行われたキャプチャ画面のサムネイル画像を表示してもよい。さらに、表示制御部14aは、利用者A1による入力画像の入力操作に影響を与えない程度の時間で画面の取込みが行われたことを示すアニメーション表示をしてもよい。
【0164】
本実施形態において、ステップS101-21で判断される所定の閾値は、所定の条件の一例である。所定の条件は、以下のような場合が考えられる。
【0165】
●入力画像の入力時間が所定の時間以上●
この場合の所定の条件とは、入力画像の入力に係る入力時間又は距離が所定の閾値以上である場合である。具体的には、図21(B)に示されているように、利用者A1が曲線矢印を電子ペン190等でディスプレイ180に書く場合に、受付部12aが最初の曲線を書き始めたことを受け付けてから(検出してから)、計測部16aによって所定の時間(例えば、閾値としての0.1秒)が計数されてもなお、受付部12aが入力画像の入力を受け付けている場合である。一方、受付部12aが曲線を書き始めたことを受け付けてから(検出してから)、計測部16aによって所定の時間(例えば、0.04秒)が計数されたときに受付部12aが入力画像の入力を受け付けなくなった場合は、判断部15aは、所定の条件を満たさないと判断する。このような判断処理は、いわゆる電子黒板1のディスプレイ180に対する画像入力時のチャタリング防止機能の一つとして機能する。
【0166】
●入力画像の入力距離(長さ)が所定の距離(長さ)以上●
この場合の所定の条件とは、所定の時間以上の場合と同様に、利用者A1が曲線矢印を電子ペン190等でディスプレイ180に書く場合に、受付部12aが最初の曲線を書き始めたことを受け付けてから(検出してから)、計測部16aによって所定の距離(長さ)(例えば、閾値としての1cm)が計測されてもなお、受付部12aが入力画像の入力を受け付けている場合である。つまり、この場合では、閾値としての1cmに満たない入力画像では、画面キャプチャを行うための所定の条件にはならない。
【0167】
入力距離(長さ)の応用として、計測部16aは、ディスプレイ180に設けた座標の変化を利用して、利用者A1が画像入力した画像の領域を計測し、その領域が所定の面積以上になった場合に入力画像を取り込む(画面キャプチャする)ようにしてもよい。この場合の適用例として、主に、利用者A1が円や矩形等の図形を描画したときに利用されることが想定される。
【0168】
●入力画像の入力間隔が所定の時間以上●
この場合の所定の条件とは、入力画像の入力と次の入力画像の入力との時間間隔が所定の閾値以上である場合である。具体的には、例えば、利用者A1が「RICOH」という文字列を書く場合に、最後の文字の「H」を書き終わってから次の入力画像の入力が行われるまでに所定の閾値以上の時間間隔(例えば、閾値としての2秒)が空く場合である。このとき、計測部16aは、図4に示されているCPU101の処理、電子ペンコントローラ116、接触センサ114へのセンサ入力、及びセンサコントローラ115を用いて、上述した条件である時間を計測する。この場合、図23のステップS101-21では、所定の条件を満たさない場合は、判断部15aは、ステップS101-21の判断を繰り返すようにしてもよい。
【0169】
●入力画像の入力が最初に中断されたとき●
この場合の所定の条件とは、受付部12a(受付手段)によりディスプレイ180(表示手段)に対する入力画像の入力が受け付けられてから、その入力画像の入力の受付が最初に中断されたときである。具体的には、図21(C)に示されているように、例えば、利用者A1が「R」という文字を一筆書きした場合に、「R」の文字を書き終わった後の電子ペン190のペン先がディスプレイ180の画面から離れたとき(入力画像の入力が途切れたとき)である。このとき、計測部16aは、図4に示されているCPU101の処理、電子ペンコントローラ116、接触センサ114へのセンサ入力、及びセンサコントローラ115を用いて、上述した条件であるディスプレイ180への電子ペン190等の接触の有無を判断する。さらにこのとき、表示制御部14aは、画面キャプチャ処理後の画面として、選択ボタンのハイライト表示を「PC」ボタンbc1から「ペン」ボタンbp1に変えるようにしてもよい。図21(C)に示されたように、画面キャプチャ処理において、画像処理部17aは、電子ペン190で入力されたストローク画像「R」の文字を含めた円グラフの資料画像(c1)を含めた画像を画面キャプチャする。
【0170】
上述したそれぞれの所定の条件は、情報通信システム8のシステム構築時に、電子黒板1の利用形態に合わせて電子黒板1用のプログラムに適宜組み込んで実行されるようにしてもよい。
【0171】
判断部15aによって上述した所定の条件を満たすと判断された場合、画像処理部17aは、PC画面の取込みを行う(ステップS101-3)。
【0172】
続いて、画像処理部17aは、取り込まれたPC画面を構成する画像からその画像に書き込むための取込画面用の表示データを作成する(ステップS101-4)。
【0173】
その後、表示制御部14aは、ステップS101-4で作成された取込画面用の表示データをディスプレイ180に表示してこのフローを抜ける(ステップS101-5)。
【0174】
図23に戻り、判断部15aによって上述した所定の条件を満たすと判断されない場合(ステップS101-21;未満)、画像処理部17aは、ディスプレイ180に入力された入力画像を消去する(ステップS101-22)。但し、画像処理部17aは、判断部15aと協働して、入力画像を消去する代わりとして、ステップS101-21の判断処理に戻るようにしてもよい。
【0175】
さらに、ステップS101-11の判断におけるマーカモードの判断で実行されるステップS101-15、ステップS101-16の判断で実行されるステップS101-17及びステップS101-18の各処理は、図22で説明したステップS101-15、ステップS101-16の判断で実行されるステップS101-17及びステップS101-18の各処理の内容と同様であるため、対応する詳細の説明を省略する。
【0176】
<画面消去時の処理>
ここで、電子黒板1aのディスプレイ180に表示された画面データを消去する処理について説明する。例えば、図21(C)に示されているように、電子ペン190で画像入力された「R」の文字で示されるストローク画像st1が描画された状態で、利用者A1が「R」の文字を消しゴムボタン等で消去する場合、画像処理部17aは、「R」で示されるストローク画像st1のみを消去する。このとき、画像処理部17aは、キャプチャ画面として取り込まれた図21(C)中の円グラフで示される資料画像c1、カメラ」ボタンba1,又はカメラアイコン等の各種選択ボタン、背景画像d1の一例としての「理光電子黒板」等の画像を示す画像データを残す。その結果、表示制御部14aは、「R」で示されるストローク画像st1のみをディスプレイ180から消去する。
【0177】
上述した画像処理部17aの処理は、例えば、図3に示されているように、電子黒板1aが備える複数の画像レイヤ構造によって実現される。つまり、画像処理部17aは、共有ストローク画像(L2)のレイヤに画像入力された曲線の矢印のみを消去し、他の画像レイヤの画像が消去しない。
【0178】
なお、本実施形態において、「画像入力」とは、電子黒板1のディスプレイ180に対して、電子ペン190等による文字の入力、図形等を描画することの総称として用いる。
【0179】
<取込画面(キャプチャ画面)の解除について>
本実施形態において、ステップS101-3~S101-5で実行される取込画面は、PC2からの送信データ(画像データ)が変化した場合、PC2において、マウス等のポインティングデバイス212に対する操作が行われた場合などをトリガとして、表示制御部14aによって、キャプチャ画面が解除されるようにしてもよい。さらに、「PC」ボタンbc1への操作で解除するようにしてもよい。一方、図20のステップS101-2の判断でキャプチャ画面に進んだ場合(最初から「カメラ」ボタンba1が操作された場合、等)には、表示制御部14aは、PC2からの送信データ(画像データ)が変化した場合や、PC2において、マウス等のポインティングデバイス212に対する操作が行われた場合などでも、キャプチャ画面を維持するように制御してもよい。
【0180】
なお、本実施形態において、PC2aと電子黒板1aを含む情報通信システム8aを例に説明したが、PC2bと電子黒板1bを含む情報通信システム8bにおいても同様に適用可能である。
【0181】
〔実施形態の主な効果〕
以上説明したように、電子黒板1aの判断部15aは、ペン描画の線の長さ又は時間が閾値以上否かを判断し(ステップS101-21)、所定の閾値以上である場合に、画像処理部17aは、PC画面の取込みを行う(ステップS101-3)。続いて、画像処理部17aは、取り込まれたPC画面を構成する画像からその画像に書き込むための取込画面用の表示データを作成する(ステップS101-4)。その後、表示制御部14aは、ステップS101-4で作成された取込画面用の表示データをディスプレイ180に表示する(ステップS101-5)。これにより、利用者A1は、電子黒板1aに表示された画面を取り込もうとする場合に、電子黒板1aに設けられた「カメラ」ボタンba1への操作(選択)を予め行う必要がなくなる。つまり、利用者A1がカメラボタンba1への操作(選択)を忘れて電子ペン190等により所定の入力画像を入力し続けても、所定の条件を満たすことでディスプレイ180に表示された画面が取り込まれる(画面キャプチャされる)。そのため、画面キャプチャ後にPC2aが送信する画像が変わったとしても、ディスプレイ180に表示された画面の内容と利用者A1が入力している入力画像の内容との関係性を保つことが可能になるという効果を奏する。
【0182】
さらに、本実施形態によれば、電子黒板1aの判断部15aは、ペン描画の線の長さ又は時間が閾値以上否かを判断し(ステップS101-21)、所定の閾値以上である場合に、画像処理部17aは、PC画面の取込みを行う(ステップS101-3)。これにより、利用者がPC画面の画面取込操作(画面キャプチャ操作)を忘れたままPC画面にストローク画像を入力している途中で別のPC画面に切り替わってしまうような場合でも、利用者がPC画面を後戻りさせて画面取込操作をやり直すといった操作を不要にする効果も期待できる。
【0183】
〔実施形態の補足〕
上記実施形態では、通信端末の一例として、電子黒板であるオフィス機器について説明したが、これに限るものではない。通信端末の他の例として、PC、スマートフォン、スマートウォッチ、カーナビゲーション端末等が含まれる。さらに、通信端末には、医療機器が含まれる。医療機器の場合には、資料画像が患者の画像となる。一方で、通信端末は、表示手段としてのディスプレイ180を通信端末自身に備えていなくてもよい。つまり、通信端末とディスプレイ180が物理的に独立した構成(装置)を備え、通信端末による遠隔操作等によってディスプレイ180の表示内容が制御されるようにしてもよい。
【0184】
また、上記実施形態では、通信システムによってビデオ会議をする場合について説明したが、これに限るものではなく、打合せ、家族間や友人間等の一般的な会話、遠隔診断、又は、一方向での情報の提示に使用されても構わない。
【0185】
また、上述した実施形態において、PC2は、電子黒板1a,1bに対して資料映像(画像)となる映像(画像)データ、音データ等を送信する機能を有するものであれば、その種類を問わない。例えば、PC2は、スマートフォン、タブレット端末等を一例とする外部入力装置として利用されてもよい。
【0186】
さらに、上述した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU(Graphics Processing Unit)や従来の回路モジュール等のデバイスを含むものとする。
【符号の説明】
【0187】
1a 電子黒板(通信端末の一例)
1b 電子黒板(通信端末の一例)
2a PC(情報処理装置の一例)
2b PC(情報処理装置の一例)
3 中継装置
5 通信管理システム
7 画像保存装置
8 情報通信システム(情報通信システムの一例)
11a 送受信部(受信手段の一例)
11b 送受信部(受信手段の一例)
12a 受付部(受付手段の一例)
12b 受付部(受付手段の一例)
14a 表示制御部(表示制御手段の一例)
14b 表示制御部(表示制御手段の一例)
17a 画像処理部(取込手段の一例)
17b 画像処理部(取込手段の一例)
ba1 カメラボタン(取込選択手段の一例)
ba2 カメラボタン(取込選択手段の一例)
180 ディスプレイ(表示手段の一例)
【先行技術文献】
【特許文献】
【0188】
【文献】特開2015-70543号公報
【文献】特開2019-133283号公報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23