IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧

特許7574565通信端末、通信システム、通信方法、及びプログラム
<>
  • 特許-通信端末、通信システム、通信方法、及びプログラム 図1
  • 特許-通信端末、通信システム、通信方法、及びプログラム 図2
  • 特許-通信端末、通信システム、通信方法、及びプログラム 図3
  • 特許-通信端末、通信システム、通信方法、及びプログラム 図4
  • 特許-通信端末、通信システム、通信方法、及びプログラム 図5
  • 特許-通信端末、通信システム、通信方法、及びプログラム 図6
  • 特許-通信端末、通信システム、通信方法、及びプログラム 図7
  • 特許-通信端末、通信システム、通信方法、及びプログラム 図8
  • 特許-通信端末、通信システム、通信方法、及びプログラム 図9
  • 特許-通信端末、通信システム、通信方法、及びプログラム 図10
  • 特許-通信端末、通信システム、通信方法、及びプログラム 図11
  • 特許-通信端末、通信システム、通信方法、及びプログラム 図12
  • 特許-通信端末、通信システム、通信方法、及びプログラム 図13
  • 特許-通信端末、通信システム、通信方法、及びプログラム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-21
(45)【発行日】2024-10-29
(54)【発明の名称】通信端末、通信システム、通信方法、及びプログラム
(51)【国際特許分類】
   H04L 67/00 20220101AFI20241022BHJP
   G06F 3/14 20060101ALI20241022BHJP
   H04N 7/15 20060101ALI20241022BHJP
【FI】
H04L67/00
G06F3/14 350A
G06F3/14 400
H04N7/15
【請求項の数】 12
(21)【出願番号】P 2020131130
(22)【出願日】2020-07-31
(65)【公開番号】P2022027242
(43)【公開日】2022-02-10
【審査請求日】2023-05-11
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】杉岡 達朗
【審査官】中川 幸洋
(56)【参考文献】
【文献】特開2013-175048(JP,A)
【文献】特開2020-080101(JP,A)
【文献】特開2000-285262(JP,A)
【文献】特開2018-136828(JP,A)
【文献】渡辺 陽太郎 ほか,三次元動画像を用いた遠隔教育システム Distance Learning System Using 3D Graphics,電子情報通信学会技術研究報告 Vol.108 No.146 IEICE Technical Report,日本,社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers,2008年07月12日,pp.23-28
(58)【調査した分野】(Int.Cl.,DB名)
H04L 67/00
G06F 3/14
H04N 7/15
(57)【特許請求の範囲】
【請求項1】
通信ネットワークを介して他の通信端末と通信する通信端末であって、
立体物を複数の方向から記録したコンテンツデータを取得するコンテンツデータ取得部と、
前記コンテンツデータの表示位置の指定を受け付ける操作受付部と、
前記コンテンツデータの前記表示位置に対応する画像を前記他の通信端末と共有する画像共有部と、
前記画像共有部が共有する画像を含む表示画面を表示部に表示させる表示制御部と、
を有し、
前記コンテンツデータは、前記立体物をモデル化した電子データを含み、
前記表示位置の情報は、モデル化した前記立体物を表示する視点の位置を示す情報を含む、通信端末。
【請求項2】
通信ネットワークを介して他の通信端末と通信する通信端末であって、
立体物を複数の方向から記録したコンテンツデータを取得するコンテンツデータ取得部と、
前記コンテンツデータの表示位置の指定を受け付ける操作受付部と、
前記コンテンツデータの前記表示位置に対応する画像を前記他の通信端末と共有する画像共有部と、
前記画像共有部が共有する画像を含む表示画面を表示部に表示させる表示制御部と、
を有し、
前記コンテンツデータは、前記立体物を複数の方向から撮影した映像データを含み、
前記表示位置の情報は、前記映像データの再生位置を示す情報を含む通信端末。
【請求項3】
前記表示制御部は、前記表示位置を指定する表示要素を前記表示画面に表示し、
前記画像共有部は、前記表示要素で前記表示位置が指定されたときに、前記コンテンツデータの前記表示位置に対応する画像を前記他の通信端末に送信する、請求項1又は2に記載の通信端末。
【請求項4】
前記画像共有部は、
前記コンテンツデータの前記表示位置の画像と、前記表示位置の情報とを前記他の通信端末と共有し、
前記他の通信端末から、前記表示位置を指定する指定情報を受け付けた場合、前記コンテンツデータの前記表示位置の画像と、前記表示位置の情報とを前記他の通信端末に送信する、請求項1乃至3のいずれか一項に記載の通信端末。
【請求項5】
前記画像共有部は、前記他の通信端末からの要求に応じて、前記表示位置の指定を前記他の通信端末に許可し、前記表示位置の指定が許可された前記他の通信端末から前記指定情報を受け付ける、請求項に記載の通信端末。
【請求項6】
前記画像共有部は、前記他の通信端末から、前記他の通信端末が取得したコンテンツデータの一の表示位置に対応する画像を受信した場合、前記一の表示位置に対応する画像を前記他の通信端末と共有し
前記表示制御部は、前記一の表示位置に対応する画像を前記表示画面に表示する、請求項1乃至のいずれか一項に記載の通信端末。
【請求項7】
通信ネットワークを介して他の通信端末と通信する複数の通信端末を含む通信システムであって、
前記通信端末は、
立体物を複数の方向から記録したコンテンツデータを取得するコンテンツデータ取得部と、
前記コンテンツデータの表示位置の指定を受け付ける操作受付部と、
前記コンテンツデータの前記表示位置の画像を前記他の通信端末と共有する画像共有部と、
前記画像共有部が共有する画像を含む表示画面を表示部に表示させる表示制御部と、
を有し、
前記コンテンツデータは、前記立体物をモデル化した電子データを含み、
前記表示位置の情報は、モデル化した前記立体物を表示する視点の位置を示す情報を含む、通信システム。
【請求項8】
通信ネットワークを介して他の通信端末と通信する複数の通信端末を含む通信システムであって、
前記通信端末は、
立体物を複数の方向から記録したコンテンツデータを取得するコンテンツデータ取得部と、
前記コンテンツデータの表示位置の指定を受け付ける操作受付部と、
前記コンテンツデータの前記表示位置の画像を前記他の通信端末と共有する画像共有部と、
前記画像共有部が共有する画像を含む表示画面を表示部に表示させる表示制御部と、
を有し、
前記コンテンツデータは、前記立体物を複数の方向から撮影した映像データを含み、
前記表示位置の情報は、前記映像データの再生位置を示す情報を含む、通信システム。
【請求項9】
通信ネットワークを介して他の通信端末と通信する通信端末が、
立体物を複数の方向から記録したコンテンツデータを取得する処理と、
前記コンテンツデータの表示位置の指定を受け付ける処理と、
前記コンテンツデータの前記表示位置の画像を前記他の通信端末と共有する処理と、
前記他の通信端末と共有する画像を含む表示画面を表示する処理と、
を実行し、
前記コンテンツデータは、前記立体物をモデル化した電子データを含み、
前記表示位置の情報は、モデル化した前記立体物を表示する視点の位置を示す情報を含む、通信方法。
【請求項10】
通信ネットワークを介して他の通信端末と通信する通信端末が、
立体物を複数の方向から記録したコンテンツデータを取得する処理と、
前記コンテンツデータの表示位置の指定を受け付ける処理と、
前記コンテンツデータの前記表示位置の画像を前記他の通信端末と共有する処理と、
前記他の通信端末と共有する画像を含む表示画面を表示する処理と、
を実行し、
前記コンテンツデータは、前記立体物を複数の方向から撮影した映像データを含み、
前記表示位置の情報は、前記映像データの再生位置を示す情報を含む、通信方法。
【請求項11】
通信ネットワークを介して他の通信端末と通信する通信端末に、
立体物を複数の方向から記録したコンテンツデータを取得する処理と、
前記コンテンツデータの表示位置の指定を受け付ける処理と、
前記コンテンツデータの前記表示位置の画像を前記他の通信端末と共有する処理と、
前記他の通信端末と共有する画像を含む表示画面を表示する処理と、
を実行させ
前記コンテンツデータは、前記立体物をモデル化した電子データを含み、
前記表示位置の情報は、モデル化した前記立体物を表示する視点の位置を示す情報を含む、プログラム。
【請求項12】
通信ネットワークを介して他の通信端末と通信する通信端末に、
立体物を複数の方向から記録したコンテンツデータを取得する処理と、
前記コンテンツデータの表示位置の指定を受け付ける処理と、
前記コンテンツデータの前記表示位置の画像を前記他の通信端末と共有する処理と、
前記他の通信端末と共有する画像を含む表示画面を表示する処理と、
を実行させ、
前記コンテンツデータは、前記立体物を複数の方向から撮影した映像データを含み、
前記表示位置の情報は、前記映像データの再生位置を示す情報を含む、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信端末、通信システム、通信方法、及びプログラムに関する。
【背景技術】
【0002】
インターネット等の通信ネットワークを介して複数の通信端末が、例えば、映像データ、画像データ、文書データ等のコンテンツデータを共有する会議システムが知られている。
【0003】
例えば、情報処理端末が、共有資料データである第1の画像に共有資料データのアドレス情報を埋め込んだ第2の画像を他の情報処理端末に送信して、他の情報処理端末と共有資料データを共有する会議システムが知られている(例えば、特許文献1参照)。
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような会議システムを利用して、例えば、模型や、試作品等の立体物を複数の方向から記録したコンテンツデータを共有する会議を行いたいという要求がある。
【0005】
しかし、例えば、立体物を複数の方向から撮影した映像データ(コンテンツデータの一例)を複数の通信端末間で共有する場合、映像データのサイズ、通信環境等によって、共有を開始するまでに時間を要してしまう場合がある。
【0006】
本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、通信ネットワークを介して他の通信端末と通信する通信端末において、立体物を複数の方向から記録したコンテンツデータを、他の通信端末と迅速に共有できるようにする。
【課題を解決するための手段】
【0007】
上記の課題を解決するため、本発明の一実施形態に係る通信端末は、通信ネットワークを介して他の通信端末と通信する通信端末であって、立体物を複数の方向から記録したコンテンツデータを取得するコンテンツデータ取得部と、前記コンテンツデータの表示位置の指定を受け付ける操作受付部と、前記コンテンツデータの前記表示位置に対応する画像を前記他の通信端末と共有する画像共有部と、前記画像共有部が共有する画像を含む表示画面を表示部に表示させる表示制御部と、を有し、前記コンテンツデータは、前記立体物をモデル化した電子データを含み、前記表示位置の情報は、モデル化した前記立体物を表示する視点の位置を示す情報を含む。
【発明の効果】
【0008】
本発明の一実施形態によれば、通信ネットワークを介して他の通信端末と通信する通信端末において、立体物を複数の方向から記録したコンテンツデータを、他の通信端末と迅速に共有できるようになる。
【図面の簡単な説明】
【0009】
図1】一実施形態に係る通信システムのシステム構成の例を示す図である。
図2】一実施形態に係るコンピュータのハードウェア構成の例を示す図である。
図3】一実施形態に係る通信端末のハードウェア構成の一例を示す図である。
図4】一実施形態に係る通信端末のハードウェア構成の別の一例を示す図である。
図5】第1の実施形態に係る通信端末の機能構成の例を示す図である。
図6】第1の実施形態に係る共有処理の例を示すシーケンス図である。
図7】第1の実施形態に係る表示画面のイメージを示す図である。
図8】第2の実施形態に係る操作権の取得処理の例を示すシーケンス図である。
図9】第2の実施形態に係る表示画面のイメージを示す図である。
図10】第3の実施形態に係る通信端末の機能構成の例を示す図である。
図11】第3の実施形態に係る共有処理の例を示すシーケンス図である。
図12】第3の実施形態に係るモデルデータについて説明するための図である。
図13】第4の実施形態に係る共有処理の例を示すシーケンス図である。
図14】第4の実施形態に係る表示画面のイメージを示す図である。
【発明を実施するための形態】
【0010】
以下に、本発明の実施の形態について、添付の図面を参照して説明する。
【0011】
<システム構成>
図1は、一実施形態に係る通信システムのシステム構成の例を示す図である。通信システム100は、例えば、インターネットやLAN(Local Area Network)等の通信ネットワーク101を介して、互いに通信可能に接続される複数の通信端末110を含む。
【0012】
通信端末110は、通信ネットワーク101を介して他の通信端末110と、例えば、通話用の映像データ及び音データ、共有用のコンテンツデータ等を送受信するビデオ会議で用いられる。なお、「ビデオ会議」は、「テレビ会議」、「遠隔会議」等とも呼ばれる。また、通信端末110には、例えば、電子黒板110a、ビデオ会議端末110b、情報端末110c等が含まれ得る。
【0013】
通信端末110は、例えば、通信管理システム120等のサーバを介して、1つ以上の他の通信端末110とビデオ会議を行う。ただし、これに限られず、通信端末110は、通信管理システム120を介さずに、他の通信端末110とビデオ会議を行うものであっても良い。
【0014】
電子黒板110aは、例えば、通話用の映像データ及び音データ、共有用のコンテンツデータ、及びストロークデータ等を相互に通信する通信端末110であり、IWB(Interactive White Board)とも呼ばれる。通話用の映像データ及び音データには、例えば、カメラで撮影した利用者の映像、及びマイクで収音した利用者の音声等が含まれる。
【0015】
コンテンツデータとは、文字、図形、音声、画像、動画やそれらを少なくとも1つ以上組み合わせたデータである。一例として、コンテンツデータには、複数の通信端末110の間で共有する、資料データ、映像データ、静止画像データ等が含まれ得る。また、本実施形態では、コンテンツデータに、立体物を複数の方向から撮影した映像データ、又は当該映像データを3次元モデル化したモデルデータ(電子データ)等が含まれる。
【0016】
ストロークデータは、利用者が、電子ペンや人の手等で、電子黒板110aのディスプレイ上に接触して移動させることによって描画された画像(以下、ストローク画像と呼ぶ)を表す電子データ(座標情報、線種情報等)である。例えば、一方の電子黒板110aでストローク画像が描画された場合、このストロークデータが他方の電子黒板110aに送信されることにより、他方の電子黒板110aでも同じストローク画像が描画される。
【0017】
ビデオ会議端末110bは、例えば、通話用の映像データ及び音データ、共有用のコンテンツデータ等を相互に通信する通信端末110である。また、ビデオ会議端末110bは、例えば、ビデオ会議機能を有していない電子黒板等を接続して、ストロークデータを送受信する機能を有していても良い。さらに、ビデオ会議端末110bは、PC(Personal Computer)等を接続して、PCから共有用のコンテンツデータを取得する機能を有していても良い。
【0018】
情報端末110cは、例えば、PC、タブレット端末、スマートフォン等の汎用の情報処理装置である。情報端末110cは、例えば、通信システム100に対応するアプリケーションプログラムを実行することにより、通話用の映像データ及び音データ、共有用のコンテンツデータ、ストロークデータ等を送受信する通信端末110として機能する。
【0019】
なお、電子黒板110a、ビデオ会議端末110b、情報端末110c等は、通信端末110の一例である。例えば、通信端末110は、PJ(Projector:プロジェクタ)、デジタルサイネージ等の出力装置、HUD(Head Up Display)装置、産業機械、医療機器等の通信機能、表示機能等を有する様々な電子機器であって良い。
【0020】
通信管理システム120は、例えば、コンピュータの構成を有する情報処理装置、又は複数の情報処理装置を含むシステムであり、通信端末110のログイン認証、通信(セッション)の管理、通信データの中継等を行う。なお、本実施形態では、通信管理システム120はオプションであり、必須ではない。また、通信管理システム120は、既存の通信管理システムを流用することを想定しているので、ここでは、通信管理システム120に関する詳細な説明は省略する。
【0021】
上記のような通信システム100において、複数の通信端末110の間で、例えば、模型、試作品等の立体物を複数の方向から撮影した映像データ(コンテンツデータの一例)を共有して、会議を行いたいという要求がある。
【0022】
しかし、例えば、特許文献1に示すような従来の技術では、立体物が有する、上下、左右、裏表等の複数の情報を共有するためには、立体物を撮影するカメラと立体物との間の位置関係を変えながら、キャプチャと共有を繰り返さなければならないという問題がある。
【0023】
また、例えば、立体物を撮影した映像データを共有し、共有した映像データを再生しながら立体物について説明を行う方法も考えられるが、この方法では、説明する側と、説明を受ける側とで見ているポイント(側面等)が一致しない場合がある。
【0024】
さらに、例えば、立体物を複数の方向から撮影した映像データを複数の通信端末110間で共有する場合、映像データのサイズ、通信環境等によって、共有を開始するまでに時間を要してしまう場合がある。従って、例えば、映像データのデータ量が増えるにつれて、各通信端末110で映像データ(例えば動画ファイル等)を送信/受信し終えるまでの時間のばらつきが増えるという問題がある。
【0025】
このような問題を解決するため、本実施形態に係る通信端末110は、例えば、立体物を複数の方向から連続的に記録した映像データを、他の通信端末110に送信せずに、指定された表示位置に対応する画像(静止画像)を、他の通信端末110と共有する。
【0026】
好ましくは、通信端末110は、表示画面に、上記の映像データの再生位置(表示位置と一例)を指定するシークバー(表示要素の一例)を表示し、シークバーで指定された再生位置に対応する画像を、他の通信端末110と共有する。これにより、同じビデオ会議に参加している各通信端末110は、例えば、立体物を同じ角度から見た画像を、迅速に表示することができるようになる。
【0027】
このように、本実施形態によれば、通信ネットワーク101を介して他の通信端末110と通信する通信端末110において、立体物を複数の方向から記録したコンテンツデータを、他の通信端末110と迅速に共有できるようになる。
【0028】
<ハードウェア構成>
続いて、本実施形態に係る各装置のハードウェア構成の例について説明する。
【0029】
(情報端末、及び通信管理システムのハードウェア構成)
情報端末110c、及び通信管理システム120は、例えば、図2に示すようなコンピュータ200のハードウェア構成を有している。或いは、通信管理システム120は、複数のコンピュータ200によって構成される。
【0030】
図2は、一実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ200は、例えば、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、HD(Hard Disk)204、HDD(Hard Disk Drive)コントローラ205、ディスプレイ206、外部機器接続I/F(Interface)207、ネットワークI/F208、キーボード209、ポインティングデバイス210、DVD-RW(Digital Versatile Disk ReWritable)ドライブ212、メディアI/F214、及び、バスライン215等を備えている。
【0031】
これらのうち、CPU201は、コンピュータ200の全体の動作を制御する演算装置である。ROM202は、IPL(Initial Program Loader)等のコンピュータ200の起動に用いられるプログラムを記憶する不揮発性のメモリである。RAM203は、CPU201のワークエリア等として使用される揮発性のメモリである。HD204は、OS(Operating System)やアプリケーション等のプログラムや、各種のデータ等を記憶する大容量の記憶装置である。HDDコントローラ205は、CPU201の制御に従ってHD204に対する各種データの読み出し又は書き込みを制御する。
【0032】
ディスプレイ206は、例えば、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続I/F207は、各種の外部機器を接続するためのインタフェースである。例えば、コンピュータ200が、情報端末110cである場合、外部機器接続I/F207には、カメラやスピーカ等が接続される。或いは、情報端末110cは、カメラやスピーカを内蔵していても良い。
【0033】
ネットワークI/F208は、通信ネットワーク101を利用してデータ通信をするための通信インタフェースである。キーボード209は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス210は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。
【0034】
DVD-RWドライブ212は、DVD-RW211に対するデータの読み出し又は書き込み(記憶)を制御する。なお、DVD-RWドライブ212は、DVD-RW211以外のディスクに対するデータの読み出し又は書き込み(記憶)を制御しても良い。メディアI/F214は、フラッシュメモリ等のメディア213に対するデータの読み出し又は書き込み(記憶)を制御する。バスライン215は、図2に示されているCPU201等の各構成要素を電気的に接続するためのアドレスバス、データバス、及び各種の制御信号等を含む。
【0035】
(通信端末のハードウェア構成1)
図3は、一実施形態に係る通信端末のハードウェア構成の一例を示す図である。ここでは、通信端末110の一例であるビデオ会議端末110bのハードウェア構成の例について説明する。
【0036】
ビデオ会議端末110bは、コンピュータの構成を含み、例えば、CPU301、ROM302、RAM303、フラッシュメモリ304、及びSSD(Solid State Drive)305等を有する。また、ビデオ会議端末110bは、メディアI/F307、操作ボタン308、電源スイッチ309、ネットワークI/F(Interface)311、カメラ312、撮像素子I/F313、マイク314、スピーカ315、及び音入出力I/F316等を有する。さらに、ビデオ会議端末110bは、ディスプレイI/F317、外部機器接続I/F318、近距離通信回路319、近距離通信回路319用のアンテナ319a、及びバス310等を有する。なお、カメラ321、マイク314、スピーカ315等は、ビデオ会議端末110bの外部に設けられていても良いし、ビデオ会議端末110bの内部に設けられていても良い。
【0037】
CPU301は、例えば、ROM302や、フラッシュメモリ304等からプログラムやデータを読出し、処理を実行することで、ビデオ会議端末110bが備える各機能を実現する演算装置である。ROM302は、例えば、IPL等のビデオ会議端末110bの起動に用いられるプログラム等を予め記憶した不揮発性のメモリである。RAM303は、CPU301のワークエリア等として利用される揮発性のメモリである。
【0038】
フラッシュメモリ304は、例えば、OS、アプリケーションプログラム、及び各種のデータ等を記憶するストレージデバイスである。SSD305は、CPU301の制御に従ってフラッシュメモリ304に対する各種データの読み出し、書き込みを制御する。メディアI/F307は、例えば、メモリカード等のメディア306に対するデータの読み出し又は書き込み(記憶)を制御する。
【0039】
操作ボタン308は、ビデオ会議端末110bの利用者の入力操作を受け付ける入力装置である。電源スイッチ309は、ビデオ会議端末110bの電源のオン/オフを切り替えるためのスイッチである。ネットワークI/F311は、通信ネットワーク101を利用して通信するための通信インタフェースである。
【0040】
カメラ312は、CPU301の制御に従って被写体を撮像するための撮像装置である。撮像素子I/F313は、カメラ312による撮像を制御すると共に、撮像したデータを所定の画像データ(映像データ)に変換する。マイク314は、取得した音を電気信号に変換する。スピーカ315は、音信号を音に変換して出力する。音入出力I/F316は、マイク314及びスピーカ315による音の入出力を制御する。
【0041】
ディスプレイI/F317は、CPU301の制御に従って、ディスプレイ320に画像データを出力する。外部機器接続I/F318は、各種の外部機器を接続するためのインタフェースである。ディスプレイI/F317、又は外部機器接続I/F318には、例えば、ビデオ会議機能を有していない電子黒板(IWB)等が接続される場合がある。これにより、例えば、ビデオ会議端末110bに接続された電子黒板に、ビデオ会議機能を有する電子黒板と同様に、ビデオ会議映像、共有画像、ストローク画像等を表示することができる。
【0042】
近距離通信回路319は、アンテナ319aを介して、近距離無線通信を行う通信回路である。バス310は、上記の各構成に共通に接続され、アドレス信号、データ信号、及び各種の制御信号等を伝達する。
【0043】
(通信端末のハードウェア構成2)
図4は、一実施形態に係る通信端末のハードウェア構成の別の一例を示す図である。ここでは、通信端末110の別の一例である電子黒板110aのハードウェア構成の例について説明する。
【0044】
電子黒板110aは、CPU401、ROM402、RAM403、SSD404、ネットワークI/F405、及び、外部機器接続I/F406等を備えている。これらのうち、CPU401は、電子黒板110a全体の動作を制御する演算装置である。ROM402は、IPL等の電子黒板110aの起動に用いられるプログラムを記憶する不揮発性のメモリである。RAM403は、CPU401のワークエリアとして使用される揮発性のメモリである。SSD404は、電子黒板110a用のプログラムや各種データを記憶する大容量の記憶装置である。
【0045】
ネットワークI/F405は、電子黒板110aを通信ネットワーク101に接続し、通信を行うための通信インタフェースである。外部機器接続I/F406は、各種の外部機器を接続するためのインタフェースである。図4の例では、外部機器には、例えば、USB(Universal Serial Bus)メモリ431、マイク432、スピーカ433、カメラ434等が含まれる。
【0046】
また、電子黒板110aは、キャプチャデバイス411、GPU(Graphics Processing Unit)412、ディスプレイコントローラ413、接触センサ414、センサコントローラ415、電子ペンコントローラ416、近距離通信回路419、及び近距離通信回路419のアンテナ419a、電源スイッチ417及び選択スイッチ類418等を備えている。
【0047】
これらのうち、キャプチャデバイス411は、外付けのPC450のディスプレイ等に表示されている表示画面等を、静止画、又は動画としてキャプチャ(取得)する。また、キャプチャデバイス411は、カメラ434で撮影した映像データ等をキャプチャする。
【0048】
GPU412は、グラフィクスを専門に扱う半導体チップ(プロセッサ)である。ディスプレイコントローラ413は、GPU412からの出力画像をディスプレイ460等へ出力するために画面表示の制御及び管理を行う。接触センサ414は、ディスプレイ460上に電子ペン440やユーザの手H等が接触したことを検知する。センサコントローラ415は、接触センサ414の処理を制御する。
【0049】
接触センサ414は、例えば、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ460の上側両端部に設置された2つ受発光装置が、ディスプレイ460に平行して複数の赤外線を放射し、ディスプレイ460の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ414は、物体によって遮断された2つの受発光装置が放射した赤外線のIDをセンサコントローラ415に出力し、センサコントローラ415が、物体の接触位置である座標位置を特定する。電子ペンコントローラ416は、電子ペン440と通信することで、ディスプレイ460へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路419は、アンテナ419aを介して、近距離無線通信を行う通信回路である。
【0050】
電源スイッチ417は、電子黒板110aの電源のオン/オフを切り換えるためのスイッチである。選択スイッチ類418は、例えば、ディスプレイ460の表示の明暗や色合い等を調整するためのスイッチ群である。
【0051】
さらに、電子黒板110aは、バスライン420を備えている。バスライン420は、図4に示されているCPU401等の各構成要素を電気的に接続するためのアドレスバス、データバス、及び各種の制御信号等を含む。
【0052】
なお、接触センサ414は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する2つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル等を用いても良い。また、接触センサ414は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネル等の種々の検出手段を用いても良い。さらに、電子ペンコントローラ416が、電子ペン440のペン先及びペン尻だけでなく、電子ペン440のユーザが握る部分や、その他の電子ペンの部分におけるタッチの有無を判断するようにしても良い。
【0053】
[第1の実施形態]
<機能構成>
図5は、第1の実施形態に係る通信端末110の機能構成の例を示す図である。図5に示すように、通信端末110は、例えば、通信部501、会議制御部502、コンテンツデータ取得部503、操作受付部504、画像共有部505、表示制御部506、及び記憶部507等を有する。
【0054】
例えば、通信端末110が電子黒板110aである場合、電子黒板110aは、図4のCPU401で所定のプログラムを実行することにより、上記の各機能構成を実現している。また、通信端末110がビデオ会議端末110bである場合、ビデオ会議端末110bは、図3のCPU301で所定のプログラムを実行することにより、上記の各機能構成を実現している。さらに、通信端末110が情報端末110cである場合、情報端末110cは、図2のCPU201で、通信システム100に対応するアプリケーションプログラムを実行することにより、上記の各機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部はハードウェアによって実現されるものであっても良い。また、ここでは、一例として、通信端末110がビデオ会議端末110bであるものとして以下の説明を行うが、本発明の範囲を限定するものではない。
【0055】
通信部501は、例えば、図4のネットワークI/F405等を用いて、通信端末110を通信ネットワーク101に接続し、他の通信端末110や通信管理システム120等と通信を行う。
【0056】
会議制御部502は、例えば、利用者の操作や、他の通信端末110から受信した要求情報等に応じて、ビデオ会議等の会議に関する様々な制御を行う。例えば、会議制御部502は、会議の開始及び終了、通話用の映像データ及び音データの送受信、ストロークデータの送受信等を制御する。
【0057】
コンテンツデータ取得部503は、例えば、図4のカメラ434等を用いて、立体物を複数の方向から撮影した映像データを取得する。なお、立体物を複数の方向から撮影した映像データは、立体物を複数の方向から記録したコンテンツデータの一例である。例えば、立体物を複数の方向から記録したコンテンツデータは、立体物を3次元モデル化したモデルデータ等であっても良い。また、コンテンツデータ取得部503は、例えば、図3の外部機器接続I/F318、ネットワークI/F311等を用いて、カメラ312以外の外部装置からコンテンツデータ(例えば、撮影済みの映像データ、モデル化済みのモデルデータ等)を取得しても良い。
【0058】
操作受付部504は、例えば、図4の接触センサ414、センサコントローラ415等を用いて、利用者による様々な操作を受け付ける。例えば、操作受付部504は、立体物を複数の方向から記録したコンテンツデータの表示位置を指定する指定操作を受け付ける。一例として、コンテンツデータが、立体物を複数の方向から撮影した映像データである場合、操作受付部504は、撮影した映像を表示する表示画面に表示されたシークバー等の表示要素により、利用者によって指定された映像データの再生位置の指定を受け付ける。
【0059】
好ましくは、操作受付部504は、通信部501が他の通信端末110から受信する、立体物を複数の方向から記録したコンテンツデータの表示位置を指定する指定情報等による操作も受け付ける。
【0060】
画像共有部505は、操作受付部504が受け付けたコンテンツデータの表示位置に対応する画像(静止画像)を、通信端末110と通信中の他の通信端末110と共有する。例えば、画像共有部505は、操作受付部504が、立体物を複数の方向から記録したコンテンツデータの表示位置の指定を受け付けた場合、当該コンテンツデータの指定された表示位置に対応する画像を、通信端末110と通信中の他の通信端末110に送信する。
【0061】
好ましくは、画像共有部505は、通信中の他の通信端末110から、他の通信端末110が取得したコンテンツデータの指定された表示位置に対応する画像を受信した場合、受信した画像を他の通信端末110と共有する。
【0062】
表示制御部506は、画像共有部505が、通信中の他の通信端末110と共有する画像を表示画面に表示する。例えば、表示制御部506は、操作受付部504が受け付けたコンテンツデータの表示位置に対応する画像を含む表示画面を、図4のディスプレイ等の表示部に表示させる。
【0063】
記憶部507は、例えば、CPU401で実行されるプログラム、及びSSD404、RAM403等によって実現され、他の通信端末110と共有するコンテンツデータ、表示位置の情報等を含む様々な情報やデータを記憶する。
【0064】
なお、図5に示す通信端末110の機能構成は一例である。例えば、操作受付部504、画像共有部505、及び表示制御部506の一部又は全部は、会議制御部502に含まれていても良い。
【0065】
<処理の流れ>
続いて、第1の実施形態に係る通信方法の処理の流れについて説明する。
【0066】
図6は、第1の実施形態に係る共有処理の例を示すシーケンス図である。この図は、例えば、図5に示すような機能構成を有する通信端末110-1と通信端末110-2との間で通信(会議)をしているときに、通信端末110-1を利用するユーザAが、立体物を複数の方向から撮影した映像を、他の通信端末110-2と共有する共有処理の例を示している。
【0067】
なお、図6に示す処理の開始時点において、通信端末110-1と通信端末110-2とは、通信ネットワーク101を介して、映像データ及び音データを送受信する通信(会議)を行っているものとする。なお、通信端末110-1と通信端末110-2は、通信管理システム120を介して相互に通信を行うものであっても良いし、通信管理システム120を介さずに、相互に通信を行うものであっても良い。
【0068】
ステップS601において、通信端末110-1と通信端末110-2との間で通信中に、通信端末110-1を利用するユーザAが、通信端末110-1に対して共有開始操作を行うと、ステップS602以降の処理が実行される。
【0069】
ステップS602、S603において、通信端末110-1の操作受付部504は、ユーザAによる共有開始操作を受け付けると、コンテンツデータ取得部503に対して、カメラ312等で撮影した映像データのキャプチャの開始と終了を要求する。このとき、ユーザAは、例えば、対象となる立体物が複数の方向から撮影されるように、カメラ312、又は立体物を連続的に移動させる。
【0070】
ここで、キャプチャの開始から終了までの時間は、後述する表示位置の指定を容易にするため、例えば、10秒程度の比較的短い時間であることが望ましい。ただし、本実施形態では、キャプチャした映像データの送受信を行わないため、キャプチャの開始から終了までの時間が10秒以上の比較的長い時間であっても、共有画像の表示を迅速に開始することができる。
【0071】
なお、ステップS602、S603の処理は一例である。例えば、コンテンツデータ取得部503は、記憶部507や外部装置等に予め記憶した映像データ等を取得するものであっても良い。
【0072】
ステップS604において、通信端末110-1の操作受付部504は、映像データの取得が完了したことを示す完了通知を表示制御部506等に通知する。
【0073】
ステップS605において、通信端末110-1の表示制御部506は、コンテンツデータ取得部503が取得した映像データを用いて、例えば、図7に示すような共有画面を表示する。
【0074】
図7は、第1の実施形態に係る表示画面のイメージを示す図である。通信端末110-1の表示制御部506は、図6のステップS605において、例えば、図7に示すような表示画面710を、ディスプレイ460等の表示部に表示する。図7の例では、表示画面710には、共有画面711、他の通信端末110-2等の利用者の映像712、及び通信端末110-1の利用者の映像713等が表示されている。
【0075】
共有画面711には、例えば、図6のステップS602、S603でキャプチャした映像データに基づく立体物714の画像と、映像データの再生位置を指定するシークバー715とが表示されている。なお、シークバー715は、映像データ(コンテンツデータ)の再生位置(表示位置)を指定する表示要素の一例である。
【0076】
ここで、図6に戻り、シーケンス図の説明を続ける。
【0077】
例えば、ステップS605において、通信端末110-1の表示制御部506が、共有画面711を表示すると、通信端末110-1は、ステップS621において、共有終了操作を受け付けるまで、ステップS611~S618の処理を繰り返し実行する。
【0078】
ステップS611において、通信端末110-1の操作受付部504が、ユーザAによる再生位置の指定操作を受け付けると、ステップS612以降の処理が実行される。なお、ユーザAは、例えば、図7に示すような共有画面711において、シークバー715の位置を左右に移動させること等により、映像データの再生位置を指定することができる。
【0079】
ステップS612において、通信端末110-1の操作受付部504は、受け付けた再生位置の情報を画像共有部505に通知する。
【0080】
ステップS613において、通信端末110-1の画像共有部505は、コンテンツデータ取得部503が取得した映像データから、通知された再生位置に対応する画像(静止画像)を取得する。
【0081】
ステップS614において、通信端末110-1の画像共有部505は、ステップS613で取得した画像を、通信端末110-1の表示制御部506に通知する。これに応じて、ステップS615において、表示制御部506は、通知された画像を、例えば、図7に示すように、通信端末110-1の表示画面710に含まれる共有画面711に表示する。
【0082】
ステップS616、S617において、画像共有部505は、ステップS613で取得した画像を、通信部501を介して、他の通信端末110-2に送信する。
【0083】
好ましくは、画像共有部505は、取得した画像とともに、再生位置の情報(例えば、開始時点から再生位置までの時間、フレーム数等)、再生範囲の情報(例えば、開始時点から終了時点までの時間、フレーム数等)等を、他の通信端末110-2に送信する。
【0084】
ステップS618において、通信端末110-2の表示制御部506は、例えば、図7に示すような通信端末110-2の表示画面720に含まれる共有画面721に、通信端末110-1から受信した画像(静止画像)を表示する。これにより、通信端末110-1の共有画面711と、通信端末110-2の共有画面721には、図7に示すように、同じ方向から見た立体物714が表示される。
【0085】
なお、通信端末110-1と通信端末110-2とが参加している会議に、他の通信端末110-3が参加している場合、通信端末110-1(又は通信管理システム120)は、会議に参加している他の通信端末110-3にも、通信端末110-2に送信した画像等を送信する。これにより、例えば、図7に示すように、通信端末110-3が表示する表示画面730にも、通信端末110-2が表示している共有画面721と同様の共有画面731が表示される。
【0086】
ステップS621において、例えば、通信端末110-1の操作受付部504が、共有終了操作を受け付けると、通信端末110-1は、ステップS611~S618の処理を終了する。
【0087】
上記の処理により、通信端末110-1は、立体物714を複数の方向から記録したコンテンツデータを、他の通信端末110-2等に送信しなくても、指定した位置から立体物714を表示する静止画像を、他の通信端末110-2等と共有できる。
【0088】
また、通信端末110-1を利用するユーザAは、シークバー715の位置を左右に移動させること等により、立体物714が有する、例えば、上下、左右、裏表等の複数の情報を共有しながら、会議を行うことができる。
【0089】
以上、本実施形態によれば、通信ネットワーク101を介して他の通信端末110-2と通信する通信端末110-1において、立体物を複数の方向から記録したコンテンツデータを、他の通信端末110-2と迅速に共有できるようになる。
【0090】
[第2の実施形態]
第2の実施形態では、例えば、通信端末110-1が取得した映像データの再生位置を、会議に参加している他の通信端末110-2から指定する場合の処理の例について説明する。
【0091】
図8は、第2の実施形態に係る操作権の取得処理の例を示すシーケンス図である。なお、図8に示す処理の開始時点において、図6のステップS601~S605、及びステップS611~S616の処理が、既に実行されているものとする。
【0092】
ステップS801において、通信端末110-2を利用するユーザBが、操作権の取得操作を行うものとする。例えば、ユーザBは、図9(A)に示すような、通信端末110-2が表示する表示画面720において、メニュー画面901を表示させて、「シーク操作」902を選択すること等により、操作権の取得操作を行う。
【0093】
ステップS802において、通信端末110-2の操作受付部504は、ユーザBによる操作権の取得操作を受け付けると、通信端末110-2の通信部501を介して、通信端末110-1に操作権の取得要求を送信する。
【0094】
ステップS803において、通信端末110-1の通信部501は、通信端末110-2から受信した操作権の取得要求を、画像共有部505に通知する。
【0095】
このとき、通信端末110-1の画像共有部505が、他の通信端末110-3等からの要求を処理中である場合、ステップS811~S813の処理が実行される。一方、通信端末110-1の画像共有部505が、他の通信端末110-3等からの要求を処理中でない場合、ステップS821以降の処理が実行される。
【0096】
例えば、他の通信端末110-3等からの要求を処理中である場合、通信端末110-1の画像共有部505は、ステップS811、S812において、操作権の取得を拒否する拒否通知を、要求元の通信端末110-2に送信する。また、ステップS813において、通信端末110-2の表示制御部506は、拒否通知を受信すると、操作権の取得に失敗したことを示す表示画面を表示する。
【0097】
一方、他の通信端末110-3等からの要求を処理中でない場合、通信端末110-1の画像共有部505は、ステップS821において、操作権の取得要求を受け付けたことを示す取得要求の受付通知を、表示制御部506に通知する。
【0098】
ステップS822において、通信端末110-1の表示制御部506は、例えば、図9(B)に示すような問い合わせ画面903を、表示画面710に表示する。図9(B)の例では、通信端末110-1の表示制御部506が表示する表示画面710には、操作権の取得を許可する「OK」ボタンと、操作権の取得を拒否する「NG」ボタンとを選択可能に表示する問い合わせ画面903が表示されている。
【0099】
ステップS823において、ユーザAが許可操作(「OK」ボタンを押下)を行うと、ステップS824以降の処理が実行される。一方、ユーザAが拒否操作(「NG」ボタンを押下)を行うと、ステップS811~S813と同様の処理により、要求元の通信端末110-2に拒否通知が送信される。
【0100】
ステップS824において、通信端末110-1の操作受付部504は、許可操作を受け付けると、画像共有部505に、許可操作を受け付けたことを示す許可通知を通知する。
【0101】
ステップS825、S826において、通信端末110-1の画像共有部505は、通信部501を介して、通信端末110-2に許可通知を送信する。この許可通知には、例えば、現在の表示位置、再生範囲等を示す情報等が含まれていても良い。
【0102】
ステップS827において、通信端末110-2の表示制御部506は、通信端末110-1から送信された許可通知を受け付けると、例えば、図9(C)に示すような共有画面904を含む表示画面720を、ディスプレイ460等の表示部に表示する。この共有画面904には、例えば、図9(C)に示すように、映像データの再生位置を指定するシークバー905が表示される。
【0103】
このシークバー905は、例えば、通信端末110-1から通知された、再生位置の情報(開始時点からの時間、フレーム数等)、及び再生範囲の情報(例えば、開始時点から終了時点までの時間、又はフレーム数等)等に基づいて表示される。なお、再生位置の情報、及び再生範囲の情報は、例えば、図6のステップS617で受信するデータ、又は図8のステップS826で受信する通知等に含まれているものとする。
【0104】
ステップS828において、ユーザBが、共有画面904のシークバー905を用いて、再生位置の指定操作を行うと、ステップS829以降の処理が実行される。
【0105】
ステップS829において、通信端末110-2の操作受付部504は、ユーザBによる指定操作で指定された再生位置の情報を、通信端末110-2の通信部501を介して、通信端末110-1に送信する。
【0106】
ステップS830において、通信端末110-1の通信部501は、通信端末110-2から受信した再生位置の情報を、通信端末110-1の画像共有部505に通知する。
【0107】
ステップS831において、通信端末110-1の画像共有部505は、コンテンツデータ取得部503が取得した映像データから、通知された再生位置に対応する画像(静止画像)を取得する。
【0108】
ステップS832において、通信端末110-1の画像共有部505は、ステップS831で取得した画像を、通信端末110-1の表示制御部506に通知する。これに応じて、ステップS833において、表示制御部506は、通知された画像を、例えば、図9(C)に示すように、通信端末110-1の表示画面710に含まれる共有画面906に表示する。
【0109】
ステップS834、S835において、画像共有部505は、例えば、ステップS832の処理と並行して、ステップS831で取得した画像を、通信部501を介して、他の通信端末110-2に通知する。
【0110】
好ましくは、画像共有部505は、取得した画像とともに、前述した再生位置の情報、再生範囲の情報等を、他の通信端末110-2等に送信する。
【0111】
ステップS836において、通信端末110-2の表示制御部506は、例えば、図9(C)に示すような表示画面720の共有画面721を、通信端末110-1から受信した画像で更新する。これにより、通信端末110-1の共有画面906と、通信端末110-2の共有画面904には、図9(C)に示すように、同じ方向から見た立体物714が表示される。
【0112】
なお、通信端末110-1と通信端末110-2とが参加している会議に、他の通信端末110-3が参加している場合、通信端末110-1(又は通信管理システム120)は、会議に参加している他の通信端末110-3にも、通信端末110-2に送信した画像を送信する。これにより、例えば、図9(C)に示すように、通信端末110-3が表示する表示画面730にも、通信端末110-1、110-2が表示している共有画面721と同様の共有画面907が表示される。
【0113】
以上、第2の実施形態によれば、通信端末110-1が取得した映像データの再生位置を、会議に参加している他の通信端末110-2等から指定することができるようになる。
【0114】
[第3の実施形態]
第3の実施形態では、複数の通信端末110が共有する、立体物を複数の方向から記録したコンテンツデータが、立体物を3次元モデル化したモデルデータ(電子データ)である場合の例について説明する。
【0115】
<機能構成>
図10は、第3の実施形態に係る通信端末の機能構成の例を示す図である。図10に示すように、第3の実施形態に係る通信端末110は、図5で説明した第1の実施形態に係る通信端末110の機能構成に加えて、モデル生成部1001を有している。
【0116】
モデル生成部1001は、例えば、コンテンツデータ取得部503が取得した、立体物を複数の方向から撮影した映像データから、立体物の形状を表す3次元のモデルデータ(電子データ)を生成する。なお、モデル生成部1001が作成する3次元のモデルデータは、例えば、「ワイヤフレーム」、「サーフェス」、「ソリッド」等の既存の3次元モデルであって良い。また、モデルデータの作成方法については、既存の任意の3次元モデル化の方法と同様で良い。
【0117】
本実施形態では、画像共有部505は、モデル生成部1001が生成した、立体物を3次元モデル化したモデルデータに基づいて、指定された表示位置から見た画像を、通信中の他の通信端末110と共有する。また、本実施形態では、立体物の表示位置の情報として、モデル化した立体物を表示する視点の位置を示す情報(座標情報等)を用いる。
【0118】
なお、第3の実施形態に係る通信端末110の他の機能構成については、図5で説明した第1の実施形態に係る通信端末110の機能構成と同様で良い。
【0119】
<処理の流れ>
図11は、第3の実施形態に係る共有処理の例を示すシーケンス図である。この図は、例えば、図10に示す機能構成を有する通信端末110-1と通信端末110-2との間で通信(会議)をしているときに、通信端末110-1を利用するユーザAが、立体物を3次元モデル化したモデルデータを共有する場合の共有処理の例を示している。
【0120】
なお、図11に示す処理の開始時点において、通信端末110-1と通信端末110-2とは、通信ネットワーク101を介して、映像データ及び音データを送受信する通信(会議)を行っているものとする。また、ここでは、第1の実施形態と同様の処理に対する詳細な説明は省略する。
【0121】
ステップS1101において、通信端末110-1と通信端末110-2との間で通信中に、通信端末110-1を利用するユーザAが、通信端末110-1に対して共有開始操作を行うと、ステップS1102以降の処理が実行される。
【0122】
ステップS1102、S1103において、通信端末110-1の操作受付部504は、ユーザAによる共有開始操作を受け付けると、コンテンツデータ取得部503に対して、カメラ312等で撮影した映像データのキャプチャの開始と終了を要求する。なお、ステップS1101~S1103の処理は、第1の実施形態のステップS601~S603の処理と同様で良い。
【0123】
ここで、通信システム100のモデル共有設定が有効に設定されている場合、ステップS1111以降の処理が実行される。一方、通信システム100のモデル共有設定が無効に設定されている場合、図6のステップS604以降の処理が実行される。
【0124】
ステップS1111において、通信端末110-1の操作受付部504は、モデル生成部1001を用いて、ステップS1102、S1103でキャプチャした映像データから、立体物を3次元モデル化したモデルデータを生成する。
【0125】
図12(A)は、3次元モデル化したモデルデータのイメージを示している。例えば、立体物がサイコロ1201である場合、一例として、モデル生成部1001は、サイコロ1201の各面をサーフェスモデルで3次元モデル化して、モデルデータ1202を作成する。ただし、これに限られず、モデル生成部1001は、ワイヤーフレームモデル、又はソリッドモデルで、サイコロ1201を3次元モデル化して、モデルデータ1202を作成しても良い。
【0126】
ステップS1116において、通信端末110-1の操作受付部504は、立体物のモデル化が完了したことを示す完了通知を表示制御部506等に通知する。
【0127】
ステップS1117において、通信端末110-1の表示制御部506は、立体物714を3次元モデル化したモデルデータに基づいて、通信端末110-1が表示する表示画面に、共有画面を表示する。なお、第1の実施形態に係る共有画面711では、シークバー715により、映像データの再生位置を指定していた。一方、第3の実施形態に係る共有画面では、例えば、図12(B)に示すような球面座標系において、モデル化した立体物を表示する視点1211の位置を示す座標情報等によって、立体物の表示位置を指定する。
【0128】
なお、ステップS1117において、通信端末110-1の表示制御部506が、共有画面を表示すると、例えば、ステップS1131で共有終了操作を受け付けるまで、ステップS1121~S1128の処理が繰り返し実行される。
【0129】
ステップS1121において、通信端末110-1の操作受付部504が、ユーザAによる表示位置の指定操作を受け付ける。ユーザAは、例えば、共有画面に表示された立体物を、ドラッグ操作等により上下左右に回転させて、立体物の表示位置を指定する。
【0130】
ステップS1122において、通信端末110-1の操作受付部504は、受け付けた表示位置の座標情報を、画像共有部505に通知する。
【0131】
ステップS1123において、通信端末110-1の画像共有部505は、モデル生成部1001が生成したモデルデータと、ステップS1122で通知された表示位置の座標情報とに基づいて、指定された表示位置から見た立体物の画像を取得(作成)する。
【0132】
ステップS1124において、通信端末110-1の画像共有部505は、ステップS1123で取得した画像を、通信端末110-1の表示制御部506に通知する。
【0133】
ステップS1125において、通信端末110-1の表示制御部506は、画像共有部505から通知された画像を、通信端末110-1の表示画面に含まれる共有画面に表示する。
【0134】
ステップS1126、S1127において、通信端末110-1の画像共有部505は、ステップS1123で取得した画像を、通信端末110-1の通信部501を介して、通信中の他の通信端末110-2等に送信する。
【0135】
ステップS1128において、通信端末110-2の表示制御部506は、通信端末110-1から受信した画像を、通信端末110-2の表示画面に含まれる共有画面に表示する。
【0136】
このように、立体物を複数の方向から記録したコンテンツデータは、立体物を撮影した映像データに限られず、立体物を3次元モデル化したモデルデータ等であっても良い。
【0137】
なお、図11に示す処理は一例である。例えば、図11のステップS1102、S1103、S1111において、会議制御部502は、立体物のモデルデータを生成する代わりに、記憶部507や外部装置等から、立体物を予め3次元モデル化したモデルデータを取得するものであっても良い。
【0138】
[第4の実施形態]
第4の実施形態では、例えば、360度カメラ等、一般的なカメラより画角が広いカメラで撮影した映像から、立体物を含む領域を選択して共有する場合の処理の例について説明する。ここで、360度カメラとは、上下左右360度の動画を撮影可能なカメラであり、例えば、全天球カメラ、全方位カメラ等とも呼ばれる。
【0139】
なお、第4の実施形態に係る通信端末110の機能構成は、例えば、図5に示した第1の実施形態に係る通信端末110の機能構成と同様で良い。
【0140】
<処理の流れ>
図13は、第4の実施形態に係る共有処理の例を示すシーケンス図である。なお、基本的な処理の流れは、図1で説明した第1の実施形態に係る共有処理と同様なので、ここでは、第1の実施形態との相違点を中心に説明する。
【0141】
ステップS601~S603において、通信端末110-1の操作受付部504は、ユーザAによる共有開始操作を受け付けると、第1の実施形態と同様に、コンテンツデータ取得部503を用いて、カメラ312で撮影した映像データをキャプチャする。ただし、第4の実施形態では、カメラ312が、例えば、360度カメラ等の一般的なカメラより画角が広いカメラであるものとする。
【0142】
ステップS1301において、通信端末110-1の操作受付部504は、キャプチャが完了したことを示すキャプチャ完了通知を、表示制御部506に通知する。
【0143】
ステップS1302において、通信端末110-1の表示制御部506は、例えば、図14に示すような共有領域の選択画面を表示する。
【0144】
図14は、第4の実施形態に係る表示画面のイメージを示す図である。図14の例では、通信端末110-1の表示制御部506が表示する表示画面1400には、ステップS602、S603でキャプチャした映像を表示する共有領域の選択画面1401が表示されている。ユーザAは、この共有領域の選択画面1401から、共有の対象となる立体物714等を含む共有領域1402を、例えば、ドラッグ操作等により選択することができる。
【0145】
ステップS1303において、ユーザAが、例えば、図14に示すような共有領域の選択画面1401から、共有領域1402を選択する選択操作を行うと、ステップS1304以降の処理が実行される。
【0146】
ステップS1304、S1305において、通信端末110-1の操作受付部504は、選択された領域の情報(例えば、座標範囲等)を、画像共有部505、表示制御部506に通知する。
【0147】
ステップS1306において、通信端末110-1の表示制御部506は、選択された共有領域1402内の映像データを用いて、共有画面を表示する。これにより、第1の実施形態と同様に、通信端末110-1が表示する表示画面710に共有画面711が表示される。
【0148】
なお、ステップS1306において、通信端末110-1の表示制御部506が、共有画面711を表示すると、例えば、ステップS1321において、共有終了操作を受け付けるまで、ステップS1311~S1318の処理が繰り返し実行される。
【0149】
ステップS1311において、通信端末110-1の操作受付部504が、ユーザAによる再生位置の指定操作を受け付けると、ステップS1312以降の処理が実行される。ユーザAは、第1の実施形態と同様に、例えば、図7に示すような共有画面711において、シークバー715の位置を左右に移動させること等により、映像データの再生位置を指定することができる。
【0150】
ステップS1312において、通信端末110-1の操作受付部504は、受け付けた再生位置の情報を画像共有部505に通知する。
【0151】
ステップS1313において、通信端末110-1の画像共有部505は、コンテンツデータ取得部503が取得した映像データのうち、選択された領域内の指定された再生位置に対応する画像を取得する。
【0152】
ステップS1314において、通信端末110-1の画像共有部505は、ステップS1313で取得した画像を、通信端末110-1の表示制御部506に通知する。これに応じて、ステップS1315において、表示制御部506は、通知された画像を、例えば、図7に示すように、通信端末110-1の表示画面710に含まれる共有画面711に表示する。
【0153】
ステップS1316、S1317において、画像共有部505は、ステップS1313で取得した画像を、通信部501を介して、通信中の他の通信端末110-2に送信する。
【0154】
好ましくは、画像共有部505は、取得した画像とともに、再生位置の情報(例えば、開始時点から再生位置までの時間、フレーム数等)、再生範囲の情報(例えば、開始時点から終了時点までの時間、フレーム数等)等を、通信端末110-2に送信する。
【0155】
ステップS1318において、通信端末110-2の表示制御部506は、例えば、図7に示すような通信端末110-2の表示画面720に含まれる共有画面721に、通信端末110-1から受信した画像を表示する。これにより、通信端末110-1の共有画面711と、通信端末110-2の共有画面721には、第1の実施形態と同様に、同じ方向から見た立体物714が表示される。
【0156】
ステップS1321において、例えば、通信端末110-1の操作受付部504が、共有終了操作を受け付けると、通信端末110-1は、ステップS1311~S1318の処理を終了する。
【0157】
なお、上記の例では、カメラ312が360度カメラであるものとして説明を行ったが、本実施形態は、360°カメラの映像データに限られず、映像データの撮影範囲の一部を選択的に共有する場合に、広く適用することができる。
【0158】
以上、本発明の各実施形態によれば、通信ネットワークを介して他の通信端末と通信する通信端末において、立体物を複数の方向から記録したコンテンツデータの他の通信端末との共有を迅速に開始できるようになる。
【0159】
<補足>
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【0160】
また、通信端末110用のプログラムは、例えば、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしても良い。また、通信端末110用のプログラムは、記録媒体だけではなく、例えば、サーバ(クラウドやオンプレミス)からダウンロードして、通信端末110にインストール可能なもの等であっても良い。
【0161】
さらに、通信管理システム120は、図4に示すようなコンピュータ400に限られず、例えば、携帯電話、スマートフォン、タブレット端末、ウェアラブル端末、PDA(Personal data assistant)、及び、画像形成装置等の電子機器で実現しても良い。
【符号の説明】
【0162】
100 通信システム
101 通信ネットワーク
110 通信端末
503 コンテンツデータ取得部
504 操作受付部
505 画像共有部
506 表示制御部
710 表示画面
715 シークバー(表示要素の一例)
【先行技術文献】
【特許文献】
【0163】
【文献】特開2015-52896号公報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14