IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧

特許7537215サーバ装置、通信システム、通信方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-13
(45)【発行日】2024-08-21
(54)【発明の名称】サーバ装置、通信システム、通信方法、及びプログラム
(51)【国際特許分類】
   H04L 67/00 20220101AFI20240814BHJP
   H04M 3/56 20060101ALI20240814BHJP
【FI】
H04L67/00
H04M3/56 C
【請求項の数】 11
(21)【出願番号】P 2020166135
(22)【出願日】2020-09-30
(65)【公開番号】P2022057737
(43)【公開日】2022-04-11
【審査請求日】2023-07-14
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】小笠原 広大
(72)【発明者】
【氏名】内海 知子
(72)【発明者】
【氏名】大越 瑛美
【審査官】吉田 歩
(56)【参考文献】
【文献】特開2019-057782(JP,A)
【文献】特開2007-060460(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04L 67/00
H04M 3/56
(57)【特許請求の範囲】
【請求項1】
複数の情報処理装置と通信可能に接続され、前記複数の情報処理装置の間でコンテンツデータを送受信するセッションを管理するサーバ装置であって、
環境に関する付帯情報を記憶する付帯情報記憶部と、
前記情報処理装置による前記セッションへの接続を管理する通信管理部と、
記セッションに、前記付帯情報を関連付ける情報管理部と、
前記複数の情報処理装置に対して、前記セッションに関連付けられている付帯情報を送信する情報送信部と、
を備え
前記情報管理部は、前記情報処理装置からの情報に基づき、前記付帯情報記憶部に記憶されている付帯情報を前記セッションに関連付けることを特徴とするサーバ装置。
【請求項2】
前記情報管理部は、データの種類が異なる複数の付帯情報を前記セッションに関連付ける、請求項1に記載のサーバ装置。
【請求項3】
前記情報処理装置を利用する利用者を認証する認証部と、
前記利用者の情報と、前記利用者の情報に関連付けられている付帯情報の種類とを記憶する利用者情報記憶部と、
を有し、
前記情報送信部は、前記認証部による認証結果に基づいて、前記セッションに関連付けられている付帯情報のうち、前記情報処理装置を利用する利用者の情報に関連付けられている種類の付帯情報を前記情報処理装置に送信する、請求項1又は2に記載のサーバ装置。
【請求項4】
前記付帯情報は、前記情報処理装置の周辺の環境に関する情報であって、
前記サーバ装置は、前記情報処理装置から送信される前記付帯情報を受信する受信部を有し、
前記情報管理部は、前記情報処理装置から送信される前記付帯情報を、前記セッションに関連付ける、請求項1乃至3のいずれか一項に記載のサーバ装置。
【請求項5】
前記付帯情報はタグが関連付けられており、
前記情報管理部は、前記付帯情報の1つが選択されたときに、前記タグに基づいて、前記選択された付帯情報に関連する、データの種類が異なる別の付帯情報に関する情報を抽出する、請求項に記載のサーバ装置。
【請求項6】
前記タグは位置情報を含み、
前記情報管理部は、前記情報処理装置の位置情報と前記タグとに基づいて、前記付帯情報を前記セッションに関連付ける、請求項に記載のサーバ装置。
【請求項7】
前記付帯情報記憶部は、データの種類が異なる複数の付帯情報を関連付けて記憶し、
前記情報管理部は、前記関連付けられた複数の付帯情報を前記セッションに関連付ける、請求項に記載のサーバ装置。
【請求項8】
前記付帯情報は、
前記情報処理装置、又は前記情報処理装置に接続されている機器から前記環境を表す音を出力させる音データ、又は前記音データを指定する情報と、
前記情報処理装置、又は前記情報処理装置に接続されている表示装置に、前記環境を表す画像を表示するための画像データ、又は前記画像データを指定する情報と、
前記情報処理装置に接続されている照明の明るさを制御する制御データと、
のうち、少なくとも1つを含む、請求項1乃至のいずれか一項に記載のサーバ装置。
【請求項9】
請求項1乃至のいずれか一項に記載のサーバ装置と、
前記サーバ装置と通信可能に接続され、前記サーバ装置が管理するセッションに接続する複数の情報処理装置と、
を含む通信システムであって、
前記複数の情報処理装置のうちの1つ以上の情報処理装置は、
環境に関する付帯情報を受信する付帯情報受信部と、
前記付帯情報受信部が受信した付帯情報に基づいて、当該情報処理装置の周辺の環境を制御する環境制御部と、
を有する、通信システム。
【請求項10】
複数の情報処理装置と通信可能に接続され、前記複数の情報処理装置の間でコンテンツデータを送受信するセッションを管理するサーバ装置が、
環境に関する付帯情報を付帯情報記憶部に記憶する処理と、
前記情報処理装置による前記セッションへの接続を管理する処理と、
記セッションに、前記付帯情報を関連付ける情報管理処理と、
前記複数の情報処理装置に対して、前記セッションに関連付けられている付帯情報を送信する処理と、
を実行し、
前記情報管理処理は、前記情報処理装置からの情報に基づき、前記付帯情報記憶部に記憶されている付帯情報を前記セッションに関連付けることを特徴とする通信方法。
【請求項11】
請求項10に記載の通信方法をサーバ装置に実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、サーバ装置、通信システム、通信方法、及びプログラムに関する。
【背景技術】
【0002】
複数の情報処理装置の間で、例えば、会議の音声、映像、アプリケーションの表示画面等のコンテンツデータを送受信するオンライン会議システムが普及している。
【0003】
また、ユーザ間でアプリケーションの共有をする際に、共有するアプリケーションの選択を簡便にするオンライン会議システムが知られている(例えば、特許文献1参照)。
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のようなオンライン会議システムにより、オンライン会議に参加している利用者の間で、例えば、会議の音声、映像、アプリケーションの表示画面等のコンテンツデータを共有することができる。
【0005】
しかし、従来のオンライン会議システムでは、例えば、オンライン会議に参加している複数の情報処理装置の間で、環境(例えば、眺め、音、光の明るさ又は色合い等)を共有することができないという問題がある。
【0006】
なお、このような問題は、オンライン会議に限られず、複数の情報処理装置の間でコンテンツデータを送受信する様々なセッション(例えば、オンライン講義、オンライン診療、オンラインゲーム、オンライン飲み会等)に共通に存在する。
【0007】
本発明の一実施形態は、上記問題点に鑑みてなされたものであって、複数の情報処理装置の間でコンテンツデータを送受信するセッションにおいて、複数の情報処理装置の間で環境を共有できるようにする。
【課題を解決するための手段】
【0008】
上記課題を解決するため、本発明の一実施形態に係るサーバ装置は、複数の情報処理装置と通信可能に接続され、前記複数の情報処理装置の間でコンテンツデータを送受信するセッションを管理するサーバ装置であって、環境に関する付帯情報を記憶する付帯情報記憶部と、前記情報処理装置による前記セッションへの接続を管理する通信管理部と前記セッションに、前記付帯情報を関連付ける情報管理部と、前記複数の情報処理装置に対して、前記セッションに関連付けられている付帯情報を送信する情報送信部と、を備え、前記情報管理部は、前記情報処理装置からの情報に基づき、前記付帯情報記憶部に記憶されている付帯情報を前記セッションに関連付けることを特徴とする。
【発明の効果】
【0009】
本発明の一実施形態によれば、複数の情報処理装置の間でコンテンツデータを送受信するセッションにおいて、複数の情報処理装置の間で環境を共有できるようになる。
【図面の簡単な説明】
【0010】
図1】一実施形態に係る通信システムのシステム構成の例を示す図である。
図2】一実施形態に係る接続機器、及びセンサ機器の例を示す図である。
図3】一実施形態に係るコンピュータのハードウェア構成の例を示す図である。
図4】一実施形態に係る携帯端末のハードウェア構成の例を示す図である。
図5】第1の実施形態に係る通信システムの機能構成の例を示す図である。
図6】第1の実施形態に係る通信システムが管理する情報のイメージを示す図である。
図7】第1の実施形態に係るセッションの開始処理の例を示すシーケンス図である。
図8】第1の実施形態に係る付帯情報の送信処理の例を示すシーケンス図である。
図9】第1の実施形態に係る付帯情報の適用処理の例を示すシーケンス図である。
図10】第1の実施形態に係る付帯情報を適用イメージの例を示す図である。
図11】第2の実施形態に係る通信システムの機能構成の例を示す図である。
図12】第2の実施形態に係る付帯情報の送信処理の例を示すシーケンス図である。
図13】第2の実施形態に係る付帯情報リストについて説明するための図(1)である。
図14】第2の実施形態に係る付帯情報リストについて説明するための図(2)である。
図15A】第2の実施形態に係る付帯情報の選択画面の例を示す図(1)である。
図15B】第2の実施形態に係る付帯情報の選択画面の例を示す図(2)である。
図15C】第3の実施形態に係る付帯情報の選択画面の例を示す図である。
図16】第3の実施形態に係る付帯情報の送信処理の例を示すシーケンス図である。
図17】第3の実施形態に係る付帯情報の送信処理の一例について説明するための図である。
図18】第4の実施形態に係る付帯情報の送信処理の一例を示すシーケンス図である。
図19】第4の実施形態に係る付帯情報の送信処理の別の一例を示すシーケンス図である。
【発明を実施するための形態】
【0011】
以下に、本発明の実施の形態について、添付の図面を参照して説明する。
【0012】
<システムの構成>
図1は、一実施形態に係る通信システムのシステム構成の例を示す図である。通信システム1は、例えば、通信ネットワーク10を介して互いに通信可能に接続される、通信サーバ101、情報サーバ102、ホスト端末110、及び1つ以上のユーザ端末120a、120b、・・・等を含む。なお、以下の説明において、1つ以上のユーザ端末120a、120b、・・・のうち、任意のユーザ端末を示す場合、「ユーザ端末120」を用いる。図1に示すユーザ端末120の数は一例であり、他の数であっても良い。
【0013】
ホスト端末110、及び1つ以上のユーザ端末120は、例えば、PC(Personal Computer)、タブレット端末、又はスマートフォン等の情報処理装置である。ホスト端末110は、例えば、通信システム1用のアプリケーションプログラム(以下、アプリと呼ぶ)を、ホスト端末モードで起動することにより、ホスト端末110として機能する。また、ユーザ端末120は、例えば、通信システム1用のアプリを、ユーザ端末モードで起動することにより、ユーザ端末120として機能する。
【0014】
通信サーバ101は、コンピュータ、又は複数のコンピュータを含むシステムである。通信サーバ101は、一例として、複数の情報処理装置(ホスト端末110、及び1つ以上のユーザ端末120)の間で、会議用の音声、映像、アプリケーションの表示画面等のコンテンツデータを送受信するオンライン会議を管理する。なお、オンライン会議は、通信サーバ101が管理するセッションの一例である。通信サーバ101が管理するセッションは、オンライン会議に限られず、例えば、オンライン講義、オンライン診療、オンラインゲーム、オンライン飲み会等の様々なセッションであって良い。ここでは、一例として、セッションがオンライン会議であるものとして、以下の説明を行う。
【0015】
なお、セッションとは、複数の情報処理装置の間で、様々なコンテンツデータを送受信する通信のことをいう。セッションは、ある時点で接続(又は確立)され、その後に切断(又は解放)される。複数の情報処理装置は、同じセッションに接続することにより、様々なコンテンツデータを相互に送受信することができる。
【0016】
情報サーバ102は、コンピュータ、又は複数のコンピュータを含むシステムであり、通信システム1で利用する様々な情報を記憶する。なお、情報サーバ102は、通信システム1の外部のウェブサービス、クラウドシステム、又はストレージサーバ等であっても良い。また、通信サーバ101、及び情報サーバ102は、1つのサーバ装置100であっても良い。以下の説明において、通信サーバ101と情報サーバ102とを特に区別する必要がない場合、単に「サーバ装置100」と呼ぶ。
【0017】
また、本実施形態に係る通信システム1は、例えば、オンライン会議において、会議の音声、映像、及び共有画像等のコンテンツデータに加えて、環境(例えば、眺め、音、光の明るさ又は色合い等)を共有する機能を有している。
【0018】
例えば、1つ以上のユーザ端末120a、120b、・・・は、それぞれ、接続機器140a、140b、・・・を有している。また、実施形態によって、ホスト端末110も接続機器140xを有している場合がある。なお、以下の説明において、接続機器140a、140b、・・・、及び140xのうち、任意の接続機器を示す場合、「接続機器140」を用いる。また、ユーザ端末(情報処理装置)120は、環境に関する情報(以下、付帯情報と呼ぶ)を受信し、受信した付帯情報に基づいて、接続機器140を利用して、ユーザ端末120の周辺の環境を制御する機能を有している。
【0019】
図2(A)は、ユーザ端末120に接続される接続機器140の例を示している。図2(A)の例では、接続機器140には、1つ以上のスピーカ201、表示装置202、及び照明装置203が含まれている。
【0020】
1つ以上のスピーカ201は、例えば、コンテンツデータに含まれる会議の音声等とは異なる、環境を表す音を出力する。ここで、環境を表す音には、例えば、雨の音、風の音、鳥の鳴き声、せせらぎ、車両の音、ざわめき等の様々な音が含まれ得る。好適な一例として、ユーザ端末120は、臨場感を高めるため、複数のスピーカから、会議の音声より高音質なハイレゾリューション音源(High-Resolution Audio)等を用いて、環境を表す音を出力するものであっても良い。
【0021】
1つ以上の表示装置202は、コンテンツデータに含まれる会議の映像等とは異なる、環境を表す表示画像を表示する。好適な一例として、ユーザ端末120は、窓型の1つ以上の表示装置に景色等を表示しても良いし、額型の表示装置に絵画等を表示しても良い。さらに、ユーザ端末120は、水槽型の表示装置に水槽内の観賞魚等を表示しても良いし、天井に設けられた表示装置に空等を表示しても良い。
【0022】
1つ以上の照明装置は、ユーザ端末120からの制御に従って、例えば、ユーザ端末120の周辺の明るさ、又は色合い等を変更する。
【0023】
なお、ある実施形態では、ホスト端末110は、ユーザ端末120と同様の接続機器140に接続される。また、別の実施形態では、ホスト端末110は、ホスト端末110の周辺の環境に関する付帯情報を取得するセンサ機器130に接続される。
【0024】
図2(B)は、ホスト端末110に接続されるセンサ機器130の例を示している。図2(B)の例では、センサ機器130には、1つ以上のマイク211、カメラ212、及び各種センサ等が含まれている。
【0025】
1つ以上のマイク211は、例えば、ユーザ端末120に接続される1つ以上のスピーカ201から出力する音等を取得するために用いられる。1つ以上のカメラ212は、例えば、ユーザ端末120に接続される1つ以上の表示装置202に表示する表示画像(動画像、又は静止画像)等を撮影する。各種センサ213は、例えば、ホスト端末110の周辺の明るさを検知する照度センサ、温度を検知する温度センサ、湿度を検知する湿度センサ、音量を検知する騒音センサ、振動を検知する振動センサ等の様々なセンサが含まれ得る。
【0026】
上記の構成により、例えば、図1に示す通信システム1において、ホスト端末110は、センサ機器130を用いて取得したホスト端末110の周辺の環境に関する付帯情報を送信する。また、ユーザ端末120は、ホスト端末110が送信する付帯情報に基づいて、接続機器140を制御して、ユーザ端末120の周辺の環境を形成する。
【0027】
好ましくは、サーバ装置100は、ホスト端末110と、1つ以上のユーザ端末120との間でコンテンツデータを送受信するセッションを管理し、当該セッションに、ホスト端末110が送信した付帯情報を関連付ける。また、サーバ装置100は、当該セッションに参加している1つ以上のユーザ端末120に、セッションに関連付けた付帯情報を送信する。これにより、本実施形態に係る通信システム1によれば、複数の情報処理装置の間でコンテンツデータを送受信するセッションにおいて、情報処理装置(ホスト端末110)の周辺の環境を他の情報処理装置(ユーザ端末120a、120b)と共有することができる。
【0028】
別の一例として、サーバ装置100は、予め取得した付帯情報を情報サーバ102、又は外部のストレージサーバ等に予め記憶しておき、ホスト端末110等から指定された付帯情報を、セッションと関連付けても良い。この場合、ホスト端末110は、接続機器140xを用いて、ユーザ端末120と同様に、サーバ装置100から受信した付帯情報に基づいて、ホスト端末110の周辺の環境を再現する。
【0029】
このように、本実施形態によれば、複数の情報処理装置(ホスト端末110、及び1つ以上のユーザ端末120)の間でコンテンツデータを送受信するセッションにおいて、複数の情報処理装置の間で環境を共有できるようになる。
【0030】
従来のオンライン会議では、会議の音声、映像、及び共有画面等の送受信のみを行っていたため、例えば、環境を表す音、画像、光等、利用者の感覚に影響を与える情報が削ぎ落とされていた。そのため、従来のオンライン会議では、オンライン会議に参加している複数の利用者の間で、例えば、共感覚等が構成されないという問題がある。
【0031】
一方、本実施形態に係る通信システム1によれば、オンライン会議に参加している複数の利用者の間で、例えば、共感覚等を構成するための材料(環境)を提供することができるようになる。
【0032】
なお、図1に示す通信システム1のシステム構成は一例である。例えば、サーバ装置100の機能の一部又は全部は、ホスト端末110が有していても良い。この場合、通信システム1には、サーバ装置100が含まれていなくても良い(含まれていても良い)。また、ホスト端末110は、予め定められた情報処理装置ではなく、複数の情報処理装置のうちの任意の情報処理装置が、設定操作等によりホスト端末110となっても良い。
【0033】
<ハードウェア構成>
サーバ装置100は、例えば、図3に示すようなコンピュータ300のハードウェア構成を有している。或いは、サーバ装置100は、複数のコンピュータ300によって構成される。また、ホスト端末110、及びユーザ端末120は、例えば、図3に示すようなコンピュータ300のハードウェア構成、又は図4に示すような携帯端末400のハードウェア構成を有している。
【0034】
(コンピュータのハードウェア構成)
図3は、一実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ300は、例えば、CPU(Central Processing Unit)301、ROM(Read Only Memory)302、RAM(Random Access Memory)303、HD(Hard Disk)304、HDD(Hard Disk Drive)コントローラ305、ディスプレイ306、外部機器接続I/F(Interface)307、ネットワークI/F308、キーボード309、ポインティングデバイス310、DVD-RW(Digital Versatile Disk Rewritable)ドライブ312、メディアI/F314、及びバスライン315等を備えている。
【0035】
これらのうち、CPU301は、コンピュータ300の全体の動作を制御する。ROM302は、例えば、IPL(Initial Program Loader)等のコンピュータ300の起動に用いられるプログラムを記憶する。RAM303は、例えば、CPU301のワークエリア等として使用される。HD304は、例えば、プログラム等の各種データを記憶する。HDDコントローラ305は、CPU301の制御に従ってHD304に対する各種データの読み出し又は書き込みを制御する。
【0036】
ディスプレイ306は、例えば、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種の情報を表示する。外部機器接続I/F307は、各種の外部機器を接続するためのインタフェースである。例えば、コンピュータ300が、ホスト端末110又はユーザ端末120である場合、外部機器接続I/F307には、オンライン会議の音声を取得するマイク321、オンライン会議の映像を撮影するカメラ322、及びオンライン会議の音声を出力するスピーカ323等が接続される。なお、マイク321、カメラ322、及びスピーカ323等は、コンピュータ300の内部に設けられていても良い。また、コンピュータ300が、ホスト端末110又はユーザ端末120である場合、外部機器接続I/F307には、図2で説明したセンサ機器130、又は接続機器140等が接続される。
【0037】
ネットワークI/F308は、通信ネットワーク10を利用して他のコンピュータ300等と通信をするためのインタフェースである。キーボード309は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス310は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。
【0038】
DVD-RWドライブ312は、着脱可能な記録媒体の一例としてのDVD-RW311に対する各種データの読み出し又は書き込みを制御する。なお、DVD-RW311は、DVD-RWに限らず、他の記録媒体であっても良い。メディアI/F314は、例えば、フラッシュメモリやメモリカード等のメディア313に対するデータの読み出し又は書き込み(記憶)を制御する。バスライン315は、上記の各構成要素を電気的に接続するためのアドレスバス、データバス及び各種の制御信号等を含む。
【0039】
(情報端末のハードウェア構成)
図4は、一実施形態に係る携帯端末のハードウェア構成の例を示す図である。図3に示されているように、携帯端末400は、CPU401、ROM402、RAM403、ストレージデバイス404、CMOS(Complementary Metal Oxide Semiconductor)センサ405、撮像素子I/F(Interface)406、センサ407、メディアI/F409、GPS(Global Positioning System)受信部410等を備えている。
【0040】
これらのうち、CPU401は、所定のプログラムを実行することにより携帯端末400全体の動作を制御する。ROM402は、例えば、IPL等の携帯端末400の駆動に用いられるプログラムを記憶する。RAM403は、CPU401のワークエリアとして使用される。ストレージデバイス404は、例えば、SSD(Solid State Drive)、フラッシュROM等によって実現され、OS(Operating System)、アプリ等のプログラム、及び各種のデータ等を記憶する大容量で不揮発性の記憶装置である。
【0041】
CMOSセンサ405は、CPU401の制御に従って被写体(主に自画像)を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、携帯端末400は、CMOSセンサ405に代えて、CCD(Charge Coupled Device)センサ等の撮像手段を有していても良い。撮像素子I/F406は、CMOSセンサ405の駆動を制御する回路である。センサ407は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F409は、フラッシュメモリ等のメディア408に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部410は、GPS衛星からGPS信号を受信する。
【0042】
また、携帯端末400は、遠距離通信回路411、遠距離通信回路411のアンテナ411a、CMOSセンサ412、撮像素子I/F413、マイク414、スピーカ415、音入出力I/F416、ディスプレイ417、外部機器接続I/F418、近距離通信回路419、近距離通信回路419のアンテナ419a、及びタッチパネル420を備えている。
【0043】
これらのうち、遠距離通信回路411は、例えば、通信ネットワーク10を介して、他の装置と通信する回路である。CMOSセンサ412は、CPU401からの制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F413は、CMOSセンサ412の駆動を制御する回路である。マイク414は、音を電気信号に変える内蔵型の回路である。スピーカ415は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力I/F416は、CPU401からの制御に従ってマイク414及びスピーカ415との間で音波信号の入出力を処理する回路である。
【0044】
ディスプレイ417は、被写体の画像や各種アイコン等を表示する液晶や有機EL(Electro Luminescence)等の表示手段の一種である。外部機器接続I/F418は、各種の外部機器を接続するためのインタフェースである。近距離通信回路419は、様々な近距離無線通信を行う。図2で説明した接続機器140、及びセンサ機器130は、外部機器接続I/F418、又は近距離通信回路419を介して、携帯端末400に接続される。タッチパネル420は、利用者がディスプレイ417を押下することで、携帯端末400を操作する入力手段の一種である。
【0045】
また、携帯端末400は、バスライン421を備えている。バスライン421は、図4に示されている各構成要素を電気的に接続するためのアドレスバス、データバス、及び各種の制御信号等を含む。
【0046】
[第1の実施形態]
<機能構成>
図5は、第1の実施形態に係る通信システムの機能構成の例を示す図である。なお、図5において、ユーザ端末120bは、ユーザ端末120aと同様の機能構成を有しているものとする。
【0047】
(サーバ装置の機能構成)
サーバ装置100は、メモリに記憶されているプログラムを、CPU301が実行することにより、通信部501、認証部502、通信管理部503、情報管理部504、及び情報送信部505等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。また、サーバ装置100は、CPU301が実行するプログラム、HD304、及びHDDコントローラ305等により、利用者情報記憶部506、及び通信情報記憶部507等を実現している。
【0048】
通信部501は、例えば、図3のネットワークI/F308等を用いて、サーバ装置100を通信ネットワーク10に接続し、他の装置と通信を行う通信処理を実行する。また、通信部501は、ホスト端末110から送信される付帯情報を受信する受信部として機能する。
【0049】
認証部502は、例えば、ホスト端末110、又はユーザ端末120等の情報処理装置を利用する利用者(又は情報処理装置)を認証する認証処理を実行する。例えば、認証部502は、ホスト端末110又はユーザ端末120等から送信される接続要求に、利用者情報記憶部506に予め記憶された利用者ID、及び利用者のパスワード(以下、パスワードAと呼ぶ)が含まれている場合、利用者を正当な利用者と判断する。
【0050】
図6(A)は、利用者情報記憶部506に記憶されている利用者情報601の一例のイメージを示している。図6(A)の例では、利用者情報601には、「利用者ID」、「パスワードA」、「利用者名」、「利用する付帯情報」等の情報が記憶されている。
【0051】
「利用者ID」は、通信システム1の利用を許可されている利用者を識別する識別情報である。「パスワードA」は、利用者IDに対応するパスワードである。なお、パスワードAは、利用者IDに対応する認証情報の一例であり、例えば、電子証明書、生体情報等の他の認証情報であっても良い。「利用者名」は、利用者IDに対応する利用者の氏名等の情報である。「利用する付帯情報」は、利用者IDに対応する利用者が、予め登録した、セッションで配信を希望する付帯情報の種類を示す情報である。
【0052】
通信管理部503は、ホスト端末110、又はユーザ端末120等の情報処理装置によるセッションへの接続を管理する通信管理処理を実行する。例えば、通信管理部503は、情報処理装置からの要求に応じて、セッションを識別するセッションID、及びセッションのパスワード(以下、パスワードBと呼ぶ)等を発行する。また、通信管理部503は、情報処理装置から送信される接続要求に、正当な利用者の利用者ID及びパスワードAと、発行したセッションID及びパスワードBが含まれている場合、情報処理装置によるセッションへの接続を許可する。さらに、通信管理部503は、情報処理装置(ホスト端末110)からの要求を受け、セッションに、環境に関する付帯情報を関連付ける。例えば、通信管理部503は、図6(B)に示すような通信情報602に、セッションを識別するセッションIDと、付帯情報とを対応付けて記憶する。
【0053】
図6(B)は、通信情報記憶部507に記憶されている通信情報602の一例のイメージを示している。図6(B)の例では、通信情報602には、「セッションID」、「パスワードB」、及び「付帯情報」等の情報が記憶されている。「セッションID」は、セッション(例えば、オンライン会議等)を識別する識別情報である。「パスワードB」は、セッションIDに対応するパスワードである。なお、パスワードBは、セッションIDに対応する認証情報の一例であり、パスワード以外の認証情報であっても良い。
【0054】
「付帯情報」は、情報処理装置からの要求に応じて、通信管理部503が、セッションに関連付けた付帯情報である。図6(B)の例では、セッションID「SE001」のセッションには、付帯情報の種類として、音、画像、照明が関連付けられている。
【0055】
情報送信部505は、セッションに参加している複数の情報処理装置に対して、付帯情報を送信する情報送信処理を実行する。なお、情報送信部505による情報送信処理の具体的な処理内容については後述する。
【0056】
利用者情報記憶部506は、例えば、図6(A)に示すような利用者情報601を記憶する。通信情報記憶部507は、例えば、図6(B)に示すような通信情報602を記憶する。
【0057】
(ホスト端末の機能構成)
ホスト端末110は、例えば、図3に示すようなコンピュータ300、又は図4に示すような携帯端末400等の情報処理装置が備えるメモリに記憶されているプログラムを、CPU(CPU301、又はCPU401)が実行することにより実現される。例えば、ホスト端末110は、ホスト端末110が備えるメモリに記憶されている通信システム1に対応するアプリを、CPUが実行することにより、通信部521、通信制御部522、表示制御部523、操作受付部524、付帯情報取得部525、及び付帯情報送信部526等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。また、ホスト端末110は、ホスト端末110が備えるCPUが実行するプログラム、及びホスト端末110が備えるストレージデバイス等により、記憶部527を実現している。
【0058】
通信部521は、例えば、図3のネットワークI/F308、又は図4の遠距離通信回路411等を用いて、ホスト端末110を通信ネットワーク10に接続し、他の装置と通信を行う通信処理を実行する。
【0059】
通信制御部522は、オンライン会議等のセッションに関する様々な処理(通信制御処理)を実行する。例えば、通信制御部522は、サーバ装置100に対して、セッションの設定を要求する処理、セッションへの接続を要求する処理、コンテンツデータを取得する処理、コンテンツデータを送受信する処理、及びコンテンツデータを出力する処理等を実行する。なお、通信制御部522が実行する通信制御処理は、従来のオンライン会議システム等と同様で良いので、ここでは詳細な説明を省略する。
【0060】
表示制御部523は、例えば、図3のディスプレイ306、又は図4のディスプレイ417等の表示部に、様々な表示画面を表示させる表示制御処理を実行する。例えば、表示制御部523は、通信制御部522が受信したコンテンツデータを表示部に表示させる処理、及び各種の操作画面等を表示部に表示させる処理等を実行する。
【0061】
操作受付部524は、ホスト端末110を利用する利用者による様々な操作を受け付ける。例えば、操作受付部524は、表示制御部523が表示する各種の操作画面に対する利用者による操作等を受け付ける。
【0062】
付帯情報取得部525は、例えば、図2(B)で説明したセンサ機器130を制御して、各種の付帯情報を取得する付帯情報取得処理を実行する。例えば、付帯情報取得部525は、図2(B)に示すような1つ以上のマイク211を用いて、ホスト端末110の周辺の環境を表す音データ(付帯情報の一例)を取得する。また、付帯情報取得部525は、例えば、図2(B)に示すような1つ以上のカメラ212を用いて、ホスト端末110の周辺の環境を表す画像データ(付帯情報の一例)を取得する。さらに、付帯情報取得部525は、例えば、図2(B)に示すような各種センサ213を用いて、ホスト端末110の周辺の環境を表すセンサデータ(例えば、照度、温度、湿度等)を取得する。なお、付帯情報取得部525は、ホスト端末110に接続される照明装置等から、照明装置の制御データ(設定データ)等を取得しても良い。
【0063】
付帯情報送信部526は、付帯情報取得部525が取得した付帯情報を送信する付帯情報送信処理を実行する。例えば、付帯情報送信部526は、付帯情報取得部525が取得した付帯情報を、サーバ装置100に送信する。別の一例として、付帯情報送信部526は、付帯情報取得部525が取得した付帯情報を、同じセッションに接続しているユーザ端末120に送信しても良い。
【0064】
記憶部527は、例えば、付帯情報取得部525が取得した付帯情報等を一時的に記憶する。また、記憶部527は、ホスト端末110の設定情報等の様々な情報を記憶する。
【0065】
(ユーザ端末の機能構成)
ユーザ端末120は、例えば、図3に示すようなコンピュータ300、又は図4に示すような携帯端末400等の情報処理装置が備えるメモリに記憶されているプログラムを、CPU(CPU301、又はCPU401)が実行することにより実現される。例えば、ユーザ端末120は、ユーザ端末120が備えるメモリに記憶されている通信システム1に対応するアプリを、CPUが実行することにより、通信部531、通信制御部532、表示制御部533、操作受付部534、付帯情報受信部535、情報変換部536、及び環境制御部537等を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであっても良い。また、ユーザ端末120は、ユーザ端末120が備えるCPUが実行するプログラム、及びユーザ端末120が備えるストレージデバイス等により、記憶部527を実現している。
【0066】
通信部531は、例えば、図3のネットワークI/F308、又は図4の遠距離通信回路411等を用いて、ユーザ端末120を通信ネットワーク10に接続し、他の装置と通信を行う通信処理を実行する。
【0067】
通信制御部532は、オンライン会議等のセッションに関する様々な処理(通信制御処理)を実行する。例えば、通信制御部532は、サーバ装置100に対して、セッションの設定を要求する処理、セッションへの接続を要求する処理、コンテンツデータを取得する処理、コンテンツデータを送受信する処理、及びコンテンツデータを出力する処理等を実行する。
【0068】
表示制御部533は、例えば、図3のディスプレイ306、又は図4のディスプレイ417等の表示部に、様々な表示画面を表示させる表示制御処理を実行する。例えば、表示制御部533は、通信制御部532が受信したコンテンツデータを表示部に表示させる処理、及び各種の操作画面等を表示部に表示させる処理等を実行する。
【0069】
操作受付部534は、ユーザ端末120を利用する利用者による様々な操作を受け付ける。例えば、操作受付部534は、表示制御部533が表示する各種の操作画面に対する利用者による操作等を受け付ける。
【0070】
付帯情報受信部535は、例えば、サーバ装置100、又はホスト端末110等から送信される付帯情報を、通信部531を介して受信する付帯情報受信処理を実行する。例えば、付帯情報受信部535は、受信した付帯情報を、記憶部538等に記憶する。
【0071】
情報変換部536は、付帯情報受信部535が受信した付帯情報が、ユーザ端末120に接続されている接続機器140に適合するように、必要に応じて付帯情報を変更する。例えば、情報変換部536は、接続機器140に関する情報を記憶部538に予め記憶しておき、接続機器140を制御するプログラム、又はデータ形式に合致するように、付帯情報受信部535が受信した付帯情報を変換する。
【0072】
環境制御部537は、付帯情報受信部535が受信した付帯情報に基づいて、ユーザ端末120の周辺の環境を制御する環境制御処理を実行する。例えば、環境制御部537は、付帯情報に含まれる音データを、図2(A)に示すような1つ以上のスピーカ201を用いて再生(出力)する。また、環境制御部537は、付帯情報に含まれる画像データ(静止画像データ、又は動画像データ)を用いて、図2(A)、に示すような1つ以上の表示装置202に画像を表示させる。さらに、環境制御部537は、付帯情報に含まれるセンサデータ、又は制御データ等に基づいて、図2(A)に示すような1つ以上の照明装置203の明るさ、及び色合い等を変更する。
【0073】
記憶部538は、例えば、付帯情報受信部535が受信した付帯情報等を一時的に記憶する。また、記憶部538は、ユーザ端末120に接続されている接続機器140に関する情報を予め記憶している。
【0074】
<処理の流れ>
続いて、第1の実施形態に係る通信方法の処理の流れについて説明する。
【0075】
(セッションの開始処理)
図7は、第1の実施形態に係るセッションの開始処理の例を示すシーケンス図である。この処理は、例えば、オンライン会議等のセッションを開始するときに、通信システム1で実行されるセッションの開始処理の一例を示している。
【0076】
ステップS701において、ホスト端末110の通信制御部522は、例えば、ホスト端末110の利用者による所定の操作に応じて、サーバ装置100にセッションの設定要求を送信する。
【0077】
ステップS702において、サーバ装置100の通信管理部503は、ホスト端末110が送信したセッションの設定要求を受け付けると、セッションID、及びパスワードBを発行し、図6(B)に示すような通信情報602に記憶する。なお、このとき、通信管理部503は、認証部502を用いて、ホスト端末110を利用する利用者(又はホスト端末110)を認証し、認証に成功したときに、セッションID、及びパスワードBを発行しても良い。
【0078】
ステップS703において、サーバ装置100の通信管理部503は、発行したセッションID、及びパスワードBを、要求元のホスト端末110に通知する。
【0079】
ステップS704、S705において、ホスト端末110は、例えば、オンライン会議等のセッションに参加する利用者のユーザ端末120a、120bに、サーバ装置100から通知されたセッションID、及びパスワードBを送信する。例えば、ホスト端末110の通信制御部522は、ホスト端末110の利用者による所定の操作に応じて、電子メール等でセッションID、及びパスワードBを、ユーザ端末120a、120bに送信しても良い。
【0080】
別の一例として、ステップS704、S705の処理は、サーバ装置100の通信管理部503が、実行しても良い。この場合、ステップS701において、ホスト端末110が送信するセッションの設定要求に、ユーザ端末120a、120bを利用する利用者のメールアドレスが含まれる。
【0081】
上記の各処理を実行した後、オンライン会議の開始時刻になると、ホスト端末110、及びユーザ端末120a、120bは、ステップS706以降の処理を実行する。
【0082】
ステップS706において、ホスト端末110の通信制御部522は、ステップS701で設定したセッションへの接続を要求する接続要求を、サーバ装置100に送信する。この接続要求には、例えば、ホスト端末110を利用する利用者の利用者ID、及びパスワードAと、セッションのセッションID、及びパスワードB等が含まれる。
【0083】
ステップS707において、サーバ装置100の通信管理部503は、認証部502を用いて、ホスト端末110から受信した接続要求に含まれる利用者ID、及びパスワードAを認証する。ここで、認証に失敗した場合、通信管理部503は、例えば、認証に失敗したことを示す認証結果を、要求元のホスト端末110に通知して、ステップS708の処理を中止する。一方、認証に成功した場合、通信管理部503は、ステップS708の処理を実行する。なお、ホスト端末110が、既にサーバ装置100にログイン済みである場合、ステップS707の処理は省略しても良い。
【0084】
ステップS708において、サーバ装置100の通信管理部503は、接続要求に含まれるセッションID、及びパスワードBが、図6(B)に示すような通信情報602に記憶されている場合、ホスト端末110のセッションへの接続を許可する。
【0085】
ステップS709において、ユーザ端末120aの通信制御部532は、セッションへの接続を要求する接続要求を、サーバ装置100に送信する。この接続要求には、例えば、ユーザ端末120aを利用する利用者の利用者ID、及びパスワードAと、ステップS704で受信した、セッションID、及びパスワードB等が含まれる。
【0086】
ステップS710において、サーバ装置100の通信管理部503は、認証部502を用いて、ユーザ端末120aから受信した接続要求に含まれる利用者ID、及びパスワードAを認証する。ここで、認証に失敗した場合、通信管理部503は、例えば、認証に失敗したことを示す認証結果を、要求元のユーザ端末120aに通知して、ステップS711の処理を中止する。一方、認証に成功した場合、通信管理部503は、ステップS711の処理を実行する。なお、ユーザ端末120aが、既にサーバ装置100にログイン済みである場合、ステップS710の処理は省略しても良い。
【0087】
ステップS711において、サーバ装置100の通信管理部503は、接続要求に含まれるセッションID、及びパスワードBが、図6(B)に示すような通信情報602に記憶されている場合、ユーザ端末120aのセッションへの接続を許可する。
【0088】
なお、ステップS709~S711の処理は、ステップS706~S708の処理の前に実行しても良いし、ステップS706~S708の処理と並行して実行しても良い。
【0089】
ステップS712において、ユーザ端末120bの通信制御部532は、セッションへの接続を要求する接続要求を、サーバ装置100に送信する。この接続要求には、例えば、ユーザ端末120bを利用する利用者の利用者ID、及びパスワードAと、ステップS705で受信した、セッションID、及びパスワードB等が含まれる。
【0090】
ステップS713において、サーバ装置100の通信管理部503は、認証部502を用いて、ユーザ端末120bから受信した接続要求に含まれる利用者ID、及びパスワードAを認証する。ここで、認証に失敗した場合、通信管理部503は、例えば、認証に失敗したことを示す認証結果を、要求元のユーザ端末120bに通知して、ステップS714の処理を中止する。一方、認証に成功した場合、通信管理部503は、ステップS711の処理を実行する。なお、ユーザ端末120bが、既にサーバ装置100にログイン済みである場合、ステップS713の処理は省略しても良い。
【0091】
ステップS714において、サーバ装置100の通信管理部503は、接続要求に含まれるセッションID、及びパスワードBが、図6(B)に示すような通信情報602に記憶されている場合、ユーザ端末120bのセッションへの接続を許可する。
【0092】
なお、ステップS713~S714の処理は、ステップS706~S708の処理、又はステップS709~S711の処理の前に実行しても良いし、ステップS706~S708の処理、又はステップS709~S711の処理と並行して実行しても良い。
【0093】
上記の処理により、ホスト端末110、及びユーザ端末120a、120bは、同じセッション(オンライン会議)に参加して、例えば、会議の音声、映像、共有データ等を、互いに送受信することができるようになる。
【0094】
(付帯情報の送信処理)
図8は、第1の実施形態に係る付帯情報の送信処理の例を示すシーケンス図である。この処理は、例えば、ホスト端末110、及びユーザ端末120a、120bの間でコンテンツデータを送受信する処理と並行して実行される。
【0095】
ステップS801において、ホスト端末110の付帯情報取得部525は、例えば、図2(B)に示すようなセンサ機器130を用いて、ホスト端末110の周辺の環境に関する付帯情報を取得する。なお、付帯情報取得部525が取得する付帯情報には、例えば、ホスト端末110の周辺の環境を表す音データ、ホスト端末110の周辺の環境を表す画像データ、及び各種センサ213が取得したセンサデータ(又は照明装置から取得した制御データ)等が含まれる。
【0096】
ここで、付帯情報取得部525が取得する音データ及び画像データは、オンライン会議等のセッションで送受信される会議の音声データ、及び会議の映像データとは異なる。例えば、オンライン会議で送受信される会議の音声データ、及び会議の映像データは、オンライン会議での通話に用いられるものであって、例えば、利用者を正面から映し出した映像や、利用者の音声のみを集中して拾うものである。
【0097】
これに対し、付帯情報取得部525が取得する付帯情報は、ホスト端末110の周辺の環境を表すデータである。例えば、付帯情報に含まれる画像データは、一例として、カメラ212で窓の外の風景を撮影した画像データ、又はホスト端末110の周辺の様子を撮影した画像データ等である。また、付帯情報に含まれる音データは、ホスト端末110の周辺の音を取得した音データである。例えば、ホスト端末110を利用する利用者が、音楽が流れている環境で通信している場合、その音楽が、音データとして取得される。
【0098】
好ましくは、ホスト端末110は、音データのように変化の大きい付帯情報は連続的にサーバ装置100に送信し、照明データや画像データのように変化の少ない付帯情報は所定の時間間隔で、間欠送信すると良い。
【0099】
ステップS802において、ホスト端末110の付帯情報送信部526は、付帯情報取得部525が取得した付帯情報を、通信部521を介して、サーバ装置100に送信する。
【0100】
ステップS803において、サーバ装置100の情報管理部504は、ホスト端末110から受信した付帯情報を、ホスト端末110が接続しているセッションに関連付ける。
【0101】
ステップS804において、サーバ装置100の情報送信部505は、ユーザ端末120a、120bに送信する付帯情報を設定する。例えば、図6(A)に示すような利用者情報601に、「利用する付帯情報」が登録されている場合、情報送信部505は、セッションに関連付けた付帯情報の中から、「利用する付帯情報」に登録されている付帯情報を選択する。これにより、ユーザ端末120a、120bに不要な付帯情報が送信されることを抑制することができる。
【0102】
なお、利用者情報601に「利用する付帯情報」が登録されていない場合、サーバ装置100の情報送信部505は、例えば、ステップS805~S807の処理により、ユーザ端末120aに送信する付帯情報を設定しても良い。
【0103】
ステップS805において、サーバ装置100の情報送信部505は、セッションに関連付けた付帯情報の中から、ユーザ端末120aが受信する付帯情報の選択を要求する選択要求を、ユーザ端末120aに送信する。
【0104】
ステップS806において、ユーザ端末120aの表示制御部533は、セッションに関連付けされた付帯情報の種類(音、画像、照明等)を選択可能に表示する選択画面を表示し、操作受付部534は、利用者による選択操作を受け付ける。
【0105】
ステップS807において、ユーザ端末120aの操作受付部534は、利用者によって選択された付帯情報の種類を、サーバ装置100に送信する。これにより、サーバ装置100の情報送信部505は、ユーザ端末120aに送信する付帯情報を設定することができる。
【0106】
ステップS808において、サーバ装置100の情報送信部505は、設定した付帯情報を、ユーザ端末120aに送信する。
【0107】
ステップS809において、ユーザ端末120aの環境制御部537は、サーバ装置100から受信した付帯情報を適用する。例えば、ユーザ端末120aの環境制御部537は、図9で後述する付帯情報の適用処理を実行する。
【0108】
同様に、利用者情報601に「利用する付帯情報」が登録されていない場合、サーバ装置100の情報送信部505は、ステップS810~S812の処理により、ユーザ端末120bに送信する付帯情報を設定しても良い。
【0109】
ステップS810において、サーバ装置100の情報送信部505は、セッションに関連付けた付帯情報の中から、ユーザ端末120bが受信する付帯情報の選択を要求する選択要求を、ユーザ端末120bに送信する。
【0110】
ステップS811において、ユーザ端末120bの表示制御部533は、セッションに関連付けされた付帯情報の種類を選択可能に表示する選択画面を表示し、操作受付部534は、利用者による選択操作を受け付ける。
【0111】
ステップS812において、ユーザ端末120bの操作受付部534は、利用者によって選択された付帯情報の種類を、サーバ装置100に送信する。これにより、サーバ装置100の情報送信部505は、ユーザ端末120bに送信する付帯情報を設定することができる。
【0112】
ステップS813において、サーバ装置100の情報送信部505は、設定した付帯情報を、ユーザ端末120bに送信する。
【0113】
ステップS814において、ユーザ端末120bの環境制御部537は、サーバ装置100から受信した付帯情報を適用する。例えば、ユーザ端末120bの環境制御部537は、図9で後述する付帯情報の適用処理を実行する。
【0114】
上記の処理により、通信システム1は、ホスト端末110の周辺の環境を表す付帯情報を、ホスト端末110と同じセッションに接続しているユーザ端末120a、120bに送信することができる。なお、図8のステップS804、S805~S807、S810~812に示すような、付帯情報を設定する処理は、1度だけ設定するものであっても良いし、例えば、付帯情報の数が増減したとき、或いは所定の時間間隔等に複数回設定するものであっても良い。
【0115】
(付帯情報の適用処理)
図9は、第1の実施形態に係る付帯情報の適用処理の例を示すシーケンス図である。この処理は、例えば、図8のステップS809、又はステップS814において、ユーザ端末120が実行する付帯情報の適用処理の一例を示している。ここでは、一例として、ユーザ端末120が、付帯情報として、音データ、画像データ、及び照明データを受信する場合の例について説明する。
【0116】
ステップS901において、ユーザ端末120は、オンライン会議等のセッションに接続しているときに、付帯情報を受信すると、ステップS902以降の処理を実行する。
【0117】
ステップS902において、ユーザ端末120の環境制御部537は、ユーザ端末120に接続されている接続機器140の中から、受信した付帯情報に対応する機器を選択する。ここでは、環境制御部537は、音データを再生するスピーカ201、画像データに基づき画像を表示する表示装置202、及び照明データに対応する照明装置203を選択する。
【0118】
ステップS903において、ユーザ端末120の情報変換部536は、必要に応じて、受信した付帯情報を変換する。例えば、照明データが、照度センサ等による照度データである場合、環境制御部537は、照度データに基づいて、照明装置203を制御する制御情報(例えば、明るさ、色合い等を設定する制御情報)に変換する。また、音データが、スピーカ201から出力可能なフォーマットではない場合、情報変換部536は、音データを、スピーカ201から出力可能なフォーマットに変換する。同様に、画像データが、表示装置202に表示可能なフォーマットでない場合、情報変換部536は、画像データを、表示装置202に表示可能なフォーマットに変換する。
【0119】
ステップS904において、ユーザ端末120の環境制御部537は、スピーカ201に、スピーカ201が再生可能な形式で、音データを送信する。これにより、ステップS907において、スピーカ201は、音データを再生する。
【0120】
ステップS905において、ユーザ端末120の環境制御部537は、表示装置202に、表示装置202が表示可能な形式で、画像データを送信する。これにより、ステップS908において、表示装置202は、画像データに基づき画像を表示する。
【0121】
ステップS906において、ユーザ端末120の環境制御部537は、照明装置203に、照明装置203が対応可能な形式で、例えば、照明装置203の明るさ、及び色あいを変更する制御情報を送信する。これにより、ステップS909において、照明装置203は、制御情報に従って、照明装置203の明るさ、及び色合いを変更する。
【0122】
(付帯情報の適用イメージ)
図10(A)は、表示装置202による付帯情報の適用イメージの一例を示している。図10(A)の例では、ユーザ端末120が設置された部屋の壁1001に、複数の窓型の表示装置202が設けられ、窓型の表示装置202には、ホスト端末110のカメラ212で撮影した窓の外の風景が表示されている。これにより、ユーザ端末120を利用する利用者は、例えば、ホスト端末110を利用する利用者と同様の景色を見ながら、オンライン会議を行うことができる。
【0123】
図10(B)の)は、照明装置203による付帯情報の適用イメージの一例を示している。図10(B)の例では、ユーザ端末120が設置された部屋の天井1002に、天窓型の照明装置203が設けられ、環境制御部537からの制御により、照明装置203の明るさや、色合いを設定することができる。これにより、照明装置203は、例えば、晴れの日、夕方、雨の日、月の光等のイメージを、照明により再現することができる。これにより、ユーザ端末120を利用する利用者は、例えば、ホスト端末110を利用する利用者と同様の光を感じながら、オンライン会議を行うことができる。
【0124】
以上、第1の実施形態によれば、ホスト端末110と1つ以上のユーザ端末120との間でコンテンツデータを送受信するセッションにおいて、ホスト端末110の周辺の環境を、ユーザ端末120と共有することができるようになる。
【0125】
[第2の実施形態]
第1の実施形態では、ホスト端末110がセンサ機器130に接続されている場合の例について説明したが、ホスト端末110は、必ずしもセンサ機器130に接続されていなくても良い。
【0126】
<機能構成>
図11は、第2の実施形態に係る通信システムの機能構成の例を示す図である。
【0127】
(サーバ装置の機能構成)
図11に示すように、第2の実施形態に係るサーバ装置100は、図5で説明した第1の実施形態に係るサーバ装置100の機能構成に加えて、付帯情報記憶部1101を有している。
【0128】
付帯情報記憶部1101は、サーバ装置100が備えるCPUが実行するプログラム、及びサーバ装置100が備えるストレージデバイス等によって実現され、予め登録された複数の付帯情報を記憶している。
【0129】
(ホスト端末の機能構成)
図11に示すように、第2の実施形態に係るホスト端末110は、図5で説明した第1の実施形態に係るホスト端末110の付帯情報取得部525、及び付帯情報送信部526に代えて、付帯情報受信部535、情報変換部536、及び環境制御部537を有している。これにより、ホスト端末110は、ユーザ端末120と同様に、サーバ装置100から受信した付帯情報に基づいて、ホスト端末110の周辺の環境を制御することができる。
【0130】
<処理の流れ>
図12は、第2の実施形態に係る付帯情報の送信処理の例を示すシーケンス図である。
【0131】
ステップS1201において、ホスト端末110の表示制御部523は、例えば、利用者による所定の操作に応じて、サーバ装置100に付帯情報リストの取得要求を送信する。
【0132】
ステップS1202において、サーバ装置100の情報送信部505は、ホスト端末110から付帯情報リストの取得要求を受け付けると、付帯情報記憶部1101に記憶されている付帯情報の一覧である付帯情報リストを、要求元のホスト端末110に送信する。
【0133】
図13(A)は、付帯情報記憶部1101に記憶されている付帯情報の一覧である付帯情報リスト1301の一例のイメージを示している。図13(A)の例では、付帯情報リストには、複数の音データ、照明データ、及び画像データの一覧が記憶されている。なお、音データ、照明データ、及び画像データは、付帯情報の一例である。
【0134】
好ましくは、各データには、図13(B)、(C)に示すようなタグ情報1302、1302が関連付けられている。例えば、音データの「雨」には、図13(B)に示すようなタグ情報1302が関連付けられている。また、画像データの「東京タワー」には、例えば、図13(B)に示すようなタグ情報1303が関連付けられている。
【0135】
タグ情報には複数種類のタグが含まれる。タグ情報に含まれる「季節タグ」には、例えば、春、夏、秋、冬、等の季節の情報が設定される。「天候タグ」には、例えば、晴れ、雨、曇り等の天候の情報が設定される。「用途タグ」には、例えば、会議、講義、診療等のセッションの用途に関する情報が設定される。「位置情報タグ」には、例えば、緯度経度等の位置情報が設定される。
【0136】
タグには複数の情報が設定されていても良い。例えば、季節タグに春、夏の2つのタグが設定される場合が一例である。
【0137】
情報が設定されていない種類のタグは、特定の状況に依存しないことを意味する。例えば、タグ情報1303には季節タグが設定されていないが、これはどの季節であっても適切な画像データであることを意味している。
【0138】
図14は、第2の実施形態に係る付帯情報リストの別の一例を示す図である。付帯情報リスト1400は、例えば、図14に示すように、タイトルごとに、予め音データ、照明データ、及び画像データの組み合わせが決められたテンプレートになっていても良い。
【0139】
ここで、図12に戻り、シーケンス図の説明を続ける。
【0140】
ステップS1203において、ホスト端末110の表示制御部523は、付帯情報の選択画面を、表示部に表示する。一例として、ホスト端末110の表示制御部523は、図13(A)に示すような付帯情報リスト1301に基づいて、図15Aに示すような付帯情報の選択画面1510を表示させる。図15Aの例では、付帯情報の選択画面1510には、音データの選択欄1511、照明データの選択欄1512、及び画像データの選択欄1513が表示されている。
【0141】
好ましくは、表示制御部523は、図15Aに示すように、音の選択欄1511から「雨」が選択された場合、「雨」が選択されたことを示す表示要素1514を表示するとともに、図13(B)に示すようなタグ情報1302から、天候タグ「雨」を取得する。また、表示制御部523は、照明の選択欄1512、及び画像の選択欄1513に、天候タグ「雨」を有する照明データ、及び画像データを優先的に(又は選択的に)表示させる。これにより、例えば、雨の音がしているのに、晴れの日の画像が表示されてしまうような不整合を抑制することができる。
【0142】
また、ホスト端末110の表示制御部523は、例えば、図14に示すような付帯情報リスト1400に基づいて、図15Bに示すような付帯情報の選択画面1520を表示させても良い。図15Bの例では、付帯情報の選択画面1520には、データセットの選択欄1521が表示されている。例えば、表示制御部523は、図15Bに示すように、データセットの選択欄1521から「夕暮れハワイ」が選択された場合、「夕暮れハワイ」が選択されたことを示す表示要素1523を表示する。また、表示制御部523は、図14に示すような付帯情報リスト1400から、「夕暮れハワイ」に対応する音データ「波」、照明データ「夕暮れ」、及び画像データ「ハワイビーチ」を選択する。これにより、利用者は、共有したい付帯情報の組み合わせを、より容易に選択することができるようになる。
【0143】
なお、図15Aに示すような付帯情報の選択画面1510と、図15Bに示すような付帯情報の選択画面1520は、図15Aに示す「個別選択」タブ1515、及び図15Bに示す「セット選択」タグ1515等により、利用者が選択できるようにしても良い。
【0144】
ここで、再び図12に戻り、シーケンス図の説明を続ける。
【0145】
ステップS1204において、ホスト端末110の操作受付部524は、例えば、図15A、又は図15Bに示すような付帯情報の選択画面に対する、利用者による付帯情報の選択を受け付ける。また、ステップS1205において、操作受付部524は、利用者による選択結果(選択された付帯情報を示す情報)を、サーバ装置100に送信する。
【0146】
ステップS1206において、サーバ装置100の情報管理部504は、ホスト端末110から受信した選択結果に基づいて、ホスト端末110が接続しているセッションに、選択された付帯情報を関連付ける。
【0147】
ステップS1207において、サーバ装置100の情報送信部505は、第1の実施形態と同様にして、ユーザ端末120a、120bに送信する付帯情報を設定する。
【0148】
ステップS1208において、サーバ装置100の情報送信部505は、ユーザ端末120a、120bに対する付帯情報の送信処理を実行する。例えば、情報送信部505は、図8のステップS808、S809、S813、S814の処理を実行する。
【0149】
ステップS1209において、サーバ装置100の情報送信部505は、ホスト端末110に送信する付帯情報を設定する。例えば、図6(A)に示すような利用者情報601に、「利用する付帯情報」が登録されている場合、情報送信部505は、セッションに関連付けた付帯情報の中から、「利用する付帯情報」に登録されている付帯情報を選択する。一方、利用者情報601に「利用する付帯情報」が登録されていない場合、サーバ装置100の情報送信部505は、ユーザ端末120と同様に、ホスト端末110に付帯情報の選択要求を送信して、ユーザによる付帯情報の選択を受け付けても良い。
【0150】
ステップS1210において、サーバ装置100の情報送信部505は、設定した付帯情報を、ホスト端末110に送信する。
【0151】
ステップS1211において、ホスト端末110の環境制御部537は、サーバ装置100から受信した付帯情報を適用する。例えば、ホスト端末110の環境制御部537は、図9で前述した付帯情報の適用処理を実行する。
【0152】
上記の処理により、ホスト端末110は、センサ機器130を備えていない場合でも、1つ以上のユーザ端末120と同様の周辺の環境を共有することができる。
【0153】
[第3の実施形態]
第3の実施形態では、サーバ装置100が、ホスト端末110の現在地データに基づいて、セッションに付帯情報を関連付ける場合の例について説明する。なお、第3の実施形態に係る通信システム1の機能構成は、図11で説明した第2の実施形態に係る通信システム1の機能構成と同様で良い。
【0154】
<処理の流れ>
図16は、第3の実施形態に係る付帯情報の送信処理の例を示すシーケンス図である。
【0155】
ステップS1601において、ホスト端末110の操作受付部524は、例えば、利用者による所定の操作に応じて、ホスト端末110の現在地を示す現在地データ(例えば、緯度経度等)を、サーバ装置100に送信する。
【0156】
なお、ホスト端末110が、図4に示すような携帯端末400である場合、操作受付部524は、図4のGPS受信部410、又はOS等から、ホスト端末110の現在地データを取得することができる。
【0157】
ステップS1602において、サーバ装置100の情報管理部504は、例えば、情報サーバ102、或いは外部のウェブサービス等から、ホスト端末110の現在地に関する情報を取得する。ここでは、説明用の一例として、情報管理部504は、ホスト端末110の現在地の天候を取得し、現在地の天候が「晴れ」であるものとする。
【0158】
ステップS1603において、サーバ装置100の情報管理部504は、付帯情報記憶部1101に記憶した複数の付帯情報の中から、現在地データと、取得した情報(例えば、天候「晴れ」)に対応する付帯情報を抽出する。例えば、情報管理部504は、複数の付帯情報に関連付けされたタグ情報を参照して、図17に示すように、天候タグが「晴れ」であるタグ情報1701、1702、及び位置情報タグの緯度経度が、現在地データに近いタグ情報1702を抽出する。
【0159】
ステップS1604において、サーバ装置100の情報管理部504は、抽出した付帯情報の中から、セッションに関連付ける付帯情報を選択する。例えば、位置情報タグの緯度経度が、現在地データに近いタグ情報が複数抽出された場合、情報管理部504は、現在地データに、位置情報タグの緯度経度が最も近いタグ情報に対応する付帯情報を選択しても良い。また、例えば、天候タグが「晴れ」であるタグ情報が複数抽出された場合、情報管理部504は、例えば、複数の付帯情報の中から、ランダムに付帯情報を選択しても良い。
【0160】
これにより、サーバ装置100の情報管理部504は、例えば、図17に示すように、ホスト端末110の現在地データに対応する、音データ、照明データ、及び画像データ等の付帯情報を選択することができる。
【0161】
ステップS1605において、サーバ装置100の情報管理部504は、セッションに、選択した付帯情報を関連付ける。
【0162】
ステップS1606において、通信システム1は、例えば、図12のステップS1207~S1211と同様の処理により、付帯情報を、ホスト端末110、及び1つ以上のユーザ端末120に送信する。
【0163】
上記の処理により、サーバ装置100は、ホスト端末110の現在地に対応する環境を、ホスト端末110、及び1つ以上のユーザ端末120の間で共有することができる。
【0164】
応用例として、サーバ装置100の情報管理部504は、ステップS1604において、例えば、図15Cに示すような付帯情報の選択画面1530を、ホスト端末110に表示させて、ユーザの選択操作により、セッションに関連付ける付帯情報を決定しても良い。図15Cの例では、付帯情報の選択画面1530には、データセットの選択欄1531と、ホスト端末110の現在の状態(例えば、現在の地域、日時、天候等)を表す状態情報1532とが表示されている。また、各データセットは、例えば、「東京都新宿区」、「京都伏見区」等の地域に関するデータセットになっている。これにより、利用者は、ホスト端末110の現在の地域、日時、天候等に応じて、より適切なデータセットを選択することができるようになる。
【0165】
なお、図15Cに示すような付帯情報の選択画面1530は、例えば、第2の実施形態で表示する付帯情報の表示画面から、「地域セット選択」タブ1533等により、利用者が選択できるようにしても良い。
【0166】
[第4の実施形態]
第1~3の実施形態では、サーバ装置100を用いて、ホスト端末110と、1つ以上のユーザ端末120との間で、環境を共有する場合の例について説明した。ただし、これに限られず、ホスト端末110、及び1つ以上のユーザ端末120は、サーバ装置100を介さずに、周辺の環境を共有しても良い。
【0167】
(付帯情報の送信処理1)
図18は、第4の実施形態に係る付帯情報の送信処理の一例を示すシーケンス図である。なお、図18に示す処理の開始時点において、ホスト端末110、及びユーザ端末120a、120bは、例えば、同じオンライン会議等のセッションに接続しているものとする。また、ホスト端末110、及びユーザ端末120は、図5に示す第1の実施形態と同様の機能構成を有しているものとする。
【0168】
ステップS1801において、ホスト端末110の付帯情報取得部525は、例えば、図2(B)に示すようなセンサ機器130を用いて、ホスト端末110の周辺の環境に関する付帯情報を取得する。
【0169】
ステップS1802a、1802bにおいて、ホスト端末110の付帯情報送信部526は、同じセッションに接続しているユーザ端末120a、120bに、取得した付帯情報を送信する。これにより、ユーザ端末120a、120bの付帯情報受信部535は、ホスト端末110が送信した付帯情報を受信する。
【0170】
ステップS1803a、1803bにおいて、ユーザ端末120a、120bの環境制御部537は、ホスト端末110から受信した付帯情報のうち、適用可能な付帯情報を適用する。例えば、ユーザ端末120a、120bの環境制御部537は、適用可能な付帯情報を用いて、図9で説明した適用処理を実行する。
【0171】
上記の処理により、ホスト端末110は、ホスト端末110の周辺の環境を、ユーザ端末120a、120bと共有することができる。
【0172】
(付帯情報の送信処理2)
図19は、第4の実施形態に係る付帯情報の送信処理の別の一例を示すシーケンス図である。なお、図19に示す処理の開始時点において、ホスト端末110、及びユーザ端末120a、120bは、例えば、同じオンライン会議等のセッションに接続しているものとする。また、ホスト端末110、及びユーザ端末120は、図11に示す第2の実施形態と同様の機能構成を有しているものとする。
【0173】
ステップS1901において、ホスト端末110の表示制御部523は、例えば、利用者による所定の操作に応じて、記憶部527に予め記憶した付帯情報の一覧である付帯情報リストを、記憶部527から取得する。なお、表示制御部523は、例えば、複数の付帯情報を予め記憶した外部のストレージサーバ、又はクラウドサービス等から、付帯情報リストを取得しても良い。
【0174】
ステップS1902において、ホスト端末110の表示制御部523は、取得した付帯情報リストを用いて、例えば、図15A図15Bに示すような付帯情報の選択画面を表示する。また、ステップS1903において、ホスト端末110の操作受付部524は、付帯情報の選択画面に対する、付帯情報の選択操作を受け付ける。
【0175】
ステップS1904において、ホスト端末110の操作受付部524は、選択された付帯情報を、例えば、ホスト端末110の記憶部527から取得する。或いは、ホスト端末110の操作受付部524は、選択された付帯情報を、例えば、外部のストレージサーバ、又はクラウドサービス等から取得しても良い。
【0176】
ステップS1905a、1905bにおいて、ホスト端末110の操作受付部524は、通信部521を用いて、選択された付帯情報をユーザ端末120a、120bに送信する。
【0177】
ステップS1906aにおいて、ホスト端末110の環境制御部537は、選択された付帯情報のうち、ホスト端末110で適用可能な付帯情報を適用する。例えば、ホスト端末110の環境制御部537は、適用可能な付帯情報を用いて、図9で説明した適用処理を実行する。
【0178】
ステップS1906b、1906cにおいて、ユーザ端末120a、120bの環境制御部537は、ホスト端末110から受信した付帯情報のうち、適用可能な付帯情報を適用する。例えば、ユーザ端末120a、120bの環境制御部537は、適用可能な付帯情報を用いて、図9で説明した適用処理を実行する。
【0179】
上記の処理により、ホスト端末110は、センサ機器130を有していない場合でも、ホスト端末110と、ユーザ端末120a、120bとの間で、周辺の環境を共有することができる。
【0180】
以上、本発明の各実施形態によれば、複数の情報処理装置(ホスト端末110、及び1つ以上のユーザ端末120)の間でコンテンツデータを送受信するセッションにおいて、情報処理装置の周辺の環境を他の情報処理装置と共有できるようになる。
【0181】
なお、上記の各実施形態は一例であり、本発明の実施形態は様々な変形、及び応用が可能である。例えば、付帯情報は、音データ、画像データ、及び照明データに限られず、温度データ、湿度データ、風データ、又は香りデータ等の周辺の環境を表す様々なデータが含まれていても良い。
【0182】
また、付帯情報は、例えば、音データ、画像データ、及び照明データ等の実データに限られず、各データのファイル名、又は取得先のリンク情報等であっても良い。
【0183】
<補足>
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【0184】
また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものに過ぎない。ある実施形態では、サーバ装置100は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。また、サーバ装置100の各機能構成は、1つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。
【符号の説明】
【0185】
1 通信システム
10 通信ネットワーク
100 サーバ装置
110 ホスト端末(情報処理装置)
120 ユーザ端末(情報処理装置)
501 通信部(受信部)
502 認証部
503 通信管理部
504 情報管理部
505 情報送信部
506 利用者情報記憶部
525 付帯情報取得部
526 付帯情報送信部
535 付帯情報受信部
537 環境制御部
1101 付帯情報記憶部
1302、1303 タグ情報(タグ)
【先行技術文献】
【特許文献】
【0186】
【文献】特開2016-033837号公報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15A
図15B
図15C
図16
図17
図18
図19