IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-05
(45)【発行日】2022-09-13
(54)【発明の名称】通信システム、プログラム、端末装置
(51)【国際特許分類】
   H04M 11/00 20060101AFI20220906BHJP
   H04L 12/18 20060101ALI20220906BHJP
   H04M 1/00 20060101ALI20220906BHJP
   H04M 3/56 20060101ALI20220906BHJP
【FI】
H04M11/00 301
H04L12/18
H04M1/00 R
H04M3/56 C
【請求項の数】 10
(21)【出願番号】P 2018216890
(22)【出願日】2018-11-19
(65)【公開番号】P2020088489
(43)【公開日】2020-06-04
【審査請求日】2021-08-06
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】長谷川 尭志
【審査官】松原 徳久
(56)【参考文献】
【文献】特開2010-93583(JP,A)
【文献】国際公開第2012/160773(WO,A1)
【文献】特開2010-28715(JP,A)
【文献】特開平8-289189(JP,A)
【文献】特開2003-179895(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04L12/18
H04M1/00
1/24-3/00
3/16-3/20
3/38-3/58
7/00-7/16
11/00-11/10
99/00
H04N5/222-5/257
7/10
7/14-7/173
7/20-7/56
21/00-21/858
(57)【特許請求の範囲】
【請求項1】
第1の端末装置及び第2の端末装置を含む複数の端末装置がネットワークを介して画像データ又は音声データを通信する通信システムであって、
前記第1の端末装置は、
画像データ又は音声データの入力を受け付ける周辺機器と、
前記第1の端末装置を使用するユーザの属性情報を前記第2の端末装置に送信する属性情報送信手段と、を有し、
前記第2の端末装置は、
前記第1の端末装置から受信した前記画像データ又は音声データを出力する出力手段と、
前記第1の端末装置から送信される前記属性情報を受信する属性情報受信手段と、を有し
前記出力手段は、前記属性情報受信手段が受信した前記属性情報に基づいて特定された前記第1の端末装置が有する前記周辺機器に関する情報を表示することを特徴とする通信システム。
【請求項2】
前記第2の端末装置は、
前記属性情報受信手段が受信した前記属性情報に基づいて、前記第1の端末装置を特定する装置特定手段と、
前記装置特定手段が特定した前記第1の端末装置が有する前記周辺機器を操作する操作情報を受け付ける操作受付手段と、
前記操作受付手段が受け付けた前記操作情報を前記第1の端末装置に送信する操作情報送信手段と、を有し
前記第1の端末装置は、
前記第2の端末装置から送信される前記操作情報を受信する操作情報受信手段を有することを特徴とする請求項1に記載の通信システム。
【請求項3】
前記第1の端末装置は、
前記第1の端末装置が有する前記周辺機器に関する周辺機器情報を前記第2の端末装置に送信する周辺機器情報送信手段、を有し、
前記第2の端末装置は、
前記第1の端末装置から送信される前記周辺機器情報を受信する周辺機器情報受信手段、を有し
前記出力手段は、前記周辺機器情報受信手段が受信した前記周辺機器情報に基づいて、前記第1の端末装置が有する前記周辺機器のリストを表示し、
前記操作受付手段は、前記出力手段が表示した前記周辺機器のリストに対し、操作を受け付ける前記周辺機器の選択を受け付けることを特徴とする請求項2に記載の通信システム。
【請求項4】
前記第1の端末装置は、
前記第2の端末装置との通信において使用する前記周辺機器の設定を受け付ける設定画面から前記第1の端末装置が使用する前記周辺機器の設定を受け付ける設定受付手段を有し、
前記周辺機器情報送信手段は、前記設定受付手段が前記設定画面から受け付けた前記周辺機器に関する前記周辺機器情報を前記第2の端末装置に送信することを特徴とする請求項3に記載の通信システム。
【請求項5】
前記第1の端末装置が有する前記周辺機器は複数のカメラであり、
前記第2の端末装置の前記操作受付手段は前記出力手段が表示した前記複数のカメラのうち、1つのカメラの選択を受け付け、
前記操作情報送信手段は、前記操作受付手段が受け付けた前記カメラの識別情報を前記操作情報として前記第1の端末装置に送信し、
前記第1の端末装置は、前記第2の端末装置から前記操作情報として受信した前記カメラの識別情報に基づいて、前記画像データを撮像するカメラを切り替える周辺機器操作手段を有することを特徴とする請求項3又は4に記載の通信システム。
【請求項6】
前記第1の端末装置が有する前記周辺機器は、スピーカ、及びマイクの少なくとも1つであり、
前記操作受付手段はスピーカ及びマイクの少なくとも1つに関する前記操作情報を受け付け、
前記操作情報送信手段は、前記操作受付手段が受け付けたスピーカ及びマイクの少なくとも1つに関する前記操作情報を前記第1の端末装置に送信し、
前記第1の端末装置の前記周辺機器操作手段は、前記第2の端末装置から受信した前記操作情報に基づいて、スピーカ及びマイクの少なくとも1つに関する操作を行うことを特徴とする請求項5に記載の通信システム。
【請求項7】
前記第1の端末装置の出力手段が通信中に表示する画面が有する、前記第1の端末装置の前記周辺機器の操作を行うための操作ボタンの数は、前記第2の端末装置の出力手段が通信中に表示する画面が有する、前記第1の端末装置の前記周辺機器の操作を行うための操作ボタンの数よりも少ないことを特徴とする請求項3~6のいずれか1項に記載の通信システム。
【請求項8】
前記第1の端末装置を使用するユーザの前記属性情報は、商品又はサービスを提供する店舗に来店したゲストであることを示す情報であることを特徴とする請求項1~7のいずれか1項に記載の通信システム。
【請求項9】
画像データ又は音声データの入力を受け付ける周辺機器と、
第2の端末装置を使用するユーザの属性情報を端末装置に送信する属性情報送信手段と、を有する第2の端末装置と、ネットワークを介して画像データ又は音声データを通信する端末装置を、
前記第2の端末装置から受信した前記画像データ又は音声データを出力する出力手段と、
前記第2の端末装置から送信される前記属性情報を受信する属性情報受信手段、として機能させ、
前記出力手段は、前記属性情報受信手段が受信した前記属性情報に基づいて特定された前記第2の端末装置が有する前記周辺機器に関する情報を表示することを特徴とするプログラム。
【請求項10】
端末装置から受信した画像データ又は音声データを出力する出力手段と、
前記端末装置から送信される、前記端末装置を使用するユーザの属性情報を受信する属性情報受信手段と、を有し、前記出力手段は、前記属性情報受信手段が受信した前記属性情報に基づいて特定された前記端末装置が有する周辺機器に関する情報を表示する第2の端末装置と、ネットワークを介して画像データ又は音声データを通信する端末装置であって、
前記画像データ又は音声データの入力を受け付ける周辺機器と、
前記端末装置を使用するユーザの属性情報を前記第2の端末装置に送信する属性情報送信手段と、を有することを特徴とする端末装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信システム、プログラム、及び、端末装置に関する。
【背景技術】
【0002】
遠隔地にある端末装置が画像と音声を相互に送受信して、画像をディスプレイに表示し音声をスピーカから出力することで、遠隔地のユーザが会議などの遠隔コミュニケーションを可能とする通信システムが知られている。このような通信システムを利用すれば、例えばコールセンターにいるオペレータが店舗に来店したゲストの顔を見て接客でき、ゲストもオペレータの顔を見て説明を受けることができる。
【0003】
それぞれの端末装置はカメラ、マイク、ディスプレイ、及び、スピーカを有している。カメラが撮像した画像が通信相手の端末装置のディスプレイに表示され、マイクが取得した音声が通信相手の端末装置のスピーカから出力される。これらの周辺機器は種々の設定が可能になっているが、ゲストが端末装置を使用する機会は多くないので周辺機器の操作に不慣れである場合がある。
【0004】
そこで、オペレータがゲストの端末装置を遠隔で操作する技術が考案されている(例えば、特許文献1参照。)。特許文献1には、複数の撮像条件と静止画をセットで記憶しておき、通信中にユーザがそれらを参考にして撮像条件を選択するシステムについて開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術では、オペレータが遠隔で操作すべき端末装置を特定することが困難であるという問題があった。例えば、オペレータが直接操作する端末装置が複数の端末装置と通信している場合であって、複数の端末装置が類似した撮像条件を有する場合、どの静止画がどの端末装置のものかをオペレータが特定しにくかった。オペレータが直接操作する端末装置が1つの端末装置と通信する場合であっても、オペレータが遠隔で操作してよいかどうか判断しにくかった。
【0006】
本発明は、上記課題に鑑み、遠隔で操作すべき端末装置を特定できる通信システムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題に鑑み、本発明は、第1の端末装置及び第2の端末装置を含む複数の端末装置がネットワークを介して画像データ又は音声データを通信する通信システムであって、
第1の端末装置は、画像データ又は音声データの入力を受け付ける周辺機器と、前記第1の端末装置を使用するユーザの属性情報を第2の端末装置に送信する属性情報送信手段と、を有し、
前記第2の端末装置は、前記第1の端末装置から受信した前記画像データ又は音声データを出力する出力手段と、前記第1の端末装置から送信される前記属性情報を受信する属性情報受信手段と、を有し、前記出力手段は、前記属性情報受信手段が受信した前記属性情報に基づいて特定された前記第1の端末装置が有する前記周辺機器に関する情報を表示することを特徴とする。
【発明の効果】
【0008】
遠隔で操作すべき端末装置を特定できる通信システムを提供することができる。
【図面の簡単な説明】
【0009】
図1】通信システムにおける周辺機器の制御の概略を説明する図である。
図2】通信システムの一例の概略構成図である。
図3】端末装置の一例のハードウェア構成図である。
図4】管理システムの一例のハードウェア構成図である。
図5】端末装置の一例のソフトウェア構成図である。
図6】通信システムが有する端末装置、及び管理システムの一例の機能ブロック図である。
図7】宛先管理DB、プレゼンス管理DB、及び、送信先管理DBの一例を示す図である。
図8】端末装置が管理システムへログインする処理の一例を示すシーケンス図である。
図9】受付画面の一例を示す図である。
図10】プレゼンス情報を送信する処理の一例を示すシーケンス図である。
図11】特徴毎のプレゼンスを管理する処理の一例を示すフロー図である。
図12】通信を開始する処理の一例を示すシーケンス図である。
図13】プレゼンス管理テーブルが表2の状態である場合に表示される特徴一覧の画面の一例を示す図である。
図14】通話の開始要求の送信先を更新する処理の一例を示すシーケンス図である。
図15】端末装置間の通信を確立する処理の一例を示すシーケンス図である。
図16】メッセージの表示例を示す図である。
図17】属性情報管理DBに記憶されている属性情報管理テーブルの一例の概念図である。
図18】端末装置が端末装置に属性情報と周辺機器情報を送信する手順を示す一例のシーケンス図である。
図19】端末装置が表示する周辺機器の一例の設定画面を示す図である。
図20】テレビ会議中にオペレータの端末装置に表示される一例の通話画面を示す図である。
図21】テレビ会議中にゲストの端末装置に表示される一例の通話画面を示す図である。
図22】端末装置が端末装置に周辺機器の操作情報を送信する手順を示す一例のシーケンス図である。
図23】オペレータの端末装置のディスプレイに表示される一例の通話画面である。
図24】オペレータが端末装置に対して行える一例の操作情報を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明を実施するための形態について図面を参照しながら説明する。
【0011】
<動作の概略>
図1は、本実施形態の通信システム100における周辺機器の制御の概略を説明する図である。図1では3台の端末装置10a、10b、70でテレビ会議が行われている。端末装置10a,端末装置10bはコールセンター8に配置されることが想定され、端末装置70(第1の端末装置)は店舗に配置されることが想定される。端末装置10a,端末装置10b(以上が第2の端末装置)をオペレータa、bがそれぞれ操作しており、端末装置70を店舗に来店したゲストgが操作している。なお、ゲストgが操作する端末装置70には、Webカメラ101と書画カメラ102が接続されている(端末装置10a、10bでは省略されている)。
【0012】
(1)端末装置70はテレビ会議の開始時などに自分の属性情報を他の端末装置10a,10bに送信する。端末装置70が端末装置10aに属性情報(ゲスト)を送信している。なお、端末装置10bも属性情報(コールセンター)を送信する(端末装置10aも送信するが省略されている)。属性情報とは、主に、ゲストgが操作する端末装置70か、オペレータa,bが操作する端末装置10かを示す情報である。
【0013】
(2)端末装置10aは各端末装置10b、70から受信した属性情報に基づいて、ゲストgが操作する端末装置70を特定する。これにより、端末装置70を操作情報の送信対象に決定できる。
【0014】
(3)例えば、端末装置70がWebカメラ101の画像を送信している状態で、オペレータaが書画カメラ102の画像を見たいと考えた場合、オペレータaは端末装置70が画像を送信するカメラを書画カメラ102に切り替えるための操作情報を端末装置70に送信する。
【0015】
(4)これにより、端末装置70は書画カメラ102の画像を端末装置10a、端末装置10bに送信するので、ゲストgが端末装置70を操作しなくても、オペレータaは(オペレータBも)書画カメラ102の画像を確認することができる。
【0016】
このように、本実施形態の通信システム100では、端末装置10a、10b,70が通信している場合に(通信中に)、端末装置10aが通信している他の端末装置10b,70から受信した属性情報に基づいてゲストの端末装置70を特定できるので、ゲストの端末装置70に操作情報を送信できる。
【0017】
<用語について>
周辺機器とは、本体に接続されるあらゆる装置をいう。内蔵されていてもケーブルを介して接続されていてもよい。本実施形態では、例えば、カメラ、マイク、スピーカ、ディスプレイなどがある。
【0018】
属性情報とは、端末装置のユーザがどのようなユーザであるかを示す情報である。ゲストであるか否か、端末装置を操作できるか否か、などが推定できればどのような属性が送信されてもよい。例えば、年齢でもよいし、身体の状態でもよい。また、属性情報は、アプリケーションソフトが記憶していてもよいし、端末装置が記憶していてもよいし、ユーザ等が入力してもよい。アプリケーションソフトが記憶している場合、アプリケーションソフトの属性情報ともいえる。端末装置がログイン情報や顔認識によりスタッフでないこと(ゲストであること)を判断してもよい。
【0019】
<システム構例>
図2は、本実施形態の通信システム100の一例の概略構成図である。本実施形態の通信システム100は、図2に示すように、各拠点に設置された複数の端末装置10、70、1つ以上の中継装置30、及び、1つ以上の管理システム50を備える。ここで拠点とは、活動のよりどころとなる所である。端末装置10,70の設置場所又はユーザの所在が拠点である。図2には3つの拠点(コールセンター8、店舗7X、及び、店舗7Y)が示されている。
【0020】
コールセンター8には端末装置10a~10dが配置されており、店舗7Xには端末装置70xが配置されており、店舗7Yには端末装置70yが配置されている。これらの数は図示する数に限らない。また、複数の端末装置70x,70yのうち、任意の端末装置を「端末装置70」と表し、複数の端末装置10a~10dのうち、任意の端末装置を「端末装置10」と表す。複数の店舗7X、7Yのうち、任意の店舗を「店舗7」と表す。
【0021】
コールセンター8とはゲストからの問い合わせに対応する部署である。コールセンター8で問い合わせに応答する者を本実施形態ではオペレータと称する。コンシェルジュ、説明員、指導員、又はアドバイザーなどと称してもよい。また、店舗7は営業を行うための施設である。商品の実物又はサービスのパンフレットが置いてあり、ゲストが訪問することができる。例えば、旅行代理店、銀行、診療所などが考えられるが、ユーザが訪問する施設であればよい。店舗7を訪問したゲストは予め配置されている端末装置70を操作して、コールセンター8の端末装置10とテレビ会議を開始する。こうすることで、店舗7に常駐する店員の数を最小限にすることができたり、専門性の高い店員と各地のゲストがテレビ会議したりすることができる。
【0022】
なお、図2では、コールセンター8にオペレータ用の端末装置10が配置されているが、店舗7にオペレータ用の端末装置10が配置される場合もある。例えば、店舗7が閑散状態の場合、店舗7のスタッフがオペレータとして対応できるようにするためである。次述するように端末装置10,70は一般的な情報処理装置でよいので、アプリケーションソフト(テレビ会議用のアプリケーションソフト)によりオペレータ用とゲスト用を切り替えることができる。
【0023】
端末装置10,70はPC(Personal Computer)など一般的な情報処理装置でよい。端末装置10にはオペレータ向けのアプリケーションソフトがインストールされ、端末装置70にはゲスト向けのアプリケーションソフトがインストールされている。従って、アプリケーションソフトにより各端末装置10,70の属性情報が決定される。このようにアプリケーションソフトで属性情報が決まってもよいし、後述する通信IDで属性情報が決まってもよい。この場合、通信IDに属性情報が対応付けられたテーブルを各端末装置10,70が利用できる。
【0024】
端末装置10、70はそれぞれ一般的な情報処理装置であるため、テレビ会議用のアプリケーションソフト以外にもプレゼンやブラウザなどのソフトウェアを実行できる。端末装置10,70はPCの他、タブレット端末、スマートフォン、PDA(Personal Digital Assistant)などである。ただし、アプリケーションソフトが実行可能であればよい。例えば、カーナビゲーション装置、テレビ受像器、デジタルサイネージ端末、電子黒板、プロジェクタなどでもよい。また、端末装置10、70が同じ種類の情報処理装置である必要はない。
【0025】
なお、端末装置10、70にはテレビ会議に専用の専用端末装置が用いられてもよい。一形態として電源ONだけで管理システム50にログインして映像と音声を送受信する専用端末装置がある。
【0026】
本実施形態の通信システム100は、テレビ会議に適用されるものとして説明される。しかし、通信システム100は、コミュニケーションシステム、又はデータ通信システムにも適用される。また、通信システム100には、サーバを介して一方の端末装置10から複数の端末装置10に一方向で画像データ又は音声データを送信するデータ提供システムが含まれる。また、テレビ会議をビデオ会議という場合がある。テレビ会議の他、遠隔会議、遠隔相談、遠隔コンサルティングなどと称してもよい。
【0027】
端末装置10、管理システム50、及び、中継装置30は通信ネットワーク1又は2に接続されている。通信ネットワーク1は、例えば、LAN(Local Area Network)又はインターネットなど、一般的なネットワークであればよい。例えば、広域イーサネット(登録商標)、VPN(Virtual Private Network)などの専用線を含んでもよい。無線通信の場合、端末装置は基地局2aをアクセスポイントにして通信ネットワーク2(移動体通信網)に接続する。通信ネットワーク2には、WiFi(Wireless Fidelity)、3G、4G、LTE(Long Term Evolution)、5G、及び、Bluetooth(登録商標)などの無線による通信が行われる箇所が含まれる。
【0028】
本実施形態の通信システム100では、複数の端末装置10,70が中継装置30を介した画像データ(静止画及び動画を含む。また、映像データと称してもよい)及び音声データ等の送受信を行う。この際、複数の端末装置10,70の間には、管理システム50を介して、各種の管理情報を送受信するための管理情報用セッションが確立される。また、複数の端末装置10,70の間には、中継装置30を介して、画像データ及び音声データの送受信を行うためのデータ用セッションが確立される。ここで、特に、データ用セッションで送受信される画像データは、スケーラブルに符号化された符号化データであり、例えば、高品質映像の符号化データ、中品質映像の符号化データ、低品質映像の符号化データが、それぞれ別々のチャンネルで送受信される。
【0029】
テレビ会議の機能として、端末装置10,70はカメラ(撮像装置)で撮像した画像データ、マイクで集音した音声データ、及び、説明などに使用する資料データを、中継装置30を介してテレビ会議に参加している他の拠点の端末装置10,70に送信する機能がある。更に手書き情報を他の拠点の端末装置10,70に送信することもできる。また、他の拠点の端末装置10,70から受信した画像データ、資料データ及び手書き情報をディスプレイに表示し、受信した音声データをスピーカから出力する機能がある。画像データ、資料データ、手書き情報、及び、音声データをまとめて又は1つ以上をコンテンツデータという場合がある。
【0030】
テレビ会議が開始されると、端末装置10,70は中継装置30に対して画像データ、音声データ、資料データ及び手書き情報を送信し、中継装置30は、テレビ会議に参加している他の端末装置に対して画像データ、音声データ、資料データ及び手書き情報を送信する。また、端末装置10,70は、中継装置30を介して他方の端末装置10から画像データ、音声データ、資料データ及び手書き情報を受信する。
【0031】
管理システム50は端末装置10、70の通信IDなどを管理し、着信があった場合に2つ以上の端末装置間でセッションを開始するなどの呼制御を行う呼制御サーバとして機能する。管理システム50はサーバであるので情報処理装置の機能を有する。呼制御とは、通信を開始するための発信、その着信、着信への応答、通信の切断など、通話をかけたり切ったりするための一連の処理をいう。この他、端末装置10、70の認証、検索、死活の監視なども行う場合が多い。更に、管理システム50は、端末装置10、70の認証情報など通信システム100の制御に必要なデータベースの管理も行う。
【0032】
中継装置30は画像データ、音声データ、資料データ及び手書きデータを一方の拠点の端末装置10,70から他の拠点の端末装置10,70に中継するサーバ(情報処理装置)である。管理システム50は通信ネットワーク2の帯域や中継装置30の通信負荷を監視して適切な中継装置30を端末装置10、70に割り当てる。
【0033】
<ハードウェア構成例>
図3は、端末装置10,70の一例のハードウェア構成図である。図3に示されているように、端末装置10,70は、端末装置全体の動作を制御するCPU701、プログラムを記憶したROM(Read Only Memory)702、CPU701のワークエリアとして使用されるRAM703、CPU701の制御に従ってデータの読み出し又は書き込みを行うHDD(Hard Disk Drive)704、フラッシュメモリ等の記録メディア706に対するデータの読み出し又は書き込み(記憶)を制御するメディアI/F707、及びCPU701の制御に従って被写体を撮像し画像データを得るカメラ712a、712bを備えている。
【0034】
なお、HDD704には、CPU701が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。また、カメラ712a、712bは、光を電荷に変換して被写体の画像を電子化する電荷結合素子である。カメラ712a、712bは、CMOS(Complementary Metal Oxide Semiconductor)センサ又はCCD(Charge Coupled Device)センサでよい。カメラ712a、712bは3つ以上あってもよい。カメラ712a、712bのうち任意のカメラを「カメラ712」という。
【0035】
更に、端末装置10,70は、音を音信号に変換するマイク714、音信号を音に変換するスピーカ715、アンテナ711a、このアンテナ711aを利用して無線通信信号により、最寄りの基地局2aと通信を行う通信部711、被写体の画像や各種アイコン等を表示する液晶や有機ELなどのディスプレイ720、このディスプレイ720上に載せられ、感圧式又は静電式のパネルによって構成され、指やタッチペン等によるタッチによってディスプレイ720上におけるタッチ位置を検出するタッチパネル721、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン710を備えている。
【0036】
また、図3では、マイク714,スピーカ715が1つであるが、マイク714,スピーカ715が2つ以上あってもよい。
【0037】
図4は、管理システム50の一例のハードウェア構成図である。管理システム50は、管理システム50全体の動作を制御するCPU201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、管理システム50用のプログラム等の各種データを記憶するHD204、CPU201の制御に従ってHD204に対する各種データの読み出し又は書き込みを制御するHDD205(Hard Disk Drive)、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み(記憶)を制御するメディアI/F207、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ208、通信ネットワーク2を利用してデータ通信するためのネットワークI/F209、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード211、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス212、着脱可能な記録媒体の一例としてのCD-ROM213(Compact Disc Read Only Memory)に対する各種データの読み出し又は書き込みを制御するCD-ROMドライブ214、及び、上記各構成要素を図4に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン210を備えている。
【0038】
中継装置30は、管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。
【0039】
<アプリケーションソフト>
図5(a)は、一実施形態に係る端末装置10のソフトウェア構成図である。端末装置10には、オペレータ用のアプリケーションソフトA1がインストールされている。図5(a)に示されているように、OS1020、及びオペレータ用のアプリケーションソフトA1は、端末装置10のRAM703の作業領域1010上で動作する。これらのうち、OS1020は、基本的な機能を提供し、端末装置10全体を管理する基本ソフトウェアである。オペレータ用のアプリケーションソフトA1は、他の端末装置10,70と通信するためのアプリである。
【0040】
図5(b)は、一実施形態に係る端末装置70のソフトウェア構成図である。端末装置70には、ゲスト用のアプリケーションソフトA7がインストールされている。図5(b)に示されているように、OS1020、及びゲスト用のアプリケーションソフトA7は、RAM703の作業領域1010上で動作する。これらのうち、OS1020は、基本的な機能を提供し、端末装置70全体を管理する基本ソフトウェアである。ゲスト用のアプリケーションソフトA7は、他の端末装置10,70と通信するためのアプリである。
【0041】
ただし、ゲスト用のアプリケーションソフトA7はオペレータ用のアプリケーションソフトA1に対し機能が制限されている。原則的に操作はオペレータが行い、ゲストは最小限の操作のみを行えばよいとする設計方針のためである。一例として、ゲストが行える操作は、以下のようになっている。
1.オペレータの呼び出しボタンの押下
2.スピーカ715の音量調節
3.自拠点の画像の表示・非表示の切り替え
なお、アプリケーションソフトの通信プロトコルとしては、(1)SIP(Session Initiation Protocol)、(2)H.323、(3)SIPを拡張したプロトコル、(4)インスタントメッセンジャーのプロトコル、(5)SIPのMESSAGEメソッドを利用したプロトコル、(6)インターネットリレーチャットのプロトコル(IRC(Internet Relay Chat))、(7)インスタントメッセンジャーのプロトコルを拡張したプロトコル等が挙げられる。このうち、(4)インスタントメッセンジャーのプロトコルは、例えば、(4-1)XMPP(Extensible Messaging and Presence Protocol)、又は(4-2)ICQ(登録商標)、AIM(登録商標)、若しくはSkype(登録商標)などで利用されるプロトコルである。また、(7)インスタントメッセンジャーのプロトコルを拡張したプロトコルは、例えば、Jingleである。
【0042】
<機能について>
図6は、本実施形態の通信システム100が有する端末装置10、70、及び管理システム50の一例の機能ブロック図である。なお、中継装置30は画像データを中継するに過ぎないため図6ではその機能が省略されている。
【0043】
<<端末装置の機能構成>>
以下では、コールセンター8のオペレータが使用する端末装置10、及び、店舗7を訪問したゲストが使用する端末装置70の機能をそれぞれ説明する。この機能の違いはアプリケーションソフトの違いである。ただし、コールセンター8の端末装置と店舗7の端末装置が同じアプリケーションソフトを実行し、認証によりオペレータのみが実行できる操作を用意することで機能が異なってもよい。
【0044】
・コールセンターの端末装置
コールセンター8の端末装置10は、送受信部11、操作入力受付部12、起動部13、属性情報送信部14、属性情報受信部15、周辺機器情報受信部16、画像出力部17、撮像部18、音声出力部19、音声取得部20、端末特定部21、操作情報送信部22、及び、記憶・読出処理部29を有している。これら各部は、図3に示されている各構成要素のいずれかが、HDD704からRAM703上に展開されたオペレータ用のアプリケーションソフトA1に従ったCPU701からの命令によって動作することで実現される機能又は手段である。
【0045】
また、端末装置10は、図3に示されているRAM703、及びHDD704によって構築される記憶部1000を有している。記憶部1000には、管理システム50等からダウンロードしたオペレータ用のアプリケーションソフトA1が記憶されており、また、画像データ、音声データ、資料データ、及び、手書き情報が一時的に保持される。オペレータ用のアプリケーションソフトA1により設定される属性情報(オペレータ)も記憶される。
【0046】
また、記憶部1000には、端末装置10を識別するための通信ID(Identification)、及びパスワード等が記憶されている。IDはIdentificationの略であり識別子や識別情報という意味である。IDは複数の対象から、ある特定の対象を一意的に区別するために用いられる名称、符号、文字列、数値又はこれらのうち1つ以上の組み合わせをいう。この他のIDについても同様である。
【0047】
また、記憶部1000には、属性情報管理DB1001が構築されている。属性情報管理DB1001についてこれが使用される処理に関して説明する。
【0048】
送受信部11は、通信ネットワーク2を介して管理システム50、及び中継装置30(これらを介して他の端末装置10と通信する)と各種データ(又は情報)の送受信を行う。送受信部11は、所望の宛先端末と通話を開始する前から、管理システム50より、通信相手の候補としての各端末の状態を示す各状態情報の受信を開始する。
【0049】
操作入力受付部12は、コールセンター8のオペレータによる端末装置10に対する各種入力を受け付ける。例えば、利用者が電源スイッチをONにすると、操作入力受付部12が電源オンを受け付けて、起動部13に通知する。
【0050】
起動部13は、電源のONにより端末装置10を起動させる。例えばIPLを実行して、記憶部1000のオペレータ用のアプリケーションソフトA1を読み出し、図3のRAM703に転送する。更に、起動部13はオペレータ用のアプリケーションソフトA1をCPU701に実行させることにより、端末装置10を管理システム50にログインさせるなどの処理を行う。
【0051】
属性情報送信部14は、送受信部11を介して、記憶部1000に記憶されている属性情報(オペレータ)をテレビ会議に参加している他の端末装置10、70に送信する。端末装置70には属性情報(オペレータ)は送信されないか、送信されても端末装置70は処理に使用しない。
【0052】
属性情報受信部15は、テレビ会議に参加しているコールセンター8の端末装置10及び店舗7の端末装置70から送受信部11を介して属性情報を受信する。属性情報は、テレビ会議の開始時などに自動的に送信されてもよいし、コールセンター8の端末装置10の属性情報受信部15からの要求に対し送信されてもよい。
【0053】
周辺機器情報受信部16は、送受信部11を介して、ゲストの端末装置70から周辺機器情報を受信する。周辺機器情報は、ゲストの端末装置70がどのような周辺機器を有しているか等の情報である。
【0054】
画像出力部17は、中継装置30から送信された画像データ、資料データ及び手書き情報をディスプレイ720に送出するための制御を行う。また、画像出力部17は、ディスプレイ720に各種の画面を表示させる。
【0055】
撮像部18は、カメラ712a、712bにより被写体を撮像して得られた撮像データを、所定の画像データに変換して出力する。撮像部18は、カメラ712a、712bを切り替えて画像を出力できる。
【0056】
音声出力部19は、中継装置30から送信された音声データをスピーカ715から再生出力する。
【0057】
音声取得部20は、マイク714によって操作者の音声が音声信号に変換された後、この音声信号を所定の音声データに変換して出力する。
【0058】
端末特定部21は、属性情報に基づいてゲスト用のアプリケーションソフトA7がインストールされた端末装置70を特定する。属性情報には、端末装置(インストールされているアプリケーションソフト)がオペレータ用か、ゲスト用かが含まれている。
【0059】
操作情報送信部22は、オペレータによる店舗7の端末装置70に対する操作情報を、送受信部11を介して店舗7の端末装置70に送信する。例えば、店舗7の端末装置70が2つのカメラ712a、712bを有する場合にカメラ712を切り替える操作をオペレータが行うと、操作入力受付部12が受け付けて、切り替え先のカメラ712を指示する操作情報を送信する。
【0060】
記憶・読出処理部29は、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出したりする処理を行う。
【0061】
・店舗の端末装置70
店舗7の端末装置10は、送受信部71、操作入力受付部72、起動部73、属性情報送信部74、周辺機器操作部75、周辺機器情報送信部76、画像出力部77、撮像部78、音声出力部79、音声取得部80、状態管理部81、送信制御部82、操作情報受信部83、及び、記憶・読出処理部89を有している。これらの説明においては主にコールセンター用の端末装置10との相違を説明する。
【0062】
周辺機器情報送信部76は、オペレータが操作可能な周辺機器に関する情報を送信する。例えば、カメラ712a、712bのどちらがメインでどちらがサブか、着信用のスピーカ715はどれか、通話用のスピーカ715はどれか、どのマイク714を使用するかなどを送信する。これらは店舗7のスタッフが予め設定している。
【0063】
状態管理部81は、CPU701からの命令によって実現され、端末装置10から送られてくるプレゼンス情報に基づいて、宛先候補の状態を管理する。
【0064】
送信制御部82は、CPU701からの命令によって実現され、宛先候補の状態に基づいて、宛先候補への通話の開始要求の送信を制御する。
【0065】
操作情報受信部83は、オペレータの端末装置10から操作情報を受信する。周辺機器操作部75は、コールセンター8の端末装置10から送受信部71を介して受信した操作情報により各周辺機器を操作する。例えば、画像を撮像するカメラ712a又は712bを指示する操作情報を店舗7の端末装置10が受信した場合、撮像部78に切り替え後のカメラ712a又は712bを指示する。
【0066】
店舗7の端末装置70の記憶部7000には、属性情報(ゲスト)7004の他、宛先管理DB7001、プレゼンス管理DB7002、及び、送信先管理DB7003が構築されている。
【0067】
図7(a)は宛先管理DB7001に記憶されている宛先管理テーブルの一例を示す。宛先管理テーブルでは、宛先候補であるオペレータの端末装置10の通信ID、宛先候補の状態を示すプレゼンス、及びこの宛先候補の特徴を示す特徴情報が関連付けられて管理される。通信IDは、通信システム100において、通信先を特定するための情報である。通信IDとしては、特に限定されないが、例えば、端末装置10、70の識別情報、端末装置10、70のユーザの識別情報、アカウント等が含まれる。なお、プレゼンスの詳細については後述する。
【0068】
図7(b)はプレゼンス管理DB7002に記憶されているプレゼンス管理テーブルを示す概念図である。プレゼンス管理テーブルでは、宛先候補の特徴を示す特徴情報、その特徴の各宛先候補の各プレゼンスを統合したプレゼンス、その特徴の宛先候補のうち通話可能なプレゼンス「Online」の端末装置10の通信ID、及びその特徴の宛先候補のうち通話中のプレゼンス「Chat」の端末装置10の通信IDが関連付けられて管理される。なお、各宛先候補の各プレゼンスを統合して、特徴のプレゼンスを生成する処理については後述する。
【0069】
図7(c)は、送信先管理DB7003に記憶されている送信先管理テーブルを示す概念図である。端末装置70はゲストによって使用され、端末装置10はオペレータによって使用される。端末装置70は、同じタイミングに複数の端末装置10へ通話の開始要求を送信することができる。送信先管理テーブルは、端末装置70による現在の通話の開始要求の送信先の端末装置10の通信IDを管理する。端末装置70による通話の開始要求の送信処理、通話の開始要求のキャンセルの処理によって送信先管理テーブルにおいて管理される通信IDの数は変動する。
【0070】
<管理システムの機能構成>
図6に戻って説明する。管理システム50は、送受信部51、認証部52、管理部53、セッション制御部54、及び記憶・読出処理部59を有している。これら各部は、図4に示されている各構成要素のいずれかが、HD204からRAM203上に展開された管理システム50用のプログラムに従ったCPU201からの命令によって動作することで実現される機能である。また、管理システム50は、HD204により構築される記憶部5000を有している。更に、記憶部5000には、以下に示すような各テーブルによって各DBが構築される。
【0071】
図7(d)は、認証管理DB5001に記憶されている認証管理テーブルを示す概念図である。認証管理テーブルでは、管理システム50によって管理される全ての端末装置10,70の各通信IDに対して、認証用のパスワードが関連付けられて管理される。
【0072】
図7(e)は、端末管理DB5002に記憶されている端末管理テーブルを示す概念図である。端末管理テーブルでは、端末装置10,70の通信ID毎に、端末装置10,70のIPアドレスが関連付けられて管理される。
【0073】
<管理システムの各機能構成>
次に、管理システム50の各機能構成について詳細に説明する。送受信部51は、CPU201からの命令、及びネットワークI/F209によって実現され、通信ネットワーク2を介して各端末、装置又はシステムと各種データ(又は情報)の送受信を行う。
【0074】
認証部52は、CPU201からの命令によって実現され、送受信部51で受信された通信ID及びパスワードを検索キーとして、認証管理テーブルを検索し、この認証管理テーブルに同一の通信ID及びパスワードが管理されているかを判断することによって端末の認証を行う。
【0075】
管理部53は、CPU201からの命令によって実現され、図7(e)に示した端末管理テーブルに端末装置10,70の情報を記録することで、端末装置10,70を管理する。
【0076】
セッション制御部54は、CPU201からの命令によって、端末装置10,70の間でコンテンツデータを送信するためのセッションを制御する。この制御としては、セッションを確立するための制御、確立されたセッションに端末装置10,70を参加させる制御、セッションから退出する制御等が含まれる。
【0077】
記憶・読出処理部59は、CPU201からの命令及びHDD205によって実現され、又はCPU201からの命令によって実現され、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを抽出したりする処理を行う。
【0078】
<通信システムの処理・動作>
続いて、図8を用いて、端末装置10,70が管理システム50へログインする処理を説明する。図8は、端末装置10,70が管理システム50へログインする処理の一例を示すシーケンス図である。
【0079】
店舗7のスタッフ等が端末装置70の電源スイッチをONにすると、操作入力受付部72が電源ONを受け付けて、端末装置70を起動させる(ステップS1)。端末装置70が起動すると、起動部73は、端末装置70にインストールされているゲスト用のアプリケーションを起動させる(ステップS2)。以下、端末装置70における処理は、ゲスト用のアプリケーションの命令により実行される。
【0080】
端末装置70の送受信部71は、通信ネットワーク2を介して管理システム50に、ログイン要求を送信する(ステップS3)。このログイン要求には、ログイン要求元である自端末を識別するための通信ID、及びパスワードが含まれている。本実施形態において、端末装置70の通信IDは、頭文字が「C」で表されている。以下、端末装置70X,端末装置70Yの通信IDが「C01,C02」であるものとする。
【0081】
管理システム50の送受信部51は、ログイン要求を受信する。端末装置70から管理システム50へログイン要求が送信されることで、受信側である管理システム50は、送信側である端末装置70のIPアドレスを取得することができる。
【0082】
次に、管理システム50の認証部52は、ログイン要求に含まれている通信ID及びパスワードを検索キーとして、記憶部5000の図7(d)に示した認証管理テーブルを検索し、この認証管理テーブルに同一の通信ID及びパスワードが管理されているかを判断することによって認証を行う(ステップS4)。
【0083】
認証部52によって、正当な利用権限を有する端末装置70からのログイン要求であると認証された場合には、管理部53は、図7(e)に示した端末管理テーブルに、ログイン要求元の端末装置70の通信ID、及びIPアドレスを関連付けて記録する(ステップS5)。
【0084】
管理システム50の送受信部51は、認証部52による認証結果が示された認証結果情報を、通信ネットワーク2を介して、ログイン要求元の端末装置70へ送信する(ステップS6)。これにより、端末装置70の送受信部71は、認証結果情報を受信する。以下、ログイン要求元の端末装置70X,70Yの認証に成功し、端末装置70X,70Yが管理システム50にログインした場合について説明する。
【0085】
一方、オペレータ側の端末装置10のオペレータが電源スイッチをONにすると、操作入力受付部12が電源ONを受け付けて、端末装置10を起動させる(ステップS11)。端末装置10が起動すると、起動部13は、端末装置10にインストールされているオペレータ用のアプリケーションソフトA1を起動させる(ステップS12)。以下、端末装置10における処理は、オペレータ用のアプリケーションソフトA1の命令により実行される。
【0086】
端末装置10の画像出力部17は、端末装置10のユーザであるオペレータの特徴の入力を受け付ける受付画面をディスプレイ720に出力する。
【0087】
図9は、受付画面の一例を示す図である。受付画面140には、通信ID、及びパスワードの入力を受け付ける欄141,142の他、オペレータの特徴として、旅行先の説明として対応可能な国又は地域の選択肢143と選択用のチェックボックス144が含まれている。オペレータが、対応可能な国又は地域を選択して、受付画面140のOKボタン145を押下する操作を行うと、操作入力受付部12は、オペレータの特徴の入力を受け付ける(ステップS13-1)。
【0088】
記憶・読出処理部29は、選択された特徴に対応する特徴情報を記憶部1000に記憶させる。以下、特徴「ハワイ、グアム、シンガポール、中国、香港、オーストラリア、マレーシア」に対応する特徴情報は、それぞれ「hw,gm,sg,ch,hk,at,my」であるものとする。
【0089】
端末装置10は、管理システム50へログイン要求を送信して、管理システム50へログインする(ステップS13-2,S14,S15,S16)。この処理は、端末装置70と管理システム50との間のステップS3,S4,S5,S6の処理と同様であるので、説明を省略する。但し、ログイン要求で端末装置10から管理システム50へ送信される通信IDは、オペレータ側の端末装置10であることを判別可能なように、頭文字が「O」で表されている。以下、端末装置10a,10b,10cの通信IDが「O01,O02,O03」であるものとする。ログイン要求元の端末装置10a,10b,10cの認証に成功すると、端末装置10a,10b,10cは、管理システム50にログインする。
【0090】
続いて、図10を用いて、端末装置10から端末装置70へ、オペレータ側の状態を示すプレゼンス情報を送信する処理について説明する。図10は、プレゼンス情報を送信する処理の一例を示すシーケンス図である。
【0091】
オペレータ用のアプリケーションソフトA1は、記憶部1000において、状態遷移の契機となるイベント、及びイベント発生による遷移後のプレゼンスを管理している。プレゼンスは、端末装置10のユーザであるオペレータが通話を開始可能な状態であるか特定するために利用される。通話を開始可能な状態を示すプレゼンスには、当該端末装置10が管理システム50へログインしており、ゲスト側の端末装置70と通信していない状態を示す「Online」が含まれる。通話を開始不可能な状態を示すプレゼンスには、当該端末装置10が管理システム50へログインしていない状態を示す「Offline」、及び、当該端末装置10が管理システム50へログインしているが、既にカスタマー側の端末装置70と通信しているため新たに通話を開始できない状態を示す「Chat」が含まれる。なお、プレゼンスは、上記のものに限定されない。例えば、プレゼンスには、ユーザの入力に基づくものが含まれていても良い。ユーザの入力に基づくプレゼンスのうち、通話を開始不可能な状態を示すプレゼンスの一例としては、「離席中」が挙げられる。
【0092】
プレゼンス「Online」への遷移の契機となるイベントの一例としては、端末装置10による、上記ステップS16の認証結果情報の受信や、ユーザからの通話の終了要求の入力の受け付け等が挙げられる。プレゼンス「Offline」への遷移の契機となるイベントの一例としては、端末装置10による、管理システム50からのログアウトが挙げられる。プレゼンス「Chat」への遷移の契機となるイベントの一例としては、端末装置70,10間の通信の確立(後述のステップS105)が挙げられる。なお、プレゼンスの遷移の契機となるイベントは、検出可能なものであれば特に限定されず、通信プロトコルやアプリケーションソフトによる処理内容に応じて、任意に設定可能である。
【0093】
端末装置10aで上記のいずれかのイベントが発生すると(ステップS21)、記憶・読出処理部29は、特徴情報を記憶部1000から読み出す。読み出される特徴情報は、図9の受付画面140によりログイン時に端末装置10aのユーザであるオペレータにより入力された「ハワイ、グアム、シンガポール」等の特徴に対応している。端末装置10aの送受信部11は、ステップS21のイベント発生による遷移後の状態を示すプレゼンス、記憶部1000から読み出された特徴情報、及び送信元の端末装置10aの通信ID「O01」が含まれるプレゼンス情報を、管理システム50へ送信する(ステップS22)。例えば、端末装置10aは、ステップS16で認証結果情報を受信すると、プレゼンス「Online」を含むプレゼンス情報を管理システム50へ送信する。また、端末装置10aは、ログアウトの要求が受け付けられると、プレゼンス「Offline」を含むプレゼンス情報を管理システム50へ送信する。また、端末装置10aは、端末装置70との間の通信の確立に応じて、プレゼンス「Chat」を含むプレゼンス情報を管理システム50へ送信する。なお、ステップS13-1で特徴情報が記憶部1000に記録されてから特徴情報が更新されなければ、端末装置10aは、イベントが発生する度に、同じ特徴情報を含むプレゼンス情報を管理システム50へ送信する。
【0094】
管理システム50の送受信部51は、端末装置10aによって送信されるプレゼンス情報を受信すると、受信したプレゼンス情報を、管理システム50へログインしている店舗7の端末装置70x,70yへ送信する(ステップS23,S24)。管理システム50へログインしている店舗側の端末装置70を特定する方法は特に限定されないが、一例として、図7(e)の端末管理テーブルから、「C」が頭文字の通信IDを読み出す方法が挙げられる。
【0095】
端末装置70x,70yの送受信部71は、コールセンター8の端末装置10aから管理システム50を介して送信されるプレゼンス情報を受信する。端末装置70x,70yの記憶・読出処理部89は、受信したプレゼンス情報に含まれる通信ID、プレゼンス、及び特徴情報を関連付けて図7(a)の宛先管理テーブルに記録する(ステップS25,S26)。受信したプレゼンス情報に含まれる通信IDと同一の通信IDのレコードが宛先管理テーブルに存在する場合、記憶・読出処理部89は、新たに受信されたプレゼンス情報に基づいて、このレコードに記録されているプレゼンスを上書更新する。これにより、端末装置70x,70yは、端末装置10a側の最新のプレゼンスを管理することができる。
【0096】
オペレータ側の端末装置10bにおいて、上記のイベントが発生すると、端末装置10b、管理システム50、及び端末装置70x,70y間では、端末装置10a、管理システム50、及び端末装置70x,70y間のステップS21,S22,S23,S24,S25,S26と同様の処理が実行される(ステップS31,S32,S33,S34,S35,S36)。オペレータ側の端末装置10cにおいて、上記のイベントが発生すると、端末装置10c、管理システム50、及び端末装置70x,70y間では、端末装置10a、管理システム50、及び端末装置70x,70y間のステップS21,S22,S23,S24,S25,S26と同様の処理が実行される(ステップS41,S42,S43,S44,S45,S46)。これにより、端末装置70x,70yは、端末装置10b,10c側の最新のプレゼンスを管理することができる。
【0097】
続いて、図11を用いて、特徴毎のプレゼンスを管理する処理について説明する。図11は、特徴毎のプレゼンスを管理する処理の一例を示すフロー図である。以下、ゲスト側からオペレータ側へ通話を要求することを想定して、オペレータ側を宛先候補と表す。なお、宛先候補のオペレータがステップS13-1で複数の特徴(例えば、「「ハワイ、グアム、シンガポール」)を選択した場合、その宛先候補は、複数の特徴のグループに属することになる。特徴のプレゼンス「Online」は、この特徴の宛先候補のうち、いずれかの宛先候補が通話可能なプレゼンス「Online」であることを表す。特徴のプレゼンス「Chat」は、この特徴のグループの宛先候補のいずれもプレゼンス「Online」の状態ではなく、通話中のプレゼンス「Chat」の宛先候補が一以上含まれていることを表す。
【0098】
特徴のプレゼンス「Offline」は、この特徴の宛先候補のいずれもプレゼンス「Offline」であることを表す。以下、端末装置70xの処理について説明するが、端末装置70yも同様の処理を実行可能である。
【0099】
端末装置70xの状態管理部81は、ステップS26,S36,S46で、図7(a)に示した宛先管理テーブルのプレゼンスが更新される度、更新されたレコードに記録されている通信ID、プレゼンス、及び特徴情報を取得する(ステップS51)。
【0100】
端末装置70xの状態管理部81は、図7(b)に示したプレゼンス管理テーブルにおいて、ステップS51で取得される特徴情報が含まれる各レコードを更新する。すなわち、ステップS51で特徴情報「hw,gm,hk」が取得された場合、状態管理部81は、プレゼンス管理テーブルにおける、特徴情報「hw,gm,hk」が含まれる各レコードを更新する。
【0101】
以下、一例として、端末装置10aから端末装置70xへ、プレゼンス情報「Online,(hw,gm,hk),O01」が送信され、ステップS51でこれらの情報が取得されたときの処理について説明する(ステップS52のOnline)。
【0102】
まず、ループ処理で、プレゼンス管理テーブルのうち、特徴情報「hw」が記録されたレコードを更新する処理について説明する。端末装置70xの状態管理部81は、プレゼンス管理テーブルのうち、特徴情報「hw」が記録されたレコードにおける通話可能通信IDのフィールドを参照する。これにより、状態管理部81は、通話可能通信IDのフィールドに、ステップS51で取得された通信ID「O01」が含まれているか判断する(ステップS53)。
【0103】
プレゼンス管理テーブルにおける通話可能通信IDのフィールドに、ステップS51で取得された通信ID「O01」が含まれていないと判断された場合(ステップS53のNO)、状態管理部81は、通話可能通信IDのフィールドに、取得された通信ID「O01」を追加する(ステップS54)。
【0104】
ステップS54の処理が完了した場合、又は、ステップS53のYESの場合、端末装置70xの状態管理部81は、プレゼンス管理テーブルのうち、特徴情報「hw」が記録されたレコードにおける通話中通信IDのフィールドを参照する。これにより、状態管理部81は、通話中通信IDのフィールドに、ステップS51で取得される通信ID「O01」が含まれているか判断する(ステップS55)。
【0105】
プレゼンス管理テーブルにおける通話中通信IDのフィールドに、ステップS51で取得された通信ID「O01」が含まれていると判断された場合(ステップS55のYES)、通話中通信IDのフィールドから、取得された通信IDを削除する(ステップS56)。ここまでの処理により、端末装置10a側のプレゼンスが、「Chat」から「Online」へ遷移する場合も、「Offline」から「Online」へ遷移する場合も、プレゼンス管理テーブルの特徴情報「hw」が記録されたレコードには、通話可能通信IDのフィールドにのみ端末装置10aの通信IDが記録されるようになる。
【0106】
ステップS56の処理が完了した場合、又は、ステップS55のNOの場合、端末装置70xの状態管理部81は、プレゼンス管理テーブルのうち、特徴情報「hw」が記録されたレコードにおける特徴のプレゼンスを参照する。これにより、状態管理部81は、グループのプレゼンスが「Online」であるか判断する(ステップS57)。
【0107】
特徴情報「hw」が記録されたレコードにおける特徴のプレゼンスが「Online」ではないと判断された場合(ステップS57のNO)、状態管理部81は、この特徴のプレゼンスを「Online」に更新する。特徴情報「hw」が記録されたレコードにおける特徴のプレゼンスが「Online」であると判断された場合(ステップS57のYES)、状態管理部81は、特徴情報「hw」が記録されたレコードにおける特徴のプレゼンスを更新しない。ここまでの処理により、プレゼンス管理テーブルの特徴情報「hw」が記録されたレコードにおける特徴のプレゼンスは「Online」になる。
【0108】
ステップS51では特徴情報「hw,gm,hk」が取得されているので、状態管理部81は、ループ処理で、プレゼンス管理テーブルにおける特徴情報「gm,hk」が記録された各レコードについても、同様に更新する。ループ処理が完了すると、図7(a)のプレゼンス管理テーブルは、表1のように更新される。
【0109】
【表1】

続いて、端末装置10aから端末装置70xへ、プレゼンス情報「Chat,(hw,gm,hk),O01」が送信され、ステップS51でこれらのプレゼンス情報が取得されたときの処理について説明する(ステップS52のChat)。
【0110】
まず、ループ処理で、プレゼンス管理テーブルのうち、特徴情報「hw」が記録されたレコードを更新する処理について説明する。端末装置70xの状態管理部81は、プレゼンス管理テーブル(表1参照)のうち、特徴情報「hw」が記録されたレコードにおける通話可能通信IDのフィールドを参照する。これにより、状態管理部81は、通話可能通信IDのフィールドに、ステップS51で取得された通信ID「O01」が含まれているか判断する(ステップS63)。
【0111】
プレゼンス管理テーブルにおける通話可能通信IDのフィールドに、ステップS51で取得された通信ID「O01」が含まれていると判断された場合(ステップS63のYES)、通話可能通信IDのフィールドから、取得された通信IDを削除する(ステップS64)。
【0112】
ステップS64の処理が完了した場合、又は、ステップS63のNOの場合、端末装置70xの状態管理部81は、プレゼンス管理テーブル(表1参照)のうち、特徴情報「hw」が記録されたレコードにおける通話中通信IDのフィールドを参照する。これにより、状態管理部81は、通話中通信IDのフィールドに、ステップS51で取得される通信ID「O01」が含まれているか判断する(ステップS65)
プレゼンス管理テーブルにおける通話中通信IDのフィールドに、ステップS51で取得された通信ID「O01」が含まれていないと判断された場合(ステップS65のNO)、通話中通信IDのフィールドに、取得された通信ID「O01」を追加する(ステップS66)。ここまでの処理により、プレゼンス管理テーブルの特徴情報「hw」が記録されたレコードには、通話中通信IDのフィールドにのみ端末装置10aの通信IDが記録されるようになる。
【0113】
ステップS66の処理が完了した場合、又は、ステップS65のYESの場合、端末装置70xの状態管理部81は、プレゼンス管理テーブル(表1参照)のうち、特徴情報「hw」が記録されたレコードにおける通話可能通信IDのフィールドを参照する。これにより、状態管理部81は、特徴情報「hw」が記録されたレコードにおける通話可能通信IDのフィールドに記録されている通信IDの数が0であるか判断する(ステップS67)。
【0114】
特徴情報「hw」が記録されたレコードにおける通話可能通信IDのフィールドに記録されている通信IDの数が0である場合(ステップS67のYES)、状態管理部81は、特徴情報「hw」が記録されたレコードにおける特徴のプレゼンスを「Chat」に更新する(ステップS68)。
【0115】
特徴情報「hw」が記録されたレコードにおける通話可能通信IDのフィールドに記録されている通信IDの数が0ではない場合(ステップS67のNO)、状態管理部81は、特徴情報「hw」が記録されたレコードにおける特徴のプレゼンスを更新しない。すなわち、特徴情報「hw」が記録されたレコードにおける通話可能通信IDのフィールドに通信IDが記録されている場合、対応するプレゼンスは「Online」のまま更新されない。
【0116】
ステップS51では特徴情報「hw,gm,hk」が取得されているので、状態管理部81は、ループ処理で、プレゼンス管理テーブルにおける特徴情報「gm,hk」が記録された各レコードについても、同様に更新する。これにより、表1のプレゼンス管理テーブルは、表2のようになる。
【0117】
【表2】

続いて、端末装置10cから端末装置70xへプレゼンス情報「Offline,(hw,sg,ch),O03」が送信され、ステップS51でこれらのプレゼンス情報が取得された場合について説明する(ステップS52のOffline)。
【0118】
まず、ループ処理で、プレゼンス管理テーブルのうち、特徴情報「hw」が記録されたレコードを更新する処理について説明する。端末装置70xの状態管理部81は、プレゼンス管理テーブル(表2参照)のうち、特徴情報「hw」が記録されたレコードにおける通話可のフィールドを参照する。これにより、状態管理部81は、通話可能通信IDのフィールドに、ステップS51で取得された通信ID「O03」が含まれているか判断する(ステップS73)。
【0119】
プレゼンス管理テーブルにおける通話可能通信IDのフィールドに、ステップS51で取得された通信ID「O03」が含まれていると判断された場合(ステップS63のYES)、通話可能通信IDのフィールドから、取得された通信ID「O03」を削除する(ステップS74)。
【0120】
ステップS74の処理が完了した場合、又は、ステップS73のNOの場合、端末装置70xの状態管理部81は、プレゼンス管理テーブル(表2参照)のうち、特徴情報「hw」が記録されたレコードにおける通話中通信IDのフィールドを参照する。これにより、状態管理部81は、通話中通信IDのフィールドに、ステップS51で取得される通信ID「O03」が含まれているか判断する(ステップS75)。
【0121】
プレゼンス管理テーブルにおける通話中通信IDのフィールドに、ステップS51で取得された通信ID「O03」が含まれていると判断された場合(ステップS75のYES)、通話中通信IDのフィールドから、取得された通信ID「O03」を削除する(ステップS76)。ここまでの処理により、プレゼンス管理テーブルにおける特徴情報「hw」が記録されたレコードから端末装置10cの通信IDが削除される。
【0122】
ステップS76の処理が完了した場合、又は、ステップS75のNOの場合、端末装置70xの状態管理部81は、プレゼンス管理テーブル(表2参照)のうち、特徴情報「hw」が記録されたレコードにおける通話可通信ID及び通話中通信IDのフィールドを参照する。これにより、状態管理部81は、条件IF1,IF2に該当するか判断する(ステップS77)。条件IF1は、特徴情報「hw」が記録されたレコードにおける通話可能通信IDのフィールドに記録されている通信IDの数が0であり、通話中通信IDのフィールドに記録されている通信IDの数が0ではない場合である。条件IF2は、特徴情報「hw」が記録されたレコードにおける通話可能通信IDのフィールドに記録されている通信IDの数が0であり、通話中通信IDのフィールドに記録されている通信IDの数が0である場合である。
【0123】
特徴情報「hw」が記録されたレコードにおける通話可能通信IDのフィールドに記録されている通信IDの数が0であり、通話中通信IDのフィールドに記録されている通信IDの数が0ではない場合(ステップS77のIF1)、状態管理部81は、プレゼンス管理テーブルの特徴情報「hw」が記録されたレコードにおける特徴のプレゼンスを「Chat」に更新する(ステップS78)。
【0124】
特徴情報「hw」が記録されたレコードにおける通話可能通信IDのフィールドに記録されている通信IDの数が0であり、通話中通信IDのフィールドに記録されている通信IDの数が0である場合(ステップS77のIF2)、状態管理部81は、プレゼンス管理テーブルの特徴情報「hw」が記録されたレコードにおける特徴のプレゼンスを「Offline」に更新する(ステップS79)。
【0125】
ステップS77でIF1にもIF2にも該当しない場合(ステップS77のNO)、状態管理部81は、特徴情報「hw」が記録されたレコードにおける特徴のプレゼンスを「Online」のまま更新しない。
【0126】
ステップS51では特徴情報「hw,sg,ch」が取得されているので、状態管理部81は、ループ処理で、プレゼンス管理テーブルにおいて、特徴情報「sg,ch」が記録された各レコードについても、同様に更新する。これにより、表2のプレゼンス管理テーブルは、表3のようになる。
【0127】
【表3】

続いて、図12を用いて、通信を開始する処理について説明する。図12は、通信を開始する処理の一例を示すシーケンス図である。以下、一例として、端末装置70xが通信を開始する処理について説明するが、端末装置70yも同様の処理により通信を開始することができる。図12の処理を開始する時点で、宛先管理テーブルは図7(a)の状態であり、プレゼンス管理テーブルは表2の状態である場合について説明する。
【0128】
端末装置70xの操作入力受付部72は、ユーザによる操作入力に応じて、宛先候補の特徴一覧の表示要求を受け付ける。表示要求に応じて、画像出力部77は、プレゼンス管理テーブル(表2参照)に記録されている各特徴情報、及びこの特徴情報に対応するグループのプレゼンスの組を取得する。記憶部7000には、特徴情報に対応する表示画像、及び特徴のプレゼンスに対応する表示画像のデータが予め記憶されている。一例として、特徴情報「hw」に対応する表示画像のデータは「ハワイ」を示すテキストデータである。また、一例として、特徴のプレゼンス「Online,Offline,Chat」に対応する表示画像のデータは、それぞれ、チェックマーク、無画像、吹き出しが表されたアイコンの画像データである。画像出力部77は、取得された特徴情報、及びプレゼンスの組ごとに、対応するテキスト及びアイコンの表示画像のデータの組を記憶部7000から取得する。画像出力部77は、取得された表示画像のデータの組を所定の表示領域の同じ行に対応付けて配列することで特徴一覧の画像データを生成する。画像出力部77は、生成された特徴一覧の画像データをディスプレイ720へ出力する(ステップS81)。
【0129】
図13は、プレゼンス管理テーブルが表2の状態である場合に表示される特徴一覧の画面の一例を示す図である。
【0130】
画像出力部77は、プレゼンス管理テーブルが更新される度に、上記の処理を繰り返し実行する。これにより、特徴毎の最新のプレゼンスが示された特徴一覧がディスプレイ720に表示される。
【0131】
ステップS81で、画像出力部77は、アイコンのうち、「Online」に対応するチェックマークが表されたアイコンを選択可能なアイコンとして出力し、「Offline,Chat」に対応する無画像、及び吹き出しが表されたアイコンを選択不可能なアイコンとして出力する。例えば、ユーザにより、図13に示された特徴一覧における「グアム」に対応する吹き出しが表されたアイコンを押下する操作が行われても、操作入力受付部72は、操作入力を受け付けない。なお、無画像のアイコン、及び吹き出しが表示されたアイコンを押下する操作が実行されたとき、音声出力部79は、通話を開始できない旨のメッセージや、通話の開始の待機を促すメッセージ等をディスプレイ720に出力しても良い。
【0132】
図13に示される画面において、ユーザにより、いずれかの特徴に対応するチェックマークが表されたアイコンが押下されると、操作入力受付部72は、アイコンに対応する特徴の選択を受け付ける(ステップS82)。以下、特徴「ハワイ」の選択が受け付けられた場合の処理について説明する。
【0133】
特徴「ハワイ」の選択が受け付けられると、記憶・読出処理部89は、ステップS82で選択された特徴を示す特徴情報「hw」を検索キーとして、図7(a)の宛先管理テーブルを検索し、対応する通信ID、及びプレゼンスの組「O01,Chat」、「O02,Online」、「O03,Online」を読み出す(ステップS83)。
【0134】
端末装置70xの送受信部71は、ステップS83で読み出された通信IDのうち、対応するプレゼンスが「Online」である通信ID「O02」、自端末装置70xの通信ID「C01」、及びステップS82で選択された特徴を示す特徴情報「hw」を含む通話の開始要求を管理システム50へ送信する(ステップS84-1)。
【0135】
同様に、端末装置70xの送受信部71は、ステップS83で読み出された通信IDのうち、対応するプレゼンスが「Online」である通信ID「O03」、自端末装置70xの通信ID「C01」、及びステップS82で選択された特徴を示す特徴情報「hw」を含む通話の開始要求を管理システム50へ送信する(ステップS86-1)。
【0136】
管理システム50の送受信部51は、端末装置70xによって送信される通話の開始要求を受信すると、通話の開始要求に含まれる通信ID「O02」によって特定される端末装置10bへ、この通話の開始要求を送信する(ステップS84-2)。同様に、管理システム50の送受信部51は、端末装置70xによって送信された通話の開始要求を受信すると、通話の開始要求に含まれる通信ID「O03」によって特定される端末装置10cへ、この通話の開始要求を送信する(ステップS86-2)。
【0137】
端末装置70xの送信制御部82は、通話の開始要求の送信先の端末装置10bの通信ID「O02」を送信先管理テーブルに記録することにより更新する(ステップS85)。同様に、端末装置70xの送信制御部82は、通話の開始要求の送信先の端末装置10cの通信ID「O03」を送信先管理テーブルに記録することにより更新する(ステップS87)。
【0138】
オペレータ側の端末装置10aにおいて通話の終了要求の入力が受け付けられると(ステップS21')、送受信部11は、記憶部1000から読み出される特徴情報「hw,gm,hk」、端末装置10aの通信ID「O01」、プレゼンス「Online」を含むプレゼンス情報を管理システム50へ送信する(ステップS22')。
【0139】
管理システム50の送受信部51は、端末装置10aによって送信されたプレゼンス情報を受信すると、受信したプレゼンス情報を、管理システム50へログインしているゲスト側の端末装置70xへ送信する(ステップS24')。
【0140】
端末装置70xの送受信部71は、オペレータ側の端末装置10aから管理システム50を介して送信されるプレゼンス情報を受信する。端末装置70xの記憶・読出処理部89は、受信したプレゼンス情報に含まれる通信ID、プレゼンス、及び特徴情報を宛先管理テーブルに記録する(ステップS26')。これにより、宛先管理テーブルは、図7(a)の状態から表4の状態に更新される。
【0141】
【表4】

端末装置70xの送信制御部82は、ステップS24'で受信されたプレゼンス情報の送信元の端末装置10aへ通話の開始要求を送信するか判断する(ステップS88)。この処理で、端末装置70xの送信制御部82は、宛先管理テーブルにおいて更新された端末装置10aのプレゼンスを参照して、このプレゼンスが「Online」であるか判断する。端末装置10aのプレゼンスが「Online」ではない場合には、送信制御部82は通話の開始要求を送信しない旨、判断して処理を終了する。
【0142】
端末装置10aのプレゼンスが「Online」であると判断された場合、宛先管理テーブルにおいて端末装置10aの特徴情報「hw,gm,hk」を参照して、これらの特徴情報のいずれかが、ステップS82で選択された特徴「ハワイ」を示すか判断する。特徴情報のいずれも選択された特徴を示さない場合には、送信制御部82は開始要求を送信しない旨、判断して処理を終了する。
【0143】
特徴情報のいずれかが選択された特徴を示す場合、端末装置70xの送信制御部82は、開始要求を送信する旨、判断する。開始要求を送信する旨の判断に応じて、端末装置70xの送受信部71は、プレゼンス情報の送信先の端末装置10aの通信ID「O01」、自端末装置70xの通信ID「C01」、及びステップS82で選択された特徴を示す特徴情報「hw」を含む通話の開始要求を管理システム50へ送信する(ステップS89-1)。
【0144】
管理システム50の送受信部51は、端末装置70xによって送信された通話の開始要求を受信すると、通話の開始要求に含まれる通信ID「O01」によって特定される端末装置10aへ、この通話の開始要求を送信する(ステップS89-2)。
【0145】
続いて、図14を用いて、端末装置70xにおいて通話の開始要求の送信先を更新する処理について説明する。図14は、通話の開始要求の送信先を更新する処理の一例を示すシーケンス図である。
【0146】
まず、通話の開始要求の送信先の端末装置10bにおいてオフライン処理が実行されたときの処理について説明する。端末装置10bの操作入力受付部12がオフラインの操作入力を受け付けると(ステップS31')、送受信部11は、記憶部1000から読み出される特徴情報「hw,hk,ch,my,at」、端末装置10bの通信ID「O02」、プレゼンス「Offline」を含むプレゼンス情報を管理システム50へ送信する(ステップS32')。
【0147】
管理システム50の送受信部51は、端末装置10bによって送信されるプレゼンス情報を受信すると、受信したプレゼンス情報を、管理システム50へログインしているカスタマー側の端末装置70xへ送信する(ステップS34')。
【0148】
端末装置70xの送受信部71は、オペレータ側の端末装置10bから管理システム50を介して送信されるプレゼンス情報を受信する。端末装置70xの記憶・読出処理部89は、受信したプレゼンス情報に含まれる通信ID、プレゼンス、及び特徴情報を関連付けて宛先管理テーブルに記録する(ステップS36')。
【0149】
端末装置10bのプレゼンスが「Offline」に変更されると、端末装置10bは端末装置70xの通話の開始要求に対し応答できなくなる。このため、端末装置70xの送信制御部82は、端末装置10bの通信ID「O02」を送信先管理テーブルから削除することにより更新する(ステップS91)。
【0150】
端末装置70xの送信制御部82は、更新後の送信先管理テーブルに、通話の開始要求の送信先の通信IDが記録されているか判断する(ステップS92)。
【0151】
プレゼンス情報の送信元の端末装置10bの通信ID「O02」が削除されたことにより、更新後の送信先管理テーブルに、通話の開始要求の送信先の通信IDが一つも記録されなくなった場合(ステップS92のNO)、画像出力部77は、オペレータとの接続に失敗した旨のメッセージを、ディスプレイ720から出力させる(ステップS93)。なお、更新後の送信先管理テーブルに通話の開始要求の送信先の通信IDが記録されている場合、残された通話の開始要求の送信先と接続する可能性があるため、画像出力部77は、上記のメッセージを出力しない。
【0152】
続いて、通話の開始要求の送信先の端末装置10cにおいて端末装置70xとは異なる端末装置70との通信が開始されるときの処理について説明する。端末装置10cと端末装置70xとは異なる端末装置70との通信が確立すると(ステップS41')、端末装置10cの送受信部11は、記憶部1000から読み出される特徴情報「hw,sg,ch」、端末装置10cの通信ID「O03」、及びプレゼンス「Chat」を含むプレゼンス情報を管理システム50へ送信する(ステップS42')。
【0153】
管理システム50の送受信部51は、端末装置10cによって送信されたプレゼンス情報を受信すると、受信したプレゼンス情報を、管理システム50へログインしているカスタマー側の端末装置70xへ送信する(ステップS44')。
【0154】
端末装置70xの送受信部71は、オペレータ側の端末装置10cから管理システム50を介して送信されるプレゼンス情報を受信する。端末装置70xの記憶・読出処理部89は、受信したプレゼンス情報に含まれる通信ID、プレゼンス、及び特徴情報を関連付けて宛先管理テーブルに記録する(ステップS46')。
【0155】
端末装置10cのプレゼンスが「Chat」に変更されると、端末装置10cは端末装置70xの通話の開始要求に対し応答できなくなる。このため、端末装置70xの送信制御部82は、端末装置10cの通信ID「O03」を送信先管理テーブルから削除することにより更新する(ステップS94)。
【0156】
端末装置70xの送信制御部82は、更新後の送信先管理テーブルに、通話の開始要求の送信先の通信IDが記録されているか判断する(ステップS95)。
【0157】
プレゼンス情報の送信元の端末装置10cの通信ID「O03」が削除されたことにより、更新後の送信先管理テーブルに、通話の開始要求の送信先の通信IDが一つも記録されなくなった場合(ステップS95のNO)、画像出力部77は、オペレータとの接続に失敗した旨のメッセージを、ディスプレイ720から出力させる(ステップS96)。なお、更新後の送信先管理テーブルに通話の開始要求の送信先の通信IDが記録されている場合、残された通話の開始要求の送信先と接続する可能性があるため、画像出力部77は、上記のメッセージを出力しない。
【0158】
続いて、図15を用いて、端末装置10,70間の通信を確立する処理について説明する。図15は、端末装置10,70間の通信を確立する処理の一例を示すシーケンス図である。以下、端末装置10aが、端末装置70xによる通話の開始要求に対して応答する場合について説明する。
【0159】
端末装置10aの送受信部11は、端末装置70xから管理システム50を介して送信される通話の開始要求を受信する(ステップS89-2参照)。通話の開始要求が受信されると、端末装置10aの画像出力部17は、通話の開始要求に含まれる通信ID「CO1」に対応する要求元の情報、及び通話の開始要求に含まれる特徴情報「hw」に対応する特徴「ハワイ」を含むメッセージをディスプレイ720へ出力する。
【0160】
図16は、メッセージの表示例である。メッセージ150に特徴151を示すことにより、端末装置70のユーザであるオペレータは、どの国又は地域について説明を求められるか、通話開始する前から事前に把握することができる。
【0161】
図16のメッセージには、通話の開始の許可を受け付けるための応答ボタン152が含まれている。端末装置10aにおいて、ユーザが画面上の応答ボタン152を押下すると、操作入力受付部12は、応答の許可の操作入力を受け付ける(ステップS101)。応答の許可の操作入力が受け付けられると、端末装置10aの送受信部11は、通話の開始要求元の通信ID「C01」、自端末装置10aの通信ID「O01」が含まれる応答を管理システム50へ送信する(ステップS102)。
【0162】
管理システム50の送受信部51は、端末装置10aによって送信される応答を受信する。管理システム50の送受信部51は、受信した応答を応答に含まれる通信ID「C01」によって特定される端末装置70xへ送信する(ステップS103)。
【0163】
端末装置70xの送受信部71は、応答を受信すると、応答の送信元の端末装置10aとの間で通信を確立するための通信確立要求を管理システム50へ送信する(ステップS104)。通信確立要求には、自端末装置の通信ID「C01」、及び応答の送信元の端末装置10aの通信ID「O01」が含まれる。
【0164】
管理システム50の送受信部71は、通信確立要求を受信する。管理システム50のセッション制御部54は、通信確立要求に含まれる通信ID「O01,C01」により特定される端末装置10a,70xの間で中継装置30を介して画像データ及び音データのコンテンツデータを送信するためのセッションを確立する制御を行う(ステップS105)。なお、セッションは、上記に限られず、端末装置10a,70xの間で通信ネットワーク2を介して直接コンテンツデータを送信するためのセッションであっても良い。
【0165】
端末装置10a,70x間の通信が確立すると、端末装置10a,70xは、自端末で撮像された画像の画像データ、及び自端末で集音された音データを、中継装置30を介して相手側の端末装置70x,10aへ送信する。端末装置10a,70xの画像出力部17,77は、受信したコンテンツデータを出力する。これにより、ユーザ間で通話を開始できるようになる。
【0166】
<テレビ会議中にオペレータがゲストの端末装置を操作する処理>
以下では、テレビ会議中にオペレータがゲストの端末装置70を操作する処理について説明する。
【0167】
まず、図17を用いて属性情報管理DB1001について説明する。図17は、属性情報管理DB1001に記憶されている属性情報管理テーブルの一例の概念図である。属性情報管理DB1001には、端末装置10,70から送信された属性情報を端末装置10が管理するための情報が登録されている。属性情報管理テーブルには、通信ID、周辺機器情報、及び、属性情報が対応付けて記録されている。これにより、コールセンター8の端末装置10はどの端末装置10又は70がゲストの端末装置70であるか特定し、端末装置70が保持する周辺機器情報を取得して、オペレータはゲストが操作する端末装置70が有する周辺機器を操作できる。
【0168】
なお、オペレータが操作する端末装置10は周辺機器情報を送信しないため、図17では通信ID「O02」には周辺機器情報が対応付けられていない。ただし、オペレータが操作する端末装置10も周辺機器情報を送信してよい。
【0169】
続いて、図18を用いて、端末装置70が端末装置10に属性情報と周辺機器情報を送信する処理について説明する。図18は、端末装置70が端末装置10に属性情報と周辺機器情報を送信する手順を示すシーケンス図の一例である。
【0170】
S201、S202:図15のステップS105で説明したように、端末装置10と70の間で通信が確立すると、店舗7の端末装置70の属性情報送信部74は送受信部11を介して、通信IDと共に、属性情報(ゲスト)をコールセンター8の端末装置10a、10bに送信する。属性情報は通信が確立しているコールセンター8の各端末装置10に送信される。
【0171】
S203、S204:また、店舗7の端末装置70の周辺機器情報送信部76は送受信部71を介して、通信IDと共に、保持している周辺機器(カメラ712a、712b、マイク714、スピーカ715等)の情報をコールセンター8の端末装置10a、10bに送信する。簡単のため、カメラ712aをカメラ1(メインカメラ)とし、カメラ712bをカメラ2(サブカメラ)とする。
【0172】
また、周辺機器情報には、現在、有効になっているカメラ1、及び、ミュートなどのマイク714の状態等も含まれる。周辺機器情報は通信が確立しているコールセンター8の各端末装置10に送信される。このように周辺機器情報は、例えば保有しているカメラ712a、712b、マイク714、スピーカ715などのリスト、及び、現在、有効な周辺機器などである。また、同じ種類の周辺機器が複数ある場合は、どれがメインでどれがサブか等も含まれる。周辺機器はゲスト用のアプリケーションソフトA7に登録されている。登録方法については、図19で詳細に説明する。
【0173】
S205:通信が確立しているので、コールセンター8の端末装置10a、10bの送受信部11は、現在有効になっているカメラ1の画像データ、及び、マイク714が取得した音声データを受信する。画像出力部17は現在有効になっているカメラ1の画像データをディスプレイ720に表示し、スピーカ715は音声データを出力する。
【0174】
S206、S207:コールセンター8の端末装置10a、10bの属性情報受信部15は送受信部11を介して、属性情報を受信する。また、周辺機器情報受信部16は周辺機器情報を受信する。属性情報受信部15は通信IDに対応付けて、属性情報管理DB1001に属性情報を記憶させ、周辺機器情報受信部16は周辺機器情報を記憶させる。なお、コールセンター8の端末装置10a、10bも互いに属性情報を端末装置10a、10bに送信する。端末装置10a、10bの画像出力部17は、店舗7の端末装置70が保持する周辺機器のリストをディスプレイ720に表示することができる。表示例を図20に示す。
【0175】
図19は、端末装置70が表示する周辺機器の設定画面160の一例である。店舗7のスタッフはゲストが端末装置70を使用する前に、予め図19のような設定画面160を表示して、周辺機器に関する設定を行う。設定画面160はメインカメラ選択欄161、サブカメラ選択欄162、スピーカ選択欄163、マイク選択欄164などを有している。メインカメラ選択欄161は例えばWebカメラを選択でき、サブカメラ選択欄162では書画カメラを選択できる。
【0176】
なお、図19ではカメラだけメインとサブに分かれているが、スピーカ選択欄163はゲスト用スピーカとスタッフ用スピーカに分かれていてもよい。この場合、オペレータはスタッフにだけ業務連絡することができる。また、マイク選択欄164はゲスト用マイクとスタッフ用マイクに分かれていてもよい。この場合、オペレータはスタッフとだけ会話することができる。
【0177】
それぞれの選択欄はプルダウン式のボタンになっており、画像出力部77がOS7020から取得した、端末装置70が有する(OSにより管理されている)周辺機器を表示する。従って、スタッフは端末装置70で使用できる周辺機器を任意に選択できる。この他、設定画面160は音量調整バー165,映像設定欄167等を有している。
【0178】
図19の設定画面160で設定された周辺機器情報は、端末装置70の記憶部7000に記憶される。そして、図18にて説明したように端末装置70が端末装置10との通信を開始すると、属性情報が端末装置10に送信され属性情報管理DB1001に記憶される。これにより、端末装置70が保持する周辺機器のリストをオペレータが端末装置10に表示させ、任意の周辺機器を遠隔で操作することができる。
【0179】
図20は、テレビ会議中にオペレータの端末装置10に表示される通話画面の一例である。図20(a)は通話画面170の全体の画面例であり、図20(b)は通話画面170のうち操作部172の拡大図である。通話画面170は、メイン画像欄171、サブ画像欄173、保留ボタン175、視点切替ボタン176、パッド全消去ボタン177、パッド起動ボタン178、画面共有ボタン179、カメラボタン180、マイクボタン181、音量ボタン182、切断ボタン183、及び、メニュー引き出しボタン174を有している。
【0180】
保留ボタン175は通信を維持したまま、端末装置10が画像と音声の送信を停止するボタンである。短時間の間、オペレータが離席するような場合に使用される。保留ボタン175が押下された旨はゲストの端末装置70に送信される。ゲストの端末装置70は保留ボタン175の押下を検出すると、予め決まった画像を記憶部7000から読み出してディスプレイ720に表示する。例えば「席を外しています」などのメッセージを表示することで、ゲストが違和感を覚えることを抑制している。表示する画像は、店舗7のスタッフが設定できるため、広告や動画などを表示することもできる。
【0181】
視点切替ボタン176は、オペレータが端末装置70において有効なカメラ1又はカメラ2(画像を送信するカメラ)を切り替えるためのボタンである。オペレータが視点切替ボタン176を押下すると、操作入力受付部12が押下を受け付け、画像出力部17が切り替え可能なカメラ712のリストを含むカメラ選択メニュー184を表示する。具体的には、端末特定部21は記憶部1000に記憶している属性情報管理DB1001を参照して、属性情報がゲストとなっている通信IDを特定する。画像出力部17はこの通信IDに対応付けられた周辺機器情報を取得する。周辺機器情報にはメインとサブのカメラ1,2(カメラ712a、712b)が登録されている。これにより、図20(b)に示すように、カメラ選択メニュー184がポップアップ表示される。カメラ選択メニュー184ではメインとサブのカメラ1,2が表示されているので、オペレータはメインカメラとサブカメラのどちらかを容易に選択できる。
【0182】
パッド全消去ボタン177においてパッドとは、ゲストの端末装置70のディスプレイの下部に存在するペンタブレット190をいう(図1参照)。ペンタブレット190は口頭でゲストが伝えにくい内容(生年月日など)をゲストがオペレータに伝えるために使用される。つまりペンタブレット190への手書き情報がオペレータの端末装置10に送信される。パッド全消去ボタン177はペンタブレット190の記述内容を全て消去するボタンである。パッド起動ボタン178は、ペンタブレットを起動させるボタンである。画面共有ボタン179は、オペレータの端末装置10が、カメラ712が撮像した画像以外の資料データをゲストの端末装置70に送信するためのボタンである。オペレータが画面共有ボタン179を押下すると、端末装置10で起動しているソフトウェア(プレゼン用、PDF表示など)がリストで示されるので、共有したい資料データを表示するソフトウェアを選択する。カメラボタン180、マイクボタン181、及び、音量ボタン182は、いずれもオペレータが自分の端末装置10のカメラの切り替え、マイクのミュート、及び、スピーカ音量等を調整するためのボタンである。
【0183】
切断ボタン183は、端末装置10と70の通信を切断するためのボタンである(プレゼンスがChatからOnlineにかわる)。通信を切断できるのは、オペレータのみとなっている。メニュー引き出しボタン174は、別のオペレータを呼び出すためのメニュー、及び、録音(録画)機能を呼び出すためのメニューを、メイン画像欄171に重ねて表示させるためのボタンである。別のオペレータを呼び出すとは、通話中のオペレータでは答えられないゲストの質問等に対し、回答できるオペレータを呼び出すようなことをいう。別のオペレータを呼び出すためのメニューには図13に示したような特徴一覧の画面又は更に詳細な特徴を選択できるメニューが表示される。
【0184】
続いて、図21を用いてゲストの端末装置70が表示する通話画面230について説明する。図21は、テレビ会議中にゲストの端末装置70に表示される通話画面230の一例である。図20と異なり、ゲストの端末装置70に表示される通話画面230では、メイン画像欄、231、サブ画像欄232、スピーカ音量ボタン233、及び、サブ画像欄の表示/非表示ボタン234しかない。つまり周辺機器の操作を行うための操作ボタンの数が端末装置10よりも少ない。従って、ゲストはスピーカの音量とサブ画像欄232(ゲストの顔が表示される)の表示と非表示を切り替える操作しかできない。これにより、ゲストによる端末装置70の操作性を向上できる。
【0185】
続いて、図22を用いて、端末装置10が端末装置70に周辺機器の操作情報を送信する処理について説明する。図22は、端末装置10が端末装置70に周辺機器の操作情報を送信する手順を示すシーケンス図の一例である。なお、端末装置70ではメインカメラが撮像しているものとする。
【0186】
S211:サブカメラの画像を見たいと考えた端末装置10aのオペレータは、図20(b)に示すようにカメラ選択メニュー184を表示させ、サブである「カメラ2」を選択する。この時、端末特定部21が属性情報管理DB1001を参照して属性情報がゲストとなっている通信IDを特定し、この通信IDに対応付けられた周辺機器情報を取得して、画像出力部17がカメラ選択メニュー184を表示している。端末装置10aの操作入力受付部12は「カメラ2」の選択を受け付ける。
【0187】
S212:端末装置10aの送受信部11は「カメラ2」へ切り替える操作情報をゲストの端末装置70の通信IDと共にゲストの端末装置70に送信する。ゲストの端末装置70の通信IDは属性情報管理DB1001において、ゲストという属性情報に対応付けられている。通信IDは管理システム50が端末装置70に操作情報を送信するために添付される。
【0188】
S213:ゲストの端末装置70の操作情報受信部83は、送受信部71を介して「カメラ2」へ切り替える操作情報を受信して、周辺機器操作部75が撮像部78に対し、メインカメラからサブカメラへの切り替えを要求する。これにより、撮像部78はサブカメラが撮像する画像データを生成する。
【0189】
S214:以上により、オペレータの端末装置10a、10bの画像出力部17はゲストの端末装置70のサブカメラの画像をディスプレイ720に表示する。
【0190】
次に、端末装置10bのオペレータがメインカメラの画像を見たいと思った場合は、ステップS215~S218の処理が行われる。ステップS215~S218の処理は、サブカメラをメインカメラに切り替える他はステップS211~S214と同様になる。
【0191】
このように、オペレータの端末装置10a、10bはどちらもゲストの端末装置70の周辺機器を操作できる。端末装置70では最後に送信された操作情報が有効になる。
【0192】
図23を用いて、通話画面170の表示例を説明する。図23は、オペレータの端末装置10aのディスプレイ720に表示される一例の通話画面170である。図23(a)は、ゲストの端末装置70がメインのカメラ712でゲストを撮像している場合の通話画面170である。端末装置10aはゲストの端末装置70だけと通信中でなく、端末装置10bとも通信中である。このため、通話画面170が分割され、ゲストgと端末装置10bのオペレータbがそれぞれ表示されている。
【0193】
図23(b)は、ゲストの端末装置70がサブカメラで書類を撮像している場合の通話画面170である。端末装置10aのオペレータが、端末装置70で有効なカメラをメインカメラからサブカメラに切り替えた。このため、オペレータの端末装置10aの通話画面170では、ゲストgの代わりに文書の画像301が表示されている。
【0194】
また、図23ではメインカメラとサブカメラが切り替えられているが、オペレータが端末装置70に対して行える操作はこれに限られない。
【0195】
図24は、オペレータが端末装置70に対して行える操作情報の一例を示す。オペレータは、本実施形態で説明された「カメラの指定」の他に、「カメラのパン、チルト、ズーム」、「マイクの指定」、「マイクのミュート/アンミュート」、「マイクのゲイン(音量)の変更」など通話中に必要となる操作であれば操作情報を送信できる。「カメラのパン、チルト、ズーム」によりカメラの向き、拡大及び縮小が可能であり、「マイクの指定」によりゲストの音声でなく、スタッフや周囲の音声を取得できる。「マイクのミュート/アンミュート」により店舗内がうるさい場合などにゲストの音声をミュートできる。「マイクのゲイン(音量)の変更」によりゲストの音声が聞きにくい場合に音量を上げることができる。この他、スピーカの指定が可能でもよく、これにより、例えば、オペレータが店舗7のスタッフに呼びかけたい場合にスピーカの指定を行うこともできる。
【0196】
また、カメラの指定に関しては、メインとサブの2つに限られず、オペレータは3つ以上の中から1つのカメラに切り替えることができる。また、画像の回線が2つ以上ある場合は、3つ以上のカメラから2つのカメラを同時に指定できる。また、カメラとして周囲360度を撮像可能な全天球カメラを選択してもよい。
【0197】
<まとめ>
以上説明したように、本実施形態の通信システム100は、端末装置10,70が通信している場合に、オペレータの端末装置10が通信している他の端末装置10b,70から受信した属性情報に基づいて、端末装置10がゲストの端末装置70を特定できるので、ゲストの端末装置70に操作情報を送信できる。
【0198】
<その他の適用例>
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0199】
例えば、本実施形態ではアプリケーションソフトで属性情報が決まっていたが、ゲストが属性情報を入力してもよい。例えば、ゲストが自分でカメラの切り替えなどを操作したい場合は、スキルありという属性情報を入力し、自分でカメラの切り替えなどを操作したくない又はできない場合は、スキルなしという属性情報を入力する。
【0200】
また、本実施形態ではオペレータの端末装置10がゲストの端末装置70を特定したが、オペレータの端末装置10が他のオペレータの端末装置10であることが分かれば、操作情報を送信する必要がないことが分かる。また、オペレータが他のオペレータの端末装置10のカメラの向きなどを調整したい場合などにも、音声で依頼しなくてもよいため、属性情報を他のオペレータの端末装置10を特定するために使用することも有効である。
【0201】
また、管理システム50が中継装置30の機能を有していてもよいし、中継装置30が管理システム50の機能を有していてもよい。また、複数のサーバにより管理システム50の機能が実現されてもよいし、複数の管理システム50が存在してもよい。
【0202】
また、以上の実施例で示した図6などの構成例は、管理システム50及び端末装置10,70の処理の理解を容易にするために、主な機能に応じて分割したものである。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。管理システム50及び端末装置10,70は、処理内容に応じて更に多くの処理単位に分割することもできる。また、1つの処理単位が更に多くの処理を含むように分割することもできる。
【0203】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【0204】
なお、属性情報送信部74は属性情報送信手段の一例であり、画像出力部17は出力手段の一例であり、属性情報受信部15は属性情報受信手段の一例であり、端末特定部21は装置特定手段の一例であり、コールセンターの端末装置10の操作入力受付部12は操作受付手段の一例であり、店舗の端末装置70の操作入力受付部12は設定受付手段の一例であり、操作情報送信部22は操作情報送信手段の一例であり、操作情報受信部82操作情報受信手段の一例であり、周辺機器情報送信部76は周辺機器情報送信手段の一例であり、周辺機器情報受信部16は周辺機器情報受信手段の一例であり、周辺機器操作部75は周辺機器操作手段の一例である。
【符号の説明】
【0205】
7 店舗
8 コールセンター
10、70 端末装置
30 中継装置
50 管理システム
100 通信システム
【先行技術文献】
【特許文献】
【0206】
【文献】特開平8-181958号公報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24