(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024135912
(43)【公開日】2024-10-04
(54)【発明の名称】通信制御サーバ、通信システム、通信制御方法、及びプログラム
(51)【国際特許分類】
G05D 1/00 20240101AFI20240927BHJP
G06Q 50/10 20120101ALI20240927BHJP
H04N 23/661 20230101ALI20240927BHJP
H04N 23/698 20230101ALI20240927BHJP
G16Y 20/10 20200101ALI20240927BHJP
G16Y 20/20 20200101ALI20240927BHJP
G16Y 40/10 20200101ALI20240927BHJP
G16Y 40/20 20200101ALI20240927BHJP
G16Y 40/30 20200101ALI20240927BHJP
G16Y 40/60 20200101ALI20240927BHJP
【FI】
G05D1/00 B
G06Q50/10
H04N23/661
H04N23/698
G16Y20/10
G16Y20/20
G16Y40/10
G16Y40/20
G16Y40/30
G16Y40/60
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2023046817
(22)【出願日】2023-03-23
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】荒海 雄一
(72)【発明者】
【氏名】永塚 広明
(72)【発明者】
【氏名】野澤 友志
【テーマコード(参考)】
5C122
5H301
5L049
5L050
【Fターム(参考)】
5C122DA27
5C122EA63
5C122EA67
5C122FA02
5C122FA18
5C122GC14
5C122HB01
5H301AA01
5H301AA10
5H301BB14
5H301CC03
5H301CC10
5H301DD07
5H301DD17
5H301GG07
5H301GG09
5H301GG17
5H301KK02
5H301KK08
5H301KK09
5H301KK18
5H301KK19
5L049CC11
5L049CC17
5L050CC11
5L050CC17
(57)【要約】
【課題】本開示は、所定のユーザに対して、現地の中で移動装置を素通りさせただけ又は移動させていない場所を把握し易いようにすることを目的とする。
【解決手段】本開示は、実空間で移動する移動装置を遠隔操作する通信端末との通信を制御する通信制御サーバであって、前記通信端末からの遠隔操作によって移動した一以上の前記移動装置の移動履歴を管理する移動履歴管理部と、前記移動履歴に基づいて決定された推奨場所を、所定の通信端末を用いて前記移動装置を遠隔操作する所定のユーザに対して推奨する推奨部と、を有する通信制御サーバである。
【選択図】
図32
【特許請求の範囲】
【請求項1】
実空間で移動する移動装置を遠隔操作する通信端末との通信を制御する通信制御サーバであって、
前記通信端末からの遠隔操作によって移動した一以上の前記移動装置の移動履歴を管理する移動履歴管理部と、
前記移動履歴に基づいて決定された推奨場所を、所定の通信端末を用いて前記移動装置を遠隔操作する所定のユーザに対して推奨する推奨部と、
を有する通信制御サーバ。
【請求項2】
前記推奨部は、前記移動履歴に対し、所定条件を考慮して決定された前記推奨場所を、前記ユーザに対して推奨する、請求項1に記載の通信制御サーバ。
【請求項3】
前記所定条件は、前記所定の通信端末ではない一以上の他の通信端末からの遠隔操作によって一以上の前記移動装置が移動して滞在した際の滞在時間の合計が所定合計時間以上である場所である、請求項2に記載の通信制御サーバ。
【請求項4】
前記所定条件は、前記所定の通信端末ではない一以上の他の通信端末からの遠隔操作によって一以上の前記移動装置が移動して滞在した際の滞在時間が所定時間以上である場所であって、前記所定の通信端末を操作する所定のユーザが有する属性に関連する属性を有する他のユーザが操作する前記他の通信端末からの遠隔操作によって一以上の前記移動装置が移動した場所である、請求項2に記載の通信制御サーバ。
【請求項5】
前記所定条件は、前記所定の通信端末を操作する所定のユーザが有する属性に関連する属性を有する出展者の出展場所である、請求項2に記載の通信制御サーバ。
【請求項6】
請求項5に記載の通信制御サーバであって、
前記各出展者の通信端末が送信したメッセージを受信するメッセージ受信部を有し、
前記推奨部は、前記所定条件に対して、前記所定の通信端末を操作する所定のユーザが有する属性に関連する属性を有する出展者の通信端末からのメッセージを考慮する条件を含めて、前記推奨場所を決定する、
通信制御サーバ。
【請求項7】
請求項1に記載の通信制御サーバであって、
各ユーザが有する属性を管理するユーザ管理部と、
各出展者が有する属性を管理する出展者管理部と、
前記各出展者の通信端末が送信した各メッセージを受信するメッセージ受信部と、
前記各メッセージのうち、前記所定の通信端末を操作する所定のユーザが有する属性に関連する属性を有する所定の出展者の通信端末が送信した所定メッセージを、前記所定の通信端末に送信するメッセージ送信部と、
を有する通信制御サーバ。
【請求項8】
請求項1に記載の通信制御サーバであって、
各ユーザが有する属性を管理するユーザ管理部と、
各出展者が有する属性を管理する出展者管理部と、
各出展者が開催するイベントの開催時間帯を管理するイベント管理部と、
前記所定の通信端末を操作する所定のユーザが有する属性に関連する属性を有する出展者が所定のイベントを開催する旨のメッセージを、前記所定の通信端末に送信するメッセージ送信部と、
を有する通信制御サーバ。
【請求項9】
前記イベント管理部は、イベント毎にイベントの内容を示す内容情報を管理し、
前記メッセージ送信部は、前記内容情報を含んだ前記メッセージを送信する、
請求項8に記載の通信制御サーバ。
【請求項10】
請求項1に記載の通信制御サーバであって、
各ユーザが有する属性を管理するユーザ管理部と、
各出展者が有する属性及び前記各出展者の出展場所を管理する出展者管理部と、
前記各出展者の通信端末又は出店場所に設置された人感センサが送信した、混雑状況を示す各状況情報を受信する状況受信部と、
前記各状況情報のうち、前記所定の通信端末を操作する所定のユーザが有する属性に関連する属性を有する所定の出展者の通信端末又は出展場所に設置された人感センサが送信した所定の状況情報を、前記所定の通信端末に送信する状況送信部と、
を有する通信制御サーバ。
【請求項11】
請求項1乃至10のいずれか一項に記載の通信制御サーバであって、
各場所の位置と当該各場所内の移動装置との関係を管理する管理部と、
各移動装置が送信した、当該各移動装置の位置を示す位置情報を受信する位置受信部と、
を有し、
前記推奨部は、前記推奨場所への推奨に加え、又は、前記推奨場所への推奨に替えて、前記所定の通信端末との通信を、前記所定の移動装置である第1の移動装置から前記推奨場所から所定距離内の位置の第2の移動装置に切り替えるため推奨を行う、通信制御サーバ。
【請求項12】
前記第2の移動装置が複数の場合に、前記推奨場所に関する情報は、所定数である所定の第2の移動装置に切り替えるための推奨内容を含む、請求項11に記載の通信制御サーバ。
【請求項13】
実空間で移動する移動装置と、当該移動装置と当該移動装置を遠隔操作する通信端末との通信を制御する通信制御サーバと、を有する通信システムであって、
前記通信制御サーバは、
前記通信端末からの遠隔操作によって移動した一以上の前記移動装置の移動履歴を管理する移動履歴管理部と、
前記移動履歴に基づいて決定された推奨場所を、所定の通信端末を用いて前記移動装置を遠隔操作する所定のユーザに対して推奨する推奨部と、
を有する、
通信システム。
【請求項14】
実空間で移動する移動装置を遠隔操作する通信端末との通信を制御する通信制御サーバが実行する通信制御方法であって、
前記通信制御サーバは、前記通信端末からの遠隔操作によって移動した一以上の前記移動装置の移動履歴を管理する移動履歴管理部を有し、
前記移動履歴に基づいて決定された推奨場所を、所定の通信端末を用いて前記移動装置を遠隔操作する所定のユーザに対して推奨する推奨処理を実行する、通信制御方法。
【請求項15】
請求項14に記載の通信制御方法であって、
前記通信制御サーバは、
各場所の位置と当該各場所内の移動装置との関係を管理する管理部と、
各移動装置が送信した、当該各移動装置の位置を示す位置情報を受信する位置受信部と、
を有し、
前記推奨処理は、前記推奨場所への推奨に加え、又は、前記推奨場所への推奨に替えて、前記所定の通信端末との通信を、前記所定の移動装置である第1の移動装置から前記推奨場所から所定距離内の位置の第2の移動装置に切り替えるため推奨を行う処理を含む、通信制御方法。
【請求項16】
実空間で移動する移動装置を遠隔操作する通信端末との通信を制御するためのプログラムであって、
コンピュータは、前記通信端末からの遠隔操作によって移動した一以上の前記移動装置の移動履歴を管理する移動履歴管理部を有し、
前記コンピュータに、前記移動履歴に基づいて決定された推奨場所を、所定の通信端末を用いて前記移動装置を遠隔操作する所定のユーザに対して推奨する推奨処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示内容は、通信制御サーバ、通信システム、通信制御方法、及びプログラムに関する。
【背景技術】
【0002】
実空間の展示場などにおいて、出展者がテレプレゼンスロボット(以下「ロボット」と示す)と共に展示場を見学するツアーが登場している。展示場の遠隔見学を希望するユーザは、自分が見学したい展示内容に関して、PC(Personal Computer)等によりロボットに搭載されたカメラからの映像を見たり、ロボットに搭載されたマイクからの出展者の音声を聞いたりすることにより、遠隔地からでもリアルに近い臨場感で見学をすることができることが既に知られている。
【0003】
また、様々な展示場に対応するため、所定の通信端末を用いてユーザがロボットを遠隔操作することが提案されている(特許文献1参照)。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来は、遠隔操作をしながら、実空間の移動装置を移動する場所を特定することは必ずしも容易ではなかった。
【0005】
本開示は、上述の課題を鑑みてなされたもので、遠隔操作をしながら実空間の移動装置を移動させる場所を特定する支援を行うことを目的とする。
【課題を解決するための手段】
【0006】
請求項1に係る発明は、本開示は、実空間で移動する移動装置を遠隔操作する通信端末との通信を制御する通信制御サーバであって、前記通信端末からの遠隔操作によって移動した一以上の前記移動装置の移動履歴を管理する移動履歴管理部と、前記移動履歴に基づいて決定された推奨場所を、所定の通信端末を用いて前記移動装置を遠隔操作する所定のユーザに対して推奨する推奨部と、を有する通信制御サーバである。
【発明の効果】
【0007】
本開示によれば、遠隔操作をしながら実空間の移動装置を移動させる場所を特定する支援を行うことができるという効果を奏する。
【図面の簡単な説明】
【0008】
【
図2】実空間における展示場の状況を示した図である。
【
図3】通信制御サーバのハードウェア構成図である。
【
図4】出展者端末、ロボット端末、及びユーザ端末のハードウェア構成図である。
【
図7】広角撮影装置の使用イメージ図の一例である。
【
図8】(a)は広角撮影装置8で撮像された半球画像(前側)、(b)は広角撮影装置8で撮像された半球画像(後側)、(c)は正距円筒図法により表された画像(以下、「正距円筒射影画像」という)を示した図である。
【
図9】(a)は正距円筒射影画像で球を被う状態を示した概念図、(b)は全天球画像を示した図である。
【
図10】全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。
【
図11】(a)は
図10の立体斜視図、(b)は(a)の状態の所定領域画像がディスプレイに表示されている図、(c)は(a)における仮想カメラICの視点を変更後の所定領域を示した図、(d)は(c)の状態の所定領域画像がディスプレイに表示されている図である。
【
図12】所定領域情報と所定領域の画像の関係との関係を示した図の一例である。
【
図18】ロボット予約管理テーブルの概念図である。
【
図19】ロボット性能・状態管理テーブルの概念図である。
【
図20】ロボット移動管理テーブルの概念図である。
【
図22】各ゾーンと各出展者のブース及び充電ステーションとの位置関係を示す図である。
【
図25】ロボットの予約、ブースの状況等の管理、実空間上のロボットの位置の管理等を示すシーケンス図である。
【
図26】ユーザ端末で表示されるロボット予約画面を示す図である。
【
図27】ユーザ端末からロボットの遠隔操作を開始するための処理を示したシーケンス図である。
【
図28】ユーザ端末で表示される遠隔操作画面を示す図である。
【
図29】初期状態の各ロボットの位置を示す仮想空間画面の拡大図である。
【
図30】遠隔操作対象のロボットを切り替える処理を示すシーケンス図である。
【
図31】推奨対象抽出処理(その1)を示すフローチャートである
【
図32】ユーザ端末で表示される遠隔操作画面を示す図である。
【
図33】遠隔操作対象のロボットを切り替えた後の各ロボットの位置を示す仮想空間画面の拡大図である。
【
図34】推奨対象抽出処理(その2)を示すフローチャートである。
【
図35】推奨対象抽出処理(その3)を示すフローチャートである。
【発明を実施するための形態】
【0009】
〔通信システムの概略〕
図1を用いて通信システム1の概略を説明する。
図1は、テレプレゼンスロボット(以降「ロボット」と示す)Rを用いた通信システムの全体構成図である。
【0010】
通信システム1は、通信制御サーバ3、出展者端末5、人感センサ6、ユーザ端末9、及びロボットRによって構築されている。
図1では、図面の制約上、出展者端末5、人感センサ6、ユーザ端末9、及びロボットRは、それぞれ1つずつ示されているが、実際の運用ではそれぞれ複数存在する。
【0011】
ロボットRは、主に、ロボット端末7、広角撮影装置8、及びロボットRを移動させる車両装置10によって構成されている。本実施形態のロボットRは基本的に自律走行するが、自律走行しなくてもよい。なお、ロボットRは移動装置の一例であり、移動装置には、ドローンのように空中を移動する装置、潜水艦型ラジコンのように水中を移動する装置も含まれる。また、車両装置10は、推進装置の一例である。
【0012】
また、ロボットR地下、狭路、地中を移動してもよい。また、陸上を移動する場合、車輪で移動するだけでなく、2足、3足、4足などの多脚移動を行ってもよいし、キャタピラ(登録商標)で移動してもよい。
【0013】
更に、ロボットRは、固定されていないロボットである。ロボットRが固定されていないとは、ロボットRが車輪等による移動のための駆動部を有する移動型である場合と、人が装着でき、マニピュレータ等の動作のための駆動部を有する装着型である場合とを含む。
移動型のロボットは、一輪、二輪又は多輪により走行するもの、キャタピラにより走行するもの、レールの上を走行するもの、飛び跳ねて移動するもの、二足歩行、四足歩行又は多足歩行するもの、スクリューにより水上又は水中を航行するもの及びプロペラ等により飛行するものを含む。装着型のロボットは、例えば参考文献1に開示されている。
<参考文献1>MHD Yamen Saraiji, Tomoya Sasaki, Reo Matsumura, Kouta Minamizawa and Masahiko Inami,"Fusion: full body surrogacy for collaborative communication," Proceeding SIGGRAPH '18 ACM SIGGRAPH 2018 Emerging Technologies Article No. 7.
更に、ロボットRは、スポーツスタジアム等に設置され、レールの上を移動可能なカメラを備えたロボットを含む。また、ロボットRは、宇宙空間に打ち上げられる衛星型ロボットであって、姿勢制御やカメラの撮影方向の制御が可能なロボットを含む。また、ロボットRは、いわゆるテレプレゼンスロボットやアバターロボットであってよい。
【0014】
なお、ロボットRには、温度センサ、湿度センサ、酸素センサ、又は二酸化炭素センサ等の環境センサが設けされ、ロボットRの周囲を照らす照明装置等も設けられている。
【0015】
通信制御サーバ3、出展者端末5、人感センサ6、ユーザ端末9、ロボットRのロボット端末7は、LAN(Local Area Network)やインターネット等の通信ネットワーク100を介して通信することができる。通信形態は、有線又は無線を問わない。
図1では、出展者端末5、人感センサ6、ユーザ端末9、及びロボット端末7は、無線通信することが示されている。また、人感センサ6は、出展者端末5とのペアリングにより、出展者端末5を介して、通信ネットワークに接続してもよい。なお、出展者端末5及びユーザ端末9は通信端末の一例である。
【0016】
なお、通信制御サーバ3は、複数のサーバによって構築されていてもよい。この場合、各DB41~49は、各サーバに分散して構築されてもよい。
〔実空間の状況〕
続いて、
図2を用いて実空間の状況を説明する。
図2は、実空間における展示場の状況を示した図である。なお、
図2では、展示場のエリアαについて説明するが、これに限るものではない。
図2では、6つのブースのそれぞれで、各出展者Eによる出展が行われている。
【0017】
展示場のエリアαでは、ロボットRの一例として、各ロボットR11,R12,R13,R14が位置している。ロボットRは、ロボット端末7、広角撮影装置8、及び車両装置10によって構成されている。場合によっては、広角撮影装置8ではなく、通常のデジタルカメラ等の撮影装置が設置されているロボットRも存在する。ロボットRの広角撮影装置8で得た映像(「画像」ともいう)及び音のデータはロボット端末7によって、ロボットRを遠隔操作中のユーザYのユーザ端末9に送信される。ユーザYは、映像及び音を考慮してロボットRを遠隔操作することで、車両装置10が駆動してロボットRを移動(回動を含む)させる。これにより、ユーザYは、わざわざ展示場に行かなくても、自宅や会社等で展示場に行ったような疑似体験をすることができる。
【0018】
また、例えば、1人のユーザが1台のロボットR11を遠隔操作している最中に、予め予約してあるロボットR12に切り替えて遠隔操作することも可能である。
【0019】
各出展者Eは出展者端末5を使用することができる。また、各ブースには人感センサ6が設置されており、通信制御サーバ3が、各人感センサ6からブース内及び周辺の人数を示す人数情報を取得して、各ブースやエリア全体の混雑を管理している。
【0020】
また、各出展者Eは出展者端末5を所持しており、通信制御サーバ3を介して遠隔の各ユーザYに、自分のブースの混雑状況やイベント等のメッセージを送る。
【0021】
〔ハードウェア構成〕
続いて、
図3乃至
図13を用いて、通信システム1を構築しているサーバ及び端末等のハードウェア構成を説明する。
【0022】
<通信システムのハードウェア構成>
図3は、通信制御サーバのハードウェア構成図である。
【0023】
図3に示すように、通信制御サーバ3は、一般的なコンピュータの構成を有しており、例えば、CPU(Central Processing Unit)301、ROM(Read Only Memory)302、RAM(Random Access Memory)303,SSD(Solid State Drive)304、ディスプレイ305、ネットワークI/F306、操作部307、メディアI/F309、及びバスライン310を有する。なお、SSDではなくHDD(Hard Disk Drive)であってもよい。
【0024】
CPU301は、例えば、ROM302、SSD304等に格納されたプログラムやデータを読み出し、処理を実行することにより、通信制御サーバ3が備える各機能を実現する演算装置である。ROM302は、IPL等のCPU301の起動に用いられるプログラム等を予め記憶した不揮発性のメモリである。RAM303は、CPU301のワークエリア等として利用される揮発性のメモリである。
【0025】
SSD304は、例えば、OSや、アプリケーションソフトのプログラムや、各種のデータを記憶するストレージ装置である。ディスプレイ305は、例えば、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種の情報を表示する表示手段である。
【0026】
ネットワークI/F306は、通信ネットワーク100を利用してデータ通信を行うための通信インタフェースである。操作部307は、キーボードやポインティングデバイス等であり、文字、数値、各種指示などの入力操作を受け付けるための入力手段の一例である。
【0027】
メディアI/F309は、例えば、メモリカード等の記録メディア309mに対するデータの読み出しや書き込み(記憶)を制御する。バスライン310は、
図3に示されているCPU301等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0028】
<出展者端末、ロボット端末、ユーザ端末のハードウェア>
図4は、出展者端末、ロボット端末及びユーザ端末のハードウェア構成図である。なお、出展者端末5、ロボット端末7及びユーザ端末9のハードウェア構成は同様であるため、以降、出展者端末5について説明する。
【0029】
図4に示すように、出展者端末5は、CPU501、ROM502、RAM503、EEPROM504、CMOSセンサ505、撮像素子I/F506、加速度・方位センサ507、メディアI/F509、GPS受信部511を備えている。
【0030】
これらのうち、CPU501は、出展者端末5全体の動作を制御する。ROM502は、CPU501やIPL等のCPU501の駆動に用いられるプログラムを記憶する。RAM503は、CPU501のワークエリアとして使用される。EEPROM504は、CPU501の制御にしたがって、出展者端末用プログラム等の各種データの読み出し又は書き込みを行う。CMOS(Complementary Metal Oxide Semiconductor)センサ505は、CPU501の制御に従って被写体(主に自画像)を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、CMOSセンサではなく、CCD(Charge Coupled Device)センサ等の撮像手段であってもよい。撮像素子I/F506は、CMOSセンサ505の駆動を制御する回路である。加速度・方位センサ507は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアI/F509は、フラッシュメモリ等の記録メディア508に対するデータの読み出し又は書き込み(記憶)を制御する。GPS受信部511は、GPS衛星からGPS信号を受信する。また、GPS受信部511は、IMES(Indoor MEssaging System)等の屋内の位置を示す信号を受信することも可能である。
【0031】
また、出展者端末5は、遠距離通信回路512、CMOSセンサ513、撮像素子I/F514、マイク515、スピーカ516、音入出力I/F517、ディスプレイ518、外部機器接続I/F519、近距離通信回路520、近距離通信回路520のアンテナ520a、及び操作部521を備えている。
【0032】
これらのうち、遠距離通信回路512は、通信ネットワーク100を介して、他の機器と通信する回路である。CMOSセンサ513は、CPU501の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子I/F514は、CMOSセンサ513の駆動を制御する回路である。マイク515は、音を電気信号に変える内蔵型の回路である。スピーカ516は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力I/F517は、CPU501の制御に従ってマイク515及びスピーカ516との間で音信号の入出力を処理する回路である。ディスプレイ518は、被写体の画像や各種アイコン等を表示する液晶や有機EL(Electro Luminescence)などの表示手段の一種である。外部機器接続I/F519は、各種の外部機器を接続するためのインタフェースである。近距離通信回路520は、Wi-Fi、NFC(Near Field Communication)、Bluetooth(登録商標)等の通信回路である。操作部521は、タッチパネル等であり、文字、数値、各種指示などの入力操作を受け付けるための入力手段の一例である。
【0033】
また、出展者端末5は、バスライン510を備えている。バスライン510は、
図4に示されているCPU401等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0034】
なお、ロボット端末7のEEPROM504には、自端末(ロボット端末7)及び広角撮影装置8の故障を検知するためのプログラムが記憶されている。広角撮影装置8ではなく通常の撮影装置がロボットRに取り付けられている場合には、この通常の撮影装置の故障を検知することができる。
【0035】
<人感センサのハードウェア構成>
図5は、人感センサのハードウェア構成図である。
【0036】
図5に示すように、人感センサ6は、検知部601、操作部603、近距離通信回路605、近距離通信回路605のアンテナ605a、及びバスライン610を備えている。
【0037】
検知部601は、人の発する赤外線等を感知して人を検知する回路である。
【0038】
操作部603は、スイッチ、ボタン等であり、各種設定やID等のデータを入力することができる入力手段の一例である。なお、ID等のデータは、操作部603内のキャッシュメモリ等に記憶される。
【0039】
近距離通信回路605は、Wi-Fi、NFC(Near Field Communication)、Bluetooth(登録商標)等の通信回路である。
【0040】
バスライン610は、
図5に示されている検知部601等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0041】
<広角撮影装置のハードウェア構成>
図6を用いて、広角撮影装置8のハードウェア構成を説明する。
図6は、広角撮影装置8の一例のハードウェア構成図である。以下では、広角撮影装置8は、2つの撮像素子を使用した全天球(全方位)の撮影装置であるが、撮像素子は2つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に広角撮影装置8と同じ機能を有するようにしてもよい。
【0042】
図6に示されているように、広角撮影装置8は、撮像ユニット801、画像処理ユニット804、撮像処理ユニット805、マイク808、音処理ユニット809、CPU811、ROM812、SRAM813、DRAM814、操作部815、ネットワークI/F816、近距離通信回路817、アンテナ817a、電子コンパス818、ジャイロセンサ819、及び、加速度センサ820なども接続される。
【0043】
このうち、撮像ユニット801は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)802a、802bと、各広角レンズに対応させて設けられている2つの撮像素子803a、803bを備えている。撮像素子803a、803bは、魚眼レンズ802a、802bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD( Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
【0044】
撮像ユニット801の撮像素子803a、803bは、各々、画像処理ユニット804とパラレルI/Fバスで接続されている。一方、撮像ユニット801の撮像素子803a、803bは、撮像処理ユニット805とは別に、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット804、撮像処理ユニット805及び音処理ユニット809は、バス810を介してCPU811と接続される。更に、バス810には、ROM812、SRAM813、DRAM814、操作部815、ネットワークI/F816、近距離通信回路817、及び電子コンパス818なども接続される。
【0045】
画像処理ユニット804は、撮像素子803a、803bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、
図8(c)に示されているような正距円筒射影画像のデータを作成する。
【0046】
撮像処理ユニット805は、一般に撮像処理ユニット805をマスタデバイス、撮像素子803a、803bをスレーブデバイスとして、I2Cバスを利用して、撮像素子803a、803bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU811から受け取る。また、撮像処理ユニット805は、同じくI2Cバスを利用して、撮像素子803a、803bのレジスタ群のステータスデータ等を取り込み、CPU811に送る。
【0047】
また、撮像処理ユニット805は、操作部815のシャッターボタンが押下されたタイミングで、撮像素子803a、803bに画像データの出力を指示する。広角撮影装置8によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子803a、803bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
【0048】
撮像処理ユニット805は、後述するように、CPU811と協働して撮像素子803a、803bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、広角撮影装置8にはディスプレイが設けられていないが、表示部を設けてもよい。
【0049】
マイク808は、収録した音声を音声データに変換する。音処理ユニット809は、マイク808から出力される音声データをI/Fバスを通して取り込み、音声データに対して所定の処理を施す。
【0050】
CPU811は、広角撮影装置8の全体の動作を制御すると共に必要な処理を実行する 。ROM812は、CPU811のための種々のプログラムを記憶している。SRAM813及びDRAM814はワークメモリであり、CPU811で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM814は、画像処理ユニット804での処理途中の画像データ及び処理済みの正距円筒射影画像のデータを記憶する。
【0051】
操作部815は、シャッターボタンなどの操作ボタンの総称である。操作者は操作部815を操作することで、種々の撮像モードや撮像条件などを入力する。
【0052】
ネットワークI/F816は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインタフェース回路(USBI/F等)の総称である。また、ネットワークI/F816としては、無線、有線を問わない。DRAM814に記憶された正距円筒射影画像のデータは、このネットワークI/F816を介して外付けのメディアに記録されたり、必要に応じてネットワークI/F816を介して外部(装置等)に送信されたりする。
【0053】
近距離通信回路817は、広角撮影装置8に設けられたアンテナ817aを介して、Wi-Fi、NFC、Bluetooth(登録商標)等の近距離無線通信技術によって、外部(ロボット端末7等)との通信を行う。この近距離通信回路817によっても、正距円筒射影画像のデータを外部に送信することができる。
【0054】
電子コンパス818は、地球の磁気から広角撮影装置8の方位を算出し、方位情報を出力する。この方位情報はExif(Exchangeable image file format)に沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。
【0055】
ジャイロセンサ819は、広角撮影装置8の移動に伴う角度の変化(ロール角、ピッチング角、ヨー角)を検出する。角度の変化はExifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。
【0056】
加速度センサ820は3軸方向の加速度を検出する。検出した加速度に基づいて広角撮影装置8の姿勢(重力方向に対する角度)を検出する。ジャイロセンサ819と加速度センサ820は両方を有することで画像補正の精度が向上する。
【0057】
(全天球映像について)
次に、
図7を用いて、広角撮影装置8の使用状況を説明する。なお、
図7は、広角撮影装置8の使用イメージ図である。広角撮影装置8は、
図7に示されているように、例えば、人が持って周りの被写体や風景を撮像するために用いられる。この場合、
図6に示されている撮像素子803a及び撮像素子803bによって、それぞれ、人の周りの被写体が撮像されることで、2つの半球画像を得ることができる。
【0058】
次に、
図8及び
図9を用いて、広角撮影装置8で撮像された画像から正距円筒射影画像EC及び全天球画像CEが作成されるまでの処理の概略を説明する。なお、
図8(a)は広角撮影装置8で撮像された半球画像(前側)、
図8(b)は広角撮影装置8で撮像された半球画像(後側)、
図8(c)は正距円筒図法により表された画像(以下、「正距円筒射影画像」という)を示した図である。
図9(a)は正距円筒射影画像で球を被う状態を示した概念図、
図9(b)は全天球画像を示した図である。
【0059】
図8(a)に示されているように、撮像素子803aによって得られた画像は、後述の魚眼レンズ802aによって湾曲した半球画像(前側)となる。また、
図8(b)に示されているように、撮像素子803bによって得られた画像は、魚眼レンズ802bによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、広角撮影装置8によって合成され、
図8(c)に示されているように、正距円筒射影画像ECが作成される。
【0060】
そして、OpenGL ES(Open Graphics Library for Embedded Systems)が利用されることで、
図9(a)に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、
図9(b)に示されているような全天球画像CEが作成される。このように、全天球画像CEは、正距円筒射影画像ECが球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions) 及び3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像CEは、静止画であっても動画であってもよい。
【0061】
以上のように、全天球画像CEは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像CEの一部の所定領域(以下、上記の「所定領域映像」に相当)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、
図10及び
図11を用いて説明する。所定領域映像は動画でも静止画でもよい。
【0062】
図10は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球画像CEに対して、その画像を見る操作者の視点の位置に相当するものである。また、
図11(a)は
図10の立体斜視図、
図11(b)はディスプレイに表示された場合の所定領域映像を表す図である。また、
図11(a)では、
図10に示されている全天球画像が、三次元の立体球CSで表されている。このように生成された全天球画像CEが、立体球CSであるとすると、
図11に示されているように、仮想カメラICが全天球画像CEの内部に位置している。全天球画像CEにおける所定領域Tは、仮想カメラICの撮像領域であり、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮像方向と画角を示す所定領域情報によって特定される。また、所定領域Tのズームは、仮想カメラICを全天球画像CEに近づいたり、遠ざけたりすることで表現することもできる。所定領域映像Qは、全天球画像CEにおける所定領域Tの画像である。したがって、所定領域Tは画角αと、仮想カメラICから全天球画像CEまでの距離fにより特定できる(
図12参照)。
【0063】
図11(a)に示されている所定領域映像Qは、
図11(b)に示されているように、所定のディスプレイに、仮想カメラICの撮像領域の画像として表示される。
図11(b)に示されている画像は、初期設定(デフォルト)された所定領域情報によって 表された所定領域映像である。以下では、仮想カメラICの撮像方向(ea、aa)と画角(α)を用いて説明する。なお、所定領域Tは、画角αと距離fではなく、所定領域Tである仮想カメラICの撮像領域(X、Y、Z)によって示してもよい。
【0064】
また、
図11(a)の状態から、
図11(c)に示されているように、仮想カメラICの仮想的な視点が右側(図面に向かって左側)に移動(「変更」ともいう)されると、これに応じて全天球画像CEにおける所定領域Tが所定領域T'に移動されるため、所定のディスプレイに表示される所定領域画像Qが所定領域画像Q'に変更される。これにより、送信先のユーザ端末9では、
図28に示す後述の表示領域150上において、
図11(b)に示されている画像が、
図11(d)に示されている画像に変更表示される。
【0065】
次に、
図12を用いて、所定領域情報と所定領域Tの画像の関係について説明する。なお、
図12は、所定領域情報と所定領域Tの画像の関係との関係を示した図である。
図12に示されているように、「ea」はelevation angle(仰角)、「aa」はazimuth angle(方位角)、「α」は画角(Angle)を示す。即ち、撮像方向(ea、aa)で示される仮想カメラICの注視点が、仮想カメラICの撮像領域である所定領域Tの中心点CPとなるように、仮想カメラICの姿勢を変更することになる。
図12に示されているように、仮想カメラICの画角αによって表される所定領域Tの対角画角をαとした場合の中心点CPが、所定領域情報の(x、y)パラメータとなる。fは仮想カメラICから中心点CPまでの距離である。Lは所定領域Tの任意の頂点と中心点CPとの距離である(2Lは対角線)。そして、
図12では、一般的に以下の(式1)で示される三角関数が成り立つ。
(L/f)=tan(α/2)・・・(式1)
<車両装置のハードウェア構成>
図13は、車両装置のハードウェア構成図である。車両装置10は、例えば、CPU1001、ROM1002、RAM1003、状態センサ1008、外部機器接続I/F1019、近距離通信回路1020、近距離通信回路1020のアンテナ1020a、車輪駆動部1021、及び操舵部1022等を有する。
【0066】
CPU1001は、ROM1002等に格納されたプログラムを実行することにより、車両装置10の各機能を実現する演算装置である。ROM1002は、車両装置10のプログ ラム等を記憶する不揮発性のメモリである。ROM1002は、例えば、フラッシュROM等の書き換え可能な不揮発性メモリであっても良い。RAM1003は、CPU1001のワークエリア等として用いられる揮発性のメモリである。
【0067】
状態センサ1008は、ロボットRの移動(走行)、傾き、故障等の状態を検知するセンサである。
【0068】
外部機器接続I/F1019は、ロボット端末7等と有線接続し、通信を行うための有線通信インタフェースである。
【0069】
近距離通信回路1020は、例えば、ロボット端末7等と同じ無線通信方式により無線通信を行うための無線通信インタフェースである。
【0070】
車輪駆動部1021は、車両装置10を移動させるための車輪を駆動させる駆動装置の一例である。車輪駆動部1021には、例えば、モータ等が含まれる。
【0071】
操舵部1022は、車輪駆動部1021によって移動する車両装置10の操舵を行う操舵装置の一例である。操舵部1022は、例えば、車輪の向きや傾きを変えるものであっても良いし、左右の車輪の回転数や速度等を制御することにより、車両装置10(ロボットR)の向きを変えるもの等であっても良い。
【0072】
〔通信システムの各機能構成〕
続いて、
図14を用いて、通信システム1の各機能構成を説明する。
図14は、通信システム1の各機能構成図である。
【0073】
<通信制御サーバ>
図14に示されているように、通信制御サーバ3は、送受信部31、通信制御部32、認証部33、算出部35、設定部36、画像作成部37、状態判断部38、及び抽出部39を有している。これら各部は、
図3に示されている各構成要素のいずれかが、SSD304からRAM303上に展開されたプログラムに従ったCPU301からの命令によって動作することで実現される機能又は手段である。また、通信制御サーバ3は、
図3に示されているROM302、RAM303、又はSSD304によって構築される記憶部40を有している。なお、記憶部40には、実空間上の位置と仮想空間上の位置との対応関係を示す位置対応情報(マッチング情報)が記憶されている。
【0074】
(ユーザ管理テーブル)
図15は、ユーザ管理テーブルの概念図である。記憶部40にはユーザDB41が構築されており、ユーザDB41は
図15に示すユーザ管理テーブルによって構成されている。ユーザ管理テーブルには、ユーザの名称、ユーザID、パスワード、及びユーザの属性等の各情報が関連付けて管理されている。
【0075】
これらのうち、「ユーザID」は、ユーザを識別するためのユーザ識別情報の一例である。「パスワード」は、各ユーザのパスワードである。
【0076】
「ユーザの属性等」は、ユーザの企業の業種、職業、役職等を示す情報である。
【0077】
(出展者管理テーブル)
図16は、出展者管理テーブルの概念図である。記憶部40には出展者DB42が構築されており、出展者DB42は
図16に示す出展者管理テーブルによって構成されている。出展者管理テーブルには、出展者の名称、出展者ID、パスワード、出展者の属性、出展エリア、エリア混雑レベル、ゾーンID、ブース名、ブース混雑レベル、出展者によるメッセージの各情報が関連付けて管理されている。
【0078】
これらのうち、「出展者ID」は、出展者を識別するための出展者識別情報の一例である。「パスワード」は、各出展者のパスワードである。
【0079】
「属性」は、出展者(企業、人等)の業種、又は取り扱う商品(若しくはサービス)等を示す情報である。
【0080】
「出展エリア」は、実空間の展示場内の予め定められた出展のエリアを示す。「エリア混雑レベル」は、各出展エリアの混雑レベルを示し、ここでは5段階で管理され、「レベル1」から「レベル5」になるにつれて混雑していることを示す。例えば、レベル1は0人~100人、レベル2は101人~200人、レベル3は201人~300人、レベル4は301人~400人、レベル5は401人以上を示す。
【0081】
「ゾーンID」は、出展者が出展した場所であるゾーンを識別するためのゾーン識別情報の位置例である。
「ブース名」は、各出展者Eが現地の出展エリア内を区分けしているブースの名称を示す。「ブース混雑レベル」は、各ブースの混雑レベルを示し、ここでは5段階で管理され、「レベル1」から「レベル5」になるにつれて混雑していることを示す。例えば、レベル1は0人~10人、レベル2は11人~20人、レベル3は21人~30人、レベル4は31人~40人、レベル5は41人以上を示す。ブース混雑レベルは、各ブースに設置されている各人感センサ6からの人数情報に基づいて設定され、各人感センサ6から人数情報が送られて来る度に上書き保存される。なお、「エリア混雑レベル」は同じエリア内の「ブース混雑レベル」の平均値である。
【0082】
「出展者によるメッセージ」は、各出展者端末5から送られて来たメッセージである。
【0083】
(ロボット認証テーブル)
図17は、ロボット認証テーブルの概念図である。記憶部40にはロボット認証DB43が構築されており、ロボット認証DB43は
図17に示すロボット認証テーブルによって構成されている。ロボット認証テーブルには、ロボットの名称、ロボットID、パスワード、ロボットのアイコン画像、及び遠隔操作中のユーザのユーザIDが関連付けて管理されている。
【0084】
これらのうち、「ロボットID」は、ロボットを識別するためのロボット(移動装置)識別情報の一例である。「パスワード」は、各ロボットのパスワードである。
【0085】
「アイコン画像」は、各ユーザ端末に表示される画像であり、ロボットを模式化した画像である。
【0086】
「遠隔操作中のユーザのユーザID」は、所定のロボットRを遠隔操作している最新(現在)のユーザのユーザIDを示す。これにより、ロボットRと遠隔操作中のユーザとの関係を特定することができる。
【0087】
(ロボット予約管理テーブル)
図18は、ロボット予約管理テーブルの概念図である。記憶部40にはロボット予約DB44が構築されており、ロボット予約DB44は展示日(例えば、2023年1月15日)毎にロボット予約管理テーブルによって構成されている。ロボット予約管理テーブルには、展示エリア、ロボットの名称、ロボットID、初期位置のブース、初期位置の出展者、出展者の属性、予約時間帯、及び参考情報の各情報が関連付けて管理されている。
【0088】
これらのうち、「展示エリア」、「ロボットの名称」、「ロボットID」、及び「出展者の属性」は上述の同じ名称の内容と同じである。
【0089】
「初期位置のブース」は、各ロボットが各展示日の最初(例えば、9:00)に設置された位置の最寄りのブースを示す。
【0090】
「初期位置の出展者」は、各ロボットが各展示日の最初(例えば、9:00)に設置された位置の最寄りのブースで出展している出展者を示す。
【0091】
「予約時間帯」は、時間帯(ここでは、1時間)毎にロボットを予約したユーザのユーザIDが示されている。同じユーザが同じ時間帯で複数のロボットRを予約することが可能である。
【0092】
「参考情報」は、予約するユーザYがロボットRを選択する際に参考にできる情報を示す。例えば、ユーザYが、全天球撮影をする広角撮影装置8が設けられたロボットRを予約したい場合等に参考にされる。
【0093】
(ロボット性能・状態管理テーブル)
図19は、ロボット性能・状態管理テーブルの概念図である。記憶部40にはロボット性能・状態DB45が構築されており、ロボット性能・状態DB45は
図19に示すロボット性能・状態管理テーブルによって構成されている。ロボット性能・状態管理テーブルには、ロボットの名称、ロボットID、撮影装置の種類、最大移動速度、電池残量、通信状態、総操作時間、及び故障状態の各情報が関連付けて管理されている。
【0094】
これらのうち、「ロボットの名称」、及び「ロボットID」は上述の同じ名称の内容と同じである。なお、「撮影装置の種類」及び「最大移動速度」は、ロボットRの性能を示す情報の一例であり、予め登録された静的な情報である。また、「電池残量」、「通信状態」、「総操作時間」、及び「故障状態」は、ロボットRの状態を示す情報の一例であり、ロボットRから送られて来る状態情報(処理S51参照)によって上書き保存される動的な情報である。
【0095】
「撮影装置の種類」は、ロボットRに設置されている撮影装置が、全天球撮影が可能な広角撮影装置又は通常撮影が可能な通常撮影装置であるかを示す。
【0096】
「最大移動速度」は、各ロボットRの最大移動速度を示し、ここでは5段階で管理され、「レベル1」から「レベル5」になるにつれて高速であることを示す。例えば、レベル1は1km/h、レベル2は2km/h、レベル3は3km/h、レベル4は4km/h、レベル5は5km/h以上を示す。
【0097】
「電池残量」は、各ロボットRに設けられた電池の残量を示し、ここでは「%」で示されている。
【0098】
「通信状態」は、各ロボットRの通信状態(通信速度)を示し、ここでは5段階で管理され、「レベル1」から「レベル5」になるにつれて高速であることを示す。例えば、レベル1は0Mbps、レベル2は0Mbps超で10Mbps未満、レベル3は10Mbps以上で100Mbps未満、レベル4は100Mbps以上で1Gbps、レベル5は1Gbps以上を示す。
【0099】
「総操作時間」は、各ロボットRの前回のメンテナンスからの総操作時間を示し、ここでは「分」で示されている。
【0100】
「故障状態」は、各ロボットRの故障状態を示し、ここでは3段階で管理され、「レベル0」から「レベル2」になるにつれて重大な故障であることを示す。例えば、レベル0は故障していない状態、レベル1はロボットRの遠隔操作に与える影響が比較的少ない故障(例えば、集音ができない)、レベル2はロボットRの遠隔操作に与える影響が比較的大きい故障(例えば、撮影できない)を示す。
【0101】
(ロボット移動管理テーブル)
図20は、ロボット移動管理テーブルの概念図である。記憶部40にはロボット移動DB46が構築されており、ロボット移動DB46は
図20に示すロボット移動管理テーブルによって構成されている。ロボット移動管理テーブルには、ロボットID毎に、ロボットRが移動した日付及び時刻、遠隔操作しているユーザのユーザID、ロボットの実空間上の位置、及びロボットの仮想空間上の位置の各情報が関連付けて管理されている。
【0102】
「日付及び時刻」は、各ロボットRからロボットRの実空間上の現在の位置を示す位置情報が送られて来た日付及び時刻を示す。
図20では、1秒毎に管理されている。
【0103】
「遠隔操作しているユーザのユーザID」は、ロボットIDで示されるロボットに対して遠隔操作しているユーザのユーザIDである。即ち、同じロボットRあっても、異なるユーザが入れ替わって遠隔操作することが管理されている。これにより、ロボットRと遠隔操作中のユーザとの関係を特定することができる。
【0104】
「実空間上の位置」は、各ロボットRから所定時間(例えば、1秒)毎に送られて来た実空間上の位置情報を示す。
【0105】
「仮想空間上の位置」は、設定部36が上記マッチング情報を用いて各ロボットRの実空間上の位置情報から求めた仮想空間上の最新の位置情報を示す。
【0106】
(ゾーン位置管理テーブル)
図21は、ゾーン位置管理テーブルの概念図である。記憶部40にはゾーン位置DB47が構築されており、ゾーン位置DB47は
図21に示すゾーン位置管理テーブルによって構成されている。ゾーン位置管理テーブルには、ゾーンの名称(ゾーン名)、ゾーンID、実空間上の四隅の位置、仮想空間上の四隅の位置、及びゾーン内のロボットのロボットIDの各情報が関連付けて管理されている。ゾーン位置管理テーブルにおいて、ゾーン名、ゾーンID、実空間上の四隅の位置、及び仮想空間上の四隅の位置の各情報は、予め定められた静的な情報である。ゾーン内のロボットのロボットIDは、現地のゾーン内にロボットRが所定時間(例えば、5分)以上滞在した場合に更新される動的な情報である。
【0107】
「名称」、展示場等の現地で区分けされたゾーン(場所の一例)の名称である。
【0108】
「ゾーンID」は、ゾーンを識別するための場所識別情報の一例である。
【0109】
「実空間上の四隅の位置」は、現地でのゾーンの四隅の位置を示す。
【0110】
「仮想空間上の四隅の位置」は、実空間上の四隅の位置に対応する仮想空間上の位置を示す。
【0111】
「ゾーン内のロボットのロボットID」は、同じレコードのゾーンIDで示される所定のゾーンに現在入っているロボットを識別するためのロボットIDである。これにより、現在、どのゾーンに、どのロボットRが入っているかを管理することができる。
【0112】
ここで、
図22を用いて、各ゾーンと各出展者のブース及び充電ステーションとの位置関係を説明する。
図22は、各ゾーンと各出展者のブース及び充電ステーションとの位置関係を示す図である。
【0113】
図22では、一例として、現地が2つのエリアα,βに分かれており、各エリアα,βはそれぞれ10カ所ずつのゾーンに分かれている。エリアαは、ゾーンα11,α21,α31,α41,α51,α12,α22,α32,α42,α52によって区分けされている。また、エリアβは、ゾーンβ11,β21,β31,β41,β51,β12,β22,β32,β42,β52によって区分けされている。ゾーンα21,α31,α41,α22,α32,42には、各出展者のブースA,B,C,D,E,Fが設置されている。ゾーンβ21,β31,β22,β32には、各出展者のブースG,H,J,Kが設置されている。また、ゾーンβ51には、充電ステーションstが設置されている。これにより、例えば、
図21に示すゾーン情報管理テーブルで、ゾーンα21のレコードでロボットID「R011」が管理されている場合には、ロボットR11がゾーンα21内に入っていると共に、ブースAの付近に位置していることが分かる。
【0114】
(滞在時間管理テーブル)
図23は、滞在時間管理テーブルの概念図である。記憶部40には滞在時間DB48が構築されており、滞在時間DB48は
図23に示す滞在時間管理テーブルによって構成されている。滞在時間管理テーブルには、ユーザID毎に、遠隔操作されたロボットのロボットID、ロボットが滞在したゾーンのゾーンID、ゾーン内の出展者の属性、ゾーン進入日時、ゾーン退出日時、及びゾーン滞在時間の各情報が関連付けて管理されている。
【0115】
「遠隔操作されたロボットのロボットID」は、ユーザIDで示されるユーザによって遠隔操作された所定のロボットRのロボットIDである。
【0116】
「ロボットが滞在したゾーンのゾーンID」は、ユーザによる遠隔操作により、所定のロボットRが移動して滞在した所定のゾーンのゾーンIDである。
【0117】
「ゾーン内の出展者の属性」は、所定のゾーンに出展した出展者の属性を示す。
【0118】
「ゾーン進入日時」は、所定のロボットRが所定のゾーンに侵入した日時を示す。
【0119】
「ゾーン退出日時」は、所定のロボットRが所定のゾーンから退出した日時を示す。
【0120】
「ゾーン滞在時間」は、所定のロボットRが所定のゾーンに滞在した時間を示す。「ゾーン滞在時間」=「ゾーン進入日時」-「ゾーン退出日時」によって、算出部35により算出される。
【0121】
(イベント管理テーブル)
図24は、イベント管理テーブルの概念図である。記憶部40にはイベントDB49が構築されており、イベントDB49は
図24に示すイベント管理テーブルによって構成されている。イベント管理テーブルには、出展者名(出展者の名称)、出展者ID、出展者の属性、及びイベントの開催時間帯の各情報が関連付けて管理されている。
【0122】
「出展者の名称」、「出展者ID」、及び「出展者の属性」は、
図16に示す出展者管理テーブルで説明したため、これらの説明を省略する。
【0123】
「イベントの開催時間帯」は、時間帯(ここでは、1時間)毎に各出展者が開催する予定のイベントの内容及び開催の時間帯を示す。このイベントの内容と開催の時間帯は、出展者等によって事前に登録されている。
【0124】
(各機能構成)
送受信部31は、他の端末(装置)とデータ通信を行う。また、送受信部31は、推奨部としての役割を果たし、状態情報で示されるロボットRの状態が所定状態(例えば、電池残量が第1の残量未満の状態)の場合には、ユーザ端末9に対して、ユーザ端末9との通信を第1のロボットから第2のロボットに切り替えるための推奨等を行う。
【0125】
通信制御部32は、ユーザ端末9とロボットRとの通信(通信セッション)を確立する制御を行う。また、通信制御部32は、切替部としての役割を果たし、ユーザ端末9との通信を第1のロボットから第2のロボットに切り替える制御等を行う。
【0126】
認証部33は、他の端末(装置)のログイン認証等を行う。
【0127】
算出部35は、出展者DB42(
図16参照)において、送受信部31が受信した出展者IDを含むレコードの「出展者によるメッセージ」フィールドに、出展者端末5からのメッセージを記憶すると共に、「ブース混雑レベル」フィールドに人感センサ6からの人数情報(レベル)を上書き保存する。また、この際、算出部35は、出展エリア毎に、各ブースにおける混雑レベルの平均値を算出して、「エリア混雑レベル」フィールドの数値を上書き保存する。なお、メッセージに関しては、出展者端末5から通信制御サーバ3に対して、追加保存、上書き保存、又は、一部若しくは全部の削除(又は変更)が可能である。
【0128】
設定部36は、ロボット認証DB43(
図17参照)に係る「最新の実空間上の位置」フィールドにロボットRから送られて来た最新の実空間上の位置情報を上書き保存する。また、設定部36は、実空間上の位置と仮想空間上の位置との対応関係を示す位置対応情報(マッチング情報)を用いて、ロボットRから送られて来た最新の実空間上の位置情報から最新の仮想空間上の位置情報を求めて、ロボット認証DB43に係る「最新の実空間上の位置」フィールドに上書き保存する。
【0129】
状態判断部38は、ロボットRから送られて来た状態情報に基づき、ロボットRに不具合が発生して所定状態になっているかを判断する。ロボットRが所定状態になっているか否かの判断基準は例えば以下の通りであり、以下の状態の場合に所定状態になっていると判断される。
(11)ロボットRの電池残量が第1の残量(例えば30%)未満の状態
(12)ロボットRの通信速度が第1の通信速度(例えば、レベル2)未満の状態
(13)ロボットRの前回のメンテナンスからの総操作時間が第1の時間(例えば、1000分)以上の状態
(14)ロボットRに第1の故障(例えば、集音ができない)が発生している状態
画像作成部37は、後述の
図28に示す遠隔操作画面の画像を作成する。
【0130】
また、状態判断部38は、処理S51で受信された状態情報に基づき、ロボットR11が上記所定状態よりも悪化している特定状態であるかを判断する。ロボットRが特定状態になっているか否かの判断基準は例えば以下の通りであり、以下の状態の場合に特定状態になっていると判断される。
(21)ロボットRの電池残量が第1の残量より少ない第2の残量(例えば10%)未満の状態
(22)ロボットRの通信速度が第1の通信速度(例えば、レベル2)より遅い第2の通信速度(例えば、レベル1)未満の状態
(23)ロボットRの前回のメンテナンスからの総操作時間が第1の時間(例えば、1000分)よりも長い第2の時間(例えば、1500分)以上の状態
(24)ロボットR11に第1の故障(例えば、集音ができない)より状態が悪い第2の故障(例えば、撮影ができない)が発生している状態
抽出部39は、ユーザ端末9から、お勧めのブース及びロボットの要求があった場合に、推奨ブース及びロボットを抽出する。
【0131】
<出展者端末>
図14に示されているように、出展者端末5は、送受信部51、受付部52、及び表示制御部54を有している。これら各部は、
図4に示されている各構成要素のいずれかが、EEPROM504からRAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
【0132】
送受信部51は、通信ネットワーク100を介して、他の端末(装置)とデータ通信を行う。
【0133】
受付部52は、人(出展者E等)の操作を受け付ける。
【0134】
表示制御部54は、出展者端末5のディスプレイ518に対して、各種画像を表示させる制御を行う。
【0135】
<ロボット端末>
図14に示されているように、ロボットR(ロボット端末7)は、送受信部71、受付部72、位置取得部73、表示制御部74、撮像部75、集音部76、移動制御部77、及び状態検出部78を有している。これら各部は、
図4に示されている各構成要素のいずれかが、EEPROM504からRAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
【0136】
送受信部71は、通信ネットワーク100を介して、他の端末(装置)とデータ通信を行う。
【0137】
受付部72は、人(出展者E、展示場の管理者等)の操作を受け付ける。
【0138】
位置取得部73は、GPS受信部511等の処理により、屋外又は屋内の位置を示す位置情報を取得する。
【0139】
表示制御部74は、ロボット端末7のディスプレイ518に対して、各種画像を表示させる制御を行う。
【0140】
撮像部75は、広角撮影装置8又はCOMS513等により撮影されることで得られた映像データを出力する。この映像データは、遠隔操作を行っているユーザ端末9に送られ、ユーザ端末9側で映像として出力される。
【0141】
集音部76は、広角撮影装置8又はマイク515等により集音されることで得られた音データを出力する。この音データは、遠隔操作を行っているユーザ端末9に送られ、ユーザ端末9側で音として出力される。
【0142】
移動制御部77は、遠隔のユーザYの遠隔操作に基づき、車両装置10に対して移動(回動を含む)の制御を行う。
【0143】
状態検出部78は、所定時間(例えば、1分)毎に、自装置であるロボットRの状態(電池残量等)を検出する。この状態を示す状態情報は、通信制御サーバ3に送信されて、ロボット性能・状態DB45(
図19参照)において、「電池残量」、「通信状態」、「総操作時間」、又は「故障状態」として管理される。
【0144】
<ユーザ端末>
図14に示されているように、ユーザ端末9は、送受信部91、受付部92、及び表示制御部94、及び音出力制御部95を有している。これら各部は、
図4に示されている各構成要素のいずれかが、EEPROM504からRAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能又は手段である。
【0145】
送受信部91は、通信ネットワーク100を介して、他の端末(装置)とデータ通信を行う。
【0146】
受付部92は、人(ユーザY等)の操作を受け付ける。
【0147】
表示制御部94は、ユーザ端末9のディスプレイ518に対して、各種画像を表示させる制御を行う。
【0148】
音出力制御部95は、ユーザ端末9のスピーカ516に対して、音を出力する制御を行う。
【0149】
〔通信システムの処理又は動作〕
続いて、
図25乃至
図33を用いて、通信システムの処理又は動作について説明する。
【0150】
<ログイン処理等>
まずは、
図25及び
図26を用いて、ロボットRの予約、ブースの状況等の管理、実空間上のロボットRの位置の管理等を説明する。
図25は、ロボットの予約、ブースの状況等の管理、実空間上のロボットの位置の管理等を示すシーケンス図である。
【0151】
S11:
図25に示すように、ユーザ端末9の送受信部91は、通信制御サーバ3に対して、ロボットRの予約を開始するためのログイン処理を行う。この場合、送受信部91は、通信制御サーバ3に対して、受付部92によって受け付けられたユーザID及びパスワードを送信する。一方、通信制御サーバ3の認証部33は、ユーザDB41(
図15参照)に予め登録されているユーザID及びパスワードの組と同じ組が送受信部31で受信されたか否かにより認証を行う。以降、認証によりユーザY(ここでは、ユーザY1)が正当なユーザであると判断された場合の処理を説明する。
【0152】
S12:表示制御部94は、通信制御サーバ3から送られて来たロボットの予約画面のデータに基づいて、ユーザ端末9のディスプレイ518上に
図26に示すロボットの予約画面120を表示させる。
図26は、ユーザ端末で表示されるロボット予約画面を示す図である。なお、ロボットの予約画面120の画像は、画像作成部37がロボット予約DB44(
図18参照)を用いて作成した画像である。
【0153】
図26に示すように、ロボットの予約画面120には、遠隔操作を行う日の表示領域121、ロボットの予約表122、及び入力した予約内容を確定するための「確定」ボタン125が表示されている。ユーザY(ここではユーザY1)が所望の日を選択すると、受付部92が選択を受け付け、表示制御部94が当該日の予約表122を表示させる。ユーザY1が予約表122における予約時間帯の空白部分を選択(指定)すると、受付部92が選択を受け付け、表示制御部94がユーザY1のユーザID「Y091」を表示させる。最後に、ユーザY1が「確定」ボタン125を押下すると、受付部92が予約情報を受け付けることで、送受信部91が通信制御サーバ3に対して、確定した旨の情報を送信する。
【0154】
S13:通信制御サーバ3では、画像作成部37がロボット予約DB(
図18参照)に、確定した内容で予約の管理を行う。
【0155】
S14:出展者端末5の送受信部51は、通信制御サーバ3に対してログイン処理を行う。この場合、送受信部51は、通信制御サーバ3に対して、受付部52によって受け付けられた出展者ID及びパスワードを送信する。一方、通信制御サーバ3の認証部33は、出展者DB42(
図16参照)に予め登録されている出展者ID及びパスワードの組と同じ組が送受信部31で受信されたか否かにより認証を行う。以降、認証により出展者E(ここでは、出展者E1)が正当な出展者であると判断された場合の処理を説明する。
【0156】
S15:出展者E1は、所定時間(例えば、30分)毎又は不定期に出展者端末5にメッセージを入力すると、受付部52がメッセージの入力を受け付け、送受信部51が通信制御サーバ3に対してメッセージを送信する。このメッセージには送信元の出展者E1の出展者IDが含まれている。これにより、通信制御サーバ3の送受信部31はメッセージを受信する。このメッセージには、例えば、出展者E1が使用しているブースAの混雑状況、イベントや実演等を開始する時間帯等が含まれており、最終的に
図28に示す後述の表示領域170に表示される。
【0157】
S16:人感センサ6は、所定時間(例えば、1分)毎に、設置されたブース(ここでは、出展者E1のブースA)の内部及び周囲の人数を検知して、通信制御サーバ3に検知した人数を示す人数情報を送信する。この人数情報には、予め人感センサ6内に設定されている出展者E1の出展者IDが含まれている。これにより、通信制御サーバ3の送受信部31は人数情報を受信する。
【0158】
S17:通信制御サーバ3では、算出部35は、出展者DB42(
図16参照)において、送受信部31が受信した出展者IDを含むレコードの「出展者によるメッセージ」フィールドに、処理S15で受信したメッセージを記憶すると共に、「ブース混雑レベル」フィールドに処理S16で受信した人数情報(レベル)を上書き保存する。また、この際、算出部35は、出展エリア毎に、各ブースにおける混雑レベルの平均値を算出して、「エリア混雑レベル」フィールドの数値を上書き保存する。
【0159】
S18:展示場の運営者等の操作によって、ロボットRの送受信部71は、通信制御サーバ3に対してログイン処理を行う。この場合、送受信部71は、通信制御サーバ3に対して、受付部72によって受け付けられたロボットID及びパスワードを送信する。一方、通信制御サーバ3の認証部33は、ロボット認証DB43(
図17参照)に予め登録されているロボットID及びパスワードの組と同じ組が送受信部31で受信されたか否かにより認証を行う。以降、認証によりロボットRが正当なロボットであると判断された場合の処理を説明する。
【0160】
S19:ロボットRは、所定時間(例えば、1秒)毎に、最新の自装置(ロボットR)の実空間上の位置を示す位置情報を取得して、通信制御サーバ3に位置情報を送信する。この位置情報には、送信元のロボットRのロボットIDが含まれている。これにより、通信制御サーバ3の送受信部31は位置情報を受信する。
【0161】
S20:通信制御サーバ3では、設定部36は、ロボット移動DB46(
図20参照)において、送受信部31が受信したロボットIDのテーブル毎に、日付、時刻、遠隔操作しているユーザのユーザID、実空間上の位置、及び仮想空間上の位置を関連付けて管理する。
この日付及び時刻は、通信制御サーバ3がロボットRから位置情報を受信した日付及び時刻である。また、ロボット移動DB46の「遠隔操作しているユーザのユーザID」フィールドは、後述の処理S36で、ロボットRを遠隔操作するユーザが決まった場合には、ロボット認証DB43(
図17参照)において「遠隔操作中のユーザのユーザID」フィールドに設定されたユーザIDが用いられて設定される。
【0162】
また、設定部36は、ロボット移動DB46の一レコードの「実空間上の位置」フィールドに、送受信部31が処理S19で受信した実空間上の位置情報を保存する。また、この際、設定部36は、上記マッチング情報に基づいて、処理S19で受信された実空間上の位置情報に対応する仮想空間上の位置情報を求め、上記レコードの「仮想空間上の位置」フィールドに仮想空間上の位置情報を保存することで、位置情報を設定する。
【0163】
<遠隔操作の開始>
続いて、
図27及び
図29を用いて、ユーザ端末9からロボットR(ここでは、ロボットR11)の遠隔操作を開始するための処理を説明する。
図27は、ユーザ端末からロボットの遠隔操作を開始するための処理を示したシーケンス図である。
【0164】
S31:
図27に示すように、ユーザ端末9の送受信部91は、通信制御サーバ3に対して、ロボットR11の遠隔操作を開始するためのログイン処理を行う。この場合、送受信部91は、通信制御サーバ3に対して、受付部92によって受け付けられたユーザID及びパスワードを送信する。一方、通信制御サーバ3の認証部33は、ユーザDB41(
図15参照)に予め登録されているユーザID及びパスワードの組と同じ組が送受信部31で受信されたか否かにより認証を行う。以降、認証によりユーザY1が正当なユーザであると判断された場合の処理を説明する。
【0165】
S32:通信制御サーバ3では、画像作成部37が、所定時間(例えば、(1/60)秒)毎に、予め作成されている遠隔操作画面のテンプレート上に、現場映像以外の情報を貼り付けて、後述の
図28に示す遠隔操作画面140の画像を作成する。この場合、画像作成部37は、ロボット認証DB(
図17参照)から、各ロボットRのアイコン画像及び最新の仮想空間上の位置の情報を読み出して、後述の表示領域160を形成する。また、画像作成部37は、出展者DB42(
図16参照)に登録された「出展者によるメッセージ」カラムの各メッセージを読み出して、後述の表示領域170を形成する。そして、送受信部31が、ユーザ端末9に対して、画像作成部37によって遠隔操作画面が作成される度に遠隔操作画面のデータを送信する。これにより、ユーザ端末9の送受信部91は、所定時間(例えば、(1/60)秒)毎に遠隔操作画面のデータを受信する。
【0166】
S33:ユーザ端末9では、表示制御部94がユーザ端末9のディスプレイ518上に、
図28に示すような遠隔操作画面140を表示させる。遠隔操作画面140は、遠隔操作中のロボットRからの現場映像を表示する表示領域150、各ロボットの位置を示す仮想空間の表示領域160、メッセージの表示領域170、及び各種の操作ボタン群180が表示される。なお、この時点では、ユーザ端末9とロボットRとの通信が確立していないため、表示領域150には映像が表示されていない。
【0167】
表示領域160には、実空間の展示場を模式図が示され、更に各ロボットRを示す各アイコンが表示されている。また、表示領域160には、表示領域160を拡大するための「拡大」ボタン165も表示されている。更に、表示領域160には、閲覧中のユーザが、通信制御サーバ3に対して、お勧めのゾーン(又はブース)及びロボットを要求する場合に押下する「お勧め場所・ロボット」ボタン167が表示されている。なお、この時点では、遠隔操作するロボットが選択されていないため、各ロボットRのアイコンは全て中身が白色で表示されている。
【0168】
表示領域170には、各出展者端末5から通信制御サーバ3に送信されたメッセージの内容が表示されている。
【0169】
操作ボタン群180は、ユーザYが遠隔操作によりロボットRを移動(回動を含む)させるためのボタンである。ここでは、左側から、右へ回動、直進、後退、左へ回動、撮影装置による撮影の拡大及び縮小を行うための各ボタンが表示されている。
【0170】
S34:
図27に戻り、ユーザY1が、「拡大」ボタン165を押下すると、受付部92が拡大表示の指示を受け付け、表示制御部94が
図29に示すように表示領域160を拡大表示する。ここで、ユーザY1が、ロボットR11のロボットアイコンr11を選択すると、受付部92が遠隔操作対象としてロボットR11の選択を受け付ける。そして、送受信部91が、通信制御サーバ3に対して、ロボットR11が選択された旨の情報を送信する。この情報には、ユーザY1のユーザID「Y091」及びロボットR11のロボットID「R011」が含まれている。これにより、通信制御サーバ3の送受信部31は、ユーザY1によってロボットR11が選択された旨の情報を受信する。なお、ユーザY1は、ロボットR11の選択が終了すると、「戻る」ボタン166を押下することで、受付部92が
図28の遠隔操作画面140に戻る指示を受け付け、表示制御部94が遠隔操作画面140の表示に戻す。
【0171】
S35:通信制御部32は、処理S34によって受信されたロボットID「R011」を検索キーとしてロボット予約DB44(
図18参照)を検索することにより、現時間帯にユーザID「Y091」が登録されているかを確認する。そして、現時間帯にユーザID「Y091」が登録されている場合には、設定部36は、ロボット位置DB43(
図17参照)のロボットID「RO11」のレコードの「遠隔操作中のユーザのユーザID」フィールドにユーザID「Y091」を設定(登録)する。なお、その後、ユーザID「Y091」の所定のユーザのユーザ端末9との通信先が他のロボットに切り替わる場合には、設定部36はユーザID「Y091」を他のロボットのレコードにおける「遠隔操作中のユーザのユーザID」フィールドに切り替える。以降は、現時間帯にユーザID「Y091」が登録されているため、ロボット位置DB43(
図17参照)のロボットID「RO11」のレコードの「遠隔操作中のユーザのユーザID」フィールドにユーザID「Y091」が設定(登録された場合について説明する。
【0172】
S36:通信制御部32は、ユーザ端末9とロボットR11との間で通信(映像、音、操作)を確立する。これにより、
図28に示すように、表示制御部94は、表示領域150上に、ロボットR11で撮影された映像を表示させることができる。
【0173】
S37:また、この状態でも、ロボットRは、処理S19と同様に、所定時間(例えば、1秒)毎に、最新の自装置(ロボットR)の実空間上の位置を示す位置情報を取得して、通信制御サーバ3に位置情報を送信する。この位置情報には、送信元のロボットRのロボットIDが含まれている。これにより、通信制御サーバ3の送受信部31は位置情報を受信する。
【0174】
S38:通信制御サーバ3の設定部36は、処理S20と同様に、設定部36は、ロボット移動DB46(
図20参照)において、送受信部31が受信したロボットIDのテーブル毎に、日付、時刻、遠隔操作しているユーザのユーザID、実空間上の位置、及び仮想空間上の位置を関連付けて管理する。この場合、遠隔操作しているユーザが決まっているため、ロボット移動DB46の「遠隔操作しているユーザのユーザID」フィールドには、ロボット認証DB43(
図17参照)において「遠隔操作中のユーザのユーザID」フィールドに設定されたユーザIDが用いられて設定される。
【0175】
S39:更に、設定部は、処理S37で受信された実空間上の位置情報を検索キーとしてゾーン位置DB47(
図21参照)検索して、ロボットR11の実空間上の位置と仮想空間上の位置を特定すると共に、ロボットR11が現在位置するゾーンを特定する。そして、設定部36は、滞在時間DB48(
図23参照)において、ユーザID「Y091」のテーブルの「遠隔操作されたロボットのロボットID」のフィールドにロボットR11のロボットID「R011」を設定し、「ロボットが滞在したゾーンのゾーンID」フィールドに上記特定したゾーンのゾーンID「Z121」を設定する。また、設定部36は、出展者DB42(
図16参照)からゾーンIDに対応する出展者の属性の情報を読み出して、「ゾーン内の出展者の属性」フィールドに設定する。更に、設定部36は、「ゾーン進入日時」フィールドに、ロボット移動DB46で管理された日時及び時刻の情報を設定する。また、設定部36は、「ゾーン退出日時」フィールドに、ロボット移動DB46で管理されたロボットR11の実空間上の位置がゾーン位置DB47(
図21参照)において同じ所定のゾーンから外れた際に日時を退出日時として設定する。更に、算出部35は、ゾーン退出日時とソーン進入日時の差から、所定のゾーンにロボットR11が滞在した時間を算出し、設定部36が算出された時間を「ゾーン滞在時間」フィールドに設定する。
【0176】
S40:設定部36は、滞在時間DB48で管理したロボットID「R011」とゾーンID「Z121」を用いて、ゾーン位置DB47のゾーンID「Z121」のレコードの「ゾーン内のロボットのロボットID」フィールドにゾーンID「Z121」を設定する。
【0177】
<ロボットの切替>
続いて、
図30乃至
図33を用いて、ユーザ端末9との通信をロボットR11からロボットR12に切り替える処理について説明する。
図30は、遠隔操作対象のロボットを切り替える処理を示すシーケンス図である。
【0178】
S51:ユーザY1が、
図28に示す「お勧め場所・ロボット」ボタン167を押下すると、受付部92が、推奨ゾーン及びロボットの要求を受け付ける。そして、送受信部91が、通信制御サーバ3に対して、推奨ゾーン及びロボットの要求を送信する。この要求には、送信元のユーザY1のユーザID「Y091」も含まれている。これにより、通信制御サーバ3の送受信部31は、推奨ゾーン及びロボットの要求を受信する。
【0179】
S52:通信制御サーバ3は、処理S51によって受信した要求に基づいて、推奨対象抽出処理を行う。
【0180】
(その1)
ここで、
図31を用いて、推奨対象抽出処理(その1)について詳細に説明する。
図31は、推奨対象抽出処理(その1)を示すフローチャートである。
【0181】
S111:送受信部31は、推奨ゾーン及び推奨ロボットの要求を受信したかを判断する。送受信部31は、当該要求を受信していない場合には(NO)、当該判断を繰り返す。
【0182】
S112:抽出部39は、要求元のユーザY1の遠隔操作により、ロボットRが素通りしただけのゾーン、及び(又は)まだロボットRが移動していないゾーンを抽出する。このロボットRには、同じユーザY1が切り替えて遠隔操作したロボットRも含まれる。具体的には、所定のユーザ端末9からの遠隔操作によって一以上のロボットRが移動した各ゾーン(場所の一例)のうちで滞在時間が所定時間(例えば、5分)未満であるゾーン、及び(又は)一以上のロボットRが移動していない場所である旨の所定条件を満たす推奨場所を抽出する。そのため、抽出部39は、処理S51で受信された所定のユーザIDに基づいて、滞在時間DB48(
図23参照)から所定のユーザIDのテーブルを読み出し、更に、「ゾーン滞在時間」が所定時間未満であるゾーンのゾーンIDを抽出する。
【0183】
S113:抽出部39は、他の各ユーザが遠隔操作した各ロボットが滞在することで、他の各ユーザに注目されている所定のゾーンを推奨ゾーンとして決定する。そのため、抽出部39は、上記所定条件に対して、所定の通信端末ではない一以上の他の通信端末からの遠隔操作によって一以上の前記移動装置が移動した各場所のうちで、滞在時間の合計が所定合計時間以上である場所である旨の条件を含めて、推奨場所を決定する。
【0184】
具体的には、抽出部39は、処理S51で受信された所定のユーザID以外のユーザIDに基づいて、滞在時間DB48から各他のユーザIDのテーブルを読み出し、更に、各ユーザに係る「ゾーン滞在時間」の合計が所定合計時間(例えば、10時間)以上であるソーンである旨の条件を含めて、推奨ゾーンを絞り込む。更に、抽出部39は、推奨ゾーンのソーンIDに基づいて、ゾーン位置DB47(
図21参照)から、ゾーンの名称(ゾーン名)を抽出する。
【0185】
S114:更に、抽出部39は、所定のゾーンの最寄りの予約済みのロボットを抽出あるゾーンのゾーンIDを抽出する。そのため、抽出部39は、ロボット予約DB44(
図18参照)を参照し、現在時刻が含まれる予約時間帯に、処理S51で受信されたロボットIDが登録されている各ロボットRの各ロボットIDを抽出する。更に、抽出部39は、ゾーン位置DB47(
図21参照)を参照して、推奨ゾーンのゾーンIDから「ゾーン内のロボットのロボットID」フィールドを特定し、このフィールドに上記各ロボットIDのうちの何れかが登録されている場合には、所定のゾーンから所定距離内の位置のロボットRとして、当該ロボットRのロボットIDを抽出する。なお、このフィールドに上記各ロボットIDのうちの何れもが登録されていない場合には、抽出部39は、ロボット移動DB46(
図20参照)を参照し、予約済みのロボットRのうちで、現在、推奨ゾーンに最も近い(所定距離内の)位置のロボットRのロボットIDを抽出する。更に、抽出部39は、抽出したロボットIDに基づいて、ロボット認証DB43(
図17参照)からロボットの名称(ロボット名)を抽出する。
【0186】
以上により、推奨対象抽出処理(その1)の説明は終了する。
【0187】
S53:
図30に戻り、送受信部31は、処理S51による要求元のユーザ端末9に対して、処理S52によって抽出されたゾーン名をお勧め場所とし、処理S52によって抽出されたロボット名を切り替え先のお勧めロボット名とする通知を送信する。つまり、送受信部31が推奨部として、ユーザ端末9を遠隔操作している操作者に対して推奨場所を推奨する処理の一例が、S53の通知を送信する処理に含まれる。なお、お勧め場所としては、
図22に示す関係に基づき、ゾーン名ではなくブース名を送信してもよい。これにより、ユーザ端末9の送受信部91は、通知を受信する。
【0188】
S54:ユーザ端末9では、表示制御部94が、処理S53で受信された切替推奨の通知に基づき、
図32に示すように、メッセージの表示領域170に推奨のメッセージを表示させる。
図32は、ユーザ端末で表示される遠隔操作画面を示す図である。
図32では、例えば、メッセージの一例として、「エリアβのゾーンβ22(ブースJ)がお勧めです。」、「ロボットR23への切り替えがお勧めです。」等が追加表示される。ここで、ユーザY1が「拡大」ボタン165を押下すると、受付部92が拡大指示を受け付け、表示制御部94がユーザ端末9のディスプレイ518上に、
図29に示すようなロボット位置の表示領域160を表示させる。そこで、ユーザY1は、切替推奨のメッセージに従って、ロボットアイコンr23を選択すると、受付部92がロボットR23への切り替えの選択を受け付ける。そして、送受信部91は、通信制御サーバ3に対してロボットR23に切り替える旨の応答(ロボットID「R023」を含む)を送信する。これにより、通信制御サーバ3は、ロボットR23に切り替える旨の応答を受信する。
【0189】
S55:通信制御部32は、切替部として、処理S54で受信されたロボットR23に切り替える旨の応答に基づいて、ユーザ端末9とロボットR11との通信(映像、音、操作)を切断する。
【0190】
S56:通信制御部32は、切替部として、処理S54で受信されたロボットR23に切り替える旨の応答に基づいて、ユーザ端末9とロボットR23との通信(映像、音、操作)を接続(確立)する。これにより、ユーザ端末9では、通信制御サーバ3からの遠隔操作画面のデータに基づき、表示制御部94が
図33に示すように、切り替え後のロボットR23のロボットアイコンr23を「操作中」の表示態様に変更し、ロボットR11のロボットアイコンr11を「非操作」の表示態様に変更する。これにより、ユーザY1は、自分が現在ロボットR23を操作中であることが分かる。なお、表示制御部94は、通信制御サーバ3からの遠隔操作画面のデータに基づき、
図29の表示領域160において、ユーザY1が予約することで、この時点で選択可能なロボットのアイコンのみを表示してもよい。
【0191】
(その2)
続いて、
図34を用いて、推奨対象抽出処理(その2)について詳細に説明する。
図34は、推奨対象抽出処理(その2)を示すフローチャートである。なお、処理S121~処理S124は、
図31の処理S111~処理S114に対応し、処理S123だけが処理S113と異なるため、以下では処理S123について説明する。
【0192】
S123:抽出部39は、要求元のユーザが有する属性と同一又は類似の属性を有する他のユーザが遠隔操作ロボットを滞在させたゾーンを推奨ゾーンとして決定する。そのため、抽出部39は、上記所定条件に対して、所定の通信端末ではない一以上の他の通信端末からの遠隔操作によって一以上の前記移動装置が移動した各場所(ゾーン)のうちで、滞在時間が所定時間以上である場所であって、所定の通信端末を操作する所定のユーザが有する属性に関連する属性を有する他のユーザが操作する他の通信端末からの遠隔操作によって一以上の前記移動装置が移動した場所である旨の条件を含めて、推奨場所を決定する。
【0193】
具体的には、抽出部39は、処理S51で受信された所定のユーザIDに基づいてユーザ管理DB41(
図15参照)を検索して、所定のユーザが有する属性に関連する属性を有する他の各ユーザの各ユーザIDを抽出する。そして、抽出部39は、各ユーザIDに基づいて、滞在時間DB48(
図23参照)を検索することで、滞在時間が所定時間(例えば、5分)以上のソーンのゾーンIDを抽出することで、推奨ゾーンを決定する。更に、抽出部39は、推奨ゾーンのソーンIDに基づいて、ゾーン位置DB47(
図21参照)から、ゾーンの名称(ゾーン名)を抽出する。
【0194】
以上により、推奨対象抽出処理(その2)の説明が終了する。
【0195】
(その3)
続いて、
図35を用いて、推奨対象抽出処理(その3)について詳細に説明する。
図35は、推奨対象抽出処理(その3)を示すフローチャートである。なお、処理S131~処理S134は、
図31の処理S111~処理S114に対応し、処理S133だけが処理S113と異なるため、以下では処理S133について説明する。なお、処理S133は、ユーザDB41の属性と出展者DB42の属性とのマッチング処理の一例である。
【0196】
S133:抽出部39は、要求元のユーザが有する属性と同一又は類似の属性を有する出展者のゾーンを推奨ゾーンとして決定する。そのため、抽出部39は、上記所定条件に対して、前記所定の通信端末を操作する所定のユーザが有する属性に関連する属性を有する出展者の出展場所である旨の条件を含めて、推奨場所を決定する。
【0197】
具体的には、抽出部39は、処理S51で受信された所定のユーザIDに基づいてユーザ管理DB41(
図15参照)を検索して、所定のユーザが有する属性の情報を抽出する。抽出部39は、出展者DB42(
図16参照)を参照することで、所定のユーザが有する属性の情報に関連する属性を有する出展者のゾーンのゾーンIDを、推奨ゾーンのゾーンIDとして抽出する。更に、抽出部39は、推奨ゾーンのソーンIDに基づいて、ゾーン位置DB47(
図21参照)から、ゾーンの名称(ゾーン名)を抽出する。
【0198】
なお、通信制御サーバ3の送受信部31は、各出展者の出展者端末5が送信したメッセージを受信し、抽出部39は、上記所定条件に対して、所定のユーザ端末9を操作する所定のユーザが有する属性に関連する属性を有する出展者の通信端末からのメッセージを考慮する条件を含めて推奨場所及び推奨ロボットRを決定してもよい。そして、推奨部31は、所定のユーザ端末9に対して推奨場所及び推奨ロボットRを推奨する。
【0199】
以上により、推奨対象抽出処理(その3)の説明が終了する。
【0200】
〔実施形態の主な効果〕
以上説明したように、遠隔操作をしながら実空間の移動装置を移動させる場所を特定する支援を行うことができるという効果を奏する。
【0201】
また、本実施形態によれば、通信制御サーバ3は、所定のユーザ端末9に対して、所定のユーザがロボットRを遠隔操作して疑似的に滞在していない場所をお勧めしたり、この場所に近いロボットRをお勧めしたりする。これにより、所定のユーザに対して、現地の中で移動装置を素通りさせただけ又は移動させていない場所を把握し易いようにすることができるという効果を奏する。
【0202】
また、通信制御サーバ3は、所定の通信端末に対して、お勧めの場所又はロボットRとして、他のユーザが注目している場所及びこの場所に近いロボットRを通知する。これにより、所定のユーザは、他のユーザが注目している場所等を用意に把握することができる。
【0203】
更に、通信制御サーバ3は、所定の通信端末に対して、お勧めの場所又はロボットRとして、所定のユーザの属性に関連する属性の他のユーザが疑似的に滞在した場所及びこの場所に近いロボットを通知する。また、通信制御サーバ3は、所定の通信端末に対して、お勧めの場所又はロボットRとして、所定のユーザの属性に関連する属性の出展者のゾーン(又はブース)である場所及びこの場所に近いロボットを通知する。これにより、所定のユーザは、自分の属性に合った場所等を用意に把握することができる。
【0204】
〔補足〕
(1)本開示の適用可能な場面として、展示会だけに限られず、大規模なショウルーム、工場、学校、会社等の見学にも適用可能である。また、美術館、水族館、科学館等の展示施設の鑑賞にも適用可能である。更に、道の駅、ショッピングモール等の大規模商業施設でのショッピング等にも適用できる。
【0205】
(2)上述の実施形態における各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上述した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)、SOC(System on a chip)、GPU、及び従来の回路モジュール等のデバイスを含む。
【0206】
(3)上記各プログラムは、(非一時的な)記録媒体に記録されることで、流通されるようにしてもよい。
【0207】
(4)プロセッサとしての各CPU301,501,811,1001は、単一であってもよく複数であってもよい。
【0208】
(5)なお、滞在時間DB48は、移動履歴管理部と示すこともできる。
【0209】
(6)上記実施形態では、処理S51により、所定のユーザからの要求を契機として、処理S53で通信制御サーバ3が推奨場所及び推奨ロボットの通知を行ったが、これに限らない。例えば、所定のユーザが最初の遠隔操作を始めてから所定時間(例えば、2時間)経過後に、通信制御サーバ3が自動的に処理S52を進めても良い。また、例えば、通信制御サーバ3は、滞在時間DB48(
図23参照)及びゾーン位置DB47に基づいて、所定のユーザがロボットRを遠隔操作して疑似的に滞在したソーンが所定数(例えば、3ヶ所)を超えた場合に、通信制御サーバ3が自動的に処理S52を進めてもよい。
【0210】
(7)通信制御サーバ3では、送受信部31が各出展者の出展者端末5が送信した各メッセージを受信し、送受信部31が、各メッセージのうち、所定のユーザ端末9を操作する所定のユーザが有する属性に関連する属性を有する所定の出展者の通信端末が送信した所定メッセージを、所定の通信端末に送信してもよい。この場合、抽出部39は、処理S133と同様に、ユーザDB41の属性と、出展者DB42の属性のマッチングを行う。
【0211】
(8)送受信部31は、所定の通信端末を操作する所定のユーザが有する属性に関連する属性を有する出展者が所定のイベントを開催する旨のメッセージを、記所定の通信端末に送信してもよい。この場合、抽出部39は、処理S133と同様に、ユーザDB41の属性と、出展者DB42の属性のマッチングを行う。
【0212】
(9)抽出部39は、イベントDB49(
図23参照)からイベント毎にイベントの内容(例えば、「教授の説明会」)を示す内容情報を抽出し、送受信部31は、内容情報を含んだメッセージを送信してもよい
(10)送受信部31は、各出展者の出展者端末5が送信した混雑状況を示す各状況情報、又は出展場所に設置された人感センサが送信した混雑状況を示す各状況情報を受信する。そして、送受信部31は、各状況情報のうち、所定の通信端末を操作する所定のユーザが有する属性に関連する属性を有する所定の出展者の出展者端末5又は出展場所に設置された人感センサが送信した所定の状況情報を、所定の通信端末に送信してもよい。この場合、抽出部39は、処理S133と同様に、ユーザDB41の属性と、出展者DB42の属性のマッチングを行う。
【0213】
(11)上記実施形態では、通信制御サーバ3は、推奨場所と推奨ロボットの両方を通知したが、少なくとも一方であってもよい。この場合、上記処理S111,S121,S131では、推奨ゾーンの要求と推奨ロボットの要求のうち、少なくとも一方の要求があったかが判断される。
【0214】
(12)切り替え先の候補のロボットRが(第2の移動装置の一例)複数の場合に、送受信部31は、所定のユーザ端末9に対して、所定数(たとえば、3台)に限定した第2の移動装置に切り替えるための推奨を行ってもよい。
【符号の説明】
【0215】
R11 ロボット(第1の移動装置の一例)
R12 ロボット(第2の移動装置の一例)
1 通信システム
3 通信制御サーバ
5 出展者端末
6 人感センサ
7 ロボット端末
8 広角撮影装置
9 ユーザ端末(通信端末の一例)
10 車両装置
31 送受信部(メッセージ受信部の一例、メッセージ送信部の一例、状況受信部の一例、状況送信部の一例、位置受信部の一例)
32 通信制御部(切替部とも示す)
33 認証部
34 算出部
36 設定部
37 画像作成部
38 状態判断部
39 抽出部
40 記憶部
41 ユーザDB(ユーザ管理部の一例)
42 出展者DB(出展者DBの一例)
43 ロボット認証DB
44 ロボット予約DB
45 ロボット性能・状態DB
46 ロボット移動DB
47 ゾーン位置DB(場所位置管理部の一例)
48 滞在時間DB(移動履歴管理部の一例)
49 イベントDB
91 送受信部
92 受付部
94 表示制御部
95 音出力制御部
【先行技術文献】
【特許文献】
【0216】