IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 凸版印刷株式会社の特許一覧

特開2023-184432テレプレゼンスロボットシステム、情報処理装置、情報処理方法、およびプログラム
<>
  • 特開-テレプレゼンスロボットシステム、情報処理装置、情報処理方法、およびプログラム 図1
  • 特開-テレプレゼンスロボットシステム、情報処理装置、情報処理方法、およびプログラム 図2
  • 特開-テレプレゼンスロボットシステム、情報処理装置、情報処理方法、およびプログラム 図3
  • 特開-テレプレゼンスロボットシステム、情報処理装置、情報処理方法、およびプログラム 図4
  • 特開-テレプレゼンスロボットシステム、情報処理装置、情報処理方法、およびプログラム 図5
  • 特開-テレプレゼンスロボットシステム、情報処理装置、情報処理方法、およびプログラム 図6
  • 特開-テレプレゼンスロボットシステム、情報処理装置、情報処理方法、およびプログラム 図7
  • 特開-テレプレゼンスロボットシステム、情報処理装置、情報処理方法、およびプログラム 図8
  • 特開-テレプレゼンスロボットシステム、情報処理装置、情報処理方法、およびプログラム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023184432
(43)【公開日】2023-12-28
(54)【発明の名称】テレプレゼンスロボットシステム、情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
   G06Q 50/10 20120101AFI20231221BHJP
   H04M 11/00 20060101ALI20231221BHJP
【FI】
G06Q50/10
H04M11/00 302
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023060301
(22)【出願日】2023-04-03
(31)【優先権主張番号】P 2022098121
(32)【優先日】2022-06-17
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000003193
【氏名又は名称】TOPPANホールディングス株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】森本 哲郎
(72)【発明者】
【氏名】深田 隆之
(72)【発明者】
【氏名】米山 茂信
【テーマコード(参考)】
5K201
5L049
【Fターム(参考)】
5K201BA01
5K201BA19
5K201CC04
5K201CC10
5K201ED04
5K201ED09
5L049CC11
(57)【要約】
【課題】テレプレゼンスロボットを用いたビデオチャットを、利用者がより容易に行うことができるテレプレゼンスロボットシステムを提供すること。
【解決手段】ビデオチャット端末として機能し、かつ、移動可能なテレプレゼンスロボットと、テレプレゼンスロボットおよびビデオチャットを制御する情報処理装置とを備え、情報処理装置は、テレプレゼンスロボットを、ロボット制御端末からの指示に基づき制御するロボット制御部と、テレプレゼンスロボットと、ビデオチャット制御端末と、利用者端末とのビデオチャットを制御するビデオチャット制御部とを備え、ビデオチャット制御部は、テレプレゼンスロボットと、ビデオチャット制御端末と、利用者端末とを含む少なくとも3者によるビデオチャットを制御する、テレプレゼンスロボットシステムである。
【選択図】図1
【特許請求の範囲】
【請求項1】
ビデオチャット端末として機能し、かつ、移動可能なテレプレゼンスロボットと、
前記テレプレゼンスロボットおよびビデオチャットを制御する情報処理装置と
を備え、
前記情報処理装置は、
前記テレプレゼンスロボットを、ロボット制御端末からの指示に基づき制御するロボット制御部と、
前記テレプレゼンスロボットと、ビデオチャット制御端末と、利用者端末とのビデオチャットを制御するビデオチャット制御部と
を備え、
前記ビデオチャット制御部は、前記テレプレゼンスロボットと、前記ビデオチャット制御端末と、前記利用者端末とを含む少なくとも3者によるビデオチャットを制御する、
テレプレゼンスロボットシステム。
【請求項2】
前記ビデオチャット制御部は、前記テレプレゼンスロボットと、前記ビデオチャット制御端末と、前記利用者端末とのうち、2者によるビデオチャットを制御する、
請求項1に記載のテレプレゼンスロボットシステム。
【請求項3】
前記情報処理装置は、
前記テレプレゼンスロボットによるビデオチャットを行う通信先候補と、前記通信先候補の位置とを記憶する通信先候補記憶部と、
前記テレプレゼンスロボットの位置を推定するロボット位置推定部と
を備え、
前記ロボット制御部は、前記通信先候補の位置と、前記テレプレゼンスロボットの位置とを、前記ロボット制御端末に表示させる、
請求項1または請求項2に記載のテレプレゼンスロボットシステム。
【請求項4】
ビデオチャット端末として機能し、かつ、移動可能なテレプレゼンスロボットを、ロボット制御端末からの指示に基づき制御するロボット制御部と、
前記テレプレゼンスロボットと、ビデオチャット制御端末と、利用者端末とのビデオチャットを制御するビデオチャット制御部と
を備え、
前記ビデオチャット制御部は、前記テレプレゼンスロボットと、前記ビデオチャット制御端末と、前記利用者端末とを含む少なくとも3者によるビデオチャットを制御する、
情報処理装置。
【請求項5】
ビデオチャット端末として機能し、かつ、移動可能なテレプレゼンスロボットを、ロボット制御端末からの指示に基づき制御する第1のステップと、
前記テレプレゼンスロボットと、ビデオチャット制御端末と、利用者端末とのビデオチャットを制御する第2のステップと
を備え、
前記第2のステップにおいて、前記テレプレゼンスロボットと、前記ビデオチャット制御端末と、前記利用者端末とを含む少なくとも3者によるビデオチャットを制御する、
情報処理方法。
【請求項6】
コンピュータを、
ビデオチャット端末として機能し、かつ、移動可能なテレプレゼンスロボットを、ロボット制御端末からの指示に基づき制御するロボット制御部、
前記テレプレゼンスロボットと、ビデオチャット制御端末と、利用者端末とのビデオチャットを制御するビデオチャット制御部
として機能させるためのプログラムであって、
前記ビデオチャット制御部は、前記テレプレゼンスロボットと、前記ビデオチャット制御端末と、前記利用者端末とを含む少なくとも3者によるビデオチャットを制御する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、テレプレゼンスロボットシステム、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
近年、作業者などが現場に行く代わりに、遠隔地でも視聴可能なように現場から映像や音声を送信するテレプレゼンスロボットが活躍している。例えば、テレプレゼンスロボットを学校に待機させることによって、テレプレゼンスロボットが送信してくる授業を、病気で入院している子供が、学校に居るかのように受講することができる。加えて、テレプレゼンスロボットは車輪などで移動することが可能なため、テレプレゼンスロボットの電子ディスプレイに自身の顔をリアルタイムに表示しながら学校内を移動し、ロボットを通じて様々な場所に居る先生や同級生と相互に会話することもできる。
【0003】
また、通信元のユーザが通信先のユーザを指定すると、複数のテレプレゼンスロボットの中から、通信先のユーザに近いものと通信可能とする通信制御方法がある(特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2018-121322号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来のテレプレゼンスロボットにおいては、利用者はテレプレゼンスロボットを頻繁に利用するとは限らないにも関わらず、テレプレゼンスロボットの操作に習熟していないと利用できないことがあるという問題がある。
【0006】
本発明は、このような事情に鑑みてなされたもので、テレプレゼンスロボットを用いたビデオチャットを、利用者が、従来より容易に行うことができるテレプレゼンスロボットシステム、情報処理装置、情報処理方法、およびプログラムを提供する。
【課題を解決するための手段】
【0007】
この発明は上述した課題を解決するためになされたもので、本発明の一態様は、ビデオチャット端末として機能し、かつ、移動可能なテレプレゼンスロボットと、前記テレプレゼンスロボットおよびビデオチャットを制御する情報処理装置とを備え、前記情報処理装置は、前記テレプレゼンスロボットを、ロボット制御端末からの指示に基づき制御するロボット制御部と、前記テレプレゼンスロボットと、ビデオチャット制御端末と、利用者端末とのビデオチャットを制御するビデオチャット制御部とを備え、前記ビデオチャット制御部は、前記テレプレゼンスロボットと、前記ビデオチャット制御端末と、前記利用者端末とを含む少なくとも3者によるビデオチャットを制御する、テレプレゼンスロボットシステムである。
【0008】
また、本発明の他の一態様は、上述したテレプレゼンスロボットシステムであって、前記ビデオチャット制御部は、前記テレプレゼンスロボットと、前記ビデオチャット制御端末と、前記利用者端末とのうち、2者によるビデオチャットを制御する。
【0009】
また、本発明の他の一態様は、上述したテレプレゼンスロボットシステムであって、前記情報処理装置は、前記テレプレゼンスロボットによるビデオチャットを行う通信先候補と、前記通信先候補の位置とを記憶する通信先候補記憶部と、前記テレプレゼンスロボットの位置を推定するロボット位置推定部とを備え、前記ロボット制御部は、前記通信先候補の位置と、前記テレプレゼンスロボットの位置とを、前記ロボット制御端末に表示させる。
【0010】
また、本発明の他の一態様は、ビデオチャット端末として機能し、かつ、移動可能なテレプレゼンスロボットを、ロボット制御端末からの指示に基づき制御するロボット制御部と、前記テレプレゼンスロボットと、ビデオチャット制御端末と、利用者端末とのビデオチャットを制御するビデオチャット制御部とを備え、前記ビデオチャット制御部は、前記テレプレゼンスロボットと、前記ビデオチャット制御端末と、前記利用者端末とを含む少なくとも3者によるビデオチャットを制御する、情報処理装置である。
【0011】
また、本発明の他の一態様は、ビデオチャット端末として機能し、かつ、移動可能なテレプレゼンスロボットを、ロボット制御端末からの指示に基づき制御する第1のステップと、前記テレプレゼンスロボットと、ビデオチャット制御端末と、利用者端末とのビデオチャットを制御する第2のステップとを備え、前記第2のステップにおいて、前記テレプレゼンスロボットと、前記ビデオチャット制御端末と、前記利用者端末とを含む少なくとも3者によるビデオチャットを制御する、情報処理方法である。
【0012】
また、本発明の他の一態様は、コンピュータを、ビデオチャット端末として機能し、かつ、移動可能なテレプレゼンスロボットを、ロボット制御端末からの指示に基づき制御するロボット制御部、前記テレプレゼンスロボットと、ビデオチャット制御端末と、利用者端末とのビデオチャットを制御するビデオチャット制御部として機能させるためのプログラムであって、前記ビデオチャット制御部は、前記テレプレゼンスロボットと、前記ビデオチャット制御端末と、前記利用者端末とを含む少なくとも3者によるビデオチャットを制御する、プログラムである。
【発明の効果】
【0013】
この発明によれば、テレプレゼンスロボットを用いたビデオチャットを、利用者がより容易に行うことができる。
【図面の簡単な説明】
【0014】
図1】この発明の一実施形態によるテレプレゼンスロボットシステム100の構成を示す概略ブロック図である。
図2】同実施形態におけるサーバ30の構成を示す概略ブロック図である。
図3】同実施形態における通信先候補記憶部33の記憶内容例を示すテーブルである。
図4】同実施形態におけるテレプレゼンスロボットシステム100の動作例1を示すシーケンス図である。
図5】同実施形態におけるテレプレゼンスロボットシステム100の動作例2を示すシーケンス図である。
図6】同実施形態におけるビデオチャット制御端末50の表示画面例G1を示す模式図である。
図7】同実施形態におけるロボット制御端末60の表示画面例G2を示す模式図である。
図8】同実施形態の第1の変形例における通信先候補記憶部33の記憶内容例を示すテーブルである。
図9】同実施形態の第2の変形例におけるビデオチャット制御端末50の表示画面例G1を示す模式図である。
【発明を実施するための形態】
【0015】
以下、図面を参照して、本発明の実施の形態について説明する。図1は、この発明の一実施形態によるテレプレゼンスロボットシステム100の構成を示す概略ブロック図である。テレプレゼンスロボットシステム100は、テレプレゼンスロボット10a~10c、サーバ(情報処理装置)30、利用者端末40a、40b、ビデオチャット制御端末50、ロボット制御端末60を備える。図1では、3台のテレプレゼンスロボット10a~10cと、2台の利用者端末40a、40b、1台のビデオチャット制御端末50、1台のロボット制御端末60を示したが、これらの台数に限定されず、それぞれ1台以上あればよい。
【0016】
テレプレゼンスロボット10a~10cは、走行するための車輪を備えている。車輪は動力源に繋がっており、動力源が発生する動力によって車輪に力を伝える。動力源としては、電磁石モーターが好適で、例えば、DC(Direct Current)モーター、ブラシレスDCモーター、ステッピングモーター、サーボモーター、誘導モーター、PM(Permanent Magnet)モーター、AC(Alternating Current)モーター、インホイールモーターおよび超音波モーター等が挙げられる。内燃機関も動力源として使用できる。車輪の数と設置位置はテレプレゼンスロボット10a~10cが安定に走行できる数と位置であれば特に限定しない。なお、テレプレゼンスロボット10a~10cは、車輪による走行でなく、歩行するための脚部を備えてもよい。
【0017】
テレプレゼンスロボット10a~10cは、無線通信で遠隔制御が可能である。無線通信の手段としては、無線LAN(Local Area Network)、第3世代、第4世代、第5世代などの移動通信システム、およびLPWA(Low Power Wide Area)等が用いられる。
【0018】
テレプレゼンスロボット10a~10cは、電子ディスプレイ、ビデオカメラ、マイク、スピーカを備える。テレプレゼンスロボット10a~10cのいずれかの近くにいる通信先ユーザPは、そのテレプレゼンスロボットの電子ディスプレイ、ビデオカメラ、マイク、スピーカにより、ビデオチャットを行うことができる。電子ディスプレイは、マイクロメーターオーダーの微細なセルで区切られた画像表示用画素を備えているものであれば限定しないが、例えば、液晶ディスプレイ、有機EL(OLED)ディスプレイ、マイクロLEDディスプレイなど、公知の各種構造のものを選択できる。電子ディスプレイの表示色はカラーでもモノクロでも使用できる。ビデオカメラは、電子ディスプレイに内蔵されているWebカメラでも、Webカメラとは別に設置する一眼ビデオカメラでもよいが、例えば、画質、重量、およびサイズの観点で適宜選択することが好ましい。マイク、スピーカは、一般的な物を適宜使用できる。
【0019】
テレプレゼンスロボット10a~10cは、環境形状計測センサを備えていることが好ましい。環境形状計測センサは、テレプレゼンスロボット10a~10cの自己位置推定を実現するために使用される。自己位置推定とは、環境形状計測センサから取得したテレプレゼンスロボット10a~10cの周囲の地図を作成しながら、同時に、テレプレゼンスロボット10a~10cの現在の位置情報を推定する方法のことで、テレプレゼンスロボット10a~10cが走行することで新たな計測領域を拡大させながら全体の地図を完成させる手法である。自己位置推定を計算する手法としては、ICP(Iterative Closest Point)やNDT(Normal Distributions Transform)等のスキャンマッチング法、ベイズフィルタ法が挙げられ、何れの手法であってもよい。環境形状計測センサは、例えば、レーザーレンジスキャナを用いたLiDAR(Light Detection And Ranging)、ToF(Time of Flight)センサ、超音波を用いたToFセンサ、あるいはRGB-Dカメラやライトフィールドカメラを用いた三次元イメージセンサであるが、その他のセンサであってもよい。
【0020】
ネットワーク20は、インターネット、移動体通信網、ローカルエリアネットワークなどのネットワークであり、サーバ30を、テレプレゼンスロボット10a~10c、利用者端末40a、40b、ビデオチャット制御端末50、ロボット制御端末60と通信可能に接続する。なお、ネットワーク20は、複数のネットワークから構成され、サーバ30は、通信相手により、異なるネットワークを用いて通信してもよい。
【0021】
サーバ30は、1つまたは複数のコンピュータがソフトウェアを実行することにより実現される。サーバ30は、テレプレゼンスロボット10a~10c、利用者端末40a、40b、ビデオチャット制御端末50の間のビデオチャットを制御する。また、サーバ30は、ロボット制御端末60からの指示に基づき、テレプレゼンスロボット10a~10cを制御する。さらに、サーバ30は、テレプレゼンスロボット10a~10cから、環境形状計測センサが検出した情報を受け取り、テレプレゼンスロボット10a~10cの位置(自己位置)を推定する。
【0022】
利用者端末40a、40bは、利用者Dが使用するビデオチャット端末である。利用者端末40a、40bは、電子ディスプレイ、ビデオカメラ、マイク、スピーカを備えたスマートフォン、タブレット端末、ノート型コンピュータ、デスクトップ型コンピュータなどのコンピュータが、ソフトウェアを実行することにより実現されるビデオチャット端末である。
【0023】
ビデオチャット制御端末50は、オペレータOが使用するビデオチャット端末である。また、ビデオチャット制御端末50は、利用者端末40a、40bと、テレプレゼンスロボット10a~10cとのビデオチャットの接続の指示を受け付ける。ビデオチャット制御端末50は、電子ディスプレイ、ビデオカメラ、マイク、スピーカを備えたスマートフォン、タブレット端末、ノート型コンピュータ、デスクトップ型コンピュータなどのコンピュータが、ソフトウェアを実行することにより実現される。
【0024】
ロボット制御端末60は、オペレータOが、テレプレゼンスロボット10a~10cを操作するための端末である。ロボット制御端末60により、テレプレゼンスロボット10a~10cの移動と、テレプレゼンスロボット10a~10cのビデオカメラの撮影方向とを操作可能である。ロボット制御端末60は、スマートフォン、タブレット端末、ノート型コンピュータ、デスクトップ型コンピュータなどのコンピュータが、ソフトウェアを実行することにより実現される。ビデオチャット制御端末50とロボット制御端末60は、1台のコンピュータで実現されてもよいし、別々のコンピュータで実現されてもよい。
【0025】
図2は、本実施形態におけるサーバ30の構成を示す概略ブロック図である。サーバ30は、ロボット位置推定部31、マップ生成部32、通信先候補記憶部33、ロボット制御部34、ビデオチャット制御部35を備える。図2において、テレプレゼンスロボット10は、図1のテレプレゼンスロボット10a~10cのうちのいずれかを示す。また、利用者端末40は、図1の利用者端末40a、40bのうちのいずれかを示す。
【0026】
ロボット位置推定部31は、テレプレゼンスロボット10の位置を推定する。この推定には、テレプレゼンスロボット10から受け取った、環境形状計測センサによる測定結果を用いる。マップ生成部32は、ロボット位置推定部31が推定したテレプレゼンスロボット10の位置と、通信先候補記憶部33が記憶する通信先候補の位置とを含むマップを生成する。このマップは、2次元のマップでもよいし、3次元のマップでもよい。
【0027】
ロボット制御部34は、テレプレゼンスロボット10を、ロボット制御端末60からの指示に基づき制御する。例えば、ロボット制御部34は、テレプレゼンスロボット10の車輪による走行、ビデオカメラによる撮影、スピーカによる音声出力を制御する。また、ロボット制御部34は、テレプレゼンスロボット10の位置と、通信先候補の位置とをロボット制御端末60に表示させる。例えば、ロボット制御部34は、マップ生成部32が生成したマップをロボット制御端末60に表示させる。さらに、ロボット制御部34は、テレプレゼンスロボット10のビデオカメラが撮影した映像をロボット制御端末60に表示させる。
【0028】
ビデオチャット制御部35は、テレプレゼンスロボット10と、ビデオチャット制御端末50と、利用者端末40とのビデオチャットを制御する。ビデオチャット制御部35は、テレプレゼンスロボット10と、ビデオチャット制御端末50と、利用者端末40との3者によるビデオチャットを制御する。なお、ビデオチャット制御部35は、テレプレゼンスロボット10と、ビデオチャット制御端末50と、利用者端末40のうち、2者によるビデオチャットを制御してもよい。
【0029】
図3は、本実施形態における通信先候補記憶部33の記憶内容例を示すテーブルである。図3は、テレプレゼンスロボットシステム100を病院で運用し、通信先候補が該病院の入院患者である場合の記憶内容例を示す。図3の例では、通信先候補記憶部33は、通信先候補を示す氏名と、通信先候補の位置を示す病室およびベッドとを対応付けて記憶する。
【0030】
例えば、通信先候補記憶部33は、氏名「AAAA」と、病室「301」と、ベッド「01」とを対応付けて記憶し、氏名「BBBB」と、病室「301」と、ベッド「02」とを対応付けて記憶し、氏名「CCCC」と、病室「301」と、ベッド「05」とを対応付けて記憶し、氏名「DDDD」と、病室「302」と、ベッド「01」とを対応付けて記憶する。なお、ここでは、通信先候補の位置として、病室およびベッドの番号を記憶しているが、マップ生成部32が生成するマップと対応付けられる座標を記憶してもよい。
【0031】
図4は、本実施形態におけるテレプレゼンスロボットシステム100の動作例1を示すシーケンス図である。図4において、テレプレゼンスロボット10は、図1のテレプレゼンスロボット10a~10cのうちのいずれかを示す。また、利用者端末40は、図1の利用者端末40a、40bのうちのいずれかを示す。複数のテレプレゼンスロボット10は、自律走行しながら病院の患者病棟を巡回および監視している。オペレータOは、ロボット制御端末60に表示される自己位置推定の地図で各テレプレゼンスロボット10が現在どこの場所に居るか監視している。また、オペレータOは、時々は、テレプレゼンスロボット10の近くにいる患者に挨拶をしたり、患者と軽い雑談をしたりしている。これらの挨拶や雑談は、サーバ30のビデオチャット制御部35を介した、ビデオチャット制御端末50とテレプレゼンスロボット10とのビデオチャット(シーケンスSa1、Sa2)により行われる。
【0032】
続いて、利用者Dであるその病院の医師が、利用者端末40である自身が所持するスマートフォンを使って、オペレータOを呼び出す(シーケンスSa3)。サーバ30のビデオチャット制御部35は、この呼び出しを受けて、利用者端末40とビデオチャット制御端末50とのビデオチャットを開始する(シーケンスSa4、Sa5)。このとき、利用者端末40は、オペレータOの顔と音声、すなわちビデオチャット制御端末50からの映像と音声を出力している。また、ビデオチャット制御端末50は、利用者Dの顔と音声、すなわち利用者端末40からの映像と音声を出力している。
【0033】
利用者Dは、ビデオチャットで、病棟に入院している「通信先ユーザPとチャット交信をしたい」、「通信先ユーザPとビデオチャットを行いたい」などとオペレータOに伝える。すると、オペレータOは、テレプレゼンスロボット10の内、通信先ユーザPの居る病室の一番近くを巡回しているテレプレゼンスロボット10を、ロボット制御端末60に表示されているマップから見つけ出し、「テレプレゼンスロボット10に繋ぎます」と利用者Dに伝える。なお、ロボット制御端末60は、通信先候補を示す通信先ユーザPの氏名が入力されると、該通信先ユーザPの位置と、その周辺にいるテレプレゼンスロボット10の位置とを含むマップを表示するようにしてもよい。
【0034】
オペレータOは、ロボット制御端末60を操作して、自律走行していたテレプレゼンスロボット10の走行ルートのプログラムを書き換えて、サーバ30のロボット制御部34に通知する(シーケンスSa6)。ロボット制御部34は、通知された走行ルートのプログラムをテレプレゼンスロボット10に送信し(シーケンスSa7)、テレプレゼンスロボット10に通信先ユーザPのベッドの前まで向かわせる。あるいは、オペレータOは、ロボット制御端末60を操作して、テレプレゼンスロボット10の走行を操作してもよい。
【0035】
オペレータOは、ビデオチャット制御端末50を操作して、テレプレゼンスロボット10と利用者端末40とのビデオチャットの開始をサーバ30のビデオチャット制御部35に指示する(シーケンスSa8)。ビデオチャット制御部35は、この指示を受けて、テレプレゼンスロボット10と利用者端末40とビデオチャット制御端末50との3者のビデオチャットを開始する(シーケンスSa9、Sa10、Sa11)。
【0036】
テレプレゼンスロボット10が通信先ユーザPのベッドの前で停止したとき、上記した3者のビデオチャットが開始されており、テレプレゼンスロボット10の電子ディスプレイおよびスピーカからは、利用者端末40を通じた利用者Dの顔と音声が出力されている。また、利用者端末40からは、テレプレゼンスロボット10を通じた通信先ユーザPの顔と音声が出力されている。ビデオチャット制御端末50からは、利用者端末40を通じた利用者Dの顔と音声およびテレプレゼンスロボット10を通じた通信先ユーザPの顔と音声が出力されている。
【0037】
なお、利用者端末40、ビデオチャット制御端末50、テレプレゼンスロボット10の各々において、いずれの端末からの映像と音声を出力するかを、各端末の操作者が指定できるようにしてもよいし、ビデオチャット制御端末50から指定できるようにしてもよい。また、利用者端末40、ビデオチャット制御端末50、テレプレゼンスロボット10の各々において、各端末からの映像と音声を出力するか否かを、各端末の操作者が指定できるようにしてもよいし、ビデオチャット制御端末50から指定できるようにしてもよい。上述の病院の例で言えば、もし利用者Dと通信先ユーザPの2者だけでビデオチャットを実施したい場合は、利用者Dの顔と音声、および通信先ユーザPの顔と音声のビデオチャット制御端末50への出力が、各端末の操作者の指定によって、あるいはビデオチャット制御端末50の指定によって停止される。
【0038】
続いて、医者である利用者Dと、患者である通信先ユーザPがビデオチャットを用いて暫くの間、通信先ユーザPの病状についてチャット交信(ビデオチャット)を行う。このとき、オペレータOは、必要に応じて、ロボット制御端末60を操作して、テレプレゼンスロボット10の位置やビデオカメラの撮影方向を制御し、利用者Dをサポートすることができる。
【0039】
利用者Dと通信先ユーザPの間の会話が終了し、利用者Dが利用者端末40を操作して、ビデオチャットを終了させる。この終了操作を受けて、サーバ30のビデオチャット制御部35は、ビデオチャット制御端末50の画面上に「テレプレゼンスロボット10によるチャット通信が終了しました」という文言を表示させる、あるいはテレプレゼンスロボット10によるチャット通信(ビデオチャット)が終了したことを示す画像(特定のマーク、サインなど)を表示させる。オペレータOは、ロボット制御端末60を操作して、通信先ユーザPのベッドの前に居るテレプレゼンスロボット10の走行ルートのプログラムを書き換えて、サーバ30のロボット制御部34に通知する(シーケンスSa12)。ロボット制御部34は、通知された走行ルートのプログラムをテレプレゼンスロボット10に送信し(シーケンスSa13)、テレプレゼンスロボット10を元の自律走行ルートに復帰させる。テレプレゼンスロボット10は、自律走行に復帰すると、オペレータOは、シーケンスSa1、Sa2と同様に、時々、テレプレゼンスロボット10の近くにいる患者に挨拶をしたり、患者と軽い雑談をしたりする(シーケンスSa14、Sa15)。
【0040】
図5は、本実施形態におけるテレプレゼンスロボットシステム100の動作例2を示すシーケンス図である。図5において、テレプレゼンスロボット10は、図1のテレプレゼンスロボット10a~10cのうちのいずれかを示す。複数のテレプレゼンスロボット10が自律走行しながら病院の患者病棟を巡回および監視している。オペレータOは、ロボット制御端末60に表示される自己位置推定の地図で各テレプレゼンスロボット10が現在どこの場所に居るか監視している。加えて、オペレータOは、サーバ30を介して、複数のテレプレゼンスロボット10から送信されてくる現場の映像および音声を、ビデオチャット制御端末50またはロボット制御端末60を用いて視聴している(シーケンスSb1、Sb2)。
【0041】
オペレータOは、複数のテレプレゼンスロボット10のうちの1台からの映像によって、病院の廊下に患者が倒れているのを発見した。オペレータOは、ビデオチャット制御端末50を操作して、該テレプレゼンスロボット10と、ナースステーションに設置している利用者端末40aと、倒れている患者の担当医の所持する利用者端末40bと、ビデオチャット制御端末50との4者によるビデオチャットを開始し、該テレプレゼンスロボット10からの映像および音声を各端末へ転送するように指示する。ビデオチャット制御端末50は、この指示をサーバ30のビデオチャット制御部35に送信する(シーケンスSb3)。
【0042】
この指示を受けて、サーバ30のビデオチャット制御部35は、テレプレゼンスロボット10と、利用者端末40a、40bと、ビデオチャット制御端末50との4者によるビデオチャットを開始する(シーケンスSb4、Sb5、Sb6、Sb7)。更に、オペレータOは、ロボット制御端末60を操作して、テレプレゼンスロボット10の自律走行を手動走行のモードに切り替え、倒れている患者のすぐ傍までテレプレゼンスロボット10を移動するように指示する。ロボット制御端末60は、この指示をサーバ30のロボット制御部34に送信する(シーケンスSb8)。続けて、サーバ30のロボット制御部34は、テレプレゼンスロボット10に移動を指示し(シーケンスSb9)、倒れている患者のすぐ傍まで移動させる。
【0043】
このときビデオチャット制御端末50は、テレプレゼンスロボット10から送信されてくる現場の映像と音声、看護師の所持する利用者端末40aから送信されてくる映像と音声、および担当医の所持する利用者端末40bから送信されてくる映像と音声を同時に出力する。なお、オペレータOの操作により、これらのうち、任意の人の音声だけが選択的に出力されるようにすることも可能である。また、オペレータOの操作により、これらのうち、任意の人の映像と音声が選択的に出力されるようにしてもよいし、全ての人の映像と音声が出力されないようにしてもよい。
【0044】
同様に、看護師の所持する利用者端末40aは、テレプレゼンスロボット10から送信されてくる現場の映像と音声、担当医の所持する利用者端末40bから送信されてくる映像と音声、およびオペレータOが所持するビデオチャット制御端末50から送信されてくる映像と音声を同時に出力する。なお、看護師の操作により、これらのうち、任意の人の音声だけが選択的に出力されるようにすることも可能である。また、看護師の操作により、これらのうち、任意の人の映像と音声が選択的に出力されるようにしてもよいし、全ての人の映像と音声が出力されないようにしてもよい。
【0045】
更に、同様に、担当医が所持する利用者端末40bは、テレプレゼンスロボット10から送信されてくる現場の映像と音声、看護師の所持する利用者端末40aから送信されてくる映像と音声、およびオペレータOが所持するビデオチャット制御端末50から送信されてくる映像と音声を同時に出力する。なお、担当医の操作により、これらのうち、任意の人の音声だけが選択的に出力されるようにすることも可能である。また、担当医の操作により、これらのうち、任意の人の映像と音声が選択的に出力されるようにしてもよいし、全ての人の映像と音声が出力されないようにしてもよい。
【0046】
図6は、本実施形態におけるビデオチャット制御端末50の表示画面例G1を示す模式図である。ビデオチャット制御端末50の表示画面例G1は、ユーザDの利用者端末40と、テレプレゼンスロボット10であるロボットBと、ビデオチャット制御端末50との3者でビデオチャットを行っている場合の表示画面例である。表示領域RV1には、各テレプレゼンスロボット10からの映像が表示されている。それらのうち、ビデオチャットを行っているロボットBからの映像の枠が、強調表示されている。また、表示領域CVには、ビデオチャットを行っている利用者端末40からの映像が表示されている。また、表示領域Uには、ビデオチャットを行っている利用者端末40のユーザ名が表示されている。なお、複数の利用者端末40とビデオチャットを行っているときは、複数の表示領域CVおよび表示領域Uが表示されてもよい。
【0047】
図7は、本実施形態におけるロボット制御端末60の表示画面例G2を示す模式図である。ロボット制御端末60の表示画面例G2は、オペレータOが、テレプレゼンスロボット10の走行を操作しているときの表示画面例である。表示領域RV2には、各テレプレゼンスロボット10からの映像が表示されている。表示領域CTRは、テレプレゼンスロボットの走行、ビデオカメラの撮影方向を制御するためのボタンが配置されている表示領域である。表示領域Mは、マップ生成部32が生成したマップを表示する領域である。ここでは、2次元のマップの場合を示したが、テレプレゼンスロボット10が走行する空間の斜視図など、3次元のマップを表示してもよい。
【0048】
表示領域M中の丸形RA、RBは、それぞれテレプレゼンスロボット10の現在位置を示す。また、矩形B1~B3は、それぞれベッドを示し、矩形B1~B3の各々に記載されている「AAAA」、「BBBB」、「CCCC」は、通信先候補となる患者の氏名であり、その患者の位置(割り当てられているベッド)を示す。
【0049】
<第1の変形例>
上述の図3では、通信先候補記憶部33は、通信先候補として人物を示す氏名を記憶していたが、通信先候補として通信先と対応付けられる物を記憶していてもよい。第1の変形例では、テレプレゼンスロボットシステム100を小売店で運用し、顧客が利用者端末40を使用し、商品を問い合わせる場合の例を示す。
【0050】
図8は、本変形例における通信先候補記憶部33の記憶内容例を示すテーブルである。図8の例では、通信先候補記憶部33は、通信先候補を示す商品と、通信先候補の位置を示す売り場および棚とを対応付けて記憶する。
【0051】
例えば、通信先候補記憶部33は、商品「EEE」と、売り場「2F01」と、棚「01」とを対応付けて記憶し、商品「FFF」と、売り場「2F01」と、棚「01」とを対応付けて記憶し、商品「GGG」と、売り場「2F01」と、棚「02」とを対応付けて記憶し、商品「HHH」と、売り場「2F02」と、棚「01」とを対応付けて記憶する。なお、ここでは、通信先候補の位置として、売り場と棚を記憶しているが、マップ生成部32が生成するマップと対応付けられる座標を記憶してもよい。
【0052】
本変形例におけるテレプレゼンスロボットシステム100の動作を、図4を用いて説明する。小売店が顧客サービス向上のため、スマートフォンを利用者端末40とするアプリケーションを無料配布する。顧客は自身のスマートフォンに、該アプリケーションをインストールする。
【0053】
この小売店の服飾品売り場には、複数のテレプレゼンスロボット10が配置され、自律走行によって売り場を巡回している。オペレータOは、ロボット制御端末60に表示される自己位置推定の地図で各テレプレゼンスロボット10が現在どこの場所に居るか監視している。また、オペレータOは、時々は、テレプレゼンスロボット10の近くにいる顧客に挨拶をしたり、顧客に要望を聞いたりしている。これらの挨拶や会話は、サーバ30のビデオチャット制御部35を介した、ビデオチャット制御端末50とテレプレゼンスロボット10とのビデオチャット(シーケンスSa1、Sa2)により行われる。
【0054】
自宅にいる顧客が、自身のスマートフォンである利用者端末40を用いて、ビデオチャットによりオペレータOに連絡する(シーケンスSa3)。サーバ30のビデオチャット制御部35は、この連絡を受けて、利用者端末40とビデオチャット制御端末50とのビデオチャットを開始する(シーケンスSa4、Sa5)。このビデオチャットにより、顧客が「商品EEEを見たい」と、オペレータOに伝える。このとき、ビデオチャット制御端末50は顧客の顔および音声を出力しており、利用者端末40はオペレータOの顔および音声を出力している。
【0055】
オペレータOは、ロボット制御端末60に表示されているマップから商品EEEの売り場に一番近い場所を走行しているテレプレゼンスロボット10を見つけ出す。オペレータOは、ロボット制御端末60を操作して、該テレプレゼンスロボット10を自律走行から手動走行にモード変更し、商品EEEの売り場に向かうようにテレプレゼンスロボット10の走行を操作する。このとき、オペレータOによる操作内容を、ロボット制御部34から受信し(シーケンスSa6)、テレプレゼンスロボット10へ中継する(シーケンスSa7)。
【0056】
オペレータOは、ビデオチャット制御端末50を操作して、テレプレゼンスロボット10と利用者端末40とのビデオチャットの開始をサーバ30のビデオチャット制御部35に指示する(シーケンスSa8)。ビデオチャット制御部35は、この指示を受けて、テレプレゼンスロボット10と利用者端末40とビデオチャット制御端末50との3者のビデオチャットを開始する(シーケンスSa9、Sa10、Sa11)。このとき、顧客の利用者端末40は、商品EEEの映像あるいは商品EEEの商品説明を行う売り場スタッフの顔および音声を出力する。一方、テレプレゼンスロボット10は、顧客の顔および音声を出力する。
【0057】
顧客と売り場スタッフが、ビデオチャットにより商品EEEについて会話を行う。このとき、オペレータOは、必要に応じて、ロボット制御端末60を操作して、テレプレゼンスロボット10の位置やビデオカメラの撮影方向を制御し、顧客をサポートすることができる。顧客と売り場スタッフの間の会話が終了し、顧客が利用者端末40を操作して、ビデオチャットを終了させる。この終了操作を受けて、サーバ30のビデオチャット制御部35は、ビデオチャット制御端末50の画面上に「テレプレゼンスロボット10によるチャット通信が終了しました」という文言を表示させる。
【0058】
オペレータOは、ロボット制御端末60を操作して、商品EEEの前に居るテレプレゼンスロボット10の走行ルートのプログラムを書き換えて、サーバ30のロボット制御部34に通知する(シーケンスSa12)。ロボット制御部34は、通知された走行ルートのプログラムをテレプレゼンスロボット10に送信し(シーケンスSa13)、テレプレゼンスロボット10を元の自律走行ルートに復帰させる。テレプレゼンスロボット10は、自律走行に復帰すると、オペレータOは、シーケンスSa1、Sa2と同様に、時々、テレプレゼンスロボット10の近くにいる顧客に挨拶をしたり、顧客に要望を聞いたりする(シーケンスSa14、Sa15)。
【0059】
<第2の変形例>
図9は、上述の実施形態の第2の変形例におけるビデオチャット制御端末50の表示画面例G1を示す模式図である。ビデオチャット制御端末50の表示画面例G1は、利用者Dの端末40と、テレプレゼンスロボット10と、ビデオチャット制御端末50との3者でビデオチャットを行っている場合の表示画面例である。なお、本変形例のテレプレゼンスロボット施設は、図1とほぼ同じであるが、少なくとも5台のテレプレゼンスロボット10と、少なくとも3台の利用者端末40を備える。
【0060】
施設内を走行している複数台のテレプレゼンスロボット10が撮影している映像が画面左側の表示領域RV1に配置される。表示領域RV1の各映像には、どのテレプレゼンスロボット10が撮影している映像かを示すID(「Robot 001」、「Robot 002」など)が付記される。表示領域RV1の上部には、現在稼働しているテレプレゼンスロボット10の全台数(「稼働数 89」、全台数のテレプレゼンスロボット10のなかで現在ビデオチャットの開始を待機している台数(「待機 5」)、および現在ビデオチャットを実施している台数(「通話 0」)が数字で表示される。各テレプレゼンスロボット10のうち、ビデオチャットを現在行っているテレプレゼンスロボット10からの映像の枠が、強調表示されてもよい。
【0061】
更に、図9では、テレプレゼンスロボット10を通じて通信先ユーザPとビデオチャットを行いたい複数の利用者Dのボタンのリスト(「demo User0」、「demo User2」、「demo User1」)が画面右側の表示領域Uに配置される。これらのボタンは、その利用者Dの利用者端末40が通信先ユーザPと通話を開始すると通話中であることを示す色に変化し、かつボタンに“通話中”と表示される。また保留状態にすると保留中であることを示す色に変化し、かつボタンに“保留中”と表示される。表示領域Uの上部には、現在ビデオチャットのシステムにログインしている利用者Dの人数(「ログイン数:3」)、ビデオチャットの開始を待機している利用者Dの人数(「待機 3」)、および現在ビデオチャットで通話を実施している利用者Dの人数(「通話 0」)が数字で表示される。
【0062】
図9では、通信先ユーザPへビデオチャットを行いたい利用者Dが所持する利用者端末40からビデオチャットのシステムに対して発信すると、オペレータOが管理・運用するビデオチャット制御端末50に着信があり、画面が着信表示に切り替わる。着信表示の意図としては、上述の病院の例のように、利用者Dが通信先ユーザPとテレプレゼンスロボット10を通じてビデオチャットを実施したいので、適当なロボットを通信先ユーザPの下へ向かわせて欲しいというものである。このとき、オペレータOのビデオチャット制御端末50の画面中央の表示領域CVには、利用者Dの顔が大きい画面で表示されると同時に、前記大きい画面の左上にはオペレータOが所持するビデオチャット制御端末50のカメラによってオペレータOの顔が小さい画面で表示される。同時に、画面中央上部には、ビデオチャットのシステムが現在“応答中”であることが表示される。
【0063】
この後、オペレータOは、テレプレゼンスロボット10をロボット制御端末60で自動あるいは手動により操作する。オペレータOがテレプレゼンスロボット10を移動させている間、オペレータOは画面中央下部にある“保留”ボタンを押下して、利用者Dに対して保留音を流す。右側のリストで保留中の利用者Dのボタンを押下すると回線がつながり、画面中央下部には「ここに映像をドロップ」と記載された枠が表示される。テレプレゼンスロボット10と利用者Dの回線を接続する際には、この枠内にテレプレゼンスロボット10が備えるカメラが撮影している映像、すなわち表示領域RV1にある映像のうちの一つをドラッグ アンド ドロップする。すると、そのテレプレゼンスロボット10が撮影している映像、および収音している音声が利用者Dの端末40に出力されると同時に、利用者Dの端末40が備えるカメラの映像、およびマイクの音声が、通信先ユーザPの下にいるテレプレゼンスロボット10が備える電子ディスプレイに表示され、かつスピーカから音声を出力される。
【0064】
オペレータOが画面中央下部の“保留”ボタンを押下するたびに、利用者Dと通信先ユーザPの間のビデオチャットが保留されたり再開されたりと、交信状態を切り替えることが可能である。一方で、画面中央下部の赤色の“終話”ボタンを押下すると、利用者Dと通信先ユーザPの間のビデオチャットが完全に途切れた状態になる。なお、複数の利用者端末40とビデオチャットを行っているときは、複数の表示領域CVおよび表示領域Uが表示されてもよい。
【0065】
なお、上述の実施形態および変形例において、オペレータOの行っていたことの一部を、ロボット制御部34、またはビデオチャット制御部35が行ってもよい。例えば、ロボット制御部34は、ロボット位置推定部31が推定した各テレプレゼンスロボット10の位置から、通信先の位置までの経路をA*経路探索アルゴリズムを用いて経路探索し、最短の経路になる位置に居るテレプレゼンスロボット10を通信先に近いものとして選択してもよい。さらに、ロボット制御部34は、該経路探索の結果を用いて、テレプレゼンスロボット10が通信先に向かうように制御してもよい。
【0066】
このように、テレプレゼンスロボットシステム100は、ビデオチャット端末として機能し、かつ、移動可能なテレプレゼンスロボット10と、テレプレゼンスロボット10およびビデオチャットを制御するサーバ30とを備える。そして、サーバ30は、テレプレゼンスロボット10を、ロボット制御端末60からの指示に基づき制御するロボット制御部34と、テレプレゼンスロボット10と、ビデオチャット制御端末50と、利用者端末40とのビデオチャットを制御するビデオチャット制御部35とを備え、ビデオチャット制御部35は、テレプレゼンスロボット10と、ビデオチャット制御端末50と、利用者端末40とを含む少なくとも3者によるビデオチャットを制御する。
【0067】
これにより、利用者がビデオチャットをしている間も、オペレータなどがロボット制御端末60によりテレプレゼンスロボット10を操作可能である。したがって、利用者はテレプレゼンスロボット10の操作に習熟していなくても、テレプレゼンスロボット10を用いたビデオチャットを、従来よりも容易に行うことができる。
【0068】
さらに、サーバ30は、テレプレゼンスロボット10によるビデオチャットを行う通信先候補と、通信先候補の位置とを記憶する通信先候補記憶部33と、テレプレゼンスロボット10の位置を推定するロボット位置推定部31とを備え、ロボット制御部34は、通信先候補の位置と、テレプレゼンスロボット10の位置とを、ロボット制御端末60に表示させる。これにより、ロボット制御端末60のオペレータは、通信先候補とビデオチャットするのに適したテレプレゼンスロボット10を選択することができる。
【0069】
また、図1におけるサーバ30、利用者端末40a、40b、ビデオチャット制御端末50、ロボット制御端末60の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりサーバ30を実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
【0070】
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0071】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【0072】
10、10a、10b、10c テレプレゼンスロボット
20 ネットワーク
30 サーバ
31 ロボット位置推定部
32 マップ生成部
33 通信先候補記憶部
34 ロボット制御部
35 ビデオチャット制御部
40、40a、40b 利用者端末
50 ビデオチャット制御端末
60 ロボット制御端末
100 テレプレゼンスロボットシステム
図1
図2
図3
図4
図5
図6
図7
図8
図9