(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023172428
(43)【公開日】2023-12-06
(54)【発明の名称】ロボット、ロボット制御方法、および、コンピュータプログラム
(51)【国際特許分類】
G06F 3/0481 20220101AFI20231129BHJP
B25J 13/00 20060101ALI20231129BHJP
A63H 11/00 20060101ALI20231129BHJP
G06F 3/01 20060101ALI20231129BHJP
H04N 7/15 20060101ALI20231129BHJP
H04L 67/131 20220101ALI20231129BHJP
【FI】
G06F3/0481
B25J13/00 Z
A63H11/00 Z
G06F3/01 510
H04N7/15 120
H04L67/131
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022084216
(22)【出願日】2022-05-24
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和3年度、国立研究開発法人情報通信研究機構「革新的情報通信技術研究開発委託研究/協調型自立ネットワークの研究開発」、産業技術力強化法第17条の適用を受ける特許出願
(71)【出願人】
【識別番号】504139662
【氏名又は名称】国立大学法人東海国立大学機構
(74)【代理人】
【識別番号】110001911
【氏名又は名称】弁理士法人アルファ国際特許事務所
(72)【発明者】
【氏名】米澤 拓郎
(72)【発明者】
【氏名】河口 信夫
(72)【発明者】
【氏名】浦野 健太
(72)【発明者】
【氏名】興野 悠太郎
【テーマコード(参考)】
2C150
3C707
5C164
5E555
【Fターム(参考)】
2C150CA04
2C150DA06
2C150DF03
2C150EF29
2C150EF33
3C707AS34
3C707CS08
3C707JU02
3C707KT01
3C707KT04
3C707WA16
3C707WL07
3C707WM06
5C164FA10
5C164VA05S
5C164VA21P
5C164VA36P
5E555AA16
5E555AA64
5E555BA02
5E555BA87
5E555BA88
5E555BB02
5E555BC08
5E555BD06
5E555BE16
5E555BE17
5E555CA42
5E555CA47
5E555CB21
5E555CB23
5E555CB64
5E555CC22
5E555DA01
5E555DA08
5E555DA23
5E555DB32
5E555DB53
5E555DB57
5E555DD06
5E555EA22
5E555EA23
5E555FA00
(57)【要約】
【課題】互いに異なる地点に位置するユーザ間で、自然かつ継続的なコミュニケーションを実現する。
【解決手段】ロボットは、ディスプレイと、カメラと、通信インターフェースと、移動機構と、制御部とを備える。制御部は、移動制御部と、遠隔映像処理部と、現地映像処理部とを有する。移動制御部は、移動機構を制御してロボットを移動させる。遠隔映像処理部は、ロボットの現在地とは異なる地点に位置する複数の遠隔ユーザを表す映像を含む遠隔映像を外部ネットワークから通信インターフェースを介して取得し、取得した遠隔映像をディスプレイに表示する。現地映像処理部は、カメラにより撮影された映像である現地映像を複数の遠隔ユーザに視認させるために、通信インターフェースを介して外部ネットワークに送信する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
ロボットであって、
ディスプレイと、
カメラと、
通信インターフェースと、
前記ロボットを移動させる移動機構と、
制御部と、
を備え、
前記制御部は、
前記移動機構を制御して前記ロボットを移動させる移動制御部と、
前記ロボットの現在地とは異なる地点に位置する複数の遠隔ユーザを表す映像を含む遠隔映像を外部ネットワークから前記通信インターフェースを介して取得し、取得した前記遠隔映像を前記ディスプレイに表示する遠隔映像処理部と、
前記カメラにより撮影された映像である現地映像を前記複数の遠隔ユーザに視認させるために、前記通信インターフェースを介して前記外部ネットワークに送信する現地映像処理部と、
を有する、ロボット。
【請求項2】
請求項1に記載のロボットであって、
前記制御部は、さらに、前記外部ネットワーク上に前記複数の遠隔ユーザにより共有される情報空間を構築する情報空間構築部を有し、
前記現地映像処理部は、前記現地映像を、前記情報空間に投影することにより、前記情報空間に仮想的に位置する前記複数の遠隔ユーザに視認させる、ロボット。
【請求項3】
請求項2に記載のロボットであって、
前記遠隔映像は、前記複数の遠隔ユーザのアバターの映像を含む、ロボット。
【請求項4】
請求項1または請求項2に記載のロボットであって、
前記ディスプレイは、360度ディスプレイである、ロボット。
【請求項5】
請求項1または請求項2に記載のロボットであって、
前記カメラは、360度カメラである、ロボット。
【請求項6】
請求項1または請求項2に記載のロボットであって、
さらに、360度マイクを備え、
前記制御部は、さらに、前記360度マイクにより取得された音声である現地音声を、前記複数の遠隔ユーザに音源の方向を認識可能に聴かせるために、前記通信インターフェースを介して前記外部ネットワークに送信する現地音声処理部を有する、ロボット。
【請求項7】
請求項1または請求項2に記載のロボットであって、
さらに、指向性スピーカを備え、
前記制御部は、さらに、前記複数の遠隔ユーザから発せられる音声である遠隔音声を前記外部ネットワークから前記通信インターフェースを介して取得し、取得した前記遠隔音声を各前記遠隔ユーザが位置する方向を認識可能に前記指向性スピーカから出力する遠隔音声処理部を有する、ロボット。
【請求項8】
請求項1または請求項2に記載のロボットであって、
さらに、ロボットアームを備え、
前記制御部は、さらに、前記複数の遠隔ユーザからの操作指示を前記外部ネットワークから前記通信インターフェースを介して取得し、取得した前記操作指示に応じて前記ロボットアームを動作させるロボットアーム制御部を有する、ロボット。
【請求項9】
ディスプレイと、カメラと、通信インターフェースと、移動機構と、を備えるロボットを制御するためのロボット制御方法であって、
前記移動機構を制御して前記ロボットを移動させる工程と、
前記ロボットの現在地とは異なる地点に位置する複数の遠隔ユーザを表す映像を含む遠隔映像を外部ネットワークから前記通信インターフェースを介して取得し、取得した前記遠隔映像を前記ディスプレイに表示する工程と、
前記カメラにより撮影された映像である現地映像を前記複数の遠隔ユーザに視認させるために、前記通信インターフェースを介して前記外部ネットワークに送信する工程と、
を備える、ロボット制御方法。
【請求項10】
ディスプレイと、カメラと、通信インターフェースと、移動機構と、を備えるロボットを制御するためのコンピュータプログラムであって、
コンピュータに、
前記移動機構を制御して前記ロボットを移動させる処理と、
前記ロボットの現在地とは異なる地点に位置する複数の遠隔ユーザを表す映像を含む遠隔映像を外部ネットワークから前記通信インターフェースを介して取得し、取得した前記遠隔映像を前記ディスプレイに表示する処理と、
前記カメラにより撮影された映像である現地映像を前記複数の遠隔ユーザに視認させるために、前記通信インターフェースを介して前記外部ネットワークに送信する処理と、
を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書に開示される技術は、ロボット、ロボット制御方法、および、コンピュータプログラムに関する。
【背景技術】
【0002】
ロボットを、該ロボットとは異なる地点に位置する人間の分身として利用するテレイグジスタンス(遠隔存在感、遠隔臨場感)と呼ばれる技術が知られている。この技術を用いて、ある地点(現地)に位置するロボットに他の地点(遠隔地)にいる人が乗り移る(憑依する)ことにより、遠隔地にいる人と現地にいる他の人との間で、リアルタイムのコミュニケーションおよび/またはインタラクション(以下、単に「コミュニケ-ション」という。)を実現することができる(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来のテレイグジスタンス技術は、遠隔地にいる1人の人が現地にいる1つのロボットに乗り移るものであるため、遠隔地にいる人と現地にいる人との間でのコミュニケーションにおいて、心理的なギャップが生じやすい。例えば、現地にいる人は、「せっかく遠隔地から来てくれているので相手をしてあげなければ」という心理になりやすく、そのような心理が遠隔地にいる人に伝わって心理的な負担となり、両者の間の自然かつ継続的なコミュニケーションを阻害する原因となり得る。
【0005】
このように、従来の技術では、テレイグジスタンス技術を用いた互いに異なる地点間の自然かつ継続的なコミュニケーションに関し、向上の余地がある。
【0006】
本明細書では、上述した課題を解決することが可能な技術を開示する。
【課題を解決するための手段】
【0007】
本明細書に開示される技術は、例えば、以下の形態として実現することが可能である。
【0008】
(1)本明細書に開示されるロボットは、ディスプレイと、カメラと、通信インターフェースと、ロボットを移動させる移動機構と、制御部とを備える。制御部は、移動制御部と、遠隔映像処理部と、現地映像処理部とを有する。移動制御部は、移動機構を制御してロボットを移動させる。遠隔映像処理部は、ロボットの現在地とは異なる地点に位置する複数の遠隔ユーザを表す映像を含む遠隔映像を外部ネットワークから通信インターフェースを介して取得し、取得した遠隔映像をディスプレイに表示する。現地映像処理部は、カメラにより撮影された映像である現地映像を複数の遠隔ユーザに視認させるために、通信インターフェースを介して外部ネットワークに送信する。
【0009】
このように、本ロボットでは、移動制御部が、移動機構を制御してロボットを移動させ、遠隔映像処理部が、複数の遠隔ユーザを表す映像を含む遠隔映像をディスプレイに表示し、現地映像処理部が、カメラにより撮影された映像である現地映像を複数の遠隔ユーザに視認させる。そのため、本ロボットは、複数の遠隔ユーザを自らに乗り移らせることができる集団テレイグジスタンス装置として機能する。そのため、遠隔ユーザと現地ユーザとの関係が、個対群ではなく、群対群の関係となり、遠隔ユーザの心理的な負担を軽減することができる。さらに、本ロボットに乗り移った複数の遠隔ユーザは、あたかも1つのロボットに同乗したような体験を共有することとなり、複数の遠隔ユーザ間の親近感が醸成される。以上のことから、本ロボットによれば、互いに異なる地点に位置するユーザ間で、自然かつ継続的なコミュニケーションを実現することができる。
【0010】
(2)上記ロボットにおいて、前記制御部は、さらに、前記外部ネットワーク上に前記複数の遠隔ユーザにより共有される情報空間を構築する情報空間構築部を有し、前記現地映像処理部は、前記現地映像を、前記情報空間に投影することにより、前記情報空間に仮想的に位置する前記複数の遠隔ユーザに視認させる構成としてもよい。本構成を採用すれば、複数の遠隔ユーザが現実的に1つの地点に集まる必要はなく、互いに異なる地点に位置する複数の遠隔ユーザが仮想的に1つの情報空間に集まって、現地ユーザとのコミュニケーションを行うことができる。
【0011】
(3)上記ロボットにおいて、前記遠隔映像は、前記複数の遠隔ユーザのアバターの映像を含む構成としてもよい。本構成を採用すれば、遠隔ユーザがカメラ機能を有する装置を用いる必要がなく、また、より柔軟で多様な映像表現を用いたコミュニケーションを実現することができる。
【0012】
(4)上記ロボットにおいて、前記ディスプレイは、360度ディスプレイである構成としてもよい。本構成を採用すれば、互いに異なる地点に位置するユーザ間で、より臨場感のある映像を介したコミュニケーションを実現することができる。
【0013】
(5)上記ロボットにおいて、前記カメラは、360度カメラである構成としてもよい。本構成を採用すれば、互いに異なる地点に位置するユーザ間で、より臨場感のある映像を介したコミュニケーションを実現することができる。
【0014】
(6)上記ロボットにおいて、さらに、360度マイクを備え、前記制御部は、さらに、前記360度マイクにより取得された音声である現地音声を、前記複数の遠隔ユーザに音源の方向を認識可能に聴かせるために、前記通信インターフェースを介して前記外部ネットワークに送信する現地音声処理部を有する構成としてもよい。本構成を採用すれば、互いに異なる地点に位置するユーザ間で、より臨場感のある音声を介したコミュニケーションを実現することができる。
【0015】
(7)上記ロボットにおいて、さらに、指向性スピーカを備え、前記制御部は、さらに、前記複数の遠隔ユーザから発せられる音声である遠隔音声を前記外部ネットワークから前記通信インターフェースを介して取得し、取得した前記遠隔音声を各前記遠隔ユーザが位置する方向を認識可能に前記指向性スピーカから出力する遠隔音声処理部を有する構成としてもよい。本構成を採用すれば、互いに異なる地点に位置するユーザ間で、より臨場感のある音声を介したコミュニケーションを実現することができる。
【0016】
(8)上記ロボットにおいて、さらに、ロボットアームを備え、前記制御部は、さらに、前記複数の遠隔ユーザからの操作指示を前記外部ネットワークから前記通信インターフェースを介して取得し、取得した前記操作指示に応じて前記ロボットアームを動作させるロボットアーム制御部を有する構成としてもよい。本構成を採用すれば、互いに異なる地点に位置するユーザ間で、ロボットアームを介したコミュニケーション(インタラクション)を実現することができる。
【0017】
なお、本明細書に開示される技術は、種々の形態で実現することが可能であり、例えば、ロボット、ロボット制御装置、ロボットとロボット制御装置とを備えるロボットシステム、ロボットの制御方法、それらの方法を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。
【図面の簡単な説明】
【0018】
【
図1】第1実施形態における遠隔コミュニケーションシステム10の構成を概略的に示す説明図
【
図3】ロボット100の機能的構成を示すブロック図
【
図5】第1実施形態の遠隔コミュニケーションシステム10において実行される遠隔コミュニケーション処理の流れを示す説明図
【
図7】第2実施形態における遠隔コミュニケーションシステム10aの構成を概略的に示す説明図
【
図8】第2実施形態における遠隔コミュニケーションシステム10aにおいて実行される遠隔コミュニケーション処理の流れを示す説明図
【発明を実施するための形態】
【0019】
A.第1実施形態:
A-1.遠隔コミュニケーションシステム10の構成:
図1は、第1実施形態における遠隔コミュニケーションシステム10の構成を概略的に示す説明図である。本実施形態の遠隔コミュニケーションシステム10は、テレイグジスタンス技術を用いて、互いに異なる地点に位置するユーザ同士のリアルタイムなコミュニケーションを実現するためのシステムである。
【0020】
図1の例では、遠隔コミュニケーションシステム10により、互いに異なる4つの地点Pのいずれかに位置する5人のユーザUによるコミュニケーションが実現されている。以下の説明では、便宜上、後述するロボット100を基準として考え、互いに異なる4つの地点Pのうち、ロボット100が位置する地点Pを現地Psといい、他の3つの地点Pを、それぞれ、第1遠隔地Pr1、第2遠隔地Pr2および第3遠隔地Pr3という。以下、第1遠隔地Pr1、第2遠隔地Pr2および第3遠隔地Pr3を、まとめて「遠隔地Pr」という。なお、例えば第1遠隔地Pr1を基準として考えると、現地Psは「遠隔地」に該当する。
【0021】
現地Psには2人のユーザU(以下、「現地ユーザUs」という。)が位置している。一方、第1遠隔地Pr1には1人のユーザU(以下、「第1遠隔ユーザUr1」という。)が位置し、第2遠隔地Pr2には1人のユーザU(以下、「第2遠隔ユーザUr2」という。)が位置し、第3遠隔地Pr3には1人のユーザU(以下、「第3遠隔ユーザUr3」という。)が位置している。以下、第1遠隔ユーザUr1、第2遠隔ユーザUr2および第3遠隔ユーザUr3を、まとめて「遠隔ユーザUr」という。
図1の例では、各遠隔地Prに1人のユーザUが位置しているが、いずれかの遠隔地Prに複数人のユーザUが位置していてもよい。
【0022】
遠隔コミュニケーションシステム10は、ロボット100と、頭部装着型表示装置(Head Mounted Display、以下「HMD」という。)200とを備える。遠隔コミュニケーションシステム10を構成する各装置は、インターネット等の外部ネットワークNETを介して互いに通信可能に接続されている。
図1の例では、遠隔コミュニケーションシステム10は、1つのロボット100と、3つのHMD200とを備える。1つのロボット100は、現地Psに位置し、現地ユーザUsと対面している。3つのHMD200は、それぞれ、遠隔地Prに位置する3人の遠隔ユーザUrの頭部に装着されている。
【0023】
(ロボット100の構成)
図2は、ロボット100の外観構成を示す斜視図であり、
図3は、ロボット100の機能的構成を示すブロック図である。ロボット100は、テレイグジスタンス技術を用いてユーザUを自らに乗り移らせる(憑依させる)ことにより、互いに異なる地点間のコミュニケ-ションを実現するための装置である。後述するように、ロボット100は、遠隔地Prにいる複数人のユーザUを乗り移らせることができる集団テレイグジスタンス装置として機能する。
【0024】
図2および
図3に示すように、ロボット100は、ディスプレイ151と、カメラ152と、マイク153と、スピーカ154と、ロボットアーム155と、移動機構156と、通信インターフェース130と、操作入力部140と、制御部110と、記憶部120とを備える。これらの各部は、バス190を介して互いに通信可能に接続されている。
【0025】
ロボット100のディスプレイ151は、デジタル映像データに基づき各種の映像を表示する装置であり、例えば液晶ディスプレイや有機ELディスプレイにより構成されている。本実施形態では、ディスプレイ151は、略球状のディスプレイであり、球体の外周面の略全体を表示面としている。
【0026】
ロボット100のカメラ152は、イメージセンサを用いて撮影を行うことによりデジタル映像データを生成する装置である。本実施形態では、カメラ152は、360度全天球映像を生成可能な360度カメラである。なお、本明細書において、用語「360度」は、必ずしも厳密な360度に限定されるものではなく、おおよそ360度を意味する。カメラ152は、ディスプレイ151より上方の位置に設置されている。カメラ152は、例えば8Kや16Kといった高解像度のデジタル映像データを生成可能であることが好ましい。
【0027】
ロボット100のマイク153は、入力された音声に基づきデジタル音声データを生成する装置である。本実施形態では、マイク153は、マイク153の周囲360度から集音可能な360度サラウンドマイクである。マイク153は、ディスプレイ151およびカメラ152より上方の位置に設置されている。
【0028】
ロボット100のスピーカ154は、デジタル音声データに基づき音声を再生する装置である。本実施形態では、ディスプレイ151より上方の位置に、周方向に沿って略等間隔に並ぶように、複数の指向性のスピーカ154が設置されている。
【0029】
ロボット100のロボットアーム155は、物をつかむ・放す・運ぶなどの動作を実行可能な機械式の腕である。本実施形態では、ディスプレイ151より下方の位置に、周方向に沿って略等間隔に並ぶように、複数のロボットアーム155が設置されている。
【0030】
ロボット100の移動機構156は、ロボット100の最下部を構成しており、ロボット100を移動させる。すなわち、移動機構156は、車輪157と、車輪157を駆動する図示しない駆動部とを有し、例えば遠隔ユーザUrおよび/または現地ユーザUsの操作に従い、ロボット100を移動させる。また、本実施形態では、移動機構156は、図示しないセンサ(例えば、LiDAR、レーダー、遠赤外線カメラ、超音波センサ等)を有しており、人による操作なしでロボット100を自律的に移動させることも可能である。
【0031】
ロボット100の通信インターフェース130は、所定の通信方式で外部ネットワークNET上の他の装置等との通信を行うインターフェースである。通信インターフェース130は、例えばB5Gや6Gといった次世代移動通信システムに則った通信を実行可能であることが好ましい。ロボット100の操作入力部140は、例えばタッチパネルやボタン、キーボード、マイク等により構成され、管理者の操作や指示を受け付ける。
【0032】
ロボット100の記憶部120は、例えばROM、RAM、HDD、SSD等により構成され、各種のプログラムやデータを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。例えば、記憶部120には、ロボット100を制御するためのロボット制御プログラムCPが格納されている。ロボット制御プログラムCPは、例えば、CD-ROMやDVD-ROM、USBメモリ等のコンピュータ読み取り可能な記録媒体(不図示)に格納された状態で提供され、あるいは、通信インターフェース130を介して外部装置(外部ネットワークNET上のサーバや他の端末装置)から取得可能な状態で提供され、ロボット100上で動作可能な状態で記憶部120に格納される。
【0033】
ロボット100の制御部110は、例えばCPU等により構成され、記憶部120から読み出したコンピュータプログラムを実行することにより、ロボット100の各部の動作を制御する。例えば、制御部110は、記憶部120からロボット制御プログラムCPを読み出して実行することにより、ロボット100の各部の動作を制御するためのロボット動作制御部111として機能する。ロボット動作制御部111は、遠隔映像処理部112と、現地映像処理部113と、遠隔音声処理部114と、現地音声処理部115と、移動制御部116と、ロボットアーム制御部117と、情報空間構築部118とを含む。これら各部の機能については、後に詳述する。
【0034】
(HMD200の構成)
図1に示すように、HMD200は、ユーザUの頭部に装着された状態で、ユーザUに映像を視認させる装置である。本実施形態では、HMD200は、ユーザUの両眼を完全に覆う非透過側のHMDであり、ユーザUに対してバーチャルリアリティ(VR)体験を提供する。なお、HMD200は、音声の入出力も実行可能であり、ユーザUに対して視覚および聴覚を介したVR体験を提供する。さらに、HMD200は、ユーザUに対して他の感覚(例えば触覚)を介したVR体験を提供可能であってもよい。
【0035】
図4は、HMD200の機能的構成を示すブロック図である。HMD200は、右眼用表示実行部251と、左眼用表示実行部252と、マイク253と、スピーカ254と、頭部動き検出部255と、通信インターフェース230と、操作入力部240と、制御部210と、記憶部220とを備える。これらの各部は、バス290を介して互いに通信可能に接続されている。
【0036】
HMD200の右眼用表示実行部251は、例えば、光源と、表示素子(デジタルミラーデバイス(DMD)や液晶パネル等)と、光学系とを有し、右眼用映像を表す光を生成してユーザUの右眼に導くことにより、ユーザUの右眼に右眼用映像を視認させる。左眼用表示実行部252は、右眼用表示実行部251とは独立して設けられており、右眼用表示実行部251と同様に、例えば、光源と、表示素子と、光学系とを備え、左眼用映像を表す光を生成してユーザUの左眼に導くことにより、ユーザUの左眼に左眼用映像を視認させる。ユーザUの右眼が右眼用映像を視認し、ユーザUの左眼が左眼用映像を視認した状態では、ユーザUは3D映像を視認する。右眼用表示実行部251および左眼用表示実行部252は、例えば8Kや16Kといった高解像度のデジタル映像データを再生可能であることが好ましい。
【0037】
HMD200のマイク253は、入力された音声に基づきデジタル音声データを生成する装置である。HMD200のスピーカ254は、デジタル音声データに基づき音声を再生する装置である。本実施形態では、スピーカ254は、指向性のスピーカである。
【0038】
HMD200の頭部動き検出部255は、いわゆるヘッドトラッキング機能を実現するために、HMD200の動き(すなわち、ユーザUの頭部の動き)を検出するセンサである。なお、ユーザUの頭部の動きとは、ユーザUの頭部の位置の変化と向きの変化とを含む概念である。頭部動き検出部255により検出されたHMD200の動きに基づき、右眼用表示実行部251および左眼用表示実行部252がユーザUに視認させる映像を切り替えることにより、ユーザUは、頭部の動きに応じて自然に変化するVR映像を視認する。
【0039】
HMD200の通信インターフェース230は、所定の通信方式で外部ネットワークNET上の他の装置等との通信を行うインターフェースである。通信インターフェース230は、例えばB5Gや6Gといった次世代移動通信システムに則った通信を実行可能であることが好ましい。HMD200の操作入力部240は、例えばタッチパネルやボタン等により構成され、ユーザUの操作や指示を受け付ける。なお、操作入力部240は、HMD200の筐体(ユーザUの頭部に装着される部分)の内部に配置されてもよいし、筐体に対して信号線を介して接続された別体として構成されてもよい。
【0040】
HMD200の記憶部220は、例えばROM、RAM、SSD等により構成され、各種のプログラムやデータを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。また、HMD200の制御部210は、例えばCPU等により構成され、記憶部220から読み出したコンピュータプログラムを実行することにより、HMD200の各部の動作を制御する。
【0041】
A-2.遠隔コミュニケーション処理:
次に、第1実施形態の遠隔コミュニケーションシステム10において実行される遠隔コミュニケーション処理について説明する。遠隔コミュニケーション処理は、互いに異なる地点に位置するユーザU同士の視覚および/または聴覚を介したリアルタイムなコミュニケーションを実現するための処理である。
図5は、第1実施形態の遠隔コミュニケーションシステム10において実行される遠隔コミュニケーション処理の流れを示す説明図である。
【0042】
まず、ロボット100のロボット動作制御部111(
図3)が、通信インターフェース130を介して外部ネットワークNETに接続し(S102)、情報空間構築部118が、外部ネットワークNET上に情報空間VSを構築する(S104)。
図1に示すように、情報空間VSは、例えばメタバースといった3次元の仮想空間であり、本実施形態では、ロボット100の内部空間を模した空間である。情報空間VSは、例えば、外部ネットワークNET上の図示しないサーバ上に構築される。
【0043】
また、各HMD200の制御部210は、通信インターフェース230を介して外部ネットワークNETに接続すると共に(S202)、外部ネットワークNET上の情報空間VSにアクセスする(S204)。これにより、
図1に示すように、HMD200を装着した各遠隔ユーザUr(第1遠隔ユーザUr1、第2遠隔ユーザUr2および第3遠隔ユーザUr3)が、アバター(第1遠隔ユーザアバターUra1、第2遠隔ユーザアバターUra2および第3遠隔ユーザアバターUra3)として、情報空間VSに仮想的に位置する。上述したように、情報空間VSはロボット100の内部空間を模した空間であるため、情報空間VSに仮想的に位置する各遠隔ユーザUrは、情報空間VSを介してロボット100に乗り移る(憑依する)こととなる。すなわち、複数の遠隔ユーザUrは、あたかも1つのロボット100に同乗したような状態となる。
【0044】
ロボット100の遠隔映像処理部112(
図3)は、情報空間VSの様子を表す映像である遠隔映像Irを通信インターフェース130を介して取得し、取得した遠隔映像Irをディスプレイ151に表示する(S106)。情報空間VSには複数の遠隔ユーザUrが仮想的に位置しているため、遠隔映像Irは、複数の遠隔ユーザUrを表す映像(より具体的には、遠隔ユーザUrのアバターUraの映像)を含む。
図1に示すように、ロボット100のディスプレイ151に遠隔映像Irが表示されることにより、現地Psにいる各現地ユーザUsは、各遠隔ユーザUrのアバターUraの映像を含む遠隔映像Irを視認することができる。すなわち、現地Psにいる各現地ユーザUsは、ロボット100に複数の遠隔ユーザUrが乗り移っていることを認識することができる。
【0045】
また、ロボット100の現地映像処理部113(
図3)は、カメラ152を用いて撮影を行うことにより現地映像Isを生成し(S108)、生成した現地映像Isを通信インターフェース130を介して情報空間VSに送信し(S110)、現地映像Isを情報空間VSに投影させる(S302)。これにより、各遠隔ユーザUrは、HMD200を介して、情報空間VSに投影された現地映像Isを視認する(S206)。
図1に示すように、例えば第1遠隔ユーザUr1は、情報空間VSを介してロボット100に乗り移った状態で、ロボット100の周囲の景色を現地映像Isとして視認する。なお、第1遠隔ユーザUr1は、情報空間VSに仮想的に位置する他の遠隔ユーザUrのアバターUra(第2遠隔ユーザアバターUra2および第3遠隔ユーザアバターUra3)も視認する。
【0046】
なお、
図5には図示を省略しているが、ロボット100の現地音声処理部115(
図3)は、マイク153を用いて各現地ユーザUsの声を含む現地Psの音声(以下、「現地音声」という。)を生成し、生成した現地音声を通信インターフェース130を介して情報空間VSに送信する。これにより、現地音声が各HMD200のスピーカ254により音源の方向を認識可能に再生される。また、ロボット100の遠隔音声処理部114(
図3)は、各HMD200のマイク253により生成された各遠隔ユーザUrの声を含む遠隔地Prの音声(以下、「遠隔音声」という。)を通信インターフェース130を介して取得し、取得した遠隔音声をスピーカ154により音源の方向(
図1の例では、各遠隔ユーザUrのアバターUraの方向)を認識可能に再生する。
【0047】
この状態では、2人の現地ユーザUsが現実的に現地Psに位置し、かつ、3人の遠隔ユーザUrが情報空間VSを介してロボット100に乗り移ることによって仮想的に現地Psに位置する。そのため、現実的には互いに異なる地点に位置する5人のユーザUが、仮想的に現地Psに集まり、視覚および聴覚を介して互いにコミュニケーションを取ることができる。なお、複数の遠隔ユーザUrは1つの情報空間VSを共有しているため、遠隔ユーザUr同士のコミュニケーションも当然に実行可能である。
【0048】
また、ロボット100のロボットアーム制御部117(
図3)は、ロボットアーム操作指示の有無を監視し(S112)、ロボットアーム操作指示があったとき(S112:YES)、該指示に従いロボットアーム155を動作させる(S114)。本実施形態では、遠隔ユーザUrが、HMD200の操作入力部240を介して、ロボットアーム操作指示を発行することができる。これにより、遠隔ユーザUrは、ロボットアーム155を介して現地ユーザUsとコミュニケーション(例えば、握手やハイタッチ)を取ったり、現地Psにある物体に何らかの操作を行ったりすることができる。
【0049】
また、ロボット100の移動制御部116(
図3)は、移動条件が満たされたか否かを監視し(S116)、移動条件が満たされたとき(S116:YES)、移動機構156を動作させてロボット100を移動させる(S118)。本実施形態では、遠隔ユーザUrが、HMD200の操作入力部240を介して、ロボット100の移動指示を発行することができ、上記移動条件は、該移動指示があったことを含む。そのため、遠隔ユーザUrは、該移動指示を発行することにより、自らの乗り移り先であるロボット100を移動させることができ、これにより、現地Psにおいて仮想的に自らが移動することができる。このような遠隔ユーザUrの仮想的な移動に伴い、当然に、遠隔ユーザUrに視認される現地映像Isも変化する。なお、遠隔ユーザUrによる移動指示は、遠隔ユーザUrが遠隔地Prにおいて現実的に移動することによりHMD200の頭部動き検出部255が該移動の動きを検知することに伴って発行されるとしてもよい。
【0050】
上記移動条件として、遠隔ユーザUrによる移動指示があったことに加えて、あるいは、これに代えて、他の条件を採用してもよい。例えば、上記移動条件として、現地ユーザUsによる移動指示があったことを採用してもよい。現地ユーザUsによる移動指示は、ロボット100の操作入力部140を介して、あるいは、ロボット100と通信可能な端末装置(不図示)を介して発行することができる。また、上記移動条件として、現地ユーザUsが移動したことにより現地ユーザUsとロボット100との間の距離が変化したことを採用してもよい。このようにすれば、ロボット100を現地ユーザUsに追随させることができる。
【0051】
遠隔コミュニケーションシステム10において、各装置において終了指示(S120、S304、S208)がなされない限り、上述の処理が繰り返され、互いに異なる地点に位置するユーザU同士のコミュニケーションが継続的に実行される。各装置において終了指示があったとき(S120:YES、S304:YES、S208:YES)、遠隔コミュニケーションシステム10による遠隔コミュニケーション処理は終了する。
【0052】
A-3.第1実施形態の効果:
以上説明したように、第1実施形態の遠隔コミュニケーションシステム10を構成するロボット100は、ディスプレイ151と、カメラ152と、通信インターフェース130と、ロボット100を移動させる移動機構156と、制御部110とを備える。制御部110は、移動制御部116と、遠隔映像処理部112と、現地映像処理部113とを有する。移動制御部116は、移動機構156を制御してロボット100を移動させる。遠隔映像処理部112は、ロボット100の現在地とは異なる地点に位置する複数の遠隔ユーザUrを表す映像を含む遠隔映像Irを外部ネットワークNETから通信インターフェース130を介して取得し、取得した遠隔映像Irをディスプレイ151に表示する。現地映像処理部113は、カメラ152により撮影された映像である現地映像Isを複数の遠隔ユーザUrに視認させるために、通信インターフェース130を介して外部ネットワークNETに送信する。
【0053】
このように、本実施形態のロボット100では、移動制御部116が、移動機構156を制御してロボット100を移動させ、遠隔映像処理部112が、複数の遠隔ユーザUrを表す映像を含む遠隔映像Irをディスプレイ151に表示し、現地映像処理部113が、カメラ152により撮影された映像である現地映像Isを複数の遠隔ユーザUrに視認させる。そのため、ロボット100は、複数の遠隔ユーザUrを自らに乗り移らせることができる集団テレイグジスタンス装置として機能する。従って、ロボット100は、ロボット100に乗り移った複数の遠隔ユーザUrと、ロボット100の現在地(現地Ps)に現実的に位置する現地ユーザUsと、の間のリアルタイムなコミュニケーションを実現することができる。
【0054】
ここで、
図6に示すように、1人のみの遠隔ユーザUrを自らに乗り移らせることができる従来のロボット100X(テレイグジスタンス装置)によっても、ロボット100Xに乗り移った1人の遠隔ユーザUrと、ロボット100の現在地(現地Ps)に現実的に位置する現地ユーザUsと、の間のリアルタイムなコミュニケーションを実現することができる。しかしながら、従来のロボット100Xによる上記コミュニケーションでは、心理的なギャップが生じやすい。例えば、現地ユーザUsは、「せっかく遠隔地から来てくれているので相手をしてあげなければ」という心理になりやすく、そのような心理が遠隔ユーザUrに伝わって心理的な負担となり、両者の間の自然かつ継続的なコミュニケーションを阻害する原因となり得る。
【0055】
これに対し、本実施形態のロボット100は、複数の遠隔ユーザUrを自らに乗り移らせることができる。そのため、遠隔ユーザUrと現地ユーザUsとの関係が、個対群ではなく、群対群の関係となり、遠隔ユーザUrの心理的な負担を軽減することができる。さらに、ロボット100に乗り移った複数の遠隔ユーザUrは、あたかも1つのロボット100に同乗したような体験を共有することとなり、複数の遠隔ユーザUr間の親近感が醸成される。以上のことから、本実施形態のロボット100によれば、複数の遠隔ユーザUrと現地ユーザUsとの間で、自然かつ継続的なコミュニケーションを実現することができる。
【0056】
また、本実施形態では、ロボット100の制御部110は、さらに、外部ネットワークNET上に複数の遠隔ユーザUrにより共有される情報空間VSを構築する情報空間構築部118を有し、現地映像処理部113は、現地映像Isを、情報空間VSに投影することにより、情報空間VSに仮想的に位置する複数の遠隔ユーザUrに視認させる。そのため、本実施形態のロボット100によれば、複数の遠隔ユーザUrが現実的に1つの地点に集まる必要はなく、互いに異なる地点に位置する複数の遠隔ユーザUrが仮想的に1つの情報空間VSに集まって、現地ユーザUsとのコミュニケーションを行うことができる。
【0057】
また、本実施形態では、遠隔映像Irは、複数の遠隔ユーザUrのアバターUraの映像を含む。そのため、本実施形態のロボット100によれば、遠隔ユーザUrがカメラ機能を有する装置を用いる必要がなく、また、より柔軟で多様な映像表現を用いたコミュニケーションを実現することができる。
【0058】
また、本実施形態では、ロボット100のディスプレイ151は、360度ディスプレイである。そのため、本実施形態のロボット100によれば、複数の遠隔ユーザUrと現地ユーザUsとの間で、より臨場感のある映像を介したコミュニケーションを実現することができる。
【0059】
また、本実施形態では、ロボット100のカメラ152は、360度カメラである。そのため、本実施形態のロボット100によれば、複数の遠隔ユーザUrと現地ユーザUsとの間で、より臨場感のある映像を介したコミュニケーションを実現することができる。
【0060】
また、本実施形態では、ロボット100は、さらに360度マイクであるマイク153を備え、制御部110は、さらに、マイク153により取得された音声である現地音声を、複数の遠隔ユーザUrに音源の方向を認識可能に聴かせるために、通信インターフェース130を介して外部ネットワークNETに送信する現地音声処理部115を有する。そのため、本実施形態のロボット100によれば、複数の遠隔ユーザUrと現地ユーザUsとの間で、より臨場感のある音声を介したコミュニケーションを実現することができる。
【0061】
また、本実施形態では、ロボット100は、さらに指向性を有するスピーカ154を備え、制御部110は、さらに、複数の遠隔ユーザUrから発せられる音声である遠隔音声を外部ネットワークNETから通信インターフェース130を介して取得し、取得した遠隔音声を各遠隔ユーザUrが位置する方向を認識可能にスピーカ154から出力する遠隔音声処理部114を有する。そのため、本実施形態のロボット100によれば、複数の遠隔ユーザUrと現地ユーザUsとの間で、より臨場感のある音声を介したコミュニケーションを実現することができる。
【0062】
また、本実施形態では、ロボット100は、さらにロボットアーム155を備え、制御部110は、さらに、複数の遠隔ユーザUrからの操作指示を外部ネットワークNETから通信インターフェース130を介して取得し、取得した操作指示に応じてロボットアーム155を動作させるロボットアーム制御部117を有する。そのため、本実施形態のロボット100によれば、複数の遠隔ユーザUrと現地ユーザUsとの間で、ロボットアーム155を介したコミュニケーション(インタラクション)を実現することができる。
【0063】
B.第2実施形態:
図7は、第2実施形態における遠隔コミュニケーションシステム10aの構成を概略的に示す説明図であり、
図8は、第2実施形態における遠隔コミュニケーションシステム10aにおいて実行される遠隔コミュニケーション処理の流れを示す説明図である。以下では、第2実施形態の遠隔コミュニケーションシステム10aの構成や遠隔コミュニケーション処理の内容のうち、上述した第1実施形態と同一の構成および処理内容については、同一の符号を付すことによってその説明を適宜省略する。
【0064】
第2実施形態の遠隔コミュニケーションシステム10aは、2つのロボット100を備える。2つのロボット100は、外部ネットワークNETを介して互いに通信可能に接続されている。各ロボット100の構成は、第1実施形態におけるロボット100の構成と同様である。
【0065】
2つのロボット100のうちの一方(以下、「第1ロボット100(1)」という。)は、ある地点P(以下、「第1地点P(1)」という。)に位置し、2つのロボット100のうちの他方(以下、「第2ロボット100(2)」という。)は、第1地点P(1)とは異なる地点P(以下、「第2地点P(2)」という。)に位置している。第1ロボット100(1)を基準として考えると、第1ロボット100(1)が位置する第1地点P(1)は「現地」となり、第2ロボット100(2)が位置する第2地点P(2)は「遠隔地」となる。反対に、第2ロボット100(2)を基準として考えると、第2ロボット100(2)が位置する第2地点P(2)は「現地」となり、第1ロボット100(1)が位置する第1地点P(1)は「遠隔地」となる。
【0066】
第1地点P(1)および第2地点P(2)には、それぞれ複数の(
図7の例では2人の)ユーザU(第1ユーザU(1)および第2ユーザU(2))が位置し、各地点Pに位置するロボット100と対面している。第2実施形態の遠隔コミュニケーションシステム10aは、第1地点P(1)にいる複数の第1ユーザU(1)と第2地点P(2)にいる複数の第2ユーザU(2)との間のリアルタイムなコミュニケーションを実現する。
【0067】
図8に示すように、遠隔コミュニケーションシステム10aにおいて実行される遠隔コミュニケーション処理では、第1ロボット100(1)のロボット動作制御部111(
図3)が、通信インターフェース130を介して外部ネットワークNETに接続する(S102)。また、第1ロボット100(1)の現地映像処理部113(
図3)が、カメラ152を用いて撮影を行うことにより第1現地映像Is(1)を生成し(S108)、生成した第1現地映像Is(1)を通信インターフェース130を介して外部ネットワークNETに送信する(S110)。
図7の例では、2人の第1ユーザU(1)が第1ロボット100(1)と対面しているため、第1現地映像Is(1)は、2人の第1ユーザU(1)を表す映像(より具体的には、第1ユーザU(1)の現実の映像)を含む。なお、この第1現地映像Is(1)は、第2ロボット100(2)から見れば「遠隔映像」に該当する。
【0068】
同様に、第2ロボット100(2)のロボット動作制御部111(
図3)は、通信インターフェース130を介して外部ネットワークNETに接続する(S102)。また、第2ロボット100(2)の現地映像処理部113(
図3)が、カメラ152を用いて撮影を行うことにより第2現地映像Is(2)を生成し(S108)、生成した第2現地映像Is(2)を通信インターフェース130を介して外部ネットワークNETに送信する(S110)。
図7の例では、2人の第2ユーザU(2)が第2ロボット100(2)と対面しているため、第2現地映像Is(2)は、2人の第2ユーザU(2)を表す映像(より具体的には、第2ユーザU(2)の現実の映像)を含む。なお、この第2現地映像Is(2)は、第1ロボット100(1)から見れば「遠隔映像」に該当する。
【0069】
第1ロボット100(1)の遠隔映像処理部112は、第2ロボット100(2)から送信された第2現地映像Is(2)を通信インターフェース130を介して取得し、取得した第2現地映像Is(2)を遠隔映像Irとしてディスプレイ151に表示する(S111)。ディスプレイ151に遠隔映像Irとしての第2現地映像Is(2)が表示されることにより、第1地点P(1)にいる各第1ユーザU(1)は、第1ロボット100(1)のディスプレイ151に表示された各第2ユーザU(2)の現実の映像を視認することができる。すなわち、第1地点P(1)にいる各第1ユーザU(1)は、第1ロボット100(1)に複数の第2ユーザU(2)が乗り移っていることを認識することができる。
【0070】
同様に、第2ロボット100(2)の遠隔映像処理部112は、第1ロボット100(1)から送信された第1現地映像Is(1)を通信インターフェース130を介して取得し、取得した第1現地映像Is(1)を遠隔映像Irとしてディスプレイ151に表示する(S111)。ディスプレイ151に遠隔映像Irとしての第1現地映像Is(1)が表示されることにより、第2地点P(2)にいる各第2ユーザU(2)は、第2ロボット100(2)のディスプレイ151に表示された各第1ユーザU(1)の現実の映像を視認することができる。すなわち、第2地点P(2)にいる各第2ユーザU(2)は、第2ロボット100(2)に複数の第1ユーザU(1)が乗り移っていることを認識することができる。
【0071】
この状態では、2人の第1ユーザU(1)が現実的に第1地点P(1)に位置し、かつ、現実的に第2地点P(2)に位置する2人の第2ユーザU(2)が第1ロボット100(1)に乗り移ることによって仮想的に第1地点P(1)に位置する。同様に、2人の第2ユーザU(2)が現実的に第2地点P(2)に位置し、かつ、現実的に第1地点P(1)に位置する2人の第1ユーザU(1)が第2ロボット100(2)に乗り移ることによって仮想的に第2地点P(2)に位置する。そのため、現実的には互いに異なる地点に位置する4人のユーザUが、仮想的に第1地点P(1)または第2地点P(2)に集まり、視覚および聴覚を介して互いにコミュニケーションを取ることができる。
【0072】
なお、第1実施形態と同様に、各ロボット100のロボットアーム制御部117(
図3)は、ロボットアーム操作指示の有無を監視し(S112)、ロボットアーム操作指示があったとき(S112:YES)、該指示に従いロボットアーム155を動作させる(S114)。また、各ロボット100の移動制御部116(
図3)は、移動条件が満たされたか否かを監視し(S116)、移動条件が満たされたとき(S116:YES)、移動機構156を動作させてロボット100を移動させる(S118)。
【0073】
各装置において終了指示(S120)がなされない限り、上述の処理が繰り返され、互いに異なる地点に位置するユーザU同士のコミュニケーションが継続的に実行される。各装置において終了指示があったとき(S120:YES)、遠隔コミュニケーションシステム10aによる遠隔コミュニケーション処理は終了する。
【0074】
以上説明したように、第2実施形態の遠隔コミュニケーションシステム10aを構成する各ロボット100では、第1実施形態と同様に、移動制御部116が、移動機構156を制御してロボット100を移動させ、遠隔映像処理部112が、複数の遠隔地のユーザUを表す映像を含む遠隔映像Irをディスプレイ151に表示し、現地映像処理部113が、カメラ152により撮影された映像である現地映像Isを複数の遠隔地のユーザUに視認させる。そのため、第2実施形態の各ロボット100は、複数の遠隔地のユーザUを自らに乗り移らせることができる集団テレイグジスタンス装置として機能する。従って、第2実施形態の各ロボット100は、ロボット100に乗り移った複数の遠隔地のユーザUと、ロボット100の現在地に現実的に位置するユーザUと、の間のリアルタイムなコミュニケーションを実現することができる。
【0075】
C.変形例:
本明細書で開示される技術は、上述の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の形態に変形することができ、例えば次のような変形も可能である。
【0076】
上記実施形態における遠隔コミュニケーションシステム10の構成は、あくまで一例であり、種々変形可能である。例えば、上記第1実施形態では、遠隔ユーザUrが情報空間VSにアクセスするためのデバイスとしてHMD200が用いられているが、HMD200以外の他のデバイス(例えば、PC、スマートフォン、タブレット型端末、スマートグラス等)が用いられてもよい。また、上記第2実施形態では、2つの地点Pのいずれにおいても、コミュニケーションのためのデバイスとしてロボット100が用いられているが、2つの地点Pのいずれかにおいて、ロボット100以外の他のデバイス(例えば、PC、スマートフォン、タブレット型端末、スマートグラス等)が用いられてもよい。
【0077】
上記実施形態におけるロボット100の構成は、あくまで一例であり、種々変形可能である。例えば、上記実施形態では、ディスプレイ151は360度ディスプレイであるが、必ずしもディスプレイ151は360度ディスプレイである必要はない。また、上記実施形態では、カメラ152は360度カメラであるが、必ずしもカメラ152は360度カメラである必要はない。また、上記実施形態では、マイク153は360度マイクであるが、必ずしもマイク153は360度マイクである必要はない。また、上記実施形態では、スピーカ154は指向性スピーカであるが、必ずしもスピーカ154は指向性スピーカである必要はない。
【0078】
上記実施形態において、ロボット100が、マイク153と、スピーカ154と、ロボットアーム155との少なくとも1つを備えないとしてもよい。
【0079】
上記実施形態における遠隔コミュニケーション処理の内容は、あくまで一例であり、種々変更可能である。
【0080】
上記実施形態において、ハードウェアによって実現されている構成の一部をソフトウェアに置き換えるようにしてもよく、反対に、ソフトウェアによって実現されている構成の一部をハードウェアに置き換えるようにしてもよい。
【符号の説明】
【0081】
10:遠隔コミュニケーションシステム 100:ロボット 110:制御部 111:ロボット動作制御部 112:遠隔映像処理部 113:現地映像処理部 114:遠隔音声処理部 115:現地音声処理部 116:移動制御部 117:ロボットアーム制御部 118:情報空間構築部 120:記憶部 130:通信インターフェース 140:操作入力部 151:ディスプレイ 152:カメラ 153:マイク 154:スピーカ 155:ロボットアーム 156:移動機構 157:車輪 190:バス 200:HMD 210:制御部 220:記憶部 230:通信インターフェース 240:操作入力部 251:右眼用表示実行部 252:左眼用表示実行部 253:マイク 254:スピーカ 255:頭部動き検出部 290:バス CP:ロボット制御プログラム Ir:遠隔映像 Is:現地映像 NET:外部ネットワーク Pr1:第1遠隔地 Pr2:第2遠隔地 Pr3:第3遠隔地 Ps:現地 Ur1:第1遠隔ユーザ Ur2:第2遠隔ユーザ Ur3:第3遠隔ユーザ Ura:アバター Us:現地ユーザ VS:情報空間