特許 7659827 ロボット、ロボット制御方法、および、コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-02

(45)【発行日】2025-04-10

(54)【発明の名称】ロボット、ロボット制御方法、および、コンピュータプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20250403BHJP

   A63H 11/00 20060101ALI20250403BHJP

   B25J 13/00 20060101ALI20250403BHJP

   G06F 3/0481 20220101ALI20250403BHJP

   H04L 67/131 20220101ALI20250403BHJP

   H04N 7/15 20060101ALI20250403BHJP

【ＦＩ】

G06F3/01 510

A63H11/00 Z

B25J13/00 Z

G06F3/0481

H04L67/131

H04N7/15 120

【請求項の数】 9

(21)【出願番号】P 2022084216

(22)【出願日】2022-05-24

(65)【公開番号】P2023172428

(43)【公開日】2023-12-06

【審査請求日】2024-09-12

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度、国立研究開発法人情報通信研究機構「革新的情報通信技術研究開発委託研究／協調型自立ネットワークの研究開発」、産業技術力強化法第１７条の適用を受ける特許出願

【早期審査対象出願】

(73)【特許権者】

【識別番号】504139662

【氏名又は名称】国立大学法人東海国立大学機構

(74)【代理人】

【識別番号】110001911

【氏名又は名称】弁理士法人アルファ国際特許事務所

(72)【発明者】

【氏名】米澤 拓郎

(72)【発明者】

【氏名】河口 信夫

(72)【発明者】

【氏名】浦野 健太

(72)【発明者】

【氏名】興野 悠太郎

【審査官】渡辺 慶人

(56)【参考文献】

【文献】米国特許出願公開第２０２０／０１２０３０８（ＵＳ，Ａ１）

【文献】特表２０１４－５０３３７６（ＪＰ，Ａ）

【文献】国際公開第２０２１／１１７５０４（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０５４５４７（ＷＯ，Ａ１）

【文献】特開２０１９－２０８１６７（ＪＰ，Ａ）

【文献】特開２０００－１６５８３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

３／０４８－ ３／０４８９５

Ｂ２５Ｊ １／００ － ２１／０２

Ｈ０４Ｎ ７／１０

７／１４ － ７／１７３

７／２０ － ７／５６

２１／００ － ２１／８５８

(57)【特許請求の範囲】

【請求項1】

ロボットであって、
ディスプレイと、
カメラと、
通信インターフェースと、
前記ロボットを移動させる移動機構と、
制御部と、
を備え、
前記制御部は、
前記移動機構を制御して前記ロボットを移動させる移動制御部と、
前記ロボットの現在地とは異なる地点に位置する複数の遠隔ユーザを表す映像を含む遠隔映像を外部ネットワークから前記通信インターフェースを介して取得し、取得した前記遠隔映像を前記ディスプレイに表示する遠隔映像処理部と、
前記カメラにより撮影された映像である現地映像を前記複数の遠隔ユーザに視認させるために、前記通信インターフェースを介して前記外部ネットワークに送信する現地映像処理部と、
を有し、
前記制御部は、さらに、前記外部ネットワーク上に前記複数の遠隔ユーザにより共有される情報空間を構築する情報空間構築部を有し、
前記現地映像処理部は、前記現地映像を、前記情報空間に投影することにより、前記情報空間に仮想的に位置する前記複数の遠隔ユーザに視認させる、ロボット。

【請求項2】

請求項１に記載のロボットであって、
前記遠隔映像は、前記複数の遠隔ユーザのアバターの映像を含む、ロボット。

【請求項3】

ロボットであって、
ディスプレイと、
カメラと、
通信インターフェースと、
前記ロボットを移動させる移動機構と、
制御部と、
を備え、
前記制御部は、
前記移動機構を制御して前記ロボットを移動させる移動制御部と、
前記ロボットの現在地とは異なる地点に位置する複数の遠隔ユーザを表す映像を含む遠隔映像を外部ネットワークから前記通信インターフェースを介して取得し、取得した前記遠隔映像を前記ディスプレイに表示する遠隔映像処理部と、
前記カメラにより撮影された映像である現地映像を前記複数の遠隔ユーザに視認させるために、前記通信インターフェースを介して前記外部ネットワークに送信する現地映像処理部と、
を有し、
前記ディスプレイは、３６０度ディスプレイである、ロボット。

【請求項4】

ロボットであって、
ディスプレイと、
カメラと、
通信インターフェースと、
前記ロボットを移動させる移動機構と、
制御部と、
を備え、
前記制御部は、
前記移動機構を制御して前記ロボットを移動させる移動制御部と、
前記ロボットの現在地とは異なる地点に位置する複数の遠隔ユーザを表す映像を含む遠隔映像を外部ネットワークから前記通信インターフェースを介して取得し、取得した前記遠隔映像を前記ディスプレイに表示する遠隔映像処理部と、
前記カメラにより撮影された映像である現地映像を前記複数の遠隔ユーザに視認させるために、前記通信インターフェースを介して前記外部ネットワークに送信する現地映像処理部と、
を有し、
前記カメラは、３６０度カメラである、ロボット。

【請求項5】

ロボットであって、
ディスプレイと、
カメラと、
通信インターフェースと、
前記ロボットを移動させる移動機構と、
制御部と、
を備え、
前記制御部は、
前記移動機構を制御して前記ロボットを移動させる移動制御部と、
前記ロボットの現在地とは異なる地点に位置する複数の遠隔ユーザを表す映像を含む遠隔映像を外部ネットワークから前記通信インターフェースを介して取得し、取得した前記遠隔映像を前記ディスプレイに表示する遠隔映像処理部と、
前記カメラにより撮影された映像である現地映像を前記複数の遠隔ユーザに視認させるために、前記通信インターフェースを介して前記外部ネットワークに送信する現地映像処理部と、
を有し、
さらに、３６０度マイクを備え、
前記制御部は、さらに、前記３６０度マイクにより取得された音声である現地音声を、前記複数の遠隔ユーザに音源の方向を認識可能に聴かせるために、前記通信インターフェースを介して前記外部ネットワークに送信する現地音声処理部を有する、ロボット。

【請求項6】

ロボットであって、
ディスプレイと、
カメラと、
通信インターフェースと、
前記ロボットを移動させる移動機構と、
制御部と、
を備え、
前記制御部は、
前記移動機構を制御して前記ロボットを移動させる移動制御部と、
前記ロボットの現在地とは異なる地点に位置する複数の遠隔ユーザを表す映像を含む遠隔映像を外部ネットワークから前記通信インターフェースを介して取得し、取得した前記遠隔映像を前記ディスプレイに表示する遠隔映像処理部と、
前記カメラにより撮影された映像である現地映像を前記複数の遠隔ユーザに視認させるために、前記通信インターフェースを介して前記外部ネットワークに送信する現地映像処理部と、
を有し、
さらに、指向性スピーカを備え、
前記制御部は、さらに、前記複数の遠隔ユーザから発せられる音声である遠隔音声を前記外部ネットワークから前記通信インターフェースを介して取得し、取得した前記遠隔音声を各前記遠隔ユーザが位置する方向を認識可能に前記指向性スピーカから出力する遠隔音声処理部を有する、ロボット。

【請求項7】

ロボットであって、
ディスプレイと、
カメラと、
通信インターフェースと、
前記ロボットを移動させる移動機構と、
制御部と、
を備え、
前記制御部は、
前記移動機構を制御して前記ロボットを移動させる移動制御部と、
前記ロボットの現在地とは異なる地点に位置する複数の遠隔ユーザを表す映像を含む遠隔映像を外部ネットワークから前記通信インターフェースを介して取得し、取得した前記遠隔映像を前記ディスプレイに表示する遠隔映像処理部と、
前記カメラにより撮影された映像である現地映像を前記複数の遠隔ユーザに視認させるために、前記通信インターフェースを介して前記外部ネットワークに送信する現地映像処理部と、
を有し、
さらに、ロボットアームを備え、
前記制御部は、さらに、前記複数の遠隔ユーザからの操作指示を前記外部ネットワークから前記通信インターフェースを介して取得し、取得した前記操作指示に応じて前記ロボットアームを動作させるロボットアーム制御部を有する、ロボット。

【請求項8】

ディスプレイと、カメラと、通信インターフェースと、移動機構と、を備えるロボットを制御するためのロボット制御方法であって、
前記移動機構を制御して前記ロボットを移動させる工程と、
前記ロボットの現在地とは異なる地点に位置する複数の遠隔ユーザを表す映像を含む遠隔映像を外部ネットワークから前記通信インターフェースを介して取得し、取得した前記遠隔映像を前記ディスプレイに表示する工程と、
前記カメラにより撮影された映像である現地映像を前記複数の遠隔ユーザに視認させるために、前記通信インターフェースを介して前記外部ネットワークに送信する工程と、
前記外部ネットワーク上に前記複数の遠隔ユーザにより共有される情報空間を構築する工程と、
を備え、
前記現地映像を送信する工程は、前記現地映像を、前記情報空間に投影することにより、前記情報空間に仮想的に位置する前記複数の遠隔ユーザに視認させる工程である、ロボット制御方法。

【請求項9】

ディスプレイと、カメラと、通信インターフェースと、移動機構と、を備えるロボットを制御するためのコンピュータプログラムであって、
コンピュータに、
前記移動機構を制御して前記ロボットを移動させる処理と、
前記ロボットの現在地とは異なる地点に位置する複数の遠隔ユーザを表す映像を含む遠隔映像を外部ネットワークから前記通信インターフェースを介して取得し、取得した前記遠隔映像を前記ディスプレイに表示する処理と、
前記カメラにより撮影された映像である現地映像を前記複数の遠隔ユーザに視認させるために、前記通信インターフェースを介して前記外部ネットワークに送信する処理と、
前記外部ネットワーク上に前記複数の遠隔ユーザにより共有される情報空間を構築する処理と、
を実行させ、
前記現地映像を送信する処理は、前記現地映像を、前記情報空間に投影することにより、前記情報空間に仮想的に位置する前記複数の遠隔ユーザに視認させる処理である、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書に開示される技術は、ロボット、ロボット制御方法、および、コンピュータプログラムに関する。

【背景技術】

【0002】

ロボットを、該ロボットとは異なる地点に位置する人間の分身として利用するテレイグジスタンス（遠隔存在感、遠隔臨場感）と呼ばれる技術が知られている。この技術を用いて、ある地点（現地）に位置するロボットに他の地点（遠隔地）にいる人が乗り移る（憑依する）ことにより、遠隔地にいる人と現地にいる他の人との間で、リアルタイムのコミュニケーションおよび／またはインタラクション（以下、単に「コミュニケ－ション」という。）を実現することができる（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－２３４６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来のテレイグジスタンス技術は、遠隔地にいる１人の人が現地にいる１つのロボットに乗り移るものであるため、遠隔地にいる人と現地にいる人との間でのコミュニケーションにおいて、心理的なギャップが生じやすい。例えば、現地にいる人は、「せっかく遠隔地から来てくれているので相手をしてあげなければ」という心理になりやすく、そのような心理が遠隔地にいる人に伝わって心理的な負担となり、両者の間の自然かつ継続的なコミュニケーションを阻害する原因となり得る。

【0005】

このように、従来の技術では、テレイグジスタンス技術を用いた互いに異なる地点間の自然かつ継続的なコミュニケーションに関し、向上の余地がある。

【0006】

本明細書では、上述した課題を解決することが可能な技術を開示する。

【課題を解決するための手段】

【0007】

本明細書に開示される技術は、例えば、以下の形態として実現することが可能である。

【0008】

（１）本明細書に開示されるロボットは、ディスプレイと、カメラと、通信インターフェースと、ロボットを移動させる移動機構と、制御部とを備える。制御部は、移動制御部と、遠隔映像処理部と、現地映像処理部とを有する。移動制御部は、移動機構を制御してロボットを移動させる。遠隔映像処理部は、ロボットの現在地とは異なる地点に位置する複数の遠隔ユーザを表す映像を含む遠隔映像を外部ネットワークから通信インターフェースを介して取得し、取得した遠隔映像をディスプレイに表示する。現地映像処理部は、カメラにより撮影された映像である現地映像を複数の遠隔ユーザに視認させるために、通信インターフェースを介して外部ネットワークに送信する。

【0009】

このように、本ロボットでは、移動制御部が、移動機構を制御してロボットを移動させ、遠隔映像処理部が、複数の遠隔ユーザを表す映像を含む遠隔映像をディスプレイに表示し、現地映像処理部が、カメラにより撮影された映像である現地映像を複数の遠隔ユーザに視認させる。そのため、本ロボットは、複数の遠隔ユーザを自らに乗り移らせることができる集団テレイグジスタンス装置として機能する。そのため、遠隔ユーザと現地ユーザとの関係が、個対群ではなく、群対群の関係となり、遠隔ユーザの心理的な負担を軽減することができる。さらに、本ロボットに乗り移った複数の遠隔ユーザは、あたかも１つのロボットに同乗したような体験を共有することとなり、複数の遠隔ユーザ間の親近感が醸成される。以上のことから、本ロボットによれば、互いに異なる地点に位置するユーザ間で、自然かつ継続的なコミュニケーションを実現することができる。

【0010】

（２）上記ロボットにおいて、前記制御部は、さらに、前記外部ネットワーク上に前記複数の遠隔ユーザにより共有される情報空間を構築する情報空間構築部を有し、前記現地映像処理部は、前記現地映像を、前記情報空間に投影することにより、前記情報空間に仮想的に位置する前記複数の遠隔ユーザに視認させる構成としてもよい。本構成を採用すれば、複数の遠隔ユーザが現実的に１つの地点に集まる必要はなく、互いに異なる地点に位置する複数の遠隔ユーザが仮想的に１つの情報空間に集まって、現地ユーザとのコミュニケーションを行うことができる。

【0011】

（３）上記ロボットにおいて、前記遠隔映像は、前記複数の遠隔ユーザのアバターの映像を含む構成としてもよい。本構成を採用すれば、遠隔ユーザがカメラ機能を有する装置を用いる必要がなく、また、より柔軟で多様な映像表現を用いたコミュニケーションを実現することができる。

【0012】

（４）上記ロボットにおいて、前記ディスプレイは、３６０度ディスプレイである構成としてもよい。本構成を採用すれば、互いに異なる地点に位置するユーザ間で、より臨場感のある映像を介したコミュニケーションを実現することができる。

【0013】

（５）上記ロボットにおいて、前記カメラは、３６０度カメラである構成としてもよい。本構成を採用すれば、互いに異なる地点に位置するユーザ間で、より臨場感のある映像を介したコミュニケーションを実現することができる。

【0014】

（６）上記ロボットにおいて、さらに、３６０度マイクを備え、前記制御部は、さらに、前記３６０度マイクにより取得された音声である現地音声を、前記複数の遠隔ユーザに音源の方向を認識可能に聴かせるために、前記通信インターフェースを介して前記外部ネットワークに送信する現地音声処理部を有する構成としてもよい。本構成を採用すれば、互いに異なる地点に位置するユーザ間で、より臨場感のある音声を介したコミュニケーションを実現することができる。

【0015】

（７）上記ロボットにおいて、さらに、指向性スピーカを備え、前記制御部は、さらに、前記複数の遠隔ユーザから発せられる音声である遠隔音声を前記外部ネットワークから前記通信インターフェースを介して取得し、取得した前記遠隔音声を各前記遠隔ユーザが位置する方向を認識可能に前記指向性スピーカから出力する遠隔音声処理部を有する構成としてもよい。本構成を採用すれば、互いに異なる地点に位置するユーザ間で、より臨場感のある音声を介したコミュニケーションを実現することができる。

【0016】

（８）上記ロボットにおいて、さらに、ロボットアームを備え、前記制御部は、さらに、前記複数の遠隔ユーザからの操作指示を前記外部ネットワークから前記通信インターフェースを介して取得し、取得した前記操作指示に応じて前記ロボットアームを動作させるロボットアーム制御部を有する構成としてもよい。本構成を採用すれば、互いに異なる地点に位置するユーザ間で、ロボットアームを介したコミュニケーション（インタラクション）を実現することができる。

【0017】

なお、本明細書に開示される技術は、種々の形態で実現することが可能であり、例えば、ロボット、ロボット制御装置、ロボットとロボット制御装置とを備えるロボットシステム、ロボットの制御方法、それらの方法を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。

【図面の簡単な説明】

【0018】

【図1】第１実施形態における遠隔コミュニケーションシステム１０の構成を概略的に示す説明図

【図2】ロボット１００の外観構成を示す斜視図

【図3】ロボット１００の機能的構成を示すブロック図

【図4】ＨＭＤ２００の機能的構成を示すブロック図

【図5】第１実施形態の遠隔コミュニケーションシステム１０において実行される遠隔コミュニケーション処理の流れを示す説明図

【図6】従来のロボット１００Ｘの構成を示す説明図

【図7】第２実施形態における遠隔コミュニケーションシステム１０ａの構成を概略的に示す説明図

【図8】第２実施形態における遠隔コミュニケーションシステム１０ａにおいて実行される遠隔コミュニケーション処理の流れを示す説明図

【発明を実施するための形態】

【0019】

Ａ．第１実施形態：
Ａ－１．遠隔コミュニケーションシステム１０の構成：
図１は、第１実施形態における遠隔コミュニケーションシステム１０の構成を概略的に示す説明図である。本実施形態の遠隔コミュニケーションシステム１０は、テレイグジスタンス技術を用いて、互いに異なる地点に位置するユーザ同士のリアルタイムなコミュニケーションを実現するためのシステムである。

【0020】

図１の例では、遠隔コミュニケーションシステム１０により、互いに異なる４つの地点Ｐのいずれかに位置する５人のユーザＵによるコミュニケーションが実現されている。以下の説明では、便宜上、後述するロボット１００を基準として考え、互いに異なる４つの地点Ｐのうち、ロボット１００が位置する地点Ｐを現地Ｐｓといい、他の３つの地点Ｐを、それぞれ、第１遠隔地Ｐｒ１、第２遠隔地Ｐｒ２および第３遠隔地Ｐｒ３という。以下、第１遠隔地Ｐｒ１、第２遠隔地Ｐｒ２および第３遠隔地Ｐｒ３を、まとめて「遠隔地Ｐｒ」という。なお、例えば第１遠隔地Ｐｒ１を基準として考えると、現地Ｐｓは「遠隔地」に該当する。

【0021】

現地Ｐｓには２人のユーザＵ（以下、「現地ユーザＵｓ」という。）が位置している。一方、第１遠隔地Ｐｒ１には１人のユーザＵ（以下、「第１遠隔ユーザＵｒ１」という。）が位置し、第２遠隔地Ｐｒ２には１人のユーザＵ（以下、「第２遠隔ユーザＵｒ２」という。）が位置し、第３遠隔地Ｐｒ３には１人のユーザＵ（以下、「第３遠隔ユーザＵｒ３」という。）が位置している。以下、第１遠隔ユーザＵｒ１、第２遠隔ユーザＵｒ２および第３遠隔ユーザＵｒ３を、まとめて「遠隔ユーザＵｒ」という。図１の例では、各遠隔地Ｐｒに１人のユーザＵが位置しているが、いずれかの遠隔地Ｐｒに複数人のユーザＵが位置していてもよい。

【0022】

遠隔コミュニケーションシステム１０は、ロボット１００と、頭部装着型表示装置（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、以下「ＨＭＤ」という。）２００とを備える。遠隔コミュニケーションシステム１０を構成する各装置は、インターネット等の外部ネットワークＮＥＴを介して互いに通信可能に接続されている。図１の例では、遠隔コミュニケーションシステム１０は、１つのロボット１００と、３つのＨＭＤ２００とを備える。１つのロボット１００は、現地Ｐｓに位置し、現地ユーザＵｓと対面している。３つのＨＭＤ２００は、それぞれ、遠隔地Ｐｒに位置する３人の遠隔ユーザＵｒの頭部に装着されている。

【0023】

（ロボット１００の構成）
図２は、ロボット１００の外観構成を示す斜視図であり、図３は、ロボット１００の機能的構成を示すブロック図である。ロボット１００は、テレイグジスタンス技術を用いてユーザＵを自らに乗り移らせる（憑依させる）ことにより、互いに異なる地点間のコミュニケ－ションを実現するための装置である。後述するように、ロボット１００は、遠隔地Ｐｒにいる複数人のユーザＵを乗り移らせることができる集団テレイグジスタンス装置として機能する。

【0024】

図２および図３に示すように、ロボット１００は、ディスプレイ１５１と、カメラ１５２と、マイク１５３と、スピーカ１５４と、ロボットアーム１５５と、移動機構１５６と、通信インターフェース１３０と、操作入力部１４０と、制御部１１０と、記憶部１２０とを備える。これらの各部は、バス１９０を介して互いに通信可能に接続されている。

【0025】

ロボット１００のディスプレイ１５１は、デジタル映像データに基づき各種の映像を表示する装置であり、例えば液晶ディスプレイや有機ＥＬディスプレイにより構成されている。本実施形態では、ディスプレイ１５１は、略球状のディスプレイであり、球体の外周面の略全体を表示面としている。

【0026】

ロボット１００のカメラ１５２は、イメージセンサを用いて撮影を行うことによりデジタル映像データを生成する装置である。本実施形態では、カメラ１５２は、３６０度全天球映像を生成可能な３６０度カメラである。なお、本明細書において、用語「３６０度」は、必ずしも厳密な３６０度に限定されるものではなく、おおよそ３６０度を意味する。カメラ１５２は、ディスプレイ１５１より上方の位置に設置されている。カメラ１５２は、例えば８Ｋや１６Ｋといった高解像度のデジタル映像データを生成可能であることが好ましい。

【0027】

ロボット１００のマイク１５３は、入力された音声に基づきデジタル音声データを生成する装置である。本実施形態では、マイク１５３は、マイク１５３の周囲３６０度から集音可能な３６０度サラウンドマイクである。マイク１５３は、ディスプレイ１５１およびカメラ１５２より上方の位置に設置されている。

【0028】

ロボット１００のスピーカ１５４は、デジタル音声データに基づき音声を再生する装置である。本実施形態では、ディスプレイ１５１より上方の位置に、周方向に沿って略等間隔に並ぶように、複数の指向性のスピーカ１５４が設置されている。

【0029】

ロボット１００のロボットアーム１５５は、物をつかむ・放す・運ぶなどの動作を実行可能な機械式の腕である。本実施形態では、ディスプレイ１５１より下方の位置に、周方向に沿って略等間隔に並ぶように、複数のロボットアーム１５５が設置されている。

【0030】

ロボット１００の移動機構１５６は、ロボット１００の最下部を構成しており、ロボット１００を移動させる。すなわち、移動機構１５６は、車輪１５７と、車輪１５７を駆動する図示しない駆動部とを有し、例えば遠隔ユーザＵｒおよび／または現地ユーザＵｓの操作に従い、ロボット１００を移動させる。また、本実施形態では、移動機構１５６は、図示しないセンサ（例えば、ＬｉＤＡＲ、レーダー、遠赤外線カメラ、超音波センサ等）を有しており、人による操作なしでロボット１００を自律的に移動させることも可能である。

【0031】

ロボット１００の通信インターフェース１３０は、所定の通信方式で外部ネットワークＮＥＴ上の他の装置等との通信を行うインターフェースである。通信インターフェース１３０は、例えばＢ５Ｇや６Ｇといった次世代移動通信システムに則った通信を実行可能であることが好ましい。ロボット１００の操作入力部１４０は、例えばタッチパネルやボタン、キーボード、マイク等により構成され、管理者の操作や指示を受け付ける。

【0032】

ロボット１００の記憶部１２０は、例えばＲＯＭ、ＲＡＭ、ＨＤＤ、ＳＳＤ等により構成され、各種のプログラムやデータを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。例えば、記憶部１２０には、ロボット１００を制御するためのロボット制御プログラムＣＰが格納されている。ロボット制御プログラムＣＰは、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ、ＵＳＢメモリ等のコンピュータ読み取り可能な記録媒体（不図示）に格納された状態で提供され、あるいは、通信インターフェース１３０を介して外部装置（外部ネットワークＮＥＴ上のサーバや他の端末装置）から取得可能な状態で提供され、ロボット１００上で動作可能な状態で記憶部１２０に格納される。

【0033】

ロボット１００の制御部１１０は、例えばＣＰＵ等により構成され、記憶部１２０から読み出したコンピュータプログラムを実行することにより、ロボット１００の各部の動作を制御する。例えば、制御部１１０は、記憶部１２０からロボット制御プログラムＣＰを読み出して実行することにより、ロボット１００の各部の動作を制御するためのロボット動作制御部１１１として機能する。ロボット動作制御部１１１は、遠隔映像処理部１１２と、現地映像処理部１１３と、遠隔音声処理部１１４と、現地音声処理部１１５と、移動制御部１１６と、ロボットアーム制御部１１７と、情報空間構築部１１８とを含む。これら各部の機能については、後に詳述する。

【0034】

（ＨＭＤ２００の構成）
図１に示すように、ＨＭＤ２００は、ユーザＵの頭部に装着された状態で、ユーザＵに映像を視認させる装置である。本実施形態では、ＨＭＤ２００は、ユーザＵの両眼を完全に覆う非透過側のＨＭＤであり、ユーザＵに対してバーチャルリアリティ（ＶＲ）体験を提供する。なお、ＨＭＤ２００は、音声の入出力も実行可能であり、ユーザＵに対して視覚および聴覚を介したＶＲ体験を提供する。さらに、ＨＭＤ２００は、ユーザＵに対して他の感覚（例えば触覚）を介したＶＲ体験を提供可能であってもよい。

【0035】

図４は、ＨＭＤ２００の機能的構成を示すブロック図である。ＨＭＤ２００は、右眼用表示実行部２５１と、左眼用表示実行部２５２と、マイク２５３と、スピーカ２５４と、頭部動き検出部２５５と、通信インターフェース２３０と、操作入力部２４０と、制御部２１０と、記憶部２２０とを備える。これらの各部は、バス２９０を介して互いに通信可能に接続されている。

【0036】

ＨＭＤ２００の右眼用表示実行部２５１は、例えば、光源と、表示素子（デジタルミラーデバイス（ＤＭＤ）や液晶パネル等）と、光学系とを有し、右眼用映像を表す光を生成してユーザＵの右眼に導くことにより、ユーザＵの右眼に右眼用映像を視認させる。左眼用表示実行部２５２は、右眼用表示実行部２５１とは独立して設けられており、右眼用表示実行部２５１と同様に、例えば、光源と、表示素子と、光学系とを備え、左眼用映像を表す光を生成してユーザＵの左眼に導くことにより、ユーザＵの左眼に左眼用映像を視認させる。ユーザＵの右眼が右眼用映像を視認し、ユーザＵの左眼が左眼用映像を視認した状態では、ユーザＵは３Ｄ映像を視認する。右眼用表示実行部２５１および左眼用表示実行部２５２は、例えば８Ｋや１６Ｋといった高解像度のデジタル映像データを再生可能であることが好ましい。

【0037】

ＨＭＤ２００のマイク２５３は、入力された音声に基づきデジタル音声データを生成する装置である。ＨＭＤ２００のスピーカ２５４は、デジタル音声データに基づき音声を再生する装置である。本実施形態では、スピーカ２５４は、指向性のスピーカである。

【0038】

ＨＭＤ２００の頭部動き検出部２５５は、いわゆるヘッドトラッキング機能を実現するために、ＨＭＤ２００の動き（すなわち、ユーザＵの頭部の動き）を検出するセンサである。なお、ユーザＵの頭部の動きとは、ユーザＵの頭部の位置の変化と向きの変化とを含む概念である。頭部動き検出部２５５により検出されたＨＭＤ２００の動きに基づき、右眼用表示実行部２５１および左眼用表示実行部２５２がユーザＵに視認させる映像を切り替えることにより、ユーザＵは、頭部の動きに応じて自然に変化するＶＲ映像を視認する。

【0039】

ＨＭＤ２００の通信インターフェース２３０は、所定の通信方式で外部ネットワークＮＥＴ上の他の装置等との通信を行うインターフェースである。通信インターフェース２３０は、例えばＢ５Ｇや６Ｇといった次世代移動通信システムに則った通信を実行可能であることが好ましい。ＨＭＤ２００の操作入力部２４０は、例えばタッチパネルやボタン等により構成され、ユーザＵの操作や指示を受け付ける。なお、操作入力部２４０は、ＨＭＤ２００の筐体（ユーザＵの頭部に装着される部分）の内部に配置されてもよいし、筐体に対して信号線を介して接続された別体として構成されてもよい。

【0040】

ＨＭＤ２００の記憶部２２０は、例えばＲＯＭ、ＲＡＭ、ＳＳＤ等により構成され、各種のプログラムやデータを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。また、ＨＭＤ２００の制御部２１０は、例えばＣＰＵ等により構成され、記憶部２２０から読み出したコンピュータプログラムを実行することにより、ＨＭＤ２００の各部の動作を制御する。

【0041】

Ａ－２．遠隔コミュニケーション処理：
次に、第１実施形態の遠隔コミュニケーションシステム１０において実行される遠隔コミュニケーション処理について説明する。遠隔コミュニケーション処理は、互いに異なる地点に位置するユーザＵ同士の視覚および／または聴覚を介したリアルタイムなコミュニケーションを実現するための処理である。図５は、第１実施形態の遠隔コミュニケーションシステム１０において実行される遠隔コミュニケーション処理の流れを示す説明図である。

【0042】

まず、ロボット１００のロボット動作制御部１１１（図３）が、通信インターフェース１３０を介して外部ネットワークＮＥＴに接続し（Ｓ１０２）、情報空間構築部１１８が、外部ネットワークＮＥＴ上に情報空間ＶＳを構築する（Ｓ１０４）。図１に示すように、情報空間ＶＳは、例えばメタバースといった３次元の仮想空間であり、本実施形態では、ロボット１００の内部空間を模した空間である。情報空間ＶＳは、例えば、外部ネットワークＮＥＴ上の図示しないサーバ上に構築される。

【0043】

また、各ＨＭＤ２００の制御部２１０は、通信インターフェース２３０を介して外部ネットワークＮＥＴに接続すると共に（Ｓ２０２）、外部ネットワークＮＥＴ上の情報空間ＶＳにアクセスする（Ｓ２０４）。これにより、図１に示すように、ＨＭＤ２００を装着した各遠隔ユーザＵｒ（第１遠隔ユーザＵｒ１、第２遠隔ユーザＵｒ２および第３遠隔ユーザＵｒ３）が、アバター（第１遠隔ユーザアバターＵｒａ１、第２遠隔ユーザアバターＵｒａ２および第３遠隔ユーザアバターＵｒａ３）として、情報空間ＶＳに仮想的に位置する。上述したように、情報空間ＶＳはロボット１００の内部空間を模した空間であるため、情報空間ＶＳに仮想的に位置する各遠隔ユーザＵｒは、情報空間ＶＳを介してロボット１００に乗り移る（憑依する）こととなる。すなわち、複数の遠隔ユーザＵｒは、あたかも１つのロボット１００に同乗したような状態となる。

【0044】

ロボット１００の遠隔映像処理部１１２(図３)は、情報空間ＶＳの様子を表す映像である遠隔映像Ｉｒを通信インターフェース１３０を介して取得し、取得した遠隔映像Ｉｒをディスプレイ１５１に表示する（Ｓ１０６）。情報空間ＶＳには複数の遠隔ユーザＵｒが仮想的に位置しているため、遠隔映像Ｉｒは、複数の遠隔ユーザＵｒを表す映像（より具体的には、遠隔ユーザＵｒのアバターＵｒａの映像）を含む。図１に示すように、ロボット１００のディスプレイ１５１に遠隔映像Ｉｒが表示されることにより、現地Ｐｓにいる各現地ユーザＵｓは、各遠隔ユーザＵｒのアバターＵｒａの映像を含む遠隔映像Ｉｒを視認することができる。すなわち、現地Ｐｓにいる各現地ユーザＵｓは、ロボット１００に複数の遠隔ユーザＵｒが乗り移っていることを認識することができる。

【0045】

また、ロボット１００の現地映像処理部１１３(図３)は、カメラ１５２を用いて撮影を行うことにより現地映像Ｉｓを生成し（Ｓ１０８）、生成した現地映像Ｉｓを通信インターフェース１３０を介して情報空間ＶＳに送信し（Ｓ１１０）、現地映像Ｉｓを情報空間ＶＳに投影させる（Ｓ３０２）。これにより、各遠隔ユーザＵｒは、ＨＭＤ２００を介して、情報空間ＶＳに投影された現地映像Ｉｓを視認する（Ｓ２０６）。図１に示すように、例えば第１遠隔ユーザＵｒ１は、情報空間ＶＳを介してロボット１００に乗り移った状態で、ロボット１００の周囲の景色を現地映像Ｉｓとして視認する。なお、第１遠隔ユーザＵｒ１は、情報空間ＶＳに仮想的に位置する他の遠隔ユーザＵｒのアバターＵｒａ（第２遠隔ユーザアバターＵｒａ２および第３遠隔ユーザアバターＵｒａ３）も視認する。

【0046】

なお、図５には図示を省略しているが、ロボット１００の現地音声処理部１１５(図３)は、マイク１５３を用いて各現地ユーザＵｓの声を含む現地Ｐｓの音声（以下、「現地音声」という。）を生成し、生成した現地音声を通信インターフェース１３０を介して情報空間ＶＳに送信する。これにより、現地音声が各ＨＭＤ２００のスピーカ２５４により音源の方向を認識可能に再生される。また、ロボット１００の遠隔音声処理部１１４(図３)は、各ＨＭＤ２００のマイク２５３により生成された各遠隔ユーザＵｒの声を含む遠隔地Ｐｒの音声（以下、「遠隔音声」という。）を通信インターフェース１３０を介して取得し、取得した遠隔音声をスピーカ１５４により音源の方向（図１の例では、各遠隔ユーザＵｒのアバターＵｒａの方向）を認識可能に再生する。

【0047】

この状態では、２人の現地ユーザＵｓが現実的に現地Ｐｓに位置し、かつ、３人の遠隔ユーザＵｒが情報空間ＶＳを介してロボット１００に乗り移ることによって仮想的に現地Ｐｓに位置する。そのため、現実的には互いに異なる地点に位置する５人のユーザＵが、仮想的に現地Ｐｓに集まり、視覚および聴覚を介して互いにコミュニケーションを取ることができる。なお、複数の遠隔ユーザＵｒは１つの情報空間ＶＳを共有しているため、遠隔ユーザＵｒ同士のコミュニケーションも当然に実行可能である。

【0048】

また、ロボット１００のロボットアーム制御部１１７（図３）は、ロボットアーム操作指示の有無を監視し（Ｓ１１２）、ロボットアーム操作指示があったとき（Ｓ１１２：ＹＥＳ）、該指示に従いロボットアーム１５５を動作させる（Ｓ１１４）。本実施形態では、遠隔ユーザＵｒが、ＨＭＤ２００の操作入力部２４０を介して、ロボットアーム操作指示を発行することができる。これにより、遠隔ユーザＵｒは、ロボットアーム１５５を介して現地ユーザＵｓとコミュニケーション（例えば、握手やハイタッチ）を取ったり、現地Ｐｓにある物体に何らかの操作を行ったりすることができる。

【0049】

また、ロボット１００の移動制御部１１６（図３）は、移動条件が満たされたか否かを監視し（Ｓ１１６）、移動条件が満たされたとき（Ｓ１１６：ＹＥＳ）、移動機構１５６を動作させてロボット１００を移動させる（Ｓ１１８）。本実施形態では、遠隔ユーザＵｒが、ＨＭＤ２００の操作入力部２４０を介して、ロボット１００の移動指示を発行することができ、上記移動条件は、該移動指示があったことを含む。そのため、遠隔ユーザＵｒは、該移動指示を発行することにより、自らの乗り移り先であるロボット１００を移動させることができ、これにより、現地Ｐｓにおいて仮想的に自らが移動することができる。このような遠隔ユーザＵｒの仮想的な移動に伴い、当然に、遠隔ユーザＵｒに視認される現地映像Ｉｓも変化する。なお、遠隔ユーザＵｒによる移動指示は、遠隔ユーザＵｒが遠隔地Ｐｒにおいて現実的に移動することによりＨＭＤ２００の頭部動き検出部２５５が該移動の動きを検知することに伴って発行されるとしてもよい。

【0050】

上記移動条件として、遠隔ユーザＵｒによる移動指示があったことに加えて、あるいは、これに代えて、他の条件を採用してもよい。例えば、上記移動条件として、現地ユーザＵｓによる移動指示があったことを採用してもよい。現地ユーザＵｓによる移動指示は、ロボット１００の操作入力部１４０を介して、あるいは、ロボット１００と通信可能な端末装置（不図示）を介して発行することができる。また、上記移動条件として、現地ユーザＵｓが移動したことにより現地ユーザＵｓとロボット１００との間の距離が変化したことを採用してもよい。このようにすれば、ロボット１００を現地ユーザＵｓに追随させることができる。

【0051】

遠隔コミュニケーションシステム１０において、各装置において終了指示（Ｓ１２０、Ｓ３０４、Ｓ２０８）がなされない限り、上述の処理が繰り返され、互いに異なる地点に位置するユーザＵ同士のコミュニケーションが継続的に実行される。各装置において終了指示があったとき（Ｓ１２０：ＹＥＳ、Ｓ３０４：ＹＥＳ、Ｓ２０８：ＹＥＳ）、遠隔コミュニケーションシステム１０による遠隔コミュニケーション処理は終了する。

【0052】

Ａ－３．第１実施形態の効果：
以上説明したように、第１実施形態の遠隔コミュニケーションシステム１０を構成するロボット１００は、ディスプレイ１５１と、カメラ１５２と、通信インターフェース１３０と、ロボット１００を移動させる移動機構１５６と、制御部１１０とを備える。制御部１１０は、移動制御部１１６と、遠隔映像処理部１１２と、現地映像処理部１１３とを有する。移動制御部１１６は、移動機構１５６を制御してロボット１００を移動させる。遠隔映像処理部１１２は、ロボット１００の現在地とは異なる地点に位置する複数の遠隔ユーザＵｒを表す映像を含む遠隔映像Ｉｒを外部ネットワークＮＥＴから通信インターフェース１３０を介して取得し、取得した遠隔映像Ｉｒをディスプレイ１５１に表示する。現地映像処理部１１３は、カメラ１５２により撮影された映像である現地映像Ｉｓを複数の遠隔ユーザＵｒに視認させるために、通信インターフェース１３０を介して外部ネットワークＮＥＴに送信する。

【0053】

このように、本実施形態のロボット１００では、移動制御部１１６が、移動機構１５６を制御してロボット１００を移動させ、遠隔映像処理部１１２が、複数の遠隔ユーザＵｒを表す映像を含む遠隔映像Ｉｒをディスプレイ１５１に表示し、現地映像処理部１１３が、カメラ１５２により撮影された映像である現地映像Ｉｓを複数の遠隔ユーザＵｒに視認させる。そのため、ロボット１００は、複数の遠隔ユーザＵｒを自らに乗り移らせることができる集団テレイグジスタンス装置として機能する。従って、ロボット１００は、ロボット１００に乗り移った複数の遠隔ユーザＵｒと、ロボット１００の現在地（現地Ｐｓ）に現実的に位置する現地ユーザＵｓと、の間のリアルタイムなコミュニケーションを実現することができる。

【0054】

ここで、図６に示すように、１人のみの遠隔ユーザＵｒを自らに乗り移らせることができる従来のロボット１００Ｘ（テレイグジスタンス装置）によっても、ロボット１００Ｘに乗り移った１人の遠隔ユーザＵｒと、ロボット１００の現在地（現地Ｐｓ）に現実的に位置する現地ユーザＵｓと、の間のリアルタイムなコミュニケーションを実現することができる。しかしながら、従来のロボット１００Ｘによる上記コミュニケーションでは、心理的なギャップが生じやすい。例えば、現地ユーザＵｓは、「せっかく遠隔地から来てくれているので相手をしてあげなければ」という心理になりやすく、そのような心理が遠隔ユーザＵｒに伝わって心理的な負担となり、両者の間の自然かつ継続的なコミュニケーションを阻害する原因となり得る。

【0055】

これに対し、本実施形態のロボット１００は、複数の遠隔ユーザＵｒを自らに乗り移らせることができる。そのため、遠隔ユーザＵｒと現地ユーザＵｓとの関係が、個対群ではなく、群対群の関係となり、遠隔ユーザＵｒの心理的な負担を軽減することができる。さらに、ロボット１００に乗り移った複数の遠隔ユーザＵｒは、あたかも１つのロボット１００に同乗したような体験を共有することとなり、複数の遠隔ユーザＵｒ間の親近感が醸成される。以上のことから、本実施形態のロボット１００によれば、複数の遠隔ユーザＵｒと現地ユーザＵｓとの間で、自然かつ継続的なコミュニケーションを実現することができる。

【0056】

また、本実施形態では、ロボット１００の制御部１１０は、さらに、外部ネットワークＮＥＴ上に複数の遠隔ユーザＵｒにより共有される情報空間ＶＳを構築する情報空間構築部１１８を有し、現地映像処理部１１３は、現地映像Ｉｓを、情報空間ＶＳに投影することにより、情報空間ＶＳに仮想的に位置する複数の遠隔ユーザＵｒに視認させる。そのため、本実施形態のロボット１００によれば、複数の遠隔ユーザＵｒが現実的に１つの地点に集まる必要はなく、互いに異なる地点に位置する複数の遠隔ユーザＵｒが仮想的に１つの情報空間ＶＳに集まって、現地ユーザＵｓとのコミュニケーションを行うことができる。

【0057】

また、本実施形態では、遠隔映像Ｉｒは、複数の遠隔ユーザＵｒのアバターＵｒａの映像を含む。そのため、本実施形態のロボット１００によれば、遠隔ユーザＵｒがカメラ機能を有する装置を用いる必要がなく、また、より柔軟で多様な映像表現を用いたコミュニケーションを実現することができる。

【0058】

また、本実施形態では、ロボット１００のディスプレイ１５１は、３６０度ディスプレイである。そのため、本実施形態のロボット１００によれば、複数の遠隔ユーザＵｒと現地ユーザＵｓとの間で、より臨場感のある映像を介したコミュニケーションを実現することができる。

【0059】

また、本実施形態では、ロボット１００のカメラ１５２は、３６０度カメラである。そのため、本実施形態のロボット１００によれば、複数の遠隔ユーザＵｒと現地ユーザＵｓとの間で、より臨場感のある映像を介したコミュニケーションを実現することができる。

【0060】

また、本実施形態では、ロボット１００は、さらに３６０度マイクであるマイク１５３を備え、制御部１１０は、さらに、マイク１５３により取得された音声である現地音声を、複数の遠隔ユーザＵｒに音源の方向を認識可能に聴かせるために、通信インターフェース１３０を介して外部ネットワークＮＥＴに送信する現地音声処理部１１５を有する。そのため、本実施形態のロボット１００によれば、複数の遠隔ユーザＵｒと現地ユーザＵｓとの間で、より臨場感のある音声を介したコミュニケーションを実現することができる。

【0061】

また、本実施形態では、ロボット１００は、さらに指向性を有するスピーカ１５４を備え、制御部１１０は、さらに、複数の遠隔ユーザＵｒから発せられる音声である遠隔音声を外部ネットワークＮＥＴから通信インターフェース１３０を介して取得し、取得した遠隔音声を各遠隔ユーザＵｒが位置する方向を認識可能にスピーカ１５４から出力する遠隔音声処理部１１４を有する。そのため、本実施形態のロボット１００によれば、複数の遠隔ユーザＵｒと現地ユーザＵｓとの間で、より臨場感のある音声を介したコミュニケーションを実現することができる。

【0062】

また、本実施形態では、ロボット１００は、さらにロボットアーム１５５を備え、制御部１１０は、さらに、複数の遠隔ユーザＵｒからの操作指示を外部ネットワークＮＥＴから通信インターフェース１３０を介して取得し、取得した操作指示に応じてロボットアーム１５５を動作させるロボットアーム制御部１１７を有する。そのため、本実施形態のロボット１００によれば、複数の遠隔ユーザＵｒと現地ユーザＵｓとの間で、ロボットアーム１５５を介したコミュニケーション（インタラクション）を実現することができる。

【0063】

Ｂ．第２実施形態：
図７は、第２実施形態における遠隔コミュニケーションシステム１０ａの構成を概略的に示す説明図であり、図８は、第２実施形態における遠隔コミュニケーションシステム１０ａにおいて実行される遠隔コミュニケーション処理の流れを示す説明図である。以下では、第２実施形態の遠隔コミュニケーションシステム１０ａの構成や遠隔コミュニケーション処理の内容のうち、上述した第１実施形態と同一の構成および処理内容については、同一の符号を付すことによってその説明を適宜省略する。

【0064】

第２実施形態の遠隔コミュニケーションシステム１０ａは、２つのロボット１００を備える。２つのロボット１００は、外部ネットワークＮＥＴを介して互いに通信可能に接続されている。各ロボット１００の構成は、第１実施形態におけるロボット１００の構成と同様である。

【0065】

２つのロボット１００のうちの一方（以下、「第１ロボット１００（１）」という。）は、ある地点Ｐ（以下、「第１地点Ｐ（１）」という。）に位置し、２つのロボット１００のうちの他方（以下、「第２ロボット１００（２）」という。）は、第１地点Ｐ（１）とは異なる地点Ｐ（以下、「第２地点Ｐ（２）」という。）に位置している。第１ロボット１００（１）を基準として考えると、第１ロボット１００（１）が位置する第１地点Ｐ（１）は「現地」となり、第２ロボット１００（２）が位置する第２地点Ｐ（２）は「遠隔地」となる。反対に、第２ロボット１００（２）を基準として考えると、第２ロボット１００（２）が位置する第２地点Ｐ（２）は「現地」となり、第１ロボット１００（１）が位置する第１地点Ｐ（１）は「遠隔地」となる。

【0066】

第１地点Ｐ（１）および第２地点Ｐ（２）には、それぞれ複数の（図７の例では２人の）ユーザＵ（第１ユーザＵ（１）および第２ユーザＵ（２））が位置し、各地点Ｐに位置するロボット１００と対面している。第２実施形態の遠隔コミュニケーションシステム１０ａは、第１地点Ｐ（１）にいる複数の第１ユーザＵ（１）と第２地点Ｐ（２）にいる複数の第２ユーザＵ（２）との間のリアルタイムなコミュニケーションを実現する。

【0067】

図８に示すように、遠隔コミュニケーションシステム１０ａにおいて実行される遠隔コミュニケーション処理では、第１ロボット１００（１）のロボット動作制御部１１１（図３）が、通信インターフェース１３０を介して外部ネットワークＮＥＴに接続する（Ｓ１０２）。また、第１ロボット１００（１）の現地映像処理部１１３(図３)が、カメラ１５２を用いて撮影を行うことにより第１現地映像Ｉｓ（１）を生成し（Ｓ１０８）、生成した第１現地映像Ｉｓ（１）を通信インターフェース１３０を介して外部ネットワークＮＥＴに送信する（Ｓ１１０）。図７の例では、２人の第１ユーザＵ（１）が第１ロボット１００（１）と対面しているため、第１現地映像Ｉｓ（１）は、２人の第１ユーザＵ（１）を表す映像（より具体的には、第１ユーザＵ（１）の現実の映像）を含む。なお、この第１現地映像Ｉｓ（１）は、第２ロボット１００（２）から見れば「遠隔映像」に該当する。

【0068】

同様に、第２ロボット１００（２）のロボット動作制御部１１１（図３）は、通信インターフェース１３０を介して外部ネットワークＮＥＴに接続する（Ｓ１０２）。また、第２ロボット１００（２）の現地映像処理部１１３(図３)が、カメラ１５２を用いて撮影を行うことにより第２現地映像Ｉｓ（２）を生成し（Ｓ１０８）、生成した第２現地映像Ｉｓ（２）を通信インターフェース１３０を介して外部ネットワークＮＥＴに送信する（Ｓ１１０）。図７の例では、２人の第２ユーザＵ（２）が第２ロボット１００（２）と対面しているため、第２現地映像Ｉｓ（２）は、２人の第２ユーザＵ（２）を表す映像（より具体的には、第２ユーザＵ（２）の現実の映像）を含む。なお、この第２現地映像Ｉｓ（２）は、第１ロボット１００（１）から見れば「遠隔映像」に該当する。

【0069】

第１ロボット１００（１）の遠隔映像処理部１１２は、第２ロボット１００（２）から送信された第２現地映像Ｉｓ（２）を通信インターフェース１３０を介して取得し、取得した第２現地映像Ｉｓ（２）を遠隔映像Ｉｒとしてディスプレイ１５１に表示する（Ｓ１１１）。ディスプレイ１５１に遠隔映像Ｉｒとしての第２現地映像Ｉｓ（２）が表示されることにより、第１地点Ｐ（１）にいる各第１ユーザＵ（１）は、第１ロボット１００（１）のディスプレイ１５１に表示された各第２ユーザＵ（２）の現実の映像を視認することができる。すなわち、第１地点Ｐ（１）にいる各第１ユーザＵ（１）は、第１ロボット１００（１）に複数の第２ユーザＵ（２）が乗り移っていることを認識することができる。

【0070】

同様に、第２ロボット１００（２）の遠隔映像処理部１１２は、第１ロボット１００（１）から送信された第１現地映像Ｉｓ（１）を通信インターフェース１３０を介して取得し、取得した第１現地映像Ｉｓ（１）を遠隔映像Ｉｒとしてディスプレイ１５１に表示する（Ｓ１１１）。ディスプレイ１５１に遠隔映像Ｉｒとしての第１現地映像Ｉｓ（１）が表示されることにより、第２地点Ｐ（２）にいる各第２ユーザＵ（２）は、第２ロボット１００（２）のディスプレイ１５１に表示された各第１ユーザＵ（１）の現実の映像を視認することができる。すなわち、第２地点Ｐ（２）にいる各第２ユーザＵ（２）は、第２ロボット１００（２）に複数の第１ユーザＵ（１）が乗り移っていることを認識することができる。

【0071】

この状態では、２人の第１ユーザＵ（１）が現実的に第１地点Ｐ（１）に位置し、かつ、現実的に第２地点Ｐ（２）に位置する２人の第２ユーザＵ（２）が第１ロボット１００（１）に乗り移ることによって仮想的に第１地点Ｐ（１）に位置する。同様に、２人の第２ユーザＵ（２）が現実的に第２地点Ｐ（２）に位置し、かつ、現実的に第１地点Ｐ（１）に位置する２人の第１ユーザＵ（１）が第２ロボット１００（２）に乗り移ることによって仮想的に第２地点Ｐ（２）に位置する。そのため、現実的には互いに異なる地点に位置する４人のユーザＵが、仮想的に第１地点Ｐ（１）または第２地点Ｐ（２）に集まり、視覚および聴覚を介して互いにコミュニケーションを取ることができる。

【0072】

なお、第１実施形態と同様に、各ロボット１００のロボットアーム制御部１１７（図３）は、ロボットアーム操作指示の有無を監視し（Ｓ１１２）、ロボットアーム操作指示があったとき（Ｓ１１２：ＹＥＳ）、該指示に従いロボットアーム１５５を動作させる（Ｓ１１４）。また、各ロボット１００の移動制御部１１６（図３）は、移動条件が満たされたか否かを監視し（Ｓ１１６）、移動条件が満たされたとき（Ｓ１１６：ＹＥＳ）、移動機構１５６を動作させてロボット１００を移動させる（Ｓ１１８）。

【0073】

各装置において終了指示（Ｓ１２０）がなされない限り、上述の処理が繰り返され、互いに異なる地点に位置するユーザＵ同士のコミュニケーションが継続的に実行される。各装置において終了指示があったとき（Ｓ１２０：ＹＥＳ）、遠隔コミュニケーションシステム１０ａによる遠隔コミュニケーション処理は終了する。

【0074】

以上説明したように、第２実施形態の遠隔コミュニケーションシステム１０ａを構成する各ロボット１００では、第１実施形態と同様に、移動制御部１１６が、移動機構１５６を制御してロボット１００を移動させ、遠隔映像処理部１１２が、複数の遠隔地のユーザＵを表す映像を含む遠隔映像Ｉｒをディスプレイ１５１に表示し、現地映像処理部１１３が、カメラ１５２により撮影された映像である現地映像Ｉｓを複数の遠隔地のユーザＵに視認させる。そのため、第２実施形態の各ロボット１００は、複数の遠隔地のユーザＵを自らに乗り移らせることができる集団テレイグジスタンス装置として機能する。従って、第２実施形態の各ロボット１００は、ロボット１００に乗り移った複数の遠隔地のユーザＵと、ロボット１００の現在地に現実的に位置するユーザＵと、の間のリアルタイムなコミュニケーションを実現することができる。

【0075】

Ｃ．変形例：
本明細書で開示される技術は、上述の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の形態に変形することができ、例えば次のような変形も可能である。

【0076】

上記実施形態における遠隔コミュニケーションシステム１０の構成は、あくまで一例であり、種々変形可能である。例えば、上記第１実施形態では、遠隔ユーザＵｒが情報空間ＶＳにアクセスするためのデバイスとしてＨＭＤ２００が用いられているが、ＨＭＤ２００以外の他のデバイス（例えば、ＰＣ、スマートフォン、タブレット型端末、スマートグラス等）が用いられてもよい。また、上記第２実施形態では、２つの地点Ｐのいずれにおいても、コミュニケーションのためのデバイスとしてロボット１００が用いられているが、２つの地点Ｐのいずれかにおいて、ロボット１００以外の他のデバイス（例えば、ＰＣ、スマートフォン、タブレット型端末、スマートグラス等）が用いられてもよい。

【0077】

上記実施形態におけるロボット１００の構成は、あくまで一例であり、種々変形可能である。例えば、上記実施形態では、ディスプレイ１５１は３６０度ディスプレイであるが、必ずしもディスプレイ１５１は３６０度ディスプレイである必要はない。また、上記実施形態では、カメラ１５２は３６０度カメラであるが、必ずしもカメラ１５２は３６０度カメラである必要はない。また、上記実施形態では、マイク１５３は３６０度マイクであるが、必ずしもマイク１５３は３６０度マイクである必要はない。また、上記実施形態では、スピーカ１５４は指向性スピーカであるが、必ずしもスピーカ１５４は指向性スピーカである必要はない。

【0078】

上記実施形態において、ロボット１００が、マイク１５３と、スピーカ１５４と、ロボットアーム１５５との少なくとも１つを備えないとしてもよい。

【0079】

上記実施形態における遠隔コミュニケーション処理の内容は、あくまで一例であり、種々変更可能である。

【0080】

上記実施形態において、ハードウェアによって実現されている構成の一部をソフトウェアに置き換えるようにしてもよく、反対に、ソフトウェアによって実現されている構成の一部をハードウェアに置き換えるようにしてもよい。

【符号の説明】

【0081】

１０：遠隔コミュニケーションシステム １００：ロボット １１０：制御部 １１１：ロボット動作制御部 １１２：遠隔映像処理部 １１３：現地映像処理部 １１４：遠隔音声処理部 １１５：現地音声処理部 １１６：移動制御部 １１７：ロボットアーム制御部 １１８：情報空間構築部 １２０：記憶部 １３０：通信インターフェース １４０：操作入力部 １５１：ディスプレイ １５２：カメラ １５３：マイク １５４：スピーカ １５５：ロボットアーム １５６：移動機構 １５７：車輪 １９０：バス ２００：ＨＭＤ ２１０：制御部 ２２０：記憶部 ２３０：通信インターフェース ２４０：操作入力部 ２５１：右眼用表示実行部 ２５２：左眼用表示実行部 ２５３：マイク ２５４：スピーカ ２５５：頭部動き検出部 ２９０：バス ＣＰ：ロボット制御プログラム Ｉｒ：遠隔映像 Ｉｓ：現地映像 ＮＥＴ：外部ネットワーク Ｐｒ１：第１遠隔地 Ｐｒ２：第２遠隔地 Ｐｒ３：第３遠隔地 Ｐｓ：現地 Ｕｒ１：第１遠隔ユーザ Ｕｒ２：第２遠隔ユーザ Ｕｒ３：第３遠隔ユーザ Ｕｒａ：アバター Ｕｓ：現地ユーザ ＶＳ：情報空間

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】