特許 6564484 同室感コミュニケーションシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6564484

(24)【登録日】2019年8月2日

(45)【発行日】2019年8月21日

(54)【発明の名称】同室感コミュニケーションシステム

(51)【国際特許分類】

   H04N 7/14 20060101AFI20190808BHJP

   G06F 3/0481 20130101ALI20190808BHJP

   G06T 19/00 20110101ALI20190808BHJP

   G06F 3/01 20060101ALI20190808BHJP

【ＦＩ】

   H04N7/14 120

   G06F3/0481 150

   G06T19/00 600

   G06F3/01 510

【請求項の数】16

【全頁数】22

(21)【出願番号】特願2018-56835(P2018-56835)

(22)【出願日】2018年3月23日

【審査請求日】2019年1月31日

【新規性喪失の例外の表示】特許法第３０条第２項適用 平成２９年１１月２５日に人工知能合同研究会２０１７ 第１３回 データ指向構成マイニングとシミュレーション研究会（ＳＩＧ−ＤＯＣＭＡＳ）にて発表 平成２９年１２月２８日午後１０時から放送した「フランケンシュタインの誘惑 科学史 闇の事件簿 スペシャル 欲望のユートピア」にて発表

【早期審査対象出願】

(73)【特許権者】

【識別番号】504133110

【氏名又は名称】国立大学法人電気通信大学

(73)【特許権者】

【識別番号】399127832

【氏名又は名称】株式会社ＬＩＦＵＬＬ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】栗原 聡

(72)【発明者】

【氏名】須賀 聖

(72)【発明者】

【氏名】村田 直樹

(72)【発明者】

【氏名】上野 哲史

(72)【発明者】

【氏名】清田 陽司

【審査官】 富樫 明

(56)【参考文献】

【文献】 特表２０１４−５０６０２３（ＪＰ，Ａ）

【文献】 特開２０１７−１６４３１９（ＪＰ，Ａ）

【文献】 特開２０１４−０２６５９０（ＪＰ，Ａ）

【文献】 四倉 達夫, 外2名，サイバースペース上の仮想人物による実時間対話システムの構築，情報処理学会論文誌，日本，社団法人情報処理学会，１９９９年 ２月１５日，Vol.40, No.2，pp.677-686

【文献】 清水 紀芳, 外5名，ＭＲ ＲｏｂｏｔＰＨＯＮＥを用いた複合現実環境におけるインタラクション，日本バーチャルリアリティ学会論文誌，日本，特定非営利活動法人日本バーチャルリアリティ学会，２００６年 ６月３０日，Vol.11, No.2，pp.253-264

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１４−７／１５

Ｈ０４Ｎ ２１／００−２１／８５８

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

ロボットと、前記ロボットと通信可能な第１制御装置と、前記第１制御装置と通信可能な第２制御装置と、を備える同室感コミュニケーションシステムであって、
前記ロボットは、第１撮影部を有し、
前記第１制御装置は、
前記第１撮影部により撮影された画像を表示する第１表示部と、
アバターの表示態様を制御する情報の入力を受け付ける入力部と、を有し、
前記第２制御装置は、
第２撮影部と、
前記第２撮影部により撮影された画像に基づき、前記ロボットの３次元位置を検出する検出部と、
前記第２撮影部により撮影された画像を表示し、前記検出部により前記ロボットの３次元位置が検出された場合に、前記第１制御装置から受信した前記表示態様を制御する情報に基づいて、前記検出部により検出された３次元位置に前記アバターを表示する第２表示部と、を有し、
前記表示態様を制御する情報は、文字情報及び画像情報の少なくともいずれかを含み、
前記第２表示部は、前記アバターに関連付けて、前記文字情報及び前記画像情報の少なくともいずれかを表示する、
同室感コミュニケーションシステム。

【請求項2】

前記ロボットは、自走部を有し、
前記入力部は、前記自走部による前記ロボットの自走を制御する情報の入力を受け付ける、
請求項１に記載の同室感コミュニケーションシステム。

【請求項3】

前記入力部は、前記アバターの身振りを制御する情報の入力を受け付ける、
請求項１又は２に記載の同室感コミュニケーションシステム。

【請求項4】

前記入力部は、前記アバターの表情を制御する情報の入力を受け付ける、
請求項１から３のいずれか一項に記載の同室感コミュニケーションシステム。

【請求項5】

前記入力部は、前記文字情報及び前記画像情報の少なくともいずれかの入力を受け付ける、
請求項１から４のいずれか一項に記載の同室感コミュニケーションシステム。

【請求項6】

前記ロボットは、マニピュレータを有し、
前記入力部は、前記マニピュレータを制御する情報の入力を受け付ける、
請求項１から５のいずれか一項に記載の同室感コミュニケーションシステム。

【請求項7】

前記第２制御装置は、前記検出部により前記ロボットの３次元位置が検出された場合に、前記第１制御装置に対して前記表示態様を制御する情報の送信を要求する要求部をさらに有する、
請求項１から６のいずれか一項に記載の同室感コミュニケーションシステム。

【請求項8】

ロボットと、前記ロボットと通信可能な第１制御装置と、前記第１制御装置と通信可能な第２制御装置と、を備える同室感コミュニケーションシステムであって、
前記ロボットは、第１撮影部を有し、
前記第１制御装置は、
前記第１撮影部により撮影された画像を表示する第１表示部と、
アバターの表示態様を制御する情報の入力を受け付ける入力部と、を有し、
前記第２制御装置は、
第２撮影部と、
前記第２撮影部により撮影された画像に基づき、前記ロボットの３次元位置を検出する検出部と、
前記第２撮影部により撮影された画像を表示し、前記検出部により前記ロボットの３次元位置が検出された場合に、前記第１制御装置から受信した前記表示態様を制御する情報に基づいて、前記検出部により検出された３次元位置に前記アバターを表示する第２表示部と、を有し、
前記第２制御装置は、前記検出部により前記ロボットの３次元位置が検出された場合に、前記第１制御装置に対して前記表示態様を制御する情報の送信を要求する要求部をさらに有する、
同室感コミュニケーションシステム。

【請求項9】

前記ロボットは、自走部を有し、
前記入力部は、前記自走部による前記ロボットの自走を制御する情報の入力を受け付ける、
請求項８に記載の同室感コミュニケーションシステム。

【請求項10】

前記入力部は、前記アバターの身振りを制御する情報の入力を受け付ける、
請求項８又は９に記載の同室感コミュニケーションシステム。

【請求項11】

前記入力部は、前記アバターの表情を制御する情報の入力を受け付ける、
請求項８から１０のいずれか一項に記載の同室感コミュニケーションシステム。

【請求項12】

前記表示態様を制御する情報は、文字情報及び画像情報の少なくともいずれかを含み、
前記第２表示部は、前記アバターに関連付けて、前記文字情報及び前記画像情報の少なくともいずれかを表示する、
請求項８から１１のいずれか一項に記載の同室感コミュニケーションシステム。

【請求項13】

前記入力部は、前記文字情報及び前記画像情報の少なくともいずれかの入力を受け付ける、
請求項１２に記載の同室感コミュニケーションシステム。

【請求項14】

前記ロボットは、マニピュレータを有し、
前記入力部は、前記マニピュレータを制御する情報の入力を受け付ける、
請求項８から１３のいずれか一項に記載の同室感コミュニケーションシステム。

【請求項15】

第１ロボットと、前記第１ロボットと通信可能な第１制御装置と、第２ロボットと、前記第２ロボット及び前記第１制御装置と通信可能な第２制御装置と、を備える同室感コミュニケーションシステムであって、
前記第１ロボットは、第１撮影部を有し、
前記第２ロボットは、第２撮影部を有し、
前記第１制御装置は、
前記第１撮影部により撮影された画像に基づき、前記第２ロボットの３次元位置を検出する第１検出部と、
前記第１撮影部により撮影された画像を表示し、前記第１検出部により前記第２ロボットの３次元位置が検出された場合に、前記第２制御装置から受信した第２アバターの表示態様を制御する情報に基づいて、前記第１検出部により検出された３次元位置に前記第２アバターを表示する第１表示部と、
第１アバターの表示態様を制御する情報の入力を受け付ける第１入力部と、を有し、
前記第２制御装置は、
前記第２撮影部により撮影された画像に基づき、前記第１ロボットの３次元位置を検出する第２検出部と、
前記第２撮影部により撮影された画像を表示し、前記第２検出部により前記第１ロボットの３次元位置が検出された場合に、前記第１制御装置から受信した前記第１アバターの表示態様を制御する情報に基づいて、前記第２検出部により検出された３次元位置に前記第１アバターを表示する第２表示部と、
前記第２アバターの表示態様を制御する情報の入力を受け付ける第２入力部と、を有し、
前記第１アバターの表示態様を制御する情報は、文字情報及び画像情報の少なくともいずれかを含み、
前記第２表示部は、前記第１アバターに関連付けて、前記文字情報及び前記画像情報の少なくともいずれかを表示する、
同室感コミュニケーションシステム。

【請求項16】

第１ロボットと、前記第１ロボットと通信可能な第１制御装置と、第２ロボットと、前記第２ロボット及び前記第１制御装置と通信可能な第２制御装置と、を備える同室感コミュニケーションシステムであって、
前記第１ロボットは、第１撮影部を有し、
前記第２ロボットは、第２撮影部を有し、
前記第１制御装置は、
前記第１撮影部により撮影された画像に基づき、前記第２ロボットの３次元位置を検出する第１検出部と、
前記第１撮影部により撮影された画像を表示し、前記第１検出部により前記第２ロボットの３次元位置が検出された場合に、前記第２制御装置から受信した第２アバターの表示態様を制御する情報に基づいて、前記第１検出部により検出された３次元位置に前記第２アバターを表示する第１表示部と、
第１アバターの表示態様を制御する情報の入力を受け付ける第１入力部と、を有し、
前記第２制御装置は、
前記第２撮影部により撮影された画像に基づき、前記第１ロボットの３次元位置を検出する第２検出部と、
前記第２撮影部により撮影された画像を表示し、前記第２検出部により前記第１ロボットの３次元位置が検出された場合に、前記第１制御装置から受信した前記第１アバターの表示態様を制御する情報に基づいて、前記第２検出部により検出された３次元位置に前記第１アバターを表示する第２表示部と、
前記第２アバターの表示態様を制御する情報の入力を受け付ける第２入力部と、を有し、
前記第２制御装置は、前記第２検出部により前記第１ロボットの３次元位置が検出された場合に、前記第１制御装置に対して前記第１アバターの表示態様を制御する情報の送信を要求する要求部をさらに有する、
同室感コミュニケーションシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、同室感コミュニケーションシステムに関する。

【背景技術】

【0002】

従来、遠隔地にいるユーザの音声と画像を取得し、音声、表情及び身振りによってコミュニケーションが取れるようにするシステムが用いられている。

【0003】

例えば、下記非特許文献１には、複数のカメラと、各ユーザの周囲に配置された複数のディスプレイとを備え、ユーザの移動が反映されるように、複数のディスプレイにユーザの映像を表示するシステムが開示されている。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】平田圭二、外８名、「Basic design of video communication system enabling users to move around in share space」、IEICE transactions on electronics、２００９年１１月１日、第Ｅ９２‐Ｃ巻、第１１号、ｐ．１３８７−１３９５

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、カメラにより撮影されたユーザの画像をディスプレイに表示する場合、遠隔地にいるユーザが同じ空間にいるような感覚を得ることは難しい。例えば、非特許文献１に記載の技術では、遠隔地にいるユーザがディスプレイ上に現れたような感覚が得られるものの、３次元的な位置の認識を共有することは難しく、同じ空間にいるような感覚を得ることは難しい。

【0006】

そこで、本発明は、複数のユーザが３次元的な位置の認識を共有して、同じ空間にいるような感覚を得ることができる同室感コミュニケーションシステムを提供する。

【課題を解決するための手段】

【0007】

本発明の一態様に係る同室感コミュニケーションシステムは、ロボットと、ロボットと通信可能な第１制御装置と、第１制御装置と通信可能な第２制御装置と、を備える同室感コミュニケーションシステムであって、ロボットは、第１撮影部を有し、第１制御装置は、第１撮影部により撮影された画像を表示する第１表示部と、アバターの表示態様を制御する情報の入力を受け付ける入力部と、を有し、第２制御装置は、第２撮影部と、第２撮影部により撮影された画像に基づき、ロボットの３次元位置を検出する検出部と、第２撮影部により撮影された画像を表示し、検出部によりロボットの３次元位置が検出された場合に、第１制御装置から受信した表示態様を制御する情報に基づいて、検出部により検出された３次元位置にアバターを表示する第２表示部と、を有する。

【0008】

この態様によれば、第１ユーザが用いる第１制御装置は、ロボットの第１撮影部により撮影された第２ユーザの画像を表示し、第１ユーザからアバターの表示態様を制御する情報の入力を受け付ける。第２ユーザの用いる第２制御装置は、ロボットの３次元位置に第１ユーザによって表示態様が制御されるアバターを表示する。このように、第１ユーザ及び第２ユーザは、ロボットにより３次元的な位置の認識を共有することができ、同じ空間にいるような感覚を得ることができる。

【0009】

上記態様において、ロボットは、自走部を有し、入力部は、自走部によるロボットの自走を制御する情報の入力を受け付けてもよい。

【0010】

この態様によれば、第１ユーザが用いる第１制御装置によって、ロボットの自走を制御することで、第１ユーザが所望する位置から画像を撮影することができ、第１ユーザが第２ユーザと同じ部屋を移動する感覚を第１ユーザ及び第２ユーザ双方に与えることができる。

【0011】

上記態様において、入力部は、アバターの身振りを制御する情報の入力を受け付けてもよい。

【0012】

この態様によれば、アバターによって現実空間における方向を指し示したり、資料の特定の箇所を指し示したりすることができ、ボディランゲージを用いたコミュニケーションを図ることができる。

【0013】

上記態様において、入力部は、アバターの表情を制御する情報の入力を受け付けてもよい。

【0014】

この態様によれば、アバターの表情を変化させることができ、アバターが３Ｄモデルの場合であっても、人とコミュニケーションを取っているような感覚を与えることができる。

【0015】

上記態様において、表示態様を制御する情報は、文字情報及び画像情報の少なくともいずれかを含み、第２表示部は、アバターに関連付けて、文字情報及び画像情報の少なくともいずれかを表示してもよい。

【0016】

この態様によれば、第２制御装置を用いる第２ユーザに対して、文字情報及び画像情報の少なくともいずれかを提示することができ、同室で資料の説明が行われている感覚を与える等、各種情報を用いたコミュニケーションを図ることができる。

【0017】

上記態様において、入力部は、文字情報及び画像情報の少なくともいずれかの入力を受け付けてもよい。

【0018】

この態様によれば、予め用意された文字情報及び画像情報のみならず、第１制御装置を用いる第１ユーザによって入力される文字情報及び画像情報の少なくともいずれかを、第２制御装置を用いる第２ユーザに対して提示することができる。

【0019】

上記態様において、ロボットは、マニピュレータを有し、入力部は、マニピュレータを制御する情報の入力を受け付けてもよい。

【0020】

この態様によれば、第１ユーザが用いる第１制御装置によって、ロボットのマニピュレータを制御することで、ロボットの近傍に置かれた物をロボットにより能動的に操作することができ、第１ユーザ及び第２ユーザによって、共通の物理的対象を操作することができるようになる。

【0021】

上記態様において、第２制御装置は、検出部によりロボットの３次元位置が検出された場合に、第１制御装置に対して表示態様を制御する情報の送信を要求する要求部をさらに有してもよい。

【0022】

この態様によれば、第２制御装置によってロボットの３次元位置が検出された場合に、自動的に対応するアバターが表示され、ロボットと他のユーザとを同一視する感覚を与えることができる。

【0023】

本発明の他の態様に係る同室感コミュニケーションシステムは、第１ロボットと、第１ロボットと通信可能な第１制御装置と、第２ロボットと、第２ロボット及び第１制御装置と通信可能な第２制御装置と、を備える同室感コミュニケーションシステムであって、第１ロボットは、第１撮影部を有し、第２ロボットは、第２撮影部を有し、第１制御装置は、第１撮影部により撮影された画像に基づき、第２ロボットの３次元位置を検出する第１検出部と、第１撮影部により撮影された画像を表示し、第１検出部により第２ロボットの３次元位置が検出された場合に、第２制御装置から受信した第２アバターの表示態様を制御する情報に基づいて、第１検出部により検出された３次元位置に第２アバターを表示する第１表示部と、第１アバターの表示態様を制御する情報の入力を受け付ける第１入力部と、を有し、第２制御装置は、第２撮影部により撮影された画像に基づき、第１ロボットの３次元位置を検出する第２検出部と、第２撮影部により撮影された画像を表示し、第２検出部により第１ロボットの３次元位置が検出された場合に、第１制御装置から受信した第１アバターの表示態様を制御する情報に基づいて、第２検出部により検出された３次元位置に第１アバターを表示する第２表示部と、第２アバターの表示態様を制御する情報の入力を受け付ける第２入力部と、を有する。

【0024】

この態様によれば、第１ユーザが用いる第１制御装置は、第１ロボットの第１撮影部により撮影された第２ロボットの画像を表示し、第１ユーザから第１アバターの表示態様を制御する情報の入力を受け付ける。第２ユーザが用いる第２制御装置は、第２ロボットの第２撮影部により撮影された第１ロボットの画像を表示し、第２ユーザから第２アバターの表示態様を制御する情報の入力を受け付ける。そして、第１制御装置は、第２ロボットの３次元位置に第２ユーザによって表示態様が制御される第２アバターを表示し、第２制御装置は、第１ロボットの３次元位置に第１ユーザによって表示態様が制御される第１アバターを表示する。このように、第１ユーザ及び第２ユーザは、第１ロボット及び第２ロボットにより３次元的な位置の認識を共有することができ、同じ空間にいるような感覚を得ることができる。

【発明の効果】

【0025】

本発明によれば、複数のユーザが３次元的な位置の認識を共有して、同じ空間にいるような感覚を得ることができる同室感コミュニケーションシステムが提供される。

【図面の簡単な説明】

【0026】

【図1】本発明の第１実施形態に係る同室感コミュニケーションシステムの機能ブロックを示す図である。

【図2】第１実施形態に係る第１制御装置の物理的構成を示す図である。

【図3】第１実施形態に係る第２制御装置の物理的構成を示す図である。

【図4】第１実施形態に係るロボットの外観を示す図である。

【図5】第１実施形態に係る第２制御装置により表示されるアバターの例を示す図である。

【図6】第１実施形態に係る第１制御装置により実行される処理のフローチャートである。

【図7】第１実施形態に係る第２制御装置により実行される処理のフローチャートである。

【図8】本発明の第２実施形態に係る同室感コミュニケーションシステムの機能ブロックを示す図である。

【図9】第２実施形態に係る第１制御装置により実行される処理のフローチャートである。

【発明を実施するための形態】

【0027】

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0028】

［第１実施形態］
図１は、本発明の第１実施形態に係る同室感コミュニケーションシステム１の機能ブロックを示す図である。同室感コミュニケーションシステム１は、第１の場所Ｌ１で第１制御装置１０を用いる第１ユーザと、第２の場所Ｌ２で第２制御装置２０を用いる第２ユーザとの間でコミュニケーションを行うシステムである。第１の場所Ｌ１と第２の場所Ｌ２は、物理的に離れた場所であってよいが、必ずしも遠隔地である必要はなく、同一の建物内の別の部屋であってもよい。

【0029】

同室感コミュニケーションシステム１は、例えば物件の内覧を行う場合に用いることができる。その場合、第２の場所Ｌ２は、賃貸される物件や販売される物件の部屋であり、第１の場所Ｌ１にいる第１ユーザが、第２の場所Ｌ２の内覧に訪れた第２ユーザをロボット３０により案内することとなる。また、同室感コミュニケーションシステム１は、第１の場所Ｌ１にいる第１ユーザと、第２の場所Ｌ２にいる第２ユーザとの間で、不動産の賃貸借契約等の契約を行う場合に用いることができる。また、同室感コミュニケーションシステム１は、第１の場所Ｌ１にいる第１ユーザが、第２の場所Ｌ２にいる第２ユーザに対して、第２の場所Ｌ２のインテリアコーディネートを行う場合に用いることができる。さらに、同室感コミュニケーションシステム１は、第１の場所Ｌ１にいる第１ユーザと、第２の場所Ｌ２にいる第２ユーザとの会議に用いたり、第１ユーザが第２のユーザに対して講義や仕事のレクチャーを行うために用いたりすることができる。

【0030】

本実施形態では、第１の場所Ｌ１に第１制御装置１０を用いる第１ユーザがおり、第２の場所Ｌ２に第２制御装置２０を用いる第２ユーザと、ロボット３０とがいる。ここで、第１制御装置１０及びロボット３０は、インターネット等の通信ネットワークＮを介して互いに通信可能に構成される。また、第１制御装置１０及び第２制御装置２０は、通信ネットワークＮを介して互いに通信可能に構成される。なお、第２制御装置２０及びロボット３０も、インターネット等の通信ネットワークＮ又は近距離無線通信等により互いに通信可能に構成されてもよい。なお、第１の場所Ｌ１に複数の第１制御装置１０を用いる複数の第１ユーザがいて、第２の場所Ｌ２に複数の第１ユーザに対応する複数のロボット３０がいてもよいし、第２の場所Ｌ２に複数の第２制御装置２０を用いる複数の第２ユーザがいてもよい。

【0031】

ロボット３０は、第１撮影部３１と、自走部３２と、マニピュレータ３３と、マーカ３５とを備える。第１撮影部３１は、任意のカメラで構成されてよく、例えば全方位を撮影可能な全天球カメラであったり、立体画像を撮影することができるステレオカメラであったりしてよい。

【0032】

自走部３２は、ロボット３０を移動させる構成であり、例えばモータと、車輪又は無限軌道とを含んでよい。自走部３２によるロボット３０の自走は、第１制御装置１０により制御される。

【0033】

マニピュレータ３３は、物を操作する機械的な構成であり、例えばロボットハンドであってよい。マニピュレータ３３は、第１制御装置１０により制御される。

【0034】

マーカ３５は、ロボット３０の３次元位置を検出するための符号であり、いわゆるＡＲ（Augmented Reality）マーカであってよい。また、マーカ３５は、任意の方向から認識できるような円筒形のＡＲマーカであってよい。

【0035】

第１制御装置１０は、第１表示部１０ｆと、入力部１０ｅとを少なくとも備える。第１表示部１０ｆは、ロボット３０の第１撮影部３１により撮影され、通信ネットワークＮを介して受信した画像を表示する。第１表示部１０ｆは、ヘッドマウントディスプレイであってよく、第１撮影部３１により撮影される画像をリアルタイムで動画として表示してよい。第１撮影部３１の撮影範囲に第２ユーザが含まれる場合、第１表示部１０ｆは、第２ユーザの挙動を動画として表示してよい。第１制御装置１０を用いる第１ユーザは、第１の場所Ｌ１にいながら、仮想的に第２の場所Ｌ２にいるかのような感覚を得ることができる。

【0036】

入力部１０ｅは、後述するアバターの表示態様を制御する情報の入力を受け付ける。入力部１０ｅは、ジャイロセンサ、タッチパネル及び物理的なキー等で構成されてよい。ここで、ジャイロセンサは、第１表示部１０ｆがヘッドマウントディスプレイで構成される場合、ヘッドマウントディスプレイに設けられて、第１ユーザの頭の向きを検出してよい。また、ジャイロセンサは、第１ユーザによって把持されるコントローラに設けられてよく、第１ユーザの腕の姿勢、すなわち腕の各関節の角度を検出してよい。

【0037】

入力部１０ｅは、アバターの身振りを制御する情報の入力を受け付けてよい。アバターの身振りを制御する情報は、ヘッドマウントディスプレイに設けられたジャイロセンサにより入力されてよく、第１ユーザの頭の向きに応じて、アバターの頭の向きを制御する情報であってよい。また、アバターの身振りを制御する情報は、第１ユーザによって把持されるコントローラに設けられたジャイロセンサにより入力されてよく、第１ユーザの腕の姿勢に応じて、アバターの腕の姿勢を制御する情報であってよい。また、入力部１０ｅは、アバターの指の態様を制御する情報の入力を受け付けてよく、例えば、指を自然に開いた態様とする情報や、人差し指により物を指し示す態様とする情報を受け付けてよい。これにより、アバターによって現実空間における方向を指し示したり、資料の特定の箇所を指し示したりすることができ、ボディランゲージを用いたコミュニケーションを図ることができる。

【0038】

入力部１０ｅは、アバターの表情を制御する情報の入力を受け付けてよい。アバターの身振りを制御する情報は、タッチパネル及び物理的なキー等で入力されてよく、例えば、喜怒哀楽の表情を指定する情報を含んでよい。これにより、アバターの表情を変化させることができ、アバターが３Ｄモデルの場合であっても、人とコミュニケーションを取っているような感覚を与えることができる。

【0039】

第２制御装置２０は、第２撮影部２０ｉと、検出部２１と、第２表示部２０ｆと、要求部２２とを少なくとも備える。第２撮影部２０ｉは、任意のカメラで構成されてよく、例えば、第２制御装置２０を用いる第２ユーザの頭部に設けられて、第２ユーザの視界と撮影範囲が重なるように設けられてよい。

【0040】

検出部２１は、第２撮影部２０ｉにより撮影された画像に基づき、ロボット３０の３次元位置を検出する。検出部２１は、ロボット３０に備えられたマーカ３５を認識し、マーカ３５の３次元位置を検出してよい。ここで、マーカ３５の３次元位置は、ロボット３０の３次元位置と同一視されてよい。なお、検出部２１は、第２撮影部２０ｉにより撮影された画像に基づき、マーカレスでロボット３０の３次元位置を検出してもよい。その場合、検出部２１は、ロボット３０の特徴点を認識し、特徴点の３次元位置に基づいて、ロボット３０の３次元位置を検出してもよい。

【0041】

第２表示部２０ｆは、第２撮影部２０ｉにより撮影された画像を表示し、検出部２１によりロボット３０の３次元位置が検出された場合に、第１制御装置１０から受信したアバターの表示態様を制御する情報に基づいて、検出部２１により検出された３次元位置にアバターを表示する。第２表示部２０ｆは、第１制御装置１０により入力されたアバターの身振りを制御する情報や、アバターの表情を制御する情報に基づいて、第１制御装置１０を用いる第１ユーザが所望する身振りや表情を示すアバターを表示してよい。第２表示部２０ｆは、第２の場所Ｌ２の環境やロボット３０を、アバターと同時に視認できる透過型ヘッドマウントディスプレイであってよい。第２撮影部２０ｉの撮影範囲にロボット３０が含まれる場合、第２表示部２０ｆは、検出部２１により検出されたロボット３０の３次元位置に追随するように、アバターをリアルタイムで表示してよい。第２制御装置２０を用いる第２ユーザは、第２の場所Ｌ２という現実空間にアバターという仮想人物がいるかのような複合現実（Mixed Reality：ＭＲ）の感覚を得ることができる。

【0042】

アバターの表示態様を制御する情報は、文字情報及び画像情報の少なくともいずれかを含んでよく、第２表示部２０ｆは、アバターに関連付けて、第１制御装置１０から受信した文字情報及び画像情報の少なくともいずれかを表示してよい。ここで、文字情報及び画像情報は、アバターによって提示されるように表示されてよく、例えばアバターが資料を提示するように文字情報及び画像情報をポップアップさせて表示したり、アバターが板書しているように文字情報を表示したり、アバターが現実空間にポインタを設置しているようにポインタの画像情報やポインタの３Ｄモデルを表示したりしてよい。これにより、第２制御装置２０を用いる第２ユーザに対して、文字情報及び画像情報の少なくともいずれかを提示することができ、同室で資料の説明が行われている感覚を与える等、各種情報を用いたコミュニケーションを図ることができる。また、この場合、第１制御装置１０の入力部１０ｅは、文字情報及び画像情報の少なくともいずれかの入力を受け付けてよい。これにより、予め用意された文字情報及び画像情報のみならず、第１制御装置１０を用いる第１ユーザによって入力される文字情報及び画像情報の少なくともいずれかを、第２制御装置２０を用いる第２ユーザに対して提示することができる。

【0043】

要求部２２は、検出部２１によりロボット３０の３次元位置が検出された場合に、第１制御装置１０に対してアバターの表示態様を制御する情報の送信を要求する。要求部２２は、検出部２１によってロボット３０に備えられたマーカ３５が認識され、マーカ３５の３次元位置が検出された場合に、マーカ３５の画像と、予め登録された画像とを照合して、照合結果が正しい場合に、第１制御装置１０に対してアバターの表示態様を制御する情報の送信を要求してよい。要求部２２を備えることで、第２制御装置２０によってロボット３０の３次元位置が検出された場合に、自動的に対応するアバターが表示されることとなり、ロボット３０と他のユーザとを同一視する感覚を与えることができる。

【0044】

図２は、第１実施形態に係る第１制御装置１０の物理的構成を示す図である。第１制御装置１０は、演算装置に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、第１表示部１０ｆと、音声入力部１０ｇと、音声出力部１０ｈとを有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では第１制御装置１０が一台のコンピュータで構成される場合について説明するが、第１制御装置１０は、複数のコンピュータを用いて実現されてもよい。

【0045】

ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、ロボット３０から受信した画像を第１表示部１０ｆに表示させたり、入力部１０ｅにより入力されるアバターの表示態様を制御する情報を第２制御装置２０に送信したりするプログラム（同室感コミュニケーションプログラム）を実行する演算装置である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々の入力データを受け取り、入力データの演算結果を第１表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。

【0046】

ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行する同室感コミュニケーションプログラムや、アバターに関連付けて表示する文字情報及び画像情報といったデータを記憶する。

【0047】

ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば同室感コミュニケーションプログラムや、書き換えが行われないデータを記憶する。

【0048】

通信部１０ｄは、第１制御装置１０を外部機器に接続するインターフェースである。通信部１０ｄは、第２制御装置２０及びロボット３０と、例えばインターネットやＬＡＮ（Local Area Network）により接続されて、第２制御装置２０から音声情報を受信し、第２制御装置２０に対して音声情報及びアバターの表示態様を制御する情報を送信し、ロボット３０から第１撮影部３１により撮影された画像を受信してよい。

【0049】

入力部１０ｅは、アバターの表示態様を制御する情報や、文字情報及び画像情報の入力を受け付けるものであり、例えば、ジャイロセンサ、タッチパネル及び物理的なキー等を含んでよい。

【0050】

第１表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）が設けられたヘッドマウントディスプレイにより構成されてよい。

【0051】

音声入力部１０ｇは、マイクロフォンで構成されてよく、第１ユーザの音声を電気的な音声情報に変換する。音声入力部１０ｇにより入力された音声情報は、通信部１０ｄにより第２制御装置２０に送信されてよい。

【0052】

音声出力部１０ｈは、スピーカーで構成されてよく、通信部１０ｄで受信した音声情報を再生する。音声出力部１０ｈは、第２制御装置２０により入力された音声情報を出力してよい。

【0053】

同室感コミュニケーションプログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークＮを介して提供されてもよい。第１制御装置１０では、ＣＰＵ１０ａが同室感コミュニケーションプログラムを実行することにより、図１を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、第１制御装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

【0054】

図３は、第１実施形態に係る第２制御装置２０の物理的構成を示す図である。第２制御装置２０は、演算装置に相当するＣＰＵ２０ａと、記憶部に相当するＲＡＭ２０ｂと、記憶部に相当するＲＯＭ２０ｃと、通信部２０ｄと、入力部２０ｅと、第２表示部２０ｆと、音声入力部２０ｇと、音声出力部２０ｈと、第２撮影部２０ｉとを有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では第２制御装置２０が一台のコンピュータで構成される場合について説明するが、第２制御装置２０は、複数のコンピュータを用いて実現されてもよい。

【0055】

ＣＰＵ２０ａは、ＲＡＭ２０ｂ又はＲＯＭ２０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ２０ａは、第２撮影部２０ｉにより撮影した画像に基づいてロボット３０の３次元位置を検出したり、第２撮影部２０ｉにより撮影した画像にアバターを重ねて第２表示部２０ｆに表示させたりするプログラム（同室感コミュニケーションプログラム）を実行する演算装置である。ＣＰＵ２０ａは、入力部２０ｅや通信部２０ｄから種々の入力データを受け取り、入力データの演算結果を第２表示部２０ｆに表示したり、ＲＡＭ２０ｂに格納したりする。

【0056】

ＲＡＭ２０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ２０ｂは、ＣＰＵ２０ａが実行する同室感コミュニケーションプログラムや、マーカ３５の照合に用いる画像情報といったデータを記憶する。

【0057】

ＲＯＭ２０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ２０ｃは、例えば同室感コミュニケーションプログラムや、書き換えが行われないデータを記憶する。

【0058】

通信部２０ｄは、第２制御装置２０を外部機器に接続するインターフェースである。通信部２０ｄは、少なくとも第１制御装置１０と、例えばインターネットやＬＡＮ（Local Area Network）により接続されて、第１制御装置１０から音声情報及びアバターの表示態様を制御する情報を受信し、第１制御装置１０に対して音声情報を送信してよい。

【0059】

入力部２０ｅは、第２ユーザからの入力を受け付けるものであり、例えば、タッチパネル及び物理的なキー等を含んでよい。

【0060】

第２表示部２０ｆは、ＣＰＵ２０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤが設けられたヘッドマウントディスプレイにより構成されてよい。また、第２表示部２０ｆは、第２の場所Ｌ２の環境やロボット３０を、アバターと同時に視認できる透過型ヘッドマウントディスプレイであってよい。もっとも、第２表示部２０ｆは、非透過型ヘッドマウントディスプレイであってもよく、第２撮影部２０ｉにより撮影される第２の場所Ｌ２の画像と、アバターとを表示するものであってもよい。

【0061】

音声入力部２０ｇは、マイクロフォンで構成されてよく、第２ユーザの音声を電気的な音声情報に変換する。音声入力部２０ｇにより入力された音声情報は、通信部２０ｄにより第１制御装置１０に送信されてよい。

【0062】

音声出力部２０ｈは、スピーカーで構成されてよく、通信部２０ｄで受信した音声情報を再生する。音声出力部２０ｈは、第１制御装置１０により入力された音声情報を出力してよい。

【0063】

第２撮影部２０ｉは、任意のカメラで構成されてよく、例えば、第２表示部２０ｆをヘッドマウントディスプレイで構成する場合、ヘッドマウントディスプレイに設けられて、第２ユーザの視界と撮影範囲が重なるように設けられてよい。

【0064】

同室感コミュニケーションプログラムは、ＲＡＭ２０ｂやＲＯＭ２０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部２０ｄにより接続される通信ネットワークＮを介して提供されてもよい。第２制御装置２０では、ＣＰＵ２０ａが同室感コミュニケーションプログラムを実行することにより、図１を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、第２制御装置２０は、ＣＰＵ２０ａとＲＡＭ２０ｂやＲＯＭ２０ｃが一体化したＬＳＩを備えていてもよい。

【0065】

図４は、第１実施形態に係るロボット３０の外観を示す図である。ロボット３０は、第１撮影部３１、自走部３２及びマーカ３５を備える。なお、本例では、図示していないが、ロボット３０は、マニピュレータ３３を備えてもよい。

【0066】

自走部３２は、モータ及び車輪を含んでよい。第１制御装置１０の入力部１０ｅは、自走部３２によるロボット３０の自走を制御する情報の入力を受け付けてよく、第１制御装置１０を用いる第１ユーザは、第１撮影部３１により撮影される画像を確認しながら、所望の方向にロボット３０を移動させることができる。第１ユーザが用いる第１制御装置１０によって、ロボット３０の自走を制御することで、第１ユーザが所望する位置から画像を撮影することができ、第１ユーザが第２ユーザと同じ部屋を移動する感覚を第１ユーザ及び第２ユーザ双方に与えることができる。これにより、例えば第２ユーザの動作が視認しづらい場合に、第２ユーザの動作が視認しやすい位置にロボット３０を移動させたり、ロボット３０によって第２ユーザを先導したり、第２ユーザに追従したりすることができる。

【0067】

また、ロボット３０がマニピュレータ３３を備える場合、マニピュレータ３３はロボットハンドを含んでよい。第１制御装置１０の入力部１０ｅは、マニピュレータ３３を制御する情報の入力を受け付けてよく、第１制御装置１０を用いる第１ユーザは、第１撮影部３１により撮影される画像を確認しながら、マニピュレータ３３によって任意の物を操作することができる。第１ユーザが用いる第１制御装置１０によって、ロボット３０のマニピュレータ３３を制御することで、第２の場所Ｌ２に置かれた物をロボット３０により能動的に操作することができ、第１ユーザ及び第２ユーザによって、共通の物理的対象を操作することができるようになる。また、マニピュレータ３３によって第２ユーザの健康状態を診断したり、手術を行ったりすることもできる。

【0068】

図５は、第１実施形態に係る第２制御装置２０により表示されるアバターＡの例を示す図である。第２制御装置２０は、検出部２１によってマーカ３５の３次元位置を検出し、第２表示部２０ｆによって、ロボット３０に重畳するようにアバターＡを表示する。本例において、アバターＡは、半透明の３Ｄモデルであり、ロボット３０のマーカ３５や第１撮影部３１に重畳するように表示されている。また、アバターＡは、第２の場所Ｌ２の背景に重畳するように表示されている。なお、アバターＡは、３Ｄモデルに限られず、第１制御装置１０を用いる第１ユーザの全身画像であったり、第１ユーザの顔画像と３Ｄモデルとを組み合わせたものであったりしてもよい。また、アバターＡは、必ずしも半透明でなくてもよく、ロボット３０を覆い、ロボット３０を上書きするように表示されてもよい。

【0069】

本実施形態に係る同室感コミュニケーションシステム１によれば、第１ユーザが用いる第１制御装置１０は、ロボット３０の第１撮影部３１により撮影されたロボット３０の視点からの第２ユーザの画像を表示し、第１ユーザからアバターＡの表示態様を制御する情報の入力を受け付ける。第２ユーザの用いる第２制御装置２０は、ロボット３０の３次元位置に第１ユーザによって表示態様が制御されるアバターＡを表示する。このように、第１ユーザ及び第２ユーザは、ロボット３０により３次元的な位置の認識を共有することができ、同じ空間にいるような感覚を得ることができる。

【0070】

図６は、第１実施形態に係る第１制御装置１０により実行される処理のフローチャートである。同図では、同室感コミュニケーションシステム１により実行される処理のうち、第１制御装置１０により実行される処理のフローチャートを示している。第１制御装置１０により実行される処理は、主にアバターの表示態様を制御する情報の入力を受け付けて、第２制御装置２０に送信する処理である。また、第１制御装置１０により実行される処理は、第２制御装置２０により入力された音声を出力する処理、文字情報や画像情報の入力を受け付けて第２制御装置２０に送信する処理、ロボット３０の自走を制御する情報の入力を受け付けてロボット３０に送信する処理及びロボット３０のマニピュレータ３３を制御する情報の入力を受け付けてロボット３０に送信する処理を含んでよい。以下では、第１制御装置１０により実行される処理の一例を示す。

【0071】

はじめに、第１制御装置１０の第１表示部１０ｆにロボット３０の第１撮影部３１で撮影された画像を表示する（Ｓ１０）。そして、第１制御装置１０の音声出力部１０ｈにより、第２制御装置２０の音声入力部２０ｇに入力された音声を出力する（Ｓ１１）。なお、本例に示した音声出力のタイミングは一例に過ぎず、第１制御装置１０の音声入力部１０ｇ及び音声出力部１０ｈと、第２制御装置２０の音声入力部２０ｇ及び音声出力部２０ｈとによる音声情報の入出力は、任意のタイミングで行われてよい。

【0072】

次に、第１制御装置１０の入力部１０ｅによって、アバターの身振りを制御する情報、表情を制御する情報の入力を受け付ける（Ｓ１２）。そして、アバターの身振りを制御する情報、表情を制御する情報を第２制御装置２０に送信する（Ｓ１３）。なお、本例で示したアバターの身振りを制御する情報、表情を制御する情報の入力を受け付けるタイミングと、送信するタイミングは一例に過ぎず、第１制御装置１０は、任意のタイミングでアバターの身振りを制御する情報、表情を制御する情報の入力を受け付けてよいし、当該情報を第２制御装置２０に送信してよい。また、第１制御装置１０は、アバターの身振りを制御する情報及び表情を制御する情報以外のアバターの表示態様を制御する情報を受け付けて、第２制御装置２０に送信してもよい。

【0073】

その後、第１制御装置１０の入力部１０ｅによって、文字情報及び画像情報の少なくともいずれかの入力を受け付ける（Ｓ１４）。そして、文字情報及び画像情報の少なくともいずれかを第２制御装置２０に送信する（Ｓ１５）。なお、本例で示した文字情報及び画像情報の入力を受け付けるタイミングと、送信するタイミングは一例に過ぎず、第１制御装置１０は、任意のタイミングで文字情報及び画像情報の入力を受け付けてよいし、当該情報を第２制御装置２０に送信してよい。また、第１制御装置１０によって文字情報及び画像情報の入力を受け付け、第２制御装置２０に送信する処理は、必ずしも実行されなくてもよく、省略可能である。

【0074】

また、第１制御装置１０の入力部１０ｅによって、ロボット３０の自走を制御する情報の入力を受け付ける（Ｓ１６）。そして、自走を制御する情報をロボット３０に送信する（Ｓ１７）。なお、本例で示したロボット３０の自走を制御する情報の入力を受け付けるタイミングと、送信するタイミングは一例に過ぎず、第１制御装置１０は、任意のタイミングでロボット３０の自走を制御する情報の入力を受け付けてよいし、当該情報をロボット３０に送信してよい。

【0075】

さらに、第１制御装置１０の入力部１０ｅによって、ロボット３０のマニピュレータ３３を制御する情報の入力を受け付ける（Ｓ１８）。そして、マニピュレータ３３を制御する情報をロボット３０に送信する（Ｓ１９）。なお、本例で示したロボット３０のマニピュレータ３３を制御する情報の入力を受け付けるタイミングと、送信するタイミングは一例に過ぎず、第１制御装置１０は、任意のタイミングでロボット３０のマニピュレータ３３を制御する情報の入力を受け付けてよいし、当該情報をロボット３０に送信してよい。

【0076】

なお、ステップＳ１１、ステップＳ１２〜Ｓ１３、ステップＳ１４〜Ｓ１５、ステップＳ１６〜Ｓ１７及びステップＳ１８〜Ｓ１９は、それぞれ順不同で任意のタイミングで実行されてよいし、必ずしも実行されなくてもよい。

【0077】

図７は、第１実施形態に係る第２制御装置２０により実行される処理のフローチャートである。同図では、同室感コミュニケーションシステム１により実行される処理のうち、第２制御装置２０により実行される処理のフローチャートを示している。第２制御装置２０により実行される処理は、主にロボット３０の３次元位置にアバターを表示する処理である。また、第２制御装置２０により実行される処理は、第１制御装置１０により入力された音声を出力する処理、ロボット３０のマーカ３５と登録された画像を照合する処理、第１制御装置１０に対してアバターの表示態様を制御する情報の送信を要求する処理及び文字情報や画像情報を第１制御装置１０から受信してアバターに関連付けて表示する処理を含んでよい。以下では、第２制御装置２０により実行される処理の一例を示す。

【0078】

はじめに、第２制御装置２０の第２撮影部２０ｉにより、第２の場所Ｌ２の画像を撮影する（Ｓ２０）。そして、第２制御装置２０の要求部２２は、マーカ３５と登録された画像が一致するか否かを判定し、一致しない場合（Ｓ２１：ＮＯ）、引き続き第２撮影部２０ｉにより画像を撮影する（Ｓ２０）。一方、マーカ３５と登録された画像が一致する場合（Ｓ２１：ＹＥＳ）、第２制御装置２０の検出部２１により、画像に基づいてマーカ３５を認識し、マーカ３５に基づいてロボット３０の３次元位置を検出する（Ｓ２２）。また、第２制御装置２０の要求部２２により、第１制御装置１０に対してアバターの表示態様を制御する情報の送信を要求する（Ｓ２３）。

【0079】

その後、第２制御装置２０は、第１制御装置１０から、アバターの身振りを制御する情報、表情を制御する情報を受信する（Ｓ２４）。そして、第２制御装置２０の第２表示部２０ｆにより、ロボット３０の３次元位置にアバターを表示する（Ｓ２５）。

【0080】

また、第２制御装置２０は、第１制御装置１０から、文字情報及び画像情報の少なくともいずれかを受信する（Ｓ２６）。そして、第２表示部２０ｆにより、文字情報及び画像情報の少なくともいずれかをアバターに関連付けて表示する（Ｓ２７）。なお、本例で示した文字情報及び画像情報を受信するタイミングは一例に過ぎず、第２制御装置２０は、文字情報及び画像情報を受信しない場合もあるし、マーカ３５が照合された後の任意のタイミングで文字情報及び画像情報を受信してよい。

【0081】

なお、ステップＳ２４〜Ｓ２５及びステップＳ２６〜Ｓ２７は、それぞれ順不同で任意のタイミングで実行されてよいし、必ずしも実行されなくてもよい。

【0082】

［第２実施形態］
図８は、本発明の第２実施形態に係る同室感コミュニケーションシステム１Ａの機能ブロックを示す図である。本実施形態に係る同室感コミュニケーションシステム１Ａは、第１の場所Ｌ１で第１制御装置１０Ａを用いる第１ユーザと、第２の場所Ｌ２で第２制御装置２０Ａを用いる第２ユーザとが、第３の場所Ｌ３に置かれた第１ロボット３０Ａ及び第２ロボット３０Ｂを用いてコミュニケーションを行うシステムである。第１の場所Ｌ１、第２の場所Ｌ２及び第３の場所Ｌ３は、互いに物理的に離れた場所であってよいが、必ずしも遠隔地である必要はなく、同一の建物内の別の部屋であってもよい。

【0083】

本実施形態では、第１の場所Ｌ１に第１制御装置１０Ａを用いる第１ユーザがおり、第２の場所Ｌ２に第２制御装置２０Ａを用いる第２ユーザがおり、第３の場所Ｌ３に第１ロボット３０Ａ及び第２ロボット３０Ｂがいる。ここで、第１制御装置１０Ａ及び第１ロボット３０Ａは、インターネット等の通信ネットワークＮを介して互いに通信可能に構成される。また、第１制御装置１０Ａ及び第２制御装置２０Ａは、通信ネットワークＮを介して互いに通信可能に構成される。また、第２制御装置２０Ａ及び第２ロボット３０Ｂは、通信ネットワークＮを介して互いに通信可能に構成される。なお、第１ロボット３０Ａ及び第２ロボット３０Ｂも、インターネット等の通信ネットワークＮ又は近距離無線通信等により互いに通信可能に構成されてもよい。なお、第１の場所Ｌ１に第１制御装置１０Ａを用いる複数の第１ユーザがいて、第３の場所Ｌ３に複数の第１ユーザに対応する複数の第１ロボット３０Ａがいてもよいし、第２の場所Ｌ２に第２制御装置２０Ａを用いる複数の第２ユーザがいて、第３の場所Ｌ３に複数の第２ユーザに対応する複数の第２ロボット３０Ｂがいてもよい。

【0084】

第１ロボット３０Ａは、第１撮影部３１Ａと、自走部３２と、マニピュレータ３３と、第１マーカ３５Ａとを備える。第１撮影部３１Ａ、自走部３２、マニピュレータ３３及び第１マーカ３５Ａの構成は、第１実施形態に係るロボット３０の第１撮影部３１、自走部３２、マニピュレータ３３及びマーカ３５の構成と同様であってよく、詳細な説明を省略する。

【0085】

第２ロボット３０Ｂは、第２撮影部３１Ｂと、自走部３２と、マニピュレータ３３と、第２マーカ３５Ｂとを備える。第２撮影部３１Ｂ、自走部３２、マニピュレータ３３及び第２マーカ３５Ｂの構成は、第１実施形態に係るロボット３０の第１撮影部３１、自走部３２、マニピュレータ３３及びマーカ３５の構成と同様であってよく、詳細な説明を省略する。

【0086】

第１制御装置１０Ａは、第１検出部１１と、第１表示部１０ｆと、第１入力部１０ｅとを備える。第１検出部１１は、第１ロボット３０Ａの第１撮影部３１Ａにより撮影された画像に基づき、第２ロボット３０Ｂの３次元位置を検出する。第１検出部１１は、第１撮影部３１Ａにより撮影された画像に基づいて、第２ロボット３０Ｂの第２マーカ３５Ｂの３次元位置を検出してよい。

【0087】

第１表示部１０ｆは、第１撮影部３１Ａにより撮影された画像を表示し、第１検出部１１により第２ロボット３０Ｂの３次元位置が検出された場合に、第２制御装置２０Ａから受信した第２アバターの表示態様を制御する情報に基づいて、第１検出部１１により検出された３次元位置に第２アバターを表示する。すなわち、第１制御装置１０Ａを用いる第１ユーザは、第１ロボット３０Ａの視点で第３の場所Ｌ３を視認し、第２ロボット３０Ｂに重畳する第２アバターによって、第２制御装置２０Ａを用いる第２ユーザの身振りや表情を確認することができる。なお、第１表示部１０ｆの構成は、第１実施形態に係る第１制御装置１０の第１表示部１０ｆと同様であってよい。第１制御装置１０Ａを用いる第１ユーザは、第１の場所Ｌ１にいながら、第３の場所Ｌ３にいるかのような仮想現実の感覚を得ることができる。

【0088】

第１入力部１０ｅは、第１アバターの表示態様を制御する情報の入力を受け付ける。ここで、第１アバターは、第１制御装置１０Ａを用いる第１ユーザの身振りや表情を表すものである。なお、第１入力部１０ｅの構成は、第１実施形態に係る第１制御装置１０の入力部２０ｅと同様であってよい。

【0089】

なお、第１制御装置１０Ａの物理的構成は、第１実施形態に係る第１制御装置１０の物理的構成と同様であってよい。

【0090】

第２制御装置２０Ａは、第２検出部２１と、第２表示部２０ｆと、第２入力部２０ｅとを備える。第２検出部２１は、第２ロボット３０Ｂの第２撮影部３１Ｂにより撮影された画像に基づき、第１ロボット３０Ａの３次元位置を検出する。第２検出部２１は、第２撮影部３１Ｂにより撮影された画像に基づいて、第１ロボット３０Ａの第１マーカ３５Ａの３次元位置を検出してよい。

【0091】

第２表示部２０ｆは、第２撮影部３１Ｂにより撮影された画像を表示し、第２検出部２１により第１ロボット３０Ａの３次元位置が検出された場合に、第１制御装置１０Ａから受信した第１アバターの表示態様を制御する情報に基づいて、第２検出部２１により検出された３次元位置に第１アバターを表示する。すなわち、第２制御装置２０Ａを用いる第２ユーザは、第２ロボット３０Ｂの視点で第３の場所Ｌ３を視認し、第１ロボット３０Ａに重畳する第１アバターによって、第１制御装置１０Ａを用いる第１ユーザの身振りや表情を確認することができる。なお、第２表示部２０ｆの構成は、第１実施形態に係る第１制御装置１０の第１表示部１０ｆと同様であってよい。第２制御装置２０Ａを用いる第２ユーザは、第２の場所Ｌ２にいながら、第３の場所Ｌ３にいるかのような仮想現実の感覚を得ることができる。

【0092】

第２入力部２０ｅは、第２アバターの表示態様を制御する情報の入力を受け付ける。ここで、第２アバターは、第２制御装置２０Ａを用いる第２ユーザの身振りや表情を表すものである。なお、第２入力部２０ｅの構成は、第１実施形態に係る第１制御装置１０の入力部２０ｅと同様であってよい。

【0093】

なお、第２制御装置２０Ａの物理的構成は、第１実施形態に係る第１制御装置１０の物理的構成と同様であってよい。

【0094】

図９は、第２実施形態に係る第１制御装置１０Ａにより実行される処理のフローチャートである。同図では、同室感コミュニケーションシステム１Ａにより実行される処理のうち、第１制御装置１０Ａにより実行される処理のフローチャートを示している。なお、第２制御装置２０Ａにより実行される処理は、第１制御装置１０Ａにより実行される処理と同様であるため、詳細な説明を省略する。また、第２実施形態に係る第１制御装置１０Ａ又は第２制御装置２０Ａにより実行される処理には、第１実施形態に係る第１制御装置１０により実行される処理や、第１実施形態に係る第２制御装置２０により実行される処理を適宜組み合わせることができる。第１制御装置１０Ａにより実行される処理は、主に第２ロボット３０Ｂの３次元位置に第２アバターを表示し、第１アバターの表示態様を制御する情報の入力を受け付けて第２制御装置２０Ａに送信する処理である。また、第１制御装置１０Ａにより実行される処理は、第２制御装置２０Ａにより入力された音声を出力する処理、第２ロボット３０Ｂの第２マーカ３５Ｂと登録された画像を照合する処理、第２制御装置２０Ａに対して第２アバターの表示態様を制御する情報の送信を要求する処理、文字情報や画像情報を第２制御装置２０Ａから受信して第２アバターに関連付けて表示する処理、文字情報や画像情報の入力を受け付けて第２制御装置２０Ａに送信する処理、第１ロボット３０Ａの自走を制御する情報の入力を受け付けて第１ロボット３０Ａに送信する処理及び第１ロボット３０Ａのマニピュレータを制御する情報の入力を受け付けて第１ロボット３０Ａに送信する処理を含んでよい。以下では、第１制御装置１０Ａにより実行される処理の一例を示す。

【0095】

はじめに、第１制御装置１０Ａの第１表示部１０ｆに第１ロボット３０Ａの第１撮影部３１Ａで撮影された画像を表示する（Ｓ３０）。そして、第１制御装置１０Ａの第１入力部１０ｅによって、第１ロボット３０Ａの自走を制御する情報の入力を受け付ける（Ｓ３１）。そして、自走を制御する情報を第１ロボット３０Ａに送信する（Ｓ３２）。なお、本例で示した第１ロボット３０Ａの自走を制御する情報の入力を受け付けるタイミングと、送信するタイミングは一例に過ぎず、第１制御装置１０Ａは、任意のタイミングで第１ロボット３０Ａの自走を制御する情報の入力を受け付けてよいし、当該情報を第１ロボット３０Ａに送信してよい。

【0096】

第１制御装置１０Ａは、第１検出部１１により、第１ロボット３０Ａの第１撮影部３１Ａで撮影された画像に基づいて、第２ロボット３０Ｂの第２マーカ３５Ｂを認識し、第２マーカ３５Ｂに基づいて第２ロボット３０Ｂの３次元位置を検出する（Ｓ３３）。

【0097】

第１制御装置１０Ａは、第２マーカ３５Ｂと登録された画像が一致するか否かを判定し、一致しない場合（Ｓ３４：ＮＯ）、第１ロボット３０Ａにより撮影された画像を表示し（Ｓ３０）、第１ロボット３０Ａの自走を制御して（Ｓ３１，Ｓ３２）、第２マーカ３５Ｂに基づいて他のロボットの３次元位置を検出する（Ｓ３３）。一方、第２マーカ３５Ｂと登録された画像が一致する場合（Ｓ３４：ＹＥＳ）、第１制御装置１０Ａは、第２制御装置２０Ａから、第２アバターの身振りを制御する情報、表情を制御する情報を受信する（Ｓ３５）。そして、第１制御装置１０Ａの第１表示部１０ｆにより、第２ロボット３０Ｂの３次元位置に第２アバターを表示する（Ｓ３６）。

【0098】

また、第１制御装置１０Ａは、第１制御装置１０Ａの音声出力部により、第２制御装置２０Ａの音声入力部に入力された音声を出力する（Ｓ３７）。なお、本例に示した音声出力のタイミングは一例に過ぎず、第１制御装置１０Ａの音声入力部及び音声出力部と、第２制御装置２０Ａの音声入力部及び音声出力部とによる音声情報の入出力は、任意のタイミングで行われてよい。

【0099】

次に、第１制御装置１０Ａの第１入力部１０ｅによって、第１アバターの身振りを制御する情報、表情を制御する情報の入力を受け付ける（Ｓ３８）。そして、第１アバターの身振りを制御する情報、表情を制御する情報を第２制御装置２０Ａに送信する（Ｓ３９）。なお、本例で示した第１アバターの身振りを制御する情報、表情を制御する情報の入力を受け付けるタイミングと、送信するタイミングは一例に過ぎず、第１制御装置１０Ａは、任意のタイミングで第１アバターの身振りを制御する情報、表情を制御する情報の入力を受け付けてよいし、当該情報を第２制御装置２０Ａに送信してよい。また、第１制御装置１０Ａは、第１アバターの身振りを制御する情報及び表情を制御する情報以外の第１アバターの表示態様を制御する情報を受け付けて、第２制御装置２０Ａに送信してもよい。

【0100】

なお、ステップＳ３１〜Ｓ３２、ステップＳ３５〜Ｓ３６、ステップＳ３７及びステップＳ３８〜Ｓ３９は、それぞれ順不同で任意のタイミングで実行されてよいし、必ずしも実行されなくてもよい。

【0101】

同室感コミュニケーションシステム１Ａによれば、第１ユーザが用いる第１制御装置１０Ａによって、第１ロボット３０Ａの第１撮影部３１Ａにより撮影された第２ロボット３０Ｂの画像を表示し、第１ユーザから第１アバターの表示態様を制御する情報の入力を受け付ける。また、第２ユーザが用いる第２制御装置２０Ａによって、第２ロボット３０Ｂの第２撮影部３１Ｂにより撮影された第１ロボット３０Ａの画像を表示し、第２ユーザから第２アバターの表示態様を制御する情報の入力を受け付ける。そして、第１制御装置１０Ａは、第２ロボット３０Ｂの３次元位置に第２ユーザによって表示態様が制御される第２アバターを表示し、第２制御装置２０Ａは、第１ロボット３０Ａの３次元位置に第１ユーザによって表示態様が制御される第１アバターを表示する。このように、第１ユーザ及び第２ユーザは、第１ロボット３０Ａ及び第２ロボット３０Ｂにより３次元的な位置の認識を共有することができ、同じ空間にいるような感覚を得ることができる。

【0102】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【0103】

例えば、第１実施形態に係る第１制御装置１０を用いる第１ユーザをボットに置き換えて、第１制御装置１０から第２制御装置２０に送信される音声情報及びアバターの表示態様を制御する情報と、第１制御装置１０からロボット３０に送信される自走を制御する情報とを、第１制御装置１０により実行されるボットプログラムにより生成することとしてもよい。

【符号の説明】

【0104】

１…同室感コミュニケーションシステム、１Ａ…同室感コミュニケーションシステム、１０…第１制御装置、１０Ａ…第１制御装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…第１表示部、１０ｇ…音声入力部、１０ｈ…音声出力部、１１…第１検出部、２０…第２制御装置、２０Ａ…第２制御装置、２０ａ…ＣＰＵ、２０ｂ…ＲＡＭ、２０ｃ…ＲＯＭ、２０ｄ…通信部、２０ｅ…入力部、２０ｆ…第２表示部、２０ｇ…音声入力部、２０ｈ…音声出力部、２０ｉ…第２撮影部、２１…検出部、２２…要求部、３０…ロボット、３０Ａ…第１ロボット、３０Ｂ…第２ロボット、３１…第１撮影部、３１Ａ…第１撮影部、３１Ｂ…第２撮影部、３２…自走部、３３…マニピュレータ、３５…マーカ、３５Ａ…第１マーカ、３５Ｂ…第２マーカ、Ａ…アバター、Ｌ１…第１の場所、Ｌ２…第２の場所、Ｌ３…第３の場所、Ｎ…通信ネットワーク

【要約】

【課題】複数のユーザが３次元的な位置の認識を共有して、同じ空間にいるような感覚を得ることができるコミュニケーションシステムを提供する。
【解決手段】同室感コミュニケーションシステムは、ロボットと、ロボットと通信可能な第１制御装置と、第１制御装置と通信可能な第２制御装置と、を備える同室感コミュニケーションシステムであって、第１制御装置は、ロボットの第１撮影部により撮影された画像を表示する第１表示部と、アバターの表示態様を制御する情報の入力を受け付ける入力部と、を有し、第２制御装置は、第２撮影部と、第２撮影部により撮影された画像に基づき、ロボットの３次元位置を検出する検出部と、第２撮影部により撮影された画像を表示し、第１制御装置から受信した表示態様を制御する情報に基づいて、検出部により検出された３次元位置にアバターを表示する第２表示部と、を有する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】